JP6245415B1 - 端末装置および端末装置の動作制御方法ならびに被監視者監視システム - Google Patents

Abstract

本発明にかかる端末装置、端末装置の動作制御方法および被監視者監視システムでは、第１電気機械変換部は、受話口として動作するように、第２電気機械変換素子は、送話口として動作するように制御される一方、センサ装置で撮像した画像を表示部に表示している場合に、さらに、通話の要求が検出された場合、前記第２電気機械変換部は、前記送話口および前記受話口として動作するように制御される。

Description

本発明は、監視すべき監視対象である被監視者を監視する被監視者監視システムに好適に用いられる端末装置および前記端末装置の動作制御方法、ならびに、前記被監視者監視システムに関する。

我が国（日本）は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する６５歳以上の人口の割合である高齢化率が２１％を超える超高齢化社会になっている。２００５年では、総人口約１億２７６５万人に対し６５歳以上の高齢者人口は、約２５５６万人であったのに対し、２０２０年では、総人口約１億２４１１万人に対し高齢者人口は、約３４５６万人となる予測もある。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者（要看護者等）は、高齢化社会ではない通常の社会で生じる要看護者等よりもその増加が見込まれる。そして、我が国は、例えば２０１３年の合計特殊出生率が１．４３という少子化社会でもある。そのため、高齢な要看護者等を高齢の家族（配偶者、子、兄弟）が介護する老老介護も起きて来ている。

要看護者等は、病院や、老人福祉施設（日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等）等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じ得る。このような事態に対し、可及的速やかに対応する必要がある。このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もある。このため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。

しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。

このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視（モニタ）する被監視者監視技術が研究、開発されている。

このような技術の一つとして、例えば特許文献１に開示されたナースコールシステムがある。この特許文献１に開示されたナースコールシステムは、ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されて前記ナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッド上方から撮像するカメラと、前記カメラの撮像映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力する状態判断手段とを有し、前記ナースコール親機は、前記注意状態発生信号を受けて報知動作する報知手段を有する。そして、このナースコールシステムは、前記ナースコール子機からの呼び出しに応答するために看護師が携行する携帯端末と、前記注意状態発生信号を受けて、前記カメラの撮像映像を前記携帯端末に送信する通信制御手段とを有する。

一方、安否確認の点では、一人暮らしの独居者も前記要介護者等と同様であり、被監視対象者となる。

ところで、前記特許文献１に開示されたナースコールシステムのように、カメラの映像が端末装置に表示されると、看護師等の監視者は、要看護者等の被監視者の状況を視覚で把握できるため、便利である。しかしながら、監視者は、被監視者と通話する場合、通常、端末装置の受話口を耳元に近づけ、その送話口を口元に近づけるので、端末装置に表示された前記カメラの映像を見ることができなくなってしまう。

特開２０１４−９０９１３号公報

本発明は、上述の事情に鑑みて為された発明であり、その目的は、画像を見ながら被監視者と通話できる端末装置、端末装置の動作制御方法および被監視者監視システムを提供することである。

本発明にかかる端末装置、端末装置の動作制御方法および被監視者監視システムでは、第１電気機械変換部は、受話口として動作するように、第２電気機械変換素子は、送話口として動作するように制御される一方、センサ装置で撮像した画像を表示部に表示している場合に、さらに、通話の要求が検出された場合、前記第２電気機械変換部は、前記送話口および前記受話口として動作するように制御される。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

実施形態における被監視者監視システムの構成を示す図である。 前記被監視者監視システムにおけるセンサ装置の構成を示す図である。 前記被監視者監視システムにおける携帯端末装置の外観を示す図である。 前記被監視者監視システムにおける携帯端末装置の構成を示す図である。 前記被監視者監視システムにおける携帯端末装置の監視情報に関する動作を示すフローチャートである。 前記被監視者監視システムにおける携帯端末装置の第１および第２電気機械変換部の制御に関する第１態様の動作を示すフローチャートである。 前記被監視者監視システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。 前記被監視者監視システムにおける携帯端末装置に表示される監視情報画面の一例を示す図である。 前記被監視者監視システムにおける携帯端末装置の通話態様を説明するための図である。 前記被監視者監視システムにおける携帯端末装置の第１および第２電気機械変換部の制御に関する第２態様の動作を示すフローチャートである。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

実施形態における被監視者監視システムは、監視すべき（見守るべき）監視対象（見守り対象）である被監視者（見守り対象者）Ｏｂを監視するものであり、撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と、前記センサ装置と通信可能に接続される端末装置とを備え、前記撮像部で撮像された画像に基づいて監視対象である被監視者における所定の行動を検知して検知結果を前記端末装置に報知するシステムである。このような被監視者監視システムにおける前記端末装置は、表示を行う表示部と、電気信号を機械振動信号に変換し、受話口として動作する第１電気機械変換部と、電気信号と機械振動信号との間で相互に変換し、送話口として動作する第２電気機械変換部と、前記センサ装置の前記通話部との間における通話の要求を検出する通話検出部と、前記通話検出部の検出結果を受け、前記表示部、前記第１電気機械変換部および前記第２電気機械変換部それぞれを制御する制御部とを備える。そして、前記制御部は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出部が前記通話の要求を検出した場合、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する。なお、前記端末装置は、１種類の装置であって良いが、以下の説明では、前記端末装置は、固定端末装置と携帯端末装置との２種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者（ユーザ）に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様であるので、以下、携帯端末装置を主に説明する。

図１は、実施形態における被監視者監視システムの構成を示す図である。図２は、実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図３は、実施形態の被監視者監視システムにおける携帯端末装置の外観を示す図である。図４は、実施形態の被監視者監視システムにおける携帯端末装置の構成を示す図である。

より具体的には、被監視者監視システムＭＳは、例えば、図１に示すように、１または複数のセンサ装置ＳＵ（ＳＵ−１〜ＳＵ−４）と、管理サーバ装置ＳＶと、固定端末装置ＳＰと、１または複数の携帯端末装置ＴＡａ（ＴＡａ−１、ＴＡａ−２）と、構内交換機（ＰＢＸ、Ｐｒｉｖａｔｅ ｂｒａｎｃｈ ｅｘｃｈａｎｇｅ）ＣＸとを備え、これらは、有線や無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の網（ネットワーク、通信回線）ＮＷを介して通信可能に接続される。ネットワークＮＷは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図１に示す例では、これら複数のセンサ装置ＳＵ−１〜ＳＵ−４、管理サーバ装置ＳＶ、固定端末装置ＳＰ、複数の携帯端末装置ＴＡａ−１、ＴＡａ−２および構内交換機ＣＸは、Ｌ２スイッチの集線装置（ハブ、ＨＵＢ）ＬＳおよびアクセスポイントＡＰを含む有線および無線の混在したＬＡＮ（例えばＩＥＥＥ８０２．１１規格に従ったＬＡＮ等）ＮＷによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置ＳＵ−１〜ＳＵ−４、管理サーバ装置ＳＶ、固定端末装置ＳＰおよび構内交換機ＣＸは、集線装置ＬＳに接続され、複数の携帯端末装置ＴＡａ−１、ＴＡａ−２は、アクセスポイントＡＰを介して集線装置ＬＳに接続されている。そして、ネットワークＮＷは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）およびＩＰ（Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。

被監視者監視システムＭＳは、被監視者Ｏｂに応じて適宜な場所に配設される。被監視者（見守り対象者）Ｏｂは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Ｏｂは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムＭＳは、被監視者Ｏｂの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図１に示す例では、被監視者監視システムＭＳは、複数の被監視者Ｏｂが入居する複数の居室ＲＭや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。

構内交換機（回線切換機）ＣＸは、ネットワークＮＷに接続され、携帯端末装置ＴＡａ同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置ＴＡａ同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網ＰＮを介して例えば固定電話機や携帯電話機等の外線電話機ＴＬに接続され、外線電話機ＴＬと携帯端末装置ＴＡａとの間における発信、着信および通話等の外線電話の制御を行って外線電話機ＴＬと携帯端末装置ＴＡａとの間における外線電話を実施する装置である。構内交換機ＣＸは、例えば、デジタル交換機や、ＩＰ−ＰＢＸ等である。

センサ装置ＳＵは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡと通信する通信機能等を備え、被監視者Ｏｂにおける所定の行動を検知してその検知結果を管理サーバ装置ＳＶへ報知し、ナースコールを受付けてその旨を管理サーバ装置ＳＶへ通知し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信する装置である。このようなセンサ装置ＳＵは、例えば、図２に示すように、撮像部１１と、センサ側音入出力部（ＳＵ音入出力部）１２と、ナースコール受付操作部１３と、センサ側制御処理部（ＳＵ制御処理部）１４と、センサ側通信インターフェース部（ＳＵ通信ＩＦ部）１５と、センサ側記憶部（ＳＵ記憶部）１６とを備える。

撮像部１１は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って、撮像を行い、画像（画像データ）を生成する装置である。前記画像には、静止画（静止画データ）および動画（動画データ）が含まれる。撮像部１１は、監視すべき監視対象である被監視者Ｏｂが所在を予定している空間（所在空間、図１に示す例では配設場所の居室ＲＭ）を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像（画像データ）を生成し、前記撮像対象の画像（対象画像）をＳＵ制御処理部１４へ出力する。好ましくは、被監視者Ｏｂ全体を撮像できる蓋然性が高いことから、撮像部１１は、被監視者Ｏｂが横臥する寝具（例えばベッド等）における、被監視者Ｏｂの頭部が位置すると予定されている予め設定された頭部予定位置（通常、枕の配設位置）の直上から撮像対象を撮像できるように配設される。センサ装置ＳＵは、この撮像部１１によって、被監視者Ｏｂを、被監視者Ｏｂの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。

このような撮像部１１は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Ｏｂを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部１１は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部１１の前記結像光学系は、本実施形態では、その配設された居室ＲＭ全体を撮像できる画角を持つ広角な光学系（いわゆる広角レンズ（魚眼レンズを含む））であることが好ましい。

ＳＵ音入出力部１２は、音を入出力する回路である。すなわち、ＳＵ音入出力部１２は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置ＳＵに入力するための回路である。ＳＵ音入出力部１２は、例えば、音の電気信号（音データ）を音の機械振動信号（音響信号）に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。ＳＵ音入出力部１２は、外部の音を表す電気信号をＳＵ制御処理部１４へ出力し、また、ＳＵ制御処理部１４から入力された電気信号を音の機械振動信号に変換して出力する。

ナースコール受付操作部１３は、ＳＵ制御処理部１４に接続され、ナースコールを当該センサ装置ＳＵに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部１３は、有線でＳＵ制御処理部１４に接続されて良く、また、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格等の近距離無線通信でＳＵ制御処理部１４に接続されて良い。

ＳＵ通信ＩＦ部１５は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って通信を行うための通信回路である。ＳＵ通信ＩＦ部１５は、ＳＵ制御処理部１４から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムＭＳのネットワークＮＷで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡへ送信する。ＳＵ通信ＩＦ部１５は、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをＳＵ制御処理部１４が処理可能な形式のデータに変換してＳＵ制御処理部１４へ出力する。ＳＵ通信ＩＦ部１５は、例えば、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。

ＳＵ記憶部１６は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置ＳＵの各部を当該各部の機能に応じてそれぞれ制御するＳＵ制御プログラムや、被監視者Ｏｂに対する監視に関する所定の情報処理を実行するＳＵ監視処理プログラム等の制御処理プログラムが含まれる。前記ＳＵ監視処理プログラムには、被監視者Ｏｂにおける所定の行動を検知して検知結果を管理サーバ装置ＳＶを介して所定の端末装置ＳＰ、ＴＡへ通知する行動検知処理プログラムや、ナースコール受付操作部１３でナースコールを受付けた場合にその旨を管理サーバ装置ＳＶへ通知し、ＳＵ音入出力部１２等を用いることで端末装置ＳＰ、ＴＡとの間で音声通話を行うＳＵナースコール処理プログラムや、撮像部１１で生成した動画を、その動画を要求した端末装置ＳＰ、ＴＡへストリーミングで配信するＳＵストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置ＳＵを特定し識別するための識別子であるセンサ装置識別子（センサＩＤ）、および、管理サーバ装置ＳＶの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。ＳＵ記憶部１６は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。ＳＵ記憶部１６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるＳＵ制御処理部１４のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

ＳＵ制御処理部１４は、センサ装置ＳＵの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Ｏｂにおける所定の行動を検知してその検知結果を管理サーバ装置ＳＶへ報知し、ナースコールを受付けてその旨を管理サーバ装置ＳＶへ通知し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信するための回路である。ＳＵ制御処理部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。ＳＵ制御処理部１４は、前記制御処理プログラムが実行されることによって、センサ側制御部（ＳＵ制御部）１４１、行動検知処理部１４２、センサ側ナースコール処理部（ＳＵナースコール処理部）１４３およびセンサ側ストリーミング処理部（ＳＵストリーミング処理部）１４４を機能的に備える。

ＳＵ制御部１４１は、センサ装置ＳＵの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置ＳＵの全体制御を司るものである。

行動検知処理部１４２は、被監視者Ｏｂにおける、予め設定された所定の行動（状態、状況）を画像に基づいて検知して前記画像と共に管理サーバ装置ＳＶへ報知（通知、送信）するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Ｏｂが起きた起床、被監視者Ｏｂが寝具から離れた離床、被監視者Ｏｂが寝具から落ちた転落、および、被監視者Ｏｂが倒れた転倒の４つの行動である。行動検知処理部１４２は、例えば、撮像部１１で撮像した対象画像に基づいて被監視者Ｏｂの頭部を検出し、この検出した被監視者Ｏｂの頭部における大きさの時間変化に基づいて被監視者Ｏｂの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具ＢＴの所在領域、および、第１ないし第３閾値Ｔｈ１〜Ｔｈ３が前記各種の所定のデータの１つとして予めＳＵ記憶部１６に記憶される。前記第１閾値Ｔｈ１は、寝具ＢＴの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための値である。前記第２閾値Ｔｈ２は、寝具ＢＴの所在領域を除く居室ＲＭ内における立位姿勢の頭部の大きさであるか否かを識別するための値である。前記第３閾値Ｔｈ３は、寝具ＢＴの所在領域を除く居室ＲＭ内における横臥姿勢の頭部の大きさであるか否かを識別するための値である。そして、行動検知処理部１４２は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Ｏｂの人体領域として動体領域を抽出する。次に、行動検知処理部１４２は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Ｏｂの頭部領域を抽出する。次に、行動検知処理部１４２は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＴの所在領域内であって、前記抽出した頭部の大きさが前記第１閾値Ｔｈ１を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＴの所在領域内から寝具ＢＴの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第２閾値Ｔｈ２を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＴの所在領域内から寝具ＢＴの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＴの所在領域を除く居室ＲＭ内であって、前記抽出した頭部の大きさが前記第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。このように前記所定の行動を検知すると、行動検知処理部１４２は、この検知結果とこの検知結果を得る際に用いられた前記対象画像とを、ＳＵ通信ＩＦ部１５で管理サーバ装置ＳＶへ報知する。より詳しくは、行動検知処理部１４２は、自機のセンサＩＤ、検知結果（本実施形態では、起床、離床、転落および転倒のうちの１または複数）、前記所定の行動の検知に用いられた対象画像を収容した通信信号（第１監視情報通信信号）を、ＳＵ通信ＩＦ部１５を介して管理サーバ装置ＳＶへ送信する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、後述するように、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置ＳＰ、ＴＡａに表示されても良い。

ＳＵナースコール処理部１４３は、ナースコール受付操作部１３でナースコールを受付けた場合にその旨を管理サーバ装置ＳＶへ通報し、ＳＵ音入出力部１２等を用いることで端末装置ＳＰ、ＴＡａとの間で音声通話を行うものである。より具体的には、ＳＵナースコール処理部１４３は、ナースコール受付操作部１３が入力操作されると、自機のセンサＩＤ、および、ナースコールを受付けた旨を表すナースコール受付情報を収容した第１ナースコール通知通信信号を、ＳＵ通信ＩＦ部１５を介して管理サーバ装置ＳＶへ送信する。そして、ＳＵナースコール処理部１４３は、ＳＵ音入出力部１２等を用い、端末装置ＳＰ、ＴＡａとの間で例えばＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）によって音声通話を行う。

ＳＵストリーミング処理部１４４は、ＳＵ通信ＩＦ部１５を介して固定端末装置ＳＰまたは携帯端末装置ＴＡａから動画の配信の要求があった場合に、この要求のあった固定端末装置ＳＰまたは携帯端末装置ＴＡａへ、撮像部１１で生成した動画（例えばライブの動画）をストリーミング再生でＳＵ通信ＩＦ部１５を介して配信するものである。

図１には、一例として、４個の第１ないし第４センサ装置ＳＵ−１〜ＳＵ−４が示されており、第１センサ装置ＳＵ−１は、被監視者Ｏｂの一人であるＡさんＯｂ−１の居室ＲＭ−１（不図示）に配設され、第２センサ装置ＳＵ−２は、被監視者Ｏｂの一人であるＢさんＯｂ−２の居室ＲＭ−２（不図示）に配設され、第３センサ装置ＳＵ−３は、被監視者Ｏｂの一人であるＣさんＯｂ−３の居室ＲＭ−３（不図示）に配設され、そして、第４センサ装置ＳＵ−４は、被監視者Ｏｂの一人であるＤさんＯｂ−４の居室ＲＭ−４（不図示）に配設されている。

なお、センサ装置ＳＵは、撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置の一例に相当し、撮像部１１は、前記撮像部の一例に相当し、ＳＵ音入出力部１２およびＳＵナースコール処理部１４３は、前記通話部の一例に相当する。

管理サーバ装置ＳＶは、ネットワークＮＷを介して他の装置ＳＵ、ＴＡａ、ＳＰと通信する通信機能を備え、センサ装置ＳＵから被監視者Ｏｂに関する前記検知結果および前記対象画像を受信して被監視者Ｏｂに対する監視に関する情報（監視情報）を管理し、これら受信した被監視者Ｏｂに関する前記検知結果および前記対象画像を所定の端末装置ＳＰ、ＴＡａへ報知（再報知、送信）する機器である。より具体的には、管理サーバ装置ＳＶは、報知元のセンサ装置ＳＵ（センサＩＤ）と報知先（再報知先）の端末装置ＳＰ、ＴＡａ（端末ＩＤ）との対応関係（報知先対応関係）、および、各装置ＳＵ、ＳＰ、ＴＡａ（各ＩＤ）とその通信アドレスとの対応関係（通信アドレス対応関係）を予め記憶している。端末ＩＤは、端末装置ＳＰ、ＴＡａを特定し識別するための識別子である。まず、管理サーバ装置ＳＶは、第１監視情報通信信号を受信すると、この受信した第１監視情報通信信号における報知元（送信元）のセンサ装置と前記受信した第１監視情報通信信号に収容されたデータとを互いに対応付けて被監視者Ｏｂの監視情報として記憶（記録）する。そして、管理サーバ装置ＳＶは、前記報知先対応関係から、前記受信した第１監視情報通信信号における報知元のセンサ装置ＳＵに対応する報知先の端末装置ＳＰ、ＴＡａを特定し、この報知先の端末装置ＳＰ、ＴＡａへ第２監視情報通信信号を送信する。この第２監視情報通信信号には、前記受信した第１監視情報通信信号に収容されたセンサＩＤ、前記検知結果および前記対象画像、ならびに、動画のダウンロード先として、前記受信した第１監視情報通信信号に収容されたセンサＩＤを持つセンサ装置ＳＵに対応する通信アドレスが収容される。通信アドレスは、前記通信アドレス対応関係から取得される。また、管理サーバ装置ＳＶは、第１ナースコール通知通信信号を受信すると、この受信した第１ナースコール通知通信信号における報知元のセンサ装置と前記受信した第１ナースコール通知通信信号に収容されたデータとを互いに対応付けて被監視者Ｏｂの監視情報として記憶（記録）する。そして、管理サーバ装置ＳＶは、前記報知先対応関係から、前記受信した第１ナースコール通知通信信号における報知元のセンサ装置に対応する報知先の端末装置ＳＰ、ＴＡａを特定し、この報知先の端末装置ＳＰ、ＴＡａへ第２ナースコール通知通信信号を送信する。この第２ナースコール通知通信信号には、前記受信した第１ナースコール通知通信信号に収容されたセンサＩＤおよびナースコール受付情報が収容される。なお、第２ナースコール通知通信信号に動画のダウンロード先として、前記受信した第１ナースコール通知通信信号に収容されたセンサＩＤを持つセンサ装置ＳＵに対応する通信アドレスが収容されても良い。管理サーバ装置ＳＶは、クライアント（本実施形態では端末装置ＳＰ、ＴＡａ等）の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置ＳＶは、例えば、通信機能付きのコンピュータによって構成可能である。

固定端末装置ＳＰは、ネットワークＮＷを介して他の装置ＳＵ、ＳＶ、ＴＡａと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置ＳＶや携帯端末装置ＴＡａに与える所定の指示やデータを入力したり、センサ装置ＳＵで得られた監視情報を表示したり等することによって、被監視者監視システムＭＳのユーザインターフェース（ＵＩ）として機能する機器である。このような固定端末装置ＳＰは、例えば、通信機能付きのコンピュータによって構成可能である。なお、前記端末装置の一例としての固定端末装置ＳＰは、携帯端末装置ＴＡａと同様に動作するが、本明細書では、前記端末装置の他の一例である携帯端末装置ＴＡａについて説明される。

携帯端末装置ＴＡａは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＳＵと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置ＳＶやセンサ装置ＳＵに与える所定の指示やデータを入力したり、管理サーバ装置ＳＶからの通報によってセンサ装置ＳＵで得られた監視情報（動画を含む）を表示したり、センサ装置ＳＵとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。

このような携帯端末装置ＴＡａは、本実施形態では、例えば、図４に示すように、端末側通信インターフェース部（ＴＡ通信ＩＦ部）３１と、端末側制御処理部（ＴＡ制御処理部）３２ａと、端末側記憶部（ＴＡ記憶部）３３と、端末側音入出力部（ＴＡ音入出力部）３４と、端末側入力部（ＴＡ入力部）３５と、端末側表示部（ＴＡ表示部）３６と、端末側インターフェース部（ＴＡＩＦ部）３７と、離接センサ部３８と、姿勢センサ部３９とを備える。これらＴＡ通信ＩＦ部３１、ＴＡ制御処理部３２、ＴＡ記憶部３３、ＴＡ音入出力部３４、ＴＡ入力部３５、ＴＡ表示部３６、ＴＡＩＦ部３７、離接センサ部３８および姿勢センサ部３９は、例えば、図３に示すように、薄型の直方体形状の筐体ＨＳに収容される。筐体ＨＳの一方主面には、その略中央位置に、ＴＡ表示部３６の表示面が外部に臨むように配置され、このＴＡ表示部３６の表示面に対する一方端（図３に示す例では上端）に、ＴＡ音入出力部３４における後述の第１電気機械変換部３４１が外部との間で音の出入り可能に配置され、その他方端（図３に示す例では下端）に、ＴＡ音入出力部３４における後述の第２電気機械変換部３４２が外部との間で音の出入り可能に配置され、そして、前記一方端（図３に示す例では上端）における第１電気機械変換部３４１の近くに、離接センサ部３８が配置されている。このように、第１および第２電気機械変換部３４１、３４２は、筐体ＨＳの一方主面において、ＴＡ表示部３６の表示面の両端それぞれに配設されている。このため、第１電気機械変換部３４１を耳に当接または耳元に近づけ、第２電気機械変換部３４２を口元に近づける使用態様では、携帯端末装置ＴＡａのユーザ（監視者）は、ＴＡ表示部３６に表示された画像を見ることができない。

ＴＡ通信ＩＦ部３１は、ＳＵ通信ＩＦ部１５と同様に、ＴＡ制御処理部３２ａに接続され、ＴＡ制御処理部３２ａの制御に従って通信を行うための通信回路である。ＴＡ通信ＩＦ部３１は、例えば、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。

ＴＡ音入出力部３４は、ＳＵ音入出力部１２と同様に、ＴＡ制御処理部３２ａに接続され、ＴＡ制御処理部３２ａの制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得して携帯端末装置ＴＡａに入力するための回路である。より具体的には、ＴＡ音入出力部３４は、第１および第２電気機械変換部３４１、３４２を備える。第１電気機械変換部３４１は、ＴＡ制御処理部３２ａの制御に従って音の電気信号（音データ）を機械振動信号（音響信号）に変換し、受話口として動作する回路であり、例えば、ボイスコイル式スピーカや圧電式スピーカ等のスピーカである。第２電気機械変換部３４２は、ＴＡ制御処理部３２ａの制御に従って電気信号と機械振動信号との間で相互に変換し、送話口として動作する回路である。そして、本実施形態では、後述のように、第２電気機械変換部３４２は、ＴＡ制御処理部３２ａの制御に応じて送話口および受話口としても動作する。このため、第２電気機械変換部３４２は、一態様では、例えばムービングコイル式マイクロフォンや圧電式マイクロフォン等のマイクロフォンと、例えばボイスコイル式スピーカや圧電式スピーカ等のスピーカとの２個のデバイスを備えて構成される。また他の一態様では、例えばボイスコイル式スピーカやムービングコイル式マイクロフォンのダイナミック式のデバイスは、スピーカとしてもマイクロフォンとしても機能するので、第２電気機械変換部３４２は、このような１個のデバイスを備えて構成されても良い。

ＴＡ入力部３５は、ＴＡ制御処理部３２ａに接続され、例えば、所定の操作を受け付け、携帯端末装置ＴＡａに入力する回路であり、例えば、所定の機能を割り付けられた複数の入力スイッチ等である。前記所定の操作には、例えば、ログインするためのＩＤの入力操作や、音声通話の要求操作およびその終了操作や、ライブでの動画の要求操作およびその終了操作や、前記報知された被監視者Ｏｂに対する例えば救命、看護、介護および介助等の対応（対処、応対）を実行する意思がある旨（“対応する”）の入力操作等の、監視する上で必要な各種操作等が含まれる。ＴＡ表示部３６は、ＴＡ制御処理部３２ａに接続され、ＴＡ制御処理部３２ａの制御に従って、ＴＡ入力部３５から入力された所定の操作内容や、被監視者監視システムＭＳによって監視されている被監視者Ｏｂに対する監視に関する前記監視情報（例えばセンサ装置ＳＵで検知した所定の行動の種類や、被監視者Ｏｂの画像（静止画および動画）や、ナースコールの受付等）等を表示する回路であり、例えばＬＣＤ（液晶ディスプレイ）および有機ＥＬディスプレイ等の表示装置である。本実施形態では、ＴＡ入力部３５およびＴＡ表示部３６からタッチパネルが構成されている。この場合において、ＴＡ入力部３５は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力デバイスである。このタッチパネルでは、ＴＡ表示部３６の表示面上に位置入力デバイスが設けられ、ＴＡ表示部３６に入力可能な１または複数の入力内容の候補が表示され、例えば看護師や介護士等のユーザ（監視者）が、入力したい入力内容を表示した表示位置を触れると、位置入力デバイスによってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として携帯端末装置ＴＡａに入力される。

ＴＡＩＦ部３７は、ＴＡ制御処理部３２ａに接続され、ＴＡ制御処理部３２ａの制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ規格を用いたインターフェース回路等である。

離接センサ部３８は、ＴＡ制御処理部３２ａに接続され、人の離接を検知する回路であり、例えば、静電容量式の人感センサや、赤外線式の人感センサ等である。静電容量式の人感センサは、金属製の検出パネルを備え、前記パネルと人体によって構成されるコンデンサの静電容量変化を電圧変化として出力し、人体の離接度合に応じたレベルの信号を出力する。赤外線式の人感センサは、例えば、焦電素子を備え、人から放射される赤外線を受光し、その受光した赤外線の強度に応じたレベルの信号を出力する。離接センサ部３８は、そのセンサ出力（第１センサ出力）をＴＡ制御処理部３２ａへ出力する。

姿勢センサ部３９は、ＴＡ制御処理部３２ａに接続され、当該携帯端末装置ＴＡａの姿勢を検出する回路であり、例えば、角速度を測定するジャイロセンサ等である。姿勢センサ部３９は、そのセンサ出力（第２センサ出力）をＴＡ制御処理部３２ａへ出力する。

ＴＡ記憶部３３は、ＴＡ制御処理部３２ａに接続され、ＴＡ制御処理部３２ａの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、携帯端末装置ＴＡａの各部を当該各部の機能に応じてそれぞれ制御するＴＡ制御プログラムや、センサ装置ＳＵから管理サーバ装置ＳＶを介して受信した前記検知結果や前記ナースコール等の被監視者Ｏｂに対する監視に関する監視情報を記憶（記録）し、前記検知結果や前記ナースコールを表示するＴＡ監視処理プログラムや、ＴＡ音入出力部３４等を用いることでセンサ装置ＳＵとの間で音声通話を行うＴＡ通話処理プログラムや、センサ装置ＳＵから動画の配信を受け、前記配信を受けた動画をストリーミング再生でＴＡ表示部３６に表示するストリーミング処理プログラムや、離接センサ部３８の第１センサ出力に基づいて人の離間を前記通話の要求として判定する離接判定プログラムや、姿勢センサ部３９の第２センサ出力に基づいて、当該携帯端末装置ＴＡａの姿勢が、第１電気機械変換部３４１の第１配設位置と第２電気機械変換部３４２の第２配設位置とを結ぶ線分ＬＮ（図３参照）の延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定する姿勢判定プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータでは、自機の端末ＩＤ、ＴＡ表示部３６に表示される画面情報、および、被監視者Ｏｂに対する監視に関する前記監視情報等の各プログラムを実行する上で必要なデータ等が含まれる。ＴＡ記憶部３３は、例えばＲＯＭやＥＥＰＲＯＭ等を備える。ＴＡ記憶部３３は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるＴＡ制御処理部３２ａのワーキングメモリとなるＲＡＭ等を含む。そして、ＴＡ記憶部３３は、前記監視情報を記憶するための端末側監視情報記憶部（ＴＡ監視情報記憶部）３３１を機能的に備える。

ＴＡ監視情報記憶部３３１は、各装置ＳＶ、ＳＰ、ＳＵそれぞれとの間で送受信した被監視者Ｏｂの監視情報を記憶するものである。より具体的には、ＴＡ監視情報記憶部３３１は、本実施形態では、前記監視情報として、管理サーバ装置ＳＶから受信した第２監視情報通信信号に収容されたセンサＩＤ、検知結果、対象画像および動画のダウンロード先のセンサ装置ＳＵの通信アドレス、ならびに、当該第２監視情報通信信号の受信時刻等を互いに対応付けて記憶し、管理サーバ装置ＳＶから受信した第２ナースコール通知通信信号に収容されたセンサＩＤおよびナースコール受付情報、ならびに、当該第２ナースコール通知通信信号の受信時刻等を互いに対応付けて記憶する。

ＴＡ制御処理部３２ａは、携帯端末装置ＴＡａの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Ｏｂに対する前記監視情報を受け付けて表示し、ナースコールの応答や声かけするための回路である。ＴＡ制御処理部３２ａは、例えば、ＣＰＵおよびその周辺回路を備えて構成される。ＴＡ制御処理部３２ａは、制御処理プログラムが実行されることによって、端末側制御部（ＴＡ制御部）３２１ａ、端末側監視処理部（ＴＡ監視処理部）３２２、端末側通話処理部（ＴＡ通話処理部）３２３、端末側ストリーミング処理部（ＴＡストリーミング処理部）３２４、離接判定部３２５および姿勢判定部３２６を機能的に備える。

ＴＡ制御部３２１ａは、携帯端末装置ＴＡａの各部を当該各部の機能に応じてそれぞれ制御し、携帯端末装置ＴＡａの全体制御を司るものである。本実施形態では、センサ装置ＳＵの撮像部１１で撮像した画像をＴＡ表示部３６に表示している場合に、さらに、センサ装置ＳＵとの間における通話の要求を検出した場合、ＴＡ音入出力部３４の第１電気機械変換部３４１の動作を停止し、その第２電気機械変換部３４２を送話口および受話口として動作するように制御する。

ＴＡ監視処理部３２２は、センサ装置ＳＵから管理サーバ装置ＳＶを介して受信した前記検知結果や前記ナースコール等の被監視者Ｏｂに対する監視に関する監視情報を記憶（記録）し、前記検知結果や前記ナースコールを表示するものである。より具体的には、ＴＡ監視処理部３２２は、管理サーバ装置ＳＶから第２監視情報通信信号を受信すると、この受信した第２監視情報通信信号に収容された、被監視者Ｏｂの監視情報をＴＡ監視情報記憶部３３１に記憶（記録）する。ＴＡ監視処理部３２２は、前記受信した第２監視情報通信信号に収容された各情報に応じた画面をＴＡ表示部３６に表示する。ＴＡ監視処理部３２２は、管理サーバ装置ＳＶから第２ナースコール通知通信信号を受信すると、この受信した第２ナースコール通知通信信号に収容された、被監視者Ｏｂの監視情報をＴＡ監視情報記憶部３３１に記憶（記録）する。ＴＡ監視処理部３２２は、前記受信した第２ナースコール通知通信信号に収容されたナースコール受付情報に応じて、ＴＡ記憶部３３に予め記憶されたナースコール受付画面をＴＡ表示部３６に表示する。そして、ＴＡ監視処理部３２２は、ＴＡ入力部３５から所定の入力操作を受け付けると、その入力操作に応じた所定の処理を実行する。

ＴＡ通話処理部３２３は、ＴＡ音入出力部３４等を用いることでセンサ装置ＳＵとの間で音声通話を行うものである。より具体的には、ＴＡ通話処理部３２３は、ＴＡ音入出力部３４等を用い、第１監視情報通信信号や第１ナースコール通報通信信号を管理サーバ装置ＳＶへ送信した報知元のセンサ装置ＳＵや、携帯端末装置ＴＡａのユーザ（監視者）によって選択され指定されたセンサ装置ＳＵ等との間で例えばＶｏＩＰによって音声通話を行う。

ＴＡストリーミング処理部３２４は、センサ装置ＳＵから動画の配信を受け、前記配信を受けた動画をストリーミング再生でＴＡ表示部３６に表示するものである。

離接判定部３２５は、離接センサ部３８の第１センサ出力に基づいて、人の離間を、センサ装置ＳＵとの間における通話の要求として判定するものである。より詳しくは、離接判定部３２５は、離接センサ部３８の第１センサ出力に基づいて人の離間であるか否かを判定し、この判定の結果、人の離間と判定すると、前記通話の要求と判定する。例えば、離接センサ部３８が静電容量式の人感センサを備えて構成される場合、静電容量式の人感センサに人が近接すると、前記センサの金属パネルと人体によって構成されたコンデンサに、相対的に大きな静電容量と電圧が生じ、相対的に高レベルな信号を出力する一方、静電容量式の人感センサから人が離間すると、静電容量式の人感センサは、相対的に小さな静電容量と電圧が生じ、相対的に低レベルな信号を出力する。このため、人の近接とその離間とを弁別するための閾値（離接閾値）が予め設定され、離接判定部３２５は、静電容量式の人感センサから出力された第１センサ出力と前記離接閾値とを比較し、この比較の結果、前記第１センサ出力が前記閾値以上である場合には人の近接（人の離間ではない）と判定し、前記比較の結果、前記第１センサ出力が前記離接閾値未満である場合には人の離間と判定、すなわち、前記通話の要求と判定する。また例えば、離接センサ部３８が赤外線式の人感センサを備えて構成される場合、赤外線式の人感センサに人が近接すると、赤外線式の人感センサは、相対的に強く赤外線を受光して相対的に高レベルな信号を出力する一方、赤外線式の人感センサから人が離間すると、赤外線式の人感センサは、相対的に低い赤外線を受光して相対的に低レベルな信号を出力する。このため、人の近接とその離間とを弁別するための閾値（離接閾値）が予め設定され、離接判定部３２５は、赤外線式の人感センサから出力された第１センサ出力と前記離接閾値とを比較し、この比較の結果、前記第１センサ出力が前記閾値以上である場合には人の近接（人の離間ではない）と判定し、前記比較の結果、前記第１センサ出力が前記離接閾値未満である場合には人の離間と判定、すなわち、前記通話の要求と判定する。

姿勢判定部３２６は、姿勢センサ部３９の第２センサ出力に基づいて、当該携帯端末装置ＴＡａの姿勢が、第１電気機械変換部３４１の第１配設位置と第２電気機械変換部３４２の第２配設位置とを結ぶ線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定するものである。より詳しくは、姿勢判定部３２６は、姿勢センサ部３９の第２センサ出力に基づいて、当該携帯端末装置ＴＡａの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢であるか否かを判定し、この判定の結果、前記線分の延長方向が垂直方向よりも水平方向に近い姿勢であると判定すると、前記通話の要求と判定する。より具体的には、水平方向を０度と定義し、垂直方向を９０度と定義した場合、姿勢判定部３２６は、姿勢センサ部３９の第２センサ出力に基づいて前記線分ＬＮの延長方向と水平方向とのなす角度と、垂直方向よりも水平方向に近いか否かを弁別するための閾値（姿勢閾値）とを比較し、この比較の結果、前記線分ＬＮの延長方向と水平方向とのなす角度が前記閾値以上である場合には垂直方向よりも水平方向に近くない（水平方向よりも垂直方向に近い）と判定し、前記比較の結果、前記線分ＬＮの延長方向と水平方向とのなす角度が前記閾値未満である場合には垂直方向よりも水平方向に近いと判定、すなわち、前記通話の要求と判定する。前記姿勢閾値は、例えば、４５度、３０度、２０度等に適宜に設定される。

このような携帯端末装置ＴＡａは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。

なお、タッチパネルを構成するＴＡ入力部３５およびＴＡ表示部３６、ならびに、ＴＡ制御部３２１ａが、前記センサ装置の前記通話部との間における通話の要求を検出する通話検出部の一例に相当し、タッチパネルを構成するＴＡ入力部３５およびＴＡ表示部３６が、前記通話の要求を受け付ける通話要求入力部の一例に相当する。離接センサ部３８および離接判定部３２５が、前記通話検出部の他の一例に相当する。姿勢センサ部３９および姿勢判定部３２６が、前記通話検出部のさらに他の一例に相当する。

次に、本実施形態の動作について説明する。上記構成の被監視者監視システムＭＳでは、各装置ＳＵ、ＳＶ、ＳＰ、ＴＡａは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置ＳＵでは、その制御処理プログラムの実行によって、ＳＵ制御処理部１４には、ＳＵ制御部１４１、行動検知処理部１４２、ＳＵナースコール処理部１４３およびＳＵストリーミング処理部１４４が機能的に構成される。携帯端末装置ＴＡａでは、その制御処理プログラムの実行によって、ＴＡ制御処理部３２ａには、ＴＡ制御部３２１ａ、ＴＡ監視処理部３２２、ＴＡ通話処理部３２３、ＴＡストリーミング処理部３２４、離接判定部３２５および姿勢判定部３２６が機能的に構成される。

そして、上記構成の被監視者監視システムＭＳは、大略、次の動作によって、各被監視者Ｏｂそれぞれを監視している。

センサ装置ＳＵは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Ｏｂにおける所定の動作を検知し、ナースコールの受付の有無を判定している。まず、センサ装置ＳＵは、ＳＵ制御処理部１４のＳＵ制御部１４１によって、撮像部１１から１フレーム分の画像（画像データ）を対象画像として取得し、その行動検知処理部１４２によって、前記取得した対象画像に基づいて被監視者Ｏｂにおける所定の行動を検知し、前記所定の行動を検知すると、その検知結果を所定の端末装置ＳＰ、ＴＡａへ報知するために、第１監視情報通信信号を管理サーバ装置ＳＶへ送信する。このように動作している間に、センサ装置ＳＵは、ＳＵナースコール処理部１４３によって、ナースコール受付操作部１３でナースコールを受け付けているか否かを判定し、ナースコールを受け付けると、そのナースコールの受付を所定の端末装置ＳＰ、ＴＡａへ報知するために、センサ装置ＳＵは、第１ナースコール通知通信信号を管理サーバ装置ＳＶへ送信する。

管理サーバ装置ＳＶは、第１監視情報通信信号をネットワークＮＷを介してセンサ装置ＳＵから受信すると、この第１監視情報通信信号に収容されたセンサＩＤ、判定結果および対象画像等を、このセンサＩＤを持つセンサ装置ＳＵで監視されている被監視者Ｏｂの監視情報として記憶（記録）する。そして、管理サーバ装置ＳＶは、前記報知先対応関係から、前記受信した第１監視情報通信信号における報知元のセンサ装置ＳＵに対応する報知先の端末装置ＳＰ、ＴＡａを特定し、この報知先の端末装置ＳＰ、ＴＡａへ第２監視情報通信信号を送信する。一方、管理サーバ装置ＳＶは、第１ナースコール通知通信信号をネットワークＮＷを介してセンサ装置ＳＵから受信すると、この第１ナースコール通知通信信号に収容されたセンサＩＤおよびナースコール受付情報等を、このセンサＩＤを持つセンサ装置ＳＵで監視されている被監視者Ｏｂの監視情報として記憶（記録）する。そして、管理サーバ装置ＳＶは、前記報知先対応関係から、前記受信した第１ナースコール通知通信信号における報知元のセンサ装置ＳＵに対応する報知先の端末装置ＳＰ、ＴＡａを特定し、この報知先の端末装置ＳＰ、ＴＡａへ第２ナースコール通知通信信号を送信する。

固定端末装置ＳＰおよび携帯端末装置ＴＡａは、前記第２監視情報通信信号をネットワークＮＷを介して管理サーバ装置ＳＶから受信すると、この第２監視情報通信信号に収容された被監視者Ｏｂの監視に関する前記監視情報を表示する。携帯端末装置ＴＡａによるこの監視情報を表示する動作については、以下で詳述する。また、固定端末装置ＳＰおよび携帯端末装置ＴＡａは、前記第２ナースコール通知通信信号をネットワークＮＷを介して管理サーバ装置ＳＶから受信すると、この第２ナースコール通知通信信号に収容されたセンサＩＤを持つセンサ装置ＳＵで監視されている被監視者Ｏｂからナースコールを受け付けたことを表示する。このような動作によって、被監視者監視システムＭＳは、各センサ装置ＳＵ、管理サーバ装置ＳＶ、固定端末装置ＳＰおよび携帯端末装置ＴＡａによって、大略、各被監視者Ｏｂにおける所定の行動を検知して各被監視者Ｏｂを監視している。

次に、被監視者監視システムＭＳにおける、被監視者Ｏｂの監視に関する前記監視情報を表示する動作およびそれに関連する動作について、説明する。図５は、実施形態の被監視者監視システムにおける携帯端末装置の監視情報に関する動作を示すフローチャートである。図６は、実施形態の被監視者監視システムにおける携帯端末装置の第１および第２電気機械変換部の制御に関する第１態様の動作を示すフローチャートである。図７は、実施形態の被監視者監視システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。図８は、実施形態の被監視者監視システムにおける携帯端末装置に表示される監視情報画面の一例を示す図である。図９は、実施形態の被監視者監視システムにおける携帯端末装置の通話態様を説明するための図である。図９Ａは、第１電気機械変換部３４１を受話口として動作し、第２電気機械変換部３４２を送話口として動作するように制御するデフォルトのモードでの携帯端末装置ＴＡａの使用態様を説明するための図である。図９Ｂは、第１電気機械変換部３４１の動作を停止し、第２電気機械変換部３４２を送話口および受話口として動作するように制御するスピーカフォンのモードでの携帯端末装置ＴＡａの使用態様を説明するための図である。

次に、端末装置ＳＰ、ＴＡａの動作について説明する。ここでは、代表的に、携帯端末装置ＴＡａの動作について説明する。上述したように、電源が投入され、その稼働を始めると、携帯端末装置ＴＡａでは、例えば看護師や介護士等の監視者（ユーザ）によるログイン操作が受け付けられ、ＴＡ監視処理部３２２によって、自機宛の通信信号を待ち受ける待受け画面がＴＡ表示部３６に表示される。この待受け画面５１は、例えば、図７に示すように、メニューバーを表示するメニューバー領域５１１と、待ち受け中であることを表すメッセージ（例えば「通知はありません」）およびアイコンを表示する待受けメイン領域５１２と、現在時刻を表示する時刻領域５１３と、今日の年月日曜日を表示する年月日曜日領域５１４と、今、当該携帯端末装置ＴＡにログインしているユーザ名を表示するユーザ名領域５１５とを備える。メニューバー領域５１１には、他の携帯端末装置ＴＡａとの内線通話や外線電話機ＴＬとの外線電話の発信の指示を入力するためのオフフックボタン５１１１が備えられている。

そして、図５において、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａのＴＡ制御部３２１ａによって、ＴＡ通信ＩＦ部３１で通信信号を受信したか否かを判定する（Ｓ１１）。この判定の結果、通信信号を受信していない場合（Ｎｏ）には、携帯端末装置ＴＡａは、処理をＳ１１に戻し、前記判定の結果、通信信号を受信している場合（Ｙｅｓ）には、携帯端末装置ＴＡａは、次の処理Ｓ１２を実行する。すなわち、携帯端末装置ＴＡａは、通信信号の受信を待ち受けている。

処理Ｓ１２では、携帯端末装置ＴＡａは、ＴＡ制御部３２１ａによって、この受信した通信信号の種類を判定する。この判定の結果、携帯端末装置ＴＡａは、前記受信した通信信号が第２監視情報通信信号である場合（第２監視情報）には、次の処理Ｓ１３および処理Ｓ１４を順次に実行した後に処理Ｓ１７を実行し、前記受信した通信信号が第２ナースコール通知通信信号である場合（第２ＮＣ通知）には、次の処理Ｓ１５および処理Ｓ１６を順次に実行した後に処理Ｓ１７を実行し、前記受信した通信信号が第２監視情報通信信号および第２ナースコール通知通信信号ではない場合（その他）には、処理Ｓ１１で受信した通信信号に応じた適宜な処理を行う処理Ｓ１９を実行した後に本処理を終了する。

処理Ｓ１３では、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａのＴＡ監視処理部３２２によって、処理Ｓ１１で管理サーバ装置ＳＶから受信した第２監視情報通信信号に収容された、被監視者Ｏｂに対する監視に関する監視情報をＴＡ監視情報記憶部３３１に記憶（記録）する。

この処理Ｓ１３の次に、ＴＡ監視処理部３２２は、処理Ｓ１１で受信した第２監視情報通信信号に収容された各情報に応じた画面を、例えば図８に示す監視情報画面５２をＴＡ表示部３６に表示する（Ｓ１４）。

この監視情報画面５２は、被監視者Ｏｂの監視に関する前記監視情報を表示するための画面である。前記監視情報画面５２は、例えば、図８に示すように、メニューバー領域５１１と、処理Ｓ１１で受信した第２監視情報通信信号に収容されたセンサＩＤを持つセンサ装置ＳＵの配設場所および前記センサＩＤを持つ前記センサ装置ＳＵによって監視される被監視者Ｏｂの名前を表示する被監視者名領域５２１と、処理Ｓ１１で受信した第２監視情報通信信号の受信時刻（または前記所定の行動の検知時刻）からの経過時間、および、処理Ｓ１１で受信した第２監視情報通信信号に収容された前記検知結果を表示する検知情報表示領域５２２と、処理Ｓ１１で受信した第２監視情報通信信号に収容された画像（すなわち、前記センサＩＤを持つ前記センサ装置ＳＵによって撮像された対象画像）（ここでは静止画）を表示する画像領域５２３と、「対応する」ボタン５２４と、「話す」ボタン５２５と、「ＬＩＶＥを見る」ボタン５２６とを備える。

被監視者名領域５２１に、センサ装置ＳＵの配設場所および被監視者Ｏｂの名前を表示するために、ＴＡ記憶部３３には、センサＩＤ、前記センサＩＤを持つセンサ装置ＳＵの配設場所および前記センサＩＤを持つ前記センサ装置ＳＵによって監視される被監視者Ｏｂの名前が互いに対応付けられて予め記憶される。検知情報表示領域５２２には、処理Ｓ１１で受信した第２監視情報通信信号に収容された検知結果（本実施形態では、起床、離床、転落および転倒の各名称）がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、ＴＡ記憶部３３には、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図８に示す例では、検知情報表示領域５２２には、起床を象徴的に表す起床アイコンが表示されている。「対応する」ボタン５２４は、監視情報画面５２では、この監視情報画面５２に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応（応対、対処）を実施する意思が当該携帯端末装置ＴＡのユーザにある旨を表す実施意思情報を、当該携帯端末装置ＴＡａに入力するためのボタンである。「話す」ボタン５２５は、音声通話を要求するためのボタンであって、前記センサＩＤの前記センサ装置ＳＵと当該携帯端末装置ＴＡａとをネットワークＮＷを介して通話可能に接続する指示を入力するためのボタンである。「ＬＩＶＥを見る」ボタン５２６は、ライブでの動画を要求するためのボタンであって、前記センサＩＤの前記センサ装置ＳＵによって撮像される動画を表示させる指示を入力するためのボタンである。

図５に戻って、一方、処理Ｓ１５では、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａのＴＡ監視処理部３２２によって、処理Ｓ１１で管理サーバ装置ＳＶから受信した第２ナースコール通知通信信号に収容された、被監視者Ｏｂに対する監視に関する監視情報をＴＡ監視情報記憶部３３１に記憶（記録）する。

この処理Ｓ１５の次に、ＴＡ監視処理部３２２は、処理Ｓ１１で受信した第２ナースコール通知通信信号に収容されたナースコール受付情報に応じて、ＴＡ記憶部３３に予め記憶されたナースコールを受け付けた旨を表す図略のナースコール受付画面をＴＡ表示部３６に表示する（Ｓ１６）。

そして、これら処理Ｓ１４および処理Ｓ１６それぞれの後に実行される前記処理Ｓ１７では、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、ＴＡ入力部３５およびＴＡ表示部３６を備えて成るタッチパネルで入力操作を受け付けたか否かを判定する。この判定の結果、入力操作を受け付けていない場合（Ｎｏ）には、携帯端末装置ＴＡａは、処理を処理Ｓ１７に戻し、一方、前記判定の結果、入力操作を受け付けている場合には、携帯端末装置ＴＡａは、次の処理Ｓ１８を実行する。

この処理Ｓ１８では、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、入力操作の内容に応じた適宜な処理を実行し、本処理を終了する。

例えば、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、「対応する」ボタン５２４の入力操作を受け付けると（すなわち、前記対応意思を受け付けると）、現在、ＴＡ表示部３６に表示している被監視者Ｏｂの監視情報に、「対応する」を受け付けた旨を付してＴＡ監視情報記憶部３３１に記憶し、ＴＡ表示部３６に表示している被監視者Ｏｂの監視情報に対応するセンサＩＤおよび「対応する」を受け付けた旨を表す情報（対応受付情報）を収容した通信信号（対応受付通知通信信号）を管理サーバ装置ＳＶへ送信する。この対応受付通知通信信号を受信した管理サーバ装置ＳＶは、この受信した対応受付通知通信信号に収容されたセンサＩＤおよび対応受付情報を収容した通信信号（対応受付周知通信信号）を同報通信で端末装置ＳＰ、ＴＡへ送信する。これによって、ＴＡ表示部３６に表示している被監視者Ｏｂの監視情報に対応するセンサＩＤに関し、「対応する」を受け付けた旨が各端末装置ＳＰ、ＴＡａ間で同期される。

また例えば、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、「話す」ボタン５２５の入力操作を受け付けると、ＴＡ通話処理部３２３によって、ＴＡ表示部３６に表示している被監視者Ｏｂを監視するセンサ装置ＳＵへ、音声通話を要求する旨等の情報を収容した通信信号（通話要求通信信号）を送信し、これに応じたセンサ装置ＳＵとネットワークＮＷを介して音声通話可能に接続する。これによって携帯端末装置ＴＡａとセンサ装置ＳＵとの間で音声通話が可能となる。この通話の要求を受け付けた際に実行される第１および第２電気機械変換部３４１、３４２に対する制御については、後述する。なお、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、ＴＡ通話処理部３２３によって、ＴＡ表示部３６に表示している被監視者Ｏｂを監視するセンサ装置ＳＵへ、音声通話の終了を要求する旨等の情報を収容した通信信号（通話終了通信信号）を送信する。これによって携帯端末装置ＴＡａとセンサ装置ＳＵとの間での音声通話が終了される。

また例えば、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、「ＬＩＶＥを見る」ボタン５２６の入力操作を受け付けると、ＴＡストリーミング処理部３２４によって、現在、ＴＡ表示部３６に表示している被監視者Ｏｂを監視するセンサ装置ＳＵへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号（動画配信要求通信信号）を送信し、これに応じたセンサ装置ＳＵとネットワークＮＷを介して動画のダウンロード可能に接続し、前記センサ装置ＳＵからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生でＴＡ表示部３６に表示する。このライブでの動画を表示する監視情報画面５２では、画像領域５２３に静止画に代え動画が表示され、そして、「ＬＩＶＥを見る」ボタン５２６に代え図略の「ＬＩＶＥ終了」ボタンが表示される。これによって携帯端末装置ＴＡａには、ライブでの動画が表示される。前記図略の「ＬＩＶＥ終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサＩＤの前記センサ装置ＳＵによって撮像される動画の配信を終了（停止）させ表示を終了（停止）させる指示を入力するためのボタンである。携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、「ＬＩＶＥ終了」ボタンの入力操作を受け付けると、ＴＡストリーミング処理部３２４によって、現在、ＴＡ表示部３６に表示している被監視者Ｏｂを監視するセンサ装置ＳＵへ、動画配信の終了を要求する旨等の情報を収容した通信信号（動画配信終了通信信号）を送信し、静止画をＴＡ表示部３６に表示する。これによって携帯端末装置ＴＡは、ライブでの動画の表示を終了する。

センサ装置ＳＵから管理サーバ装置ＳＶを介して報知を受けた検知結果やナースコール受付の各報知（各再報知）に関し、携帯端末装置ＴＡａは、以上のように動作している。

前記検知結果や前記ナースコール受付の各報知（各再報知）に関し、上述のように動作している間に、第１および第２電気機械変換部３４１、３４２の制御に関し、携帯端末装置ＴＡａは、次のように動作している。

図６において、携帯端末装置ＴＡａは、ＴＡ制御処理部３２ａによって、センサ装置ＳＵの撮像部１１で撮像した画像をＴＡ表示部３６に表示している場合に、さらに、前記センサ装置ＳＵの間における通話の要求を検出したか否かを判定する（Ｓ２１）。この判定では、本実施形態では、ＴＡ制御処理部３２ａは、ＴＡ制御部３２１ａによって「話す」ボタン５２５の入力操作を受け付けたか否かを判定する第１判定処理、離接判定部３２５によって離接センサ部３８の第１センサ出力に基づいて人の離間であるか否かを判定する第２判定処理、および、姿勢判定部３２６によって姿勢センサ部３９の第２センサ出力に基づいて当該携帯端末装置ＴＡａの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢であるか否かを判定する第３判定処理それぞれを実行する。これら第１ないし第３判定処理それぞれの結果、ＴＡ制御処理部３２ａは、少なくともいずれか１つの判定結果が肯定であった場合、前記通話の要求が有ったと判定し（Ｙｅｓ）、次の処理Ｓ２２を実行し、一方、全て判定結果が否定であった場合、前記通話の要求が無かったと判定し（Ｎｏ）、次の処理Ｓ２５を実行する。すなわち、前記第１判定処理の結果、「話す」ボタン５２５の入力操作を受け付けていた場合、肯定的な判定結果として、ＴＡ制御処理部３２ａは、次の処理Ｓ２２を実行する。前記第２判定処理の結果、人の離間である場合、肯定的な判定結果として、ＴＡ制御処理部３２ａは、次の処理Ｓ２２を実行する。前記第３判定処理の結果、当該携帯端末装置ＴＡａの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢である場合、肯定的な判定結果として、ＴＡ制御処理部３２ａは、次の処理Ｓ２２を実行する。一方、「話す」ボタン５２５の入力操作を受け付けてなく、かつ、人の離間ではなく、かつ、当該携帯端末装置ＴＡａの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近くない姿勢である場合、否定的な判定結果として、ＴＡ制御処理部３２ａは、次の処理Ｓ２５を実行する。

処理Ｓ２２では、ＴＡ制御処理部３２ａは、ＴＡ制御部３２１ａによって第１電気機械変換部３４１の動作を停止するように制御する。

この処理Ｓ２２の次に、ＴＡ制御処理部３２ａは、ＴＡ制御部３２１ａによって第２電気機械変換部３４１を送話口および受話口として動作するように制御する（Ｓ２３）。

これら処理Ｓ２２および処理Ｓ２３の各処理によって、第１および第２電気機械変換部３４１、３４２は、いわゆるスピーカフォンのモードで動作する。

この処理Ｓ２３の次に、ＴＡ制御処理部３２ａは、ＴＡ通話処理部３２３によって通話の終了であるか否かを判定する（Ｓ２４）。より具体的には、本実施形態では、ＴＡ制御処理部３２ａは、ＴＡ通話処理部３２３によって前記「終了」ボタンの入力操作を受け付けたか否かを判定する。この判定の結果、前記「終了」ボタンの入力操作を受け付けている場合には、ＴＡ制御処理部３２ａは、通話の終了であると判定し（Ｙｅｓ）、次に処理Ｓ２５を実行する。一方、前記判定の結果、前記「終了」ボタンの入力操作を受け付けていない場合には、ＴＡ制御処理部３２ａは、通話の終了ではないと判定し（Ｎｏ）、処理を処理Ｓ２４に戻す。すなわち、通話が終了するまで、処理Ｓ２４が繰り返される。なお、上述では、ＴＡ制御処理部３２ａは、通話の終了であるか否かを判定したが、第２電気機械変換部３４２の前記スピーカフォンとしての使用の終了であるか否かを判定しても良い。この場合では、前記スピーカフォンとしての使用が終了するまで、処理Ｓ２４が繰り返され、前記スピーカフォンとしての使用が終了すると、処理Ｓ２５が実行される。

処理Ｓ２５では、ＴＡ制御処理部３２ａは、ＴＡ制御部３２１ａによって第１電気機械変換部３４１を受話口として動作するように制御する。

この処理Ｓ２５の次に、ＴＡ制御処理部３２ａは、ＴＡ制御部３２１ａによって第２電気機械変換部３４１を送話口として動作するように制御する（Ｓ２６）。

これら処理Ｓ２５および処理Ｓ２６の各処理によって、第１および第２電気機械変換部３４１、３４２は、デフォルトのモードで動作する。

この処理Ｓ２６の次に、ＴＡ制御処理部３２ａは、当該携帯端末装置ＴＡａの稼働の終了であるか否かを判定する（Ｓ２７）。この判定の結果、例えば電源スイッチのオフ操作等によって稼働の終了である場合（Ｙｅｓ）には、ＴＡ制御処理部３２ａは、本処理を終了する。一方、前記判定の結果、稼働の終了ではない場合（Ｎｏ）には、ＴＡ制御処理部３２ａは、処理を処理Ｓ２１に戻す。

以上説明したように、本実施形態における被監視者監視システムＭＳ、端末装置ＳＰ、ＴＡａおよびこれに実装された動作制御方法は、センサ装置ＵＳの撮像部１１で撮像した画像をＴＡ表示部３６に表示している場合に、さらに、通話の要求を検出した場合、第２電気機械変換部３４２を送話口および受話口として動作するように制御するＴＡ制御部３２１ａを備えるので、例えば図９Ａに示すように、通話のために、端末装置ＳＰ、ＴＡの第１電気機械変換部３４１を耳元に近づけ、その第２電気機械変換部３４２を口元に近づけることを、例えば図９Ｂに示すように、行わなくても、第２電気機械変換部３４２で送話でき、受話できる。したがって、上記被監視者監視システムＭＳ、上記端末装置ＳＰ、ＴＡａおよび上記動作制御方法は、画像を見ながら被監視者Ｏｂと通話できる。

上記被監視者監視システムＭＳ、上記端末装置ＳＰ、ＴＡａおよび上記動作制御方法は、「話す」ボタン５２５を備えるので、タッチパネルを構成するＴＡ入力部３５で監視者（ユーザ）による通話の要求を受け付けることができ、監視者における通話の要求を直接的に検出できる。

上記被監視者監視システムＭＳ、上記端末装置ＳＰ、ＴＡａおよび上記動作制御方法は、離接センサ部３８および離接判定部３２５を備えるので、監視者における通話の要求を離接センサ部３８および離接判定部３２５によって自動的に検出できる。

上記被監視者監視システムＭＳ、上記端末装置ＳＰ、ＴＡａおよび上記動作制御方法は、姿勢センサ部３９および姿勢判定部３２６を備えるので、監視者における通話の要求を姿勢センサ部３９および姿勢判定部３２６によって自動的に検出できる。

なお、上述の実施形態では、第１ないし第３判定処理それぞれの結果、少なくともいずれか１つの判定結果が肯定であった場合に、第１電気機械変換部３４１は、その動作を停止するように制御され、第２電気機械変換部３４２は、送話口および受話口として動作するように制御されたが、第１ないし第３判定処理それぞれの結果、第１判定処理の判定結果が肯定であって、さらに、第２および第３判定処理それぞれの各判定結果のうちの少なくとも一方の判定結果が肯定であった場合に、第１電気機械変換部３４１は、その動作を停止するように制御され、第２電気機械変換部３４２は、送話口および受話口として動作するように制御されても良い。

このような変形形態における携帯端末装置ＴＡｂは、図４に示すように、ＴＡ通信ＩＦ部３１と、ＴＡ制御処理部３２ｂと、ＴＡ記憶部３３と、ＴＡ音入出力部３４と、ＴＡ入力部３５と、ＴＡ表示部３６と、ＴＡＩＦ部３７と、離接センサ部３８と、姿勢センサ部３９とを備える。これら変形形態の携帯端末装置ＴＡｂにおけるＴＡ通信ＩＦ部３１、ＴＡ記憶部３３、ＴＡ音入出力部３４、ＴＡ入力部３５、ＴＡ表示部３６、ＴＡＩＦ部３７、離接センサ部３８および姿勢センサ部３９は、それぞれ、上述の携帯端末装置ＴＡａにおけるＴＡ通信ＩＦ部３１、ＴＡ記憶部３３、ＴＡ音入出力部３４、ＴＡ入力部３５、ＴＡ表示部３６、ＴＡＩＦ部３７、離接センサ部３８および姿勢センサ部３９と同様であるので、その説明を省略する。

ＴＡ制御処理部３２ｂは、ＴＡ制御処理部３２ａと同様に、携帯端末装置ＴＡｂの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Ｏｂに対する前記監視情報を受け付けて表示し、ナースコールの応答や声かけするための回路である。この変形形態のＴＡ制御処理部３２ｂは、制御処理プログラムが実行されることによって、ＴＡ制御部３２１ｂ、ＴＡ監視処理部３２２、ＴＡ通話処理部３２３、ＴＡストリーミング処理部３２４、離接判定部３２５および姿勢判定部３２６を機能的に備える。これら変形形態のＴＡ制御処理部３２ｂにおけるＴＡ監視処理部３２２、ＴＡ通話処理部３２３、ＴＡストリーミング処理部３２４、離接判定部３２５および姿勢判定部３２６は、それぞれ、上述のＴＡ制御処理部３２ａにおけるＴＡ監視処理部３２２、ＴＡ通話処理部３２３、ＴＡストリーミング処理部３２４、離接判定部３２５および姿勢判定部３２６と同様であるので、その説明を省略する。

ＴＡ制御部３２１ｂは、携帯端末装置ＴＡｂの各部を当該各部の機能に応じてそれぞれ制御し、携帯端末装置ＴＡｂの全体制御を司るものである。この変形形態では、ＴＡ制御部３２１ｂは、第１ないし第３判定処理それぞれの結果、第１判定処理の判定結果が肯定であって、さらに、第２および第３判定処理それぞれの各判定結果のうちの少なくとも一方の判定結果が肯定であった場合に、第１電気機械変換部３４１の動作を停止し、第２電気機械変換部３４２を送話口および受話口として動作するように制御する。すなわち、ＴＡ制御部３２１ｂは、タッチパネルを構成するＴＡ入力部３５で「話す」ボタン５２５の入力操作を受け付け、さらに、離接判定部３２５および姿勢判定部３２６のうちの少なくとも一方によって前記通話の要求を判定した場合を、最終的な前記通話の要求を検出した場合とし、第１電気機械変換部３４１の動作を停止し、第２電気機械変換部３４２を送話口および受話口として動作するように制御する。

このような変形形態の携帯端末装置ＴＡｂにおける第１および第２電気機械変換部３４１、３４２の制御について説明する。図１０は、実施形態の被監視者監視システムにおける携帯端末装置の第１および第２電気機械変換部の制御に関する第２態様の動作を示すフローチャートである。

図１０において、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂのＴＡ制御部３２１ｂによって、センサ装置ＳＵの撮像部１１で撮像した画像をＴＡ表示部３６に表示している場合に、さらに、第１判定処理を実行し、その結果、タッチパネルを構成するＴＡ入力部３５で「話す」ボタン５２５の入力操作を受け付けていると（Ｓ３１）、ＴＡ制御処理部３２ｂの離接判定部３２５によって、離接センサ部３８の第１センサ出力を取得する（Ｓ３２）。

次に、携帯端末装置ＴＡｂは、離接判定部３２５によって、第２判定処理として、処理Ｓ３２で取得した離接センサ部３８の第１センサ出力に基づいて人の離間か否かを判定する（Ｓ３３）。この判定の結果、人の離間である場合（Ｙｅｓ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３６を実行する。一方、前記判定の結果、人の離間ではない場合（Ｎｏ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３４を実行する。なお、人の離間か否かの判定に代え、携帯端末装置ＴＡｂは、離接判定部３２５によって、第２判定処理として、人の近接か否かを判定しても良い。この場合では、その判定の結果、人の近接である場合（Ｙｅｓ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３４を実行し、人の近接ではない場合（Ｎｏ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３６を実行する。

処理Ｓ３４では、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂの姿勢判定部３２６によって、姿勢センサ部３９の第２センサ出力を取得する。

この処理Ｓ３４の次に、携帯端末装置ＴＡｂは、姿勢判定部３２６によって、第３判定処理として、処理Ｓ３３で取得した姿勢センサ部３９の第２センサ出力に基づいて、当該携帯端末装置ＴＡｂの姿勢が、第１電気機械変換部３４１の第１配設位置と第２電気機械変換部３４２の第２配設位置とを結ぶ前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢であるか否かを判定する（Ｓ３５）。この判定の結果、当該携帯端末装置ＴＡｂの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢である場合（Ｙｅｓ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３６を実行する。一方、前記判定の結果、当該携帯端末装置ＴＡｂの姿勢が、前記線分ＬＮの延長方向が垂直方向よりも水平方向に近い姿勢ではない場合（Ｎｏ）には、携帯端末装置ＴＡｂは、ＴＡ制御処理部３２ｂによって処理Ｓ３９を実行する。

処理Ｓ３６では、ＴＡ制御処理部３２ｂは、処理Ｓ２２と同様に、ＴＡ制御部３２１ｂによって第１電気機械変換部３４１の動作を停止するように制御する。

この処理Ｓ３６の次に、ＴＡ制御処理部３２ｂは、処理Ｓ２３と同様に、ＴＡ制御部３２１ｂによって第２電気機械変換部３４１を送話口および受話口として動作するように制御する（Ｓ３７）。

これら処理Ｓ３６および処理Ｓ３７の各処理によって、第１および第２電気機械変換部３４１、３４２は、いわゆるスピーカフォンのモードで動作する。

この処理Ｓ３７の次に、ＴＡ制御処理部３２ｂは、処理Ｓ２４と同様に、ＴＡ通話処理部３２３によって通話の終了であるか否かを判定する（Ｓ３８）。この判定の結果、通話の終了である場合（Ｙｅｓ）には、ＴＡ制御処理部３２ｂは、次に処理Ｓ３９を実行する。一方、前記判定の結果、通話の終了ではない場合（Ｎｏ）には、ＴＡ制御処理部３２ｂは、処理を処理Ｓ３８に戻す。すなわち、通話が終了するまで、処理Ｓ３８が繰り返される。

処理Ｓ３９では、ＴＡ制御処理部３２ｂは、処理Ｓ２５と同様に、ＴＡ制御部３２１ｂによって第１電気機械変換部３４１を受話口として動作するように制御する。

この処理Ｓ３９の次に、ＴＡ制御処理部３２ｂは、処理Ｓ２６と同様に、ＴＡ制御部３２１ｂによって第２電気機械変換部３４１を送話口として動作するように制御する（Ｓ４０）。

これら処理Ｓ３９および処理Ｓ４０の各処理によって、第１および第２電気機械変換部３４１、３４２は、デフォルトのモードで動作する。

なお、上述において、処理Ｓ３２および処理Ｓ３３が省略され、処理Ｓ３１の次に処理Ｓ３４が実行され、その他の処理は、上述と同様に実行されても良い。また、上述において、処理Ｓ３４および処理Ｓ３５が省略され、処理Ｓ３３で、人の離間ではない場合（Ｎｏ）には、処理Ｓ３９が実行され、その他の処理は、上述と同様に実行されても良い。また、上述において、処理Ｓ３３で、人の離間である場合（Ｙｅｓ）には、処理Ｓ３４が実行され、人の離間ではない場合（Ｎｏ）には、処理Ｓ３９が実行され、その他の処理は、上述と同様に実行されても良い。

このような変形形態における被監視者監視システムＭＳ、端末装置ＳＰ、ＴＡｂおよびこれに実装された動作制御方法は、「話す」ボタン５２５の入力操作を受け付けて音声通話を実行する場合に、例えば図９Ｂに示すようにＴＡ表示部３６の画像を見ながら通話したい場合と、例えば図９Ａに示すようにＴＡ表示部３６の画像を見ずに通話したい場合とを自動的に切り分けることができ、ＴＡ表示部３６の画像を見ながら通話したい場合のみ、第２電気機械変換部３４２を送話口および受話口として動作するように制御できる。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる端末装置は、撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と通信可能に接続される端末装置であって、表示を行う表示部と、電気信号を機械振動信号に変換し、受話口として動作する第１電気機械変換部と、電気信号と機械振動信号との間で相互に変換し、送話口として動作する第２電気機械変換部と、前記センサ装置の前記通話部との間における通話の要求を検出する通話検出部と、前記通話検出部の検出結果を受け、前記表示部、前記第１電気機械変換部および前記第２電気機械変換部それぞれを制御する制御部とを備える。そして、前記制御部は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出部が前記通話の要求を検出した場合、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する。好ましくは、上述の端末装置において、前記制御部は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出部が前記通話の要求を検出した場合、前記第１電気機械変換部の動作を停止し、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する。

このような端末装置は、センサ装置の撮像部で撮像した画像を表示部に表示している場合に、さらに、通話検出部が通話の要求を検出した場合、第２電気機械変換部を送話口および受話口として動作するように制御する制御部を備えるので、通話のために、端末装置の第１電気機械変換部を耳元に近づけ、その第２電気機械変換部を口元に近づけなくても、第２電気機械変換部で送話でき、受話できる。したがって、上記端末装置は、画像を見ながら被監視者と通話できる。

他の一態様では、上述の端末装置において、前記通話検出部は、前記通話の要求を受け付ける通話要求入力部を含む。

このような端末装置は、通話要求入力部で監視者（ユーザ）による通話の要求を受け付けることができ、監視者における通話の要求を直接的に検出できる。

他の一態様では、これら上述の端末装置において、前記通話検出部は、人の離接を検知する離接センサ部と、前記離接センサ部の第１センサ出力に基づいて、人の離間を前記通話の要求として判定する離接判定部とを含むことを特徴とする。好ましくは、上述の端末装置において、前記離接センサ部は、静電容量式の人感センサである。また好ましくは、上述の端末装置において、前記離接センサ部は、赤外線式の人感センサである。

このような端末装置は、離接センサ部の第１センサ出力に基づいて人の離接を判定し、人の離間と判定した場合を前記通話の要求として判定する。したがって、上記端末装置は、監視者における通話の要求を離接センサ部および離接判定部によって自動的に検出できる。

他の一態様では、これら上述の端末装置において、前記通話検出部は、当該端末装置の姿勢を検出する姿勢センサ部と、前記姿勢センサ部の第２センサ出力に基づいて、当該端末装置の姿勢が、前記第１電気機械変換部の第１配設位置と前記第２電気機械変換部の第２配設位置とを結ぶ線分の延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定する姿勢判定部とを含む。好ましくは、上述の端末装置において、前記姿勢センサ部は、ジャイロセンサである。

このような端末装置は、姿勢センサ部の第２センサ出力に基づいて当該端末装置の姿勢を判定し、当該端末装置の姿勢が、第１電気機械変換部の第１配設位置と第２電気機械変換部の第２配設位置とを結ぶ線分の延長方向が垂直方向よりも水平方向に近い姿勢であると判定した場合を前記通話の要求として判定する。したがって、上記端末装置は、監視者における通話の要求を姿勢センサ部および姿勢判定部によって自動的に検出できる。

他の一態様では、上述の端末装置において、前記通話検出部は、前記通話の要求を受け付ける通話要求入力部と、人の離接を検知する離接センサ部および前記離接センサ部の第１センサ出力に基づいて人の離間を前記通話の要求として判定する離接判定部、ならびに、当該端末装置の姿勢を検出する姿勢センサ部および前記姿勢センサ部の第２センサ出力に基づいて当該端末装置の姿勢が、前記第１電気機械変換部の第１配設位置と前記第２電気機械変換部の第２配設位置とを結ぶ線分の延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定する姿勢判定部、のうちの少なくとも一方とを含み、前記制御部は、前記通話要求入力部で前記通話の要求を受け付け、さらに、前記少なくとも一方によって前記通話の要求を判定した場合を、前記通話検出部が前記通話の要求を検出した場合とする。

このような端末装置は、表示部の画像を見ながら通話したい場合と、表示部の画像を見ずに通話したい場合とを切り分けることができ、前記表示部の画像を見ながら通話したい場合のみ、第２電気機械変換部を送話口および受話口として動作するように制御できる。

他の一態様にかかる端末装置の動作制御方法は、撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と通信可能に接続される端末装置の動作を制御する端末装置の動作制御方法であって、前記センサ装置の前記通話部との間における通話の要求を検出する通話検出工程と、表示を行う表示部、電気信号を機械振動信号に変換し、受話口として動作する第１電気機械変換部、および、電気信号と機械振動信号との間で相互に変換し、送話口として動作する第２電気機械変換部それぞれを制御する制御工程とを備える。そして、前記制御工程は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出工程で前記通話の要求を検出した場合、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する。

このような端末装置の動作制御方法は、センサ装置の撮像部で撮像した画像を表示部に表示している場合に、さらに、通話検出工程で通話の要求を検出した場合、第２電気機械変換部を送話口および前記受話口として動作するように制御する制御工程を備えるので、通話のために、端末装置の第１電気機械変換部を耳元に近づけ、その第２電気機械変換部を口元に近づけなくても、第２電気機械変換部で送話でき、受話できる。したがって、上記端末装置の動作制御方法は、画像を見ながら被監視者と通話できる。

他の一態様にかかる被監視者監視システムは、撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と、前記センサ装置と通信可能に接続される端末装置とを備え、前記撮像部で撮像された画像に基づいて監視対象である被監視者における所定の行動を検知して検知結果を前記端末装置に報知する被監視者監視システムであって、前記端末装置は、これら上述のいずれかの端末装置である。

このような被監視者監視システムは、これら上述のいずれかの端末装置を備えるので、画像を見ながら被監視者と通話できる。

この出願は、２０１６年２月１６日に出願された日本国特許出願特願２０１６−２６６６２を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、端末装置および端末装置の動作制御方法ならびに被監視者監視システムが提供できる。

Claims (7)

1. 撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と通信可能に接続される端末装置であって、
   表示を行う表示部と、
   電気信号を機械振動信号に変換し、受話口として動作する第１電気機械変換部と、
   電気信号と機械振動信号との間で相互に変換し、送話口として動作する第２電気機械変換部と、
   前記センサ装置の前記通話部との間における通話の要求を検出する通話検出部と、
   前記通話検出部の検出結果を受け、前記表示部、前記第１電気機械変換部および前記第２電気機械変換部それぞれを制御する制御部とを備え、
   前記制御部は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出部が前記通話の要求を検出した場合、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する、
   端末装置。
2. 前記通話検出部は、前記通話の要求を受け付ける通話要求入力部を含む、
   請求項１に記載の端末装置。
3. 前記通話検出部は、人の離接を検知する離接センサ部と、前記離接センサ部の第１センサ出力に基づいて、人の離間を前記通話の要求として判定する離接判定部とを含む、
   請求項１または請求項２に記載の端末装置。
4. 前記通話検出部は、当該端末装置の姿勢を検出する姿勢センサ部と、前記姿勢センサ部の第２センサ出力に基づいて、当該端末装置の姿勢が、前記第１電気機械変換部の第１配設位置と前記第２電気機械変換部の第２配設位置とを結ぶ線分の延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定する姿勢判定部とを含む、
   請求項１なしい請求項３のいずれか１項に記載の端末装置。
5. 前記通話検出部は、
   前記通話の要求を受け付ける通話要求入力部と、
   人の離接を検知する離接センサ部および前記離接センサ部の第１センサ出力に基づいて人の離間を前記通話の要求として判定する離接判定部、ならびに、当該端末装置の姿勢を検出する姿勢センサ部および前記姿勢センサ部の第２センサ出力に基づいて当該端末装置の姿勢が、前記第１電気機械変換部の第１配設位置と前記第２電気機械変換部の第２配設位置とを結ぶ線分の延長方向が垂直方向よりも水平方向に近い姿勢である場合を前記通話の要求として判定する姿勢判定部、のうちの少なくとも一方とを含み、
   前記制御部は、前記通話要求入力部で前記通話の要求を受け付け、さらに、前記少なくとも一方によって前記通話の要求を判定した場合を、前記通話検出部が前記通話の要求を検出した場合とする、
   請求項１に記載の端末装置。
6. 撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と通信可能に接続される端末装置の動作を制御する端末装置の動作制御方法であって、
   前記センサ装置の前記通話部との間における通話の要求を検出する通話検出工程と、
   表示を行う表示部、電気信号を機械振動信号に変換し、受話口として動作する第１電気機械変換部、および、電気信号と機械振動信号との間で相互に変換し、送話口として動作する第２電気機械変換部それぞれを制御する制御工程とを備え、
   前記制御工程は、前記センサ装置の前記撮像部で撮像した画像を前記表示部に表示している場合に、さらに、前記通話検出工程で前記通話の要求を検出した場合、前記第２電気機械変換部を前記送話口および前記受話口として動作するように制御する、
   端末装置の動作制御方法。
7. 撮像を行う撮像部と通話を行う通話部とを備えるセンサ装置と、前記センサ装置と通信可能に接続される端末装置とを備え、前記撮像部で撮像された画像に基づいて監視対象である被監視者における所定の行動を検知して検知結果を前記端末装置に報知する被監視者監視システムであって、
   前記端末装置は、請求項１ないし請求項５のいずれか１項に記載の端末装置である、
   被監視者監視システム。

Images