以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
本実施の形態に係るテレビ電話は、カメラで撮影された映像を用いて、使用者がテレビ電話の前で停止したかを判定し、使用者がテレビ電話の前で停止した場合に、自動的に、予め登録されている連絡先を呼び出す。これにより、当該テレビ電話は、使用者による操作を簡略化できるとともに、不必要な通話の開始を抑制できる。
まず、本実施の形態に係るテレビ電話システムの構成を説明する。図1は、本実施の形態に係るテレビ電話システム100の構成を示す図である。
このテレビ電話システム100は、被介護者宅等に設置されたテレビ電話101と、介護センター等に設置されたテレビ電話102とを含む。テレビ電話101と、テレビ電話102とは、ネットワーク104等を介して接続されており、テレビ電話101とテレビ電話102との間で、映像及び音声を用いた通話を行う。
なお、テレビ電話システム100は、さらに、被介護者の息子宅等に設置されているテレビ電話103と通話可能であってもよい。
図2は、テレビ電話101の構成を示す図である。例えば、テレビ電話101は、カメラ111と、表示部112(ディスプレイ)とを備える。また、テレビ電話101は、マイク113及びスピーカ114(図示せず)を備える。また、テレビ電話101は、タッチパネル等の入力部を備える。
また、テレビ電話102及び103の外観は、例えば、図2と同様である。なお、テレビ電話101〜103の外観は、図2の例に限定されない。また、テレビ電話101〜103は、専用のテレビ電話端末であってもよいし、パーソナルコンピュータ、タブレット端末又はスマートフォン等により実現されてもよい。カメラ111、表示部112、マイク113及びスピーカ114の一部は又は全ては、機器本体に内蔵されていてもよいし、外付けされてもよい。
図3は、被介護者用のテレビ電話101のブロック図である。このテレビ電話101は、カメラ111と、表示部112と、マイク113と、スピーカ114と、判定部115と、呼出部116と、通話部117と、記憶部118とを備える。
カメラ111は、例えば、テレビ電話101の画面前方を撮影することで映像信号を生成する。具体的には、カメラ111は、テレビ電話101の画面前方の通話対象領域140を含む領域の映像を撮影する。通話対象領域140は、使用者がテレビ電話101による通話を行う際に、当該使用者が位置すると想定される領域である。
マイク113は、テレビ電話101の周辺の音声を取得することで音声信号を生成する。
表示部112は、通話時に、相手端末から送信された映像を表示する。スピーカ114は、通話時に、相手端末から送信された音声を出力する。
判定部115は、カメラ111で撮影された映像を用いて、使用者が通話対象領域140内に停止したかを判定する。具体的には、判定部115は、使用者が通話対象領域140内に入ったかを判定するとともに、使用者が通話対象領域140から出たかを判定する。判定部115は、使用者が通話対象領域140内に入った後、所定時間、使用者が通話対象領域140から出ない場合に、使用者が通話対象領域140内に停止したと判定する。
記憶部118は、予め設定された連絡先を示す情報を保持する。例えば、この情報は、介護センターに設けられたテレビ電話102を示す。
呼出部116は、判定部115により、使用者が通話対象領域140内に停止したと判定された場合に、記憶部118に記憶されている連絡先を呼び出す。具体的には、呼出部116は、使用者が通話対象領域140内に入ったと判定され、かつ、使用者が通話対象領域140内に入ったと判定された後、所定時間、使用者が通話対象領域140から出たと判定されない場合、予め登録された連絡先(例えば、テレビ電話102)に呼出信号及び、カメラ111で撮影された映像を送信する。
通話部117は、連絡先(テレビ電話102)と映像及び音声を用いた通話を行う。具体的には、通話部117は、呼出信号に対する連絡先(テレビ電話102)からの通話開始指示を受信した場合に、連絡先(テレビ電話102)と映像及び音声を用いた通話を開始する。
図4は、介護者用のテレビ電話102のブロック図である。なお、テレビ電話103の構成も同様である。このテレビ電話102は、カメラ121と、表示部122と、マイク123と、スピーカ124と、通話部127と、操作受付部128とを備える。なお、カメラ121、表示部122、マイク123及びスピーカ124の機能は、カメラ111、表示部112、マイク113及びスピーカ114と同様であり、説明は省略する。
操作受付部128は、例えば、タッチパネルを介して入力された、使用者(介護者)による操作を受け付ける。
通話部127は、テレビ電話101と映像及び音声を用いた通話を行う。具体的には、通話部127は、テレビ電話101からの呼出信号及び映像を受信した際、当該映像を表示部122に表示する。その後、操作受付部128が受け付けた使用者の操作に応じて、テレビ電話101と映像及び音声を用いた通話を開始する。
以下、本実施の形態に係るテレビ電話システム100の動作を説明する。図5は、テレビ電話システム100の動作を示す図である。
まず、テレビ電話101は、被介護者がテレビ電話101の前で停止したことを検知する(S101)。なお、この処理の詳細は後述する。
被介護者がテレビ電話101の前で停止したことが検知された場合、テレビ電話101は、テレビ電話102へ、呼出信号及び、カメラ111で撮影された映像を送信する(S102及びS103)。
呼出信号及び映像を受信したテレビ電話102は、呼び出しを受けた旨、及び受信した映像を表示する。また、テレビ電話102は、呼び出し音を出力してもよい。
図6は、テレビ電話102における表示例を示す図である。例えば、図6に示すように、呼出信号及び映像を受信したテレビ電話102は、呼び出しを受けた旨を示すメッセージ131と、受信した映像132とを表示する。また、テレビ電話102は、通話開始を指示するための通話開始ボタン133、及び通話を開始しないことを指示するための通話拒否ボタン134を表示する。
介護者により通話開始ボタン133が選択された場合、テレビ電話102は、通話開始を受け付け(S104)、テレビ電話101に通話開始指示を送信する(S105)。
通話開始指示を受信したテレビ電話101は、テレビ電話102と映像及び音声を用いた通話を開始する(S106)。なお、通話開始指示は、テレビ電話102からの映像及び音声の送信より前に行われてもよいし、映像及び音声の送信と同時に行われてもよい。
一方、介護者により通話拒否ボタン134が選択された場合、テレビ電話102は、テレビ電話101との映像及び音声を用いた通話を開始しない。なお、この場合、テレビ電話102は、通話拒否の旨を示す信号をテレビ電話101へ送信し、テレビ電話101は、通話が拒否された旨を、映像及び音声の少なくとも一方により被介護者に通知してもよい。
以上により、テレビ電話101は、使用者がテレビ電話101の前に停止した場合に、自動的に、予め登録されている連絡先を呼び出す。これにより、使用者は、テレビ電話101に対する発信操作を行うことなく、予め登録されている連絡先を呼び出すことができる。
さらに、テレビ電話101は、使用者がテレビ電話101の前で停止したかを判定する。これにより、使用者がテレビ電話101の前を通過した場合等に、不必要に呼び出しが行われることを防止できる。
さらに、テレビ電話101は、テレビ電話において通常使用されるカメラ111で得られた映像から使用者がテレビ電話101の前に来たかを判定できる。これにより、人感センサ等を別途用いる必要がないので、コストを低下できる。
さらに、テレビ電話101は、呼び出しの際に、映像も合わせてテレビ電話102へ送信する。これにより、テレビ電話102を使用する被介護者は、当該映像を参照することで、誤って呼び出しが行われたかを判断できる。これにより、当該テレビ電話システム100は、不必要な通話の開始を抑制できる。
なお、テレビ電話101は、呼び出しに対するテレビ電話102からの応答が所定の時間ない場合には、他の予め登録されているテレビ電話(例えば、テレビ電話103)へ、呼出信号及び、カメラ111で撮影された映像を送信してもよい。
また、ここでは、テレビ電話101は、呼出信号の送信時に、映像のみを送信しているが、映像及び音声を送信してもよい。
次に、テレビ電話101による、被介護者がテレビ電話101の前で停止したかを判定する処理(図5のS101)の詳細を説明する。図7は、この処理の流れを示すフローチャートである。
まず、テレビ電話101の判定部115は、カメラ111で撮影された映像を用いて、使用者が通話対象領域140に入ったかを判定する(S121)。具体的には、判定部115は、カメラ111で撮影された映像に含まれる複数の画像の各々における、通話対象領域140の動き量を順次算出する。判定部115は、算出された動き量を用いて、使用者が通話対象領域140に入ったかを判定する。
より具体的には、判定部115は、通話対象領域140の動き量を用いて、通話対象領域140に動きがあるかを判定する。判定部115は、通話対象領域140に動きがある場合、使用者が通話対象領域140に入ったと判定する。
図8は、テレビ電話101とその周辺の領域の上面図であり、通話対象領域140の一例を示す図である。図8に示すように、通話対象領域140は、カメラ111の撮像範囲内の一部の領域である。また、通話対象領域140は、水平方向(図8の横方向)の幅及び奥行き方向(図8の縦方向)の幅を有する領域である。例えば、通話対象領域140は、水平方向における、カメラ111の撮像範囲の中央の領域である。なお、通話対象領域140は、垂直方向(図8の紙面に垂直な方向)の幅を有してもよい。また、図8では、通話対象領域140を矩形で示しているが、矩形でなくてもよい。
使用者が通話対象領域140に入った場合(S121でYes)、次に、判定部115は、使用者が通話対象領域140から出たかを判定する(S122)。具体的には、判定部115は、カメラ111で撮影された映像に含まれる複数の画像の各々における、通話対象領域140の動き量を順次算出する。判定部115は、算出された動き量を用いて、使用者が通話対象領域140から出たかを判定する。
より具体的には、判定部115は、使用者が通話対象領域140に入ったと判定された後、処理対象の画像における通話対象領域140の端の領域である端領域の動き量が、処理対象の画像の前の画像における端領域の動き量より減少し、かつ、処理対象の画像の通話対象領域140に動きがない場合、使用者が通話対象領域140から出たと判定する。
使用者が通話対象領域140から出たと判定された場合(S122でYes)は、例えば、使用者が通話対象領域140で停止せず、カメラ111を通過した場合なので、判定部115は、使用者がテレビ電話101の前に停止したとは判定せず、再度、ステップS121以降の処理を行う。
一方、使用者が通話対象領域140から出たと判定されず(S122でNo)、かつ、所定の時間が経過した場合(S123でYes)、判定部115は、使用者がテレビ電話101の前に停止したとは判定する(S124)。
以下、テレビ電話101の判定部115による、使用者が通話対象領域140に入ったかを判定する処理(図7のS121)の詳細を説明する。図9は、この処理のフローチャートである。例えば、図9に示す処理は、カメラ111で撮影された映像の1フレームごとに行われる。なお、この処理は、カメラ111で撮影された映像の複数フレームごとに行われてもよいし、所定の時間間隔で行われてもよい。
まず、判定部115は、画像の動き量を算出する。具体的には、判定部115は、カメラ111で撮影された映像から各画素の移動ベクトル量を算出する(S141)。例えば、判定部115は、現在の画像と過去の画像とを用いて、オプティカルフローによるブロックマッチング等により移動ベクトル量を算出する。
図10は、カメラ111で撮影された画像150に対する判定部115の処理を説明するための図である。
図10に示すように、判定部115は、画像150を、通話対象領域151と、除外領域152A及び152Bとに分割する。通話対象領域151は、例えば、画像150の中央の領域であり、図8に示す通話対象領域140における平面位置(水平及び垂直方向の平面)に対応する領域である。
除外領域152A及び152Bは、画像150の端の領域であり、この領域は、判定部115による処理には用いられない。なお、除外領域152A及び152Bは、必ずしも設けられる必要はなく、画像150全体が、通話対象領域151であってもよい。
また、図10では、除外領域152A及び152Bが、画像150の水平方向の両端に設けられているが、いずれか一方のみが設けられていてもよい。また、除外領域が画像150の垂直方向の両端(上端及び下端)又は一端に設けられていてもよい。
また、ステップS141では、通話対象領域151に含まれる全ての画素の移動ベクトル量が算出される。
次に、判定部115は、通話対象領域151を横方向(水平方向)に並ぶ複数の小領域153A〜153Dに分割する。図10に示す例では、通話対象領域151が4つの小領域153A〜153Dに分割されているが、通話対象領域151は3以上の小領域に分割されればよい。また、図10では、複数の小領域153A〜153Dのサイズは略等しいが、異なってもよい。
次に、判定部115は、各小領域153A〜153Dの移動ベクトル量の総和を算出する(S142)。
なお、ここでは、各小領域の動き量として、移動ベクトル量の総和を算出する例を説明するが、判定部115は、他の方法により、各小領域の動き量を算出してもよい。例えば、判定部115は、各画素に動きがあるか否かを判定し、動きがあると判定された画素の数を動き量として算出してもよい。この場合、判定部115は、例えば、対象の画素の移動ベクトル量が予め定められた閾値以上である場合、対象の画素に動きがあると判定する。または、判定部115は、移動ベクトル量を算出せず、画素値に変化のある画素を動きがある画素と判定してもよい。また、判定部115は、移動ベクトル量の総和の代わりに、平均値又は中央値等を用いてもよい。
次に、判定部115は、小領域153A〜153Dの動き量(移動ベクトル量の総和)が全ての閾値V0以上であるかを判定する(S143)。言い換えると、判定部115は、小領域153A〜153Dの全てに動きがあるかを判定する。
図11は、各小領域の動き量の例を示す図である。図11の(a)に示す例は、全ての小領域153A〜153Dの動き量が閾値V0以上の場合の例である。このような場合には、通話対象領域151内に動きがあるものの、例えば、室内の電灯のオン及びオフが切り替えられた可能性がある。よって、このような場合(S143でYes)には、判定部115は、使用者が通話対象領域140内に入ったとは判定せず、処理を終了する。
小領域153A〜153Dの動き量が全ての閾値V0以上ではない場合(S143でNo)、判定部115は、隣り合う小領域の動き量が共に閾値V1以上であるかを判定する(S144)。言い換えると、判定部115は、隣り合う小領域に共に動きがあるかを判定する。図10に示す例では、判定部115は、小領域153A及び153Bの組、小領域153B及び153Cの組、及び小領域153C及び153Dの組の3つの組の各々に対して、当該組に含まれる小領域の動き量が共に閾値V1以上であるかを判定する。そして、判定部115は、3つの組のうち少なくとも一つの組に含まれる小領域の動き量が共に閾値V1以上である場合(S144でYes)、使用者が通話対象領域140に入ったと判定する(S145)。一方、判定部115は、3つの組のいずれにおいて、当該組に含まれる小領域の動き量が共に閾値V1以上でない場合(S144でNo)、使用者が通話対象領域140内に入ったとは判定せず、処理を終了する。
つまり、図11の(b)及び(c)に示す例の場合、判定部115は、隣り合う小領域の動き量が共に閾値V1以上であると判定する(S144でYes)。また、図11の(d)、(e)及び(f)に示す例の場合、判定部115は、隣り合う小領域の動き量が共に閾値V1以上であると判定しない(S144でNo)。
ここで、図12A及び図12Bに示すように、各小領域の幅W1は、使用者が通話対象領域140内に存在する場合に想定される画像150における使用者の幅に対応する使用者幅より狭い。また、連続する2つの小領域の合計の幅W2は、使用者幅より広い。
よって、一つの小領域のみに動きがある場合とは、図12Bに示すように、通話対象領域140に対してカメラ111から遠い位置に、使用者が存在する場合である。よって、判定部115は、このような場合には、使用者が通話対象領域140に入ったとは判定しない。
一方、連続する2つの小領域に共に動きがある場合とは、図12Aに示すように、カメラ111から適切な距離に使用者がいる場合である。つまり、この場合とは、通話対象領域140内に使用者がいる場合である。よって、判定部115は、このような場合には、使用者が通話対象領域140に入ったと判定する。
このように、判定部115は、奥行き方向の位置を考慮した判定を実現できる。
なお、上記閾値V1は、閾値V0と同じ値であってもよいし、異なる値であってもよい。
また、ここでは、判定部115は、連続する2つの小領域に共に動きがあるか否かを判定しているが、判定に用いる、連続する小領域の数は3以上であってもよい。
また、判定部115は、上記のように小領域が4つである場合において、連続する小領域の数が3である場合は、使用者が通話対象領域140に入ったとは判定しなくてもよい。これは、カメラ111の近くに使用者が存在する場合である。連続する領域の数が3である場合に、使用者が通話対象領域140に入ったとは判定しないことにより、このような場合に、使用者が通話対象領域140に入ったと誤って判定されることを防止できる。
また、判定に用いられる連続する小領域の数及び幅は、上記使用者幅に基づき、適宜決定される。なお、小領域の数を増加させることで、判定の精度を向上できる。一方、小領域の数を減少させることで、処理量を低減できる。
また、ここでは、判定部115は、連続する2以上の領域の動き量が共に閾値以上であるかを判定しているが、連続する2以上の領域の動き量の総和又は平均値が閾値以上であるかを判定してもよい。
また、ステップS143において、判定部115は、全ての小領域に動きがある場合に、使用者が通話対象領域140に入ったと判定しないが、予め定められた数以上の小領域に動きがある場合に、使用者が通話対象領域140に入ったと判定しなくてもよい。また、判定部115は、通話対象領域140に動きがある場合に、使用者が通話対象領域140に入ったと判定しなくてもよい。例えば、判定部115は、全ての小領域の合計の動き量が閾値以上である場合に、通話対象領域140に動きがあると判定してもよい。または、判定部115は、通話対象領域140に含まれる動きのある画素の数が閾値以上である場合に、通話対象領域140に動きがあると判定してもよい。
また、判定部115は、小領域の分割を行わず、単に、通話対象領域151に動きがあるかに応じて、使用者が通話対象領域140に入ったかを判定してもよい。
このように、判定部115は、通話対象領域151を横方向に並ぶ複数の小領域153A〜153Dに分割し、連続するN個(Nは2以上の整数)の小領域の全てに動きがある場合、使用者が通話対象領域140に入ったと判定する。
また、判定部115は、連続するN個の小領域の全てに動きがあっても、複数の小領域の全てに動きがある場合は、使用者が通話対象領域140に入ったと判定しない。
この場合、複数の小領域の各々の幅は、使用者が通話対象領域内に存在する場合の映像における当該使用者の幅に対応する使用者幅より狭い。
または、判定部115は、動きがある連続する小領域の数がM(Mは2以上の請求)個未満又はL個(L>M)以上の場合には、使用者が通話対象領域140に入ったと判定せず、動きがある連続する小領域の数がM個以上かつL個未満の場合には、使用者が通話対象領域140に入ったと判定してもよい。
この場合、小領域の幅は以下のように設定される。ここで、使用者が通話対象領域140内に存在する場合の映像における当該使用者の最小の幅及び最大の幅を最小使用者幅及び最大使用者幅と呼ぶ。つまり、最小使用者幅は、通話対象領域140のカメラ111から遠い側の端に使用者がいる場合の映像における当該使用者の幅に対応する。また、最大使用者幅は、通話対象領域140のカメラ111に近い側の端に使用者がいる場合の映像における当該使用者の幅に対応する。
この場合、連続する(M−1)個の小領域の合計の幅は、最小使用者幅より狭く、連続するL個の小領域の合計の幅は、最大使用者幅より広い。
例えば、小領域の数が10個であり、Mが3であり、Lが7の場合には、連続する小領域の数が0〜2個及び7〜9個の場合は、使用者が通話対象領域140に入ったと判定されない。また、連続する小領域の数が3〜6個の場合は、使用者が通話対象領域140に入ったと判定される。
また、判定部115、ステップS144の判定において、連続する予め定められた数のフレームに対する判定が全て「Yes」の場合、つまり、連続する予め定められた数のフレームの全てにおいて、動き量が閾値以上の組が存在する場合に、使用者が通話対象領域140に入ったと判定してもよい。または、判定部115は、連続する予め定められた数のフレームに対する判定のうち、所定の回数以上が「Yes」の場合に、使用者が通話対象領域140に入ったと判定してもよい。これにより、ノイズ等の影響による誤判定を防止できる。
以上により、判定部115は、少ない演算量で、使用者が通話対象領域140に入ったかを適切に判定できる。
次に、テレビ電話101の判定部115による、使用者が通話対象領域140から出たかを判定する処理(図7のS122)の詳細を説明する。図13は、この処理のフローチャートである。
判定部115は、使用者が通話対象領域140に入ったことが検出されたフレームの次のフレーム以降のフレームの各々に対して、使用者が通話対象領域140から出たかを判定する。なお、図13に示す処理は、カメラ111で撮影された映像の複数フレームごとに行われてもよいし、所定の時間間隔で行われてもよい。
まず、判定部115は、カメラ111で撮影された映像から各画素の移動ベクトル量を算出する(S161)。次に、判定部115は、各小領域153A〜153Dの移動ベクトル量の総和を算出する(S162)。なお、これらの処理は、図9に示すステップS141及びS142と同様であり、ステップS141及びS142と同様の変形例を適用してもよい。つまり、判定部115は、各小領域153A〜153Dの動き量を算出する。
次に、判定部115は、複数の小領域の動き量が全て閾値V3未満であるかを判定する(S163)。言い換えると、判定部115は、小領域153A〜153Dの全てに動きがないかを判定する。複数の小領域の動き量の少なくとも一つが閾値V3以上である場合(S163でNo)、判定部115は、使用者が通話対象領域140から出ていないと判定し、処理を終了する。
なお、判定部115は、通話対象領域140に動きがないかを判定してもよい。例えば、判定部115は、全ての小領域の合計の動き量(つまり、通話対象領域140に含まれる全ての画素の動き量の総和)が閾値未満であるかを判定してもよいし通話対象領域140に含まれる動きのある画素の数が閾値未満であるかを判定してもよい。
一方、複数の小領域の動き量が全て閾値未満である場合(S163でYes)、判定部115は、前回の判定から端部の小領域153A又は153Dの動き量が減少したかを判定する(S164)。具体的には、判定部115は、図14に示すように、端部の小領域の動き量が、前回の判定(例えば1フレーム前)より閾値V2以上減少したかを判定する。例えば、図14の(a)に示すように、小領域153Aの動き量が、前のフレームより閾値V2以上減少している場合には(S164でYes)、判定部115は、使用者が通話対象領域140から出たと判定する(S165)。同様に、図14の(b)に示すように、小領域153Dの動き量が、前のフレームより閾値V2以上減少している場合には(S164でYes)、判定部115は、使用者が通話対象領域140から出たと判定する(S165)。
なお、判定部115は、動き量の変化量を判定するのではなく、前のフレームにおいて動き量が閾値V3以上であり、後のフレームにおいて動き量が閾値V3未満である場合に、動き量が減少したと判定してもよい。なお、この判定に用いる閾値は、上述したステップS163で用いられる閾値と異なってもよい。さらに、これらの閾値は、使用者が通話対象領域140に入ったかの判定に用いられる閾値V0及びV1と同一であってもよいし、異なってもよい。
また、判定部115は、動き量の差分(減少量)を判定に用いるのではなく、動き量の比率(減少率)と閾値とを比較してもよい。
また、判定部115は、図14の(c)に示すように、端部の小領域153D及びその小領域153Dに隣接する小領域153Cの動き量が共に減少している場合に、使用者が通話対象領域140を出たと判定してもよい。また、判定部115は、端部の小領域153A及び153Dに限らず、端部の周辺の小領域(例えば、小領域153B又は153C)の動き量が共に減少し、かつ、全ての小領域に動きがない場合に、使用者が通話対象領域140を出たと判定してもよい。
また、判定部115は、全ての小領域に動きがないかを判定する代わりに、動きが減少した小領域以外の小領域に動きがないかを判定してもよい。
一方、前回の判定から端部の小領域153A及び153Dの動き量が減少していない場合(S164でYes)、判定部115は、使用者が通話対象領域140から出ていないと判定し、処理を終了する。
このように、判定部115は、使用者が通話対象領域140に入ったと判定した後、処理対象の画像における端の小領域153A又は153Dの動き量が、処理対象の画像の前の画像における端の小領域153A又は153Dの動き量より減少し、かつ、処理対象の画像における複数の小領域153A〜153Dの全てに動きがない場合、使用者が通話対象領域140から出たと判定する。
これにより、判定部115は、少ない演算量で、使用者が通話対象領域140から出たかを適切に判定できる。
なお、判定部115は、図7に示す処理に加え、図15に示すように、カメラ111で撮影された映像を用いて、使用者が通話対象領域140内に存在するかを判定してもよい(S125)。具体的には、判定部115は、通話対象領域140に動きがある場合に、使用者が通話対象領域140内に存在すると判定する。また、この処理の具体的な手法は、例えば、ステップS121の使用者が通話対象領域140に入ったかの判定と同様の処理により実現できる。なお、ステップS121で用いられる閾値V1と、ステップS125で用いられる閾値とは同一であってもよいし、異なってもよい。例えば、ステップS125で用いられる閾値は、ステップS121で用いられる閾値V1より小さくてもよい。
つまり、呼出部116は、判定部115により、使用者が通話対象領域140内に入ったと判定され(S121でYes)、かつ、使用者が通話対象領域140内に入ったと判定された後、所定時間の間、使用者が通話対象領域内に存在すると判定され(S125でYes)、かつ、使用者が通話対象領域140から出たと判定されない(S122でNo)場合(S123でYes)、予め登録された連絡先に呼出信号及び映像を送信する。
また、図15に示す例では、判定部115は、使用者が通話対象領域140から出たかを判定する処理(S122)と、使用者が通話対象領域140内に存在するかを判定する処理(S125)との両方を行っているが、いずれか一方の処理のみを行ってもよい。
また、判定部115は、図7に示す処理の代わりに、図16に示す処理を行ってもよい。図16に示す処理は、図7に示すステップS123の代わりにステップS126を含む。
判定部115は、ステップS126において、カメラ111で撮影された映像を用いて、使用者が通話対象領域140内で停止したかを判定する(S126)。具体的には、判定部115は、通話対象領域140に動きがない場合に、使用者が通話対象領域140内で停止したと判定する。例えば、判定部115は、全ての小領域153A〜153Dの動き量が閾値以下の場合に、通話対象領域140に動きがないと判定する。
つまり、呼出部116は、判定部115により、使用者が通話対象領域140内に入ったと判定され(S121でYes)、かつ、使用者が通話対象領域140内に入ったと判定された後、使用者が通話対象領域140から出たと判定されず(S122でNo)、かつ、使用者が通話対象領域内で停止したと判定された場合(S126でYes)、予め定められた連絡先に呼出信号及び映像を送信する。
また、上記説明では、判定部115は、通話対象領域140の動きを用いて、各種判定を行っているが、顔認識を用いてもよい。具体的には、判定部115は、ステップS121において、通話対象領域151内に人の顔が検出された場合に、使用者が通話対象領域140に入ったと判定する。また、判定部115は、ステップS122において、通話対象領域151から人の顔が検出さなくなった場合に、使用者が通話対象領域140から出たと判定する。また、判定部115は、ステップS125において、通話対象領域151内に人の顔が検出され、検出された顔が一定の大きさの顔である場合に、使用者が通話対象領域140内に存在すると判定する。
また、この場合、判定部115は、ステップS126において、上記と同様に通話対象領域151の動きを用いて使用者が通話対象領域内で停止したかを判定してもよいし、検出された顔領域の動き、又は顔領域を含む顔領域周辺の動きを用いて使用者が通話対象領域内で停止したかを判定してもよい。
また、テレビ電話101に使用者の顔の情報が予め登録され、判定部115は、登録されている顔の情報に一致する顔を対象に上記処理を行ってもよい。つまり、判定部115は、顔認識により、映像内に、予め登録された使用者の顔が検出された場合に、使用者が通話対象領域140内に入ったと判定してもよい。
また、上記説明では、テレビ電話101は、通話対象領域151を複数の小領域153A〜153Dに分割して、被介護者がテレビ電話101の前に来たかの判定を行う例を述べたが、以下の手法を用いてもよい。
例えば、テレビ電話101は、通話対象領域151を複数のブロック(例えば、各々が3×3画素のブロック)に分割する。次に、テレビ電話101は、各ブロックに動きがあるかを判定する。具体的には、テレビ電話101は、ブロックに含まれる複数の画素の各々に動きがあるかを判定する。例えば、上記と同様に、テレビ電話101は、動き量が閾値以上の画素、又は変化がある画素を動きがある画素と判定する。また、テレビ電話101は、ブロックに含まれる複数の画素のうち、動きのある画素の数が閾値以上の場合に、当該ブロックに動きがあると判定する。
次に、テレビ電話101は、連続して接する、動きがあると判定されたブロックの数を判定する。テレビ電話101は、この数が閾値以上の場合に、通話対象領域151に動きがあると判定する。つまり、テレビ電話101は、被介護者が通話対象領域140に入ったと判定する。
また、テレビ電話101は、この連続して接する、動きのあるブロックの集合体が、通話対象領域151の左右どちらかの端に接しながら消滅した場合に、被介護者が通話対象領域140から出たと判定する。
なお、ここでは、動きのある連続して接するブロックの数が判定されているが、動きのある連続する画素の数が用いられてもよい。
また、テレビ電話101は、画像全体の動き量の横方向のヒストグラムを用いてもよい。このヒストグラムは、例えば、1以上の画素行である単位行ごとに、当該単位行の動き量を示す情報である。つまり、ヒストグラムの横軸は、通話対象領域151の横方向の位置(単位行)を示し、その位置における縦軸は動き量を示す。なお、この動き量は、上記と同様の手法で算出できる。
テレビ電話101は、複数の単位行を含む単位長に、動きがある単位行が閾値以上存在する場合に、通話対象領域151に動きあると判定する。つまり、テレビ電話101は、被介護者が通話対象領域140に入ったと判定する。なお、上記単位長は、被介護者が通話対象領域140内に存在する場合の被介護者の幅に対応する。
また、テレビ電話101は、この単位長に含まれる、動きのある単位行が、通話対象領域151の左右どちらかの端に接しながら消滅した場合に、被介護者が通話対象領域140から出たと判定する。
以上、本発明の実施の形態に係るテレビ電話システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記説明では、判定部115は、通話対象領域151を横方向(水平方向)に並ぶ複数の小領域153A〜153Dに分割しているが、通話対象領域151を横方向及び縦方向に分割してもよい。
また、上記説明では、例えば1フレームごとの動き量に基づき、各種判定処理が行われているが、複数フレームごとの動き量に基づき、各種判定処理が行われてもよい。例えば、複数フレームの動き量の合計又は平均値等を用いて、各種判定処理が行われてもよい。これにより、ノイズの影響等を除外することができる。
また、判定部115が使用する映像は、カメラ111で撮影された映像そのものでなく、当該映像に所定の処理(ノイズ除去、不要な部分の削除又はフィルタ処理等)が施された後の映像であってもよい。
また、上記説明では、テレビ電話101は、1台のカメラ111を備えているが、複数のカメラ111を備えてもよい。この場合、テレビ電話101は、複数のカメラ111で撮影された複数の映像のうち1以上の映像を用いて、被介護者がテレビ電話の前に来たかを判定してもよい。また、テレビ電話101は、呼び出し時に、複数のカメラ111で撮影された複数の映像のうち1以上の映像を送信してもよい。また、上記判定に用いる映像と、送信される映像とは異なるカメラ111で撮影された映像であってもよい。
また、カメラ111は赤外線カメラであってもよい。
また、上記実施の形態に係るテレビ電話に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記処理に含まれる複数のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係るテレビ電話システム及びテレビ電話について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。