JP6675082B2 - 見守り装置、見守り方法、およびコンピュータプログラム - Google Patents

Description

本開示は、例えば子供などの見守り対象者を見守る装置および方法などに関する。

従来、子供などの見守り対象者を見守る見守り装置が提案されている（例えば、特許文献１参照）。特許文献１の見守り装置（カメラ映像配信システム）では、見守り対象者である子供をカメラによって監視する。つまり、このカメラによって得られた監視映像を端末装置に配信する。

特開２００１−３３９７０８号公報

しかしながら、上記特許文献１の見守り装置では、見守り対象者の移動に気付かない場合があり、見守り対象者を適切に見守ることができないという問題がある。つまり、上記特許文献１の見守り装置では、子供の様子をカメラの映像によって確認するため、例えば、その子供の保護者がスマートフォンに表示される例えばウェブサイトの画像に気を取られ、カメラの映像の確認を怠ることがある。その結果、保護者は、子供が遠くに離れていっても気付かずに、子供を適切に見守ることができない。

そこで、本開示の非限定的で例示的な一態様は、見守り対象者を適切に見守ることができる見守り装置などを提供する。

本開示の一態様に係る見守り装置は、筐体と、前記筐体の表面に配置されるディスプレイと、前記筐体の裏面に配置されるカメラと、前記カメラで撮像されるカメラ画像に基づいて、見守り対象者を決定する決定部と、前記カメラ画像中の前記見守り対象者の位置に基づいて、前記カメラ画像を含まないアプリケーション画像を前記ディスプレイに表示させる表示制御部と、を備える。

なお、この包括的または具体的な態様は、方法、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、見守り対象者を適切に見守ることができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、実施の形態１における見守り装置の機能的な構成を示す図である。 図２Ａは、実施の形態１における見守り装置の使用シーンの一例を示す図である。 図２Ｂは、実施の形態１における見守り装置の使用シーンの他の例を示す図である。 図３は、実施の形態１における、１人の対象者候補を見守り対象者として決定するためにディスプレイ１０７に表示される画像を示す図である。 図４は、実施の形態１における、２人の対象者候補から見守り対象者を決定するためにディスプレイ１０７に表示される画像を示す図である。 図５は、実施の形態１における、候補対象者の表示態様が強調される例を示す図である。 図６は、実施の形態１における、見守り対象者の位置に基づいて制御されるアプリケーション画像の一例を示す図である。 図７は、実施の形態１における、見守り対象者の位置に基づいて制御されるアプリケーション画像の他の例を示す図である。 図８は、実施の形態１における、見守り対象者の位置に基づいて制御されるアプリケーション画像のさらに他の例を示す図である。 図９は、実施の形態１における見守り方法を示すフローチャートである。 図１０は、実施の形態１における見守り方法を具体的に示すフローチャートである。 図１１Ａは、実施の形態１における、アプリケーション画像を一段階で移動させる処理を示すフローチャートである。 図１１Ｂは、実施の形態１における、アプリケーション画像を二段階で移動させる処理を示すフローチャートである。 図１１Ｃは、実施の形態１における、アプリケーション画像を変化距離に応じた任意の位置に移動させる処理を示すフローチャートである。 図１２は、実施の形態２における見守り装置の機能的な構成を示す図である。 図１３は、実施の形態２における、ユーザの瞳孔の動きに基づいて制御されるアプリケーション画像を示す図である。 図１４Ａは、実施の形態１および２の変形例に係る、アタッチメントが取りつけられた見守り装置の外観の一例を示す図である。 図１４Ｂは、実施の形態１および２の変形例に係る、見守り装置のカメラがアタッチメントを介して撮像する様子を示す図である。

見守り対象者を適切に見守ることができる本開示の一態様に係る見守り装置は、筐体と、前記筐体の表面に配置されるディスプレイと、前記筐体の裏面に配置されるカメラと、前記カメラで撮像されるカメラ画像に基づいて、見守り対象者を決定する決定部と、前記カメラ画像中の前記見守り対象者の位置に基づいて、前記カメラ画像を含まないアプリケーション画像を前記ディスプレイに表示させる表示制御部と、を備える。

これにより、カメラ画像における見守り対象者の位置に基づいて、アプリケーション画像が表示される。したがって、ユーザは、アプリケーション画像の内容に気を取られていても、そのアプリケーション画像の表示が見守り対象者の位置に応じて制御されるため、その見守り対象者の位置を把握することができる。これにより、見守り対象者を適切に見守ることができる。

例えば、前記表示制御部は、前記見守り対象者の位置に基づいて、前記ディスプレイにおける前記アプリケーション画像の位置を変更しもよい。

これにより、アプリケーション画像の位置が見守り対象者の位置に応じて変更されるため、ユーザは、そのアプリケーション画像の位置の変更によって、見守り対象者の位置の変化、つまり見守り対象者の移動を容易に把握することができる。また、見守り対象者の位置は、カメラとの間の相対的な位置である。したがって、ユーザが、カメラを備える見守り装置を、アプリケーション画像の位置の変更に応じて動かせば、見守り対象者を追跡するようにカメラを動かすことができる。その結果、アプリケーション画像の位置の変更を抑えることができ、ユーザは、見守り対象者を追跡しながら、そのアプリケーション画像をしっかりと閲覧することができる。

また、前記表示制御部は、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させてもよい。

これにより、アプリケーション画像が右にずれていれば、ユーザは、見守り対象者が右に移動したことを容易に把握することができる。逆に、アプリケーション画像が左にずれていれば、ユーザは、見守り対象者が左に移動したことを容易に把握することができる。

また、前記表示制御部は、前記見守り対象者が前記カメラ画像における中心に位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させてもよい。

これにより、アプリケーション画像がディスプレイ全体に表示されていれば、ユーザは、見守り対象者がカメラ画像における中心に位置していること、つまり、見守り対象者が大きく移動しておらず安全な位置にいることを、容易に把握することができる。一方、アプリケーション画像が右にずれていれば、ユーザは、見守り対象者がカメラ画像における中心から右に移動したことを容易に把握することができる。逆に、アプリケーション画像が左にずれていれば、ユーザは、見守り対象者がカメラ画像における中心から左に移動したことを容易に把握することができる。また、ディスプレイ全体に表示されていたアプリケーション画像が例えば右にずらされるときには、そのアプリケーション画像の右端の領域が非表示となる。したがって、ユーザは、その右端の領域を閲覧したいと考えるため、見守り装置を右側に自然に動かす。その結果、カメラ画像における見守り対象者の位置は、そのカメラ画像における中心に近づくため、非表示とされていた右端の領域がディスプレイに表示される。つまり、ユーザは、アプリケーション画像の閲覧に注力していても、見守り対象者を特に意識することなく、その見守り対象者を適切に追跡して見守ることができる。

また、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、さらに、前記カメラ画像における中心から前記見守り対象者の位置までの変化距離が検出され、前記表示制御部は、前記変化距離が長いほど、前記アプリケーション画像の位置を前記ディスプレイの中心から遠くにずらして表示させてもよい。

これにより、見守り対象者の変化距離が長いほど、アプリケーション画像がディスプレイの中心から遠くにずらされる。したがって、ユーザは、アプリケーション画像がディスプレイの中心からどれほどずれているかを知ることによって、見守り対象者がどれだけ移動したかを容易に把握することができる。

また、前記表示制御部は、前記見守り対象者が決定されたときの前記カメラ画像における前記見守り対象者の位置である決定位置に、当該見守り対象者が位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、前記見守り対象者が前記決定位置以外に位置する場合には、前記見守り対象者の前記カメラ画像における前記決定位置からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させてもよい。

これにより、アプリケーション画像がディスプレイ全体に表示されていれば、ユーザは、見守り対象者がカメラ画像における決定位置にいること、つまり、見守り対象者が大きく移動しておらず安全な位置にいることを、容易に把握することができる。一方、アプリケーション画像が右にずれていれば、ユーザは、見守り対象者が決定位置から右に移動したことを容易に把握することができる。逆に、アプリケーション画像が左にずれていれば、ユーザは、見守り対象者が決定位置から左に移動したことを容易に把握することができる。

また、前記表示制御部は、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者のカメラ画像における中心からずれている方向に、前記アプリケーション画像の位置をずらし、かつ前記アプリケーション画像を縮小して表示させてもよい。

これにより、アプリケーション画像が右または左にずれていても、そのアプリケーション画像は縮小されているため、アプリケーション画像がずらされることによって表示されなくなるアプリケーション画像の領域の割合を少なくすることができる。この割合は、アプリケーション画像の全体の面積に対する、アプリケーション画像の表示されない領域の面積の割合である。したがって、ユーザは、アプリケーション画像がずらされたときにも、アプリケーション画像の内容の把握の取りこぼしを抑えることができる。

前記カメラ画像における前記見守り対象者の奥行き方向の位置の変化が検出され、前記奥行き方向であって前記カメラから離れる向きに前記見守り対象者の位置が変化していることを検出されたときには、前記表示制御部は、前記ディスプレイの中心を基準として、前記アプリケーション画像を縮小して表示させてもよい。

これにより、ユーザは、アプリケーション画像の縮小によって、見守り対象者が奥行き方向に沿って遠くに離れていることを容易に把握することができる。

また、前記見守り対象者の位置の変化距離が検出され、前記表示制御部は、前記見守り対象者の位置の変化距離が所定の値よりも長い場合には、前記ディスプレイに前記カメラ画像を表示させ、前記見守り対象者の位置の変化距離が前記所定の値以下の場合には、前記検出された見守り対象者の位置に基づいて、前記アプリケーション画像を前記ディスプレイに表示させてもよい。

これにより、見守り対象者の位置の変化距離が所定の値よりも長い場合には、アプリケーション画像に代わってカメラ画像がディスプレイに表示される。したがって、ユーザは、カメラ画像への切り替えによって、見守り対象者が遠くに移動してしまって危険な状態にあるかもしれないことを、容易に把握することができる。

また、前記見守り装置は、さらに、前記筐体に配置されるサブカメラと、前記サブカメラによって撮像されるサブカメラ画像に含まれるユーザの顔の少なくとも一部の動きに基づいて、前記ユーザが前記見守り対象者に注目しているか否かを判定する注目判定部とを備え、前記表示制御部は、前記ユーザが前記見守り対象者に注目していると判定される場合には、注目していないと判定される場合と比べて、前記アプリケーション画像の位置が前記ディスプレイの中心からずれる距離を短くしてもよい。

これにより、ユーザが見守り対象者に注目している場合には、アプリケーション画像のずれが抑えられるため、そのような場合にまで、アプリケーション画像を見難くすることを防ぐことができる。つまり、見守り対象者に注目しているユーザに対しては、アプリケーション画像を見易くすることができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、本実施の形態における見守り装置の機能的な構成を示す図である。

見守り装置１００は、筐体１０５と、決定部１０１と、タイマー１０２と、カメラ１０３と、位置検出部１０４と、表示制御部１０６と、ディスプレイ１０７と、記憶部１０８とを備える。ディスプレイ１０７およびカメラ１０３はそれぞれ筐体１０５に配置される。具体的には、ディスプレイ１０７は、筐体１０５の表面に位置する。カメラ１０３は、筐体１０５の裏面に位置する。

図２Ａおよび図２Ｂに、見守り装置１００の使用シーンの一例を示す。図１に示すように、筐体１０５は、ディスプレイ１０７を有する表面と、カメラ１０３が配置される裏面とを有する。筐体１０５によってかたどられる見守り装置１００は、例えば、スマートフォンなどの携帯端末である。

ユーザは、筐体１０５のディスプレイ１０７に表示されるアプリケーションプログラムの画像（以下、アプリーション画像という）を操作又は閲覧している。なお、アプリケーションプログラムを、以下、アプリケーションまたはアプリと称する。カメラ１０３は、見守り対象者を含むカメラ映像を撮像する。見守り装置１００は、ディスプレイ１０７に、カメラ映像自体を表示することなく、見守り対象者の位置を示すアプリケーション画像を表示する。これにより、ユーザは、アプリケーション画像を操作又は閲覧している状態でも、見守り対象者の位置を知ることができる。

例えば、図２Ａに示すように、カメラ１０３は、砂遊びをしている子供である見守り対象者を被写体にして、その見守り対象者を含むカメラ映像を撮像する。しかし、見守り装置１００は、そのカメラ映像をディスプレイ１０７に表示することなく、ディスプレイ１０７に表示されるアプリケーション画像の表示態様によって、見守り対象者の位置を示す。また、図２Ｂに示すように、カメラ１０３は、ボール遊びをしている２人の子供を被写体にして、その２人の子供を含むカメラ映像を撮像する。このとき、見守り装置１００は、その２人の子供のうちの一方を見守り対象者に決定する。そして、上述と同様に、見守り装置１００は、そのカメラ映像をディスプレイ１０７に表示することなく、ディスプレイ１０７に表示されるアプリケーション画像の表示態様によって、２人の子供のうちの決定された１人である見守り対象者の位置を示す。

（ディスプレイ１０７）
ディスプレイ１０７は、筐体１０５の表面に位置する。ディスプレイ１０７は、例えば液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイなどである。ディスプレイは、表示面（screen）を有する。

（カメラ１０３）
カメラ１０３は、筐体１０５の裏面に位置する。カメラ１０３は筐体１０５の周囲の映像を撮像する。カメラ１０３が撮像している映像は、カメラ映像とも表記する。カメラ映像は、複数のカメラ画像を含む。複数のカメラ画像は、異なる時刻に撮像されたカメラ画像を意味する。つまり、カメラ映像は動画像であり、カメラ画像は静止画像である。

（タイマー１０２）
タイマー１０２は、計時を行い、位置検出部１０４に対して現在時刻を通知する。なお、本実施の形態における見守り装置１００は、タイマー１０２を備えているが、このタイマー１０２を備えていなくてもよい。

（記憶部１０８）
記憶部１０８は、上述のように見守り対象者を決定するための対象者決定規則を記憶している。また、記憶部１０８は、位置検出部１０４の処理に用いられる一時的なデータを保持するために用いられる。なお、記憶部１０８は、見守り装置１００に備えられているが、この見守り装置１００に備えられていなくてもよい。この場合、記憶部１０８は、見守り装置１００の外部の記憶部であり、見守り装置１００と有線または無線を介して接続され、見守り装置１００との間で情報を送受信してもよい。

（決定部１０１）
決定部１０１は、カメラ１０３が撮像しているカメラ映像中に含まれる見守り対象者を決定する。つまり、決定部１０１は、カメラ１０３で撮像されるカメラ画像に含まれる見守り対象者を決定する。見守り対象者は、移動物であって、例えば人または動物である。

決定部１０１は、見守り対象者を決定するために、まず、カメラ１０３が撮像しているカメラ映像を受け付け、カメラ映像に含まれる少なくとも１つの対象者候補を決定する。例えば、図２Ｂに示す場合には、決定部１０１は、２人の子供のそれぞれを対象者候補として決定する。

具体的には、決定部１０１は、カメラ映像から所定以上の大きさを有する対象者候補を取得する。より具体的には、決定部１０１は、隣接する画素と所定以上の輝度値の差を有する複数の画素からなるエッジをカメラ画像から特定する。そして、決定部１０１は、カメラ画像において、特定された複数の画素からなるエッジで囲まれる物体のうち、所定以上の大きさ（面積）を有する物体を対象者候補として決定する。また、決定部１０１は、顔認識機能または人体認識機能などを用いて対象者候補を決定してもよい。

カメラ映像が対象者候補を１つ含む場合（例えば図２Ａに示す場合）には、決定部１０１は、ユーザの確認を得た後、その対象者候補を見守り対象者として決定する。例えば、決定部１０１は、表示面にカメラ画像を表示されている場合に、表示面に対するユーザの接触、または筐体に対する決定操作に基づいて、見守り対象者を決定する。また、決定部１０１は、ユーザの確認を得ることなく、その対象者候補を見守り対象者として決定しても良い。

一方、カメラ映像が複数の対象者候補を含む場合（例えば図２Ｂに示す場合）、決定部１０１は、ユーザによる選択操作によって、または、記憶部１０８に格納されている対象者決定規則を用いて、複数の対象者候補から１つの見守り対象者を決定する。例えば、対象者決定規則では、カメラ映像中の中心に近い対象者候補が見守り対象者として決定される。他の例における対象者決定規則では、予め定められた形状（いわゆるテンプレート）に類似する形状の対象者候補が見守り対象者として決定される。予め定められた形状は、例えば、正面、横、または斜めから撮像された人または動物の形状である。つまり、決定部１０１は、カメラ映像中に含まれる少なくとも１つの対象者候補から、予め定められたテンプレートに類似する対象者候補を、見守り対象者と決定する。言い換えれば、決定部１０１は、対象者候補の形状を取得し、取得した対象者候補の形状とテンプレートとのパターンマッチングにより、見守り対象者を決定する。また、決定部１０１は、顔認識機能を用いて、予め登録されている顔の特徴を有する対象者候補を見守り対象者として決定してもよい。同様に、決定部１０１は、人体認識機能を用いて、予め登録されている人体の身体的特徴を有する対象者候補を見守り対象者として決定してもよい。

また、決定部１０１は、ユーザによる選択操作によって、複数の対象者候補から１つの見守り対象者を決定するときには、その複数の対象者候補を強調してディスプレイ１０７に表示させる。そして、決定部１０１は、その複数の対象者候補の中から、ユーザが選択した対象者候補を見守り対象者として決定する。

図３は、１人の対象者候補を見守り対象者として決定するためにディスプレイ１０７に表示される画像を示す。

例えば、ディスプレイ１０７には、表示制御部１０６による制御に基づいて、カメラ１０３で撮像されるカメラ映像が表示される。決定部１０１は、このカメラ映像に含まれる各カメラ画像から対象者候補を決定すると、表示制御部１０６に、その決定された対象者候補の表示態様を強調させる。例えば、図３に示すように、ディスプレイ１０７には、子供である対象者候補の顔を囲む枠１０７ａが表示される。つまり、決定部１０１は、顔認識機能などによって、対象者候補の顔を認識し、その顔を囲む枠１０７ａの表示を表示制御部１０６に実行させる。この枠１０７ａによって、対象者候補の表示態様が強調される。さらに、ディスプレイ１０７には、「枠で囲まれた人を見守り対象者に決定してもよろしいですか？」というメッセージと、ユーザの確認を得るためのボタン１０７ｂとが表示される。このボタン１０７ｂにユーザがタッチすると、決定部１０１は、ユーザの確認を得る。つまり、決定部１０１は、強調されている表示態様の対象者候補を見守り対象者として決定してもよいという確認をユーザから得る。このような確認が得られると、決定部１０１は、その対象者候補を見守り対象者として決定する。

図４は、２人の対象者候補から見守り対象者を決定するためにディスプレイ１０７に表示される画像を示す。

例えば、ディスプレイ１０７には、表示制御部１０６による制御に基づいて、カメラ１０３で撮像されるカメラ映像が表示される。決定部１０１は、このカメラ映像に含まれる各カメラ画像から対象者候補を決定すると、表示制御部１０６に、その決定された対象者候補の表示態様を強調させる。例えば、図４に示すように、ディスプレイ１０７には、それぞれ子供である２人の対象者候補の顔を囲む枠１０７ａ，１０７ｃが表示される。つまり、決定部１０１は、顔認識機能などによって、各対象者候補の顔を認識し、それらの顔を個別に囲む枠１０７ａ，１０７ｃの表示を表示制御部１０６に実行させる。この枠１０７ａ，１０７ｃによって、各対象者候補の表示態様が強調される。さらに、ディスプレイ１０７には、「枠内をタッチして見守り対象者を決定してください」というメッセージが表示される。ここで、枠１０７ａ，１０７ｃの何れか一方の枠内をユーザがタッチすると、決定部１０１は、タッチされた枠内の顔を有する対象者候補を見守り対象者として決定する。

図５は、候補対象者の表示態様が強調される他の例を示す。

図３および図４に示す例では、対象者候補の顔を囲む枠を表示することによって、その対象者候補の表示態様が強調される。しかし、対象者候補の表示態様を強調するためのオブジェクトは、このような枠に限定されない。例えば、図５の（ａ）および（ｄ）に示すように、ディスプレイ１０７は、それぞれの対象者候補の縁に沿って、その対象者候補の全体を囲む枠１０７ｄ，１０７ｈ，１０７ｉを、対象者候補の表示態様を強調するためのオブジェクトとして表示してもよい。または、図５の（ｂ）および（ｅ）に示すように、ディスプレイ１０７は、それぞれの対象者候補の全体を囲む矩形状の枠１０７ｆ，１０７ｊ，１０７ｋを、対象者候補の表示態様を強調するためのオブジェクトとして表示してもよい。または、図５の（ｃ）および（ｆ）に示すように、ディスプレイ１０７は、それぞれの対象者候補の上に配置される丸印１０７ｇ，１０７ｍ，１０７ｎを、対象者候補の表示態様を強調するためのオブジェクトとして表示してもよい。このような１０７ｇ，１０７ｍ，１０７ｎが表示される場合には、決定部１０１は、ユーザによってディスプレイ１０７上にタッチされた位置に最も近い丸印に対応する対象者候補を、見守り対象者として決定する。

なお、図５に示す例以外に、ディスプレイ１０７は、対象者候補の全体を囲む楕円状の枠、または、対象者候補の中心に配置される例えば十字などのマークを、対象者候補の表示態様を強調するためのオブジェクトとして表示してもよい。

（位置検出部１０４）
位置検出部１０４は、カメラ映像中の、決定部１０１が決定した見守り対象者の位置を検出する。見守り対象者の位置は、例えば、カメラ画像の縦方向の位置及び横方向の位置であり、カメラ画像全体における見守り対象者の情報を含む画素の位置である。また、見守り対象者の位置は、見守り対象者の全体の中心、顔の中心、または胸の中心に位置であってもよい。

位置検出部１０４は、さらに、見守り対象者の位置の変化に基づいて、見守り対象者の位置の変化距離又は変化方向を検出する。具体的には、位置検出部１０４は、見守り対象者がカメラ画像における中心以外に位置する場合には、カメラ画像における中心から見守り対象者の位置までの変化距離を検出する。なお、この変化距離は、見守り対象者の実際の移動距離ではなく、画像に映っている見守り対象者の位置がその中心から変化した距離である。さらに、その場合には、位置検出部１０４は、そのカメラ画像における中心から見守り対象者の位置への方向を変化方向として検出する。また、上述の説明では、カメラ画像における中心を変化距離および変化方向の基準位置としたが、その基準位置は、カメラ画像における中心と異なる位置であってもよい。例えば、基準位置は、決定部１０１によって見守り対象者が決定されたときのカメラ画像における見守り対象者の位置である決定位置であってもよい。つまり、位置検出部１０４は、見守り対象者がカメラ画像における決定位置以外に位置する場合には、カメラ画像における決定位置から見守り対象者の位置までの変化距離を検出する。さらに、その場合には、位置検出部１０４は、その決定位置から見守り対象者の位置への方向を変化方向として検出する。

なお、変化距離および変化方向は、カメラ１０３（すなわち見守り装置１００）と見守り対象者との相対的な位置関係によって定まるため、見守り対象者が移動したときだけでなく、見守り装置１００が移動したときにも、その移動に応じて変化する。また、カメラ画像における中心は、中心点に限らず、中心点を含む予め定められた面積を有する領域であってもよい。

または、上述の基準位置は、過去に検出された見守り対象者の位置であってもよい。つまり、位置検出部１０４は、前に検出した見守り対象者の位置と、次に検出した見守り対象者の位置との変化の大きさに基づいて、見守り対象者の変化距離を検出する。または、位置検出部１０４は、前に検出した見守り対象者の位置を基準とする、次に検出した見守り対象者の位置の向きに基づいて、見守り対象者の変化方向を検出する。

例えば、位置検出部１０４は、タイマー１０２から通知される現在時刻に基づいて、見守り対象者の位置を検出した時刻を検出時刻として特定する。そして、位置検出部１０４は、その検出時刻と見守り対象者の位置とを記憶部１０８に格納してもよい。位置検出部１０４は、例えば、この検出時刻と位置との格納を、見守り対象者の位置を検出するごとに行う。さらに、位置検出部１０４は、見守り対象者の位置を現在位置として検出すると、その検出を行ったときから予め定められた時間前の時刻に対応する見守り対象者の位置を過去位置として、記憶部１０８から取得する。そして、位置検出部１０４は、現在位置と過去位置とを用いて、見守り対象者の変化距離又は変化方向を検出する。

さらに、位置検出部１０４は、見守り対象者のカメラ画像における縦方向および横方向の位置だけでなく、カメラ画像における見守り対象者の奥行き方向の位置を検出してもよい。例えば、位置検出部１０４は、カメラ画像における見守り対象者の大きさに基づいて、奥行き方向の位置を検出する。つまり、位置検出部１０４は、見守り対象者が小さいほど、見守り装置１００から遠い見守り対象者の奥行き方向の位置を検出する。

また、位置検出部１０４は、その奥行き方向の位置の検出を繰り返し行うことによって、カメラ画像における見守り対象者の奥行き方向の位置の変化を検出してもよい。つまり、位置検出部１０４は、奥行き方向における、基準奥行き位置から見守り対象者の位置までの奥行き距離を検出してもよい。基準奥行き位置は、例えば、上述の決定位置に見守り対象者がいたときのその見守り対象者の奥行き方向の位置である。

（表示制御部１０６）
表示制御部１０６は、位置検出部１０４によって検出された見守り対象者の位置に基づいて、ディスプレイ１０７の表示を制御する。つまり、表示制御部１０６は、その検出された見守り対象者の位置に基づいて、カメラ画像を含まないアプリケーション画像をディスプレイ１０７に表示させる。具体的には、表示制御部１０６は、見守り対象者の位置に基づいて、ディスプレイ１０７におけるアプリケーション画像の位置を変更する。このアプリケーション画像は、カメラ映像自体が映っていない映像又は画像である。なお、画像は、文字、記号、または文字列などを含むテキストであってもよい。アプリケーション画像は、アプリケーションによって扱われる画像であって、例えば、インターネットで情報を閲覧するためのウェブブラウザによって扱われる画像である。また、アプリケーションは、ウェブブラウザに限らず、例えば、メール、地図、鉄道又はバスの乗り換え案内、あるいはゲームであってもよい。以下、このようなアプリケーションを表示アプリともいう。

図６は、見守り対象者の位置に基づいて制御されるアプリケーション画像の一例を示す。

例えば、図６の（ａ）に示すように、見守り対象者がカメラ画像における中心に位置する場合には、表示制御部１０６は、ディスプレイ１０７の全体に、カメラ画像を含まないアプリケーション画像１０７ｐを表示させる。ここでのディスプレイ１０７の全体とは、表示面（screen）に対応する。このとき、表示制御部１０６は、決定された見守り対象者の位置に応じてディスプレイ１０７の表示が制御されていることをユーザに通知するために、「見守り中」と記載されたメッセージ１０７ｑを、そのディスプレイ１０７に表示させてもよい。

一方、図６の（ｂ）に示すように、見守り対象者がカメラ画像における中心以外に位置する場合には、表示制御部１０６は、見守り対象者のカメラ画像における中心からずれている方向に、アプリケーション画像１０７ｐの位置をディスプレイ１０７の中心からずらして表示させる。また、表示制御部１０６は、上述の変化距離が長いほど、アプリケーション画像１０７ｐの位置をディスプレイ１０７の中心から遠くにずらして表示させてもよい。

例えば、図６の（ｂ）に示すように、見守り対象者が右方向に移動した場合には、位置検出部１０４によってカメラ画像中における見守り対象者の変化距離および変化方向が検出される。この場合、変化方向は右方向である。このとき、表示制御部１０６は、その変化方向、すなわち右方向に、アプリケーション画像１０７ｐの位置をディスプレイ１０７の中心からずらして、そのアプリケーション画像１０７ｐをディスプレイ１０７に表示させる。なお、ユーザが見守り装置１００を左方向に動かした場合にも、位置検出部１０４および表示制御部１０６は、上述と同様の処理を行う。

このようにアプリケーション画像１０７ｐの位置がずらされるときには、表示制御部１０６は、アプリケーション画像１０７ｐとは異なる画像である周辺画像１０７ｓを表示させる。例えば、図６の（ａ）に示すように、見守り対象者の位置がカメラ画像中の中心に位置する場合には、表示制御部１０６は、通常通り、ディスプレイ１０７全体にアプリケーション画像１０７ｐを表示させて、周辺画像１０７ｓを表示させない。一方、図６の（ｂ）に示すように、見守り対象者の位置がカメラ画像中の右に移動した場合には、表示制御部１０６は、アプリケーション画像１０７ｐを右に移動させる。このとき、表示制御部１０６は、ディスプレイ１０７の左側の領域（具体的には左側の領域内の画素）に、アプリケーション画像１０７ｐを表示させずに、アプリケーション画像ではない周辺画像１０７ｓを表示させる。例えば、周辺画像１０７ｓは、アプリケーション画像１０７ｐ中の内容に依存しない情報を表す画像であって、黒のみ、白のみ、または、ランダムに配列された色などを含む。また、見守り装置１００がスマートフォンとして構成される場合には、周辺画像１０７ｓは、メニュー画面の一部の領域であってもよい。あるいは、周辺画像１０７ｓは、カメラ画像またはカメラ映像の一部の領域であってもよい。この周辺画像１０７ｓを表示することは、例えば、画像をマスクするとも表現される。

また、アプリケーション画像１０７ｐが移動するときには、ディスプレイ１０７全体に表示されるときと比べて、アプリケーション画像１０７ｐにおいて表示される領域が小さくなる。つまり、アプリケーション画像１０７ｐのうちの一部の領域は、ディスプレイ１０７からはみ出すように隠れる。このとき、アプリケーション画像１０７ｐを縮小して表示することにより、アプリケーション画像１０７ｐに含まれる情報を表示してもよい。つまり、表示制御部１０６は、見守り対象者がカメラ画像における中心以外に位置する場合には、見守り対象者のカメラ画像における中心からずれている方向に、アプリケーション画像１０７ｐの位置をずらし、かつアプリケーション画像１０７ｐを縮小し表示させる。例えば、表示制御部１０６は、アプリケーション画像１０７ｐの全体を横方向に縮小する。または、表示制御部１０６は、アプリケーション画像１０７ｐにおける一部の領域、例えば、アプリケーション画像１０７ｐにおける周辺画像１０７ｓと横方向に反対側の領域（例えば縁部分）を横方向に縮小する。この場合には、その領域が歪んだ画像となる。

これにより、アプリケーション画像１０７ｐが右または左にずれていても、そのアプリケーション画像１０７ｐは縮小されている。したがって、アプリケーション画像１０７ｐがずらされることによって表示されなくなるアプリケーション画像１０７ｐの領域の割合を少なくすることができる。この割合は、アプリケーション画像１０７ｐの全体の面積に対する、アプリケーション画像１０７ｐの表示されない領域の面積の割合である。したがって、ユーザは、アプリケーション画像１０７ｐがずらされたときにも、アプリケーション画像１０７ｐの内容の把握の取りこぼしを抑えることができる。

また、図６の（ｂ）に示すようにアプリケーション画像１０７ｐが右方向にずらされると、ユーザは、そのアプリケーション画像１０７ｐを見易い表示態様に戻したいと考えるため、図６の（ｃ）に示すように、見守り装置１００を右方向に移動させる。または、ユーザは、見守り対象者が元の位置に戻るように、つまり左方向に移動するように、その見守り対象者に対して指示する。これによって、カメラ画像における中心と見守り対象の位置との間の変化距離は短くなる。したがって、位置検出部１０４によって、短くなった変化距離が検出されると、表示制御部１０６は、その変化距離に応じてアプリケーション画像１０７ｐを左方向に移動させる。その結果、周辺画像１０７ｓは横方向に短くなり、アプリケーション画像１０７ｐにおいて表示されている領域は広くなる。しかし、アプリケーション画像１０７ｐの右側の一部の領域は未だ表示されていない。言い換えると、ディスプレイの表示面の一部に、アプリケーション画像の表示態様が変更されて表示される。アプリケーション画像は表示面の全体に表示されない。つまり、カメラ画像の中心からずれた位置に見守り対象者が存在する場合には、カメラ画像の中心に見守り対象者が存在する場合と比較して、表示面におけるアプリケーション画像が表示される領域が小さくなる。

したがって、ユーザは、そのアプリケーション画像１０７ｐをより見易い表示態様に戻したいと考えるため、図６の（ｃ）に示す状態から、さらに、見守り装置１００を右方向に移動させる。または、ユーザは、見守り対象者が元の位置に戻るように、つまり左方向に移動するように、その見守り対象者に対して指示する。これによって、カメラ画像における中心と見守り対象の位置との間の変化距離は所定距離以下になる。つまり、見守り対象者がカメラ画像における中心に位置する。したがって、表示制御部１０６は、図６の（ｄ）に示すように、その変化距離に応じてアプリケーション画像１０７ｐをさらに左方向に移動させて、ディスプレイ１０７全体にアプリケーション画像１０７ｐを表示させる。

このように、本実施の形態では、アプリケーション画像１０７ｐがディスプレイ１０７全体に表示されていれば、ユーザは、見守り対象者がカメラ画像における中心に位置していることを容易に把握することができる。つまり、ユーザは、見守り対象者が大きく移動しておらず安全な位置にいることを容易に把握することができる。一方、アプリケーション画像１０７ｐが右にずれていれば、ユーザは、見守り対象者がカメラ画像における中心から右に移動したことを容易に把握することができる。逆に、アプリケーション画像１０７ｐが左にずれていれば、ユーザは、見守り対象者がカメラ画像における中心から左に移動したことを容易に把握することができる。また、ディスプレイ１０７全体に表示されていたアプリケーション画像１０７ｐが例えば右にずらされるときには、そのアプリケーション画像１０７ｐの右端の領域が非表示となる。したがって、ユーザは、その右端の領域を閲覧したいと考えるため、見守り装置１００を右側に自然に動かす。その結果、カメラ画像における見守り対象者の位置は、そのカメラ画像における中心に近づくため、非表示とされていた右端の領域がディスプレイ１０７に表示される。つまり、ユーザは、アプリケーション画像１０７ｐの閲覧に注力していても、見守り対象者を特に意識することなく、その見守り対象者を適切に追跡して見守ることができる。

また、上述の例では、基準位置をカメラ画像における中心としているが、上述の決定位置であってもよい。つまり、表示制御部１０６は、見守り対象者が決定されたときのカメラ画像における見守り対象者の位置である決定位置に、その見守り対象者が位置する場合には、ディスプレイ１０７全体にアプリケーション画像１０７ｐを表示させる。一方、見守り対象者がその決定位置以外に位置する場合には、表示制御部１０６は、見守り対象者のカメラ画像における決定位置からずれている方向に、アプリケーション画像１０７ｐの位置をディスプレイ１０７の中心からずらして表示させる。

図７は、見守り対象者の位置に基づいて制御されるアプリケーション画像１０７ｐの他の例を示す。

図７の（ａ）に示すように、カメラ画像における中心位置に見守り対象者が位置する場合には、表示制御部１０６は、ディスプレイ１０７の全体にアプリケーション画像１０７ｐを表示させる。

次に、図７の（ｂ）に示すように、見守り対象者は、カメラ１０３（すなわち見守り装置１００）から奥行き方向に離れる。上述のように、位置検出部１０４は、カメラ画像におけるその見守り対象者の奥行き方向の位置の変化を検出している。したがって、見守り対象者が離れると、位置検出部１０４は、奥行き方向であってカメラ１０３から離れる向きに見守り対象者の位置が変化していることを検出する。このとき、表示制御部１０６は、ディスプレイ１０７の中心を基準として、アプリケーション画像１０７ｐを縮小して表示させる。なお、奥行き方向の見守り対象者の位置の変化は、上述の基準奥行き位置から見守り対象者の位置までの変化である。つまり、表示制御部１０６は、基準奥行き位置から見守り対象者の位置までの奥行き距離に応じた縮小率でアプリケーション画像１０７ｐを縮小する。また、このようにアプリケーション画像１０７ｐが縮小されると、表示制御部１０６は、アプリケーション画像１０７ｐを取り囲むような形状の周辺画像１０７ｓをディスプレイ１０７に表示させる。

アプリケーション画像１０７ｐが縮小されると、ユーザは、アプリケーション画像１０７ｐが見難くなるため、図７の（ｃ）に示すように、見守り対象者に近づく。または、ユーザは、見守り対象者を呼び寄せる。このときにも、位置検出部１０４は、カメラ画像におけるその見守り対象者の奥行き方向の位置の変化を検出している。したがって、位置検出部１０４は、基準奥行き位置から見守り対象者の位置までの奥行き距離が短くなったことを検出する。その結果、図７の（ｃ）に示すように、表示制御部１０６は、図７の（ｂ）に示すアプリケーション画像１０７ｐを、ディスプレイ１０７の中心を基準として拡大してディスプレイ１０７に表示させる。また、表示制御部１０６は、アプリケーション画像１０７ｐの拡大により、ディスプレイ１０７に表示されている周辺画像１０７ｓの面積を小さくする。

図７の（ｃ）に示す例では、見守り対象者は、基準奥行き位置よりも未だ奥行き方向に離れている。したがって、図７の（ｃ）に示すアプリケーション画像１０７ｐは、ディスプレイ１０７の全体に表示されておらず、図７の（ａ）に示すアプリケーション画像１０７ｐよりも縮小されている。

そこで、ユーザは、アプリケーション画像１０７ｐが未だ見難くいため、さらに見守り対象者に近づく。または、ユーザは、見守り対象者を呼び寄せる。その結果、位置検出部１０４は、見守り対象者の奥行き方向の位置が基準奥行き位置に一致すると判断する。このとき、図７の（ｄ）に示すように、表示制御部１０６は、図７の（ｃ）に示すアプリケーション画像１０７ｐを、ディスプレイ１０７の中心を基準として拡大し、そのアプリケーション画像１０７ｐをディスプレイ１０７の全体に表示させる。また、表示制御部１０６は、アプリケーション画像１０７ｐの拡大により、周辺画像１０７ｓをアプリケーション画像１０７ｐで隠すように非表示にする。

このように、本実施の形態では、ユーザは、アプリケーション画像の縮小によって、見守り対象者が見守り装置１００から奥行き方向に沿って遠くに離れていることを容易に把握することができる。

図８は、見守り対象者の位置に基づいて制御されるアプリケーション画像１０７ｐのさらに他の例を示す。

表示制御部１０６は、見守り対象者の位置の変化距離が所定の値（後述する第１の閾値）以下の場合には、図６および図７に示すように、検出された見守り対象者の位置に基づいて、アプリケーション画像１０７ｐをディスプレイ１０７に表示させる。一方、表示制御部１０６は、図８に示すように、見守り対象者の位置の変化距離が所定の値よりも長い場合には、ディスプレイ１０７にカメラ画像１０７ｔを表示させる。つまり、表示制御部１０６は、このときには、アプリケーション画像１０７ｐを非表示にしてカメラ画像１０７ｔをディスプレイ１０７に表示させる。これにより、アプリケーション画像１０７ｐの閲覧または操作が強制的に終了される。なお、表示制御部１０６は、見守り対象者の位置に基づくアプリケーション画像１０７ｐの制御が中止されたことをユーザに通知するためのメッセージ１０７ｕを、カメラ画像１０７ｔとともにディスプレイ１０７に表示させてもよい。メッセージ１０７ｕには、例えば「見守り中止」と記載されている。

このように、アプリケーション画像１０７ｐがカメラ画像１０７ｔに切り替えられることによって、見守り対象者が遠くに離れていることを、ユーザに警告することができる。つまり、ユーザは、カメラ画像１０７ｔへの切り替えによって、見守り対象者が遠くに移動してしまって危険な状態にあるかもしれないことを、容易に把握することができる。ユーザは、その警告によって、急いで見守り対象者を直接監視することができる。

図９は、本実施の形態における見守り方法を示すフローチャートである。

本実施の形態における見守り方法は、ディスプレイ１０７及びカメラ１０３を有する見守り装置１００において、ディスプレイ１０７の表示を制御する見守り方法であって、ステップＳ１１〜Ｓ１４を含む。

（ステップＳ１１）
カメラ１０３は撮像する。

（ステップＳ１２）
決定部１０１は、カメラ１０３で撮像されるカメラ画像に含まれる見守り対象者を決定する。

（ステップＳ１３）
位置検出部１０４は、カメラ画像中の見守り対象者の位置を検出する。

（ステップＳ１４）
表示制御部１０６は、検出された見守り対象者の位置に基づいて、カメラ画像を含まないアプリケーション画像１０７ｐをディスプレイ１０７に表示させる。

図１０は、本実施の形態における見守り方法を具体的に示すフローチャートである。

（ステップＳ１０１）
見守り装置１００は、見守り動作を開始する。例えば、見守り装置１００は、アプリケーションの起動の操作、又はアプリケーションにおける開始の操作を受け付けることにより、見守り動作を開始する。具体的には、見守り装置１００は、メニュー画面をディスプレイ１０７に表示する。そのメニュー画面に表示されているアプリケーションのアイコンがユーザによってタッチされると、見守り装置１００は、アプリケーションの起動の操作を受け付ける。これによって、見守り装置１００は、見守り動作を開始する。ステップＳ１０１により見守り動作が開始されると、カメラ１０３は撮像する。そして、例えば図３または図４に示すカメラ映像がディスプレイ１０７に表示される。具体的には、表示制御部１０６は、カメラ１０３が撮影しているカメラ映像を、ディスプレイ１０７に表示させる。

（ステップＳ１０２）
決定部１０１は、カメラ映像中の見守り対象者を決定する。例えば、決定部１０１は、ユーザがディスプレイ１０７にタッチした位置に最も近い対象者候補を、見守り対象者と決定する。このように、決定部１０１は、ディスプレイ１０７にカメラ映像が表示されている時に、ユーザによりタッチされた位置に基づいて、見守り対象者を決定する。

または、決定部１０１は、ディスプレイ１０７の中心に映っている人または動物を認識し、その認識された人または動物を見守り対象者として決定してもよい。または、決定部１０１は、カメラ映像に複数の対象者候補が含まれる場合には、カメラ映像中において最もディスプレイ１０７の中心位置に近く、かつ、所定時間以上、中心付近に位置する対象者候補を、見守り対象者として決定してもよい。または、決定部１０１は、予め登録されている人（例えば子供）の顔画像を用いて顔認証を行い、その顔画像に類似する顔を有する人を見守り対象者として決定してもよい。もちろん、決定部１０１は、映っている人の中からユーザによって選択された人を見守り対象者として決定してもよい。

（ステップＳ１０３）
位置検出部１０４は、ステップＳ１０２で決定した見守り対象者の位置を検出する。つまり、位置検出部１０４は、見守り対象者の追跡を開始する。

（ステップＳ１０４）
表示制御部１０６は、ユーザによる操作に応じて、表示アプリを起動して、その表示アプリによって扱われるアプリケーション画像１０７ｐをディスプレイ１０７に表示させる。なお、表示アプリは、上述のように、例えばウェブブラウザである。具体的には、ステップＳ１０３において見守り対象者の追跡が開始されると、表示制御部１０６は、複数のアプリケーションのアイコンを含むメニュー画面をディスプレイ１０７に表示させる。これらのアイコンのうちの何れか１つのアイコンがユーザによってタッチされると、表示制御部１０６は、そのタッチされたアイコンによって識別されるアプリケーションを表示アプリとして選択する。そして、表示制御部１０６は、その選択された表示アプリを起動することによって、アプリケーション画像１０７ｐをディスプレイ１０７に表示させる。

ステップＳ１０４において、アプリケーション画像１０７ｐが表示されると、ステップＳ１０５〜Ｓ１０９において、そのアプリケーション画像１０７ｐに対する制御が繰り返し実行される。このアプリケーション画像１０７ｐの制御は、検出された見守り対象者の位置に基づいて、カメラ画像を含まないアプリケーション画像１０７ｐをディスプレイ１０７に表示させる制御である。以下、具体的な動作処理フローを説明する。

（ステップＳ１０５）
位置検出部１０４は、所定の時間間隔ごとに、見守り対象者の位置を検出することにより、見守り対象者の変化距離Ｌ０と変化方向Ｂ０とを検出する。なお、変化距離Ｌ０は、上述のように、カメラ画像における基準位置から見守り対象者の位置までの距離である。変化方向Ｂ０は、上述のように、カメラ画像における基準位置から見守り対象者の位置への方向である。基準位置は、カメラ画像における中心または決定位置である。この変化距離Ｌ０および変化方向Ｂ０は、見守り対象者が移動することによって変化し、見守り装置１００が移動することによっても変化する。

（ステップＳ１０６）
表示制御部１０６は、検出された変化距離Ｌ０を予め決めた所定移動量である第１の閾値（すなわち図８に示す所定の値）と比較する。そして、表示制御部１０６は、変化距離Ｌ０が第１の閾値よりも長いか否かを判定する。

（ステップＳ１０７）
ステップＳ１０６において、変化距離Ｌ０が第１の閾値よりも長いと判定されると（ステップＳ１０６のＹｅｓ）、表示制御部１０６は、図８に示すように、アプリケーション画像１０７ｐを非表示にして、カメラ画像１０７ｔをディスプレイ１０７に表示させる。これにより、ディスプレイ１０７にはカメラ画像１０７ｔが表示されるため、ユーザは見守り装置１００のディスプレイ１０７を見るのを止めて、子供などの見守り対象者を実際の目で探す。

（ステップＳ１０８）
ステップＳ１０６において、変化距離Ｌ０が第１の閾値よりも長くないと判定されると（ステップＳ１０６のＮｏ）、表示制御部１０６は、図６に示すように、アプリケーション画像１０７ｐを変化距離Ｌ０と変化方向Ｂ０に応じて移動させる。このステップＳ１０８の詳細については、図１１Ａ〜図１１Ｃを用いて詳細に説明する。

（ステップＳ１０９）
見守り装置１００は、見守り動作を終了すべきか否かを判断する。例えば、見守り装置１００は、ユーザから終了の指示を受け付けた場合には、終了すべきと判断し、その指示を受け付けていない場合には、終了すべきではないと判断する。ここで、終了すべきと判断すると（ステップＳ１０９のＹｅｓ）、見守り装置１００は、見守り動作を終了する。一方、終了すべきでないと判断すると（ステップＳ１０９のＮｏ）、見守り装置１００は、ステップＳ１０５からの処理を繰り返し実行する。ステップＳ１０５が再び実行される場合には、位置検出部１０４は、直前に変化距離Ｌ０などが検出されたタイミングから所定の時間間隔経過後に、次の変化距離Ｌ０及び変化方向Ｂ０を検出する。

なお、図１０に示す例では、見守り装置１００は、変化距離Ｌ０および変化方向Ｂ０に基づいてアプリケーション画像１０７ｐを移動させる処理を見守り動作として行う。しかし、図７に示すように、見守り装置１００は、奥行き距離に基づいてアプリケーション画像１０７ｐを縮小する処理を見守り動作として行ってもよい。この場合には、ステップＳ１０５において奥行き距離が算出され、ステップＳ１０８において、アプリケーション画像１０７ｐが奥行き距離に応じて縮小される。

図１１Ａ〜図１１Ｃは、図１０に示すフローチャートのステップＳ１０８の詳細を示すフローチャートである。

図１１Ａでは、アプリケーション画像１０７ｐを一段階で移動させる処理を示す。

（ステップＳ１０８ａ）
表示制御部１０６は、変化距離Ｌ０が第２の閾値以上であるか否かを判定する。なお、第２の閾値は、第１の閾値よりも小さい予め定められた値である。

（ステップＳ１０８ｂ）
ステップＳ１０８ａにおいて、変化距離Ｌ０が第２の閾値以上であると判定されると（ステップＳ１０８ａのＹｅｓ）、表示制御部１０６は、アプリケーション画像１０７ｐを移動させる。具体的には、表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心から変化方向Ｂ０に移動距離Ｌ１だけ離れた位置に移動させる。移動距離Ｌ１は、予め定められた距離である。

（ステップＳ１０８ｃ）
ステップＳ１０８ａにおいて、変化距離Ｌ０が第２の閾値未満であると判定されると（ステップＳ１０８ａのＮｏ）、表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心に表示させる。つまり、表示制御部１０６は、アプリケーション画像１０７ｐをディスプレイ１０７の全体に表示させる。

これにより、変化距離Ｌ０が第２の閾値未満であれば、アプリケーション画像１０７ｐはディスプレイ１０７の中心にあり、変化距離Ｌ０が第２の閾値以上で且つ第１の閾値以下であれば、アプリケーション画像１０７ｐはその中心から移動距離Ｌ１ずらされる。このように、アプリケーション画像１０７ｐは、変化距離Ｌ０が第２の閾値以上であるか否かに応じて、一段階で移動する。

図１１Ｂは、アプリケーション画像１０７ｐを二段階で移動させる処理を示す。

（ステップＳ１０８ａ）
表示制御部１０６は、変化距離Ｌ０が第２の閾値以上であるか否かを判定する。

（ステップＳ１０８ｃ）
ステップＳ１０８ａにおいて、変化距離Ｌ０が第２の閾値未満であると判定されると（ステップＳ１０８ａのＮｏ）、表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心に表示させる。つまり、表示制御部１０６は、アプリケーション画像１０７ｐをディスプレイ１０７の全体に表示させる。

（ステップＳ１０８ｄ）
ステップＳ１０８ａにおいて、変化距離Ｌ０が第２の閾値以上であると判定されると（ステップＳ１０８ａのＹｅｓ）、表示制御部１０６は、さらに、変化距離Ｌ０が第３の閾値以上であるか否かを判定する。なお、第３の閾値は予め定められた値であって、第１〜３の閾値のそれぞれは、「第２の閾値＜第３の閾値＜第１の閾値」の関係を満たす。

（ステップＳ１０８ｅ）
ステップＳ１０８ｄにおいて、変化距離Ｌ０が第３の閾値以上であると判定されると（ステップＳ１０８ｄのＹｅｓ）、表示制御部１０６は、アプリケーション画像１０７ｐを移動させる。具体的には、表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心から変化方向Ｂ０に移動距離Ｌ１×２離れた位置に移動させる。なお、移動距離Ｌ１×２は、移動距離Ｌ１の２倍の距離である。

（ステップＳ１０８ｂ）
ステップＳ１０８ｄにおいて、変化距離Ｌ０が第３の閾値未満であると判定されると（ステップＳ１０８ｄのＮｏ）、表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心から変化方向Ｂ０に移動距離Ｌ１離れた位置に移動させる。

これにより、変化距離Ｌ０が第２の閾値未満であれば、アプリケーション画像１０７ｐはディスプレイ１０７の中心にある。しかし、変化距離Ｌ０が第２の閾値以上で且つ第３の閾値未満であれば、アプリケーション画像１０７ｐはその中心から移動距離Ｌ１ずらされる。そして、変化距離Ｌ０が第３の閾値以上で且つ第１の閾値以下であれば、アプリケーション画像１０７ｐはその中心から移動距離Ｌ１×２ずらされる。このように、アプリケーション画像１０７ｐは、変化距離Ｌ０に応じて、中心から移動距離Ｌ１離れた位置と、中心から移動距離Ｌ１×２離れた位置との２段階で移動する。

図１１Ｃは、アプリケーション画像１０７ｐを変化距離Ｌ０に応じた任意の位置に移動させる処理を示す。

（ステップＳ１０８ｆ）
表示制御部１０６は、例えば予め定められた係数Ｋを変化距離Ｌ０に乗ずることによって、移動距離Ｌ２を算出する。

（ステップＳ１０８ｇ）
表示制御部１０６は、アプリケーション画像１０７ｐを、ディスプレイ１０７の中心から変化方向Ｂ０に移動距離Ｌ２離れた位置に移動させる。

これにより、アプリケーション画像１０７ｐは、変化距離Ｌ０に応じた任意の位置に、段階的にではなく連続的に移動する。

この例では、表示制御部１０６は、変化距離Ｌ０が長いほど、アプリケーション画像１０７ｐの位置をディスプレイ１０７の中心から遠くにずらして表示させる。したがって、見守り対象者の変化距離Ｌ０が長いほど、アプリケーション画像１０７ｐがディスプレイ１０７の中心から遠くにずらされる。その結果、ユーザは、アプリケーション画像１０７ｐがディスプレイ１０７の中心からどれほどずれているかを知ることによって、見守り対象者がどれだけ移動したかを容易に把握することができる。

（実施の形態１の効果）
本実施の形態における見守り装置１００は、筐体１０５と、ディスプレイ１０７と、カメラ１０３と、決定部１０１と、位置検出部１０４と、表示制御部１０６とを備える。ディスプレイ１０７は、筐体１０５に配置される。カメラ１０３は、筐体１０５に配置される。決定部１０１は、カメラ１０３で撮像されるカメラ画像に含まれる見守り対象者を決定する。位置検出部１０４は、カメラ画像中の見守り対象者の位置を検出する。表示制御部１０６は、検出された見守り対象者の位置に基づいて、カメラ画像を含まないアプリケーション画像１０７ｐをディスプレイ１０７に表示させる。

これにより、本実施の形態では、カメラ画像における見守り対象者の位置に基づいて、アプリケーション画像１０７ｐが表示される。したがって、ユーザは、アプリケーション画像１０７ｐの内容に気を取られていても、そのアプリケーション画像１０７ｐの表示が見守り対象者の位置に応じて制御されるため、その見守り対象者の位置を把握することができる。これにより、見守り対象者を適切に見守ることができる。

また、本実施の形態では、表示制御部１０６は、見守り対象者の位置に基づいて、ディスプレイ１０７におけるアプリケーション画像１０７ｐの位置を変更する。

これにより、アプリケーション画像１０７ｐの位置が見守り対象者の位置に応じて変更されるため、ユーザは、そのアプリケーション画像１０７ｐの位置の変更によって、見守り対象者の位置の変化、つまり見守り対象者の移動を容易に把握することができる。また、見守り対象者の位置は、カメラ１０３との間の相対的な位置である。したがって、ユーザが、カメラ１０３を備える見守り装置１００を、アプリケーション画像１０７ｐの位置の変更に応じて動かせば、見守り対象者を追跡するようにカメラ１０３を動かすことができる。その結果、アプリケーション画像１０７ｐの位置の変更を抑えることができ、ユーザは、見守り対象者を追跡しながら、そのアプリケーション画像１０７ｐをしっかりと閲覧することができる。

（実施の形態２）
本実施の形態における見守り装置は、子供などの見守り対象者の位置だけでなく、ユーザが見守り対象者をどの程度の頻度で見ているかに応じて、アプリケーション画像１０７ｐの移動距離を変更する。

図１２は、本実施の形態における見守り装置の機能的な構成を示す図である。

本実施の形態における見守り装置２００は、実施の形態１における見守り装置１００の表示制御部１０６の代わりに表示制御部１０６ａを備え、さらに、サブカメラ１１３と、注目判定部１１４とを備えている。つまり、見守り装置２００は、筐体１０５と、決定部１０１と、タイマー１０２と、カメラ１０３と、位置検出部１０４と、表示制御部１０６ａと、ディスプレイ１０７と、記憶部１０８と、サブカメラ１１３と、注目判定部１１４とを備えている。

（サブカメラ１１３）
サブカメラ１１３は、筐体１０５に配置される。具体的には、このサブカメラ１１３は、ディスプレイ１０７と同様に、筐体１０５の表面に位置する。サブカメラ１１３は、筐体１０５の表面に位置するため、ディスプレイ１０７を見ているユーザの顔を被写体として捉えることができる。このサブカメラ１１３は、カメラ１０３の起動と同時に起動してもよい。

（注目判定部１１４）
注目判定部１１４は、サブカメラ１１３によって撮像されるサブカメラ画像に含まれるユーザの顔の少なくとも一部の動きに基づいて、ユーザが見守り対象者に注目しているか否かを判定する。

図１３は、ユーザの瞳孔の動きに基づいて制御されるアプリケーション画像１０７ｐを示す。

具体的には、注目判定部１１４は、図１３に示すように、サブカメラ１１３によって撮像されるサブカメラ画像に含まれるユーザの目を検出し、さらに瞳孔１０を抽出する。そして、注目判定部１１４は、所定時間以内に、瞳孔１０の縦方向に往復する動きが所定回数以上あれば、ユーザが見守り対象者に注目していると判定する。言い換えれば、注目判定部１１４は、見守り対象者への注目度が高いと判定する。一方、注目判定部１１４は、所定時間以内に、瞳孔１０の縦方向に往復する動きが所定回数以上なければ、ユーザが見守り対象者に注目していないと判定する。言い換えれば、注目判定部１１４は、見守り対象者への注目度が低いと判定する。

（表示制御部１０６ａ）
表示制御部１０６ａは、ユーザが見守り対象者に注目していると判定される場合には、注目していないと判定される場合と比べて、アプリケーション画像１０７ｐの位置がディスプレイ１０７の中心からずれる距離を短くする。

つまり、ユーザが見守り対象者に注目していないと判定される場合には、表示制御部１０６ａは、実施の形態１の表示制御部１０６と同様の処理を行う。具体的には、表示制御部１０６ａは、図１１Ａ〜図１１Ｃに示すように、各状況に応じて、アプリケーション画像１０７ｐを移動距離Ｌ１、Ｌ１×２、またはＬ２ディスプレイ１０７の中心から離れた位置に表示させる。

一方、ユーザが見守り対象者に注目していると判定される場合には、表示制御部１０６ａは、図１１Ａまたは図１１ＢのステップＳ１０８ｂでは、移動距離Ｌ１よりも短い距離離れた位置に、アプリケーション画像１０７ｐを表示させる。または、表示制御部１０６ａは、図１１ＢのステップＳ１０８ｅでは、移動距離Ｌ１×２よりも短い距離離れた位置に、アプリケーション画像１０７ｐを表示させる。または、表示制御部１０６ａは、図１１ＣのステップＳ１０８ｇでは、移動距離Ｌ２よりも短い距離離れた位置に、アプリケーション画像１０７ｐを表示させる。

したがって、本実施の形態では、ユーザが見守り対象者に注目している場合には、実施の形態１と比べて、アプリケーション画像１０７ｐの移動距離は短く、周辺画像１０７ｓは小さく表示される。

なお、本実施の形態では、目または瞳孔１０の動きに基づいて、注目しているか否かを判定したが、目または瞳孔ではなく顔の動きに基づいて、同様に判定してもよい。また、表示制御部１０６ａは、ユーザが見守り対象者に注目していると判定される場合には、見守り対象者の位置または変化距離に関わらず、アプリケーション画像１０７ｐをディスプレイ１０７の全体に表示させてもよい。つまり、表示制御部１０６ａは、ユーザが見守り対象者に注目していると判定される場合には、アプリケーション画像１０７ｐをずらすことなく、ディスプレイ１０７の中心に表示させる。

（実施の形態２の効果）
このように、本実施の形態では、注目判定部１１４は、サブカメラ１１３によって撮像されるサブカメラ画像に含まれるユーザの顔の少なくとも一部の動きに基づいて、ユーザが見守り対象者に注目しているか否かを判定する。そして、表示制御部１０６ａは、ユーザが見守り対象者に注目していると判定される場合には、注目していないと判定される場合と比べて、アプリケーション画像１０７ｐの位置がディスプレイ１０７の中心からずれる距離を短くする。

したがって、ユーザが見守り対象者に注目している場合には、アプリケーション画像１０７ｐのずれが抑えられるため、そのような場合にまで、アプリケーション画像１０７ｐを見難くすることを防ぐことができる。つまり、見守り対象者に注目しているユーザに対しては、アプリケーション画像１０７ｐを見易くすることができる。

（実施の形態１および２の変形例）
上記実施の形態１および２では、見守り対象者をカメラ１０３の被写体として捉えるためには、ユーザは、筐体１０５またはディスプレイ１０７を鉛直方向に沿わせるように、見守り装置１００または２００を立てた状態で把持しなければならい。そこで、本変形例では、見守り装置１００（２００）を寝かせた状態でも、見守り対象者を被写体として捉えることができるように、見守り装置１００（２００）にアタッチメントを取り付ける。以下、見守り装置１００にアタッチメントが取り付けられる例を詳細に説明するが、見守り装置２００にアタッチメントが取り付けられる場合も、その例と同様である。

図１４Ａは、アタッチメントが取りつけられた見守り装置１００の外観の一例を示す。

アタッチメント１１５は、レンズおよびミラーなどの光学系の部材を備え、カメラ１０３を覆うように見守り装置１００に取り付けられる。そして、アタッチメント１１５は、ディスプレイ１０７の表面に平行な外部の光を受け入れて、光学系の反射または屈折によって、その光をカメラ１０３に向けて出射する。

図１４Ｂは、見守り装置１００のカメラ１０３がアタッチメント１１５を介して撮像する様子を示す。

上述のように、アタッチメント１１５は、ディスプレイ１０７の表面に平行な外部の光を受け入れる。したがって、ユーザは、図１４Ｂに示すように、見守り装置１００を寝かせた状態で、つまり、筐体１０５およびディスプレイ１０７を水平に沿わせた状態で、見守り装置１００に見守り動作を行わせることができる。すなわち、ユーザは、見守り装置１００に見守り動作をさせながら、ディスプレイ１０７に表示されるアプリケーション画像１０７ｐを見るために、見守り装置１００を顔の位置まで持ち上げなくてもよい。ユーザは、胸の位置付近まで見守り装置１００を持ち上げて、ディスプレイ１０７が上を向くように、見守り装置１００を寝かせた状態で、すなわち、楽な姿勢で、アプリケーション画像１０７ｐの閲覧と、見守り対象者の見守りとを行うことができる。

以上、一つまたは複数の態様に係る見守り装置および見守り方法について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものまたは、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

例えば、実施の形態１および２とその変形例では、見守り対象者の位置に基づいてアプリケーション画像１０７ｐの位置を変更したが、アプリケーション画像１０７ｐの位置以外の表示対象を変更してもよい。例えば、アプリケーション画像１０７ｐの一部の領域を変形させたり、ぼかしたり、色を変えたりしてもよい。例えば、見守り対象者がカメラ画像における中心から右にずれている場合には、アプリケーション画像１０７ｐの右側の領域の表示態様を変更する。

また、実施の形態１および２とその変形例では、見守り対象者の位置に基づいてアプリケーション画像１０７ｐの位置を変更したときには、アプリケーション画像の一部の領域がディスプレイ１０７からはみ出すように隠れる。しかし、その一部の領域を隠すことなく、ねじ曲げることによって、視認し難くしてもよい。または、その一部の領域に文字列が表記されていれば、その文字列における文字と文字との間隔を短くしてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の見守り装置を実現するソフトウェアは、図１０〜図１１Ｃの何れかのフローチャートに示される各ステップをコンピュータに実行させるコンピュータプログラムである。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１および図１２に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logicdeviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（processor）によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えば
インターフェース、を備えていても良い。

本開示は、見守り対象者を適切に見守ることができるという効果を奏し、例えば、携帯電話、スマートフォン、またはタブレット端末などに適用することができる。

１００、２００ 見守り装置
１０１ 決定部
１０２ タイマー
１０３ カメラ
１０４ 位置検出部
１０５ 筐体
１０６，１０６ａ 表示制御部
１０７ ディスプレイ
１０８ 記憶部
１１３ サブカメラ
１１４ 注目判定部

Claims (21)

1. 筐体と、
   前記筐体の表面に配置されるディスプレイと、
   前記筐体の裏面に配置されるカメラと、
   前記カメラで撮像されるカメラ画像に基づいて、見守り対象者を決定する決定部と、
   前記カメラ画像中の前記見守り対象者の位置に基づいて、前記カメラ画像を含まないアプリケーション画像を前記ディスプレイに表示させる表示制御部、
   を備える見守り装置。
2. 前記表示制御部は、前記見守り対象者の位置に基づいて、前記ディスプレイにおける前記アプリケーション画像の位置を変更する、
   請求項１に記載の見守り装置。
3. 前記表示制御部は、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
   請求項１に記載の見守り装置。
4. 前記表示制御部は、
   前記見守り対象者が前記カメラ画像における中心に位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、
   前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
   請求項１に記載の見守り装置。
5. 前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、さらに、前記カメラ画像における中心から前記見守り対象者の位置までの変化距離が検出され、
   前記表示制御部は、前記変化距離が長いほど、前記アプリケーション画像の位置を前記ディスプレイの中心から遠くにずらして表示させる、
   請求項３に記載の見守り装置。
6. 前記表示制御部は、
   前記見守り対象者が決定されたときの前記カメラ画像における前記見守り対象者の位置である決定位置に、当該見守り対象者が位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、
   前記見守り対象者が前記決定位置以外に位置する場合には、前記見守り対象者の前記カメラ画像における前記決定位置からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
   請求項１に記載の見守り装置。
7. 前記表示制御部は、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者のカメラ画像における中心からずれている方向に、前記アプリケーション画像の位置をずらし、かつ前記アプリケーション画像を縮小して表示させる、
   請求項１に記載の見守り装置。
8. 前記カメラ画像における前記見守り対象者の奥行き方向の位置の変化が検出され、
   前記奥行き方向であって前記カメラから離れる向きに前記見守り対象者の位置が変化していることを検出されたときには、
   前記表示制御部は、前記ディスプレイの中心を基準として、前記アプリケーション画像を縮小して表示させる、
   請求項１に記載の見守り装置。
9. 前記見守り対象者の位置の変化距離が検出され、
   前記表示制御部は、前記見守り対象者の位置の変化距離が所定の値よりも長い場合には、前記ディスプレイに前記カメラ画像を表示させ、前記見守り対象者の位置の変化距離が前記所定の値以下の場合には、前記検出された見守り対象者の位置に基づいて、前記アプリケーション画像を前記ディスプレイに表示させる、
   請求項１に記載の見守り装置。
10. 前記見守り装置は、さらに、
    前記筐体に配置されるサブカメラと、
    前記サブカメラによって撮像されるサブカメラ画像に含まれるユーザの顔の少なくとも一部の動きに基づいて、前記ユーザが前記見守り対象者に注目しているか否かを判定する注目判定部とを備え、
    前記表示制御部は、前記ユーザが前記見守り対象者に注目していると判定される場合には、注目していないと判定される場合と比べて、前記アプリケーション画像の位置が前記ディスプレイの中心からずれる距離を短くする、
    請求項３に記載の見守り装置。
11. 筐体、ディスプレイ、及びカメラを有する装置において、前記ディスプレイの表示を制御する見守り方法であって、
    （ａ１）前記カメラによりカメラ画像を撮像し、前記カメラは前記筐体の裏面に位置し、
    （ａ２）前記カメラ画像に基づいて見守り対象者を決定し、
    （ａ３）前記カメラ画像中の前記見守り対象者の位置に基づいて、前記カメラ画像を含まないアプリケーション画像を前記ディスプレイに表示させ、前記ディスプレイは前記筐体の表面に位置する、
    見守り方法。
12. 前記（ａ３）において、前記見守り対象者の位置に基づいて、前記ディスプレイにおける前記アプリケーション画像の位置を変更する、
    請求項１１に記載の見守り方法。
13. 前記（ａ３）において、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
    請求項１１に記載の見守り方法。
14. 前記（ａ３）において、
    前記見守り対象者が前記カメラ画像における中心に位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、
    前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者の前記カメラ画像における中心からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
    請求項１１に記載の見守り方法。
15. さらに、前記（ａ２）の後、かつ前記（ａ３）の前に、（ａ４）前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、さらに、前記カメラ画像における中心から前記見守り対象者の位置までの変化距離を検出し、
    前記（ａ３）において、前記変化距離が長いほど、前記アプリケーション画像の位置を前記ディスプレイの中心から遠くにずらして表示させる
    請求項１３に記載の見守り方法。
16. 前記（ａ３）において、
    前記見守り対象者が決定されたときの前記カメラ画像における前記見守り対象者の位置である決定位置に、当該見守り対象者が位置する場合には、前記ディスプレイ全体に前記アプリケーション画像を表示させ、
    前記見守り対象者が前記決定位置以外に位置する場合には、前記見守り対象者の前記カメラ画像における前記決定位置からずれている方向に、前記アプリケーション画像の位置を前記ディスプレイの中心からずらして表示させる、
    請求項１１に記載の見守り方法。
17. 前記（ａ３）において、前記見守り対象者が前記カメラ画像における中心以外に位置する場合には、前記見守り対象者のカメラ画像における中心からずれている方向に、前記アプリケーション画像の位置をずらし、かつ前記アプリケーション画像を縮小して表示させる、
    請求項１１に記載の見守り方法。
18. さらに、前記（ａ２）の後、かつ前記（ａ３）の前に、（ａ５）前記カメラ画像における前記見守り対象者の奥行き方向の位置の変化を検出し、
    前記（ａ３）において、前記奥行き方向であって前記カメラから離れる向きに前記見守り対象者の位置が変化していることを検出されたときには、
    前記ディスプレイの中心を基準として、前記アプリケーション画像を縮小して表示させる、
    請求項１１に記載の見守り方法。
19. さらに、（ａ６）前記見守り対象者の位置の変化距離を検出し、
    前記（ａ３）において、前記見守り対象者の位置の変化距離が所定の値よりも長い場合には、前記ディスプレイに前記カメラ画像を表示させ、前記見守り対象者の位置の変化距離が前記所定の値以下の場合には、前記検出された見守り対象者の位置に基づいて、前記アプリケーション画像を前記ディスプレイに表示させる、
    請求項１１に記載の見守り方法。
20. 前記装置は、さらに、サブカメラを備え、
    前記見守り方法では、さらに、（ａ７）前記サブカメラによって撮像されるサブカメラ画像に含まれるユーザの顔の少なくとも一部の動きに基づいて、前記ユーザが前記見守り対象者に注目しているか否かを判定し、
    前記（ａ３）では、
    前記（ａ７）において、前記ユーザが前記見守り対象者に注目していると判定される場合には、注目していないと判定される場合と比べて、前記アプリケーション画像の位置が前記ディスプレイの中心からずれる距離を短くする、
    請求項１３に記載の見守り方法。
21. 筐体、ディスプレイ、及びカメラを有する装置において、前記ディスプレイの表示を制御するコンピュータプログラムであって、
    前記装置のコンピュータに対して、
    （ｂ１）前記カメラによるカメラ画像の撮像を実行させ、前記カメラは前記筐体の裏面に位置し、
    （ｂ２）前記カメラ画像に基づいて見守り対象者を決定させ、
    （ｂ３）前記カメラ画像中の前記見守り対象者の位置に基づいて、前記カメラ画像を含まないアプリケーション画像の前記ディスプレイへの表示を実行させ、前記ディスプレイは、前記筐体の表面に位置する、
    コンピュータプログラム。

Images