JP6668614B2 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP6668614B2
JP6668614B2 JP2015106205A JP2015106205A JP6668614B2 JP 6668614 B2 JP6668614 B2 JP 6668614B2 JP 2015106205 A JP2015106205 A JP 2015106205A JP 2015106205 A JP2015106205 A JP 2015106205A JP 6668614 B2 JP6668614 B2 JP 6668614B2
Authority
JP
Japan
Prior art keywords
person
display
display device
unit
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015106205A
Other languages
English (en)
Other versions
JP2016218946A (ja
Inventor
孔司 ▲桜▼田
孔司 ▲桜▼田
明史 坂本
明史 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2015106205A priority Critical patent/JP6668614B2/ja
Publication of JP2016218946A publication Critical patent/JP2016218946A/ja
Application granted granted Critical
Publication of JP6668614B2 publication Critical patent/JP6668614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、表示装置、表示方法及びプログラムに関する。
医師、看護師、または管理栄養士等の医療従事者が患者と面談を行う際に、患者の健康状態や生活習慣を改善するための情報を参考にしながら説明等を行う場面が想定される。例えば、医療従事者および患者は、ディスプレイ等の表示装置に表示された患者に関する情報を閲覧することにより、より効果的な面談を行うことができる。
しかしこの場合、表示端末に表示される情報は、医療従事者にとっては必要な情報であるが、患者にとっては不必要な情報、または患者には開示すべきではない情報が含まれている可能性が存在する。
そのため、近年、一の表示装置において、医療従事者または患者のいずれか一方に対して適切な情報を表示する技術が開発されてきた。例えば、下記特許文献1には、視点に応じて異なる情報を表示することが可能なデュアルビューディスプレイを用いた表示装置であって、各々人物の存在する方向にそれぞれ対応する人物向けの情報を表示する制御を行う技術が開示されている。かかる構成により、医療従事者と患者は、所定の位置に座ることで、一の表示装置を用いて互いに異なる情報を閲覧することができる。
特開2012−42717号公報
しかし、デュアルビューディスプレイによる表示の視野角は限られている。そのため、表示装置に対して限られた位置において情報を閲覧する必要があるので、利用時における空間的な制約が大きくなる。よって、表示装置に表示された情報の閲覧を閲覧者が任意の場所で行うことが困難であった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、閲覧者ごとに適した情報を任意の場所で閲覧することが可能な、新規かつ改良された表示装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、面談を支援するための表示装置において、撮像画像に含まれる人物の顔を検出する画像検出部と、上記画像検出部により上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定する判定部と、上記画像検出部による検出結果、および上記判定部による判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、前記表示装置の移動を検出する移動検出部と、を備え、前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置が提供される。
上記画像検出部は人物の顔の数を検出し、上記表示制御部は、上記画像検出部が検出する顔の数に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行ってもよい。
上記表示制御部は、上記顔の数が1であり、かつ、検出された上記顔を有する人物が上記第1の人物であると判定された場合、上記第1の人物に提示するための画面を表示する制御を行ってもよい。
上記判定部は、上記画像検出部により検出された顔と上記第1の人物の顔とを比較することにより検出された上記顔を有する人物が第1の人物か否かを判定してもよい。
上記表示装置は、上記人物の識別情報を含む識別体を読み取る識別体読取部をさらに備え、上記判定部は、読み取られた上記識別体に含まれる識別情報が上記第1の人物の識別情報であるか否かを判定してもよい。
上記判定部は、上記画像検出部により検出された顔と、上記識別体読取部により読み取られた上記第1の人物の識別体に含まれる識別情報に対応する上記第1の人物の顔とを比較することにより、検出された上記顔を有する人物が第1の人物か否かを判定してもよい。
上記判定部は、上記人物の識別情報を含む識別体において、上記撮像画像に含まれる上記識別体の上記識別情報を表示する識別表示部を検出し、検出された上記識別表示部の表示する識別情報に基づいて、上記撮像画像に含まれる人物が上記第1の人物であるか否かを判定してもよい。
上記判定部は、上記識別表示部の表示する識別情報が上記第1の人物の識別情報と同一であるか否かを判定してもよい。
上記判定部は、上記画像検出部により検出された顔と、上記識別表示部により表示される上記第1の人物の識別情報に対応する上記第1の人物の顔とを比較することにより、検出された上記顔を有する人物が第1の人物か否かを判定してもよい。
上記画像検出部は上記人物の顔の位置を検出し、上記判定部は、上記顔の位置に基づいて設定される検出領域において、上記識別表示部を検出してもよい。
上記識別表示部は二次元コードを含んでもよい。
上記識別表示部は発光体を含み、上記判定部は、上記発光体の示す発光パタンを検出し、検出された上記発光パタンに対応する上記識別情報が上記第1の人物の識別情報であるか否かを判定してもよい。
上記表示制御部は、上記第1の人物に提示するための画面、または第2の人物に提示するための画面のいずれかを表示する制御を行ってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、面談を支援するための表示装置を用いる表示方法において、撮像画像に含まれる人物の顔を検出するステップと、上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定するステップと、上記検出結果、および上記判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行うステップと、前記表示装置の移動を検出するステップと、を含み、前記表示の有無を切り替える制御を行うステップは、検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、面談を支援するためのプログラムにおいて、コンピュータを、表示装置であって、撮像画像に含まれる人物の顔を検出する画像検出部と、上記画像検出部により上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定する判定部と、上記画像検出部による検出結果、および上記判定部による判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、前記表示装置の移動を検出する移動検出部と、を備え、前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置として機能させるための、プログラムが提供される。
以上説明したように本発明によれば、閲覧者ごとに適した情報を任意の場所で閲覧することが可能である。
本発明の一実施形態に係る表示システムの概要を示す図である。 管理栄養士に提示するための情報を含む表示画面の一例を示す図である。 患者に提示するための情報を含む表示画面の一例を示す図である。 本発明の第1の実施形態に係る表示装置の構成を示すブロック図である。 本発明の第1の実施形態に係る制御部の有する構成を示すブロック図である。 本発明の第1の実施形態に係る表示制御部による表示制御の処理フローを示すフローチャートである。 本発明の第1の実施形態に係る表示装置の第1の使用例を示す図である。 本発明の第1の実施形態に係る表示装置の第2の使用例を示す図である。 本発明の第1の実施形態に係る表示装置の第3の使用例を示す図である。 本発明の第1の実施形態に係る表示装置の第4の使用例を示す図である。 本発明の第1の実施形態に係る表示装置の第5の使用例を示す図である。 本発明の第1の実施形態に係る表示装置の動作例を示すフローチャートである。 本発明の第2の実施形態に係る制御部の有する構成を示すブロック図である。 本発明の第2の実施形態に係るカードの一例を示す図である。 本発明の第2の実施形態に係る撮像部により生成された撮像画像の一例を示す図である。 本発明の第2の実施形態に係るカードの変形例を示す図である。 本発明の第2の実施形態に係る表示装置の動作例を示すフローチャートである。 本発明の実施形態に係る表示装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.表示システムの概要>
図1は、本発明の一実施形態に係る表示システム1の概要を示す図である。図1を参照すると、表示システム1は、サーバ2、および表示装置10を備える。表示装置10は、人物P1およびP2により使用される装置である。また、人物P1は、カード3を所持している。なお、本明細書においては、人物P1を管理栄養士P1、および、人物P2を患者P1として説明する。管理栄養士P1、および人物P2は、それぞれ第1の人物、および第2の人物に対応する。表示システム1は、例えば、医療機関等において、管理栄養士P1と患者P2とが、患者P2の健康状態や今後の健康管理等について面談する際に用いられるシステムである。なお、本明細書に係る表示システム1においては、管理栄養士P1、および人物P2の2人の人物により表示システム1が利用されることが想定されるが、表示システム1を利用する人物の数は限定されない。例えば、1人、または3人以上の人物により表示システム1が利用されてもよい。
サーバ2は、ネットワーク上の一または複数の情報処理装置によって構成される。サーバ2を構成する情報処理装置は、処理回路と、通信装置を含み得る。例えば、サーバ2は、通信装置を用いて表示装置10から管理栄養士P1の識別情報等を受信し、処理回路によって画面データの生成や管理栄養士P1のデータ照会等に関する処理を実行し、処理結果を通信装置によって表示装置10に送信してもよい。
本発明の各実施形態に係るサーバ2は、例えば、表示装置10に表示するための情報を含む画面データを生成し、生成した画面データを表示装置10に送信する。例えば、サーバ2は、管理栄養士P1の操作により表示装置10を介してログイン処理が実施された場合、管理栄養士P1または患者P2の少なくともいずれかに提示するための情報を含む画面データを、管理栄養士P1に関する情報に基づいて生成し、生成した画面データを表示装置10に送信してもよい。
なお、画面データは、管理栄養士P1および患者P2に個別に提示するための情報を含む一対の画面から構成されてもよい。つまり、表示装置10がサーバ2から取得した画面データには、管理栄養士P1向けの情報を含む画面データと、患者P2向けの情報を含む画面データとが含まれる。表示装置10は、上記画面データのうち、いずれか一方の人物向けの情報を含む画面のみを表示する。上記画面データに含まれる情報は、詳しくは後述するが、例えば、管理栄養士P1の業務に関連した情報であってもよい。例えば、画面データに含まれる情報は、管理栄養士P1が担当している患者P2の健康に関する情報等を含む画面データであってもよい。
カード3は、管理栄養士P1が勤務する医療機関により発行され、上記医療機関により登録される管理栄養士P1に係る各種データを格納することが可能なカードであり、識別体の一例である。例えば、カード3は、管理栄養士P1を識別する識別情報、管理栄養士P1の顔画像データ、または管理栄養士P1の業務に関するデータを格納してもよい。カード3は、例えば非接触IDチップを搭載したカードであってもよい。なお、識別情報とは、管理栄養士P1がサーバ2にログインするために必要な情報である。例えば、管理栄養士P1が識別情報を用いてサーバ2にログインすることにより、サーバ2は、管理栄養士P1の業務に関連した情報を含む画面データを生成し、表示装置10へ画面データを送信することができる。また、カード3の表面には、管理栄養士P1の顔写真、氏名、所属、職名等が記載されていてもよい。
表示装置10は、情報処理装置の一例である。表示装置10は、タブレット端末、スマートフォン、パーソナルコンピュータ、およびゲーム機等の装置を含み得る。本発明の一実施形態においては、表示装置10として、タブレット端末が用いられる。図1に示されるように、管理栄養士P1および患者P2がお互い表示装置10を使用することが想定されるので、表示装置10は、小型のハードウェア端末であることが好ましい。表示装置10は、処理回路と、通信装置と、出力装置とを含み得る。例えば、表示装置10では、通信装置がサーバ2から画面データを受信し、出力装置は、処理回路の処理結果に応じて画面データを出力してもよい。また、表示装置10は、管理栄養士P1または患者P2等の人物の操作を受け付けるためのボタンやタッチパネルなどの入力装置などをさらに含んでもよい。また、表示装置10は、上述したように、管理栄養士P1がカード3を用いてサーバ2にログインするためのインタフェースとしての機能を有してもよい。
本発明に係る表示装置10は、管理栄養士P1と患者P2との面談を行うに際して、管理栄養士P1または患者P2に提示するための情報を表示することにより面談を支援する装置である。ここで、表示装置10により管理栄養士P1または患者P2に対して提示される画面について説明する。図2および図3は、それぞれ、管理栄養士P1に提示するための情報を含む表示画面、および患者P2に提示するための情報を含む表示画面の一例を示す図である。まず、図2を参照すると、表示部140に表示された画面には、患者P2に提示するための情報を含む画面A1、管理栄養士P1が患者P2に問診するための情報を含む画面A2、および患者P2に関する情報を含む画面A3、並びに、画面を切り替えるためのボタンBtn1およびBtn2が配置されている。ボタンBtn1またはBtn2を押下することにより、画面A1〜A3の少なくともいずれかに表示されている内容を切り替えることが可能である。なお、ボタンBtn1またはBtn2の押下により新たに表示される画面は、一時的に記憶部120に記憶された画面データから呼び出してもよいし、押下の都度サーバ2から新たに画面データを取得してもよい。また、画面A2およびA3には、それぞれ、画面をスクロールするためのスクロールボタンScr1〜Scr4が配置されている。管理栄養士P1は、画面A1〜A3を閲覧しながら、患者P2に対して生活習慣等のアドバイスを行うことが可能である。これにより、患者P2に対するアドバイスを、より効率的に行うことができる。
一方、図3を参照すると、表示部140に表示された画面には、患者P2に提示するための情報を含む画面B1が配置されている。画面A1に含まれる情報と画面B1に含まれる情報は同一である。患者P2は、画面B1に含まれる情報を閲覧しながら管理栄養士P1の問診を受けることにより、管理栄養士P1による診断の内容について、より効率的に把握することができる。図2に示した表示画面と図3に示した表示画面はそれぞれ対応しており、一対の画面データとしてサーバ2において生成される。
ここで、図2に示したように、画面A2に含まれる情報には、管理栄養士P1が患者P2に問診するために必要な事項(食生活の変化について確認してください等)が列記されているので、患者P2にとっては不要な画面である。また、画面A3に含まれる情報には、患者P2が抱える潜在的な罹患リスク(糖尿病罹患のリスクあり)、または患者P2の生活習慣改善に関する観察結果(食事療法を勧めるも、意欲に問題あり、要観察等)など、患者P2に対して開示すべきでない情報も多く含まれ得る。そのため、患者P2が誤って管理栄養士P1に提示するための情報を閲覧することを防ぐことが求められる。
ここで、特開2012−42717号公報においては、視点に応じて異なる情報を表示することが可能なデュアルビューディスプレイを用いた表示装置であって、カメラによって撮像された人物の顔情報に応じて、上記人物の存在する方向に上記人物向けの情報を表示する制御を行う技術が開示されている。しかしながら、デュアルビューディスプレイによる表示の視野角は限られている。そのため、表示装置に対して限られた位置において表示情報を閲覧する必要があるので、利用時における空間的な制約が大きくなる。また、デュアルビューディスプレイを実現するためには、表示装置に視差バリア等の特殊な加工を施す必要がある。そのため、専用の表示装置を導入する必要があるので、その導入コストが大きくなる。
そこで、上記事情を一着眼点にし、表示装置10を創作するに至った。本発明の実施形態に係る表示装置10では、撮像画像に含まれる人物の顔を検出し、その顔の人物が管理栄養士P1か否かを判定することにより、管理栄養士P1に提示するための情報、または患者P2に提示するための情報の表示を切り替える制御を行う。例えば、表示装置10に備えられる撮像部150により撮像される人物の顔が管理栄養士P1の顔であったと判定された場合において、表示装置10は管理栄養士P1に提示するための情報を表示し、それ以外の場合において、表示装置10は患者P2に提示するための情報を表示する。そのため、表示装置10は、管理栄養士P1が表示装置10を閲覧している場合において管理栄養士P1に適した情報を提示することが可能である。これにより、管理栄養士P1または患者P2のいずれかに適した情報を、任意の場所で閲覧することが可能である。また、表示装置10はデュアルビューディスプレイを用いない構成であるため、表示装置10を低コストで導入することが可能である。以下、本発明の第1の実施形態および第2の実施形態に係る表示装置10(11、12)について説明する。
<2.第1の実施形態>
[2−1.構成例]
図4は、本発明の第1の実施形態に係る表示装置11の構成を示すブロック図である。図4を参照すると、表示装置11は、通信部110、記憶部120、操作入力部130、表示部140、撮像部150、カード読取部160、移動検出部170、および制御部200(本実施形態においては、制御部201)を備える。
通信部110は、表示装置11が備える通信手段であり、ネットワークNWを介して(あるいは直接的に)、外部装置と無線または有線により各種通信を行う。例えば、図2を参照すると、通信部110は、サーバ2とネットワークNWを介して通信を行ってもよい。具体的には、通信部110は、サーバ2と無線または有線により接続されている場合、サーバ2から画面データを受信し、受信した画面データを制御部201に提供してもよい。また、通信部110は、サーバ2以外の外部装置と通信を行ってもよい。例えば、通信部110は、外部装置から受信した情報を制御部201に提供してもよいし、制御部201から取得した情報を外部装置に送信してもよい。
記憶部120は、表示装置11が備える記憶手段であり、各種データを記憶する。記憶部120は、制御部201が使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、制御部201が行う処理において使用するプログラムや、その処理において適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)、データ等を記憶するHDD(Hard Disk Drive)装置などのデータ格納用記憶装置等で構成される。例えば、記憶部120は、サーバ2やカード3から取得した各種データを記憶してもよい。また、記憶部120は、後述する制御部201の有する各機能部により得られたデータ等を記憶してもよい。また、記憶部120に記憶されたデータが制御部200により呼び出されてもよい。
操作入力部130は、表示装置11が備える入力手段であり、ユーザからの入力操作を取得する。また、操作入力部130は、取得した入力操作を制御部201に出力する。例えば、操作入力部130は、表示部140に表示された画面の遷移を行う操作を取得してもよい。操作入力部130は、表示装置11が備えるボタンやタッチパネル等の入力装置により実現される。
表示部140は、表示装置11が備える出力手段であり、ユーザに対して情報を表示する。また、表示部140は、制御部201による制御に従って、各種情報の表示を行う。例えば、表示部140は、サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示してもよい。表示部140は、表示装置11が備えるディスプレイ等の出力装置により実現される。また、表示部140は、操作入力部130と一体となって構成されるタッチディスプレイ等により実現されてもよい。
撮像部150は、例えば、管理栄養士P1や患者P2等の人物を被写体として撮像することにより撮像画像を生成する。生成される撮像画像は、撮像画像に含まれる人物の検出や判定に用いられる。なお、撮像部150は、表示装置11が備える撮像モジュール等により実現されてもよく、表示部140を閲覧する人物の顔を撮像することができる位置に配置されてもよい。これにより、後述する制御部201において、表示部140を閲覧している人物の顔の検出処理や判定処理が可能となる。撮像部150は、生成した撮像画像を制御部201に出力する。
カード読取部160は、管理栄養士P1が有するカード3のICチップや磁気ストライプ等に格納されている情報やデータを読み取る。例えば、カード読取部160は、管理栄養士P1がサーバ2にログインするために必要な識別情報、管理栄養士P1の顔画像に係るデータ、または管理栄養士P1の業務に係るデータを読み取ってもよい。カード3が非接触型ICカードである場合は、カード読取部160は、表示装置11が備える非接触カードリーダ等により実現されてもよい。カード読取部160は、読み取った情報やデータを制御部201に出力する。
移動検出部170は、表示装置11が備える移動検出手段であり、表示装置11の移動量を算出する機能を有する。移動検出部170は、算出した移動量を制御部201に出力する。移動検出部170は、例えば、ピエゾ素子によるピエゾ抵抗効果を利用した半導体加速度センサなど、表示装置11の位置および姿勢の変化により生じる3軸の加速度を計測することが可能である加速度センサにより実現されてもよい。なお、本明細書において移動量とは、例えば、移動検出部170により計測される表示装置11の加速度の変化等により算出される、単位時間あたりの表示装置11の移動距離、または表示装置11の姿勢の変化に伴う角度の変化量であってもよい。
制御部201は、通信部110、記憶部120、操作入力部130、表示部140、撮像部150、カード読取部160、および移動検出部170、並びに、表示装置11の有するその他の機能部の動作制御等を行う。より具体的には、制御部201は、通信部110、記憶部120、操作入力部130、撮像部150、カード読取部160、および/または移動検出部170から取得した各種情報に基づき処理を実行し、処理結果を通信部110、記憶部120、および/または表示部140に出力する。制御部201は、表示装置11に含まれるCPU(Central Processing Unit)等の処理回路によって実現される。
[2−2.制御部の構成例]
続いて、表示装置11による表示制御処理について説明する。本実施形態においては、表示装置11による表示制御処理は、制御部201に含まれる各機能部により実現される。図5は、本発明の第1の実施形態に係る制御部201の有する構成を示すブロック図である。図5を参照すると、制御部201は、顔検出部211、顔判定部221、および表示制御部231を含み得る。
(顔検出部)
顔検出部211は、撮像部150により生成された撮像画像に含まれる人物の顔を検出する機能を含む。より具体的には、顔検出部211は、撮像画像に含まれる人物の顔の位置、または顔の数を検出する。検出された顔の位置は、例えば、撮像画像を構成する画素の座標により特定されてもよい。顔の検出のために顔検出部211により用いられるアルゴリズムは、例えばViola−Jones法などの公知のアルゴリズムであってもよい。顔検出部211は、検出した顔の位置に関する情報を顔判定部221に出力し、また、検出した顔の検出数を示すデータを顔判定部221および表示制御部231に出力する。なお、顔検出部211が人物の顔を検出しなかった場合は、顔検出部211は、顔の位置に関する情報を顔判定部221に出力せず、顔の検出数が0であることを顔判定部221および表示制御部231に出力してもよい。
(顔判定部)
顔判定部221は、撮像部150により生成された撮像画像に含まれる人物が、特定の人物であるか否かを判定する機能を含む。例えば、顔判定部221は、撮像画像に含まれる人物の顔が、特定の人物の顔と同一であるか否かを判定してもよい。本実施形態においては、特定の人物は、例えば管理栄養士P1であるとして説明する。撮像画像に含まれる人物の顔が、管理栄養士P1の顔と同一であるか否かを判定することにより、表示装置11を使用している人物が管理栄養士P1であるか否かを判別することができる。なお、顔判定部221による判定の比較対象となる管理栄養士P1の顔は、カード読取部160により読み取られたカード3に格納されている管理栄養士P1の顔画像データに示される顔であってもよい。これにより、表示装置11は、複数の管理栄養士の顔画像データを保持する必要がなくなる。また、管理栄養士P1の顔画像データは、表示装置11の記憶部120に予め記憶されてもよい。この場合、顔判定部221は、記憶部120に記憶されている顔画像データのうち、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データを呼び出してもよい。また、管理栄養士P1の顔画像データは、サーバ2に格納されてもよい。この場合、顔判定部221は、判定処理において、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データをサーバ2から呼び出してもよい。
また、顔判定部221は、上記の撮像画像について、顔検出部211により検出された顔の位置に存在する顔が、管理栄養士P1の顔と同一であるか否かを判定してもよい。これにより、顔判定部221は改めて撮像画像から人物の顔を検出する処理を省くことができる。また、検出された顔の数が算出されているので、判定処理が実施される回数を制限することができる。これにより、顔判定部221による処理の負荷を軽減させることができる。
また、顔判定部221は、撮像画像に含まれる顔の特徴量を算出し、算出された特徴量とカード3に格納されている管理栄養士P1の顔画像データに示される顔の特徴量とを比較することにより、撮像画像に含まれる人物の顔が、管理栄養士P1の顔と同一であるか否かを判定してもよい。本実施形態においては、カード3に格納されている管理栄養士P1の顔画像データにおける顔の特徴量は、予め特徴量データとしてカード3に格納されているが、他の実施形態においては、顔判定部221は、カード3に格納されている管理栄養士P1の顔画像データについて、顔の特徴量を逐一算出してもよい。なお、顔判定部221は、公知の技術を用いて顔の特徴量の算出を行ってもよい。例えば、顔判定部221は、上述したViola-Jones法におけるHaar-like特徴を算出することにより、顔の特徴量の算出を行ってもよい。
また、顔判定部221は、顔検出部211により検出された顔について、顔の同一性の判定を行う。撮像画像に含まれる人物の顔のうち、一の顔が管理栄養士P1の顔と同一であると判定された場合、顔判定部221は、撮像画像内に管理栄養士P1が含まれていることを示す「管理栄養士あり」という判定結果を表示制御部231に出力する。一方で、撮像画像に含まれる人物の顔がいずれも管理栄養士P1の顔と同一でないと判定された場合、顔判定部221は、撮像画像内に管理栄養士P1が含まれていないことを示す「管理栄養士なし」という判定結果を表示制御部231に出力する。なお、顔判定部221は、公知の技術を用いて顔の同一性の判定を行ってもよい。例えば、顔判定部221は、例えば、主成分分析法による固有顔のスコア間距離の算出により、顔の同一性の判定を行ってもよい。また、顔判定部221は、撮像画像に含まれる人物が特定の人物だけではなく、特定の職種であるか否かを判定してもよい。なお、顔判定部221は、顔検出部211により検出された人物の数が0である場合、顔の同一性の判定処理を実施せずに、撮像画像内に管理栄養士P1が含まれていないという判定結果を表示制御部231に出力してもよい。
(表示制御部)
表示制御部231は、顔検出部211から取得した顔の検出数、顔判定部221による判定結果、または移動検出部170から取得した表示装置11の移動量の少なくともいずれかに基づいて、管理栄養士P1に提示するための表示の有無を切り替える制御を行う。例えば、表示制御部231は、サーバ2から取得した一対の画面を含む画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための画面を表示部140に表示する制御を、上述した検出数、判定結果または移動量の少なくともいずれかに基づいて行ってもよい。具体的な表示制御については、後述する。
[2−3.表示制御例]
表示制御部231による表示制御例について説明する。まず、表示制御部231による表示制御の処理フローについて説明する。
図6は、本発明の第1の実施形態に係る表示制御部231による表示制御の処理フローを示すフローチャートである。まず、表示制御部231は、顔検出部211により検出された顔の検出数が1であるか否かを判定する(S101)。顔の検出数が1である場合(YES)、表示制御部231は、顔判定部221から出力された判定結果が「管理栄養士あり」か「管理栄養士なし」かを判定する(S102)。判定結果が「管理栄養士あり」である場合(YES)、表示制御部231は、移動検出部170により取得した表示装置11の移動量が所定の閾値以下であるか否かを判定する(S103)。所定の閾値の大きさについては特に制限されない。例えば、所定の閾値の大きさは、表示装置11を管理栄養士P1から患者P2に手渡す際の動作における表示装置11の速度や姿勢の変化に基づいて機械学習等の手法により決定されてもよい。また、所定の閾値の大きさは、予め設定された値であってもよい。移動量が所定の閾値以下である場合(YES)、表示制御部231は、表示部140を介して、管理栄養士P1に提示するための画面を表示する(S104)。一方、判定結果が「管理栄養士なし」である場合(S101のNO)、顔の検出数が1でない場合(S102のNO)、または移動量が所定の閾値を超える場合(S103のNO)、表示制御部231は、表示部140を介して、患者P2に提示するための画面を表示する(S105)。
次に、実際の表示装置11について想定される使用例における表示制御部231の表示制御処理について、図7〜図11を参照しながら説明する。図7は、本発明の第1の実施形態に係る表示装置11の第1の使用例を示す図である。図7は、管理栄養士P1が表示装置11を使用しながら患者P2と面談している場合において、表示装置11の撮像部150が管理栄養士P1を撮像している状況を示している。また、表示装置11は静止しており、移動検出部170から取得した移動量は所定の閾値以下であるとする。なお、撮像部150の両端から延びている破線は、撮像部150の撮像範囲を示す。この場合、撮像部150は、管理栄養士P1のみを撮像しているので、顔検出部211は顔の検出数として1を出力し、顔判定部221は人物の顔が管理栄養士P1の顔と同一であると判定する。また、移動検出部170から取得した移動量は所定の閾値以下であるので、図6のフローチャートにおけるステップS101〜S103の判定は全てYESとなる。よって、表示制御部231は、図7に示した使用例においては、管理栄養士P1に提示するための情報を含む画面を表示する制御を行う。
図8は、本発明の第1の実施形態に係る表示装置11の第2の使用例を示す図である。図8は、管理栄養士P1が表示装置11を使用しながら患者P2と面談している場合において、撮像部150は管理栄養士P1のみを撮像しているが、表示装置11が、管理栄養士P1から患者P2へと矢印Dの方向へ移動している状況を示している。このとき、移動検出部170から取得した移動量は所定の閾値を超えているとする。この場合、撮像部150は、管理栄養士P1のみを撮像しているので、顔検出部211は顔の検出数として1を出力し、顔判定部221は人物の顔が管理栄養士P1の顔と同一であると判定する。しかし、移動検出部170から取得した移動量は上記の通り所定の閾値を超えている。そのため、表示制御部231は、表示装置11の移動量が所定の閾値を超えていると判定する(図6におけるステップS103のNO)。よって、表示制御部231は、図8に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、表示装置11が管理栄養士P1から患者P2へと急に移動する場合においても、表示部140に表示された画面を管理栄養士P1に提示するための画面から、患者P2に提示するための画面に切り替えることができる。したがって、表示装置11の表示部140の位置や向きを急に変えたとしても、患者P2が管理栄養士P1に提示するための情報を含む画面を閲覧してしまうことを防ぐことができる。
図9は、本発明の第1の実施形態に係る表示装置11の第3の使用例を示す図である。図9は、管理栄養士P1および患者P2が面談している場合において、撮像部150の撮像範囲に人物が含まれていない状況を示している。この場合、顔検出部211は顔の検出数として0を出力する。そのため、表示制御部231は、顔の検出数が1ではないと判定する(図6におけるステップS101のNO)。また、この場合においては、そもそも人物の顔が検出されていないため、表示制御部231は、顔判定部221の判定結果が「管理栄養士なし」であると判定してもよい(図6におけるステップS102のNO)。よって、表示制御部231は、図9に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、撮像部150の撮像範囲外に管理栄養士P1が存在する場合において、患者P2が管理栄養士P1に提示するための情報を含む画面を誤って閲覧してしまうことを防ぐことができる。
図10は、本発明の第1の実施形態に係る表示装置11の第4の使用例を示す図である。図10は、患者P2が表示装置11を使用しながら管理栄養士P1と面談している場合において、表示装置11は静止しており、撮像部150は患者P2のみを撮像している状況を示している。この場合、顔検出部211は顔の検出数として1を出力するが、顔判定部221は撮像画像に含まれる人物の顔が管理栄養士P1の顔と同一ではないと判定する。そのため、表示制御部231は、顔判定部221による判定結果が「管理栄養士なし」であるので(図6におけるステップS102のNO)、図10に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、表示装置11を患者P2が使用している場合において、患者P2は患者P2に提示するための情報を含む画面を閲覧することが可能である。
図11は、本発明の第1の実施形態に係る表示装置11の第5の使用例を示す図である。図11は、管理栄養士P1および患者P2がともに表示装置11を使用しながら面談している場合において、表示装置11は静止しており、撮像部150は管理栄養士P1および患者P2を撮像している状況を示している。この場合、撮像範囲には管理栄養士P1および患者P2の二人が含まれるので、顔判定部221は撮像画像に含まれる人物の顔のうち一の顔が管理栄養士P1の顔と同一であると判定するが、顔検出部211は顔の検出数として2を出力する。そのため、表示制御部231は、顔判定部221による判定結果が「管理栄養士あり」であるが、顔の検出数が2であるため、顔の検出数が1ではないと判定する(図6におけるステップS101のNO)。よって、表示制御部231は、図11に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、管理栄養士P1と患者P2がともに表示装置11を使用する場合において、患者P2が管理栄養士P1に提示するための情報を含む画面を誤って閲覧してしまうことを防ぐことができる。
以上、本発明の第1の実施形態に係る表示装置11の使用例における表示制御部231の表示制御処理について説明した。なお、表示制御部231による表示制御処理の例は、図7〜図11に示した使用例に限られるものではない。例えば、表示装置11を使用する人物の数、人物の属性(管理栄養士および患者の他に、医師、看護師、または患者の家族等)、または人物間の面談内容等に応じて、表示制御部231は、顔検出部211および顔判定部221から取得した情報について行う判定の基準を変更してもよい。
[2−4.動作例]
図12は、本発明の第1の実施形態に係る表示装置11の動作例を示すフローチャートである。図12を参照すると、ステップS301およびS302は、表示装置11の起動処理に係る動作を示し、ステップS303〜S306は、表示装置11の表示制御処理に係る動作を示す。
表示装置11は、最初に起動処理に係る動作を行う(S301、S302)。まず、カード読取部160が管理栄養士P1の有するカード3に記憶された識別情報を読み取り、通信部110が上記識別情報をサーバ2に送信する(S301)。サーバ2は、受信した識別情報が管理栄養士P1であると判定した場合、管理栄養士P1のログイン処理を実施する。サーバ2においてログイン処理が実施されると、通信部110はサーバ2から画面データを受信する(S302)。取得された画面データは記憶部120に一時的に記憶されてもよい。
次に、表示装置11は、表示制御処理に係る動作を行う(S303〜S306)。まず、表示装置11は、表示装置11を使用する人物の撮像、および表示装置11の移動量の検出を行う(S303)。具体的には、撮像部150は、表示部140を閲覧する人物を撮像し、撮像画像を生成する。また、移動検出部170は、表示装置11の移動量を検出する。次に、表示装置11は、撮像画像および移動量に基づいて、表示制御処理を実施する(S304)。具体的には上述した通り、顔検出部211により検出される顔の検出数、顔判定部221による判定結果、または上記移動量と所定の閾値との比較結果の少なくともいずれかに基づいて、表示制御部231が上記サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する制御を行う。
次に、表示部140は、表示制御部231の表示制御の処理結果に応じて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する(S305)。表示装置11は、画面の表示が継続されるか否かを単位時間ごとに判定する(S306)。例えば、表示装置11は、管理栄養士P1または患者P2の少なくともいずれかによる操作により表示装置11の画面の表示が終了されたか否かを単位時間ごとに判定する。なお、単位時間は任意の値であってよい。画面の表示が終了された場合(NO)、表示装置11は動作を終了する。一方、ステップS306において引き続き画面の表示が継続される場合(YES)、表示装置11は再度ステップS303〜S305の処理を行う。
[2−5.効果]
以上、本発明の第1の実施形態に係る表示装置11について説明した。本実施形態によれば、表示装置11は、撮像部150により生成された撮像画像に含まれる人物の顔の検出結果および判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。これにより、表示装置11は、撮像部150により表示部140を閲覧する人物を撮像し、移動検出部170により表示装置11の移動や姿勢の変化を検出することで、容易に表示部140に表示する画面の切り替えを行うことができる。したがって、表示装置11は、従来のディスプレイを用いて情報を表示することが可能であるので、デュアルビューディスプレイのように表示視野が限られることがない。そのため、管理栄養士P1および患者P2は、空間上の制約なしに、任意の場所で、管理栄養士P1または患者P2のいずれかに提示するための情報を閲覧することができる。例えば、管理栄養士P1および患者P2は、面談における各々の位置や姿勢、面談を行う場所にかかわらず、表示装置11を使用することが可能である。
また、表示装置11はデュアルビューディスプレイを用いずに閲覧者ごとに適した情報を表示する制御を行うことができるので、例えば、デュアルビューディスプレイ機能を有する特別な表示装置を用意する必要はない。そのため、表示装置11の導入コストを低く抑えることが可能である。また、表示装置11は任意のタブレット端末やスマートフォン等により実現可能であるため、表示装置の小型化が可能である。これにより、閲覧者の利便性を向上させることが可能である。
<3.第2の実施形態>
[3−1.構成例]
続いて、本発明の第2の実施形態に係る表示装置12について説明する。なお、表示装置12の構成は、図4に示した第1の実施形態に係る表示装置11の構成と、制御部202の内部構成を除いて同一であるため、説明を省略する。なお、本実施形態によれば、カード読取部160により読み取られたカード3に格納された顔画像データは、表示装置12において用いられない。しかし、上述したように、表示装置12は管理栄養士P1がサーバ2にログインするためのインタフェースであるため、本実施形態においてもカード読取部160は表示装置12に備えられてもよい。以下、表示装置12の制御部202の内部構成例について説明する。
図13は、本発明の第2の実施形態に係る制御部202の有する構成を示すブロック図である。図13を参照すると、制御部202は、顔検出部212、カード判定部222、および表示制御部232を含み得る。本実施形態に係る顔検出部212および表示制御部232は、第1の実施形態に係る顔検出部211および表示制御部231とそれぞれ同一であるので、詳細な説明は省略する。顔検出部212は、検出した顔の位置に関する情報をカード判定部222に出力し、また、検出した顔の検出数を示すデータをカード判定部222および表示制御部232に出力する。また、表示制御部232は、顔検出部212から取得した顔の検出数、カード判定部222による判定結果、または移動検出部170から取得した表示装置12の移動量の少なくともいずれかに基づいて、管理栄養士P1に提示するための表示の有無を切り替える制御を行う。
(カード判定部)
カード判定部222は、撮像部150により生成された撮像画像に含まれる識別情報を表示する識別表示部を検出し、検出された識別情報が管理栄養士P1の識別情報と同一であるか否かを判定する機能を含む。ここで、識別表示部とは、例えば管理栄養士P1の有するカード3に付加されている模様や表示を示す。例えば、識別表示部は、バーコード、、もしくは二次元コード等の模様、または、赤外線LED等の発光体であってもよい。
図14は、本発明の第2の実施形態に係るカード3−1の一例を示す図である。図14を参照すると、カード3−1には、二次元コード31、管理栄養士P1の顔写真Fp1、並びに、管理栄養士P1の勤務先、職名、および氏名等を含む職員情報Nm1が記載されている。二次元コード31は上述した識別表示部の一例であり、公知の二次元コードであってもよい。二次元コード31は、例えば、管理栄養士P1の識別情報等の情報を含むコードであってもよい。
図15は、本発明の第2の実施形態に係る撮像部150により生成された撮像画像の一例を示す図である。図15を参照すると、撮像画像CPには管理栄養士P1の画像が含まれている。カード判定部222は、例えば、撮像画像CPについて、顔検出部211により検出された顔の位置に基づいて二次元コード31を検出してもよい。より具体的に言うと、カード判定部222は、まず、顔検出部211から取得した顔の位置に関する情報に基づき、撮像画像CPにおける人物の顔の領域Faを特定してもよい。ここで、管理栄養士P1等の職員が所有するカード3−1は、例えば、人物の首からストラップ等により吊り下げられていたり、人物の被服の胸あたりに係止されることが多い。そのため、カード判定部222は、撮像画像CP内における人物の顔の領域Faよりも下部の領域を特定し、特定した領域内において、カード3−1に記載された二次元コード31を検出してもよい。検出領域の大きさは特に限定されない。図15に示した例においては、カード判定部222は、顔の領域Faの下部において検出領域Daを特定し、検出領域Da内において二次元コード31を検出する。これにより、二次元コード31の検出処理にかかる負荷を低減させることができる。なお、カード判定部222は、撮像画像CPの全領域を検出領域として特定してもよい。これにより、例えば管理栄養士P1がカード3−1を上述した検出領域Da以外の位置において携行している場合においても、二次元コード31を検出することができる。
二次元コード31を検出したカード判定部222は、二次元コード31の画像解析処理を行うことにより識別情報を取得する。なお、画像解析処理については、公知の技術が用いられてもよい。そして、カード判定部222は、二次元コード31から取得した識別情報に基づいて、撮像画像に含まれる人物について判定してもよい。例えば、カード判定部222は、取得した識別情報に基づいて、撮像画像に含まれる人物が、所定の条件を満たす人物であるか否かを判定してもよい。所定の条件を満たす人物とは、例えば、管理栄養士P1のように、管理栄養士の職位にある人物であってもよい。この場合、カード判定部222は、取得した識別情報に、カード3−1の所有者が管理栄養士の職位であるか否かを判定してもよい。カード3−1の所有者が管理栄養士の職位であると判定された場合、カード判定部222は、撮像画像内に管理栄養士の職位を有する人物が含まれていることを示す「管理栄養士あり」という判定結果を表示制御部232に出力する。一方で、二次元コード31が検出されなかった場合、または、二次元コード31の解析結果、カード3−1の所有者が管理栄養士の職位でない人物であった場合、カード判定部222は、撮像画像内に管理栄養士の職位を有する人物が含まれていないことを示す「管理栄養士なし」という判定結果を表示制御部232に出力する。
カード判定部222は、上述した通り、取得した識別情報のみに基づいて、撮像画像内の人物が特定の人物であるか否かを判定してもよい。上述した例では、カード判定部222は撮像画像内の人物が管理栄養士P1を特定する必要はない。しかし、例えば、管理栄養士P1が継続的に担当している患者P2に関する情報を含む画面データを呼びだすために、撮像画像内の人物が管理栄養士P1であると特定することも求められる。そのため、カード判定部222は、二次元コード31から取得した識別情報と、予め登録されている管理栄養士P1に関する識別情報とが同一であるか否かを判定してもよい。予め登録されている識別情報は、例えば、記憶部120に予め記憶されてもよいし、サーバ2に格納されてもよい。この場合、カード判定部222は、取得した識別情報について記憶部120またはサーバ2に照会し、上記識別情報と一致する識別情報が存在するか否かを判定してもよい。かかる構成により、カード判定部222は、撮像画像内に含まれる人物が管理栄養士P1であるか否かを判定することができる。
本実施形態によれば、撮像画像内に含まれる人物の顔ではなく、人物の所有するカード3−1の二次元コード31を含む識別表示部により、上記人物が管理栄養士であるか否かを判定する。二次元コード31は、人物の顔と比較して、画像解析による検出および判定において環境光や人物の姿勢の変化の影響を受けにくい。また、二次元コード31は単純な模様や形状により構成され得るため、画像解析が容易であり、画像解析処理にかかる負荷が低い。そのため、本実施形態に係る表示装置12は、カード判定部222により、撮像画像内の人物の判定処理を、より高速に、かつ使用状況によらずほぼ一定の精度で行うことが可能である。よって、表示装置12は、管理栄養士P1または患者P2に対して、各々に適した情報を含む画面を安定的に表示することができる。
なお、カード判定部222は、上述した二次元コード31による判定に加えて、撮像画像内に含まれる人物の顔と、二次元コード31により識別される識別情報に対応する顔画像内に含まれる顔が同一であるか否かをさらに判定してもよい。この場合、識別情報の同一性が判定され、かつ、撮像画像内に含まれる人物がカード3−1の所有者であると判定された場合に、カード判定部222は、「管理栄養士あり」という判定結果を出力することができる。そのため、例えば、カード3−1を不正に取得した人物により管理栄養士に提示するための画面を表示してしまうことを防ぐことが可能であり、患者P2に関する情報の漏えいリスクを低減させることができる。なお、撮像画像内に含まれる人物の顔との比較対象は、カード3−1に記載されている顔写真Fp1に示されている顔であってもよい。これにより、カード3−1に人物の顔に対応するデータが格納されていない場合においても、カード3−1の所有者が撮像画像内に含まれている人物であるか否かを判定することができる。
・第1の変形例
本実施形態においては、カード3−1には、識別表示部として二次元コード31が付加されていたが、本発明はかかる例に限定されない。例えば、カード3には、識別表示部として、赤外線LEDが付加されてもよい。
図16は、本発明の第2の実施形態に係るカード3−2の変形例を示す図である。図16を参照すると、カード3−2には、管理栄養士P1の顔写真Fp2、並びに、管理栄養士P1の勤務先、職名、および氏名等を含む職員情報Nm2が記載されているほか、赤外線LED32が付加されている。赤外線LED32は赤外領域の光を発するので、肉眼では上記光を視認することができない。しかし、撮像部150を実現する撮像装置は、上記光を認識することができる。そのため、カード判定部222は、環境光の影響を受けずに赤外線LED32の発光を検出することが可能である。赤外線LED32は、例えば、カード3−2の所有者に応じた特定の発光パタンに基づいて発光してもよい。発光パタンとは、例えば、赤外線LED32による規則的な点滅パタンであってもよい。この場合、カード判定部222は、赤外線LED32の発光パタンを検出し、上記発光パタンに対応する人物または人物の職位を判定する。これにより、カード3−2の所有者の人物について判定することが可能である。
・第2の変形例
また、カード判定部222は、カード3の形状、模様またはカード3に記載されている文字等を表示識別部として検出してもよい。例えば、カード判定部222は、図14に示したように、カード3に記載されている職員情報Nm1を検出し、職員情報Nm1に対応する人物または人物の職位を判定してもよい。これにより、カード3に特殊な加工を施さなくても、カード3の所有者の人物について判定することが可能である。
[3−2.動作例]
図17は、本発明の第2の実施形態に係る表示装置12の動作例を示すフローチャートである。図17を参照すると、ステップS401およびS402は、表示装置12の起動処理に係る動作を示し、ステップS403〜S406は、表示装置12の表示制御処理に係る動作を示す。
表示装置12は、最初に起動処理に係る動作を行う(S401、S402)。まず、カード読取部160が管理栄養士P1の有するカード3に記憶された識別情報を読み取り、通信部110が上記識別情報をサーバ2に送信する(S401)。サーバ2は、受信した識別情報が管理栄養士P1であると判定した場合、管理栄養士P1のログイン処理を実施する。サーバ2においてログイン処理が実施されると、通信部110はサーバ2から画面データを受信する(S402)。取得された画面データは記憶部120に一時的に記憶されてもよい。
次に、表示装置12は、表示制御処理に係る動作を行う(S403〜S406)。まず、表示装置12は、表示装置12を使用する人物の撮像、および表示装置12の移動量の検出を行う(S403)。具体的には、撮像部150は、表示部140を閲覧する人物を撮像し、撮像画像を生成する。また、移動検出部170は、表示装置12の移動量を検出する。次に、表示装置12は、撮像画像および移動量に基づいて、表示制御処理を実施する(S404)。具体的には上述した通り、顔検出部212により検出される顔の検出数、カード判定部222による判定結果、または上記移動量と所定の閾値との比較結果の少なくともいずれかに基づいて、表示制御部232が上記サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する制御を行う。
次に、表示部140は、表示制御部232の表示制御の処理結果に応じて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する(S405)。表示装置12は、画面の表示が継続されるか否かを単位時間ごとに判定する(S406)。例えば、表示装置12は、管理栄養士P1または患者P2の少なくともいずれかによる操作により表示装置12の画面の表示が終了されたか否かを単位時間ごとに判定する。画面の表示が終了された場合(NO)、表示装置12は動作を終了する。一方、ステップS406において引き続き画面の表示が継続される場合(YES)、表示装置12は再度ステップS403〜S405の処理を行う。
[3−3.効果]
以上、本発明の第2の実施形態に係る表示装置12について説明した。本実施形態によれば、表示装置12は、撮像部150により生成された撮像画像に含まれる人物の検出結果およびカード3の識別表示部の判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。本実施形態に係る表示装置12において、カード判定部222は、カード3に付加された二次元コード31または赤外線LED32の発光パタンにより特定される識別情報を取得することにより、撮像画像に含まれる人物が管理栄養士P1であるか否かの判定を行う。二次元コードや赤外線LEDによる識別情報の取得処理の精度は、人物の顔の判定処理の精度と比較して、環境光等の影響を受けにくい。そのため、本実施形態にかかる構成により、表示装置12は、画面データの表示を切り替える制御をより高速に、かつ使用環境によらず一定の精度で行うことが可能である。
<4.ハードウェア構成例>
以上、本発明の各実施形態に係る表示装置10の動作例について説明した。上述した表示装置10の情報処理は、ソフトウェアと、表示装置10との協働により実現される。以下では、本発明の実施形態に係る表示装置10のハードウェア構成について説明する。
図18は、本発明の実施形態に係る表示装置10のハードウェア構成例を示すブロック図である。表示装置10は、CPU901、ROM903、およびRAM905、ホストバス907、ブリッジ909、外部バス911、インタフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート925、および通信装置929を含む。さらに、表示装置10は、必要に応じて、撮像装置931、およびセンサ933を含んでもよい。なお、表示装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、表示装置10内の動作全般またはその一部を制御する。なお、CPU901は、制御部200の機能を実現する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示装置10の操作に対応した携帯電話などの外部接続機器927であってもよい。また、入力装置915は、マイクロフォンなどの音声入力装置であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、表示装置10に対して各種のデータを入力したり処理動作を指示したりする。なお、入力装置915は、操作入力部130の機能を実現する。また、入力装置915は、カード読取部160の機能を実現するためのカードリーダであってもよい。
出力装置917は、取得した情報をユーザに対して視覚的にまたは聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OELD(Organic Electro−Luminescence Display)などの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、表示装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。なお、出力装置917は、表示部140の機能を実現する。
ストレージ装置919は、表示装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDDなどの磁気記憶部デバイス、SSD(Solid State Drive)などの半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、ストレージ装置919は、記憶部120の機能を実現する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体923のためのリーダライタであり、表示装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体923に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体923に記録を書き込む。
接続ポート925は、機器を表示装置10に直接接続するためのポートである。接続ポート925は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート925は、RS−232Cポート、光オーディオ端子などであってもよい。接続ポート925に外部接続機器927を接続することで、表示装置10と外部接続機器927との間で各種のデータが交換され得る。
通信装置929は、例えば、通信ネットワークNWに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置929は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置929は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置929は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置929に接続される通信ネットワークNWは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。なお、通信装置929は、通信部110の機能を実現する。
撮像装置931は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置931は、静止画を撮像するものであってもよいし、または動画を撮像するものであってもよい。なお、撮像装置931は、撮像部150の機能を実現する。
センサ933は、例えば、GPS(Grobal Positioning System)センサ、加速度センサ、ジャイロセンサ、地磁気センサなどの各種のセンサである。センサ933は、例えば表示装置10の筐体の位置や姿勢など、表示装置10自体の状態に関する情報等を取得する。なお、センサ933は、移動検出部170の機能を実現する。
以上、表示装置10のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されてもよいし、各構成要素の機能に特化したハードウェアにより構成されてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
<5.まとめ>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示装置10は、カード読取部160によりカード3から識別情報を読み取った場合にサーバ2から画面データを取得し、表示制御部231(232)が取得した画面データについての表示の切り替え制御を行ったが、本発明はかかる例に限定されない。例えば、表示制御部231は、顔検出部211(212)による検出結果、および顔判定部221(カード判定部222)の判定結果に基づく制御指示をサーバ2に送信してもよい。この場合、サーバ2は、取得した制御指示に基づいて、管理栄養士P1または患者P2に提示するための画面のいずれかを含む画面データを生成し、生成した画面データを表示装置10に送信してもよい。これにより、表示部140に表示させる画面を含む画面データの容量が低減し、表示装置10における処理負荷を低減させることができる。
また、上記実施形態では、カード読取部160は、管理栄養士P1の有するカード3に含まれる識別情報等を読み取り、また、顔判定部221およびカード判定部222は、上記識別情報等に基づいて撮像画像に含まれる人物が管理栄養士P1であるか否かを判定したが、本発明はかかる例に限定されない。例えば、カード読取部160は、患者P2の有するカードに含まれる識別情報等を読み取り、顔判定部221およびカード判定部222は、上記識別情報等に基づいて、撮像画像に含まれる人物が患者P2であるか否かを判定してもよい。患者P2の有するカードは、例えば、患者P2の受診する医療機関が発行する診察券等であってもよい。これにより、例えば、カード読取部160が患者P2の有するカードを読み取った際に、サーバ2は患者P2に関する情報を含む画面データを生成することができる。また、表示制御部231(232)は、撮像画像内に含まれる人物が患者P2であると判定された場合に、患者P2に提示するための情報を含む画面を表示することができる。
また、上記実施形態では、表示制御部231(232)は、顔検出数が1ではない場合に患者P2に提示するための画面を表示する制御を行うとしたが、本発明はかかる例に限定されない。例えば、複数の管理栄養士が患者について議論をする際に表示装置10を用いることが想定される。この場合、撮像画像内に含まれる人物が複数であると検出されたが、顔判定部221(カード判定部222)により検出された人物が全て管理栄養士であると判定された場合は、表示制御部231(232)は、上記複数の管理栄養士の少なくともいずれかに提示するための画面を表示する制御を行ってもよい。これにより、複数の顔が検出された場合にあっても、管理栄養士は、管理栄養士に提示するための画面を閲覧しながら議論することが可能である。
また、他の実施形態においては、表示装置10は、カード読取部160を含まない構成であってもよい。この場合、例えば、サーバ2は、表示装置10からの指示に応じて、画面データを表示装置10に送信してもよい。例えば、サーバ2は、操作入力部130を介した表示装置10への入力に応じて、画面データを送信してもよい。また、顔判定部221は、撮像画像内に含まれる人物が、管理栄養士P1であるか否かを、予め記憶部120、または、サーバ2に記憶された管理栄養士P1の情報に基づいて判定してもよい。
また、他の実施形態においては、表示装置10は、移動検出部170を含まない構成であってもよい。この場合、例えば、表示制御部231(232)は、顔検出部211(212)による検出結果、および顔判定部221(カード判定部222)による判定結果に基づいて、画面データの表示の切り替え制御を行ってもよい。
また、上記実施形態では、サーバ2と表示装置10とが表示システム1を構成していたが、本発明はかかる例に限定されない。例えば、表示装置10の内部にサーバ2の機能が組み込まれた表示装置または表示システムが提供されてもよい。また、表示装置10の制御部200に含まれる各機能をサーバ2が有する構成であってもよい。具体的には、サーバ2が、表示装置10の撮像部150により生成された撮像画像、または移動検出部170により算出された移動量等の情報を取得して、所定の処理を行い、表示装置10の表示部140に表示するための処理結果を表示装置10に送信する構成であってもよい。
また、本明細書の表示装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示装置10の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、表示装置10に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記の表示装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本発明の実施形態に係る表示装置10は、医療機関等における管理栄養士を含む医療従事者と患者との面談を支援するために使用されるが、適用対象は、かかる例に限定されない。例えば、表示装置10は、任意の業種における店舗またはサービス提供箇所等において店員と顧客とが商品またはサービス等の契約や相談等に関する面談において適用可能である。より具体的には、表示装置10は、金融機関や官公庁等における顧客もしくはサービス受益者との面談、または、教育機関等における学生もしくは学生の保護者との面談等においても適用可能である。その他、特定の人物のみに対して開示する情報を含む情報を参考にしながら面談を行う場合において、表示装置10は適用可能である。
1 表示システム
2 サーバ
10、11、12 表示装置
110 通信部
120 記憶部
130 操作入力部
140 表示部
150 撮像部
160 カード読取部
170 移動検出部
200、201、202 制御部
211、212 顔検出部
221 顔判定部
222 カード判定部
231、232 表示制御部

Claims (15)

  1. 面談を支援するための表示装置において、
    撮像画像に含まれる人物の顔を検出する画像検出部と、
    前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
    前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
    前記表示装置の移動を検出する移動検出部と、
    を備え、
    前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置。
  2. 前記画像検出部は人物の顔の数を検出し、
    前記表示制御部は、前記画像検出部が検出する顔の数に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う、請求項1に記載の表示装置。
  3. 前記表示制御部は、前記顔の数が1であり、かつ、検出された前記顔を有する人物が前記第1の人物であると判定された場合、前記第1の人物に提示するための画面を表示する制御を行う、請求項2に記載の表示装置。
  4. 前記判定部は、前記画像検出部により検出された顔と前記第1の人物の顔とを比較することにより検出された前記顔を有する人物が第1の人物か否かを判定する、請求項1〜3のいずれか一項に記載の表示装置。
  5. 前記人物の識別情報を含む識別体を読み取る識別体読取部をさらに備え、
    前記判定部は、読み取られた前記識別体に含まれる識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項1〜4のいずれか一項に記載の表示装置。
  6. 前記判定部は、前記画像検出部により検出された顔と、前記識別体読取部により読み取られた前記第1の人物の識別体に含まれる識別情報に対応する前記第1の人物の顔とを比較することにより、検出された前記顔を有する人物が第1の人物か否かを判定する、請求項5に記載の表示装置。
  7. 前記判定部は、前記人物の識別情報を含む識別体において、前記撮像画像に含まれる前記識別体の前記識別情報を表示する識別表示部を検出し、検出された前記識別表示部の表示する識別情報に基づいて、前記撮像画像に含まれる人物が前記第1の人物であるか否かを判定する、請求項1〜6のいずれか一項に記載の表示装置。
  8. 前記判定部は、前記識別表示部の表示する識別情報が前記第1の人物の識別情報と同一であるか否かを判定する、請求項7に記載の表示装置。
  9. 前記判定部は、前記画像検出部により検出された顔と、前記識別表示部により表示される前記第1の人物の識別情報に対応する前記第1の人物の顔とを比較することにより、検出された前記顔を有する人物が第1の人物か否かを判定する、請求項8に記載の表示装置。
  10. 前記画像検出部は前記人物の顔の位置を検出し、
    前記判定部は、前記顔の位置に基づいて設定される検出領域において、前記識別表示部を検出する、請求項7〜9のいずれか一項に記載の表示装置。
  11. 前記識別表示部は二次元コードを含む、請求項7〜10のいずれか一項に記載の表示装置。
  12. 前記識別表示部は発光体を含み、
    前記判定部は、前記発光体の示す発光パタンを検出し、検出された前記発光パタンに対応する前記識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項7〜10のいずれか一項に記載の表示装置。
  13. 前記表示制御部は、前記第1の人物に提示するための画面、または第2の人物に提示するための画面のいずれかを表示する制御を行う、請求項1〜12のいずれか一項に記載の表示装置。
  14. 面談を支援するための表示装置を用いる表示方法において、
    撮像画像に含まれる人物の顔を検出するステップと、
    前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定するステップと、
    前記検出の結果、および前記判定の結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行うステップと、
    前記表示装置の移動を検出するステップと、
    を含み、
    前記表示の有無を切り替える制御を行うステップは、検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示方法。
  15. 面談を支援するためのプログラムにおいて、
    コンピュータを、表示装置であって、
    撮像画像に含まれる人物の顔を検出する画像検出部と、
    前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
    前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
    前記表示装置の移動を検出する移動検出部と、
    を備え、
    前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置として機能させるための、プログラム。

JP2015106205A 2015-05-26 2015-05-26 表示装置、表示方法及びプログラム Active JP6668614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015106205A JP6668614B2 (ja) 2015-05-26 2015-05-26 表示装置、表示方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015106205A JP6668614B2 (ja) 2015-05-26 2015-05-26 表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016218946A JP2016218946A (ja) 2016-12-22
JP6668614B2 true JP6668614B2 (ja) 2020-03-18

Family

ID=57581282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015106205A Active JP6668614B2 (ja) 2015-05-26 2015-05-26 表示装置、表示方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6668614B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7336553B2 (ja) * 2022-02-07 2023-08-31 三菱電機Itソリューションズ株式会社 処理実行装置、処理実行方法及び処理実行プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066802A (ja) * 1998-08-18 2000-03-03 Canon Inc 画像表示装置および画像表示方法
JP2004157923A (ja) * 2002-11-08 2004-06-03 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2011022203A (ja) * 2009-07-13 2011-02-03 Fujifilm Corp Af枠自動追尾システムおよびaf枠自動追尾方法
JP2011203328A (ja) * 2010-03-24 2011-10-13 Seiko Epson Corp プロジェクター、プロジェクターシステム、および画像投射方法
JP2012088984A (ja) * 2010-10-21 2012-05-10 Nikon Corp 携帯端末、画像表示装置及び画像表示システム
JP6070142B2 (ja) * 2012-12-12 2017-02-01 キヤノンマーケティングジャパン株式会社 携帯端末、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2016218946A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
CN112136099B (zh) 来自远程设备的直接输入
KR102419624B1 (ko) 전자 장치의 센서 배치 구조
JP6070512B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9282222B1 (en) Electronic devices with side viewing capability
KR102481643B1 (ko) 디스플레이 제어 방법 및 전자 장치
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
KR102055677B1 (ko) 이동 로봇 및 그 제어방법
US10013532B2 (en) Terminal, system, display method, and recording medium storing a display program
JPWO2017216929A1 (ja) 医療機器情報提供システム、医療機器情報提供方法及びプログラム
EP4118513B1 (en) Physical companion devices for use with extended reality systems
JP2015160696A (ja) ピッキング支援装置及びプログラム
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
CN110598458A (zh) 基于区块链获取医疗处方的方法、装置和系统
KR102526959B1 (ko) 전자 장치 및 그의 동작 방법
JP6668614B2 (ja) 表示装置、表示方法及びプログラム
US20190130358A1 (en) Screen sharing system, method, and program for remote medical care
JP6176938B2 (ja) 医療情報端末及びプログラム
US20160295165A1 (en) Apparatus, system, and method of managing remote communication, and recording medium storing a remote communication management program
JP2020095581A (ja) 情報処理方法、情報処理装置、情報処理システム、および店舗
CN116324740A (zh) 便携终端和头戴式显示器及其协作显示系统
JP2018190012A (ja) 接客要否判定装置、接客要否判定方法、及びプログラム
WO2018174551A1 (ko) 결제를 수행하는 전자 장치 및 그 동작 방법
CN114121273A (zh) 信息处理装置、信息处理方法以及系统
US11265391B1 (en) Medical service provider rapid response system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190318

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6668614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150