JP6668614B2 - 表示装置、表示方法及びプログラム - Google Patents
表示装置、表示方法及びプログラム Download PDFInfo
- Publication number
- JP6668614B2 JP6668614B2 JP2015106205A JP2015106205A JP6668614B2 JP 6668614 B2 JP6668614 B2 JP 6668614B2 JP 2015106205 A JP2015106205 A JP 2015106205A JP 2015106205 A JP2015106205 A JP 2015106205A JP 6668614 B2 JP6668614 B2 JP 6668614B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- display
- display device
- unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000001514 detection method Methods 0.000 claims description 106
- 238000003384 imaging method Methods 0.000 description 47
- 238000004891 communication Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 8
- 230000009977 dual effect Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 101100058698 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cln3 gene Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1は、本発明の一実施形態に係る表示システム1の概要を示す図である。図1を参照すると、表示システム1は、サーバ2、および表示装置10を備える。表示装置10は、人物P1およびP2により使用される装置である。また、人物P1は、カード3を所持している。なお、本明細書においては、人物P1を管理栄養士P1、および、人物P2を患者P1として説明する。管理栄養士P1、および人物P2は、それぞれ第1の人物、および第2の人物に対応する。表示システム1は、例えば、医療機関等において、管理栄養士P1と患者P2とが、患者P2の健康状態や今後の健康管理等について面談する際に用いられるシステムである。なお、本明細書に係る表示システム1においては、管理栄養士P1、および人物P2の2人の人物により表示システム1が利用されることが想定されるが、表示システム1を利用する人物の数は限定されない。例えば、1人、または3人以上の人物により表示システム1が利用されてもよい。
[2−1.構成例]
図4は、本発明の第1の実施形態に係る表示装置11の構成を示すブロック図である。図4を参照すると、表示装置11は、通信部110、記憶部120、操作入力部130、表示部140、撮像部150、カード読取部160、移動検出部170、および制御部200(本実施形態においては、制御部201)を備える。
続いて、表示装置11による表示制御処理について説明する。本実施形態においては、表示装置11による表示制御処理は、制御部201に含まれる各機能部により実現される。図5は、本発明の第1の実施形態に係る制御部201の有する構成を示すブロック図である。図5を参照すると、制御部201は、顔検出部211、顔判定部221、および表示制御部231を含み得る。
顔検出部211は、撮像部150により生成された撮像画像に含まれる人物の顔を検出する機能を含む。より具体的には、顔検出部211は、撮像画像に含まれる人物の顔の位置、または顔の数を検出する。検出された顔の位置は、例えば、撮像画像を構成する画素の座標により特定されてもよい。顔の検出のために顔検出部211により用いられるアルゴリズムは、例えばViola−Jones法などの公知のアルゴリズムであってもよい。顔検出部211は、検出した顔の位置に関する情報を顔判定部221に出力し、また、検出した顔の検出数を示すデータを顔判定部221および表示制御部231に出力する。なお、顔検出部211が人物の顔を検出しなかった場合は、顔検出部211は、顔の位置に関する情報を顔判定部221に出力せず、顔の検出数が0であることを顔判定部221および表示制御部231に出力してもよい。
顔判定部221は、撮像部150により生成された撮像画像に含まれる人物が、特定の人物であるか否かを判定する機能を含む。例えば、顔判定部221は、撮像画像に含まれる人物の顔が、特定の人物の顔と同一であるか否かを判定してもよい。本実施形態においては、特定の人物は、例えば管理栄養士P1であるとして説明する。撮像画像に含まれる人物の顔が、管理栄養士P1の顔と同一であるか否かを判定することにより、表示装置11を使用している人物が管理栄養士P1であるか否かを判別することができる。なお、顔判定部221による判定の比較対象となる管理栄養士P1の顔は、カード読取部160により読み取られたカード3に格納されている管理栄養士P1の顔画像データに示される顔であってもよい。これにより、表示装置11は、複数の管理栄養士の顔画像データを保持する必要がなくなる。また、管理栄養士P1の顔画像データは、表示装置11の記憶部120に予め記憶されてもよい。この場合、顔判定部221は、記憶部120に記憶されている顔画像データのうち、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データを呼び出してもよい。また、管理栄養士P1の顔画像データは、サーバ2に格納されてもよい。この場合、顔判定部221は、判定処理において、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データをサーバ2から呼び出してもよい。
表示制御部231は、顔検出部211から取得した顔の検出数、顔判定部221による判定結果、または移動検出部170から取得した表示装置11の移動量の少なくともいずれかに基づいて、管理栄養士P1に提示するための表示の有無を切り替える制御を行う。例えば、表示制御部231は、サーバ2から取得した一対の画面を含む画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための画面を表示部140に表示する制御を、上述した検出数、判定結果または移動量の少なくともいずれかに基づいて行ってもよい。具体的な表示制御については、後述する。
表示制御部231による表示制御例について説明する。まず、表示制御部231による表示制御の処理フローについて説明する。
図12は、本発明の第1の実施形態に係る表示装置11の動作例を示すフローチャートである。図12を参照すると、ステップS301およびS302は、表示装置11の起動処理に係る動作を示し、ステップS303〜S306は、表示装置11の表示制御処理に係る動作を示す。
以上、本発明の第1の実施形態に係る表示装置11について説明した。本実施形態によれば、表示装置11は、撮像部150により生成された撮像画像に含まれる人物の顔の検出結果および判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。これにより、表示装置11は、撮像部150により表示部140を閲覧する人物を撮像し、移動検出部170により表示装置11の移動や姿勢の変化を検出することで、容易に表示部140に表示する画面の切り替えを行うことができる。したがって、表示装置11は、従来のディスプレイを用いて情報を表示することが可能であるので、デュアルビューディスプレイのように表示視野が限られることがない。そのため、管理栄養士P1および患者P2は、空間上の制約なしに、任意の場所で、管理栄養士P1または患者P2のいずれかに提示するための情報を閲覧することができる。例えば、管理栄養士P1および患者P2は、面談における各々の位置や姿勢、面談を行う場所にかかわらず、表示装置11を使用することが可能である。
[3−1.構成例]
続いて、本発明の第2の実施形態に係る表示装置12について説明する。なお、表示装置12の構成は、図4に示した第1の実施形態に係る表示装置11の構成と、制御部202の内部構成を除いて同一であるため、説明を省略する。なお、本実施形態によれば、カード読取部160により読み取られたカード3に格納された顔画像データは、表示装置12において用いられない。しかし、上述したように、表示装置12は管理栄養士P1がサーバ2にログインするためのインタフェースであるため、本実施形態においてもカード読取部160は表示装置12に備えられてもよい。以下、表示装置12の制御部202の内部構成例について説明する。
カード判定部222は、撮像部150により生成された撮像画像に含まれる識別情報を表示する識別表示部を検出し、検出された識別情報が管理栄養士P1の識別情報と同一であるか否かを判定する機能を含む。ここで、識別表示部とは、例えば管理栄養士P1の有するカード3に付加されている模様や表示を示す。例えば、識別表示部は、バーコード、、もしくは二次元コード等の模様、または、赤外線LED等の発光体であってもよい。
本実施形態においては、カード3−1には、識別表示部として二次元コード31が付加されていたが、本発明はかかる例に限定されない。例えば、カード3には、識別表示部として、赤外線LEDが付加されてもよい。
また、カード判定部222は、カード3の形状、模様またはカード3に記載されている文字等を表示識別部として検出してもよい。例えば、カード判定部222は、図14に示したように、カード3に記載されている職員情報Nm1を検出し、職員情報Nm1に対応する人物または人物の職位を判定してもよい。これにより、カード3に特殊な加工を施さなくても、カード3の所有者の人物について判定することが可能である。
図17は、本発明の第2の実施形態に係る表示装置12の動作例を示すフローチャートである。図17を参照すると、ステップS401およびS402は、表示装置12の起動処理に係る動作を示し、ステップS403〜S406は、表示装置12の表示制御処理に係る動作を示す。
以上、本発明の第2の実施形態に係る表示装置12について説明した。本実施形態によれば、表示装置12は、撮像部150により生成された撮像画像に含まれる人物の検出結果およびカード3の識別表示部の判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。本実施形態に係る表示装置12において、カード判定部222は、カード3に付加された二次元コード31または赤外線LED32の発光パタンにより特定される識別情報を取得することにより、撮像画像に含まれる人物が管理栄養士P1であるか否かの判定を行う。二次元コードや赤外線LEDによる識別情報の取得処理の精度は、人物の顔の判定処理の精度と比較して、環境光等の影響を受けにくい。そのため、本実施形態にかかる構成により、表示装置12は、画面データの表示を切り替える制御をより高速に、かつ使用環境によらず一定の精度で行うことが可能である。
以上、本発明の各実施形態に係る表示装置10の動作例について説明した。上述した表示装置10の情報処理は、ソフトウェアと、表示装置10との協働により実現される。以下では、本発明の実施形態に係る表示装置10のハードウェア構成について説明する。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
2 サーバ
10、11、12 表示装置
110 通信部
120 記憶部
130 操作入力部
140 表示部
150 撮像部
160 カード読取部
170 移動検出部
200、201、202 制御部
211、212 顔検出部
221 顔判定部
222 カード判定部
231、232 表示制御部
Claims (15)
- 面談を支援するための表示装置において、
撮像画像に含まれる人物の顔を検出する画像検出部と、
前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
前記表示装置の移動を検出する移動検出部と、
を備え、
前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置。 - 前記画像検出部は人物の顔の数を検出し、
前記表示制御部は、前記画像検出部が検出する顔の数に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う、請求項1に記載の表示装置。 - 前記表示制御部は、前記顔の数が1であり、かつ、検出された前記顔を有する人物が前記第1の人物であると判定された場合、前記第1の人物に提示するための画面を表示する制御を行う、請求項2に記載の表示装置。
- 前記判定部は、前記画像検出部により検出された顔と前記第1の人物の顔とを比較することにより検出された前記顔を有する人物が第1の人物か否かを判定する、請求項1〜3のいずれか一項に記載の表示装置。
- 前記人物の識別情報を含む識別体を読み取る識別体読取部をさらに備え、
前記判定部は、読み取られた前記識別体に含まれる識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項1〜4のいずれか一項に記載の表示装置。 - 前記判定部は、前記画像検出部により検出された顔と、前記識別体読取部により読み取られた前記第1の人物の識別体に含まれる識別情報に対応する前記第1の人物の顔とを比較することにより、検出された前記顔を有する人物が第1の人物か否かを判定する、請求項5に記載の表示装置。
- 前記判定部は、前記人物の識別情報を含む識別体において、前記撮像画像に含まれる前記識別体の前記識別情報を表示する識別表示部を検出し、検出された前記識別表示部の表示する識別情報に基づいて、前記撮像画像に含まれる人物が前記第1の人物であるか否かを判定する、請求項1〜6のいずれか一項に記載の表示装置。
- 前記判定部は、前記識別表示部の表示する識別情報が前記第1の人物の識別情報と同一であるか否かを判定する、請求項7に記載の表示装置。
- 前記判定部は、前記画像検出部により検出された顔と、前記識別表示部により表示される前記第1の人物の識別情報に対応する前記第1の人物の顔とを比較することにより、検出された前記顔を有する人物が第1の人物か否かを判定する、請求項8に記載の表示装置。
- 前記画像検出部は前記人物の顔の位置を検出し、
前記判定部は、前記顔の位置に基づいて設定される検出領域において、前記識別表示部を検出する、請求項7〜9のいずれか一項に記載の表示装置。 - 前記識別表示部は二次元コードを含む、請求項7〜10のいずれか一項に記載の表示装置。
- 前記識別表示部は発光体を含み、
前記判定部は、前記発光体の示す発光パタンを検出し、検出された前記発光パタンに対応する前記識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項7〜10のいずれか一項に記載の表示装置。 - 前記表示制御部は、前記第1の人物に提示するための画面、または第2の人物に提示するための画面のいずれかを表示する制御を行う、請求項1〜12のいずれか一項に記載の表示装置。
- 面談を支援するための表示装置を用いる表示方法において、
撮像画像に含まれる人物の顔を検出するステップと、
前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定するステップと、
前記検出の結果、および前記判定の結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行うステップと、
前記表示装置の移動を検出するステップと、
を含み、
前記表示の有無を切り替える制御を行うステップは、検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示方法。 - 面談を支援するためのプログラムにおいて、
コンピュータを、表示装置であって、
撮像画像に含まれる人物の顔を検出する画像検出部と、
前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
前記表示装置の移動を検出する移動検出部と、
を備え、
前記表示制御部は、前記移動検出部により検出された前記表示装置の移動量が閾値以上である場合に、前記第1の人物に提示するための表示が画面に含まれないようにする制御を行う、表示装置として機能させるための、プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015106205A JP6668614B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、表示方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015106205A JP6668614B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、表示方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016218946A JP2016218946A (ja) | 2016-12-22 |
| JP6668614B2 true JP6668614B2 (ja) | 2020-03-18 |
Family
ID=57581282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015106205A Active JP6668614B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、表示方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6668614B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7336553B2 (ja) * | 2022-02-07 | 2023-08-31 | 三菱電機Itソリューションズ株式会社 | 処理実行装置、処理実行方法及び処理実行プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000066802A (ja) * | 1998-08-18 | 2000-03-03 | Canon Inc | 画像表示装置および画像表示方法 |
| JP2004157923A (ja) * | 2002-11-08 | 2004-06-03 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
| JP2009009231A (ja) * | 2007-06-26 | 2009-01-15 | Toshiba Corp | セキュリティ管理システムおよびセキュリティ管理方法 |
| JP2011022203A (ja) * | 2009-07-13 | 2011-02-03 | Fujifilm Corp | Af枠自動追尾システムおよびaf枠自動追尾方法 |
| JP2011203328A (ja) * | 2010-03-24 | 2011-10-13 | Seiko Epson Corp | プロジェクター、プロジェクターシステム、および画像投射方法 |
| JP2012088984A (ja) * | 2010-10-21 | 2012-05-10 | Nikon Corp | 携帯端末、画像表示装置及び画像表示システム |
| JP6070142B2 (ja) * | 2012-12-12 | 2017-02-01 | キヤノンマーケティングジャパン株式会社 | 携帯端末、情報処理方法、プログラム |
-
2015
- 2015-05-26 JP JP2015106205A patent/JP6668614B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016218946A (ja) | 2016-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112136099B (zh) | 来自远程设备的直接输入 | |
| KR102419624B1 (ko) | 전자 장치의 센서 배치 구조 | |
| JP6070512B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US9282222B1 (en) | Electronic devices with side viewing capability | |
| KR102481643B1 (ko) | 디스플레이 제어 방법 및 전자 장치 | |
| KR101978299B1 (ko) | 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치 | |
| KR20150128377A (ko) | 지문 처리 방법 및 그 전자 장치 | |
| KR102055677B1 (ko) | 이동 로봇 및 그 제어방법 | |
| US10013532B2 (en) | Terminal, system, display method, and recording medium storing a display program | |
| JPWO2017216929A1 (ja) | 医療機器情報提供システム、医療機器情報提供方法及びプログラム | |
| EP4118513B1 (en) | Physical companion devices for use with extended reality systems | |
| JP2015160696A (ja) | ピッキング支援装置及びプログラム | |
| JP2020194493A (ja) | 介護設備又は病院用の監視システム及び監視方法 | |
| CN110598458A (zh) | 基于区块链获取医疗处方的方法、装置和系统 | |
| KR102526959B1 (ko) | 전자 장치 및 그의 동작 방법 | |
| JP6668614B2 (ja) | 表示装置、表示方法及びプログラム | |
| US20190130358A1 (en) | Screen sharing system, method, and program for remote medical care | |
| JP6176938B2 (ja) | 医療情報端末及びプログラム | |
| US20160295165A1 (en) | Apparatus, system, and method of managing remote communication, and recording medium storing a remote communication management program | |
| JP2020095581A (ja) | 情報処理方法、情報処理装置、情報処理システム、および店舗 | |
| CN116324740A (zh) | 便携终端和头戴式显示器及其协作显示系统 | |
| JP2018190012A (ja) | 接客要否判定装置、接客要否判定方法、及びプログラム | |
| WO2018174551A1 (ko) | 결제를 수행하는 전자 장치 및 그 동작 방법 | |
| CN114121273A (zh) | 信息处理装置、信息处理方法以及系统 | |
| US11265391B1 (en) | Medical service provider rapid response system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6668614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |