JP6263912B2 - 画像表示装置及びプログラム - Google Patents
画像表示装置及びプログラム Download PDFInfo
- Publication number
- JP6263912B2 JP6263912B2 JP2013184906A JP2013184906A JP6263912B2 JP 6263912 B2 JP6263912 B2 JP 6263912B2 JP 2013184906 A JP2013184906 A JP 2013184906A JP 2013184906 A JP2013184906 A JP 2013184906A JP 6263912 B2 JP6263912 B2 JP 6263912B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- user
- unit
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
表示手段と、
撮影手段と、
ユーザの顔画像及び前記表示手段への表示候補となるユーザを含む画像を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段と、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となるユーザを含む画像から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
を備え、
前記表示候補となるユーザを含む画像は、ユーザを含む複数人の撮影画像であり、
前記決定手段は、前記認識されたユーザを含む撮影画像に含まれる、前記ユーザ以外の人物の画像を前記表示画像として決定する。
また、請求項2に記載の発明の画像表示装置は、
表示手段と、
撮影手段と、
ユーザの顔画像及び前記表示手段への表示候補となる画像を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段と、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となる画像から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
前記撮影手段により取得された撮影画像において前記認識されたユーザの顔が正面を向いているか否かを判断する判断手段と、
を備え、
前記表示制御手段は、前記認識されたユーザの顔が正面を向いている場合、前記表示画像に基づいて前記表示手段に前記ユーザに対する所定の表示を行わせるとともに、前記ユーザに対して所定の表示が行われたことを示す履歴を前記記憶手段に記憶させ、前記認識されたユーザの顔が正面を向いていない場合、前記記憶手段に記憶されている履歴に基づいて前記表示手段への表示制御を行う。
図1は、本実施形態におけるデジタルサイネージ装置1の主制御構成を示すブロック図である。デジタルサイネージ装置1は、高齢者施設などに設置され、例えば、計算問題、読み書き問題等を出題(表示、音声出力)して、施設の入居者に対し、脳を活性化させるためのトレーニング(以下、単にトレーニングという)を行う装置である。
投影部21は、制御部23と、プロジェクタ24と、記憶部25と、通信部26と、を備えている。プロジェクタ24、記憶部25、通信部26は、図1に示すように制御部23に接続されている。
出題コンテンツ記憶部252には、トレーニングの問題表示用の画像データ、及び問題文や操作指示等の音声出力用のテキストデータが記憶されている。
促進用コンテンツ記憶部253には、トレーニングの実行を促すための表示用の画像データ、及び音声出力用のテキストデータが記憶されている。
画像データ記憶部254には、当該デジタルサイネージ装置1のユーザである、当該デジタルサイネージ装置1が設置されている施設の入居者の識別情報(入居者番号、名前等)に対応付けて、その入居者の正面の顔画像、横顔の画像、及び入居者を含んだ画像の画像データが記憶されている。入居者を含んだ画像とは、入居者の家族や知人等の、入居者に関係する人物と入居者が一緒に写っている撮影画像であり、静止画であっても動画であってもよい。例えば、入居者に同行してきた家族や知人と一緒に写真撮影を行い、得られた撮影画像が入居者の識別情報に対応付けて画像データ記憶部254に記憶されている。なお、この入居者を含む画像は随時PC(Personal Computer)やスマートフォン等の外部機器から無線通信又は有線通信によりアップロード可能である。
出題履歴記憶部255は、入居者の識別情報に対応付けて、その入居者に問題を出題した日付等を記憶する。
図2は、スクリーン部22の概略構成を示す正面図である。図2に示すようにスクリーン部22には、画像形成部27と、画像形成部27を支持する台座28とが備えられている。
カメラの光学系は、画像形成部27の前にいる人物を撮影可能な方向に向けられている。また、その撮像素子は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を2次元の画像信号に変換する。
撮像部30は、撮影手段として機能する。
撮像部30、操作部32、音声出力部33は、図1に示すように制御部23に接続されている。
次に、デジタルサイネージ装置1の動作について説明する。
ステップS2において、制御部23は、公知の画像処理技術である顔認識処理によって撮影画像から顔領域を抽出する処理を行い、顔領域が抽出された場合、抽出された顔領域の画像と、画像データ記憶部254に記憶されている各入居者の顔画像(正面顔、横顔)とを照合する。そして、顔領域の抽出結果及び照合結果に基づいて、撮影画像から入居者が認識されたか否かを判断する。
図4に、ステップS4において実行される表示画像決定処理のフローチャートを示す。表示画像決定処理は、制御部23とプログラム記憶部251に記憶されているプログラムとの協働により実行される。
次いで、制御部23は、検索された画像に公知の顔認識処理等を行って、検索された画像に複数人が写っているか否かを判断する(ステップS402)。複数人が写っていないと判断した場合(ステップS402;NO)、制御部23は、ステップS401の処理に戻る。
このように、表示画像決定処理においては、入居者の家族や知人等の、入居者に 関係する人物の画像が表示画像として決定される。
そして、制御部23は、出題コンテンツ記憶部252に記憶されている画像データ及び音声データに基づいて、認識された入居者に対し、出題を行う。即ち、トレーニングのための問題(簡単な読み書きの問題や計算問題)の表示や音声出力を行う(ステップS7)。具体的には、制御部23は、出題コンテンツ記憶部252に記憶されている問題表示用の画像データに基づいて、プロジェクタ24により、入居者の家族又は知人の画像が表示されている画像形成部27の所定の位置(例えば、図2において点線291に囲まれた領域)に問題を重畳して投影する。また、出題コンテンツ記憶部252に記憶されている問題を示すテキストデータに基づいて音声を合成して音声出力部33により出力し、問題文や操作指示の読み上げを行う。更に、出題コンテンツ記憶部252に記憶されているテキストデータに基づいて、画像形成部27に表示されている人物の画像が音声に合わせて口パクを行うように、図4のステップS405で切り出した画像を画像処理してプロジェクタ24により画像形成部27に投影(表示)させる。音声の合成や音声に合わせた口パクの画像処理は、公知の技術を用いて行うことができる。
毎日トレーニングを行っている場合は、特にトレーニングを促さなくてもその人のペースで行うと考えられるので、特に何も表示や音声の出力は行わない。なお、ステップS11においては、入居者が前日にトレーニングを行っているか否かを判断することとしてもよい。
そして、制御部23は、促進用コンテンツ記憶部253に記憶されている画像及び音声データに基づいて、認識された入居者に対し、トレーニングの実行(即ち、画像形成部27に表示されるコンテンツの閲覧)を促す表示や音声出力を行う(ステップS13)。例えば、「○○さん、トレーニングしましょう!」等、入居者に呼びかけてトレーニングを促す表示や音声出力を行う。
所定時間が経過すると、制御部23は、ステップS1の処理に戻る。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
表示手段と、
撮影手段と、
ユーザの顔画像及び前記表示手段への表示候補となる画像を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段と、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となる画像から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
を備える画像表示装置。
<請求項2>
前記表示手段は、スクリーンと、前記スクリーンに画像を投影する投影装置により構成される請求項1に記載の画像表示装置。
<請求項3>
前記表示候補となる画像は、ユーザを含む複数人の撮影画像であり、
前記決定手段は、前記認識されたユーザを含む撮影画像に含まれる、前記ユーザ以外の人物の画像を前記表示画像として決定する請求項1又は2に記載の画像表示装置。
<請求項4>
前記撮影手段により取得された撮影画像において前記認識されたユーザの顔が正面を向いているか否かを判断する判断手段を備え、
前記表示制御手段は、前記認識されたユーザの顔が正面を向いているか否かに基づいて、前記表示手段に異なる表示を行わせる請求項1〜3の何れか一項に記載の画像表示装置。
<請求項5>
前記表示制御手段は、前記認識されたユーザの顔が正面を向いている場合、前記表示画像に基づいて前記表示手段に前記ユーザに対する所定の表示を行わせるとともに、前記ユーザに対して所定の表示が行われたことを示す履歴を前記記憶手段に記憶させ、前記認識されたユーザの顔が正面を向いていない場合、前記記憶手段に記憶されている履歴に基づいて前記表示手段への表示制御を行う請求項4に記載の画像表示装置。
<請求項6>
表示手段と、撮影手段と、を備える画像表示装置に用いられるコンピュータを、
ユーザの顔画像及び前記表示手段への表示候補となる画像を記憶する記憶手段、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となる画像から前記表示手段に表示する表示画像を決定する決定手段、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段、
として機能させるためのプログラム。
21 投影部
22 スクリーン部
23 制御部
24 プロジェクタ
25 記憶部
251 プログラム記憶部
252 出題コンテンツ記憶部
253 促進用コンテンツ記憶部
254 画像データ記憶部
255 出題履歴記憶部
26 通信部
27 画像形成部
28 台座
29 透光板
30 撮像部
32 操作部
33 音声出力部
Claims (5)
- 表示手段と、
撮影手段と、
ユーザの顔画像及び前記表示手段への表示候補となるユーザを含む画像を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段と、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となるユーザを含む画像から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
を備え、
前記表示候補となるユーザを含む画像は、ユーザを含む複数人の撮影画像であり、
前記決定手段は、前記認識されたユーザを含む撮影画像に含まれる、前記ユーザ以外の人物の画像を前記表示画像として決定する
画像表示装置。 - 表示手段と、
撮影手段と、
ユーザの顔画像及び前記表示手段への表示候補となる画像を記憶する記憶手段と、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段と、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となる画像から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
前記撮影手段により取得された撮影画像において前記認識されたユーザの顔が正面を向いているか否かを判断する判断手段と、
を備え、
前記表示制御手段は、前記認識されたユーザの顔が正面を向いている場合、前記表示画像に基づいて前記表示手段に前記ユーザに対する所定の表示を行わせるとともに、前記ユーザに対して所定の表示が行われたことを示す履歴を前記記憶手段に記憶させ、前記認識されたユーザの顔が正面を向いていない場合、前記記憶手段に記憶されている履歴に基づいて前記表示手段への表示制御を行う画像表示装置。 - 前記表示手段は、スクリーンと、前記スクリーンに画像を投影する投影装置により構成される請求項1又は2に記載の画像表示装置。
- 表示手段と、撮影手段と、を備える画像表示装置に用いられるコンピュータを、
ユーザの顔画像及び前記表示手段への表示候補となるユーザを含む画像を記憶する記憶手段、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となるユーザを含む画像から前記表示手段に表示する表示画像を決定する決定手段、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段、
として機能させ、
前記表示候補となるユーザを含む画像は、ユーザを含む複数人の撮影画像であり、
前記決定手段は、前記認識されたユーザを含む撮影画像に含まれる、前記ユーザ以外の人物の画像を前記表示画像として決定する
ためのプログラム。 - 表示手段と、撮影手段と、を備える画像表示装置に用いられるコンピュータを、
ユーザの顔画像及び前記表示手段への表示候補となる画像を記憶する記憶手段、
前記撮影手段により取得された撮影画像と前記記憶手段に記憶されているユーザの顔画像に基づいて、前記撮影画像からユーザを認識する処理を行う認識手段、
前記撮影画像からユーザが認識された場合に、当該認識されたユーザに基づいて前記表示候補となる画像から前記表示手段に表示する表示画像を決定する決定手段、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段、
前記撮影手段により取得された撮影画像において前記認識されたユーザの顔が正面を向いているか否かを判断する判断手段、
として機能させ、
前記表示制御手段は、前記認識されたユーザの顔が正面を向いている場合、前記表示画像に基づいて前記表示手段に前記ユーザに対する所定の表示を行わせるとともに、前記ユーザに対して所定の表示が行われたことを示す履歴を前記記憶手段に記憶させ、前記認識されたユーザの顔が正面を向いていない場合、前記記憶手段に記憶されている履歴に基づいて前記表示手段への表示制御を行う
ためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013184906A JP6263912B2 (ja) | 2013-09-06 | 2013-09-06 | 画像表示装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013184906A JP6263912B2 (ja) | 2013-09-06 | 2013-09-06 | 画像表示装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015052876A JP2015052876A (ja) | 2015-03-19 |
JP6263912B2 true JP6263912B2 (ja) | 2018-01-24 |
Family
ID=52701872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013184906A Expired - Fee Related JP6263912B2 (ja) | 2013-09-06 | 2013-09-06 | 画像表示装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6263912B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6607413B2 (ja) * | 2018-04-23 | 2019-11-20 | 株式会社ドリコム | 端末装置、ゲームシステム、出題方法、ならびに、プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003195845A (ja) * | 2001-09-27 | 2003-07-09 | Fuji Photo Film Co Ltd | 画像表示方法 |
JP4924442B2 (ja) * | 2008-01-16 | 2012-04-25 | セイコーエプソン株式会社 | 再生装置およびその制御方法並びにプログラム |
JP2011128885A (ja) * | 2009-12-17 | 2011-06-30 | Toshiba Corp | 情報表示装置及び情報表示方法 |
-
2013
- 2013-09-06 JP JP2013184906A patent/JP6263912B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015052876A (ja) | 2015-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5190560B2 (ja) | コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムが記録された記録媒体 | |
WO2017157272A1 (zh) | 一种信息处理方法及终端 | |
JP2015007928A (ja) | 情報処理装置、コンテンツ課金システム及びプログラム | |
CN101262561B (zh) | 成像设备及其控制方法 | |
JP6518134B2 (ja) | 眼前装着型表示装置 | |
WO2018098860A1 (zh) | 照片合成方法及装置 | |
JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
CN101867708B (zh) | 摄影装置、显示装置、再现装置、摄影方法以及显示方法 | |
JP2016126510A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2016200666A (ja) | 視覚障害者用商品説明システム | |
JP2012073299A (ja) | 言語訓練装置 | |
WO2017143951A1 (zh) | 一种表情反馈方法及智能机器人 | |
JP2010148132A (ja) | 撮像装置、画像検出装置及びプログラム | |
JP6263912B2 (ja) | 画像表示装置及びプログラム | |
KR101835531B1 (ko) | 얼굴 인식 기반의 증강현실 영상을 제공하는 디스플레이 장치 및 이의 제어 방법 | |
JP6115976B1 (ja) | 情報処理機器、プログラム | |
JP6439243B2 (ja) | 画像表示制御装置、表示制御方法、及びプログラム | |
JP7381139B1 (ja) | プログラム、コンピュータ装置及び方法 | |
US10075631B2 (en) | Imaging apparatus, imaging method and recording medium having program for performing self-timer shooting | |
CN112567455A (zh) | 使用深度信息净化声音的方法和系统以及计算机可读介质 | |
TWM640769U (zh) | 防護衣穿脫人工智慧引導系統 | |
JP2016163145A (ja) | 電子機器、情報取得方法及びプログラム | |
JP6465398B2 (ja) | 電子機器、表示方法及びプログラム | |
JP2015106212A (ja) | 表示装置、画像処理方法及びプログラム | |
WO2015131707A1 (zh) | 基于口型识别的拍照方法、装置、移动终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171002 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6263912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |