JP6512964B2 - 端末、画像判定システム、画像判定方法およびプログラム - Google Patents
端末、画像判定システム、画像判定方法およびプログラム Download PDFInfo
- Publication number
- JP6512964B2 JP6512964B2 JP2015132064A JP2015132064A JP6512964B2 JP 6512964 B2 JP6512964 B2 JP 6512964B2 JP 2015132064 A JP2015132064 A JP 2015132064A JP 2015132064 A JP2015132064 A JP 2015132064A JP 6512964 B2 JP6512964 B2 JP 6512964B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- template
- operation guide
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Description
以下、図1から図3を用いて、本発明の第1の実施形態について説明する。
本実施形態に係る端末100は、図1に示すように、表示画像取得部110と、表示用メモリ120と、テンプレート画像格納部130と、操作ガイド画像格納部140と、合成画像作成部150と、画像比較部160と、表示部170と、制御部180とから構成されている。
C[x、y]=S[x、y](if T[x、y]=透明画素値)
=T[x、y](if T[x、y]≠透明画素値)
つまり、このとき、C[x、y]=S[x、y]がすべての画素値で成り立つときは、T[x、y]≠透明画素値となるすべての[x、y]において、T[x、y]=S[x、y]を満たすこととなり、スクリーンキャプチャー(S)がテンプレート画像(T)と同一の画面になったことを意味する。
スクリーンキャプチャーSの画像データに、テンプレート画像Tの画像データを重ねる。具体的には、各OSにおいて用意されている重ね合わせの画像処理コマンドを利用する方法、例えば、android(登録商標)では、スクリーンキャプチャーSの画像データをBitmapデータとして描写したキャンバスに、同じくBitmapデータとして用意したテンプレート画像Tを加える方法等がある。
生成した合成画像の画像データとスクリーンキャプチャーSの画像データとが一致しているかどうかを確認する。具体的には、各OSにおいて用意されている画像一致比較コマンドを利用する方法、例えば、android(登録商標)では、双方のBitmapデータが同じかどうかを確認するsameAsというコマンドを利用する方法等がある。
Bitmap S=screenshot();# (スクリーンキャプチャーの取得)
Bitmap C=S.copy(Bitmap.Config.ARGB_8888, true);# (Sを複製したCを用意)
Canvas canvas=new Canvas(C);# (C(=S)が描写されたキャンバスを用意する)
canvas.drawBitmap(T、0、0、null);# (C(=S)にTを書き加える)
If(C.sameAs(S)){
#一致処理
}else{
#不一致処理
}
ただし、Tは予め用意された、テンプレート画像を意味するビットマップである。
スクリーンキャプチャーSを示すビット列に、テンプレート画像Tを示すビット列をビット演算により、加算する。
合成画像を示すビット列CとスクリーンキャプチャーSを示すビット列Sとが完全に一致するか否かを判定する。
Byte[] S=screenshot().toByteArray();# (スクリーンキャプチャーの取得、ビット列化)
Byte[] C;# (Cを用意)
C = S|T; (ビットOR演算を行う)
If(C==S){
#一致処理
}else{
#不一致処理
}
ただし、Tは予め用意された、テンプレート画像を示すビット列である。
図3を用いて、本実施形態に係る端末の処理について説明する。
まず、表示画像取得部が、表示されている既存アプリケーションの表示画像を取得する(ステップS110)。なお、同表示画像の取得においては、後述の操作ガイド画像を重ね合わせる前の、もとの表示画像を取得するように行うことが望ましい。合成画像作成部150は、テンプレート画像格納部130に格納されているテンプレート画像と表示画像取得部110が取得した画像とを合成して合成画像を作成する(ステップS120)。
以下、図4を用いて、本発明の第2の実施形態について説明する。
110;表示画像取得部
120;表示用メモリ
130;テンプレート画像格納部
140;操作ガイド画像格納部
150;合成画像作成部
160;画像比較部
170;表示部
180;制御部
181;制御部
191;画像生成部
192;送信部
200;表示装置
210;受信部
220;表示部
230;制御部
Claims (8)
- 表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する表示制御手段と、
を備えたことを特徴とする端末。 - 前記合成画像作成手段が、前記固定表示部分に対応する前記テンプレート画像の画素と前記透明画素部分に対応する前記表示画像の画素とを合成することを特徴とする請求項1に記載の端末。
- 前記合成画像は、前記表示画像を下部とし、前記テンプレート画像を上部から重ね合わせて合成することを特徴とする請求項1または2に記載の端末。
- 前記表示画像取得手段は、特定の既存アプリケーションが起動すると、表示されている前記表示画像を定期的に取得し、前記特定の既存アプリケーションが起動を終了すると、表示されている前記表示画像の取得を停止することを特徴とする請求項1から3のいずれか1項に記載の端末。
- 端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、
前記端末が、
表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせた画像を生成する画像生成手段と、
該生成した重ね合わせ画像を前記表示装置に送信する送信手段と、
を備え、
前記表示装置が、
前記端末の送信手段から、前記重ね合わせ画像を受信する受信手段と、
該受信した重ね合わせ画像を表示する表示手段と、
を備えたことを特徴とする画像判定システム。 - 端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、
前記端末が、
表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示装置に送信する送信手段と、
を備え、
前記表示装置が、
前記端末の送信手段から、前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を受信する受信手段と、
該受信した前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を表示する表示手段と、
を備えたことを特徴とする画像判定システム。 - 表示画像取得手段と、既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、表示制御手段と、
を備えた端末における画像判定方法であって、
前記表示画像取得手段が、表示されている前記既存アプリケーションの表示画像を取得する第1のステップと、
前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第2のステップと、
前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する第3のステップと、
前記表示制御手段が、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する第4のステップと、
を備えることを特徴とする画像判定方法。 - 表示画像取得手段と、既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、表示制御手段と、を備えた端末における画像判定方法をコンピュータに実行させるためのプログラムであって、
前記表示画像取得手段が、表示されている前記既存アプリケーションの表示画像を取得する第1のステップと、
前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第2のステップと、
前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する第3のステップと、
前記表示制御手段が、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する第4のステップと、
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132064A JP6512964B2 (ja) | 2015-06-30 | 2015-06-30 | 端末、画像判定システム、画像判定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132064A JP6512964B2 (ja) | 2015-06-30 | 2015-06-30 | 端末、画像判定システム、画像判定方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017016370A JP2017016370A (ja) | 2017-01-19 |
JP6512964B2 true JP6512964B2 (ja) | 2019-05-15 |
Family
ID=57829173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015132064A Active JP6512964B2 (ja) | 2015-06-30 | 2015-06-30 | 端末、画像判定システム、画像判定方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6512964B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109491496A (zh) | 2017-09-12 | 2019-03-19 | 精工爱普生株式会社 | 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6340977B1 (en) * | 1999-05-07 | 2002-01-22 | Philip Lui | System and method for dynamic assistance in software applications using behavior and host application models |
JP2004355400A (ja) * | 2003-05-29 | 2004-12-16 | Matsushita Electric Ind Co Ltd | ユーザインターフェース画面提供システム、ユーザサポート管理サーバ装置、及びアプリケーションサーバ装置 |
US7346846B2 (en) * | 2004-05-28 | 2008-03-18 | Microsoft Corporation | Strategies for providing just-in-time user assistance |
JP5625804B2 (ja) * | 2010-11-24 | 2014-11-19 | 株式会社デンソー | 車載装置 |
JP6368455B2 (ja) * | 2012-06-12 | 2018-08-01 | 京セラ株式会社 | 装置、方法、及びプログラム |
JP2014215845A (ja) * | 2013-04-26 | 2014-11-17 | 株式会社デンソーアイティーラボラトリ | 操作支援方法、操作支援システム、操作支援サーバ及び操作支援プログラム |
-
2015
- 2015-06-30 JP JP2015132064A patent/JP6512964B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017016370A (ja) | 2017-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107004286B (zh) | 图像处理装置、图像处理方法和计算机可读存储介质 | |
KR101733115B1 (ko) | 원격 스크린내 콘텐츠 원격 제어 방법 및 장치 | |
US9813517B2 (en) | Feedback layer for native content display in virtual desktop infrastructure | |
CN112230909B (zh) | 小程序的数据绑定方法、装置、设备及存储介质 | |
EP3416054B1 (en) | Method and device for page display, and storage medium | |
WO2016197590A1 (zh) | 用于在终端设备上提供截屏服务的方法、装置、存储介质及设备 | |
US20180189083A1 (en) | Method and device for operating target application on corresponding equipment | |
US10592580B2 (en) | Web UI builder application | |
EP3251005B1 (en) | Image processing device and electronic whiteboard | |
US9712690B2 (en) | Information processing apparatus, information processing system, information processing method, and a computer program product | |
US20140176394A1 (en) | Screen output system | |
US20190377461A1 (en) | Interactive file generation and execution | |
WO2017051687A1 (ja) | 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体 | |
US9632696B2 (en) | Presentation system to facilitate the association of handwriting input by a participant user with a page of a presentation | |
EP3156895A1 (en) | Image processing apparatus and image processing system | |
CN108335342B (zh) | 在web浏览器上进行多人绘画的方法、设备和计算机程序产品 | |
US20140115445A1 (en) | Web page viewing server, web page viewing system, and web page viewing method | |
CN111290722A (zh) | 屏幕分享方法、装置、系统、电子设备和存储介质 | |
JP6512964B2 (ja) | 端末、画像判定システム、画像判定方法およびプログラム | |
WO2023241563A1 (zh) | 数据处理方法和电子设备 | |
CN113934340B (zh) | 一种终端设备和进度条显示方法 | |
CN114827737A (zh) | 图像生成方法、装置和电子设备 | |
CN113495708A (zh) | 输出装置及系统、格式信息变更方法、记录介质、控制器 | |
US20130069953A1 (en) | User Interface Feature Generation | |
JP5002498B2 (ja) | 情報処理装置、表示制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6512964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |