JP6574681B2 - 画面特定システム、画面特定装置及び画面特定方法 - Google Patents
画面特定システム、画面特定装置及び画面特定方法 Download PDFInfo
- Publication number
- JP6574681B2 JP6574681B2 JP2015211546A JP2015211546A JP6574681B2 JP 6574681 B2 JP6574681 B2 JP 6574681B2 JP 2015211546 A JP2015211546 A JP 2015211546A JP 2015211546 A JP2015211546 A JP 2015211546A JP 6574681 B2 JP6574681 B2 JP 6574681B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- screen data
- terminal
- hash information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
Description
図1は、本実施形態に係る画面特定システムSの概要を説明するための図である。画面特定システムSは、携帯端末1と、画面特定装置2とを備える。
携帯端末1は、スマートフォン及びタブレットのように、テキスト及び画像を表示することができるディスプレイを有する端末である。図1に示す携帯端末1は、無線通信回線を介して携帯電話網の基地局N1に接続され、インターネット等のネットワークN2を介して画面特定装置2と通信することができる。携帯端末1は、無線端末に限られず、有線ケーブルを介してネットワークN2に接続されるコンピュータ又は家電機器等であってもよい。
まず、携帯端末1は、実行中のアプリケーションの種別を特定し、特定した種別に基づいて、画面の内容を特定する一連の処理を実行するか否かを決定する(図1における(1))。携帯端末1は、画面の内容を特定する処理を実行すると決定した場合、表示した画面の内容の特徴を示す情報であるハッシュ情報を生成し、生成したハッシュ情報を送信する(図1における(2))。ハッシュ情報は、画面の特徴に基づいて生成された情報であり、画面データ自体に比べて、大幅に容量が小さい。したがって、携帯端末1は、通信回線に大きな負荷をかけることなく、短時間でハッシュ情報を画面特定装置2に送信することができる。ハッシュ情報の詳細については、後述する。
以下、携帯端末1及び画面特定装置2の構成及び動作について詳細に説明する。
図3は、携帯端末1の構成を示す図である。携帯端末1は、操作部11と、通信部12と、表示部13と、記憶部14と、制御部15とを有する。
画面データ特定部231は、通信部21が携帯端末1から受信した端末ハッシュ情報と同一又は類似の基準ハッシュ情報に対応する基準画面データを特定することにより、端末ハッシュ情報をクラスタリングする。クラスタリングとは、端末ハッシュ情報を複数のグループ(以下、クラスタという)に分類することである。
情報送信部232は、通信部21を介して、画面データ特定部231が選択した表示情報を携帯端末1に送信する。
図6及び図7は、類似画面の判定方法について説明するための図である。図6(a)は、図2(a)に示した送信メール作成画面の領域103にメール本文が追記された状態の画面を示している。情報生成部152が端末ハッシュ情報の生成に用いる閾値が、輝度の最大値と最小値の中間値である場合、図6(a)における領域103内の各分割領域の輝度は、閾値よりも低い。したがって、量子化値は、図6(b)に示すように、図4(b)と同一の値になっている。したがって、画面データ特定部231は、図6(a)の画面が、図2(a)の画面に類似する画面であると判定する。
図8は、画面データ特定部231が画面の種類を特定する際に、分割領域の位置による重み付けをする方法について説明するための図である。画面データ特定部231は、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する際に、特定の領域におけるハミング距離に対して、他の領域におけるハミング距離よりも大きく重み付けをしてもよい。
画面データ特定部231は、特定した画面データの遷移状態に基づいて、携帯端末1における操作内容を推定することもできる。例えば、画面データ特定部231は、特定した基準画面データと、当該基準画面データに対応する端末ハッシュ情報に関連付けられた時刻とに基づいて、携帯端末1における画面遷移内容を推定する。端末ハッシュ情報に関連付けられた時刻は、例えば、端末ハッシュ情報が生成された時刻、又は通信部21が端末ハッシュ情報を受信した時刻である。
図9は、携帯端末1及び画面特定装置2における処理の流れを示すフローチャートである。図9に示す処理は、主に携帯端末1における制御部15及び画面特定装置2における制御部23によって行われる。
上記の説明においては、携帯端末1が画面特定装置2に対して端末ハッシュ情報を送信し、画面特定装置2が端末ハッシュ情報に基づいて表示されている画面を特定する例について説明したが、これに限らず、携帯端末1が画面特定装置として機能してもよい。例えば、携帯端末1が、基準ハッシュ情報及び基準画面データを記憶部14に記憶しており、携帯端末1の制御部15が画面データ特定部として機能し、第1のアプリケーションが表示している画面に基づいて生成した端末ハッシュ情報と基準ハッシュ情報とを比較することにより、表示されている画面に対応する基準画面データを特定し、表示制御部155が、ユーザに通知する情報を表示部13に表示させてもよい。
以上説明したように、本実施形態においては、携帯端末1が、表示している画面データの特徴を示す端末ハッシュ情報を生成し、画面特定装置2が、受信した端末ハッシュ情報に類似する基準ハッシュ情報に対応する基準画面データを特定する。このようにすることで、画面特定装置2は、任意のアプリケーションによって携帯端末1に表示されている画面の内容に応じて、ユーザに適切な情報を提供することができる。また、画面特定装置2は、受信した端末ハッシュ情報に基づいて画面遷移パターンを再現することにより、ユーザによるアプリケーションの利用傾向を特定することもできる。
2 画面特定装置
11 操作部
12 通信部
13 表示部
14 記憶部
15 制御部
21 通信部
22 記憶部
23 制御部
151 取得部
152 情報生成部
153 分割部
154 生成部
155 表示制御部
231 画面データ特定部
232 情報送信部
233 基準データ生成部
Claims (14)
- 画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの種別を特定する画面特定装置と、を備え、
前記端末は、
前記画面に表示された画面データを取得する取得部と、
前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、
前記端末ハッシュ情報を前記画面特定装置に送信する送信部と、
を有し、
前記画面特定装置は、
前記端末ハッシュ情報を受信する受信部と、
前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、
前記送信部から受信した前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、
を有する、画面特定システム。 - 前記取得部は、前記端末に前記画面データを表示しているアプリケーションが所定のアプリケーションであることを条件に、前記画面データを取得する、
請求項1に記載の画面特定システム。 - 前記情報生成部は、
前記画面データを複数の分割領域に分割する分割部と、
前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化値を決定して前記端末ハッシュ情報を生成する生成部と、
を有する、
請求項1又は2に記載の画面特定システム。 - 前記生成部は、前記画面データに含まれる画素の輝度又は色度の平均値である全体平均値を前記所定の閾値として用いて、前記端末ハッシュ情報を生成する、
請求項3に記載の画面特定システム。 - 前記分割部は、前記画面データにおける位置に応じてサイズが異なる前記複数の分割領域に前記画面データを分割する、
請求項3又は4に記載の画面特定システム。 - 前記画面データ特定部は、前記端末ハッシュ情報と前記基準ハッシュ情報との間のハミング距離に基づいて前記基準画面データを特定する、
請求項3から5のいずれか1項に記載の画面特定システム。 - 前記画面データ特定部は、前記複数の分割領域それぞれの前記画面における位置に基づいて重み付けすることにより、前記ハミング距離を算出する、
請求項6に記載の画面特定システム。 - 前記画面データ特定部は、前記基準画面データに応じて、前記ハミング距離の算出に用いる領域を選択する、
請求項6又は7に記載の画面特定システム。 - 前記画面データ特定部は、前記端末ハッシュ情報との間の前記ハミング距離が同一の前記基準ハッシュ情報が複数ある場合、前記端末ハッシュ情報及び前記基準ハッシュ情報に含まれる所定のデータ間のハミング距離に基づいて、前記基準ハッシュ情報に対応する前記基準画面データを特定する、
請求項6から8のいずれか1項に記載の画面特定システム。 - 前記画面データ特定部は、特定した前記基準画面データと、当該基準画面データに対応する前記端末ハッシュ情報に関連付けられた時刻とに基づいて、前記端末における画面遷移内容を特定する、
請求項1から9のいずれか1項に記載の画面特定システム。 - 前記画面特定装置は、前記端末に表示される前記複数の画面データのうち、類似する複数の画面データの特徴を有する前記基準ハッシュ情報を生成する基準ハッシュ情報生成部をさらに有する、
請求項1から10のいずれか1項に記載の画面特定システム。 - 前記画面特定装置は、前記画面データ特定部が特定した前記基準画面データに関連付けられた表示情報を前記端末に送信する情報送信部をさらに有し、
前記端末は、前記表示情報を表示部に表示させる表示制御部をさらに有する、
請求項1から11のいずれか1項に記載の画面特定システム。 - 画面に表示された画面データを取得する取得部と、
前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、
前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、
前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、
を有する、画面特定装置。 - 画面データを表示する画面を有する端末に表示された画面の内容を特定する方法であって、
前記画面に表示された画面データを取得するステップと、
前記画面データの特徴に対応する端末ハッシュ情報を生成するステップと、
前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて記憶部に記憶された、それぞれの前記基準画面データの特徴に対応する複数の基準ハッシュ情報のうち、前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定するステップと、
を有する、画面特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015211546A JP6574681B2 (ja) | 2015-10-28 | 2015-10-28 | 画面特定システム、画面特定装置及び画面特定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015211546A JP6574681B2 (ja) | 2015-10-28 | 2015-10-28 | 画面特定システム、画面特定装置及び画面特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084087A JP2017084087A (ja) | 2017-05-18 |
JP6574681B2 true JP6574681B2 (ja) | 2019-09-11 |
Family
ID=58711153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015211546A Active JP6574681B2 (ja) | 2015-10-28 | 2015-10-28 | 画面特定システム、画面特定装置及び画面特定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6574681B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2760791B2 (ja) * | 1987-10-20 | 1998-06-04 | キヤノン株式会社 | 画像情報処理装置 |
JP4798980B2 (ja) * | 2004-09-28 | 2011-10-19 | 株式会社日本総合研究所 | ユーザサポート方法、ユーザサポートプログラムおよびユーザサポートサーバ装置 |
JP5003478B2 (ja) * | 2007-12-28 | 2012-08-15 | Nkワークス株式会社 | キャプチャーソフトウエアプログラムおよびキャプチャー装置 |
JP2011081778A (ja) * | 2009-08-24 | 2011-04-21 | Kryon Systems Ltd | ディスプレイ非依存のコンピュータによるガイダンス方法および装置 |
EP2608041B1 (en) * | 2011-12-23 | 2015-05-20 | Deutsche Telekom AG | Monitoring user activity on smart mobile devices |
JP6041439B2 (ja) * | 2013-09-12 | 2016-12-07 | Kddi株式会社 | 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法 |
-
2015
- 2015-10-28 JP JP2015211546A patent/JP6574681B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017084087A (ja) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102045978B1 (ko) | 얼굴 인증 방법, 장치 및 컴퓨터 기억매체 | |
TWI478558B (zh) | 用以提供內容項目關聯性之分析與視覺化的方法、裝置與電腦程式產品 | |
JP6718978B2 (ja) | システム言語切替方法およびシステム言語切替端末機器 | |
CN107305611B (zh) | 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置 | |
CN104169946B (zh) | 用于视觉搜索的可扩展查询 | |
US11386663B1 (en) | Reference-free system for determining quality of video data | |
CN102752294B (zh) | 基于设备能力的多终端数据同步方法和系统 | |
CN110443171B (zh) | 视频文件的分类方法、装置、存储介质及终端 | |
JP2018120461A (ja) | 抽出装置、抽出方法及び抽出プログラム | |
CN112084959B (zh) | 一种人群图像处理方法及装置 | |
WO2019033518A1 (zh) | 信息获取方法、装置、计算机可读存储介质及终端设备 | |
CN117275675B (zh) | 训练方案生成方法、装置、电子设备和存储介质 | |
CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
KR20130134546A (ko) | 동영상의 섬네일 이미지 생성 방법 및 그 전자 장치 | |
CN107402973A (zh) | 图片上传、加载方法、上传终端、服务器及存储介质 | |
JP6574681B2 (ja) | 画面特定システム、画面特定装置及び画面特定方法 | |
CN105323141A (zh) | 一种基于图像识别的信息传输方法、系统及移动终端 | |
JP6482452B2 (ja) | 画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法 | |
WO2015021908A1 (en) | Method, apparatus and system for security verification | |
WO2016125315A1 (en) | Information processing apparatus, information processing method, and control program | |
CN112365860B (zh) | 一种终端屏幕亮度调节方法、设备及存储介质 | |
US9536199B1 (en) | Recommendations based on device usage | |
JP2018533087A (ja) | データ撹乱装置およびデータ撹乱システム | |
CN113191376A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
JP6874234B2 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6574681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |