JP6482452B2 - Screen transition identification device, screen transition identification system, and screen transition identification method - Google Patents

Screen transition identification device, screen transition identification system, and screen transition identification method Download PDF

Info

Publication number
JP6482452B2
JP6482452B2 JP2015221923A JP2015221923A JP6482452B2 JP 6482452 B2 JP6482452 B2 JP 6482452B2 JP 2015221923 A JP2015221923 A JP 2015221923A JP 2015221923 A JP2015221923 A JP 2015221923A JP 6482452 B2 JP6482452 B2 JP 6482452B2
Authority
JP
Japan
Prior art keywords
feature information
screen
information
similar
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015221923A
Other languages
Japanese (ja)
Other versions
JP2017091297A (en
Inventor
祥 佐々木
祥 佐々木
Original Assignee
Kddi株式会社
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社, Kddi株式会社 filed Critical Kddi株式会社
Priority to JP2015221923A priority Critical patent/JP6482452B2/en
Publication of JP2017091297A publication Critical patent/JP2017091297A/en
Application granted granted Critical
Publication of JP6482452B2 publication Critical patent/JP6482452B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、端末に表示された画面の遷移状態を特定する画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法に関する。   The present invention relates to a screen transition specifying device, a screen transition specifying system, and a screen transition specifying method for specifying a transition state of a screen displayed on a terminal.
従来、他の端末に表示されている動画の内容を再現する方法が知られている。特許文献1においては、他の端末に表示されている動画に含まれる画像フレームの番号、及び他の端末における操作内容を示す操作コードを含むログ情報を取得し、取得したログ情報に基づいて動画の内容を再現する方法が記載されている。また、特許文献2においては、携帯電話機における操作画面の履歴情報に基づいて、操作画面を特定する方法が記載されている。   Conventionally, a method for reproducing the content of a moving image displayed on another terminal is known. In Patent Document 1, log information including an image frame number included in a moving image displayed on another terminal and an operation code indicating an operation content in the other terminal is acquired, and the moving image is acquired based on the acquired log information. The method of reproducing the contents of is described. Patent Document 2 describes a method of specifying an operation screen based on history information of an operation screen in a mobile phone.
特開2009−247563号公報JP 2009-247563 A 特開2011−175443号公報JP 2011-175443 A
スマートフォン及びタブレット等の端末で実行されるアプリケーションの仕様を改善したり、アプリケーションの使用方法をユーザにアドバイスしたりするために、端末に表示されている画面の遷移状態を把握する必要性が高まっている。しかしながら、従来のようにログ情報又は履歴情報に基づいて画面の状態を把握できるようにするためには、端末のアプリケーションを設計する時点で、ログ情報又は履歴情報を生成する機能を実装しておく必要があった。したがって、アプリケーションの設計工数が増加してしまうという問題があった。また、ログ情報又は履歴情報を生成する機能が実装されていないアプリケーションにより表示される画面の状態を把握することは困難であり、他の端末に表示された内容を特定できる画面の種類が、限定的であるという問題もあった。   In order to improve the specifications of applications executed on terminals such as smartphones and tablets, and to advise users on how to use applications, the need to grasp the transition state of screens displayed on terminals has increased. Yes. However, in order to be able to grasp the screen state based on log information or history information as in the past, a function for generating log information or history information is implemented at the time of designing a terminal application. There was a need. Therefore, there is a problem that the design man-hour of the application increases. In addition, it is difficult to grasp the state of the screen displayed by an application that does not have a function for generating log information or history information, and the types of screens that can specify the content displayed on other terminals are limited. There was also the problem of being correct.
そこで、本発明はこれらの点に鑑みてなされたものであり、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定するための画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法を提供することを目的とする。   Accordingly, the present invention has been made in view of these points, and a screen transition specifying device and screen for specifying a screen transition state without implementing an additional function in an application that displays an image on a terminal screen. An object is to provide a transition identification system and a screen transition identification method.
本発明の第1の態様においては、画像を表示する表示部と、前記表示部の画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。   In the first aspect of the present invention, a display unit that displays an image, an acquisition unit that acquires screen data displayed on the screen of the display unit, and information generation that generates feature information indicating the characteristics of the screen data A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen, and the feature information is the one or more A determination unit that determines whether the reference information matches or is similar to any one of the reference feature information; and the determination unit determines that the feature information matches or is similar to any of the one or more reference feature information, A storage control unit that stores time information associated with feature information in the storage unit in association with identification information that identifies the reference feature information that matches or is similar to the feature information. To provide.
本発明の第2の態様においては、携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。   In the second aspect of the present invention, the acquisition unit that acquires the characteristic information indicating the characteristics of the screen data displayed on the screen of the mobile terminal, and one or more of the screen data displayed on the screen are the same or similar A storage unit that stores one or more reference feature information indicating features of one or more reference screen data; a determination unit that determines whether the feature information matches or is similar to any of the one or more reference feature information; When the determination unit determines that the feature information matches or is similar to any one of the one or more reference feature information, the time information associated with the feature information is the reference that matches or is similar to the feature information. There is provided a screen transition specifying device including a storage control unit that stores the storage unit in association with identification information that identifies feature information.
前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有してもよい。   You may further have an output part which outputs the screen data containing the reference | standard screen data corresponding to the said reference | standard feature information which is the same or similar to the said characteristic information in order based on the said time information memorize | stored in the said memory | storage part.
前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力してもよい。   The output unit may output similar screen data corresponding to the feature information similar to the reference screen data after outputting the reference screen data corresponding to the reference feature information that matches or is similar to the feature information. Good.
前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定してもよい。   The determination unit, when a part of the feature information and a part of any one of the one or more reference feature information match, the feature information matches or is similar to any one of the one or more reference feature information Then, it may be determined.
前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。   The determination unit compares the feature information with the reference feature information including a transparent region formed of transparent pixels and a non-transparent region formed of pixels other than the transparent pixels, thereby obtaining the feature information. It may be determined whether or not it matches or resembles any of the one or more reference feature information.
前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。   The determination unit includes the hash information generated by dividing the screen data into a plurality of divided regions and comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold value. However, it may be determined whether it matches or resembles any one of the one or more reference feature information.
本発明の第3の態様においては、携帯端末の表示部の画面に表示された画面データを取得するステップと、前記画面データの特徴を示す特徴情報を生成するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。   In the third aspect of the present invention, the step of obtaining screen data displayed on the screen of the display unit of the mobile terminal, the step of generating feature information indicating the feature of the screen data, and the feature information are Determining whether or not it matches or resembles any one or more pieces of reference feature information indicating a feature of one or more pieces of reference screen data that are the same or similar to one or more pieces of screen data displayed on the screen; When it is determined that the information matches or is similar to any one of the one or more reference feature information, the time information associated with the feature information is used as identification information that identifies the reference feature information that matches or is similar to the feature information. And a step of associating and storing the information in a storage unit.
本発明の第4の態様においては、携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。   In the fourth aspect of the present invention, the step of obtaining feature information indicating the feature of the screen data displayed on the screen of the display unit of the mobile terminal, and the feature information is displayed on the screen. Determining whether the feature information matches or resembles reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the screen data, and the feature information matches any of the one or more reference feature information, or A step of storing the time information associated with the feature information in a storage unit in association with identification information for identifying the reference feature information that matches or is similar to the feature information when it is determined to be similar Provide a specific method.
本発明の第5の態様においては、画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、前記端末は、前記画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、を有し、前記画面遷移特定装置は、前記特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定システムを提供する。   In a fifth aspect of the present invention, the apparatus includes: a terminal having a screen that displays screen data; and a screen transition specifying device that specifies a transition state of the screen data displayed on the terminal. An acquisition unit that acquires screen data displayed on the screen, an information generation unit that generates feature information indicating the characteristics of the screen data, and the screen information specifying the feature information together with time information associated with the feature information. A transmission unit that transmits to the device, wherein the screen transition identification device acquires the feature information, and one or more criteria that are the same as or similar to the one or more screen data displayed on the screen A storage unit that stores one or more reference feature information indicating features of screen data; a determination unit that determines whether the feature information matches or is similar to any of the one or more reference feature information; When the unit determines that the feature information matches or is similar to any of the one or more reference feature information, the time information associated with the feature information is changed to the reference feature information that matches or is similar to the feature information. There is provided a screen transition specifying system that includes a storage control unit that is stored in the storage unit in association with identification information to be identified.
本発明によれば、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができるという効果を奏する。   According to the present invention, there is an effect that a screen transition state can be specified without mounting an additional function in an application that displays an image on a terminal screen.
本実施形態に係る画面遷移特定システムSの概要を説明するための図である。It is a figure for demonstrating the outline | summary of the screen transition specific system S which concerns on this embodiment. 携帯端末1Aの構成を示す図である。It is a figure which shows the structure of 1 A of portable terminals. 画面遷移特定装置2の構成を示す図である。2 is a diagram illustrating a configuration of a screen transition identification device 2. FIG. トラッキング用画像Tを示す図である。It is a figure which shows the image T for tracking. 取得画像Sの一例を示す図である。It is a figure which shows an example of the acquisition image. 携帯端末1A及び画面遷移特定装置2における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process in 1 A of portable terminals and the screen transition specific | specification apparatus 2. FIG. 複数の分割領域の例を示す図である。It is a figure which shows the example of several division area. 携帯端末1A及び画面遷移特定装置2における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process in 1 A of portable terminals and the screen transition specific | specification apparatus 2. FIG. 第3の実施形態に係る携帯端末1Bの構成を示す図である。It is a figure which shows the structure of the portable terminal 1B which concerns on 3rd Embodiment.
<第1の実施形態>
[第1の実施形態の概要]
図1は、本実施形態に係る画面遷移特定システムSの概要を説明するための図である。画面遷移特定システムSは、携帯端末1Aと、画面遷移特定装置2とを備える。
携帯端末1Aは、スマートフォン及びタブレットのように、テキスト及び画像を表示することができるディスプレイを有する端末である。図1に示す携帯端末1Aは、無線通信回線を介して携帯電話網の基地局N1に接続され、インターネット等のネットワークN2を介して画面遷移特定装置2と通信することができる。携帯端末1Aは、無線端末に限られず、有線ケーブルを介してネットワークN2に接続されるコンピュータ又は家電機器等であってもよい。
<First Embodiment>
[Outline of First Embodiment]
FIG. 1 is a diagram for explaining an overview of the screen transition specifying system S according to the present embodiment. The screen transition identification system S includes a mobile terminal 1A and a screen transition identification device 2.
1 A of portable terminals are terminals which have a display which can display a text and an image like a smart phone and a tablet. A mobile terminal 1A shown in FIG. 1 is connected to a base station N1 of a mobile phone network via a wireless communication line, and can communicate with the screen transition specifying device 2 via a network N2 such as the Internet. The portable terminal 1A is not limited to a wireless terminal, and may be a computer or a home appliance that is connected to the network N2 via a wired cable.
画面遷移特定装置2は、ネットワークN2に接続されているサーバである。画面遷移特定装置2は、携帯端末1Aから受信した情報に基づいて、携帯端末1Aに表示されている画面の遷移状態を特定する。画面遷移特定装置2は、特定した画面の遷移状態に基づいて、携帯端末1Aに対して適切な情報を提供したり、携帯端末1Aのユーザがアプリケーションソフトウェア(以下、アプリケーションという)をどのように使用しているかに関する情報を収集したりすることができる。   The screen transition specifying device 2 is a server connected to the network N2. The screen transition specifying device 2 specifies the transition state of the screen displayed on the mobile terminal 1A based on the information received from the mobile terminal 1A. The screen transition specifying device 2 provides appropriate information to the mobile terminal 1A based on the specified screen transition state, and how the user of the mobile terminal 1A uses application software (hereinafter referred to as an application). You can collect information about what you are doing.
携帯端末1A及び画面遷移特定装置2が以下のように動作することにより、画面遷移特定装置2において、携帯端末1Aに表示された画面の遷移状態を特定することができる。
まず、携帯端末1Aは、実行中のアプリケーションの種別を特定し、特定した種別に基づいて、画面の内容を特定する一連の処理を実行するか否かを決定する(図1における(1))。携帯端末1Aは、画面の内容を特定する処理を実行すると決定した場合、表示した画面の内容の特徴を示す情報である特徴情報を生成し、生成した特徴情報を画面遷移特定装置2に送信する(図1における(2))。特徴情報は、画面の特徴に基づいて生成された情報であり、例えば、画面データ自体に比べて容量が小さいデータである。
When the mobile terminal 1A and the screen transition specifying device 2 operate as follows, the screen transition specifying device 2 can specify the transition state of the screen displayed on the mobile terminal 1A.
First, the mobile terminal 1A specifies the type of the application being executed, and determines whether or not to execute a series of processes for specifying the contents of the screen based on the specified type ((1) in FIG. 1). . When it is determined that the process for specifying the contents of the screen is to be executed, the portable terminal 1A generates feature information that is information indicating the characteristics of the displayed screen contents, and transmits the generated feature information to the screen transition specifying device 2. ((2) in FIG. 1). The feature information is information generated based on the feature of the screen, for example, data having a smaller capacity than the screen data itself.
携帯端末1Aにおいては、画面を表示している第1のアプリケーションと異なる第2のアプリケーションが、第1のアプリケーションが表示している画面の内容を解析して特徴情報を生成する。このようにすることで、既存のアプリケーションを改造することなく、携帯端末1Aが特徴情報を生成することができる。   In the mobile terminal 1A, a second application different from the first application displaying the screen analyzes the contents of the screen displayed by the first application and generates feature information. By doing in this way, portable terminal 1A can generate feature information, without modifying an existing application.
携帯端末1Aが送信した特徴情報は、所定のタイミング(例えば、5秒間隔)で、基地局N1及びネットワークN2を介して画面遷移特定装置2へと送られる(図1における(3))。画面遷移特定装置2は、受信した一以上の特徴情報それぞれと、予め作成しておいた、携帯端末1Aにおいて表示され得る画面の種類に関連付けられた一以上の基準特徴情報とを比較し、受信した一以上の特徴情報それぞれが、一以上の基準特徴情報のいずれかに一致又は類似するか否かを判定する。   The feature information transmitted by the portable terminal 1A is sent to the screen transition specifying device 2 via the base station N1 and the network N2 at a predetermined timing (for example, every 5 seconds) ((3) in FIG. 1). The screen transition specifying device 2 compares each received one or more pieces of feature information with one or more pieces of reference feature information created in advance and associated with the type of screen that can be displayed on the mobile terminal 1A. It is determined whether each of the one or more pieces of feature information matches or is similar to any of the one or more pieces of reference feature information.
画面遷移特定装置2は、特徴情報が一以上の基準特徴情報のいずれかに一致又は類似すると判定した場合、基準特徴情報に対応する基準画面データと、受信した特徴情報に対応する時刻情報とを関連付けて、記憶部に記憶する。その後、画面遷移特定装置2は、記憶部に記憶された基準画面データを、時刻情報に基づくタイミングで読み出すことにより、携帯端末1Aにおける画面遷移を再現することができる(図1における(4))。   When it is determined that the feature information matches or resembles any one or more reference feature information, the screen transition specifying device 2 includes reference screen data corresponding to the reference feature information and time information corresponding to the received feature information. Associating and storing in the storage unit. Thereafter, the screen transition specifying device 2 can reproduce the screen transition in the portable terminal 1A by reading the reference screen data stored in the storage unit at the timing based on the time information ((4) in FIG. 1). .
[携帯端末1A及び画面遷移特定装置2の構成]
以下、携帯端末1A及び画面遷移特定装置2の構成及び動作について詳細に説明する。
図2は、携帯端末1Aの構成を示す図である。携帯端末1Aは、操作部11と、通信部12と、表示部13と、記憶部14と、制御部15とを有する。
[Configuration of portable terminal 1A and screen transition specifying device 2]
Hereinafter, the configuration and operation of the mobile terminal 1A and the screen transition identification device 2 will be described in detail.
FIG. 2 is a diagram illustrating a configuration of the mobile terminal 1A. The mobile terminal 1 </ b> A includes an operation unit 11, a communication unit 12, a display unit 13, a storage unit 14, and a control unit 15.
操作部11は、ユーザが操作を入力するためのデバイスであり、例えば、タッチパネルである。通信部12は、基地局N1と通信するための無線ユニットである。表示部13は、画面を表示するディスプレイである。   The operation unit 11 is a device for a user to input an operation, and is, for example, a touch panel. The communication unit 12 is a wireless unit for communicating with the base station N1. The display unit 13 is a display that displays a screen.
記憶部14は、ROM及びRAMを含んでいる。ROMは、制御部15が実行するプログラムを記憶している。ROMは、例えば、メール用のアプリケーション、ゲーム用のアプリケーション等の各種の第1のアプリケーションと、特徴情報を生成するための第2のアプリケーションとを記憶している。RAMは、制御部15が各種の処理を実行する際のワークメモリとして使用される。   The storage unit 14 includes a ROM and a RAM. The ROM stores a program executed by the control unit 15. The ROM stores, for example, various first applications such as a mail application and a game application, and a second application for generating feature information. The RAM is used as a work memory when the control unit 15 executes various processes.
制御部15は、例えばCPUを含んでいる。制御部15は、記憶部14に記憶されたプログラムを実行することにより、取得部151、情報生成部152及び表示制御部153として機能する。   The control unit 15 includes, for example, a CPU. The control unit 15 functions as an acquisition unit 151, an information generation unit 152, and a display control unit 153 by executing a program stored in the storage unit 14.
取得部151は、表示部13の画面に表示された画面データを取得する。取得部151は、例えば、携帯端末1AのOS(Operating System)を介して、携帯端末1Aに表示されている画面を定期的にキャプチャすることにより、画面データを取得する。取得部151は、画面データの取得に先立ち、携帯端末1において実行されているアプリケーション(第1のアプリケーション)を特定する。取得部151は、特定したアプリケーションが、記憶部14に記憶されている、画面ログ情報を取得する対象として予め登録されているアプリケーション一覧に含まれているか否かを判定する。取得部151は、特定したアプリケーションが、アプリケーション一覧に登録されている場合、画面データを取得することに決定する。   The acquisition unit 151 acquires screen data displayed on the screen of the display unit 13. For example, the acquisition unit 151 acquires screen data by periodically capturing a screen displayed on the mobile terminal 1A via an OS (Operating System) of the mobile terminal 1A. The acquisition unit 151 specifies an application (first application) being executed in the mobile terminal 1 prior to acquisition of screen data. The acquisition unit 151 determines whether or not the identified application is included in an application list stored in the storage unit 14 and registered in advance as a target for acquiring screen log information. When the identified application is registered in the application list, the acquisition unit 151 determines to acquire screen data.
情報生成部152は、画面データの特徴に対応する特徴情報を生成する。例えば、情報生成部152は、画面データを圧縮したり、間引きしたりすることにより特徴情報を生成する。情報生成部152は、画面データ自体を特徴情報としてもよい。情報生成部152は、通信部12を介して、特徴情報を画面遷移特定装置2に送信する。この際、情報生成部152は、特徴情報に関連付けられた時刻情報も画面遷移特定装置2に送信する。時刻情報は、例えば、特徴情報に対応する画面データがキャプチャされた時刻、又は特徴情報が生成された時刻を示す情報である。   The information generator 152 generates feature information corresponding to the feature of the screen data. For example, the information generation unit 152 generates feature information by compressing or thinning screen data. The information generation unit 152 may use the screen data itself as feature information. The information generation unit 152 transmits the feature information to the screen transition identification device 2 via the communication unit 12. At this time, the information generation unit 152 also transmits time information associated with the feature information to the screen transition identification device 2. The time information is, for example, information indicating the time when the screen data corresponding to the feature information is captured or the time when the feature information is generated.
表示制御部153は、各種のデータを表示部13に表示させる。表示制御部153は、例えば、第1のアプリケーションが生成した画面データを表示部13に表示させる。また、表示制御部153は、画面遷移特定装置2から受信した表示情報を、第2のアプリケーションを用いて表示部13に表示させる。   The display control unit 153 displays various data on the display unit 13. For example, the display control unit 153 causes the display unit 13 to display screen data generated by the first application. In addition, the display control unit 153 causes the display unit 13 to display the display information received from the screen transition identification device 2 using the second application.
図3は、画面遷移特定装置2の構成を示す図である。画面遷移特定装置2は、通信部21と、記憶部22と、制御部23とを有する。通信部21は、携帯端末1Aから特徴情報を取得する取得部として機能する。以下の説明では、特徴情報に基づいて再現可能な画像を取得画像Sと称する。   FIG. 3 is a diagram illustrating a configuration of the screen transition identification device 2. The screen transition identification device 2 includes a communication unit 21, a storage unit 22, and a control unit 23. The communication unit 21 functions as an acquisition unit that acquires feature information from the mobile terminal 1A. In the following description, an image that can be reproduced based on the feature information is referred to as an acquired image S.
記憶部22は、ROM、RAM及びハードディスク等の記憶媒体である。記憶部22は、ROM又はハードディスクに、制御部23が実行するプログラムを記憶している。また、記憶部22は、携帯端末1Aの画面に表示される可能性がある一以上の画面データの少なくとも一部の画面データと同一又は類似の一以上の基準特徴情報としての基準画面データを記憶している。基準画面データは、例えば、携帯端末1Aに表示された画面と同一又は類似の画像の候補となる画像(以下、「トラッキング用画像T」という)である。   The storage unit 22 is a storage medium such as a ROM, a RAM, and a hard disk. The storage unit 22 stores a program executed by the control unit 23 in a ROM or a hard disk. In addition, the storage unit 22 stores reference screen data as one or more reference feature information that is the same as or similar to at least a part of the screen data of one or more screen data that may be displayed on the screen of the mobile terminal 1A. doing. The reference screen data is, for example, an image that is a candidate for an image that is the same as or similar to the screen displayed on the mobile terminal 1A (hereinafter referred to as “tracking image T”).
図4は、トラッキング用画像Tを示す図である。図4(a)は、送信メールを作成する画面のトラッキング用画像T1であり、符号tが示す斜線の領域は、透明画素により構成されている。図4(b)は、受信メールを表示する画面のトラッキング用画像T2である。記憶部22は、このようなトラッキング用画像Tを、種類が異なる画面ごとに記憶している。   FIG. 4 is a diagram showing the tracking image T. As shown in FIG. FIG. 4A shows a tracking image T1 on a screen for creating a transmission mail, and a hatched area indicated by a symbol t is composed of transparent pixels. FIG. 4B is a tracking image T2 for displaying a received mail. The storage unit 22 stores such a tracking image T for each type of screen.
制御部23は、記憶部22に記憶されたプログラムを実行することにより、判定部231、記憶制御部232及び出力部233として機能する。
判定部231は、通信部21が携帯端末1Aから受信した特徴情報に対応する取得画像Sが、記憶部22に記憶されている一以上のトラッキング用画像Tのいずれかと一致又は類似するか否かを判定する。判定部231は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含むトラッキング用画像Tと、取得画像Sとを比較することにより、取得画像Sが一以上のトラッキング用画像Tのいずれかと一致又は類似するか否かを判定する。判定部231は、例えば、取得画像Sに対して各トラッキング用画像Tを重ね合せて合成画像を生成し、生成した合成画像が、取得画像Sと一致するかどうかを判定する。
The control unit 23 functions as the determination unit 231, the storage control unit 232, and the output unit 233 by executing the program stored in the storage unit 22.
The determination unit 231 determines whether or not the acquired image S corresponding to the feature information received from the mobile terminal 1A by the communication unit 21 matches or is similar to any one or more of the tracking images T stored in the storage unit 22. Determine. The determination unit 231 compares the acquired image S with the tracking image T including the transparent region configured by the transparent pixels and the non-transparent region configured by pixels other than the transparent pixels. It is determined whether or not it matches or resembles any one or more of the tracking images T. For example, the determination unit 231 generates a composite image by superimposing the tracking images T on the acquired image S, and determines whether the generated composite image matches the acquired image S.
図5は、取得画像Sの一例を示す図である。この場合、判定部231は、以下のように動作する。
スクリーンキャプチャーをした取得画像Sの各画素をS[x、y]、トラッキング用画像Tの各画素をT[x、y]、合成画像Cの各画素をC[x、y]とする。ここで、x、yは、画素の座標位置を示す整数である。このとき、合成画像Cの各画素は以下のようになる。
C[x、y]=S[x、y](if T[x、y]=透明画素値)
C[x、y]=T[x、y](if T[x、y]≠透明画素値)
FIG. 5 is a diagram illustrating an example of the acquired image S. As illustrated in FIG. In this case, the determination unit 231 operates as follows.
Assume that each pixel of the acquired image S obtained by screen capture is S [x, y], each pixel of the tracking image T is T [x, y], and each pixel of the composite image C is C [x, y]. Here, x and y are integers indicating the coordinate positions of the pixels. At this time, each pixel of the composite image C is as follows.
C [x, y] = S [x, y] (if T [x, y] = transparent pixel value)
C [x, y] = T [x, y] (if T [x, y] ≠ transparent pixel value)
C[x、y]=S[x、y]が全ての画素値で成り立つ場合は、T[x、y]≠透明画素値となる全ての画素[x、y]において、T[x、y]=S[x、y]が満たされるので、判定部231は、取得画像Sがトラッキング用画像Tと一致する画面であると判定できる。全画素のうち不一致の画素[x、y]の割合が所定値以下の場合、判定部231は、取得画像Sがトラッキング用画像Tに類似する画面であると判定する。   When C [x, y] = S [x, y] holds for all pixel values, T [x, y] is satisfied for all pixels [x, y] where T [x, y] ≠ transparent pixel value. ] = S [x, y] is satisfied, the determination unit 231 can determine that the acquired image S is a screen that matches the tracking image T. When the ratio of non-matching pixels [x, y] among all the pixels is equal to or smaller than a predetermined value, the determination unit 231 determines that the acquired image S is a screen similar to the tracking image T.
判定部231は、例えば、図5に示す取得画像Sと図4(a)に示すトラッキング用画像T1とを合成して合成画像C1を生成し、取得画像Sと図4(b)に示すトラッキング用画像T2とを合成して合成画像C2を生成する。この場合、合成画像C1は、取得画像Sと一致する。他方、合成画像C2は、取得画像Sと一致しない。したがって、判定部231は、取得画像Sが、トラッキング用画像T1と一致又は類似すると判定する。なお、判定部231は、取得画像Sの一部と、トラッキング用画像Tの一部とが一致する場合に、取得画像Sが、一以上のトラッキング用画像Tのいずれかと一致すると判定してもよい。   For example, the determination unit 231 generates a composite image C1 by combining the acquired image S illustrated in FIG. 5 and the tracking image T1 illustrated in FIG. 4A, and acquires the acquired image S and the tracking illustrated in FIG. The composite image C2 is generated by combining the work image T2. In this case, the composite image C1 matches the acquired image S. On the other hand, the composite image C2 does not match the acquired image S. Therefore, the determination unit 231 determines that the acquired image S matches or is similar to the tracking image T1. Note that the determination unit 231 determines that the acquired image S matches one of the one or more tracking images T when a part of the acquired image S matches a part of the tracking image T. Good.
記憶制御部232は、判定部231が、記憶部22に記憶された一以上のトラッキング用画像Tのいずれかに取得画像Sが一致又は類似すると判定した場合に、取得画像Sに関連付けられた時刻情報を、一致又は類似するトラッキング用画像Tを識別するIDに関連付けて記憶部22に記憶させる。記憶制御部232は、例えば、判定部231が取得画像Sに一致又は類似すると判定したトラッキング用画像Tが変化したことを条件として、変化した後のトラッキング用画像Tを時刻情報に関連付けて記憶部22に記憶させる。   The storage control unit 232 determines the time associated with the acquired image S when the determination unit 231 determines that the acquired image S matches or resembles one of the one or more tracking images T stored in the storage unit 22. The information is stored in the storage unit 22 in association with the ID for identifying the matching or similar tracking image T. For example, the storage control unit 232 stores the changed tracking image T in association with time information on the condition that the tracking image T determined by the determination unit 231 to match or similar to the acquired image S has changed. 22 is stored.
出力部233は、記憶部22に記憶された時刻情報に基づく順番に、トラッキング用画像Tに対応する基準画面データを含む画面データを出力する。出力部233は、通信部21を介して接続されたコンピュータに、時刻情報に対応する時刻において画面データを出力する。出力部233は、例えば、画面A→B→A→C→・・・と遷移させて画面データを出力する。このようにすることで、コンピュータには、携帯端末1Aにおいて表示された画面遷移の状態が再現される。   The output unit 233 outputs screen data including reference screen data corresponding to the tracking image T in the order based on the time information stored in the storage unit 22. The output unit 233 outputs the screen data to a computer connected via the communication unit 21 at a time corresponding to the time information. The output unit 233 outputs screen data by making a transition from screen A → B → A → C →. By doing so, the state of the screen transition displayed on the mobile terminal 1A is reproduced on the computer.
出力部233は、時刻情報に基づいて、一以上のトラッキング用画像TのIDに対応する一以上のトラッキング用画像Tを並べることにより、携帯端末1Aにおける画面遷移を再現する。例えば、記憶制御部232は、時刻tから時刻t+aの間、IDがID1のトラッキング用画像Tのログがあった場合、(ID1,t,t+a)という形式で時系列情報を生成し、生成した時系列情報を記憶部22に記憶させる。そして、出力部233は、記憶部22に記憶された時系列情報に基づいて、トラッキング用画像Tが、携帯端末1Aで表示された画像と同じタイミングで表示される動画として画面遷移パターンを再現する。   The output unit 233 reproduces the screen transition in the mobile terminal 1A by arranging one or more tracking images T corresponding to the IDs of the one or more tracking images T based on the time information. For example, when there is a log of the tracking image T with ID ID1 from time t to time t + a, the storage control unit 232 generates and generates time-series information in the format of (ID1, t, t + a) The time series information is stored in the storage unit 22. Then, based on the time-series information stored in the storage unit 22, the output unit 233 reproduces the screen transition pattern as a moving image in which the tracking image T is displayed at the same timing as the image displayed on the mobile terminal 1A. .
出力部233は、例えば、画面遷移パターンを再現する際に、取得画像Sと一致又は類似する基準特徴画像としてのトラッキング用画像Tを出力した後に、トラッキング用画像Tに類似する特徴情報に対応する類似画面データの画像を出力してもよい。例えば、出力部233は、図4(a)に示す送信メール作成画面のトラッキング用画像Tを出力した後に、携帯端末1Aから、携帯端末1Aのユーザが入力したメール本文に対応する画像、又はメール本文を加工した画像を受信し、受信した画像をトラッキング用画像Tに重畳した画像を出力する。   For example, when reproducing the screen transition pattern, the output unit 233 outputs a tracking image T as a reference feature image that matches or is similar to the acquired image S, and then corresponds to feature information similar to the tracking image T. An image of similar screen data may be output. For example, the output unit 233 outputs the image corresponding to the mail text input by the user of the mobile terminal 1A from the mobile terminal 1A or the mail after outputting the tracking image T on the outgoing mail creation screen shown in FIG. An image obtained by processing the text is received, and an image in which the received image is superimposed on the tracking image T is output.
出力部233は、多数の携帯端末1Aから送信される、同一のアプリケーションの画面遷移パターンの平均値又は分散等の統計値を算出し、算出した統計値を出力してもよい。また、出力部233は、特定の画面Aにおける滞在時間の平均値、画面Aから画面Bへの遷移割合を出力してもよい。出力部233は、例えば、画面遷移の内容及び統計値を表示したり、他のコンピュータに送信したりする。画面遷移特定装置2が、特徴情報に基づいて携帯端末1Aの画面遷移パターンを特定することで、携帯端末1Aに画面を表示するアプリケーションの設計者が、ユーザがどのようにアプリケーションを使用しているかを把握し、アプリケーションを改良する際に役立つ。   The output unit 233 may calculate a statistical value such as an average value or variance of screen transition patterns of the same application transmitted from a large number of portable terminals 1A, and may output the calculated statistical value. Further, the output unit 233 may output an average stay time on a specific screen A and a transition ratio from the screen A to the screen B. The output unit 233 displays, for example, the contents of screen transitions and statistical values, or transmits them to other computers. The screen transition identification device 2 identifies the screen transition pattern of the mobile terminal 1A based on the feature information, so that the user of the application designer who displays the screen on the mobile terminal 1A is using the application To help you understand and improve your application.
なお、出力部233は、特定した画面遷移パターンに基づいて、携帯端末1Aに表示させる表示情報を携帯端末1Aに送信してもよい。例えば、出力部233は、一以上のトラッキング用画像Tの間の遷移パターンに関連付けて記憶部22に記憶された表示情報を、画面遷移のタイミングに同期して携帯端末1Aに送信してもよい。このようにすることで、携帯端末1Aは、画面遷移時にユーザに通知すべき情報を表示することができる。   Note that the output unit 233 may transmit display information to be displayed on the mobile terminal 1A to the mobile terminal 1A based on the identified screen transition pattern. For example, the output unit 233 may transmit the display information stored in the storage unit 22 in association with the transition pattern between the one or more tracking images T to the mobile terminal 1A in synchronization with the screen transition timing. . By doing in this way, 1 A of portable terminals can display the information which should be notified to a user at the time of a screen transition.
[携帯端末1A及び画面遷移特定装置2における処理の流れ]
図6は、携帯端末1A及び画面遷移特定装置2における処理の流れを示すフローチャートである。図6に示す処理は、主に携帯端末1Aにおける制御部15及び画面遷移特定装置2における制御部23によって行われる。
[Processing Flow in Portable Terminal 1A and Screen Transition Identification Device 2]
FIG. 6 is a flowchart showing the flow of processing in the mobile terminal 1 </ b> A and the screen transition identification device 2. The process shown in FIG. 6 is mainly performed by the control unit 15 in the mobile terminal 1A and the control unit 23 in the screen transition identification device 2.
まず、制御部15は、表示部13に画面を表示している第1のアプリケーションが、画面データを取得する対象のアプリケーションであるか否かを判定する(S11)。制御部15は、表示部13に画面を表示している第1のアプリケーションが、画面データを取得する対象のアプリケーションでないと判定した場合(S11においてNO)、画面データを取得する対象のアプリケーションが実行中になるまでS11の処理を繰り返す。制御部15は、表示部13に画面を表示している第1のアプリケーションが、画面データを取得する対象のアプリケーションであると判定した場合(S11においてYES)、S12に処理を進める。   First, the control unit 15 determines whether or not the first application displaying a screen on the display unit 13 is a target application for acquiring screen data (S11). When it is determined that the first application displaying the screen on the display unit 13 is not the target application for acquiring screen data (NO in S11), the control unit 15 executes the target application for acquiring screen data. The process of S11 is repeated until it becomes medium. When it is determined that the first application displaying the screen on the display unit 13 is the target application for acquiring screen data (YES in S11), the control unit 15 advances the process to S12.
S12において、制御部15は、表示部13に表示されている画面データを取得する(S12)。続いて、制御部15は、画面データに基づいて、特徴情報を生成する(S13)。制御部15は、時刻情報に関連付けて、生成した特徴情報を画面遷移特定装置2に送信する(S14)。   In S12, the control unit 15 acquires screen data displayed on the display unit 13 (S12). Subsequently, the control unit 15 generates feature information based on the screen data (S13). The control unit 15 transmits the generated feature information to the screen transition identification device 2 in association with the time information (S14).
画面遷移特定装置2において、制御部23は、特徴情報を受信すると(S21)、受信した特徴情報に対応する取得画像Sが、一以上のトラッキング用画像Tのいずれかと一致又は類似するか否かを判定する(S22)。そして、制御部23は、取得画像Sが、一以上のトラッキング用画像Tのいずれかと一致又は類似すると判定した場合、一致又は類似すると判定したトラッキング用画像Tと時刻情報とを関連付けて記憶部22に記憶させる(S23)。その後、制御部23は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、トラッキング用画像Tを出力することにより、携帯端末1における画面遷移を再現した動画を出力する(S24)。   In the screen transition specifying device 2, when the control unit 23 receives the feature information (S21), whether or not the acquired image S corresponding to the received feature information matches or is similar to any one or more of the tracking images T. Is determined (S22). When the control unit 23 determines that the acquired image S matches or resembles one or more of the one or more tracking images T, the control unit 23 associates the tracking image T determined to match or similar with the time information and stores the storage unit 22. (S23). Thereafter, the control unit 23 outputs a moving image in which the screen transition in the portable terminal 1 is reproduced by outputting the tracking images T in the order corresponding to the time information in response to an output instruction from the user, for example (S24). ).
[第1の実施形態における効果]
以上説明したように、本実施形態においては、携帯端末1Aが、表示している画面データの特徴を示す特徴情報を生成し、特徴情報を時刻情報に関連付けて、画面遷移特定装置2に送信する。画面遷移特定装置2は、受信した特徴情報に一致又は類似する基準特徴情報があるか否かを判定し、一致又は類似する基準特徴情報があった場合、基準特徴情報に対応する基準画面データと時刻情報とを関連付けて記憶部22に記憶させる。そして、出力部233が、時刻情報に基づく順番に基準画面データを出力することにより、携帯端末1Aにおける画面遷移を再現する。このようにすることで、画面遷移特定システムSにおいては、携帯端末1Aの画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができる。また、キャプチャした画面データの特徴を示す特徴情報を用いることにより、画面データ自体を用いる場合に比べて、データの保存領域、及び通信量を削減することが可能になる。
[Effect in the first embodiment]
As described above, in the present embodiment, the mobile terminal 1A generates feature information indicating the characteristics of the displayed screen data, associates the feature information with the time information, and transmits the feature information to the screen transition specifying device 2. . The screen transition specifying device 2 determines whether there is reference feature information that matches or is similar to the received feature information. If there is reference feature information that matches or is similar, the reference screen data corresponding to the reference feature information The time information is associated and stored in the storage unit 22. Then, the output unit 233 reproduces the screen transition in the mobile terminal 1A by outputting the reference screen data in the order based on the time information. By doing in this way, in the screen transition specifying system S, the screen transition state can be specified without implementing an additional function in an application that displays an image on the screen of the mobile terminal 1A. Further, by using the feature information indicating the feature of the captured screen data, it is possible to reduce the data storage area and the communication amount compared to the case of using the screen data itself.
<第2の実施形態>
第1の実施形態においては、判定部231は、携帯端末1Aに表示された画面データが、透明画素を含む一以上のトラッキング用画像Tのいずれかに一致又は類似するか否かを判定することにより、携帯端末1Aにおける画面遷移を特定した。第2の実施形態においては、携帯端末1Aが、画面データの特徴を示す端末ハッシュ情報を特徴情報として生成し、判定部231が、予め記憶部22に記憶した基準ハッシュ情報と端末ハッシュ情報とを比較することにより、画面遷移を特定する。
以下、ハッシュ情報を用いる場合の携帯端末1A及び画面遷移特定装置2における動作について説明する。
<Second Embodiment>
In the first embodiment, the determination unit 231 determines whether or not the screen data displayed on the mobile terminal 1A matches or resembles any one or more tracking images T including transparent pixels. Thus, the screen transition in the mobile terminal 1A is specified. In the second embodiment, the mobile terminal 1A generates terminal hash information indicating the characteristics of the screen data as feature information, and the determination unit 231 uses the reference hash information and the terminal hash information stored in the storage unit 22 in advance. The screen transition is specified by comparison.
Hereinafter, operations in the mobile terminal 1A and the screen transition identification device 2 when hash information is used will be described.
携帯端末1Aにおいて、情報生成部152は、画面データを複数の分割領域に分割する。情報生成部152は、例えば、携帯端末1Aの機種名に基づいて、各分割領域のサイズ及び位置を決定する。情報生成部152は、画面を表示している第1のアプリケーションの種別に応じて、各分割領域のサイズ及び位置を決定してもよい。   In the mobile terminal 1A, the information generation unit 152 divides the screen data into a plurality of divided areas. For example, the information generation unit 152 determines the size and position of each divided region based on the model name of the mobile terminal 1A. The information generation unit 152 may determine the size and position of each divided area according to the type of the first application displaying the screen.
図7は、複数の分割領域の例を示す図である。図7(a)においては、表示部13が、8×13=104個の分割領域に分けられている。分割領域は、(行番号、列番号)により表される座標により特定することができる。例えば、左上の分割領域の座標は(1,1)、右上の分割領域の座標は(1,8)、左下の分割領域の座標は(13,1)、右下の分割領域の座標は(13,8)である。   FIG. 7 is a diagram illustrating an example of a plurality of divided regions. In FIG. 7A, the display unit 13 is divided into 8 × 13 = 104 divided regions. The divided area can be specified by coordinates represented by (row number, column number). For example, the coordinates of the upper left divided area are (1, 1), the coordinates of the upper right divided area are (1, 8), the coordinates of the lower left divided area are (13, 1), and the coordinates of the lower right divided area are ( 13, 8).
情報生成部152は、例えば、複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化して得られる量子化値を含む端末ハッシュ情報(Average Hash)を生成する。情報生成部152は、例えば、表示されている画面全体の画面データに含まれる画素の輝度又は色度の平均値を上記の所定の閾値として用いることができる。   For example, the information generation unit 152 generates terminal hash information (Average Hash) including a quantization value obtained by quantization by comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold. . For example, the information generation unit 152 can use the average value of the luminance or chromaticity of the pixels included in the screen data of the entire displayed screen as the predetermined threshold.
情報生成部152は、複数の分割領域のそれぞれに含まれる全ての画素の輝度又は色度を平均することにより、平均値を算出する。そして、情報生成部152は、算出した平均値が所定の閾値以上である場合に、対応する分割領域における量子化値を「1」とし、算出した平均値が所定の閾値より小さい場合に、量子化値を「0」とする。情報生成部152は、全ての分割領域に対応する量子化値を算出し、全ての分割領域の量子化値を所定の順序で並べることにより、表示されている画面データの端末ハッシュ情報を生成する。なお、情報生成部152は、離散コサイン変換処理により低周波成分を抽出し、低周波成分の有無により量子化値を生成することにより端末ハッシュ情報(pHash)を生成してもよい。   The information generation unit 152 calculates an average value by averaging the luminance or chromaticity of all the pixels included in each of the plurality of divided regions. Then, the information generation unit 152 sets the quantization value in the corresponding divided region to “1” when the calculated average value is equal to or larger than the predetermined threshold value, and determines the quantum value when the calculated average value is smaller than the predetermined threshold value. The conversion value is set to “0”. The information generation unit 152 calculates the quantized values corresponding to all the divided regions, and generates the terminal hash information of the displayed screen data by arranging the quantized values of all the divided regions in a predetermined order. . Note that the information generation unit 152 may generate terminal hash information (pHash) by extracting a low-frequency component by discrete cosine transform processing and generating a quantized value based on the presence or absence of the low-frequency component.
図7(b)は、図4(a)に示したメール送信画面に対応する量子化値を示している。図7(b)における黒い分割領域は、分割領域における輝度の平均値が所定値よりも小さい領域であり、白い分割領域は、分割領域における輝度の平均値が所定値以上の領域である。情報生成部152は、図7(b)に示す例において、座標(1,1)、座標(1,2)・・・座標(1,8)、座標(2,1)・・・座標(13,8)の順番に量子化値を並べることにより、「11111111000000000011111100111111・・・・111111110100010001000100」という、分割領域の数に等しいビット数の端末ハッシュ情報を生成する。   FIG. 7B shows quantized values corresponding to the mail transmission screen shown in FIG. The black divided region in FIG. 7B is a region where the average luminance value in the divided region is smaller than a predetermined value, and the white divided region is a region where the average luminance value in the divided region is equal to or larger than the predetermined value. In the example shown in FIG. 7B, the information generation unit 152 has coordinates (1, 1), coordinates (1, 2)... Coordinates (1, 8), coordinates (2, 1). By arranging the quantized values in the order of (13,8), terminal hash information with the number of bits equal to the number of divided areas, “11111111000000000011111100111111... 111111110100010001000100” is generated.
続いて、画面遷移特定装置2における動作について説明する。
判定部231は、例えば、受信した端末ハッシュ情報と、記憶部22に記憶されている一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出することにより、端末ハッシュ情報が基準ハッシュ情報と一致又は類似するか否かを判定する。具体的には、判定部231は、端末ハッシュ情報のあるビットと基準ハッシュ情報の対応するビットとが一致している場合、ビット間距離を0とし、端末ハッシュ情報のあるビットが0で、基準ハッシュ情報の対応するビットが1の場合に、ビット間距離を1とし、端末ハッシュ情報のあるビットが1で、基準ハッシュ情報の対応するビットが0の場合に、ビット間距離を‐1とする。判定部231は、全てのビット間距離を加算することにより、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する。
Next, the operation in the screen transition identification device 2 will be described.
For example, the determination unit 231 calculates the hamming distance between the received terminal hash information and each of the one or more reference hash information stored in the storage unit 22 so that the terminal hash information matches the reference hash information. Alternatively, it is determined whether or not they are similar. Specifically, when the bit having the terminal hash information matches the corresponding bit of the reference hash information, the determination unit 231 sets the inter-bit distance to 0, the bit having the terminal hash information to 0, When the corresponding bit of the hash information is 1, the inter-bit distance is 1, and when the certain bit of the terminal hash information is 1 and the corresponding bit of the reference hash information is 0, the inter-bit distance is -1. . The determination unit 231 calculates the Hamming distance between the terminal hash information and the reference hash information by adding all the inter-bit distances.
判定部231は、例えばk−means法を用いて、通信部21が受信した端末ハッシュ情報が、ハミング距離が最も小さい基準ハッシュ情報に類似していると判定する。判定部231は、携帯端末1Aから受信した一以上の端末ハッシュ情報のそれぞれとの間のハミング距離が最も小さい基準ハッシュ情報を特定することにより、一以上の端末ハッシュ情報のそれぞれが、どのクラスタに属するかを特定する。判定部231は、端末ハッシュ情報との間のハミング距離が同一の基準ハッシュ情報が複数ある場合、端末ハッシュ情報に含まれる所定の位置のデータと、基準ハッシュ情報に含まれる所定の位置のデータとの間のハミング距離が最も小さい基準ハッシュ情報に対応する基準画面データに、携帯端末1Aに表示されている画面が類似すると判定してもよい。   The determination unit 231 determines that the terminal hash information received by the communication unit 21 is similar to the reference hash information with the smallest Hamming distance, using, for example, the k-means method. The determination unit 231 identifies the reference hash information having the shortest Hamming distance between each of the one or more terminal hash information received from the mobile terminal 1A, so that each of the one or more terminal hash information is assigned to which cluster. Identify whether it belongs. When there are a plurality of reference hash information having the same hamming distance from the terminal hash information, the determination unit 231 includes data at a predetermined position included in the terminal hash information and data at a predetermined position included in the reference hash information. It may be determined that the screen displayed on the mobile terminal 1A is similar to the reference screen data corresponding to the reference hash information with the smallest hamming distance between the two.
記憶制御部232は、判定部231が、記憶部22に記憶された一以上の基準ハッシュ情報のいずれかに端末ハッシュ情報が一致又は類似すると判定した場合に、端末ハッシュ情報に関連付けられた時刻情報を、一致又は類似する基準ハッシュ情報を識別する識別情報に関連付けて記憶部22に記憶させる。記憶制御部232は、例えば、判定部231が端末ハッシュ情報に一致又は類似すると判定した基準ハッシュ情報が変化したことを条件として、変化した後の基準ハッシュ情報を時刻情報に関連付けて記憶部22に記憶させる。   The storage control unit 232, when the determination unit 231 determines that the terminal hash information matches or is similar to any one or more reference hash information stored in the storage unit 22, the time information associated with the terminal hash information Are stored in the storage unit 22 in association with the identification information for identifying the matching or similar reference hash information. For example, the storage control unit 232 associates the changed reference hash information with the time information in the storage unit 22 on the condition that the reference hash information determined by the determination unit 231 to match or similar to the terminal hash information has changed. Remember.
[携帯端末1A及び画面遷移特定装置2における処理の流れ]
図8は、携帯端末1A及び画面遷移特定装置2における処理の流れを示すフローチャートである。図8に示す処理は、主に携帯端末1Aにおける制御部15及び画面遷移特定装置2における制御部23によって行われる。図8においては、制御部15がアプリケーションの種別を特定した後の処理を示している。
[Processing Flow in Portable Terminal 1A and Screen Transition Identification Device 2]
FIG. 8 is a flowchart showing the flow of processing in the mobile terminal 1 </ b> A and the screen transition identification device 2. The processing shown in FIG. 8 is mainly performed by the control unit 15 in the mobile terminal 1A and the control unit 23 in the screen transition identification device 2. FIG. 8 shows processing after the control unit 15 specifies the type of application.
まず、制御部15は、表示部13に表示されている画面データを取得する(S31)。続いて、制御部15は、画面データを所定の分割領域に分割し(S32)、分割領域ごとに、輝度の平均値を算出する(S33)。続いて、制御部15は、輝度の平均値を閾値と比較することにより、分割領域ごとに量子化値を算出し(S34)、算出した量子化値を並べることにより、端末ハッシュ情報を生成する(S35)。そして、制御部15は、生成した端末ハッシュ情報を、端末ハッシュ情報を生成した時刻又は画面データが表示された時刻を示す時刻情報に関連付けて、通信部12を介して画面遷移特定装置2に送信する(S36)。   First, the control unit 15 acquires screen data displayed on the display unit 13 (S31). Subsequently, the control unit 15 divides the screen data into predetermined divided areas (S32), and calculates an average luminance value for each divided area (S33). Subsequently, the control unit 15 calculates the quantization value for each divided region by comparing the average value of the luminance with the threshold value (S34), and generates the terminal hash information by arranging the calculated quantization values. (S35). Then, the control unit 15 associates the generated terminal hash information with the time information indicating the time at which the terminal hash information was generated or the time at which the screen data was displayed, and transmits it to the screen transition specifying device 2 via the communication unit 12. (S36).
画面遷移特定装置2においては、制御部23は、端末ハッシュ情報を受信すると(S41)、受信した端末ハッシュ情報と一以上の基準ハッシュ情報とを比較する(S42)。そして、制御部23は、端末ハッシュ情報と一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出し、ハミング距離が所定の値よりも小さい基準ハッシュ情報に対応する基準画面データを特定する(S43)。続いて、制御部23は、特定した基準画面データと、対応する時刻情報とを関連付けて記憶部22に記憶させる(S44)。その後、制御部23は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、基準画面データを出力する(S45)。   In the screen transition specifying device 2, when receiving the terminal hash information (S41), the control unit 23 compares the received terminal hash information with one or more reference hash information (S42). Then, the control unit 23 calculates a hamming distance between the terminal hash information and each of the one or more reference hash information, and specifies reference screen data corresponding to the reference hash information whose hamming distance is smaller than a predetermined value ( S43). Subsequently, the control unit 23 stores the identified reference screen data and the corresponding time information in the storage unit 22 in association with each other (S44). Thereafter, the control unit 23 outputs the reference screen data in the order corresponding to the time information, for example, according to the output instruction from the user (S45).
[第2の実施形態における効果]
以上説明したように、第2の実施形態においては、特徴情報としてハッシュ情報を使用するので、特徴情報のデータ量を小さくすることができる。したがって、携帯端末1は、通信回線に大きな負荷をかけることなく、高い頻度で特徴情報を画面遷移特定装置2に送信することができるので、画面遷移特定装置2は、画面が頻繁に変化する場合においても、画面遷移を高い精度で特定することができる。
[Effects of Second Embodiment]
As described above, in the second embodiment, since hash information is used as feature information, the data amount of feature information can be reduced. Therefore, since the mobile terminal 1 can transmit the feature information to the screen transition specifying device 2 at a high frequency without imposing a heavy load on the communication line, the screen transition specifying device 2 can be used when the screen changes frequently. The screen transition can be specified with high accuracy.
<第3の実施形態>
第1の実施形態においては、携帯端末1Aにおける画面遷移を、通信回線を介して携帯端末1Aに接続された画面遷移特定装置2において特定した。これに対して、第2の実施形態においては、制御部15が、携帯端末1Bにインストールされた第1のアプリケーションを実行することにより表示した画面遷移パターンを、携帯端末1Bにインストールされた第2のアプリケーションを実行することにより特定し、特定した画面遷移パターンをサーバ(不図示)に出力するという点で、第1の実施形態と異なる。
<Third Embodiment>
In the first embodiment, the screen transition in the mobile terminal 1A is specified in the screen transition specifying device 2 connected to the mobile terminal 1A via the communication line. On the other hand, in 2nd Embodiment, the control part 15 displays the screen transition pattern displayed by executing the 1st application installed in the portable terminal 1B in the 2nd installed in the portable terminal 1B. This is different from the first embodiment in that it is specified by executing the application and outputs the specified screen transition pattern to a server (not shown).
図9は、第3の実施形態に係る携帯端末1Bの構成を示す図である。携帯端末1Bは、操作部11と、通信部12と、表示部13と、記憶部14と、制御部15とを有する。制御部15は、記憶部14に記憶された第1のアプリケーションを実行している間に、記憶部14に記憶された第2のアプリケーションを実行することにより、取得部151、情報生成部152、表示制御部153、判定部154、記憶制御部155及び出力部156として機能する。   FIG. 9 is a diagram illustrating a configuration of a mobile terminal 1B according to the third embodiment. The mobile terminal 1 </ b> B includes an operation unit 11, a communication unit 12, a display unit 13, a storage unit 14, and a control unit 15. While executing the first application stored in the storage unit 14, the control unit 15 executes the second application stored in the storage unit 14, thereby obtaining the acquisition unit 151, the information generation unit 152, It functions as a display control unit 153, a determination unit 154, a storage control unit 155, and an output unit 156.
判定部154、記憶制御部155及び出力部156は、第1の実施形態における画面遷移特定装置2が有する判定部231、記憶制御部232及び出力部253に対応し、判定部231、記憶制御部232及び出力部253とほぼ同一の機能を有する。   The determination unit 154, the storage control unit 155, and the output unit 156 correspond to the determination unit 231, the storage control unit 232, and the output unit 253 included in the screen transition identification device 2 in the first embodiment. 232 and the output unit 253 have substantially the same functions.
記憶部14は、制御部15が第1のアプリケーションを実行することによって画面に表示する一以上の画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する。記憶部14が記憶している基準特徴情報は、第1の実施形態における記憶部22に記憶されていた基準特徴情報と同等の情報であり、例えばトラッキング用画像Tである。   The storage unit 14 stores one or more reference feature information indicating features of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen when the control unit 15 executes the first application. To do. The reference feature information stored in the storage unit 14 is information equivalent to the reference feature information stored in the storage unit 22 in the first embodiment, and is, for example, a tracking image T.
以下、判定部154、記憶制御部155及び出力部156の各部が、判定部231、記憶制御部232及び出力部253と異なる点を中心に説明する。なお、本実施形態においては、情報生成部152が生成した特徴情報に対応する画像を、取得画像Sと称する。   Hereinafter, description will be made centering on differences between the determination unit 154, the storage control unit 155, and the output unit 156 from the determination unit 231, the storage control unit 232, and the output unit 253. In the present embodiment, an image corresponding to the feature information generated by the information generation unit 152 is referred to as an acquired image S.
判定部154は、取得画像Sが、記憶部14に記憶されている一以上のトラッキング用画像Tのいずれかと一致又は類似するか否かを判定する。記憶制御部155は、判定部154が、取得画像Sが一以上のトラッキング用画像Tのいずれかと一致又は類似すると判定した場合に、取得画像Sに関連付けられた時刻情報を、一致又は類似するトラッキング用画像TのIDに関連付けて記憶部14に記憶させる。記憶制御部155は、例えば、取得画像Sに対応する画面データが表示された時刻を、トラッキング用画像Tに関連付けて記憶部14に記憶させる。   The determination unit 154 determines whether or not the acquired image S matches or is similar to one of the one or more tracking images T stored in the storage unit 14. When the determination unit 154 determines that the acquired image S matches or resembles one of the one or more tracking images T, the storage control unit 155 performs tracking that matches or resembles the time information associated with the acquired image S. The image is stored in the storage unit 14 in association with the ID of the image T for use. For example, the storage control unit 155 stores the time when the screen data corresponding to the acquired image S is displayed in the storage unit 14 in association with the tracking image T.
出力部156は、記憶部14に記憶された基準画面データを出力する。出力部156は、例えば、トラッキング用画像TのIDと時刻情報とを関連付けて、画面遷移を解析するためのサーバに送信する。この際、出力部156は、携帯端末1BのユーザのユーザID又は端末IDを一緒に送信することが好ましい。   The output unit 156 outputs the reference screen data stored in the storage unit 14. For example, the output unit 156 associates the ID of the tracking image T with the time information, and transmits it to the server for analyzing the screen transition. At this time, the output unit 156 preferably transmits the user ID or terminal ID of the user of the portable terminal 1B together.
サーバにおいては、記憶部22が、トラッキング用画像TのIDに関連付けて、トラッキング用画像Tを記憶している。サーバは、第1の実施形態と同様に、時刻情報に基づいて、一以上のトラッキング用画像TのIDに対応する一以上のトラッキング用画像Tを並べることにより、携帯端末1Bにおける画面遷移を再現する。例えば、サーバは、時刻tから時刻t+aの間、あるトラッキング用画像Tに関連付けられたIDのログがあった場合、(ID,t,t+a)という形式で時系列情報を生成し、一以上のトラッキング用画像Tが、携帯端末1Bで表示された画像と同じタイミングで順次表示される動画として画面遷移パターンを再現する。   In the server, the storage unit 22 stores the tracking image T in association with the ID of the tracking image T. As in the first embodiment, the server reproduces the screen transition in the mobile terminal 1B by arranging one or more tracking images T corresponding to the IDs of the one or more tracking images T based on the time information. To do. For example, when there is an ID log associated with a certain tracking image T from time t to time t + a, the server generates time series information in the format of (ID, t, t + a), and The screen transition pattern is reproduced as a moving image in which the tracking image T is sequentially displayed at the same timing as the image displayed on the mobile terminal 1B.
なお、出力部156は、時刻情報に基づく順番に、トラッキング用画像TのIDをサーバに送信してもよく、時刻情報に関係ない順番に、トラッキング用画像TのIDをサーバに送信してもよい。また、出力部156は、表示制御部153を介して、時刻情報に基づく順番に、トラッキング用画像Tに対応する画面データを表示部13に表示させてもよい。   The output unit 156 may transmit the ID of the tracking image T to the server in the order based on the time information, or may transmit the ID of the tracking image T to the server in an order not related to the time information. Good. Further, the output unit 156 may cause the display unit 13 to display screen data corresponding to the tracking image T in the order based on the time information via the display control unit 153.
[第3の実施形態における効果]
以上説明したように、第2の実施形態における携帯端末1Bにおいては、制御部15が、第1のアプリケーションを実行して表示部13に画面データを表示している間に、第2のアプリケーションを実行することにより、表示部13に表示された画面データをキャプチャし、キャプチャした画面データの特徴を示す取得画像Sが、一以上のトラッキング用画像Tのいずれかと一致又は類似するか否かを判定する。そして、制御部15は、取得画像Sに関連付けられた時刻情報と、取得情報Sと一致又は類似するトラッキング用画像TのIDとを関連付けて、画面遷移を解析するサーバに送信する。
[Effect in the third embodiment]
As described above, in the mobile terminal 1 </ b> B according to the second embodiment, the control unit 15 executes the first application and displays the screen data on the display unit 13. By executing, the screen data displayed on the display unit 13 is captured, and it is determined whether or not the acquired image S indicating the characteristics of the captured screen data matches or resembles any one or more of the tracking images T To do. Then, the control unit 15 associates the time information associated with the acquired image S with the ID of the tracking image T that matches or is similar to the acquired information S, and transmits it to the server that analyzes the screen transition.
このようにすることで、携帯端末1Bにおいては、制御部15が、第1のアプリケーションを実行することによって表示部13に表示した画面遷移を特定するための情報を、第2のアプリケーションを実行することにより生成し、サーバに送信できる。したがって、携帯端末1Bによれば、携帯端末1Bの画面に画像を表示するためのアプリケーションに追加機能を実装することなく、携帯端末1B又はサーバにおいて画面の遷移状態を特定することが可能になるという効果を奏する。   In this manner, in the mobile terminal 1B, the control unit 15 executes the second application with information for specifying the screen transition displayed on the display unit 13 by executing the first application. Can be generated and sent to the server. Therefore, according to the mobile terminal 1B, it is possible to specify the transition state of the screen in the mobile terminal 1B or the server without implementing an additional function in an application for displaying an image on the screen of the mobile terminal 1B. There is an effect.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. In particular, the specific embodiments of the distribution / integration of the devices are not limited to those illustrated above, and all or a part thereof may be added in arbitrary units according to various additions or according to functional loads. It can be configured functionally or physically distributed and integrated.
1 携帯端末
2 画面遷移特定装置
11 操作部
12 通信部
13 表示部
14 記憶部
15 制御部
21 通信部
22 記憶部
23 制御部
151 取得部
152 情報生成部
153 表示制御部
154 判定部
155 記憶制御部
156 出力部
231 判定部
232 記憶制御部
233 出力部
DESCRIPTION OF SYMBOLS 1 Mobile terminal 2 Screen transition specific apparatus 11 Operation part 12 Communication part 13 Display part 14 Storage part 15 Control part 21 Communication part 22 Storage part 23 Control part 151 Acquisition part 152 Information generation part 153 Display control part 154 Determination part 155 Storage control part 156 Output unit 231 Determination unit 232 Storage control unit 233 Output unit

Claims (10)

  1. 画像を表示する表示部と、
    前記表示部の画面に表示された画面データを取得する取得部と、
    前記画面データの特徴を示す特徴情報を生成する情報生成部と、
    前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
    前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
    前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
    を有する画面遷移特定装置。
    A display for displaying an image;
    An acquisition unit for acquiring screen data displayed on the screen of the display unit;
    An information generating unit that generates characteristic information indicating characteristics of the screen data;
    A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
    A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
    When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
    A screen transition specifying device.
  2. 携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、
    前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
    前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
    前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
    を有する画面遷移特定装置。
    An acquisition unit for acquiring characteristic information indicating characteristics of screen data displayed on the screen of the mobile terminal;
    A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
    A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
    When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
    A screen transition specifying device.
  3. 前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有する、
    請求項1又は2に記載の画面遷移特定装置。
    An output unit that outputs screen data including reference screen data corresponding to the reference feature information that matches or is similar to the feature information in order based on the time information stored in the storage unit;
    The screen transition specifying device according to claim 1 or 2.
  4. 前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力する、
    請求項3に記載の画面遷移特定装置。
    The output unit outputs the similar screen data corresponding to the feature information similar to the reference screen data after outputting the reference screen data corresponding to the reference feature information matching or similar to the feature information.
    The screen transition specifying device according to claim 3.
  5. 前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定する、
    請求項1から4のいずれか1項に記載の画面遷移特定装置。
    The determination unit, when a part of the feature information and a part of any one of the one or more reference feature information match, the feature information matches or is similar to any one of the one or more reference feature information It is determined that
    The screen transition specifying device according to any one of claims 1 to 4.
  6. 前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
    請求項5に記載の画面遷移特定装置。
    The determination unit compares the feature information with the reference feature information including a transparent region formed of transparent pixels and a non-transparent region formed of pixels other than the transparent pixels, thereby obtaining the feature information. Determining whether it matches or resembles any of the one or more reference feature information;
    The screen transition specifying device according to claim 5.
  7. 前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
    請求項1又は2に記載の画面遷移特定装置。
    The determination unit includes the hash information generated by dividing the screen data into a plurality of divided regions and comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold value. Determines whether or not it matches or is similar to any of the one or more reference feature information.
    The screen transition specifying device according to claim 1 or 2.
  8. 携帯端末の表示部の画面に表示された画面データを取得するステップと、
    前記画面データの特徴を示す特徴情報を生成するステップと、
    前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、
    前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
    を有する画面遷移特定方法。
    Acquiring screen data displayed on the screen of the display unit of the mobile device;
    Generating feature information indicating features of the screen data;
    It is determined whether or not the feature information matches or is similar to one or more reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen. And steps to
    When the feature information is determined to match or similar to any one of the one or more reference feature information, the time information associated with the feature information is identified to identify the reference feature information that matches or is similar to the feature information Storing the information in the storage unit in association with the information;
    A screen transition specifying method.
  9. 携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、
    前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、
    前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
    を有する画面遷移特定方法。
    Obtaining feature information indicating features of screen data displayed on the screen of the display unit of the mobile terminal;
    Determining whether the feature information matches or resembles reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
    When the feature information is determined to match or similar to any one of the one or more reference feature information, the time information associated with the feature information is identified to identify the reference feature information that matches or is similar to the feature information Storing the information in the storage unit in association with the information;
    A screen transition specifying method.
  10. 画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、
    前記端末は、
    前記画面に表示された画面データを取得する取得部と、
    前記画面データの特徴を示す特徴情報を生成する情報生成部と、
    前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、
    を有し、
    前記画面遷移特定装置は、
    前記特徴情報を取得する取得部と、
    前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
    前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
    前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
    を有する画面遷移特定システム。
    A terminal having a screen for displaying screen data; and a screen transition specifying device for specifying a transition state of the screen data displayed on the terminal,
    The terminal
    An acquisition unit for acquiring screen data displayed on the screen;
    An information generating unit that generates characteristic information indicating characteristics of the screen data;
    A transmission unit that transmits the feature information to the screen transition identification device together with time information associated with the feature information;
    Have
    The screen transition specifying device is:
    An acquisition unit for acquiring the feature information;
    A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
    A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
    When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
    A screen transition specifying system.
JP2015221923A 2015-11-12 2015-11-12 Screen transition identification device, screen transition identification system, and screen transition identification method Active JP6482452B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221923A JP6482452B2 (en) 2015-11-12 2015-11-12 Screen transition identification device, screen transition identification system, and screen transition identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221923A JP6482452B2 (en) 2015-11-12 2015-11-12 Screen transition identification device, screen transition identification system, and screen transition identification method

Publications (2)

Publication Number Publication Date
JP2017091297A JP2017091297A (en) 2017-05-25
JP6482452B2 true JP6482452B2 (en) 2019-03-13

Family

ID=58770860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221923A Active JP6482452B2 (en) 2015-11-12 2015-11-12 Screen transition identification device, screen transition identification system, and screen transition identification method

Country Status (1)

Country Link
JP (1) JP6482452B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3770465B2 (en) * 2000-12-18 2006-04-26 日本ビクター株式会社 Image processing device
JP2002230647A (en) * 2001-02-06 2002-08-16 Nec Corp Commodity sales system using point
JP4604100B2 (en) * 2008-03-21 2010-12-22 シャープ株式会社 Image processing method, image processing apparatus, image forming apparatus, program, and storage medium
WO2013115204A1 (en) * 2012-01-30 2013-08-08 日本電気株式会社 Information processing system, information processing method, information processing device, and control method and control program therefor, and communication terminal, and control method and control program therefor
JP6178250B2 (en) * 2014-01-24 2017-08-09 東芝テック株式会社 Information processing apparatus and program

Also Published As

Publication number Publication date
JP2017091297A (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP5946973B2 (en) Television station logo identification method, apparatus, television, system, program, and recording medium
US7950589B2 (en) Program, information storage medium, two-dimensional code generation system, image generation system and printed material
CN102402382A (en) Information processing device and information processing method
CN102752294B (en) Method and system for synchronizing data of multiple terminals on basis of equipment capacity
CN107368550B (en) Information acquisition method, device, medium, electronic device, server and system
US9785852B2 (en) Method, TV set and system for recognizing TV station logo
CN102915230B (en) A kind of user interface creating method, device and electronic equipment
CN111368820A (en) Text labeling method and device and storage medium
CN105323141A (en) Information transmission method and system based on image recognition and mobile terminal
JP6482452B2 (en) Screen transition identification device, screen transition identification system, and screen transition identification method
KR20130134546A (en) Method for create thumbnail images of videos and an electronic device thereof
CN107203312B (en) Mobile terminal and picture rendering method and storage device thereof
CN111476780A (en) Image detection method and device, electronic equipment and storage medium
CN105991400B (en) Group searching method and device
CN103294788A (en) Universal background processing method and system for websites
CN108874347B (en) Positioning identifier control method and system
JP6574681B2 (en) Screen identification system, screen identification device, and screen identification method
CN111049735A (en) Group head portrait display method, device, equipment and storage medium
CN105607886A (en) Education cloud video data display processing system and method based on Internet of things
WO2015021908A1 (en) Method, apparatus and system for security verification
US9524553B2 (en) Image processing apparatus, image processing method, and recording medium
CN109753217B (en) Dynamic keyboard operation method and device, storage medium and electronic equipment
JP2020119001A (en) Information processing apparatus, information processing method, and program
JP6982194B2 (en) Video feature extraction method and equipment
CN111556337B (en) Media content implantation method, model training method and related device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190212

R150 Certificate of patent or registration of utility model

Ref document number: 6482452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150