JP7202571B2

JP7202571B2 - 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム

Info

Publication number: JP7202571B2
Application number: JP2019130016A
Authority: JP
Inventors: 豊明佃田
Original assignee: Japan Novel Corp
Current assignee: Japan Novel Corp
Priority date: 2019-07-12
Filing date: 2019-07-12
Publication date: 2023-01-12
Anticipated expiration: 2039-07-12
Also published as: CN114144287A; US20220281115A1; WO2021010069A1; JP2021015476A

Description

本発明は、ディスプレイに表示された画面上のボタン、アイコン等の操作対象要素が操作された際の画面遷移を検証するためのデータを生成する技術に関する。

従来、開発されたコンピュータシステムの画面遷移が設計どおりであるかを検証する方法として、例えば、画面上のボタン、アイコン等の操作対象要素の各々に対して人手でクリック、タップ等の操作を行い、遷移先の画面を逐次人手で記録することが行われていた。このような方法では、多大な人手による労力と手間がかかっていた。

画面遷移図を自動で生成する手法として、例えば特許文献１には、コンピュータシステムのプログラムをさらに解析用のプログラムで解析することにより、画面遷移図を生成するシステムが記載されている。

特開２００８－１４０４０８号公報

しかしながら、特許文献１に記載のシステムを用いたとしても、プログラム解析用のプログラムにバグがないことを保証することはできないため、当該解析用のプログラムの検証もさらに必要となる。結局、実際に人手を用いて確かめないと画面遷移を検証することができないという問題があった。

本発明に係る具体的態様は、人手をかけずに画面遷移を検証するための情報を得ることができる技術を提供することを目的の１つとする。

［１］本発明に係る一態様の画面遷移情報生成装置は、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための装置であって、（ｂ）前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する画面データ取得部と、（ｃ）前記画面データ取得部により取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する画面遷移ボタン抽出部と、（ｄ）前記画面遷移ボタン抽出部により抽出された前記ボタンの中から、操作対象とするボタンを選択する操作対象ボタン選択部と、（ｅ）前記操作対象ボタン選択部により選択されたボタンを操作した際の信号を前記対象装置に発生させるボタン操作部と、（ｆ）前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する画面遷移記録部と、（ｇ）前記画面遷移データを用いて画面遷移図を生成する画面遷移図生成部と、（ｈ）前記ディスプレイに現在表示されている前記画面が、以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する画面同一性判定部と、を有し、（ｉ）前記画面同一性判定部は、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、（ｊ）前記操作対象ボタン選択部は、前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、（ｋ）前記操作対象ボタン選択部は、前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、画面遷移情報生成装置である。
［２］本発明に係る一態様の画面遷移情報生成方法は、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための方法であって、（ｂ）制御装置が、前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、（ｃ）前記制御装置が、前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する第２ステップと、（ｄ）前記制御装置が、前記第２ステップにて抽出された前記ボタンの中から、操作対象とする前記ボタンを選択する第３ステップと、（ｅ）前記制御装置が、前記第３ステップにて選択された前記ボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、（ｆ）前記制御装置が、対象装置の前記ボタン操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、（ｇ）前記制御装置が、前記画面遷移データを用いて画面遷移図を生成する第６ステップと、（ｈ）おいて既に表示された前記画面と実質的に同一であるか否かを判定する第７ステップと、を含み、（ｉ）前記第７ステップは、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、（ｊ）前記第３ステップは、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、画面遷移情報生成方法である。

［３］本発明に係る一態様の画面遷移情報生成用プログラムは、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報をコンピュータシステムによって生成させるためのプログラムであって、（ｂ）前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、（ｃ）前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上のボタンを抽出する第２ステップと、（ｄ）前記第２ステップにて抽出された前記ボタンの中から、操作対象とするボタンを選択する第３ステップと、（ｅ）前記第３ステップにて選択されたボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、（ｆ）対象装置の前記ボタンの前記操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、（ｇ）前記画面遷移データを用いて画面遷移図を生成する第６ステップと、（ｈ）前記ディスプレイに現在表示されている前記画面が、以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する第７ステップと、をコンピュータシステムに実行させるものであって、（ｉ）前記第７ステップは、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、（ｊ）前記第３ステップは、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、画面遷移情報生成用プログラムである。
［４］本発明に係る一態様の画面遷移情報生成システムは、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するためのシステムであって、（ｂ）前記ディスプレイを撮影するカメラと、（ｃ）前記ディスプレイの画面上の指定位置を操作するロボットと、（ｄ）前記カメラ及び前記ロボットを接続された制御装置と、を含み、（ｅ）前記制御装置として上記した［１］に記載の画面遷移情報生成装置が用いられる、画面遷移情報生成システムである。

なお、本明細書では、ディスプレイ（表示手段）に表示される映像（画像）のことを「画面」と定義するとともに、この画面上に含まれるボタン、アイコン、文字列などの操作対象要素を総称して「ボタン」と定義するものとする。

上記構成によれば、ディスプレイに現在表示されている画面の画像データを解析して操作対象要素であるボタンを抽出し、その中から操作対象とするボタンを選択して操作するため、人手をかけずに画面遷移を検証することができる。

図１は、一実施形態の画面遷移情報生成システム１の全体構成を示す図である。図２は、制御装置を構成するためのコンピュータシステムの一例を示す図である。図３は、ロボット２０の模式図である。図４は、制御装置１０の機能構成を示すブロック図である。図５は、画面遷移記録部１５により記録される画面遷移データの構造の一例を示す図である。図６（Ａ）は、画面遷移図の一例を示す図である。図６（Ｂ）は、画面遷移図に含まれるボタンの一例を示す図である。図７は、画面遷移情報生成システム１が行う画面遷移検証処理の動作について説明するためのフローチャートである。図８は、図７に示すステップＳ１３における操作対象ボタンの選択処理の手順について説明するためのフローチャートである。

図１は、一実施形態の画面遷移情報生成システム１の全体構成を示す図である。画面遷移情報生成システム１は、画面遷移情報を生成する対象となるものである対象装置２のディスプレイに表示される各種画面の遷移状態を検証するためのデータを生成するものであり、制御装置（画面遷移情報生成装置）１０と、対象装置２のディスプレイに対してタップ等の操作を行うためのロボット２０と、対象装置２のディスプレイに表示される画面を撮影するためのカメラ３０を含んで構成されている。

ここで、本実施形態における対象装置２とは、例えばスマートフォン、タブレット端末、カーナビゲーション装置など、ディスプレイ上に併設されるタッチパネルを介して操作を行うこと可能であり、その操作に対応してディスプレイ上に各種画面が表示される装置をいう。例えば、スマートフォンであれば、タッチパネルを介して操作入力することで、予めインストールされているアプリケーションソフトウェア（いわゆるアプリ）を動作させて種々の情報処理（例えば、メール送受信）を実行させることが可能であり、その際にアプリケーションソフトウェアによってディスプレイ上に表示される画面が随時切り換えて表示される。また、例えばカーナビゲーション装置であれば、タッチパネルを介して操作入力することで、予め組み込まれたソフトウェアを動作させて経路探索などの情報処理を実行させることが可能であり、その際にアプリケーションソフトウェアによってディスプレイ上に表示される画面が随時切り換えて表示される。

制御装置１０は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ、大容量記憶装置、通信インタフェースなどを含むコンピュータシステムを用いて構成される。図２に、制御装置を構成するためのコンピュータシステムの一例を示す。図示のコンピュータシステムは、ＣＰＵ（中央演算ユニット）１０１、ＲＯＭ（読み出し専用メモリ）１０２、ＲＡＭ（一時記憶メモリ）１０３、ＨＤＤ（ハードディスクドライブ）１０４、外部ＩＦ（インタフェース）１０５、キーボード１０６、マウス１０７、ＬＣＤ（液晶表示装置）１０８を含んで構成されている。これらＣＰＵ１０１等の相互間はバスにより接続されている。ＣＰＵ１０１は、プログラムを実行することにより情報処理を行う。ＲＯＭ１０２は、ＣＰＵ１０１の動作に必要な基本制御プログラムなどを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の情報処理に必要なデータを一時記憶する。これらによって上記した制御装置１０が構成される。ＨＤＤ１０４は、データを記憶するための大容量記憶装置であり、上記した制御装置１０の各機能を実現するためのアプリケーションプログラムやデータなどを格納する。

ロボット２０は、制御装置１０からの操作指令を受けてアームを動作させ、対象装置２のディスプレイに表示された画面上のボタン、アイコン等の操作対象要素に対して操作を行うことができるものである。ここで、本実施形態では「操作」としてディスプレイ上を触れる動作であるタップを前提にして説明する。図３にロボット２０の模式図を示すように、本実施形態のロボット２０は、少なくとも３軸方向に自在に移動可能な押圧部２１を有して構成されており、この押圧部２１により対象装置２のディスプレイ２ａ上の任意箇所をタップすることができる。なお、このようなロボット２０は、産業用ロボット等として公知であり、例えば下記のＵＲＬによりアクセス可能なウェブサイトにて公開されているものを用いることができる。
https://www.jnovel.co.jp/service/qc/

カメラ３０は、対象装置２のディスプレイ２ａに表示された画面を撮影してその画像データを制御装置１０へ出力する。なお、このカメラ３０はロボット２０と一体に構成されていてもよい。

図４は、制御装置１０の機能構成を示すブロック図である。これらの機能は、制御装置１０のＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムを読み込み、それを実行することで実現される。図示のように、制御装置１０は、画面データ取得部１１、画面遷移ボタン抽出部１２、操作対象ボタン選択部１３、ボタン操作部１４、画面遷移記録部１５、画面遷移図生成部１６、画面同一性判定部１７を含んで構成されている。

画面データ取得部１１は、対象装置２のディスプレイ２ａに現在表示されている画面の画像データをカメラ３０から取得する。

画面遷移ボタン抽出部１２は、画面データ取得部１１により取得された画像データを公知の画像認識処理により解析して、画面上の表示要素であるボタン、アイコン、文字列等の操作対象要素を抽出する。ここで抽出される操作対象要素とは、それを操作された場合に画面遷移が発生すると予想される画像要素である。なお、上記のように本明細書では、ボタン、アイコン、文字列などの操作対象要素を総称して「ボタン」と定義する。

上記したボタンの抽出方法としては任意のルールを用いることができる。例えば、画面遷移ボタン抽出部１２は、円や矩形の枠で囲まれた領域、周囲の領域と色彩や模様が異なる領域等を、操作された場合に画面遷移が発生すると予想されるボタンが表示されている領域と認識し、当該領域の画像データ並びにその位置座標（例えば画像の中心点座標）を抽出する。

操作対象ボタン選択部１３は、画面遷移ボタン抽出部１２により抽出された１つ以上のボタンの中から、ロボット２０による操作の対象とするボタンを選択する。

ボタン操作部１４は、操作対象ボタン選択部１３により選択された、今回操作対象とするボタンをロボット２０により操作するための制御を行う。具体的には、ボタン操作部１４は、操作対象とするボタンの画面上の位置座標を含む操作指令をロボット２０に対して送信する。ロボット２０は、制御装置１０のボタン操作部１４からこの操作指令を受信すると、対象装置２のディスプレイ２ａに表示されている画面上の各ボタンのうち、操作指令に含まれる位置座標で表される位置に表示されているボタンをタップする。

画面遷移記録部１５は、ボタン操作部１４の操作による画面遷移の結果を表す画面遷移データを制御装置１０のＨＤＤ１０４に記録する。具体的には、画面遷移記録部１５は、例えば、遷移前後の画面の画像データ、画面から抽出したボタンの画像データ及び位置座標、操作対象として選択したボタンの画像データ及び位置座標などをＨＤＤ１０４に記録する。

図５は、画面遷移記録部１５により記録される画面遷移データの構造の一例を示す図である。例えば、フォルダＡは、画面Ａに関するデータが蓄積されたフォルダであり、当該フォルダ内には、画面Ａの画像データ、画面Ａから抽出されたボタンの画像データ及び位置座標、操作対象として選択されたボタンの画像データ及び位置座標等の関連付けを示す遷移情報データが記録されている。他のフォルダについても同様である。

また、フォルダＡには、フォルダＢ、Ｄ、Ｅがサブフォルダとして関連付けられており、これにより遷移ルートが表されている。この例では、画面Ａ上の所定のボタンが操作されることにより画面Ｂ、画面Ｄ、画面Ｅの各画面に遷移し、画面Ｂ上の所定のボタンが操作されることにより画面Ｃに遷移し、画面Ｅ上の所定のボタンが操作されることにより画面Ｆに遷移することが表されている。

画面遷移図生成部１６は、画面遷移記録部１５に記録された画面遷移データに基づいて、画面遷移図を生成する。生成された画面遷移図は、ＨＤＤ１０４に記録されるとともに、適宜、ＬＣＤ１０８に表示される。

画面同一性判定部１７は、画面遷移記録部１５に記録された画像データを比較することにより、対象装置２のディスプレイ２ａに現在表示されている画面と同一であるとみなされる画面が、今までたどってきた遷移ルートにおいて既に表示されているかを判定する。同一の画面か否かの判定方法としては、任意の公知の技術を用いることができる。例えば、画像データの画素同士を比較して、所定の割合（例えば、９０％）以上の画素が一致していた場合に、同一の画面と判定することができる。遷移前後の画面は、一部要素（例えば時刻表示）の変化などにより完全に一致しないことがあるので、本実施形態では、一定の基準以上に類似していれば両画面を同一とみなすようにしている。

図６（Ａ）は、画面遷移図の一例を示す図である。この画面遷移図は、ホーム画面である画面Ａからの遷移ルートにあるボタンの操作が全て完了すると、そこまでに蓄積されたデータを用いて生成される。この画面遷移図をＬＣＤ１０８に表示し、あるいは図示しないプリンタにてプリントアウトすることで、ユーザが全体的な画面遷移の内容を検証することができる。また、操作の途中で画面遷移図を表示し、操作がどこまで終了したか確認できるようにしてもよい。図６（Ｂ）は、画面遷移図に含まれるボタンの一例を示す図である。画面遷移図には、アプリケーションソフトウェアのアイコン４０ａ、何らかの機能を示す図形ボタン４０ｂ、同じく何らかの機能を示す記号ボタン４０ｃ、同じく何らかの機能を示す文字列４０ｄなど種々の操作対象要素が含まれている。上記のように本明細書ではこれらを総称して「ボタン」と称している。

図６（Ａ）に示す本実施形態の画面遷移図では、ある画面から別の画面へ遷移したことを示す際に、各画面を示す画像の相互間に遷移方向を示す矢印画像を配置して各画面の繋がりを示すとともに、遷移の契機となったボタンの画像を各画面の相互間に配置している。例えば、画面Ａと画面Ｂの各画像の間には、それらの間の遷移の契機となるボタンａ１の画像が示されている。このように、各画面の画像間に遷移方向を示す矢印画像とともにボタンの画像を示すことで、画面遷移の状態をより把握しやすくなる。

図７は、画面遷移情報生成システム１が行う画面遷移検証処理の動作について説明するためのフローチャートである。なお、各ステップの処理については、情報処理の結果に不整合を生じない限りにおいてそれらの順番を適宜変更してもよく、他の処理がさらに追加されてもよい。ここで、以下の処理を行うための準備として、予め、全ての画面に共通で表示されるホームボタンｈｍの位置座標が手動で設定されるとともに、このホームボタンｈｍが押された際の遷移先であるホーム画面として画面Ａが設定され、ＨＤＤ１０４に記録されているものとする。なお、ホーム画面に戻る操作については、例示する画像によるホームボタンｈｍのほか、ハードウェアボタンである場合や、特定の操作による場合なども考えられる。それらの場合にはハードウェアボタンの位置を予め設定し、あるいは特定の操作を予め設定しておけばよい。

制御装置１０の画面データ取得部１１は、対象装置２のディスプレイ２ａに現在表示されている画面の画像データを取得する（ステップＳ１１）。画面遷移ボタン抽出部１２は、画面データ取得部１１により取得された画像データを解析して、当該画面上のボタンの中から、操作された場合に画面遷移が発生すると予想される１つ以上のボタンを抽出する（ステップＳ１２）。

操作対象ボタン選択部１３は、画面遷移ボタン抽出部１２により抽出された各ボタンの中から、今回の操作対象とするボタンを選択し（ステップＳ１３）、当該ボタンの操作を指示する操作指令をロボット２０に送信する。ロボット２０は、制御装置１０から操作指令を受信すると、対象装置２のディスプレイ２ａに表示された画面上のボタンのうち、操作指令で指示されたボタンをタップする（ステップＳ１４）。

制御装置１０の画面データ取得部１１は遷移後の画面の画像データを対象装置２から取得する（ステップＳ１５）。画面遷移記録部１５は、画面遷移前後の画像データ、操作対象ボタンの画像データ及び位置座標等、画面遷移の結果を表す画面遷移データをＨＤＤ１０４に記録する（ステップＳ１６）。

画面データ取得部１１は、全画面の遷移の記録を完了したか否かを判定し（ステップＳ１７）、全画面の遷移の記録が完了していない場合には（ステップＳ１７のＮｏ）、ステップＳ１１に戻る。全画面の遷移の記録が完了した場合には（ステップＳ１７のＹｅｓ）は、制御装置１０は、一連の処理を完了する。具体的には、ステップＳ１７では、例えば、遷移後の画面がホーム画面である画面Ａであり、かつ遷移ルート上の全てのボタンが既に操作されており、画面Ａ上のボタンも全て既に操作されていた場合に、全画面の遷移の記録が完了したと判定できる。

図８は、図７に示すステップＳ１３における操作対象ボタンの選択処理の手順について説明するためのフローチャートである。なお、各ステップの処理については、情報処理の結果に不整合を生じない限りにおいてそれらの順番を適宜変更してもよく、他の処理がさらに追加されてもよい。

画面同一性判定部１７は、対象装置２のディスプレイ２ａに現在表示されている画面が今までたどってきた遷移ルートにおいて既に表示された画面（既表示画面）と同一であるか否かを判定する（ステップＳ１３１）。

現在の画面が既表示画面と同一であると判定された場合には（ステップＳ１３１のＹｅｓ）、操作対象ボタン選択部１３は、画面上の既操作ボタンから遷移する下位の遷移ルートの画面上に、未操作ボタンが存在するか否かを判定する（ステップＳ１３２）。

未操作ボタンが存在すると判定された場合には（ステップＳ１３２のＹｅｓ）、この未操作ボタンに対応する画面を再度表示させるために、既表示画面上の前回操作された既操作ボタンを今回の操作対象として再度選択する（ステップＳ１３３）。

一方、ステップＳ１３２において既操作ボタンの下位の遷移ルートの画面上に未操作のボタンが存在しないと判定された場合には（ステップＳ１３２のＮｏ）、現在表示されている画面上に未操作ボタンがあるか否かを判定し（ステップＳ１３４）、未操作ボタンが存在すると判定された場合には、（ステップＳ１３５のＹｅｓ）、操作対象ボタン選択部１３は、未操作ボタンのいずれか１つを今回の操作対象として選択する（ステップＳ１３５）。

一方、ステップＳ１３４において、未操作ボタンが存在しないと判定された場合には（ステップＳ１３４のＮｏ）、ホーム画面に戻る操作により、ホーム画面に戻る（ステップＳ１３６）。具体的には、上記した通り、予め登録されているホームボタンｈｍが操作され、ホーム画面である画面Ａへ戻るという処理がなされる。

次に、図６（Ａ）に示す画面遷移図を参照しながら、画面遷移を記録する動作の具体例について説明する。なお、主要な流れのみを説明し、フローチャートに沿った詳細な説明は省略する。前提として、画面Ａはホーム画面であり、図６（Ａ）に示すように、画面Ａ上のボタンａ１を操作すると画面Ｂに遷移し、ボタンａ２を操作すると画面Ｄに遷移し、ボタンａ３を操作すると画面Ｅに遷移するものとする。また、画面Ｂは、画面Ａから遷移する画面であり、画面Ｂ上のボタンｂ１を操作すると画面Ａに遷移し、ボタンｂ２を操作すると画面Ｃに遷移するものとする。画面Ｃは、画面Ｂから遷移する画面であり、画面Ｃ上のボタンｃ１を操作すると画面Ｂに遷移するものとする。画面Ｄは、画面Ａから遷移する画面であり、画面Ｄ上のボタンｄ１を操作すると画面Ａに遷移するものとする。画面Ｅは、画面Ａから遷移する画面であり、画面Ｅ上のボタンｅ１を操作すると画面Ｆに遷移するものとする。画面Ｆは、画面Ｅから遷移する画面であり、画面Ｆ上のボタンｆ１を操作すると画面Ａに遷移するものとする。

まず、初期設定として、対象装置２のディスプレイ２ａにホーム画面である画面Ａを表示させる。画面データ取得部１１は、対象装置２のディスプレイ２ａに現在表示されている画面Ａの画像データを取得する。画面遷移ボタン抽出部１２は、画面Ａの画像データを解析し、操作された場合に画面遷移が発生すると予想されるボタン（以下「操作対象候補となるボタン」という。）としてボタンａ１、ａ２、ａ３の位置座標および画像を抽出する。この時点ではボタンａ１はまだ操作されていないため、操作対象ボタン選択部１３はボタンａ１を操作対象ボタンとして選択し、ボタン操作部１４はボタンａ１の位置座標を含む操作指令をロボット２０に送信する。これにより、ロボット２０は、対象装置２に表示された画面Ａ上のボタンａ１のタップを行う。

ボタンａ１のタップにより画面Ａから画面Ｂに遷移する。画面Ｂに遷移したため、画面遷移ボタン抽出部１２は画面Ｂを解析し、操作対象候補となるボタンとしてボタンｂ１、ｂ２の位置座標および画像を抽出する。ボタンｂ１はまだ操作されていないため、操作対象ボタン選択部１３はボタンｂ１を操作対象ボタンとして選択し、ロボット２０は画面Ｂ上のボタンｂ１をタップする。

ボタンｂ１のタップにより画面Ｂから画面Ａに遷移する。画面Ａに遷移したため、画面遷移ボタン抽出部１２は画面Ａの画像データを解析し、操作対象候補ボタンとしてボタンａ１、ａ２、ａ３の位置座標および画像を抽出する。

また、画面同一性判定部１７は、画面遷移記録部１５により記録された画面遷移データを参照し、対象装置２のディスプレイ２ａに現在表示されている画面Ａは、今までたどってきた遷移ルートの画面Ａと同一画面であると判断する。

この場合、遷移ルート上の画面Ｂのボタンｂ１以外のボタンｂ２はまだ操作されていないため、操作対象ボタン選択部１３は、画面Ｂを再度表示させるために、ボタンａ１を操作対象ボタンとして再度選択する。ロボット２０は、画面Ａ上のボタンａ１をタップする。

ボタンａ１のタップにより画面Ａから画面Ｂに遷移したため、画面遷移ボタン抽出部１２は画面Ｂの画像データを解析し、操作対象候補となるボタンとしてボタンｂ１、ｂ２の位置座標および画像を抽出する。この時点では、ボタンｂ２はまだ操作されていないため、ボタンｂ２が操作対象座標と選択され、ロボット２０により画面Ｂ上のボタンｂ２がタップされる。

ボタンｂ２のタップにより画面Ｂから画面Ｃに遷移する。画面Ｃに遷移したため、画面遷移ボタン抽出部１２は画面Ｃの画像データを解析し、操作対象候補となるボタンとしてボタンｃ１の位置座標および画像を抽出する。この時点では、ボタンｃ１はまだ操作されていないため、ボタンｃ１が操作対象ボタンとして選択され、ロボット２０により画面Ｃ上のボタンｃ１がタップされる。

これにより、画面Ｂに遷移する。画面Ｂに遷移したため、画面遷移ボタン抽出部１２は、当該画面Ｂの画像データを解析し、操作対象候補となるボタンとしてボタンｂ１、ｂ２の位置座標および画像を抽出する。

ここで、画面同一性判定部１７は、対象装置２のディスプレイに現在表示されている画面Ｂが今までたどってきた遷移ルートにおいて既に表示された画面Ｂと同一画面と判断する。また、画面Ｂ上のボタンｂ１、ｂ２もその先の遷移ルート上の画面Ｃ上のボタンｃ１も全て操作されているため、ホーム画面に戻る操作（ホームボタンｈｍの操作）により、ホーム画面である画面Ａに戻る。

これにより、画面Ａに遷移したため、画面遷移ボタン抽出部１２は画面Ａの画像データを解析し、操作対象候補ボタンとしてボタンａ１、ａ２、ａ３の位置座標および画像を抽出する。この時点では、ボタンａ２はまだ操作されていないため、ボタンａ２が操作対象ボタンとして選択され、ロボット２０により画面Ａ上のボタンａ２がタップされる。

これにより、画面Ｄに遷移したため、画面遷移ボタン抽出部１２は画面Ｄの画像データを解析し、操作対象候補ボタンとしてボタンｄ１の位置座標および画像を抽出する。この時点では、ボタンｄ１はまだ操作されていないため、操作対象ボタン選択部１３は、ボタンｄ１を操作対象ボタンと選択する。ロボット２０は、画面Ｄ上のボタンｄ１をタップする。

これにより、画面Ａに遷移したため、画面遷移ボタン抽出部１２は、画面Ａを解析し、操作対象候補ボタンとしてボタンａ１、ａ２、ａ３の位置座標および画像を抽出する。

また、画面同一性判定部１７は、この画面Ａが今までのたどってきた遷移ルート上で既に表示された画面Ａと同一画面と判断する。また、既に操作対象となったボタンａ１、ａ２については、遷移ルート上のボタンをすべて操作しているため、操作対象ボタン選択部１３は、ボタンａ３を今回の操作対象ボタンとして選択する。ロボット２０は、画面Ａ上のボタンａ３をタップする。

これにより、画面Ｅに遷移したため、画面遷移ボタン抽出部１２は、画面Ｅを解析し、操作対象候補ボタンとしてボタンｅ１の位置座標および画像を抽出する。この時点では、ボタンｅ１はまだ操作されていないため、操作対象ボタン選択部１３は、ボタンｅ１を操作対象ボタンとして選択する。ロボット２０は、画面Ｅ上のボタンｅ１をタップする。

これにより、画面Ｆに遷移したため、画面遷移ボタン抽出部１２は、画面Ｆを解析し、操作対象候補ボタンとしてボタンｆ１の位置座標および画像を抽出する。この時点では、ボタンｆ１はまだ操作されていないため、操作対象ボタン選択部１３は、ボタンｆ１を操作対象ボタンとして選択する。ロボット２０は、画面Ｆ上のボタンｆ１をタップする。

これにより、画面Ａに遷移したため、画面遷移ボタン抽出部１２は、画面Ａを解析し、操作対象候補ボタンとして、ボタンａ１、ａ２、ａ３の位置座標および画像を抽出する。

また、画面同一性判定部１７は、この画面Ａが今までたどってきた遷移ルートにおいて既に表示されている画面Ａと同一画面と判断する。遷移ルート上のボタンがすべてタップされており、かつ、画面Ａ上のボタンがすべてタップされていることから、全遷移の記録が完了する。

処理が終了した時点で、画面遷移図生成部１６は、画面遷移記録部１５によりＨＤＤ１０４に記録されたデータを用いて、図６（Ａ）に示すような画面遷移図を生成し、この画面遷移図のデータをＨＤＤ１０４に記録するとともに、ＬＣＤ１０８に表示する。

以上説明したように、画面遷移情報生成システム１は対象装置２のディスプレイに現在表示されている画面の画像データを解析して操作対象候補ボタンを抽出し、その中から操作対象ボタンを選択してロボット２０に操作指令を送信し、ロボット２０が画面上の当該ボタンを操作するため、人手で操作する必要がなく手間や労力を削減することができる。また、操作シナリオを事前に作成する必要がないため、操作シナリオを作成する手間や労力を削減することができる。また、画面遷移結果を表すデータを蓄積し、当該データに基づいて画面遷移図を生成し、表示あるいはプリントアウトすることができるため、画面遷移の内容を容易に検証することができる。

なお、上述した実施形態は一例に過ぎず、本発明の要旨の範囲において各種変形が可能である。上述した実施形態で説明した画面遷移情報生成システム１の装置構成やデータ構成は一例に過ぎない。また、画面遷移の結果を表す画面遷移データは上記したようなフォルダ構造に限定されず、例えば、単に時系列的にデータを蓄積する等、種々のデータ構造が考えられる。

また、上記した実施形態では対象装置２の画面の画像データをカメラ３０によって撮影して制御装置１０へ取り込んでいたが、制御装置１０と対象装置２を信号ケーブル（ないし無線通信手段）によって相互に接続し、ディスプレイ２ａの画面をキャプチャして得られる画像データを直接的に制御装置１０によって取り込むように制御装置１０の画面データ取得部１１を構成してもよい。

また、上記した実施形態では対象装置２のディスプレイ２ａへの操作をロボット２０により行っていたが、制御装置１０と対象装置２を信号ケーブル（ないし無線通信手段）によって相互に接続し、ディスプレイ２ａへの操作に応じた信号を対象装置２に発生させるようにしてもよい。この場合には、制御装置１０から対象装置２に対して直接的（内部的）に信号を送信し、ディスプレイ２ａのボタンへの操作に応じた信号を発生させるように制御部１０のボタン操作部１４を構成すればよい。

１：画面遷移情報生成システム、２：対象装置、２ａ：ディスプレイ、１０：制御装置、１１：画面データ取得部、１２：画面遷移ボタン抽出部、１３：操作対象ボタン選択部、１４：ボタン操作部、１５：画面遷移記録部、１６：画面遷移図生成部、１７：画面同一性判定部、２０：ロボット、３０：カメラ

Claims

対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための装置であって、
前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する画面データ取得部と、
前記画面データ取得部により取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する画面遷移ボタン抽出部と、
前記画面遷移ボタン抽出部により抽出された前記ボタンの中から、操作対象とするボタンを選択する操作対象ボタン選択部と、
前記操作対象ボタン選択部により選択されたボタンを操作した際の信号を前記対象装置に発生させるボタン操作部と、
前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する画面遷移記録部と、
前記画面遷移データを用いて画面遷移図を生成する画面遷移図生成部と、
前記ディスプレイに現在表示されている前記画面が、以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する画面同一性判定部と、
を有し、
前記画面同一性判定部は、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、
前記操作対象ボタン選択部は、前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、
前記操作対象ボタン選択部は、前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、
画面遷移情報生成装置。
前記画面データ取得部は、遷移後の前記画面が予め設定されたホーム画面であり、かつ遷移ルート上の全ての前記ボタン並びに前記ホーム画面上の前記ボタンを操作した際の信号がボタン操作部により発生させられていた場合に、前記画面の画像データの取得を終了する、
請求項１に記載の画面遷移情報生成装置。
前記ボタンは、アイコン、図形ボタン、記号ボタン及び文字列のうち少なくとも１つを含む、
請求項１に記載の画面遷移情報生成装置。
前記画面遷移ボタン抽出部は、前記画面の画像データから前記ボタンの画像データを生成し、前記画面遷移記録部は、当該生成された前記ボタンの画像データを前記ボタンに関わるデータとして記録しており、
前記画面遷移図生成部は、画面遷移の前後の前記画面の画像データの間に当該画面遷移に係る前記ボタンの画像データを配置して前記画面遷移図を生成する、
請求項１～３の何れか１項に記載の画面遷移情報生成装置。
前記画面遷移図生成部は、画面遷移の前後の前記画面の画像データの間に当該画面遷移の方向を示す矢印画像を配置して前記画面遷移図を生成する、
請求項４に記載の画面遷移情報生成装置。
前記ボタン操作部は、前記ディスプレイの画面上の指定位置を操作するロボットを制御することにより、前記操作対象ボタン選択部により選択されたボタンを操作した際の信号
を前記対象装置に発生させるものである、
請求項１～５の何れか１項に記載の画面遷移情報生成装置。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための方法であって、
制御装置が、前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、
前記制御装置が、前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する第２ステップと、
前記制御装置が、前記第２ステップにて抽出された前記ボタンの中から、操作対象とする前記ボタンを選択する第３ステップと、
前記制御装置が、前記第３ステップにて選択された前記ボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、
前記制御装置が、前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、
前記制御装置が、前記画面遷移データを用いて画面遷移図を生成する第６ステップと、
前記制御装置が、前記ディスプレイに現在表示されている前記画面が以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する第７ステップと、
を含み、
前記第７ステップは、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、
前記第３ステップは、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、
画面遷移情報生成方法。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報をコンピュータシステムによって生成させるためのプログラムであって、
前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、
前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上のボタンを抽出する第２ステップと、
前記第２ステップにて抽出された前記ボタンの中から、操作対象とするボタンを選択する第３ステップと、
前記第３ステップにて選択されたボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、
前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、
前記画面遷移データを用いて画面遷移図を生成する第６ステップと、
前記ディスプレイに現在表示されている前記画面が、以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する第７ステップと、
をコンピュータシステムに実行させるものであって、
前記第７ステップは、前記ディスプレイに現在表示されている前記画面と以前の画面遷移において既に表示された前記画面とが完全に一致しない場合であっても一定の基準以上に類似していれば当該各画面が同一であると判定するものであり、
前記第３ステップは、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択するものであり、かつ、前記第７ステップにより、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、
画面遷移情報生成用プログラム。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するためのシステムであって、
前記ディスプレイを撮影するカメラと、
前記ディスプレイの画面上の指定位置を操作するロボットと、
前記カメラ及び前記ロボットを接続された制御装置と、
を含み、
前記制御装置として請求項６に記載の画面遷移情報生成装置が用いられる、
画面遷移情報生成システム。