JP6357843B2

JP6357843B2 - アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム

Info

Publication number: JP6357843B2
Application number: JP2014081347A
Authority: JP
Inventors: 之治浅野
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2014-04-10
Filing date: 2014-04-10
Publication date: 2018-07-18
Anticipated expiration: 2034-04-10
Also published as: JP2015203880A

Description

本発明は、タッチパネル式の情報端末装置上で動作するアプリケーションを検査するアプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラムに関する。

近年、タッチパネル方式で入力を行う（以下、「タッチパネル方式」と記す）の情報端末装置用のアプリケーションが多数提供されている。タッチパネル式の情報端末装置の多くは携帯型であるため、本明細書では、このような情報端末装置を以降「携帯端末装置」と記す。
携帯端末装置のアプリケーションを製品として出荷するに際して、アプリケーションの製造者は、アプリケーションが携帯端末装置上で正常に動作することを確認するための検査を実行している。検査の現場においては、携帯端末装置の操作から動作確認までの工程を自動で実行するシステムが求められている。
アプリケーションの動作を自動的に検査する公知の検査装置としては、例えば、特許文献１に記載された携帯端末装置のシミュレーションシステムがある。特許文献１に記載のシミュレーションシステムは、コンピュータと携帯端末装置とを連携させ、コンピュータ上で動作するプログラムの指示によって携帯端末装置のディスプレイ画面にテスト用の画像を表示させている。

特開２００８−２８３２８７号公報

ところで、近年、携帯端末装置の種類は増々多様化する傾向にあり、アプリケーションも様々な仕様（解像度等）の携帯端末装置のディスプレイ画面に対応することが必要になっている。
しかしながら、上記特許文献１には、検査用の画像を携帯端末装置のディスプレイ画面に表示させる際、表示すべき画像を携帯端末装置の仕様に応じて調整することについては一切記載されていない。このため、上記した特許文献１に記載のシミュレーションシステムを使って様々な仕様のディスプレイ画面に対応する場合には、コンピュータが携帯端末装置に検査の手順を指示するためのプログラムをディスプレイ画面の仕様毎に作成することが必要になる。

さらに、携帯端末装置のうち、特にスマートフォンにおいては、ディスプレイ画面内の一部にユーザインターフェースとして機能する操作部が表示される。スマートフォンの操作部を除く領域（実質的な画像表示領域）上に適正な画像を表示させるため、検査用のプログラムには、ディスプレイ画面に表示される操作部の位置や領域をも考慮することが要求される。
本発明は、上記した点に鑑みてなされたものであり、形状やサイズ、さらには操作部の表示範囲が異なる様々なディスプレイ画面に対応可能なアプリケーション検査システム、アプリケーション検査装置、アプリケーション検査プログラムを提供することを目的とする。

上記課題を解決するため、本発明のアプリケーション検査システムの一態様は、表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置と、予め設定されている基準表示画面上の位置を前記コンテンツ領域上の位置に変換する位置変換部と、を有するアプリケーション検査システムであって、前記情報端末装置は、前記コンテンツ領域の範囲を特定する複数のマーカー画像を前記コンテンツ領域に表示するマーカー画像表示部を備え、前記位置変換部は、複数の前記マーカー画像の前記コンテンツ領域上の位置を表す位置情報を取得するマーカー位置取得部と、前記マーカー位置取得部によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換部と、前記座標変換部によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示部と、を有することを特徴とする。
また、本発明のアプリケーション検査システムの一態様は、上記発明において、前記情報端末装置は、前記マーカー位置取得部に前記マーカー画像の位置情報を出力するマーカー位置出力部を有することを特徴とする。

本発明のアプリケーション検査装置の一態様は、表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置におけるアプリケーションの動作を検査するアプリケーション検査装置であって、前記コンテンツ領域に表示され、前記コンテンツ領域の範囲を特定する複数のマーカー画像の表示位置を表す位置情報を取得するマーカー位置取得部と、前記マーカー位置取得部によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換部と、前記座標変換部によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示部と、を有することを特徴とする。

また、本発明のアプリケーション検査装置の一態様は、上記発明において、前記マーカー位置取得部は、前記ディスプレイ画面の前記マーカー画像が表示されている範囲をキャプチャーする画像キャプチャー部を有し、当該画像キャプチャー部によってキャプチャーされた画像から前記マーカー画像の位置情報を取得することを特徴とする。
また、本発明のアプリケーション検査装置の一態様は、上記発明において、前記座標変換部は、複数の前記マーカー画像の位置情報から前記コンテンツ領域の第１方向の長さと第２方向の長さとを取得する長さ取得部と、前記長さ取得部によって取得された前記第１方向の長さ及び前記第２方向の長さから前記基準表示画面のサイズと前記コンテンツ領域のサイズとの比率を算出する比率算出部と、前記比率算出部によって算出された比率により、前記基準表示画面上において操作された点の座標を前記コンテンツ領域上の点の座標に変換することを特徴とする。

本発明のアプリケーション検査プログラムの一態様は、表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置におけるアプリケーションの動作を検査するアプリケーション検査プログラムであって、前記コンテンツ領域に表示され、前記コンテンツ領域の範囲を特定する複数のマーカー画像の表示位置を表す位置情報を取得するマーカー位置取得機能と、前記マーカー位置取得機能によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換機能と、前記座標変換機能によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示機能と、をコンピュータに実現させることを特徴とする。
本発明のアプリケーション検査プログラムの一態様は、表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を有するディスプレイ画面に、前記コンテンツ領域の範囲を特定する複数のマーカー画像を表示するマーカー画像表示機能を、コンピュータに実現させることを特徴とする。

本発明によれば、情報端末装置のコンテンツ領域にマーカー画像を表示させ、表示されたマーカー画像からアプリケーション検査装置がコンテンツ領域の範囲を特定することができる。このため、情報端末装置の仕様によらずコンテンツ領域の範囲を特定し、基準表示画面上で定められた座標をコンテンツ領域上の座標に変換することができる。
したがって、本発明は、１つの基準表示画面に関するプログラムにより、形状、サイズ及び解像度、さらには操作部の表示範囲が異なる様々なディスプレイ画面に対応可能なアプリケーション検査システム、アプリケーション検査装置、アプリケーション検査プログラムを提供することができる。

本発明の一実施形態のアプリケーション検査システムの概要を説明するための図である。図１に示したＰＣが備える位置変換部を説明するための機能ブロック図である。図１に示した携帯端末装置のステータスバー、タイトルバー、ナビゲーションバーを説明するための図である。携帯端末装置上で行われる自動的なアプリケーションの検査を説明するための図である。サイズや非コンテンツ領域の状態が異なる携帯端末装置を説明するための図である。本発明の一実施形態のマーカー画像を４つ設ける例を説明するための図である。本発明の一実施形態のアプリケーション検査プログラムを説明するためのタイミングチャートである。ビューサイズが同一で解像度が異なる携帯端末装置を示した図である。本実施形態の比較例として挙げるアプリケーション検査プログラムを説明するためのタイミングチャートである。本実施形態の比較例として挙げる他のアプリケーション検査プログラムを説明するための他のタイミングチャートである。

以下、本発明の一実施形態のアプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラムを説明する。
［アプリケーション検査システム、アプリケーション検査装置］
図１は、本発明の一実施形態のアプリケーション検査システムを説明するための図である。本実施形態のアプリケーション検査システム３は、検査に使用される携帯端末装置１と、アプリケーション検査装置とを含んでいる。本実施形態は、携帯端末装置１としてスマートフォンを利用し、アプリケーション検査装置を汎用的なパーソナルコンピュータ（以下、「ＰＣ」と記す）２とした構成を例示する。ＰＣ２には、本実施形態のアプリケーション検査プログラムがインストールされていて、ＰＣ２上で動作している。

携帯端末装置１は、ディスプレイ画面１０を有している。ディスプレイ画面１０は、コンテンツに係る画像が表示されるコンテンツ領域１０２と、コンテンツ領域１０２を除く非コンテンツ領域と、を有している。図１に示した携帯端末装置１では、ステータスバー１０１ａ、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃが非コンテンツ領域となる。コンテンツ領域１０２には、コンテンツ領域１０２を特定するマーカー画像１０３ａ、１０３ｃが表示されている。

コンテンツ領域１０２の表示対象となるコンテンツとは、インターネットを介して携帯端末装置１に送信されてくる文字列、音、動画等、あるいは携帯端末装置１にインストールされているプログラムによって表示される文字列、音、動画等を指す。
マーカー画像１０３ａ、１０３ｃは、アプリケーションの検査時にだけ表示されるものであってもよいし、コンテンツ領域１０２に常に表示されるものであってもよい。マーカー画像１０３ａ、１０３ｃを常に表示する場合、マーカー画像１０３ａ、１０３ｃに所謂電子透かしを利用して表示するようにしてもよい。電子透かしは、肉眼では認識困難であるため、マーカー画像１０３ａ、１０３ｃに電子透かしを適用することにより、本実施形態は、マーカー画像１０３ａ、１０３ｃをコンテンツ領域１０２に表示したことによるコンテンツの視認性低下を防ぐことができる。

図２は、携帯端末装置１及びＰＣ２の本実施形態に係る機能を説明するための機能ブロック図である。携帯端末装置１は、コンテンツ領域１０２を特定するマーカー画像１０３ａ、１０３ｃをコンテンツ領域１０２に表示するマーカー画像表示部１１１を備えている。マーカー画像表示部１１１は、携帯端末装置１において、予めインストールされているＵＩ（user interface）アプリケーションのプログラムである。

また、ＰＣ２は、位置変換部２０を備えている。位置変換部２０は、マーカー画像１０３ａ、１０３ｃの位置を表す情報（以下、「位置情報」と記す）を取得するマーカー位置取得部を備えている。位置変換部２０は、取得されたマーカー画像１０３ａ、１０３ｃの位置情報に基づいて、「予め設定されているコンテンツ領域」上の位置をディスプレイ画面１０のコンテンツ領域１０２上の位置に変換する。また、ＰＣ２は、変換されたコンテンツ領域１０２上の位置において操作を実行するように携帯端末装置１に指示するタップ指示部２０５と、アプリケーション検査のために携帯端末装置１を操作する操作手順が記録されたテストシナリオ２０６と、を備えている。

本実施形態では、マーカー位置取得部を、ディスプレイ画面１０のマーカー画像が表示されている範囲をキャプチャーする画像キャプチャー部２０１として構成する。画像キャプチャー部２０１は、キャプチャーされた画像からマーカー画像１０３ａ、１０３ｃのコンテンツ領域１０２上の位置情報を取得する。また、位置変換部２０は、マーカー画像１０３ａ、１０３ｃの位置情報からコンテンツ領域１０２の第１方向（本実施形態ではｘ方向とする）の長さと第２方向（本実施形態ではｙ方向とする）の長さとを取得する長さ取得部２０２と、コンテンツ領域１０２のｘ方向の長さとｙ方向の長さとから、予め設定されている基準となるコンテンツ領域のｘ方向の長さ及びｙ方向の長さとの比率を算出する比率算出部２０３と、比率算出部２０３によって算出された比率により、基準となるコンテンツ領域上において操作された点の位置をコンテンツ領域１０２上の点の位置に変換する座標変換部２０４と、を有している。

なお、本実施形態では、図３に示したコンテンツ領域１０２上の点の位置を示す情報をｘ座標とｙ座標とを使って定めている。本実施形態では、コンテンツ領域１０２上の点ｐのｘ座標を、コンテンツ領域１０２において定められた原点から点ｐまでの距離のｘ成分で示す。また、コンテンツ領域１０２上の点ｐのｙ座標を、原点から点ｐまでの距離のｙ成分で示す。

上記構成において、テストシナリオ２０６には、コンテンツ領域１０２上で行われるタップ操作毎に、操作の開始座標や終了座標、操作速度、押下間隔が複数の操作手順にしたがって記録されている。テストシナリオ２０６に記録されている座標は、上記した「予め設定されているコンテンツ領域」上の座標である。本実施形態では、「予め設定されているコンテンツ領域」を、以降「基準コンテンツ領域」と記す。

上記したように、テストシナリオ２０６に記録されている開始座標や終了座標は、基準コンテンツ領域上の座標であり、コンテンツ領域１０２上の座標と相違する。座標変換部２０４は、テストシナリオ２０６から操作に係る情報を順に読み出し、操作の開始座標や終了座標をコンテンツ領域１０２上の座標に変換して操作速度等の他の情報と共にタップ指示部２０５に送る。タップ指示部２０５は、変換後の座標を操作速度等の情報と共に携帯端末装置１に送信する。このような本実施形態は、携帯端末装置１のコンテンツ領域毎にテストシナリオを用意する必要がなく、１つのテストシナリオ２０６を使って様々なコンテンツ領域を有する携帯端末装置上でアプリケーションの動作を検査することができる。

なお、本実施形態は、画像キャプチャー部２０１が携帯端末装置１のマーカー画像をキャプチャーする構成に限定するものではない。本実施形態は、例えば、図１に示したように、マーカー画像１０３ａ、１０３ｃを表示するＵＩアプリケーションが、コンテンツ領域１０２におけるマーカー画像１０３ａ、１０３ｃの位置情報をＰＣ２に出力するマーカー位置出力部１１２を備えるものであってもよい。

図３は、ステータスバー１０１ａ、タイトルバー１０１ｂ、ナビゲーションバー１０１ｃを説明するための図である。ステータスバー１０１ａは、端末の状態や通知情報を表示する非コンテンツ領域である。タイトルバー１０１ｂは、ウインドウのタイトルが表示される非コンテンツ領域である。ナビゲーションバー１０１ｃは、携帯端末装置１を操作する情報を入力するための非コンテンツ領域である。マーカー画像１０３ａ、１０３ｃを表示するプログラムは、非コンテンツ領域（タイトルバー１０１ｂ）とコンテンツ領域１０２との境界を検出し、マーカー画像１０３ａ、１０３ｃの上辺が境界と接するようにマーカー画像１０３ａ、１０３ｃを表示する。

本実施形態では、携帯端末装置１全体の図中に示したｙ方向の長さをＨ１、Ｈ１からナビゲーションバー１０１ｃのｙ方向の長さを差し引いた長さをＨ２、Ｈ２からステータスバー１０１ａ及びナビゲーションバー１０１ｃのｙ方向の長さを差し引いた長さをＨ３とする。なお、ディスプレイ画面１０のｘ方向の長さＨ４とすると、Ｈ１×Ｈ４を端末サイズ、Ｈ２×Ｈ４をディスプレイサイズ、Ｈ３×Ｈ４をビューサイズとする。

次に、上記したアプリケーション検査システムの動作を説明する。
図４（ａ）、（ｂ）は、アプリケーションの自動的な検査を説明するための図である。アプリケーションの検査では、ＰＣ２が、テストシナリオに従って操作を指示する信号を携帯端末装置１に出力し、携帯端末装置１を手動で操作した場合と同様に動作させて行われる。テストシナリオ２０６に例えば図４（ａ）中に示した「カード登録」上の座標をタップする指示が書き込まれている場合、座標がタップされたことを示す信号が携帯端末装置１に出力される。携帯端末装置１は、指定された座標がタップされたことを示す信号を入力し、図４（ｂ）に示す画像をコンテンツ領域１０２に表示する。
本実施形態では、表示された画像が予想された画像と一致するか否かを判定し、一致した場合にはアプリケーションが正常に動作したと判断する。また、表示された画像が予想された画像と一致しない場合には、アプリケーションが正常に動作していないと判断する。

ところで、公知のアプリケーション検査装置には、コンテンツ領域１０２上の画素数を基準にして座標を決定しているものがある。画素数を基準に座標を決定するアプリケーション検査装置は、コンテンツ領域１０２の解像度が異なると、座標も異なることになる。また、携帯端末装置のディスプレイ画面において、ステータスバー１０１ａ、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃの状態は、携帯端末装置１のデザイン、あるいは携帯端末装置１を動作させるＯＳ（Operating System）等によって相違する。ステータスバー１０１ａ、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃの状態が異なると、ＰＣ２から送信された座標は、携帯端末装置１のコンテンツ領域１０２上の座標と相違する。

図５（ａ）、（ｂ）、（ｃ）は、解像度や非コンテンツ領域の範囲が異なる携帯端末装置を説明するための図である。図５（ａ）は、基準コンテンツ領域となるコンテンツ領域１０２を有する携帯端末装置１ａを示している。図５（ｂ）は、コンテンツ領域１０２ａとは解像度が異なるコンテンツ領域１０２ｄを有する携帯端末装置１ｄを示した図である。図５（ｃ）は、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃがないコンテンツ領域１０２ｅを示した図である。図５（ａ）では、コンテンツ領域１０２ａの４つの頂点を各々点ａ１、点ｂ１、点ｃ１、点ｄ１とする。また、図５（ｂ）では、コンテンツ領域１０２ｄの４つの頂点を各々点ａ２、点ｂ２、点ｃ２、点ｄ２とする。図５（ｃ）では、コンテンツ領域１０２ｅの４つの頂点を各々点ａ３、点ｂ３、点ｃ３、点ｄ３とする。

本実施形態では、図５（ａ）に示したコンテンツ領域１０２ａに表示される画像が、コンテンツ領域１０２ａとコンテンツ領域１０２ｄとのｘ方向の長さ及びｙ方向の長さの比率（以下、単に「比率」と記す）に応じて変倍されてコンテンツ領域１０２ｄに表示される。このとき、図５（ａ）に示したコンテンツ領域１０２上の点ｐの座標は、コンテンツ領域１０２ｄ上の点ｑの座標に変換される。

比率を求めるため、図１に示したＰＣ２は、画像キャプチャー部２０１によってコンテンツ領域１０２ｄ上のマーカー画像１０３ａ、１０３ｃをキャプチャーする。そして、長さ取得部２０２が、マーカー画像１０３ａ、１０３ｃの予め定められた点（例えば矩形のマーカー画像の任意の頂角の点）の座標を位置情報として求める。そして、位置情報から、図５（ｂ）に示した点ａ２、点ｃ２の座標を算出する。点ａ２、点ｃ２の座標の算出は、例えば、位置情報が示す座標からマーカー画像１０３ａ、１０３ｃの頂角の点と点ａ２、点ｃ２とのズレ量を予め記憶しておき、マーカー画像１０３ａ、１０３ｃの頂角の点にズレ量を加算または減算することによっても実現できる。さらに、長さ取得部２０２は、点ａ２、点ｃ２の座標から、点ａ２、点ｂ２間の距離及び点ａ２、点ｄ２間の距離を求める。点ａ２、点ｂ２間の距離は、コンテンツ領域１０２ｄのｘ方向の長さであって、点ｂ２、点ｃ２間の距離は、コンテンツ領域１０２ｄのｙ方向の長さである。

比率算出部２０３は、コンテンツ領域１０２ｄのｘ方向の長さをコンテンツ領域１０２ａのｘ方向の長さで除算し、コンテンツ領域１０２ｄのｙ方向の長さをコンテンツ領域１０２ａのｙ方向の長さで除算する。除算により、比率算出部２０３は、コンテンツ領域１０２ａとコンテンツ領域１０２ｄとの比率をｘ方向及びｙ方向についてそれぞれ算出する。

座標変換部２０４は、コンテンツ領域１０２ａ上の点ｐのｘ座標にコンテンツ領域１０２ｄのｘ方向の比率を乗じ、コンテンツ領域１０２ａ上の点ｐのｙ座標にコンテンツ領域１０２ｄのｙ方向の比率を乗じる。さらに、座標変換部２０４は、比率を乗じた後のｘ座標及びｙ座標にそれぞれ点ａ２のｘ座標及びｙ座標を加算する。点ａ２のｘ座標及びｙ座標の加算により、変換後の点ｑの座標は、コンテンツ領域１０２ｄ上の点ａ２を原点として表される。

図１に示したタップ指示部２０５は、座標変換部２０４によって変換された点ｑの座標と、点ｑにおいて実行すべき操作がタップであることと、操作速度及び押下間隔等を示す情報を携帯端末装置１に出力する。携帯端末装置１は、タップ指示部２０５から入力された情報にしたがい、点ｑにおいてタップの操作が実行された場合と同様に動作する。このような動作により、本実施形態は、コンテンツ領域１０２ａ、１０２ｄの解像度の値に関わらず、点ｐに相当するコンテンツ領域１０２ｄ上の点ｑをタップすることができる。

同様に、コンテンツ領域１０２ａ上の点ｐをコンテンツ領域１０２ｅ上の点ｒに変換する場合、図１に示したＰＣ２は、画像キャプチャー部２０１によってコンテンツ領域１０２ｅ上のマーカー画像１０３ａ、１０３ｃをキャプチャーする。そして、長さ取得部２０２が、マーカー画像１０３ａ、１０３ｃから、図５（ｃ）に示した点ａ３、点ｂ３間の距離及び点ａ３、点ｄ３間の距離を求める。点ａ３、点ｂ３間の距離は、コンテンツ領域１０２ｅのｘ方向の長さであって、点ａ３、点ｄ３間の距離は、コンテンツ領域１０２ｅのｙ方向の長さである。

比率算出部２０３は、コンテンツ領域１０２ｅのｘ方向の長さをコンテンツ領域１０２ａのｘ方向の長さで除算し、コンテンツ領域１０２ｅのｙ方向の長さをコンテンツ領域１０２ａのｙ方向の長さで除算する。除算により、比率算出部２０３は、コンテンツ領域１０２ａとコンテンツ領域１０２ｅとの比率をｘ方向及びｙ方向についてそれぞれ算出する。

座標変換部２０４は、コンテンツ領域１０２ａ上の点ｐのｘ座標にコンテンツ領域１０２ｅのｘ方向の比率を乗じ、コンテンツ領域１０２ａ上の点ｐのｙ座標にコンテンツ領域１０２ｅのｙ方向の比率を乗じる。さらに、座標変換部２０４は、比率を乗じた後のｘ座標及びｙ座標にそれぞれ点ａ３のｘ座標及びｙ座標を加算する。点ａ３のｘ座標及びｙ座標の加算により、変換後の点ｒの座標は、コンテンツ領域１０２ｅ上において点ａ３を原点として表される。

図１に示したタップ指示部２０５は、座標変換部２０４によって変換された点ｒの座標と、点ｒにおいて実行すべき操作の種別がタップであることと、操作速度及び押下間隔等を示す情報を携帯端末装置１に出力する。携帯端末装置１は、タップ指示部２０５から入力された情報にしたがい、点ｒにおいてタップの操作が実行された場合と同様に動作する。

なお、本実施形態は、マーカー画像を複数表示しているが、マーカー画像の個数は、特に限定されるものではない。必要最低限の個数のマーカー画像でコンテンツ領域１０２の領域の範囲を特定するためには、図５（ａ）、図５（ｂ）、図５（ｃ）に示したように、マーカー画像をコンテンツ領域１０２の対角線上に２つ表示する。さらに、本実施形態は、例えば、図６に示したように、マーカー画像１０３ａ、１０３ｃの他、マーカー画像１０３ｂ、１０３ｄをコンテンツ領域１０２の頂角の近傍に表示してもよい。

［アプリケーション検査プログラム］
次に、本実施形態のアプリケーション検査プログラムを説明する。
図７は、図１に示したＰＣ２と携帯端末装置１とにおいて動作するアプリケーション検査プログラムを説明するためのタイミングチャートである。図７において、基準コンテンツ領域となるコンテンツ領域を有する携帯端末装置を「端末α」と記す。また、検査に使用される携帯端末装置を「端末β」と記す。

ＰＣ２で動作するアプリケーション検査プログラムは、画像比較ツールと、端末α用テストシナリオと、シナリオ・コマンド比較ツール及び座標変換ツールと、を有している。このような機能のうち、画像比較ツールは、キャプチャーされた画像と予め登録されている画像との一致、不一致を判断するプログラムである。画像の一致、不一致の判断において、画像のサイズや縦横比が相違しても画像が不一致であると判断されることがない。端末α用テストシナリオは、図１に示したテストシナリオ２０６である。シナリオ・コマンド変換ツールは、端末α用テストシナリオに書き込まれている操作に関する情報を端末βに入力されるコマンドに変換するプログラムである。座標変換ツールは、本実施形態のアプリケーション検査装置であり、図１に示した位置変換部２０とタップ指示部２０５とに相当する。
ＰＣ２の画像比較ツールは、表示が予測される画像を登録する（ステップＳ６１）。登録される画像は、端末αにおいて適正な座標が操作（ここでは「タップ」とする）された場合に端末αのコンテンツ領域に表示される画像である。

また、端末βにおいては、図２に示したマーカー画像表示部１１１が、マーカー画像１０３ａ、１０３ｃが表示されるＵＩのアプリケーションが起動する（ステップＳ６２）。ＰＣ２において、端末α用テストシナリオは、端末βの接続を確認する旨の指示をシナリオ・コマンド変換ツールに送る（ステップＳ６３）。シナリオ・コマンド変換ツールは、端末α用テストシナリオの指示を端末αに入力されるコマンドに変換する（ステップＳ６４）。端末βは、端末αと接続し（ステップＳ６５）、互いを特定する情報を交換し、端末αに接続されていることを確認する（ステップＳ６６）。端末βは、コンテンツ領域を含むディスプレイ画面を示す画像のデータを座標変換ツールに送信する（ステップＳ６７）。
ＰＣ２においては、端末α用テストシナリオから「カード登録」上の点ｐをタップするように指示するシナリオが読みだされる（ステップＳ６８）。シナリオ・コマンド変換ツールは、読みだされたシナリオを、点ｐの座標、タップ速度、押下間隔の情報を含むコマンドに変換する（ステップＳ６９）。

座標変換ツールは、端末βから送信されてきた画像のデータをキャプチャーする（ステップＳ７０）。そして、キャプチャーされた画像からマーカー画像１０３ａ、１０３ｃの位置情報を検出し、マーカー画像１０３ａ、１０３ｃの位置情報から点ａ２、点ｂ２、点ｃ２、点ｄ２の座標を求める（ステップＳ７１）。さらに、座標変換ツールは、端末αのコンテンツ領域の点ａ１、点ｂ１、点ｃ１、点ｄ１で形成される四角形と、ステップＳ７１において取得された端末βのコンテンツ領域の点ａ２、点ｂ２、点ｃ２、点ｄ２で形成される四角形との比率を算出する（ステップＳ７２）。なお、本実施形態では、端末α用テストシナリオに点ａ１、点ｂ１、点ｃ１、点ｄ１の座標が予め記録されていて、座標変換ツールはアプリケーション検査の開始時に端末α用テストシナリオから点ａ１、点ｂ１、点ｃ１、点ｄ１の座標を読み込んでおくものとする。

次に、座標変換ツールは、ステップＳ６９で送られてきた点ｐの座標に、ステップＳ７２において算出された比率を乗算する。さらに、乗算後の座標にステップＳ７１において取得された点ａ２の座標を加算する。このような演算により。座標変換ツールは、端末βのコンテンツ領域１０２上の点ｑの座標を算出する（ステップＳ７３）。座標変換ツールは、ステップＳ７３において算出された点ｑの座標と、タップ操作をする旨と、タップ速度及び押下間隔を示すコマンドを端末βに送信する（ステップＳ７４）。端末βは、コマンドにしたがって座標ｑにおいてタップがされた場合と同様に動作する（ステップＳ７５）。

端末βは、座標ｑにおいてタップがされたことによって表示された画面の画像をキャプチャーする（ステップＳ７６）。キャプチャーされた画像は図１に示したＰＣ２に送信される。ＰＣ２においては、ステップＳ６８において、カード登録をタップするシナリオが読み出された後、端末βからキャプチャーされた画面の画像が送信されてくるまで待機している（ステップＳ７７）。そして、キャプチャーされた画面の画像がＰＣ２に送信されて来た場合、端末α用テストシナリオは、キャプチャーされた画面の画像と予測された画面の画像とが一致するか否かを判断するシナリオを画像比較ツールに出力する（ステップＳ７８）。

画像比較ツールは、キャプチャーされた画像がステップＳ６１において登録された画面の画像と一致するか否か判断する（ステップＳ７９）。画像比較ツールは、判断の結果を端末α用テストシナリオに出力する。端末α用テストシナリオは、ステップＳ７９において得られた判断の結果を受け取り、キャプチャーされた画像が登録された画面の画像と一致する場合には次のシナリオを読み出してアプリケーションの検査を続行する。一方、キャプチャーされた画像が登録された画面の画像と一致しない場合、端末α用テストシナリオは、例えば、キャプチャーされた画像が登録された画面の画像と一致しないことを示す情報をＰＣ２の図示しないディスプレイ画面に表示する。

以上説明したように、本実施形態は、コンテンツ領域上の座標をｘ方向及びｙ方向の長さによって決定している。また、本実施形態は、コンテンツ領域上にマーカー画像１０３ａ、１０３ｃを表示し、マーカー画像１０３ａ、１０３ｃを使ってコンテンツ領域のｘ方向及びｙ方向の長さを取得している。このため、本実施形態によれば、検査に用いられるディスプレイ画面の解像度やコンテンツ領域の情報を予めテストシナリオに与える必要がない。したがって、本実施形態は、１つのテストシナリオ（端末α用テストシナリオ）を使い、解像度やコンテンツ領域の範囲が異なる携帯端末装置でアプリケーションの検査を行うことができる。

なお、マーカー画像１０３ａ、１０３ｃを用いずにアプリケーション検査プログラムが携帯端末装置１のコンテンツ領域あるいは非コンテンツ領域に関する情報を取得する方法としては、例えば、アプリケーション検査プログラムがコンテンツ領域を演算（ステータスバー１０１ａ、タイトルバー１０１ｂ、ナビゲーションバー１０１ｃのｙ方向の長さを算出してディスプレイ画面のｙ方向の長さから減算する等）によって求めることが考えられる。しかし、非コンテンツ領域を演算で求めれば、演算にかかる時間の分だけアプリケーションの実行処理速度が低下する。また、ＯＳが異なる携帯端末装置（例えばａｎｄｒｏｉｄ（登録商標）とｉｐｈｏｎｅ（登録商標））のコンテンツ領域を取得するためには、アプリケーション検査装置が各ＯＳに応じたコマンドを用意しなければならない。
本実施形態は、マーカー画像から直接コンテンツ領域の頂点の座標やサイズを取得することができる。このため、アプリケーション検査プログラムが演算をする必要がなく、高い実行処理速度を得ることができる。また、ＯＳが異なる携帯端末装置に対しても、１つのテストシナリオで対応することができる。

［比較例］
次に、以上説明した本実施形態の効果を説明するため、公知のアプリケーション検査装置を本実施形態の比較例として説明する。
公知のアプリケーションの自動的な検査では、ｘ座標がコンテンツ領域におけるｘ方向の画素の個数で表され、ｙ座標がコンテンツ領域におけるｙ方向の画素の個数で表される。このため、コンテンツ領域上の座標は、コンテンツ領域の解像度に応じて変化する。比較例として挙げた公知のアプリケーション検査装置は、解像度の違いによる座標の相違を吸収するために座標変換を行っている。
図８（ａ）、（ｂ）、（ｃ）は、ビューサイズが等しく、解像度が異なるコンテンツ領域を有する携帯端末装置を示した図である。なお、図８において、本発明の実施形態で説明した構成と同様の構成については同様の符号を付し、その説明を一部略すものとする。

図８（ａ）、（ｂ）、（ｃ）に示した例では、図８（ａ）に示した携帯端末装置１ａのコンテンツ領域１０２ａが基準コンテンツ領域となる。コンテンツ領域１０２ａの解像度（ｘ方向の解像度×ｙ方向の解像度で表す）は、１２８０ｄｐｉ×７２０ｄｐｉである。図８（ｂ）に示した携帯端末装置７ｂの解像度は９６０ｄｐｉ×４８０ｄｐｉ、図８（ｃ）に示した携帯端末装置７ｃの解像度は１９２０ｄｐｉ×１０８０ｄｐｉである。コンテンツ領域１０２ａ上の点の座標（ｘａ，ｙａ）は、携帯端末装置７ｂのコンテンツ領域１０２ｂ上において、以下の式（１）、（２）によって座標（ｘｂ，ｙｂ）に変換できる。
ｘｂ＝ｘａ／１２８０×９６０式（１）
ｙｂ＝ｙａ／７２０×４８０式（２）

また、携帯端末装置１ａのコンテンツ領域１０２ａ上の点の座標（ｘａ，ｙａ）は、携帯端末装置７ｃのコンテンツ領域７０２ｃ上において、以下の式（３）、（４）によって座標（ｘｃ，ｙｃ）に変換できる。
ｘｃ＝ｘａ／１２８０×１９２０式（３）
ｙｃ＝ｙａ／７２０×１０８０式（４）

次に、図８に示した公知技術が、検査に使用される携帯端末装置毎にテストシナリオを用意しなければならない理由について説明する。
図９は、α用テストシナリオを使って端末α上でアプリケーションの検査を行うことを説明するためのタイミングチャートである。図９において、図７に示した処理と同様の処理については同様の符号を付し、説明を一部略すものとする。

ＰＣ２の画像比較ツールは、表示が予測される画像を登録する（ステップＳ６１）。端末α用テストシナリオは、端末βの接続を確認する旨の指示をシナリオ・コマンド変換ツールに送る（ステップＳ６３）。シナリオ・コマンド変換ツールは、端末α用テストシナリオの指示を端末αに入力されるコマンドに変換する（ステップＳ６４）。端末βは、端末αと接続し（ステップＳ６５）、互いを特定する情報を交換して端末αに接続されていることを確認する（ステップＳ６６）。ＰＣ２においては、端末α用テストシナリオから「カード登録」上の点ｐをタップするように指示するシナリオが読みだされる（ステップＳ６８）。シナリオ・コマンド変換ツールは、読みだされたシナリオを、端末αを特定する端末番号、点ｐの座標、タップ操作を行うこと、タップ速度、押下間隔の情報を含むコマンドに変換する（ステップＳ８１）。

端末αは、ステップＳ８１において変換されたコマンドを受信する（ステップＳ８２）。そして、受信したコマンドにしたがってタップ動作が実行された場合と同様に動作し（ステップＳ８３）、タップ動作によって表示されたディスプレイ画面１０の画像データをシナリオ・コマンド変換ツールに送る（ステップＳ６７）。シナリオ・コマンド変換ツールは、画像データによって表される画像をキャプチャーすることを指示するコマンドを生成する（ステップＳ８５）。端末α用テストシナリオは、コマンドにしたがってディスプレイ画面１０の画像をキャプチャーする（ステップＳ８６）。また、端末α用テストシナリオは、キャプチャーされた画面の画像と予測された画面の画像とが一致するか否かを判断するシナリオを画像比較ツールに出力する（ステップＳ７８）。

次に、図８に示した公知技術において、基準コンテンツ領域を有する端末αの座標を、解像度が異なる端末β上の座標に変換することを説明する。
図１０は、α用テストシナリオを使って端末β上でアプリケーションの検査を行うことを説明するためのタイミングチャートである。図１０において、図７、図９に示した処理と同様の処理については同様の符号を付し、説明を一部略すものとする。

ＰＣ２においては、端末α用テストシナリオから「カード登録」上の点ｐをタップするように指示するシナリオが読み出される（ステップＳ６８）。シナリオ・コマンド変換ツールは、読みだされたシナリオを、端末αを特定する端末番号、点ｐの座標、タップ操作を行うこと、タップ速度、押下間隔の情報を含むコマンドに変換する（ステップＳ８１）。座標変換ツールは、式（１）、（２）を使って端末αのコンテンツ領域上の点ｐの座標を端末βのコンテンツ領域上の点ｑの座標に変換する（ステップＳ９１）。

端末αは、ステップＳ９１において変換された点ｑの座標を含むコマンドを受信する（ステップＳ８２）。そして、受信したコマンドにしたがってタップ動作がなされた場合と同様の動作を実行し（ステップＳ８３）、タップ動作によって表示されたディスプレイ画面１０を示す画像のデータをシナリオ・コマンド変換ツールに送る（ステップＳ６７）。シナリオ・コマンド変換ツールは、画像データによって表される画像をキャプチャーすることを指示するコマンドを生成する（ステップＳ８５）。端末α用テストシナリオは、コマンドにしたがってディスプレイ画面１０の画像をキャプチャーし（ステップＳ８６）、キャプチャーされた画面の画像と予測された画面の画像とが一致するか否かを判断するシナリオを画像比較ツールに出力する（ステップＳ７８）。

画像比較ツールは、キャプチャーされた画像がステップＳ６１において登録された画面の画像と一致するか否か判断する（ステップＳ７９）。画像比較ツールは、判断の結果を端末α用テストシナリオに出力する。端末α用テストシナリオは、ステップＳ７９において得られた判断の結果を受け取り、キャプチャーされた画像が登録された画面の画像と一致する場合には次のシナリオを読み出してアプリケーションの検査を続行する。一方、キャプチャーされた画像が登録された画面の画像と一致しない場合、端末α用テストシナリオは、例えば、キャプチャーされた画像が登録された画面の画像と一致しないことを示す情報をＰＣ２の図示しないモニタ画面に表示する。

上記した公知技術では、座標変換のため、検査に使用される携帯端末装置の解像度を使用している。このため、検査に使用される端末（例えば端末β）毎の解像度に対応したテスト用シナリオを用意する必要がある。
また、公知技術では、端末αのディスプレイ画面上の非コンテンツ領域と端末βのディスプレイ画面上の非コンテンツ領域との相違について一切考慮していない。このため、公知技術では、ＰＣ２が端末α用テストシナリオに書き込まれている座標をタップするように端末βに指示した場合、端末αと端末βとで非コンテンツ領域の表示範囲が相違していると、端末βにおいて意図した座標をタップすることができない。

以上説明した本発明は、コンピュータプログラムとして具体化することができる。例えば、本発明は、画像キャプチャー部２０１、長さ取得部２０２、比率算出部２０３及び座標変換部２０４、タップ指示部２０５及び、マーカー画像表示部１１１、マーカー位置出力部１１２として、コンピュータを機能させるアプリケーション検査プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。

以上説明した本発明は、ディスプレイ画面上でタッチパネル方式で操作が行われる情報端末装置上でアプリケーションが動作するかを自動的に検査するシステムに適用される。

１、１ａ、１ｂ、１ｃ、１ｄ：携帯端末装置（情報端末装置；請求項１）
２ＰＣ（アプリケーション検査装置；請求項１）
３：アプリケーション検査システム（アプリケーション検査システム；請求項１）
１０：ディスプレイ画面（ディスプレイ画面；請求項１）
２０：位置変換部（位置変換部；請求項１）
１０１ａ：ステータスバー（非コンテンツ領域；請求項１）
１０１ｂ：タイトルバー（非コンテンツ領域；請求項１）
１０１ｃ：ナビゲーションバー（非コンテンツ領域；請求項１）
１０２、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、１０２ｅ：コンテンツ領域（コンテンツ領域；請求項１）
１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ：マーカー画像（マーカー画像；請求項１）
１１１：マーカー画像表示部（マーカー画像表示部；請求項１）
１１２：マーカー位置出力部（マーカー位置出力部；請求項２）
２０１：画像キャプチャー部（画像キャプチャー部；請求項４）
２０２：長さ取得部（長さ取得部；請求項５）
２０３：比率算出部（比率算出部；請求項５）
２０４：座標変換部（座標変換部；請求項１）
２０５：タップ指示部（指示部；請求項１）
２０６：テストシナリオ

Claims

表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置と、
予め設定されている基準表示画面上の位置を前記コンテンツ領域上の位置に変換する位置変換部と、を有するアプリケーション検査システムであって、
前記情報端末装置は、
前記コンテンツ領域の範囲を特定する複数のマーカー画像を前記コンテンツ領域に表示するマーカー画像表示部を備え、
前記位置変換部は、
複数の前記マーカー画像の前記コンテンツ領域上の位置を表す位置情報を取得するマーカー位置取得部と、
前記マーカー位置取得部によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換部と、
前記座標変換部によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示部と、
を有することを特徴とするアプリケーション検査システム。
前記情報端末装置は、前記マーカー位置取得部に前記マーカー画像の位置情報を出力するマーカー位置出力部を有することを特徴とする請求項１に記載のアプリケーション検査システム。
表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置におけるアプリケーションの動作を検査するアプリケーション検査装置であって、
前記コンテンツ領域に表示され、前記コンテンツ領域の範囲を特定する複数のマーカー画像の表示位置を表す位置情報を取得するマーカー位置取得部と、
前記マーカー位置取得部によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換部と、
前記座標変換部によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示部と、
を有することを特徴とするアプリケーション検査装置。
前記マーカー位置取得部は、
前記ディスプレイ画面の前記マーカー画像が表示されている範囲をキャプチャーする画像キャプチャー部を有し、当該画像キャプチャー部によってキャプチャーされた画像から前記マーカー画像の位置情報を取得することを特徴とする請求項３に記載のアプリケーション検査装置。
前記座標変換部は、
複数の前記マーカー画像の位置情報から前記コンテンツ領域の第１方向の長さと第２方向の長さとを取得する長さ取得部と、
前記長さ取得部によって取得された前記第１方向の長さ及び前記第２方向の長さから前記基準表示画面のサイズと前記コンテンツ領域のサイズとの比率を算出する比率算出部と、
前記比率算出部によって算出された比率により、前記基準表示画面上において操作された点の座標を前記コンテンツ領域上の点の座標に変換することを特徴とする請求項３または４に記載のアプリケーション検査装置。
表示対象であるコンテンツが表示されるコンテンツ領域と、当該コンテンツ領域を除く非コンテンツ領域と、を含むディスプレイ画面を有する情報端末装置におけるアプリケーションの動作を検査するアプリケーション検査プログラムであって、
前記コンテンツ領域に表示され、前記コンテンツ領域の範囲を特定する複数のマーカー画像の表示位置を表す位置情報を取得するマーカー位置取得機能と、
前記マーカー位置取得機能によって取得された複数の前記マーカー画像の位置情報に基づいて、予め設定されている基準表示画面上の座標を前記コンテンツ領域上の座標に変換する座標変換機能と、
前記座標変換機能によって変換された前記コンテンツ領域上の座標において操作を実行するように前記情報端末装置に指示する指示機能と、
をコンピュータに実現させることを特徴とするアプリケーション検査プログラム。