JP6417698B2 - アプリケーション検査装置及びアプリケーション検査プログラム - Google Patents

Description

本発明は、タッチパネル式の情報端末装置上で動作するアプリケーションを検査するアプリケーション検査装置及びアプリケーション検査プログラムに関する。

近年、タッチパネル方式で入力を行う（以下、「タッチパネル方式」と記す）の情報端末装置用のアプリケーションが多数提供されている。タッチパネル式の情報端末の多くは携帯型であるため、本明細書では、このような情報端末装置を以降「携帯端末装置」と記す。
携帯端末装置のアプリケーションを製品として出荷するに際して、アプリケーションの製造者は、アプリケーションが携帯端末装置上で正常に動作することを確認するための検査を実行している。検査の現場においては、携帯端末装置の操作から動作確認までの工程を自動で実行するシステムが求められている。
アプリケーションの動作を自動的に検査する公知の検査装置としては、例えば、特許文献１に記載された携帯端末装置のシミュレーションシステムがある。特許文献１に記載のシミュレーションシステムは、コンピュータと携帯端末装置とを連携させ、コンピュータ上で動作するプログラムの指示によって携帯端末装置のディスプレイ画面にテスト用の画像を表示させている。

特開２００８−２８３２８７号公報

ところで、近年、携帯端末装置の種類は増々多様化する傾向にあり、アプリケーションも様々な仕様の携帯端末装置のディスプレイ画面に対応することが必要になっている。
しかしながら、上記特許文献１には、検査用の画像を携帯端末装置のディスプレイ画面に表示させる際、表示すべき画像を携帯端末装置の仕様に応じて調整することについては一切記載されていない。このため、上記した特許文献１に記載のシミュレーションシステムを使って様々な仕様のディスプレイ画面に対応する場合には、コンピュータが携帯端末装置に検査の手順を指示するためのプログラムをディスプレイ画面の仕様毎に作成することが必要になる。

特に、携帯端末装置のうち、特にスマートフォンにおいては、ディスプレイ画面内の一部にユーザインターフェースとして機能する操作部が表示される。スマートフォンの操作部を除く領域（実質的な画像表示領域）上に適正な画像を表示させるため、検査用のプログラムには、ディスプレイ画面に表示される操作部の位置や領域をも考慮することが要求される。
本発明は、上記した点に鑑みてなされたものであり、仕様が異なる様々なディスプレイ画面に対応可能なアプリケーション検査装置、アプリケーション検査プログラムを提供することを目的とする。

上記課題を解決するため、本発明のアプリケーション検査装置の一態様は、情報端末装置に対して操作を指示し、情報端末装置上で動作するアプリケーションを検査するアプリケーション検査装置であって、情報端末装置のディスプレイ画面に表示された画像をキャプチャーする画像キャプチャー部と、画像キャプチャー部によってキャプチャーされたキャプチャー画像から、指定された指定画像と一致する一致画像を検索する指定画像検索部と、指定画像検索部の検索の結果得られた一致画像の範囲を算出する指定画像範囲算出部と、指定画像範囲算出部によって算出された範囲から、一致画像上において操作を行う操作点を算出する操作点算出部と、操作点算出部によって算出された操作点の位置を示す位置情報を情報端末装置に出力する操作点出力部と、を有し、指定画像範囲算出部は、一致画像の範囲を矩形形状の範囲として検出し、操作点算出部は、矩形形状の２つの対角線の交点を操作点とすることを特徴とする。

また、本発明のアプリケーション検査装置の一態様は、上記態様において、指定画像検索部は、キャプチャー画像のディスプレイ画面においてコンテンツが表示されるコンテンツ領域の少なくとも一部を指定画像の検索対象とすることを特徴とする。
また、本発明のアプリケーション検査装置の一態様は、上記態様において、指定画像として文字列を対象とし、指定画像検索部は、指定された配置方向に配置された文字列を検索することを特徴とする。

また、本発明のアプリケーション検査プログラムの一態様は、情報端末装置のディスプレイ画面に表示された画像をキャプチャーする画像キャプチャー機能と、画像キャプチャー機能によってキャプチャーされたキャプチャー画像から、指定された指定画像と一致する一致画像を検索する指定画像検索機能と、指定画像検索機能の検索の結果得られた指定画像と一致する前記一致画像の範囲を算出する指定画像範囲算出機能と、指定画像範囲算出機能によって算出された範囲から、一致画像上において操作を行う操作点を算出する操作点算出機能と、操作点算出機能によって算出された操作点の位置を示す位置情報を情報端末装置に出力する操作点出力機能と、をコンピュータに実行させ、指定画像範囲算出機能は、一致画像の範囲を矩形形状の範囲として検出し、操作点算出機能は、矩形形状の２つの対角線の交点を操作点とすることを特徴とする。

本発明によれば、キャプチャー画像から指定された指定画像と一致する一致画像を検索し、一致画像上において操作を行う操作点を算出する。このため、アプリケーション検査が行われる情報端末装置のディスプレイ画面の実質的な表示範囲に関わらず、操作すべき位置を特定することができる。また、特定された位置からさらに操作すべき操作点を算出するため、操作点を正確に求めることができる。したがって、本発明は、実質的な表示範囲等の仕様が異なる様々なディスプレイ画面に対応可能なアプリケーション検査装置、アプリケーション検査プログラムを提供することができる。

本発明の一実施形態のアプリケーション検査装置を説明するための図である。 図１に示した携帯端末装置及びＰＣの機能を説明するための機能ブロック図である。 図１に示したステータスバー、タイトルバー、ナビゲーションバーを説明するための図である。 アプリケーションの自動的な検査を説明するための図である。 本発明の一実施形態の指定画像の検索を説明するための図である。 本発明の一実施形態の画像の切り出しを説明するための図である。 本発明の一実施形態のアプリケーション検査プログラムを説明するためのフローチャートである。 比較例としての公知技術を説明するための図である。

以下、本発明の一実施形態のアプリケーション検査装置及びアプリケーション検査プログラムを説明する。
［アプリケーション検査装置］
図１は、本発明の一実施形態のアプリケーション検査装置を説明するための図である。アプリケーション検査装置は、携帯端末装置に対して操作を指示し、携帯端末装置上で動作するアプリケーションを検査する。
本実施形態のアプリケーション検査装置は、検査に使用される携帯端末装置１と接続されてアプリケーションの動作を検査する。本実施形態は、携帯端末装置１としてスマートフォンを利用し、アプリケーション検査装置を汎用的なパーソナルコンピュータ（以下、「ＰＣ」と記す）２を利用した構成を例示する。ＰＣ２には、本実施形態のアプリケーション検査プログラムがインストールされていて、ＰＣ２上で動作している。

携帯端末装置１は、ディスプレイ画面１０を有している。ディスプレイ画面１０は、コンテンツに係る画像が表示されるコンテンツ領域１０２と、ステータスバー１０１ａ、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃを有している。コンテンツ領域１０２の表示対象となるコンテンツとは、インターネットを介して携帯端末装置１に送信されてくる文字列、音、動画等、あるいは携帯端末装置１にインストールされているプログラムによって表示される文字列、音、動画等を指す。また、ステータスバー１０１ａ、タイトルバー１０１ｂ及びナビゲーションバー１０１ｃは、コンテンツが表示されない非コンテンツ領域である。

図２は、携帯端末装置１及びＰＣ２の本実施形態に係る機能を説明するための機能ブロック図である。ＰＣ２は、携帯端末装置１のディスプレイ画面１０に表示された画像をキャプチャーする画像キャプチャー部２０１と、画像キャプチャー部２０１によってキャプチャーされたキャプチャー画像から、指定された指定画像と一致する画像を検索する指定画像検索部２０２と、指定画像検索部２０２の検索の結果得られた指定画像と一致する一致画像の範囲を算出する指定画像範囲算出部２０３と、指定画像範囲算出部２０３によって算出された範囲から、一致画像上において操作を行う操作点を算出する操作点算出部２０４と、操作点算出部２０４によって算出された操作点の位置を示す位置情報を携帯端末装置１に出力する操作点出力部２０５と、を有している。また、ＰＣ２は、テストシナリオ２０６を有している。テストシナリオ２０６は、アプリケーション検査のために携帯端末装置１を操作する操作手順が記録されたプログラムである。

図３は、ステータスバー１０１ａ、タイトルバー１０１ｂ、ナビゲーションバー１０１ｃを説明するための図である。ステータスバー１０１ａは、携帯端末装置１の状態や通知情報を表示する非コンテンツ領域である。タイトルバー１０１ｂは、ウインドウのタイトルが表示される非コンテンツ領域である。ナビゲーションバー１０１ｃは、携帯端末装置１を操作する情報を入力するための非コンテンツ領域である。

本実施形態では、携帯端末装置１全体の図中に示したｙ方向の長さをＨ１、Ｈ１からナビゲーションバー１０１ｃのｙ方向の長さを差し引いた長さをＨ２、Ｈ２からステータスバー１０１ａ及びナビゲーションバー１０１ｃのｙ方向の長さを差し引いた長さをＨ３とする。なお、ディスプレイ画面１０のｘ方向の長さをＨ４とすると、Ｈ１×Ｈ４を端末サイズ、Ｈ２×Ｈ４をディスプレイサイズ、Ｈ３×Ｈ４をビューサイズとする。

図４（ａ）、（ｂ）は、アプリケーションの自動的な検査を説明するための図である。アプリケーションの検査では、ＰＣ２が、テストシナリオ２０６に従って操作を指示する信号を携帯端末装置１に出力し、携帯端末装置１を手動で操作した場合と同様に動作させて行われる。テストシナリオ２０６に例えば図４（ａ）中に示した「カード登録」上の座標をタップする指示が書き込まれている場合、座標上でタップがされたことを示す信号が携帯端末装置１に出力される。携帯端末装置１は、指定された座標がタップされたことを示す信号を入力し、図４（ｂ）に示す画像をコンテンツ領域１０２に表示する。
本実施形態では、表示された画像が予想された画像と一致するか否かを判定し、一致した場合にはアプリケーションが正常に動作したと判断する。また、表示された画像が予想された画像と一致しない場合には、アプリケーションが正常に動作していないと判断する。

アプリケーション検査装置は、コンテンツ領域１０２上の画素数を基準にして座標を決定している。画素数を基準に座標を決定するアプリケーション検査装置は、コンテンツ領域１０２の解像度が異なると、座標も異なることになる。このため、アプリケーションの検査に使用される携帯端末装置１は、テストシナリオ２０６において想定されているコンテンツ領域（以下、「基準表示領域」と記す）の解像度とコンテンツ領域１０２の解像度が異なる場合、テストシナリオ２０６から読み出された座標上でタップを実行しても、コンテンツ領域１０２上において意図しない座標上でタップが行われることになる。

本実施形態は、以上の点を解消するため、テストシナリオ２０６にタップすべき指定画像（本実施形態では「カード登録」）が書き込まれている。ＰＣ２は、コンテンツ領域１０２に表示されている画像をキャプチャーし、キャプチャーされた画像（以下、「キャプチャー画像」と記す）の文字列を認識し、指定画像である「カード登録」と一致する一致画像（本実施形態では「カード登録」の文字列）が表示されているコンテンツ領域１０２の範囲を特定する（以下、「切り出す」とも記す）。ＰＣ２は、切り出された範囲を示す座標を携帯端末装置１に出力し、携帯端末装置１にタップを指示する。

図５は、上記した指定画像の検索を説明するための図である。図２に示した指定画像検索部２０２は、キャプチャーされた画像中の文字列を認識する機能を有する。本実施形態では、この機能を、以降、ＯＣＲ（optical character recognition）機能と記す。本実施形態でいうＯＣＲ機能は、携帯端末装置１から送信されてきた画像データをキャプチャーし、キャプチャー画像の文字列を認識するものである。
指定画像検索部２０２は、キャプチャー画像の文字列を認識し、指定画像である「カード登録」の文字列（指定文字）と一致する「カード登録」の文字列を検索する。このとき、キャプチャー画像の全域から文字列を検索すると処理の負荷が大きくなることから、指定画像検索部２０２は、キャプチャー画像の一部を「カード登録」の検索対象とする。

本実施形態では、図５に示したＯＣＲ範囲４０を「カード登録」の検索対象とする。なお、ＯＣＲ範囲４０は、テストシナリオ２０６に予め登録するようにしてもよいし、アプリケーションの検査時にユーザがＰＣ２の図示しないユーザインターフェースを使って指定するようにしてもよい。
また、本実施形態は、指定画像が文字列である場合、指定画像と共に、文字列が縦書きであるか横書きであるかがテストシナリオ２０６に書き込まれている。このようにすれば、指定画像検索部２０２の指定画像の検索の負荷をさらに軽減することができる。
ＯＣＲ範囲４０を検索した場合、指定画像検索部２０２は、「カード登録」と「カードの登録を行います」の２つの文字列を検出する。さらに、指定画像検索部２０２は、検出された２つの文字列のうち、登録されている文字列と完全に一致する「カード登録」を選択する。

図６（ａ）、図６（ｂ）、図６（ｃ）、図６（ｄ）は、画像の切り出しを説明するための図である。図６（ａ）は、選択された「カード登録」の文字列を示している。指定画像範囲算出部２０３は、選択された「カード登録」の文字列を囲む矩形５０を設定する。矩形５０の設定は、「カード登録」の文字列の周囲に予め設定された余白が矩形５０に含まれるように行われる。そして、指定画像範囲算出部２０３は、矩形５０の４つの頂点を示す点ａ、点ｂ、点ｃ、点ｄの座標を算出する。なお、座標は、携帯端末装置１のコンテンツ領域１０２ａのｘ方向に配置された画素の数及びｙ方向に配置された画素の数によって定められる。したがって、矩形５０の座標は、コンテンツ領域１０２の解像度によって相違する。

コンテンツ領域１０２の解像度は、アプリケーションの検査開始時に携帯端末装置１からＰＣ２通知されるものであってもよい。この際、解像度は、解像度の値であってもよいし、携帯端末装置１の機種を特定する情報としてＰＣ２に通知され、ＰＣ２側で解像度に変換されるものであってもよい。また、解像度は、アプリケーション検査に先だってユーザが図示しないユーザインターフェースを使ってテストシナリオ２０６に設定するものであってもよい。

図６に示した例では、点ａの座標を（ｘ_ａ、ｙ_ａ）、点ｂの座標を（ｘ_ｂ、ｙ_ｂ）、点ｃの座標を（ｘ_ｃ、ｙ_ｃ）、点ｄの座標を（ｘ_ｄ、ｙ_ｄ）とする。次に、操作点算出部２０４は、点ａ、点ｃを通る矩形５０の対角線Ｌ１と、点ｂ、点ｄを通る矩形５０の対角線Ｌ２との交点の座標（（ｘ_ａ＋ｘ_ｃ）／２，（ｙ_ａ＋ｙ_ｃ）／２）を求める。操作点出力部２０５は、算出された座標（（ｘ_ａ＋ｘ_ｃ）／２，（ｙ_ａ＋ｙ_ｃ）／２）を携帯端末装置１に出力する。携帯端末装置１は、出力された座標が示す点ｐ上でタップが行われた場合と同様の動作を実行する。
このようにすることにより、本実施形態は、点ｐがタップされた場合と同様の信号を携帯端末装置１に入力することができる。点ｐは矩形５０の中心点であるから、携帯端末装置１は、矩形５０上の点がタップされたことを確実に検出することができる。

以上説明したように、本実施形態は、テストシナリオ２０６にタップすべき文字列を書き込んでおき、書きこまれた文字列をキャプチャー画像から検索することによってタップ位置を特定している。このため、本実施形態によれば、検査に用いられるディスプレイ画面のコンテンツ領域１０２に関係なくタップすべき座標を検出することができる。したがって、本実施形態は、１つのテストシナリオ（端末α用テストシナリオ）を使い、解像度やコンテンツ領域１０２の範囲が異なる携帯端末装置でアプリケーションの検査を行うことができる。

なお、タップすべき位置の文字列を認識することなくアプリケーション検査プログラムが携帯端末装置１のコンテンツ領域あるいは非コンテンツ領域に関する情報を取得する方法としては、例えば、アプリケーション検査プログラムがコンテンツ領域１０２を演算（ステータスバー１０１ａ、タイトルバー１０１ｂ、ナビゲーションバー１０１ｃのｙ方向の長さを算出してディスプレイ画面のｙ方向の長さから減算する等）によって求めることが考えられる。しかし、コンテンツ領域１０２を演算で求めれば、演算にかかる時間の分だけアプリケーションの実行処理速度が低下する。また、ＯＳが異なる携帯端末装置（例えばａｎｄｒｏｉｄ（登録商標）とｉｐｈｏｎｅ（登録商標））のコンテンツ領域を取得するためには、アプリケーション検査装置が各ＯＳに応じたコマンドを用意しなければならない。
本実施形態は、指定画像から直接操作点の座標を得ることができる。このため、アプリケーション検査プログラムがコンテンツ領域１０２を演算で求める必要がなく、高い実行処理速度を得ることができる。また、ＯＳが異なる携帯端末装置に対しても、１つのテストシナリオで対応することができる。

［アプリケーション検査プログラム］
図７は、本実施形態のアプリケーション検査プログラムを説明するためのフローチャートである。図７に示したアプリケーション検査プログラムは、ＰＣ２が携帯端末装置１としての端末β上でアプリケーションを検査する例を示す。図示したように、本実施形態のアプリケーション検査プログラムでは、携帯端末装置１のディスプレイ画面１０からディスプレイ画面１０に表示されている画像を表す画像データがＰＣ２に送信されてくる。ＰＣ２において、画像キャプチャー部２０１は、画像データによって形成される画像をキャプチャーする(ステップＳ６１)。

指定画像検索部２０２は、例えば、テストシナリオ２０６から端末βにおけるＯＣＲ範囲４０を判定する(ステップＳ６２)。ＯＣＲ範囲４０は、例えば、ディスプレイ画面１０の上下数センチずつの範囲をディスプレイ画面１０から除いた範囲として設定される。また、指定画像検索部２０２は、ＯＣＲ範囲４０から指定文字列である「カード登録」の文字列を検索する（ステップＳ６３）。

指定画像範囲算出部２０３は、「カード登録」の文字列の表示範囲を特定する（切り出す：ステップＳ６４）。そして、「カード登録」を囲む図６に示した矩形５０を設定し、矩形５０の４つの頂点の座標を、切り出された「カード登録」の文字列の座標として算出する（ステップＳ６５）。
操作点算出部２０４は、図６に示した矩形５０の２つの対角線の交点の座標を算出する（ステップＳ６６）。そして、算出された座標を操作点出力部２０５に出力する。操作点出力部２０５は、操作点算出部２０４によって算出された座標を、端末βを特定するための番号、タップ速度及び押下間隔と共に端末βに出力する（ステップＳ６７）。

以上説明した本実施形態によれば、テストシナリオ２０６には予めタップしたい指定画像だけを登録しておき、指定画像の座標を自動的に検出してタップすべき座標を検出することができる。このため、１つのテストシナリオ２０６を使って様々な仕様のコンテンツ領域１０２のタップすべき位置を特定することができる。このような本実施形態のアプリケーションテスト装置は、１つのテストシナリオ２０６を使って解像度が異なる様々なコンテンツ領域１０２上でアプリケーションを検査することができる。

［比較例］
次に、以上説明した本実施形態の効果を説明するため、公知のアプリケーション検査装置を本実施形態の比較例として説明する。
公知のアプリケーションの自動的な検査では、「カード登録」の文字列上の点の座標がテストシナリオに書き込まれている。テストシナリオに書き込まれた座標は、ｘ座標がコンテンツ領域におけるｘ方向の画素の個数で表され、ｙ座標がコンテンツ領域におけるｙ方向の画素の個数で表される。このため、コンテンツ領域上の座標は、コンテンツ領域の解像度に応じて変化する。比較例として挙げた公知のアプリケーション検査装置は、解像度の違いによる座標の相違を吸収するためにテストシナリオに書き込まれた座標の変換を行っている。

図８（ａ）、（ｂ）、（ｃ）は、解像度が異なるコンテンツ領域を有する携帯端末装置を示した図である。なお、図８において、本発明の実施形態で説明した構成と同様の構成については同様の符号を付し、その説明を一部略すものとする。
図８（ａ）、（ｂ）、（ｃ）に示した例では、図８（ａ）に示した携帯端末装置１ａのコンテンツ領域１０２ａが基準コンテンツ領域となる。コンテンツ領域１０２ａの解像度（ｘ方向の解像度×ｙ方向の解像度で表す）は、１２８０ｄｐｉ×７２０ｄｐｉである。図８（ｂ）に示した携帯端末装置７ｂの解像度は９６０ｄｐｉ×４８０ｄｐｉ、図８（ｃ）に示した携帯端末装置７ｃの解像度は１９２０ｄｐｉ×１０８０ｄｐｉである。コンテンツ領域１０２ａ上の点の座標（ｘａ，ｙａ）は、携帯端末装置７ｂのコンテンツ領域７０２ｂ上において、以下の式（１）、（２）によって座標（ｘｂ，ｙｂ）に変換される。

ｘｂ＝ｘａ／１２８０×９６０ 式（１）
ｙｂ＝ｙａ／７２０×４８０ 式（２）
また、携帯端末装置１ａのコンテンツ領域１０２ａ上の点の座標（ｘａ，ｙａ）は、携帯端末装置７ｃのコンテンツ領域７０２ｃ上において、以下の式（３）、（４）によって座標（ｘｃ，ｙｃ）に変換される。
ｘｃ＝ｘａ／１２８０×１９２０ 式（３）
ｙｃ＝ｙａ／７２０×１０８０ 式（４）

上述した比較例によれば、コンテンツ領域１０２ａ上の座標をコンテンツ領域７０２ａ、７０２ｂの解像度に合わせて変換することが必要になる。このため、シナリオを実行する毎にアプリケーションの検査が行われる携帯端末装置に合わせて座標変換をすることが必要となって、演算にかかる負荷が大きくなる。このような公知技術に対し、本実施形態は、指定画像と一致する一致画像を検出することによってタップすべき位置を特定することができる。このため、本実施形態は、公知技術よりも座標変換に係る演算量を軽減することができる。

また、図８に示した公知技術は、基準表示画面の非コンテンツ領域と検査に使用される携帯端末装置のディスプレイ画面上の非コンテンツ領域との相違について一切考慮していない。このため、公知技術では、携帯端末装置１ａと例えば携帯端末装置７ｂとでコンテンツ領域の範囲が相違していると、ＰＣ２がテストシナリオに書き込まれている携帯端末装置１ａの座標をタップするように携帯端末装置７ｂに指示した場合、携帯端末装置７ｂにおいて意図した座標をタップすることができない。
これに対し、本実施形態は、「カード登録」等の指定画像からタップすべき位置を特定する。このため、本実施形態は、携帯端末装置１のコンテンツ領域の範囲に関わらず、コンテンツ領域上でタップするべき座標を特定することができる。

本発明は、コンピュータプログラムとして具体化することができる。例えば、本発明は、画像キャプチャー部２０１、指定画像検索部２０２、指定画像範囲算出部２０３及び操作点算出部２０４、操作点出力部２０５として、コンピュータを機能させるアプリケーション検査プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。

以上説明した本発明は、ディスプレイ画面上でタッチパネル方式で操作が行われる情報端末装置上でアプリケーションが動作するかを自動的に検査するシステムに適用される。

１，１ａ，１ｂ，７ｂ，７ｃ：携帯端末装置（請求項１：情報端末装置）
１０：ディスプレイ画面（請求項１：ディスプレイ画面）
４０：ＯＣＲ範囲
５０：矩形（請求項４：矩形形状）
１０１ａ：ステータスバー
１０１ｂ：タイトルバー
１０１ｃ：ナビゲーションバー
１０２，１０２ａ，１０２ｂ，７０２ｂ，７０２ｃ：コンテンツ領域
２０１：画像キャプチャー部（請求項１：画像キャプチャー部）
２０２：指定画像検索部（請求項１：指定画像検索部）
２０３：指定画像範囲算出部（請求項１：指定画像範囲算出部）
２０４：操作点算出部（請求項１：操作点算出部）
２０５：操作点出力部（請求項１：操作点出力部）
２０６：テストシナリオ

Claims (4)

1. 情報端末装置に対して操作を指示し、前記情報端末装置上で動作するアプリケーションを検査するアプリケーション検査装置であって、
   前記情報端末装置のディスプレイ画面に表示された画像をキャプチャーする画像キャプチャー部と、
   前記画像キャプチャー部によってキャプチャーされたキャプチャー画像から、指定された指定画像と一致する一致画像を検索する指定画像検索部と、
   前記指定画像検索部の検索の結果得られた前記一致画像の範囲を算出する指定画像範囲算出部と、
   前記指定画像範囲算出部によって算出された範囲から、前記一致画像上において操作を行う操作点を算出する操作点算出部と、
   前記操作点算出部によって算出された操作点の位置を示す位置情報を前記情報端末装置に出力する操作点出力部と、を有し、
   前記指定画像範囲算出部は、前記一致画像の範囲を矩形形状の範囲として検出し、
   前記操作点算出部は、前記矩形形状の２つの対角線の交点を前記操作点とすること
   を特徴とするアプリケーション検査装置。
2. 前記指定画像検索部は、
   前記キャプチャー画像の前記ディスプレイ画面においてコンテンツが表示されるコンテンツ領域の少なくとも一部を前記指定画像の検索対象とすることを特徴とする請求項１に記載のアプリケーション検査装置。
3. 前記指定画像として文字列を対象とし、前記指定画像検索部は、指定された配置方向に配置された文字列を検索することを特徴とする請求項２に記載のアプリケーション検査装置。
4. 情報端末装置に対して操作を指示し、前記情報端末装置上で動作するアプリケーションを検査するアプリケーション検査プログラムであって、
   情報端末装置のディスプレイ画面に表示された画像をキャプチャーする画像キャプチャー機能と、
   前記画像キャプチャー機能によってキャプチャーされたキャプチャー画像から、指定された指定画像と一致する一致画像を検索する指定画像検索機能と、
   前記指定画像検索機能の検索の結果得られた前記一致画像の範囲を算出する指定画像範囲算出機能と、
   前記指定画像範囲算出機能によって算出された範囲から、前記一致画像上において操作を行う操作点を算出する操作点算出機能と、
   前記操作点算出機能によって算出された操作点の位置を示す位置情報を情報端末装置に出力する操作点出力機能と、 をコンピュータに実行させ、
   前記指定画像範囲算出機能は、前記一致画像の範囲を矩形形状の範囲として検出し、
   前記操作点算出機能は、前記矩形形状の２つの対角線の交点を前記操作点とすること
   を特徴とするアプリケーション検査プログラム。

Images