JP4441332B2 - 画面判定装置および画面判定方法 - Google Patents

Description

本発明は、グラフィックユーザインターフェイスを有する電子機器の操作試験に、好適に用いることができる画面判定装置および画面判定方法に関する。

グラフィックユーザインターフェイスを有する電子機器である携帯電話機には、多数の操作ボタンが設けられている。操作者は、目的に応じて適宜、操作ボタンを操作する。操作ボタンは、単に電話をかけるためのダイアリングに用いられるだけでなく、種々の設定のためにも用いられる。近年の携帯電話機は、多様かつ複雑な設定が可能となっている。

そのため、携帯電話機の製造者は、携帯電話機が、操作ボタンの操作によって、設計通りに動作するか否かを、出荷前に試験しておく必要がある。このような操作試験にあたっては、携帯電話機によって表示される画面と、予め設計された表示されるべき画面とが一致するか否かを判定する。

第１の従来の技術は、特許文献１に記載されている。この従来の技術では、操作試験にあたって、携帯電話機によって表示される画面と、予め設計された表示されるべき画面とが一致するか否かを、作業者が目視によって判定する。このような従来の技術では、目視による判定作業があるので、作業者の負担となるという問題がある。

第２の従来の技術は、前記第１の従来の技術と同様、特許文献１に記載されている。この従来の技術では、カメラによって撮像した携帯電話機のＬＣＤパネルの画像と、予め作成された期待値画像とを、画像の自動認識ソフトウェアなどを用いて、比較判定する。前記ＬＣＤパネルの画像は撮像した画像であり、期待値画像は作成した画像であるので、前記ＬＣＤパネルの画像と期待値画像とでは、解像度および色合いが異なる、また、前記ＬＣＤパネルの画像は、期待値画像に対してゆがんでいる。したがって、この従来の技術では、本来、一致と判定すべきであるにもかかわらず、不一致と判定してしまうことが多く、前記一致するか否かを正確に判定することができないという問題がある。

第３の従来の技術は、第２の従来の技術に類似する。この従来の技術では、評価対象となるすべての期待する画像を、カメラによる撮像によって準備し、期待値画像に代えて、カメラによる撮像によって得られた画像を用いる。このような第３の従来の技術は、前記第１および第２の従来の技術の問題を解決することができるけれども、評価対象となるすべての期待する画像を、カメラによる撮像によって準備する必要があるので、手間がかかるという問題がある。

特開２００１−２６８２０２号公報

本発明の目的は、判定結果が正確であり、かつ目視を必要とせず、手間を軽減することができる画面判定装置および画面判定方法を提供することである。

本発明は、基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データに基づいて、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成する画像部分データ生成手段と、
前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像を表す期待画像データを生成する期待画像データ生成手段と、
対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データと前記期待画像データとに基づいて、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定する判定手段とを含むことを特徴とする画面判定装置である。

また本発明は、前記判定手段は、対象画面撮像画像の全領域のうち、前記一致するか否かを判定すべき判定領域を特定して、その判定領域において、対象画面撮像画像と期待画像とが相互に一致するか否かを判定することを特徴とする。

また本発明は、前記基準機器および対象機器は、グラフィックユーザインターフェイスを有する携帯型の電子機器であることを特徴とする。

また本発明は、基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データに基づいて、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成し、
前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像を表す期待画像データを生成し、
対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データと前記期待画像データとに基づいて、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定することを特徴とする画面判定方法である。

また本発明は、前記画面判定方法をコンピュータに実行させるためのプログラムである。

本発明によれば、画像部分データ生成手段によって、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成する。期待画像データ生成手段によって、前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像データを生成する。そして判定手段によって、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定する。このように判定手段によって、前記一致するか否かが判定されるので、作業者の目視による判定作業が不要であり、作業者の負担を軽減することができる。

対象画面撮像画像は、対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データが表す画像である。また基準画面撮像画像は、基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データが表す画像であり、期待画像は、前記基準画面撮像画像から得られる画像である。換言すると、対象画面撮像画像および期待画像は、いずれも撮像によって得られる撮像データが表す画像である。それ故、対象画面撮像画像と期待画像とで、解像度および色合いを同じにすることができ、さらに撮像に伴う歪みも同じにすることができる。したがって対象画面撮像画像と期待画像とが相互に一致するか否かを、正確に判定することができる。

また画像部分は、基準画面撮像画像を分解することによって得られ、期待画像は、画像部分の表示位置に関する表示位置情報に基づいて、１または複数の画像部分を展開して作成される。換言すると、画像部分の組み合せおよび位置によって、所望の期待画像を作成することができる。それ故、複数の対象画面撮像画像に対応する複数の期待画像を作成するにあたっては、各期待画像に含まれるべき画像部分がすべて揃えばよく、複数の対象画面に対応する複数の基準画面をそれぞれ撮像する必要はない。したがって、基準画面の撮像にかかる手間を軽減することができる。

また本発明によれば、対象画面撮像画像の判定領域を特定して、この判定領域において、対象画面撮像画像と期待画像とが相互に一致するか否かを判定する。このように前記一致するか否かを判定すべき判定領域を特定するので、期待画像を構成する画像部分の数を必要最小限に抑えることができる。したがって期待画像の作成に要する処理量を低減することができる。

また本発明によれば、基準機器および対象機器は、グラフィックユーザインターフェイスを有する携帯型の電子機器である。携帯型の電子機器は、小形の表示部を有する。携帯型の電子機器は、表示部が小さいので、多くの内容を表示部に表示するために、操作者の操作にともなって、画面を切り替える必要がある。本発明は、このような携帯型の電子機器によって表示される画面が、設計通りに切り替わっているか否かの判定に好適に用いることができる。

また本発明によれば、まず、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成する。次に、前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像データを生成する。そして、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定する。

対象画面撮像画像は、対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データが表す画像である。また基準画面撮像画像は、基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データが表す画像であり、期待画像は、前記基準画面撮像画像から得られる画像である。換言すると、対象画面撮像画像および期待画像は、いずれも撮像によって得られる撮像データが表す画像である。それ故、対象画面撮像画像と期待画像とで、解像度および色合いを同じにすることができ、さらに撮像に伴う歪みも同じにすることができる。したがって対象画面撮像画像と期待画像とが相互に一致するか否かを、正確に判定することができる。

また画像部分は、基準画面撮像画像を分解することによって得られ、期待画像は、画像部分の表示位置に関する表示位置情報に基づいて、１または複数の画像部分を展開して作成される。換言すると、画像部分の組み合せおよび位置によって、所望の期待画像を作成することができる。それ故、複数の対象画面撮像画像に対応する複数の期待画像を作成するにあたっては、各期待画像に含まれるべき画像部分がすべて揃えばよく、複数の対象画面に対応する複数の基準画面をそれぞれ撮像する必要はない。したがって、基準画面の撮像にかかる手間を軽減することができる。

また本発明によれば、前述の画面判定方法を、プログラムとして提供することができる。

図１は、本発明の実施の一形態の画面判定装置１の構成を示すブロック図である。本実施の形態の画面判定装置１は、グラフィックユーザインターフェイスを有する携帯型の電子機器の操作試験に、好適に用いることができる。本実施の形態では、前記携帯型の電子機器として、携帯電話機を想定して説明する。本実施の形態において、グラフィックユーザインターフェイスとは、グラフィックスの画像部品を使って設計されたユーザーインターフェイスを意味する。

携帯電話機は、操作者によって操作される操作部と、画面を表示する表示部とを有する。携帯電話機は、操作者による操作部の操作によって、表示部に表示される画面が切り替わる。携帯電話機は、表示部が小さい。このような携帯電話機では、多くの項目を表示部に表示するために、操作者の操作によって、項目を移動させることができる。また携帯電話機では、操作者の操作によって、画面を切り替えることができる。

一例として述べると、複数の選択項目を含む選択メニューを示す画面が表示部に表示されているときに、操作者による操作部の操作によって、前記複数の選択項目のいずれか１つが選択されて決定されると、表示部の画面は、前記選択メニューを示す画面から、選択された選択項目に応じた画面に切り替わる。

本実施の形態の画面判定装置１は、このような携帯電話機によって表示される画面が、設計通りに切り替わっているか否かの判定に、好適に用いることができる。携帯電話機の操作試験では、試験されるべき対象機器となる携帯電話機の操作部に対して、所定の一連の操作を行ったときに、その携帯電話機の表示部に表示される画面が、設計時に予定されている画面と一致するか否かを判定する。そして、一致するとき、その携帯電話機は合格とし、一致しないとき、その携帯電話機は不合格とする。

図２は、自動検証システム１０１のブロック図である。携帯電話機の操作試験には、自動検証システム１０１が用いられる。自動検証システム１０１は、撮像装置１０２、操作装置１０３およびコンピュータ１０４を含む。

撮像装置１０２は、カメラを有し、携帯電話機の表示部に表示される画面をカメラによって撮像して、撮像データを生成する。操作装置１０３は、携帯電話機の操作部を操作する。コンピュータ１０４は、撮像装置１０２と操作装置１０３とを、関連して動作するように制御するとともに、撮像装置１０２による撮像データに基づいて、携帯電話機の合格／不合格を判定して、判定結果を出力する。

図３は、製品開発の初期段階における画面設計書情報２を示す図である。図４は、製品開発の評価段階における画面設計書情報３を示す図である。製品開発の設計段階では、開発者によって、画面設計書が作成される。このときに、開発者によって、画像部品が定義される。画像部品は、携帯電話機の表示部に表示される画面の少なくとも一部を構成する。この画像部品は、ピクトとも呼ばれる。

製品開発の初期段階では、画像部品のデザインなどがまだ決定されていない。このような段階では、画像部品の具体的な形状は「未定」としている。あるいは、このような段階では、過去の製品から流用した画像部品の形状を、仮形状として使用している。

製品開発の初期段階における画面設計書情報２は、図３に示すように、画像部品の名称である画像名に関する画像名情報６と、画像部品の仮形状に関する仮形状情報７と、画像部品の表示位置に関する表示位置情報８とを含む。画像名情報６、仮形状情報７および表示位置情報８は、相互に関連付けられている。前記表示位置情報８は、画像部品の左上の点の座標を示す左上座標情報８ａと、画像部品の右下の点の座標を示す右下座標情報８ｂとを含む。

本実施の形態において、上下および左右は、操作者が携帯電話機の表示部を目視しながらその携帯電話機の操作部を操作する使用状態において、操作者から見た上下および左右を意味する。また本実施の形態では、携帯電話機における表示部の表示面は矩形であり、この表示面内で座標（ｘ，ｙ）が定義されている。原点（０，０）は、表示部の表示面の最も左寄りかつ最も上寄りの点であり、ｘ軸は原点を通り左右方向に延び、ｙ軸は原点を通り上下方向に延びる。

製品開発が進み、試験用の実機を使用した評価段階では、すべての画像部品のデザインが決定され、画像部品の形状および表示位置などが画面設計書通りにプログラミングされている。製品開発の評価段階における画面設計書情報３は、画像部品の名称である画像名に関する画像名情報１０と、画像部品の形状に関する形状情報１１と、画像部品の表示位置に関する表示位置情報１２とを含む。画像名情報１０、形状情報１１および表示位置情報１２は、相互に関連付けられている。前記表示位置情報１２は、画像部品の左上座標を示す左上座標情報１２ａと、画像部品の右下座標を示す右下座標情報１２ｂとを含む。

図１を再び参照して、本実施の形態の画面判定装置１は、画像部分データ生成手段１５と、期待画像データ生成手段１６と、判定手段１７とを含む。この画像判定装置１は、前記自動検証システム１０１のコンピュータ１０４によって実現される。

前記画像部分データ生成手段１５は、基準画面撮像データ２１と前記画面設計書情報３とに基づいて、画像部分データを生成する。基準画面撮像データ２１は、基準機器となる携帯電話機によって表示される基準画面を撮像することによって得られる。本実施の形態では、前記基準画面は、自動検証システム１０１に含まれる撮像装置１０２のカメラによって撮像される。

画像部分データ生成手段１５は、基準画面撮像データ２１が表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成する。このとき、画像部分データ生成手段１５は、画面設計書情報３に基づいて、基準画面撮像画像における画像部分を特定する。詳しくは、画像部分データ生成手段１５は、画面設計書情報３に含まれる画像名情報１０および表示位置情報１２に基づいて、基準画面撮像画像における画像部分を特定する。画像部分は、後述の一致するか否かの判定において、比較されるべき特徴部分である。

画像部分データ生成手段１５は、画像部分データを生成した後、生成した画像部分データをコンピュータ１０４の記憶装置２３に保存する。このとき、画像部分データ生成手段１５は、画像部分データに、ファイル名を付ける。ファイル名は、画像部品が表示されている場合と表示されていない場合とで区別して付ける。

また画像部分データ生成手段１５は、ファイル名に関するファイル名情報と、規定表示位置に関する規定表示位置情報とを、相互に関連付けて記憶装置２３に保存する。本実施の形態では、規定表示位置情報として、画面設計書情報３に含まれる表示位置情報１２のうち、左上座標情報１２ａが選ばれる。以下、画像部分データ、ファイル名情報および規定表示位置情報を含む情報を、画像部分関連情報２４ということがある。

図５は、画像部品が表示された基準画面撮像画像２６を示す図である。図６は、基準画面撮像画像２６において特定される画像部分２７を示す図である。図７は、図５に示す基準画面撮像画像２６について、記憶装置２３に保存される画像部分関連情報２４ａを示す図である。

画像部分データ生成手段１５は、図５に示す基準画面撮像画像２６に対して、たとえば図６において矩形の枠２８で囲んだ画像部分２７を特定して、画像部分データを生成する。基準画面撮像画像２６における画像部分２７の位置は、基準画面撮像画像２６における画像部品の位置に相当する。

画像部分データ生成手段１５は、画像部品が表示された基準画面撮像画像２６を表す基準画面撮像データ２１から生成した画像部分データを記憶装置２３に保存するとき、画像部分データに、「画像名−ON」というファイル名を付ける。一例として述べると、ショートカットピクトの場合、画像部分データ生成手段１５は、画像部分データには、「Shortcut-ON」というファイル名を付ける。また画像部分データ生成手段１５は、ファイル名情報２９と、規定表示位置情報３０とを、相互に関連付けて記憶装置２３に保存する。このようにして、画像部分データ２７ａ、ファイル名情報２９および規定表示位置情報３０を、画像部分関連情報２４ａとして記憶装置２３に保存する。

図８は、画像部品が表示されていない基準画面撮像画像３１を示す図である。図９は、基準画面撮像画像３１において特定される画像部分３２を示す図である。図１０は、図８に示す基準画面撮像画像３１について、記憶装置２３に保存される画像部分関連情報２４ｂを示す図である。

画像部分データ生成手段１５は、図８に示す基準画面撮像画像３１に対して、たとえば図９において矩形の枠３３で囲んだ画像部分３２を特定して、画像部分データを生成する。基準画面撮像画像３１における画像部分３２の位置は、基準画面撮像画像３１における画像部品の位置に相当する。

画像部分データ生成手段１５は、画像部品が表示されていない基準画面撮像画像３１を表す基準画面撮像データ２１から生成した画像部分データを記憶装置２３に保存するとき、画像部分データに、「画像名−OFF」というファイル名を付ける。一例として述べると、ショートカットピクトの場合、画像部分データ生成手段１５は、画像部分データには、「Shortcut-OFF」というファイル名を付ける。また画像部分データ生成手段１５は、ファイル名情報３４と、規定表示位置情報３５とを、相互に関連付けて記憶装置２３に保存する。このようにして、画像部分データ３２ａ、ファイル名情報３４および規定表示位置情報３５を、画像部分関連情報２４ｂとして記憶装置２３に保存する。

図１１は、期待画像構成情報４１を示す図である。図１２は、期待画像４２を示す図である。図１３は、マスク構成情報４３を示す図である。前記期待画像データ生成手段１６は、期待画像構成情報４１と前記画像部分関連情報２４とに基づいて、期待画像データを生成する。

期待画像構成情報４１は、開発者によって、予め作成される。期待画像構成情報４１は、画像部品の名称である画像名に関する画像名情報４５と、画像部品の表示状態に関する表示状態情報４６と、画像部品の表示位置に関する表示位置情報４７と、判定の要／不要に関する判定要／不要情報４８とを含む。画像名情報４５、表示状態情報４６、表示位置情報４７および判定要／不要情報４８は、相互に関連付けられている。

前記表示状態情報４６は、画像部品を表示するか否かを示す。前記表示位置情報４７は、画像部品の左上の座標を示す左上座標情報である。前記判定要／不要情報４８は、後述の一致するか否かの判定が必要か否かを示す。

期待画像データ生成手段１６は、期待画像構成情報４１に基づいて、ファイル名に関するファイル名情報を生成する。詳しくは、期待画像データ生成手段１６は、期待画像構成情報４１に含まれる画像名情報４５および表示状態情報４６に基づいて、後述の一致するか否かの判定に用いる画像部分データのファイル名に関するファイル名情報を作成する。このとき、期待画像データ生成手段１６は、期待画像構成情報４１に含まれる判定要／不要情報４８に基づいて、後述の一致するか否かの判定が必要な画像部分データのファイル名に関するファイル名情報だけを生成する。

また期待画像データ生成手段１６は、期待画像構成情報４１から、後述の一致するか否かの判定に用いる画像部分データの表示位置情報を抽出する。このとき、期待画像データ生成手段１６は、期待画像構成情報４１に含まれる判定要／不要情報４８に基づいて、後述の一致するか否かの判定が必要な画像部分データの表示位置情報だけを抽出する。

画像部品には、固定位置の画像部品と、浮動位置の画像部品とがある。固定位置の画像部品は、規定表示位置だけに表示される画像部品である。浮動位置の画像部品は、規定表示位置以外の位置にも表示される画像部品である。固定位置の画像部品については、期待画像構成情報４１における表示位置情報４７は、表示位置が規定表示位置であることを示す情報である。浮動位置の画像部品については、期待画像構成情報４１における表示位置情報４７は、具体的な座標を示す情報である。

期待画像データ生成手段１６は、前述のように、期待画像構成情報４１から、前記表示位置情報を抽出するとき、固定位置の画像部品については、画像部分関連情報２４を参照して、表示位置が規定表示位置であることを示す情報を、規定表示位置の座標を示す情報に置換する。一例として述べると、ショートカットピクトは、固定位置の画像部品であり、このショートカットピクトについては、期待画像構成情報４１の表示位置情報４７は、表示位置が規定表示位置であることを示す情報である。期待画像データ生成手段１６は、ショートカットピクトについては、画像部分関連情報２４を参照して、表示位置が規定表示位置であることを示す情報を、ショートカットピクトの規定表示位置の座標（７７，０）を示す情報に置換する。

さらに期待画像データ生成手段１６は、前記生成したファイル名情報と、前記抽出した表示位置情報とに基づいて、画像部分データを、その画像部分データの表示位置情報に基づく表示位置に展開するとともに、後述の判定手段１７がマスクデータを生成するために必要な判定位置情報を、マスク構成情報４３として順次、記憶装置２３に保存する。

マスク構成情報４３は、ファイル名に関するファイル名情報５１と、判定位置に関する判定位置情報５２とを含む。ファイル名情報５１および判定位置情報５２は、相互に関連付けられている。前記判定位置情報５２は、判定領域の左上の座標を示す左上座標情報５２ａと、判定領域の右下の座標を示す右下座標情報５２ｂとを含む。

期待画像データ生成手段１６は、前述のようにして、後述の一致するか否かの判定が必要なすべての画像部分データを展開して、図１２に示すような期待画像４２を作成して、期待画像４２を表す期待画像データを生成する。期待画像データ生成手段１６は、期待画像データを生成した後、生成した期待画像データを記憶装置２３に保存する。以下、期待画像データおよびマスク構成情報４３を含む情報を、期待画像関連情報５３ということがある。

図１４は、マスク５６を示す図である。図１５は、マスクされた対象画面撮像画像５７の作成を説明するための図である。図１６は、マスクされた対象画面撮像画像５７と期待画像４２とが一致するか否かの判定を説明するための図である。

前記判定手段１７は、対象画面撮像データ５８と前記期待画像関連情報５３とに基づいて、対象画面撮像データ５８が表す対象画面撮像画像５９と期待画像データが表す期待画像４２とが相互に一致するか否かを判定する。対象画面撮像データ５８は、対象機器となる携帯電話機によって表示される対象画面を撮像することによって得られる。本実施の形態では、前記対象画面は、自動検証システム１０１に含まれる撮像装置１０２のカメラによって撮像される。

判定手段１７は、記憶装置２３に保存されている期待画像関連情報５３に基づいて、マスクデータを生成する。判定手段１７は、期待画像関連情報５３に含まれるマスク構成情報４３のうち、すべての判定位置情報を用いて、前記一致するか否かを判定すべき判定領域６１を特定するマスク５６を表すマスクデータを生成する。

また判定手段１７は、対象画面撮像データ５８およびマスクデータに基づいて、対象画面撮像画像５９にマスク５６を重ね合わせ、マスクされた対象画面撮像画像５７を作成する。このようにして、判定手段１７は、対象画面撮像画像５９の全領域のうち、前記一致するか否かを判定すべき判定領域６１を特定する。

さらに判定手段１７は、マスクされた対象画面撮像画像５７と期待画像４２とが一致するか否かを判定する。換言すると、判定手段１７は、判定領域６１において、対象画面撮像画像５９と期待画像４２とが相互に一致するか否かを判定する。このとき、判定手段１７は、対象画面撮像画像５７および期待画像４２に対して、各画素毎に濃度値の差分を取り、差分を合計した結果が予め定める範囲内であるとき一致すると判定し、それ以外のときは、一致しないと判定する。そして判定手段１７は、判定結果６２を出力する。

自動検証システム１０１では、画面判定装置１の判定手段１７による判定結果６２に応じて、合格／不合格の評価結果を出力する。自動検証システム１０１では、すべての判定領域６１において一致した場合だけ合格という評価を出力し、判定領域６１のいずれか一ヶ所でも不一致であった場合は不合格という評価を出力する。

図１７は、画面判定装置１を用いた画面判定方法を説明するためのフローチャートである。この画面判定方法は、プログラムとして提供することができる。画面判定方法をコンピュータ１０４に実行させるためのプログラムは、前記コンピュータ１０４に予め記憶されている。

画面判定処理の開始指令が与えられると、ステップａ１で、画面判定装置１は画面判定処理を開始して、ステップａ２に進む。

ステップａ２で、画面判定装置１の画像部分データ生成手段１５は、基準機器となる携帯電話機によって表示される基準画面を撮像することによって得られる基準画面撮像データに基づいて、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成して、ステップａ３に進む。

ステップａ３で、画面判定装置１の期待画像データ生成手段１６は、前記画像部分データに基づいて、画像部分データが表す１または複数の画像部分を用いて期待画像を作成して、期待画像を表す期待画像データを生成して、ステップａ４に進む。

ステップａ４で、画面判定装置１の判定手段１７は、対象機器となる携帯電話機によって表示される対象画面を撮像することによって得られる対象画面撮像データと前記期待画像データとに基づいて、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定して、ステップａ５に進む。ステップａ５で、画面判定装置１は画面判定処理を終了する。

以上のような本実施の形態によれば、画像部分データ生成手段１５によって、基準画面撮像データ２１が表す基準画面撮像画像２６，３１を、その基準画面撮像画像２６，３１の少なくとも一部を構成する画像部分２７，３２に分解して、画像部分２７，３２を表す画像部分データ２７ａ，２７ｂを生成する。期待画像データ生成手段１６によって、前記画像部分データ２７ａ，２７ｂが表す１または複数の画像部分２７，３２を用いて期待画像４２を作成して、期待画像データを生成する。そして判定手段１７によって、対象画面撮像データ５８が表す対象画面撮像画像５９と、期待画像データが表す期待画像４２とが相互に一致するか否かを判定する。このように判定手段１７によって、前記一致するか否かが判定されるので、作業者の目視による判定作業が不要であり、作業者の負担を軽減することができる。

対象画面撮像画像５９は、対象機器となる携帯電話機によって表示される対象画面を撮像することによって得られる対象画面撮像データ５８が表す画像である。また基準画面撮像画像２６，３１は、基準機器となる携帯電話機によって表示される基準画面を撮像することによって得られる基準画面撮像データ２１が表す画像であり、期待画像４２は、前記基準画面撮像画像２６，３１から得られる画像である。換言すると、対象画面撮像画像５９および期待画像４２は、いずれも同じ撮像装置１０２による撮像データが表す画像である。それ故、対象画面撮像画像５９と期待画像４２とで、解像度および色合いを同じにすることができ、さらに撮像に伴う歪みも同じにすることができる。したがって対象画面撮像画像５９と期待画像４２とが相互に一致するか否かを、正確に判定することができる。

また画像部分２７，３２は、基準画面撮像画像２６，３１を分解することによって得られ、期待画像４２は、１または複数の画像部分２７，３２を用いて作成される。換言すると、画像部分２７，３２の組み合せおよび位置によって、所望の期待画像４２を作成することができる。それ故、複数の対象画面撮像画像５９に対応する複数の期待画像４２を作成するにあたっては、各期待画像４２に含まれるべき画像部分２７，３２がすべて揃えばよく、複数の対象画面に対応する複数の基準画面をそれぞれ撮像する必要はない。したがって、基準画面の撮像にかかる手間を軽減することができ、画面判定作業の効率化を図ることができる。

また本実施の形態によれば、対象画面撮像画像５９の判定領域を特定して、この判定領域において、対象画面撮像画像５９と期待画像４２とが相互に一致するか否かを判定する。このように前記一致するか否かを判定すべき判定領域を特定するので、期待画像４２を構成する画像部分２７，３２の数を必要最小限に抑えることができる。したがって期待画像４２の作成に要する処理量を低減することができる。

また本実施の形態によれば、画像部分データ生成手段１５は、画像部品が表示された基準画面撮像画像２６についてだけ画像部分２７に分解するのではなく、画像部品が表示されていない基準画面撮像画像３１についても画像部分３２に分解して、画像部分データを生成する。したがって本実施の形態の画面判定装置１は、画像部品が表示されないことが期待される場合にも適用することができ、汎用性を向上することができる。

前述の実施の形態は、本発明の例示に過ぎず、本発明の範囲内において構成を変更することができる。たとえば前記携帯型の電子機器は、簡易型携帯電話機（Personal
Handyphone System、略称ＰＨＳ）であってもよく、また携帯情報端末装置（Personal
Digital Assistant、ＰＤＡ）であってもよい。また電子機器は、必ずしも携帯型に限定されるものではなく、パーソナルコンピュータなどであってもよい。

また基準機器となる携帯電話機によって表示される基準画面として、開発者の確認用に作成された画像部品一覧表示画面が用いられてもよい。画像部品一覧表示画面は、開発者が複数の画像部品を一覧することができるように、複数の画像部品が並んで表示される画面である。

また前述の実施の形態では、画面設計書情報３に含まれる表示位置情報１２は、左上座標情報１２ａおよび右下座標情報１２ｂを含むけれども、本発明の実施の他の形態では、前記表示位置情報１２は、左上座標情報１２ａおよび右下座標情報１２ｂのいずれか一方に代えて、画像部品の大きさを示す情報を含んでもよい。

本発明の実施の一形態の画面判定装置１の構成を示すブロック図である。 自動検証システム１０１のブロック図である。 製品開発の初期段階における画面設計書情報２を示す図である。 製品開発の評価段階における画面設計書情報３を示す図である。 画像部品が表示された基準画面撮像画像２６を示す図である。 基準画面撮像画像２６において特定される画像部分２７を示す図である。 図５に示す基準画面撮像画像２６について、記憶装置２３に保存される画像部分関連情報２４ａを示す図である。 画像部品が表示されていない基準画面撮像画像３１を示す図である。 基準画面撮像画像３１において特定される画像部分３２を示す図である。 図８に示す基準画面撮像画像３１について、記憶装置２３に保存される画像部分関連情報２４ｂを示す図である。 期待画像構成情報４１を示す図である。 期待画像４２を示す図である。 マスク構成情報４３を示す図である。 マスク５６を示す図である。 マスクされた対象画面撮像画像５７の作成を説明するための図である。 マスクされた対象画面撮像画像５７と期待画像４２とが一致するか否かの判定を説明するための図である。 画面判定装置１を用いた画面判定方法を説明するためのフローチャートである。

符号の説明

１ 画面判定装置
３ 画面設計書情報
１５ 画像部品データ生成手段
１６ 期待画像データ生成手段
１７ 判定手段
２１ 基準画面撮像データ
２４ 画像部品関連情報
２６，３１ 基準画面撮像画像
２７，３２ 画像部分
２７ａ，３２ａ 画像部分データ
４１ 期待画像構成情報
４２ 期待画像
４３ マスク構成情報
５３ 期待画像関連情報
５６ マスク
５７ マスクされた対象画面撮像画像
５８ 対象画面撮像データ
５９ 対象画面撮像画像
６１ 判定領域
６２ 判定結果

Claims (5)

1. 基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データに基づいて、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成する画像部分データ生成手段と、
   前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像を表す期待画像データを生成する期待画像データ生成手段と、
   対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データと前記期待画像データとに基づいて、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定する判定手段とを含むことを特徴とする画面判定装置。
2. 前記判定手段は、対象画面撮像画像の全領域のうち、前記一致するか否かを判定すべき判定領域を特定して、その判定領域において、対象画面撮像画像と期待画像とが相互に一致するか否かを判定することを特徴とする請求項１記載の画面判定装置。
3. 前記基準機器および対象機器は、グラフィックユーザインターフェイスを有する携帯型の電子機器であることを特徴とする請求項１または２記載の画面判定装置。
4. 基準機器によって表示される基準画面を撮像することによって得られる基準画面撮像データに基づいて、基準画面撮像データが表す基準画面撮像画像を、その基準画面撮像画像の少なくとも一部を構成する画像部分に分解して、画像部分を表す画像部分データを生成し、
   前記画像部分データが表す画像部分の表示位置に関する表示位置情報に基づいて、画像部分データが表す１または複数の画像部分を展開して期待画像を作成して、期待画像を表す期待画像データを生成し、
   対象機器によって表示される対象画面を撮像することによって得られる対象画面撮像データと前記期待画像データとに基づいて、対象画面撮像データが表す対象画面撮像画像と、期待画像データが表す期待画像とが相互に一致するか否かを判定することを特徴とする画面判定方法。
5. 請求項４記載の画面判定方法をコンピュータに実行させるためのプログラム。

Images