JP5494156B2 - 評価システム、評価装置、評価方法及び評価プログラム - Google Patents

Description

本発明は、評価対象となる対象機器と、前記対象機器を操作するリモートコントローラと、前記リモートコントローラを制御して前記対象機器を動作させ、前記対象機器の動作を自動評価する評価装置と、を含む評価システム、評価装置、評価方法及び評価プログラムに関する。

従来から、リモートコントローラを用いて機器本体の動作を制御する電子機器が普及されている。このような電子機器では、リモートコントローラによる制御が正しく行えるか否かを検証し、電子機器の動作を評価する必要がある。

この検証及び評価は、従来では、例えば電子機器の評価担当者等がリモートコントローラを実際に操作し、電子機器が操作通りの動作をするか否かを判断するといった具合に、人手により行われていた。しかし、近年ではリモートコントローラによる電子機器の制御が複雑になりつつあり、人手による検証及び評価では膨大な工数がかかるため、検証及び動作の自動化が望まれていた。例えば特許文献１には、手間やコストをかけずに装置を評価することができる評価システム及び評価方法が記載されている。

特開２００２−１８９６１７号公報

上述したように、人手により検証及び評価を行う場合、多大な人員と時間を費やさねばならず、且つリモートコントローラの操作に間違いが生じる虞がある。また、人手により検証及び評価を行う場合、評価対象の電子機器の状態遷移等に係る時間の測定する場合、人がストップウォッチを用いて測定する。したがって正確な時間を測定することが困難である。

さらに、再現性の乏しい不具合があった場合には、検証動作において取得したログを人が解析し、手動でリモートコントローラを操作してこの不具合を再現させる必要がある。この場合、ログの解析に多大な時間を要する上に、手動で忠実に不具合を再現することが困難である。

そこで、例えば市販のツール等で電子機器を制御することが考えられるが、この場合には一方向制御となるため、評価対象の電子機器の状態に合わせた制御や柔軟な制御を行うことができない。また評価対象の電子機器に不具合が発生しても、そのまま動作を継続させてしまう。

本発明は、上記事情を鑑みてこれを解決すべくなされたものであり、検証及び評価に係る工数を削減し、且つ正確な自動評価が可能な評価システム、評価装置、評価方法及び評価プログラムを提供することを目的としている。

本発明は、上記目的を達成するために、以下の如き構成を採用した。

本発明は、評価対象となる対象機器（３００）と、前記対象機器（３００）を操作するリモートコントローラ（４００）と、前記リモートコントローラ（４００）を制御して前記対象機器（３００）を動作させ、前記対象機器（３００）の動作を自動評価する評価装置（２００）と、を含む評価システム（１００）であって、
前記評価装置（２００）は、
前記対象機器（３００）を前記リモートコントローラ（４００）に操作させるためのコードを作成して実行する実行手段（２４０）と、
前記コードを前記リモートコントローラへ送信する送信手段（２３１）と、
前記対象機器が取得したログを受信する受信手段（２３２）と、
前記ログを解析する解析手段（２５０）と、
前記解析手段（２５０）の解析結果に基づき前記対象機器（３００）の動作の正誤判断を行い、前記対象機器（３００）に次の動作を実行させる判断手段（２２５）と、を有する。

また本発明の評価システムにおいて、前記評価装置（２００）は、
前記対象機器（３００）の状態を示す値が記憶された状態記憶手段（２２４）を有し、
前記解析手段（２５０）は、
前記ログから前記対象機器（３００）の状態を示す値を取得し、
前記判断手段（２２５）は、
前記解析手段（２５０）により取得された前記ログに含まれる前記対象機器（３００）の状態を示す値と、前記状態記憶手段（２２４）に記憶された前記対象機器（３００）の状態を示す値とを比較して前記対象機器（３００）の正誤を判断する。

また本発明の評価システムにおいて、前記ログには、前記対象機器（３００）の状態の遷移が開始した時刻と、前記状態の遷移が終了した時刻とを示す時刻情報が含まれており、
前記解析手段（２５０）は、
前記ログから前記時刻情報を取得し、
前記判断手段（２２５）は、前記時刻情報に基づき前記対象機器の状態の遷移に係る時間を計測する。

また本発明の評価システムにおいて、前記評価装置（２００）は、
スクリプトコードをコンパイルして前記リモートコントローラ（４００）に操作させるためのコードを作成するスクリプトコンパイル手段（２２１）を有する。

また本発明の評価システムにおいて、前記評価装置（２００）は、
前記スクリプトコードを作成するスクリプトコード作成手段（２１０）を有する。

また本発明の評価システムにおいて、前記評価装置（２００）は、
前記対象機器（３００）から取得したログを保存するログ保存手段（２６０）と、
前記ログ保存手段（２６０）に保存されたログをスクリプトコードへ変換する変換手段（２７０）を有する。

また本発明の評価システムにおいて、前記評価装置（２００）は、
前記対象機器（３００）の動作パターンに関する情報が記憶されたデータベースを有し、
前記対象機器（３００）は、
前記動作パターンに対応した所定のフォーマットで前記ログを取得する。

本発明は、評価対象となる対象機器（３００）と、前記対象機器（３００）を操作するリモートコントローラ（４００）と、前記リモートコントローラ（４００）を制御して前記対象機器（３００）を動作させ、前記対象機器（３００）の動作を評価する評価装置（２００）であって、
前記対象機器（３００）を前記リモートコントローラ（４００）に操作させるためのコードを作成して実行する実行手段（２４０）と、
前記コードを前記リモートコントローラへ送信する送信手段（２３１）と、
前記対象機器から所定のフォーマットで取得されたログを受信する受信手段（２３２）と、
前記ログを解析する解析手段（２５０）と、
前記解析手段（２５０）の解析結果に基づき前記対象機器（３００）の動作の正誤判断を行い、前記対象機器（３００）に次の動作を実行させる判断手段（２２５）と、を有する。

本発明は、評価対象となる対象機器（３００）と、前記対象機器（３００）を操作するリモートコントローラ（４００）と、前記リモートコントローラ（４００）を制御して前記対象機器（３００）を動作させ、前記対象機器（３００）の動作を評価する評価装置（２００）と、を含む評価システム（１００）による評価方法であって、
前記評価装置（２００）が、
前記対象機器（３００）を前記リモートコントローラ（４００）に操作させるためのコードを作成して実行する実行手順と、
前記コードを前記リモートコントローラ（４００）へ送信する送信手順と、
前記対象機器（３００）が取得したログを受信する受信手順と、
前記ログを解析する解析手順と、
前記解析手順における解析結果に基づき前記対象機器（３００）の動作の正誤判断を行い、前記対象機器（３００）に次の動作を実行させる判断手順と、を有する。

本発明は、評価対象となる対象機器（３００）と、前記対象機器（３００）を操作するリモートコントローラ（４００）と、前記リモートコントローラ（４００）を制御して前記対象機器（３００）を動作させ、前記対象機器（３００）の動作を評価する評価装置（２００）において実行される評価プログラムであって、
前記評価装置（２００）に、
前記対象機器（３００）を前記リモートコントローラ（４００）に操作させるためのコードを作成して実行する実行ステップと、
前記コードを前記リモートコントローラ（４００）へ送信する送信ステップと、
前記対象機器（３００）から所定のフォーマットで取得されたログを受信する受信ステップと、
前記ログを解析する解析ステップと、
前記解析ステップにおける解析結果に基づき前記対象機器（３００）の動作の正誤判断を行い、前記対象機器（３００）に次の動作を実行させる判断ステップと、を実行させる。

なお、上記括弧内の参照符号は、理解を容易にするために付したものであり、一例にすぎず、図示の態様に限定されるものではない。

本発明によれば、検証及び評価に係る工数を削減し、且つ正確な評価ができる。

本実施形態の評価システムの概要を説明する図である。 本実施形態の評価装置のハードウェア構成を示す図である。 本実施形態の評価システムを構成する各装置の機能構成を説明する図である。 本実施形態の評価システムの動作を説明する図である。 スクリプト実行部の処理を説明するフローチャートである。 ステータス記憶部に登録された情報の一例を示す図である。 予め設定されたフォーマットで取得されたログの一例を示す図である。 対応テーブルの例を示す第一の図である。 対応テーブルの例を示す第二の図である。 対応テーブルの例を示す第三の図である。

本実施形態では、評価対象の電子機器に対し、自動的に検証動作を実行させてその結果のログを取得し、取得したログを解析して電子機器の動作を評価する。

（実施形態）
以下に図面を参照して本発明の実施形態について説明する。図１は、本実施形態の評価システムの概要を説明する図である。

本実施形態の評価システム１００は、評価装置２００と、評価対象となる電子機器（以下、対象機器）３００と、対象機器を操作するリモートコントローラ４００とを含む。本実施形態の評価装置２００と対象機器３００とは、例えばＬＡＮ（Local Area Network）ケーブル等で接続されている。また評価装置２００はリモートコントローラ４００とは、例えばＵＳＢ（Universal Serial Bus）ケーブル等のリモートコントローラ操作ケーブルで接続されている。評価装置２００とリモートコントローラ４００とは、赤外線により通信を行う。

本実施形態の対象機器３００は、例えばＳＴＢ（Set Top Box)等である。ＳＴＢとは、は、ケーブルテレビ放送や衛星放送、地上波テレビ放送（デジタル放送、アナログ放送）、ＩＰ（Internet Protocol）放送等の放送信号を受信して、一般のテレビで視聴可能な信号に変換する装置である。尚対象機器３００は、ＳＴＢに限定されない。対象機器３００は、リモートコントローラ４００により操作可能な電子機器であれば良く、例えばゲーム機器やオーディオプレーヤー等であっても良い。

本実施形態の評価システム１００では、評価装置２００がリモートコントローラ４００を制御して対象機器３００を動作させる。具体的には、評価装置２００からリモートコントローラ４００へ対象機器３００を動作させるための信号が送信される。リモートコントローラ４００は、この信号に基づき、赤外線通信により対象機器３００へ操作信号を送信する。対象機器３００は、リモートコントローラ４００からの操作信号に基づき動作し、動作の履歴であるログを評価装置２００へ送信する。評価装置２００は、対象機器３００から受けたログを解析し、対象機器３００の動作が正しいか否かを評価する。本実施形態では、評価装置２００は、例えばｔｅｌｎｅｔ（Telecommunication network）経由で対象機器３００からログを取得する。

図２は、本実施形態の評価装置のハードウェア構成を示す図である。

本実施形態の評価装置２００は、入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６、インターフェイス装置１７がバスＢを介して接続されている。

入力装置１１は、キーボードやマウスなどで構成され、各種信号を入力するために用いられる。出力装置１２は、ディスプレイ装置などで構成され、各種ウインドウやデータ等を表示するために用いられる。ドライブ装置１３は、記録媒体１８に記録されたプログラム等をドライブする。補助記憶装置１４は、インストールされた評価プログラムを格納すると共に、必要なファイル、データ等を格納する。

メモリ装置１５は、評価装置２００の起動時に補助記憶装置１４から評価プログラムを読み出して格納する。演算処理装置１６は、評価装置２００の全体の処理を制御する。また演算処理装置１６は、メモリ装置１５に格納された本発明の評価プログラムに従って、後述するような各種処理を実現する。インターフェイス装置１７は、モデム、ＬＡＮカードなどで構成されており、評価装置２００をネットワークに接続する為に用いられる。

本発明の評価プログラムは、評価装置２００を制御する各種プログラムの少なくとも一部である。評価プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。評価プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、評価プログラムを記録した記録媒体１８がドライブ装置１３にセットされると、評価プログラムは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた評価プログラムは、インターフェイス装置１７を介して補助記憶装置１４にインストールされる。

図３は、本実施形態の評価システムを構成する各装置の機能構成を説明する図である。

本実施形態の評価装置２００は、ＵＩ（User Interface）部２１０、スクリプト実行部２２０、通信部２３０、コマンド実行部２４０、ログ解析部２５０、ログ保存メモリ２６０、ログ変換部２７０を有する。

本実施形態の評価装置２００は、ＵＩ部２１０において作成されたスクリプトをスクリプト実行部２２０により実行し、コマンド実行部２４０により通信部２３０を介してコマンド（リモコンコード）をリモートコントローラ４００へ送信する。

リモートコントローラ４００は、リモコンコードを受けて対象機器３００へ操作信号を送信する。対象機器３００は操作信号を受けて動作し、その結果をログとして評価装置２００へ送信する。

評価装置２００は、通信部２３０を介してログを受信し、ログ解析部２５０による解析結果をスクリプト実行部２２０へ渡す。スクリプト実行部２２０は、ログの解析結果から対象機器３００の動作を評価する。

また評価装置２００の通信部２３０は、受信したログをログ保存メモリ２６０へ保存し、ログ変換部２７０により、受信したログをスクリプトコードへ変換する。

以下に各部についてさらに説明する。

本実施形態のＵＩ部２１０は、スクリプトコード作成部２１１、表示部２１２を有する。本実施形態のスクリプトコード作成部２１１は、例えばスクリプトコードを作成するための表示画面を表示部２１２へ表示させる。表示部２１２は、例えば出力装置１２を構成するディスプレイ等である。本実施形態のスクリプトコード作成部２１１は、例えばスクリプトコードを作成する際に、簡単に所望のスクリプトコードが作成できるようにしたスクリプトコード作成支援用のアプリケーション等により実現されても良い。

本実施形態のスクリプト実行部２２０は、スクリプトコンパイル部２２１、実行データ記憶部２２２、実行部２２３、ステータス記憶部２２４を有する。

スクリプトコンパイル部２２１は、ＵＩ部２１０で作成されたスクリプトコードをコンパイルして実行データとする。実行データ記憶部２２２は、実行データを記憶する。実行部２２３は、実行データ記憶部２２２に記憶された実行データを読み出して実行する。

また本実施形態の実行部２２３は、判断部２２５を有し、ログ解析部２５０の解析結果から得られたステータスの値と、ステータス記憶部２２４に記憶されたステータスの値とを比較し、対象機器３００の動作の判断を行う。判断部２２５の処理の詳細は後述する。

ステータス記憶部２２４は、判断部２２５における判断に用いられる対象機器３００のステータスに関する情報が記憶されている。本実施形態のステータス記憶部２２４には、例えば対象機器３００がリモートコントローラ４００から信号を受信したことを示すステータスの値、対象機器３００が選局を開始したことを示すステータスの値、対象機器３００が選局を終了したことを示すステータスの値等が記憶されている。ステータス記憶部２２４に記憶されたステータスの値については後述する。

本実施形態のステータス記憶部２２４に記憶されたステータスの値は、予め設定された不変の値と、ＵＩ部２１０により変更可能な値とを含む。また本実施形態のステータス記憶部２２４には、対象機器３００により表示される各ＵＩ画面の種類、ＵＩ自体が有する設定値や座標情報等を関連付けた情報が記憶されている。

本実施形態では、実行データ記憶部２２２とステータス記憶部２２４とは、例えば評価装置２００の補助記憶装置１４内に設けられた記憶領域であっても良い。

通信部２３０は、リモコンコード送信部２３１、ログ受信部２３２を有する。リモコンコード送信部２３１は、コマンド実行部２４０から出力されるリモコンコードをリモートコントローラ４００へ送信する。ログ受信部２３２は、対象機器３００から送信されるログを受信する。

コマンド実行部２４０は、実行データ記憶部２２２に記憶された実行データからリモートコントローラ４００へ対するリモコンコードを作成する。リモコンコードが作成されると、リモコンコード送信部２３１によりリモートコントローラ４００へリモコンコードが送信される。

ログ解析部２５０は、ログ受信部２３２により受信されたログを解析し、ログに含まれる対象機器３００のステータスの値を取得する。ログ解析部２５０により取得されたステータスの値は、実行部２２３に渡される。

ログ保存部２６０は、ログ受信部２３２から受信したログを保存する。ログ変換部２７０は、ログ保存部２６０に保存されたログをスクリプトコードへ変換する。ログ変換部２７０の処理の詳細は後述する。

本実施形態の対象機器３００は、ログ取得部３１０、ログ送信部３２０を有する。本実施形態のログ取得部３１０は、対象機器３００がリモートコントローラ４００から操作信号を受けて動作した際のログを予め設定された所定のフォーマットで取得する。ログ送信部３２０は、ログ取得部３１０により取得された所定のフォーマットのログを評価装置２００へ送信する。

本実施形態のリモートコントローラ４００は、リモコンモジュール４１０を有する。リモコンモジュール４１０は、評価装置２００からリモコンコードを受信すると、リモコンコードに基づき対象機器３００へ操作信号を出力する。

以下に図４を参照して本実施形態の評価システム１００の動作を説明する。図４は、本実施形態の評価システムの動作を説明する図である。図４の例では、対象機器３００であるＳＴＢに対して放送波の切替処理（選局）を実行させて、動作の正誤を判断する例を示す。

評価装置２００は、スクリプト実行部２２０によりスクリプトコードをコンパイルして実行し、コマンド実行部２４０により選局を指示するリモコンコードを作成する（ステップＳ４０１）。そして評価装置２００は、リモートコントローラ４００へリモコンコードを送信する。リモートコントローラ４００は、このリモコンコードを受けて、赤外線通信により対象機器３００へ操作信号を送信する（ステップＳ４０２）。

対象機器３００は、操作信号を受けると、ログ取得部３１０により受信状況（受信ステータス）をログとして取得し、ログ送信部３２０によりログを評価装置２００へ送信する（ステップＳ４０３）。評価装置２００は、ログ受信部２３２によりログを受信すると、ログ解析部２５０によりログから受信ステータスの値を取得し、判断部２２５により受信ステータスの値から対象機器３００の動作を判断する（ステップＳ４０４）。

対象機器３００は、操作信号にしたがって選局を開始し、ログ取得部３１０により選局開始状況（選局開始ステータス）のログを取得する。そして対象機器３００は、ログ送信部３２０により取得したログを評価装置２００へ送信する（ステップＳ４０５）。評価装置２００は、ログ解析部２５０によりログから選局開始ステータスを取得し、判断部２２５により選局開始ステータスの値から対象機器３００の動作を判断する（ステップＳ４０６）。

続いて対象機器３００において、放送波の切替が完了し選局が終了すると、ログ取得部３１０は選局終了（選局終了ステータス）のログを取得し、ログ送信部３２０によりこのログを評価装置２００へ送信する（ステップＳ４０７）。評価装置２００は、ログ解析部２５０によりログから選局終了ステータスの値を取得し、判断部２２５により選局終了ステータスの値から対象機器３００の動作を判断する（ステップＳ４０８）。

尚本実施形態では、対象機器３００から所定時間以上ログが出力されない場合、評価装置２００はタイムアウトと認識しても良い。

以下に図４、図５を参照して、上記処理における評価装置２００のスクリプト実行部２２０の処理をさらに説明する。図５は、スクリプト実行部の処理を説明するフローチャートである。

評価装置２００は、ＵＩ部２１０において指定された”Sendding_Keycode 0x2A”というスクリプトコードをスクリプトコンパイル部２２１によりコンパイルし、実行データ記憶部２２２に実行データを格納する（ステップＳ５０１）。キーコード0x2Aは、例えば対象機器３００に「BS/102局を選局」させるコードである。続いて実行部２２３が実行データ記憶部２２２から実行データを読み出して、スクリプトの実行を開始する（ステップＳ５０２）。

続いて実行部２２３は、リモートコントローラ４００へ送信するコードを認識する（ステップＳ５０３）。続いて実行部２２３は、コードルーチンを実行する（ステップＳ５０４）。

次に実行部２２３は、コマンド実行部２４０により、キーコード0x2Aに対応するリモコンコードを実行させる（ステップＳ５０５）。これによりリモコンコードは、リモコンコード送信部２３１からリモートコントローラ４００へ送信される。

次に評価装置２００のスクリプト実行部２２０は、判断部２２５により、リモコンコードが対象機器３００に受信されたことを確認する（ステップＳ５０６）。

本実施形態の対象機器３００は、図４に示すように、キーコード0x2Aを受けると、受信ステータスとしてログを取得する。対象機器３００のログ取得部３１０は、予め指定されたフォーマットでログを取得する。ログ取得部３１０は、”Ircode=0x2A
Ircode Receive Time=08/11/19/18/00/54/94 Ircode Receive Status=0x00”をログとして取得する。このログには、対象機器３００が受信したコード、コードを受信した時間、コードを受信したことを示す受信ステータスが含まれる。そして対象機器３００は、ログ送信部３２０によりこのログを評価装置２００へ送信する。

ログ解析部２５０は、ログ受信部２３２からこのログを渡されると、ログに含まれる受信ステータスの値を取得し、判断部２２５へ渡す。判断部２２５は、渡されたステータスの値（0x00）と、ステータス記憶部２２４に記憶された対応する値とを比較し、対象機器３００がリモコンコードを受信したか否かを判断する。

本実施形態の判断部２２５は、ステータス記憶部２２４を参照し、受信ステータス＝0x00がステータス記憶部２２４において対象機器３００によるリモコンコードの受信完了を示す値として記憶されているか否かを判断する。判断部２２５は、受信ステータス＝0x00が受信完了を示す値であるならば、対象機器３００によるリモコンコードの受信完了と判断する。受信ステータス＝0x00がステータス記憶部２２４において受信完了を示す値として記憶されていない場合、判断部２２５は、対象機器３００によるリモコンコードの受信完了と判断しない。

図５に戻って、次に評価装置２００のスクリプト実行部２２０は、判断部２２５により、ログ解析部２５０がログ受信部２３２から受け取ったログから、対象機器３００の通常視聴状態においての選局が開始されたことを確認する（ステップＳ５０７）。

本実施形態の対象機器３００は、図４に示すように、選局開始ステータスとして予め指定されたフォーマットでログを取得する。ログ取得部３１０は、”Changging_Ch_StartStatus=0x1006
”Changging_Ch_StartTime=08/11/19/18/00/54/97
”をログとして取得する。このログには、対象機器３００における選局開始を示す選局開始ステータスと、選局を開始した時刻とが含まれる。そして対象機器３００は、ログ送信部３２０によりこのログを評価装置２００へ送信する。

ログ解析部２５０は、このログから選局開始ステータスの値を取得する。本実施形態の判断部２２５は、選局開始ステータスの値＝0x1006が対象機器３００における選局開始を示す値か否かを判断する。判断部２２５は、ステータス記憶部２２４に記憶された後述する対応テーブル９０において選局開始ステータス＝0x1006と定義されているため、対象機器３００による選局が開始された判断する。また判断部２２５は、ログにおける選局開始ステータスの値が0x1006でない場合、ステータス記憶部２２４において定義された値と異なるため、対象機器３００において選局は開始されていないと判断する。

次に評価装置２００のスクリプト実行部２２０は、判断部２２５により、ログ解析部２５０がログ受信部２３２から受け取ったログから、対象機器３００において選局が終了したことを確認する（ステップＳ５０８）。

本実施形態の対象機器３００は、図４に示すように、選局終了ステータスとして予め指定されたフォーマットでログを取得する。ログ取得部３１０は、”Changging_Ch_Info=BS/102 Changging_Ch_EndStatus=0x2000
Changging_Ch_EndTime=08/11/19/18/00/55/00”をログとして取得する。このログには、選局後のチャンネルを示す情報と、対象機器３００における選局終了を示す選局終了ステータスと、選局を終了した時刻とが含まれる。そして対象機器３００は、ログ送信部３２０によりこのログを評価装置２００へ送信する。

ログ解析部２５０は、このログから選局終了ステータスの値を取得する。本実施形態では、ログにおける選局終了ステータスの値は0x2000である。本実施形態の判断部２２５は、選局終了ステータス＝0x2000が対象機器３００における選局終了を示す値か否かを判断する。判断部２２５は、ステータス記憶部２２４に記憶された後述する対応テーブル１０において処理が正常に終了した時のステータス＝0x2000として定義されているため、対象機器３００による選局が終了したと判断する。また判断部２２５は、ログにおける選局終了ステータスの値が0x2000でない場合、ステータス記憶部２２４において定義された値と異なるため、対象機器３００において選局は終了していないと判断する。

対象機器３００による選局が終了すると、評価装置２００は次のスクリプトコマンドの実行を開始する（ステップＳ５０９）。

尚本実施形態では、ログ解析部２５０により取得されたステータスの値をステータス記憶部２２４に記憶させることができる。さらに本実施形態では、ログ解析部２５０によりステータス記憶部２２４に記憶させたステータスの値を用いて、対象機器３００の動作を判断しても良い。

本実施形態では、この構成により、スクリプトコードの実行中に新たに取得されたステータスの値を用いて対象機器３００の検証及び評価を行うことができ、対象機器３００の検証及び評価のバリエーションを増やすことができる。

また本実施形態では、例えばログに時刻情報が含まれるため、例えば対象機器３００がキーコードを受信した時刻から選局が終了するまでの時刻を計測することができる。したがって本実施形態では、対象機器３００における状態遷移に係る時間を自動的に測定することができる。

本実施形態の評価装置２００による対象機器３００の動作の正誤の判断について、さらに説明する。

本実施形態のステータス記憶部２２４には、各ＵＩ画面を構成するそれぞれのオブジェクト（ボタン、入力枠等）が登録されている。図６は、ステータス記憶部に登録された情報の一例を示す図である。

図６（Ａ）は、ＵＩ画面の一例を示す図であり、図６（Ｂ）はＵＩ画面それぞれのボタンを定義する構造体の例を示す図であり、図６（Ｃ）はボタンＡが定義された場合の例を示す図である。図６（Ａ）に示す画面６０に表示されるボタンを、図６（Ｂ）に示す構造体６１を用いて定義すると、図６（Ｃ）のように示される。

また本実施形態のステータス記憶部２２４には、各ＵＩ画面での動作パターンと、動作パターンと対応付けられたステータスの値とが対応付けられた対応テーブルが格納されている。動作パターンとは、例えばフォーカス対象をボタンＡからボタンＢへ移動する動作、フォーカス対象をボタンＡからボタンＣへ移動させ、別のＵＩ画面を表示させる動作等である。

本実施形態の評価装置２００では、対象機器３００のログと、ステータス記憶部２２４に記憶された対応テーブルとを比較して、対象機器３００の動作の正誤を判断する。

例えば本実施形態において、対象機器３００に画面６０においてボタンＡからボタンＢへフォーカス対象を変更する動作を実行させる場合について説明する。この場合評価装置２００は、リモコンコードが送信されたか否かを示すログ、フォーカス対象の移動開始を示すログ、フォーカス対象の移動終了を示すログに基づき、自動的に対象機器３００の動作を評価する。

本実施形態の評価装置２００は、リモートコントローラ４００へ、「→」（フォーカス対象を画面６０上左側から右側へ移す）を操作するリモコンコードを送信する。このリモコンコードは、リモートコントローラ４００を介して対象機器３００に送られる。対象機器３００は、このリモコンコードを受けて処理を実行し、ログ取得部３１０により、予め設定されたフォーマットで処理結果のログを取得する。

図７は、予め設定されたフォーマットで取得されたログの一例を示す図である。図７に示すログ７０は、対象機器３００に表示された画面６０においてフォーカス対象を左側から右側へ移す操作を行った場合に、対象機器３００から評価装置２００へ送信されるログの例である。

図７に示すログ７０のラインｌ１は、対象機器３００が受信したリモコンコードを示している。ラインｌ１のコードは、リモートコントローラ４００の十字キー等の右ボタンが押されたことを示すリモコンコードである。

ログ７０のラインｌ２はラインｌ１のリモコンコードを受信した時刻を示し、ラインｌ３は現在表示されている画面６０を示している。そしてラインｌ４は、現在フォーカスされているボタンの座標を示している。ラインｌ４において、現在フォーカスされているボタンの座標は、評価装置２００のステータス記憶部２２４に格納されたボタンＡの座標と対応していることがわかる。

ログ７０のラインｌ５は、フォーカスが左から右へ移動したこと（状態遷移）を示している。本実施形態では、各状態遷移を示すステータスの値が、対応テーブルとして評価装置２００のステータス記憶部２２４に格納されている。以下のステータス記憶部２２４に記憶された対応テーブルについて説明する。

図８は対応テーブルの例を示す第一の図であり、図９は対応テーブルの例を示す第二の図であり、図１０対応テーブルの例を示す第三の図である。図８の対応テーブル８０は、画面状態もしくはその他の状態におけるステータスの値を定義したものであり、コマンドBEFORE_STATUSとコマンドPRESENT_STATUSを対象とする値である。図９の対応テーブル９０は、動作遷移におけるステータスの値を定義したものであり、コマンドSTART_STATUSを対象とする値である。図１０の対応テーブル１０は、動作遷移の終了時におけるステータスの値を定義したものであり、コマンドEND_STATUSを対象とする値である。

ラインｌ３のコマンドBEFORE_STATUSのステータス値は、0x0100である。評価装置２００の判断部２２５は、ログ７０のBEFORE_STATUSのステータス値が、対応テーブル８０においてメニュー画面の一つである画面６０に対応した値であるため、現在表示されている画面が画面６０であると判断する。

ライン５のコマンドSTART_STATUSのステータス値は、0x1032である。評価装置２００の判断部２２５は、ログ７０のSTART_STATUSのステータス値が、対応テーブル９０において、メニュー画面でカーソル移動「→」とする動作と対応付けられた値であるため、対象機器３００の動作を正しいと判断する。

ラインｌ６は、フォーカス対象の移動を開始した時刻を示している。ラインｌ７は、フォーカス対象が移動した後に表示される画面を示している。判断部２２５は、ラインｌ７から、現在表示されている画面がラインｌ３と同様に画面６０であると判断する。

ラインｌ８は、移動先のボタンの座標を示している。ラインｌ８において、移動先のボタンの座標は、ステータス記憶部２２４に格納されたボタンＢの座標と対応していることがわかる。

ラインｌ９は、フォーカス対象の移動が終了したことを示す。ラインｌ９では、コマンドEND_STATUSのステータス値は、0x2000である。評価装置２００の判断部２２５は、ログ７０のEND_STATUSのステータス値が、対応テーブル１０において、正常時と対応付けられた値であるため、対象機器３００における操作は正しく終了したと判断する。ラインｌ１０は、フォーカス対象の移動が終了した時刻を示す。

このように本実施形態の評価装置２００では、ステータス記憶部２２４に格納された動作パターンと、ログ７０とから、対象機器３００の動作の正誤を判断することができる。

また本実施形態の評価装置２００では、対象機器３００から取得したログに基づきスクリプトコードを生成することができる。

本実施形態の評価装置２００は、ログ受信部２３２により受信したログをログ保存メモリ２６０へ保存する。保存されたログは、ログ変換部２７０により、ログからスクリプトコードに変換される。

本実施形態では、この機能により、例えば再現が困難な不具合が発生したときに、ログに基づきその不具合を発生させた動作を正確に再現することができる。

以上に説明したように、本実施形態の評価装置２００では、ステータス記憶部２２４に格納された対象機器３００の動作の状況を示すステータスの値と、対象機器３００から出力されたログに含まれるステータスの値とを比較し、対象機器３００の正誤を自動で判断することができる。したがって本実施形態では、対象機器３００の動作の検証及び評価に係る工数の削減及び正確な評価を実行することができる。

また本実施形態では、対象機器３００から取得したログに基づき、取得したログを出力する動作を再現させるスクリプトコードを生成することができる。よって本実施形態によれば、再現性の困難な不具合が発生した場合でも正確にその不具合を再現させることができるため、対象機器３００の動作の検証及び評価に係る工数を削減することができる。

また本実施形態では、評価実施用のスクリプトコードを保存することができ、保存されたスクリプトコードを実行するだけで対象機器３００の評価を容易に行うことができる。

尚本実施形態では、対象機器３００をＳＴＢとして説明したが、本実施形態は組込ソフトにより動作する電子機器は全て対象機器として適用できる。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 評価システム
２００ 評価装置
２１０ ＵＩ部
２２０ スクリプト実行部
２３０ 通信部
２４０ コマンド実行部
２５０ ログ解析部
２６０ ログ保存メモリ
２７０ ログ変換部
３００ 対象機器
４００ リモートコントローラ

Claims (9)

1. 評価対象となる対象機器と、前記対象機器を操作するリモートコントローラと、前記リモートコントローラを制御して前記対象機器を動作させ、前記対象機器の動作を自動評価する評価装置と、を含む評価システムであって、
   前記評価装置は、
   前記対象機器を前記リモートコントローラに操作させるためのコードを作成して実行する実行手段と、
   前記コードを前記リモートコントローラへ送信する送信手段と、
   前記対象機器が取得したログを受信する受信手段と、
   前記ログを解析する解析手段と、
   前記解析手段の解析結果に基づき前記対象機器の動作の正誤判断を行い、前記対象機器に次の動作を実行させる判断手段と、を有し、
   前記ログには、前記対象機器の状態の遷移が開始した時刻と、前記状態の遷移が終了した時刻とを示す時刻情報が含まれており、
   前記解析手段は、
   前記ログから前記時刻情報を取得し、
   前記判断手段は、
   前記前記時刻情報に基づき前記対象機器の状態の遷移に係る時間を計測する評価システム。
2. 前記評価装置は、
   前記対象機器の状態を示す値が記憶された状態記憶手段を有し、
   前記解析手段は、
   前記ログから前記対象機器の状態を示す値を取得し、
   前記判断手段は、
   前記解析手段により取得された前記ログに含まれる前記対象機器の状態を示す値と、前記状態記憶手段に記憶された前記対象機器の状態を示す値とを比較して前記対象機器の正誤を判断する請求項１記載の評価システム。
3. 前記評価装置は、
   スクリプトコードをコンパイルして前記リモートコントローラに操作させるためのコードを作成するスクリプトコンパイル手段を有する請求項１又は２記載の評価システム。
4. 前記評価装置は、
   前記スクリプトコードを作成するスクリプトコード作成手段を有する請求項３記載の評価システム。
5. 前記評価装置は、
   前記対象機器から取得したログを保存するログ保存手段と、
   前記ログ保存手段に保存されたログをスクリプトコードへ変換する変換手段を有する請求項３又は４記載の評価システム。
6. 前記評価装置は、
   前記対象機器の動作パターンに関する情報が記憶されたデータベースを有し、
   前記対象機器は、
   前記動作パターンに対応した所定のフォーマットで前記ログを取得する請求項１ないし５の何れか一項に記載の評価システム。
7. 評価対象となる対象機器と、前記対象機器を操作するリモートコントローラと、前記リモートコントローラを制御して前記対象機器を動作させ、前記対象機器の動作を評価する評価装置であって、
   前記対象機器を前記リモートコントローラに操作させるためのコードを作成して実行する実行手段と、
   前記コードを前記リモートコントローラへ送信する送信手段と、
   前記対象機器から所定のフォーマットで取得されたログを受信する受信手段と、
   前記ログを解析する解析手段と、
   前記解析手段の解析結果に基づき前記対象機器の動作の正誤判断を行い、前記対象機器に次の動作を実行させる判断手段と、を有し、
   前記ログには、前記対象機器の状態の遷移が開始した時刻と、前記状態の遷移が終了した時刻とを示す時刻情報が含まれており、
   前記解析手段は、
   前記ログから前記時刻情報を取得し、
   前記判断手段は、
   前記前記時刻情報に基づき前記対象機器の状態の遷移に係る時間を計測する評価装置。
8. 評価対象となる対象機器と、前記対象機器を操作するリモートコントローラと、前記リモートコントローラを制御して前記対象機器を動作させ、前記対象機器の動作を評価する評価装置と、を含む評価システムによる評価方法であって、
   前記評価装置が、
   前記対象機器を前記リモートコントローラに操作させるためのコードを作成して実行する実行手順と、
   前記コードを前記リモートコントローラへ送信する送信手順と、
   前記対象機器が取得したログを受信する受信手順と、
   前記ログを解析する解析手順と、
   前記解析手順における解析結果に基づき前記対象機器の動作の正誤判断を行い、前記対象機器に次の動作を実行させる判断手順と、を有し、
   前記ログには、前記対象機器の状態の遷移が開始した時刻と、前記状態の遷移が終了した時刻とを示す時刻情報が含まれており、
   前記解析手順は、
   前記ログから前記時刻情報を取得し、
   前記判断手順は、
   前記前記時刻情報に基づき前記対象機器の状態の遷移に係る時間を計測する評価方法。
9. 評価対象となる対象機器と、前記対象機器を操作するリモートコントローラと、前記リモートコントローラを制御して前記対象機器を動作させ、前記対象機器の動作を評価する評価装置において実行される評価プログラムであって、
   前記評価装置に、
   前記対象機器を前記リモートコントローラに操作させるためのコードを作成して実行する実行ステップと、
   前記コードを前記リモートコントローラへ送信する送信ステップと、
   前記対象機器から所定のフォーマットで取得されたログを受信する受信ステップと、
   前記ログを解析する解析ステップと、
   前記解析ステップにおける解析結果に基づき前記対象機器の動作の正誤判断を行い、前記対象機器に次の動作を実行させる判断ステップと、を実行させ、
   前記ログには、前記対象機器の状態の遷移が開始した時刻と、前記状態の遷移が終了した時刻とを示す時刻情報が含まれており、
   前記解析ステップは、
   前記ログから前記時刻情報を取得し、
   前記判断ステップは、
   前記前記時刻情報に基づき前記対象機器の状態の遷移に係る時間を計測する評価プログラム。
   

Images