JP5421492B1 - 機器診断ツールおよびプログラム - Google Patents

Abstract

【課題】不具合の内容を効率よく報告できるようにする機器診断ツール等を提供する。
【解決手段】機器診断ツールでは、ユーザ操作に応じて画像表示を含む制御を行う対象機器について、その対象機器の制御に係る不具合の有無をテストするための機器診断処理を実行する。この機器診断処理では、対象機器による表示画像を時系列に沿って記憶部に記憶しつつ、ユーザ操作が所定の閾値時間以上なされなかった時点を開始点、不具合が検出された時点を終了点とし、この開始点から終了点に対応する期間に記憶部に記憶された１ないし複数の表示画像を抽出する自動抽出処理を行う。そして、自動抽出処理により抽出された１ないし複数の表示画像を用いて、不具合に関するテストレポートを生成する。このため、不具合の検出に至るユーザの一連の操作に応じた表示画像が、その操作順に沿った態様で抽出され、これらの表示画像を用いたテストレポートが自動生成される。
【選択図】図３

Description

本発明は、ユーザ操作に応じて画像表示を含む制御を行う対象機器について、その対象機器の制御に係る不具合の有無をテストするための機器診断ツールおよびプログラムに関する。

従来、この種の機器診断ツールとしては、テストを行うユーザ（テスタ）が実際に操作を行った手順（操作手順）とともに、その操作に応じて対象機器が表示した画像（表示画像）を正解画像として記憶し、その記憶された操作手順に沿って自動制御されたときの表示画像を正解画像と比較することにより、対象機器の制御に係る不具合の有無をテストするものが知られている（例えば、特許文献１〜３参照）。

特開２０１０−２０５６１号公報 特開２０１０−２０５６２号公報 特開２０１０−１９１７０５号公報

しかしながら、従来の機器診断ツールでは、不具合に関するテストレポートを生成するものの、そのテストレポートに含まれる情報量が膨大なものとなったり、あるいは過少なものとなったり、またテストレポートがわかりにくいものとなる可能性があった。このため、例えば、テスタが不具合の内容を誰かに報告する際に、別途文書を作成したり、説明用の画像を文書に貼り付けたりする等、わかりやすい報告書を作成するために手間がかかり、非効率的であるという問題があった。

本発明は、このような問題等に鑑みてなされたものであり、不具合の内容を効率よく報告できるようにする機器診断ツールおよびプログラムの提供を目的とする。

上記目的を達成するためになされた本発明は、ユーザ操作に応じて画像表示を含む制御を行う対象機器について、その対象機器の制御に係る不具合の有無をテストするための機器診断ツールである。具体的には、本発明では、画像記憶手段が、対象機器による表示画像をユーザ操作の操作情報と対応づけて時系列に沿って記憶する構成のもと、第１の画像抽出手段が、ユーザ操作が所定の閾値時間以上なされなかった時点を操作情報に基づき開始点とし、不具合が検出された時点を終了点とし、この開始点から終了点に対応する期間に画像記憶手段に記憶された１ないし複数の表示画像を抽出する自動抽出処理を行う。そして、レポート生成手段が、画像抽出手段により抽出された１ないし複数の表示画像を用いて、不具合に関するテストレポートを生成するように構成した。

このような構成では、不具合の検出に至るユーザの一連の操作に応じた表示画像が、その操作順に沿った態様で抽出され、このように抽出された表示画像を用いたテストレポートが自動生成されるので、例えば、テスタが不具合の内容を誰かに報告する際に、このテストレポートを用いて、不具合の内容だけでなく、その不具合に至る過程も画像で示すことができる。また、その結果、報告を受ける側にとっても、不具合の内容を直感的に理解しやすくなる。

したがって、本発明によれば、テスタが別途文書を作成したり、説明用の画像を文書に貼り付けたりする手間をかけずに済み、テストレポートをそのまま使用したり、少し加工したりするだけでわかりやすい報告書を作成することが可能となり、不具合の内容を効率よく報告できるようになる。

なお、本発明において、テストレポートの出力態様は、不具合の検出に至るユーザの一連の操作に応じた表示画像（静止画または動画）を用いたものであれば、各種の態様が採用され得るが、対象機器による表示画像の出力中になされたユーザ操作に関する情報（操作情報）が含まれていると、よりわかりやすくなり、且つテスタの手間をさらに軽減させることもできる。

つまり、テストレポートにおいて、表示画像とともに不具合の検出に至るユーザの一連の操作が示されることになるため、テスタが文章等で不具合に至る過程等を説明する手間を軽減させることができ、わかりやすい報告書をより容易に作成することが可能となる。また、その結果、報告を受ける側にとっても、不具合の内容をより直感的に理解しやすくなる。なお、操作画像には、図形や絵、文字、記号等のいずれが用いられてもよい。

また、操作情報の一例としては、表示画面上の操作位置を表す情報が挙げられる。この場合、画像記憶手段が、操作情報として、対象機器による表示画像の出力中になされた表示画像におけるユーザ操作の位置を、出力中の表示画像に対応づけて記憶し、レポート生成手段が、ユーザ操作の位置に基づき表示画像の対応する位置にユーザ操作を示すマークを重畳させてテストレポートを生成する（請求項２）。このような構成によれば、操作画像としてポインタ等の図形（マーク）を用いることにより、文字によってユーザの操作内容を説明するよりも、より直感的にわかりやすくすることができる。

また、本発明において、テスタがテストレポートをそのまま使用することも可能であるが、よりわかりやすい報告書にするためにテストレポートを加工して使用することも可能である。後者のような場合を想定し、本発明は、第２の画像抽出手段が、画像記憶手段に記憶された１ないし複数の表示画像のうち、第１の画像抽出手段により抽出された１ないし複数の表示画像に対して時系列で前または後ろに隣接する表示画像を抽出し、レポート編集手段が、第２の画像抽出手段により抽出された表示画像を、レポート生成手段により生成されたテストレポートに対して追加する（請求項１）。

このような構成によれば、例えば、テスタが編集用画面上でテストレポートを加工して報告書等を作成することが容易になるため、使い勝手をさらに向上させることができる。
具体例としては、上記開始点以前に画像記憶手段に記憶された１ないし複数の表示画像を履歴画像として、この履歴画像をテストレポートに追加するための第１のガイド画像を編集用画面に表示してもよい。

このような構成によれば、仮に自動抽出処理によってテスタの所望するテストレポートが得られなかった場合であっても、開始点以前の表示画像（履歴画像）を適宜、テストレポートに追加することが容易にできるようになり、利便性をさらに向上させることができる。

また、同様に、上記終了点以降に画像記憶手段に記憶された１ないし複数の表示画像を履歴画像として、この履歴画像をテストレポートに追加するための第２のガイド画像を編集用画面に表示してもよい。

このような構成によれば、不具合の検出以降においてユーザ操作に応じた表示画像（静止画または動画）を適宜、テストレポートに追加することが容易になるため、例えば、不具合を回避できる別のユーザ操作等を表示画像とともに示すこともできるようになり、テスタがより詳細且つわかりやすい報告書を容易に作成することが可能となる。

ところで、本発明では、第１の画像抽出手段が、上記自動抽出処理だけを行う構成でもよいが、以下のように構成されたものでもよい。即ち、本発明において、第１の画像抽出手段による表示画像の抽出方法を自動モードまたは手動モードのいずれかのモードに設定するモード設定手段を備え、第１の画像抽出手段は、モード設定手段により自動モードが設定された場合、自動抽出処理を行い、モード設定手段により手動モードが設定された場合には、その手動モードが設定された時点を開始点として表示画像を抽出する手動抽出処理を行うとよい。

このような構成によれば、仮に自動抽出処理によってテスタの所望するテストレポートが得られないような場合であっても、モードの設定を手動モードにすることにより、テスタの所望するタイミングで表示画像を抽出し、不具合の検出に至るユーザ（テスタ）の一連の操作に応じた表示画像を用いたテストレポートを生成することが可能となるので、使い勝手をより向上させることができる。

なお、本発明は、プログラムとして市場に流通させることができる。具体的には、コンピュータを、請求項１に記載の画像記憶手段、第１の画像抽出手段、レポート生成手段、第２の画像抽出手段およびレポート編集手段として機能させるためのプログラムである。また具体的には、コンピュータを、請求項２に記載の画像記憶手段、第１の画像抽出手段およびレポート生成手段として機能させるためのプログラムである。

このプログラムは、上記のコンピュータに組み込まれることにより、本発明の機器診断ツールによって奏する効果と同等の効果を得ることができる。なお、本発明のプログラムは、コンピュータに組み込まれるＲＯＭやフラッシュメモリ等に記憶され、これらＲＯＭやフラッシュメモリ等からコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。

また、上記のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。この記録媒体としては、例えば、持ち運び可能な半導体メモリ（例えばＵＳＢメモリやメモリカード（登録商標））等が含まれる。

機器診断ツールの構成例を説明するためのブロック図である。 機器診断ツールが行う処理（機器診断処理）の内容を例示するフローチャートである。 自動抽出処理および手動抽出処理の説明を補足するための概念図である。 機器診断ツールの動作例を説明するための第１のイメージ図である。 機器診断ツールの動作例を説明するための第２のイメージ図である。 機器診断ツールについて他の実施形態を説明するためのブロック図である。

以下に、本発明の実施形態を図面と共に説明する。なお、本実施形態の機器診断ツール１は、不具合の有無をテストする対象となる機器（以下「対象機器１０」という）に、当該機器診断ツール１の機能を実現するためのプログラムが組み込まれることによって構成される。このため、機器診断ツール１を構成する各部３〜５は、対象機器１０が備える構成要素と共通して用いられるものである。

＜全体構成＞
機器診断ツール１は、ユーザ操作に応じて画像表示を含む制御を行う対象機器１０について、その対象機器１０の制御に係る不具合の有無をテストするためのツールであって、図１に示すように、表示部２と、操作入力部３と、記憶部４と、制御部５とを備えて構成される。なお、対象機器１０としては、これら各部３〜５を備えるものであればよく、例えばスマートフォンや、タブレット端末、携帯電話、パーソナルコンピュータ、ナビゲーション装置、テレビ等、各種の機器が採用され得る。

表示部２は、制御部５からの指令に基づいて画像を表示するディスプレイであり、例えば液晶ディスプレイや、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、ヘッドアップディスプレイ、ヘッドマウントディスプレイ等、各種のディスプレイを採用することができる。

操作入力部３は、ユーザが操作を行う各種スイッチ類からの入力信号を制御部５に伝達する部位であり、このようなスイッチ類としては、例えばメカニカルなスイッチや、マウスやタッチパッド等のポインティングデバイス、タッチパネル等、各種の入力デバイスを採用することができる。

記憶部４は、制御部５に接続されて各種のデータを記憶するものであり、例えばハードディスクドライブや、ＵＳＢメモリやメモリカード等が挿入されたリーダライタ、ＣＤ・ＤＶＤ等が挿入された光学ドライブ等、各種のものを採用することができる。

制御部５は、ＣＰＵ、ＲＯＭ、ＲＡＭ，フラッシュメモリ等によって構成される１ないし複数のマイクロコンピュータを中心に構成されており、ＣＰＵが、ＲＯＭやフラッシュメモリ、記憶部４等に記憶されているプログラムに基づき、ＲＡＭを作業エリアとして用い、各種の処理を実行するものである。なお、プログラムには、対象機器１０が有する機能を実現するための各種のプログラム（以下「対象プログラム」という）の他、機器診断ツール１としての機能を実現するためのプログラム（以下「診断プログラム」という）が含まれている。

例えば、対象プログラムには、対象機器１０がスマートフォンやタブレット端末である場合、ＯＳやミドルウェア、主要なアプリケーションからなるソフトウェアスタック（集合）パッケージで構成されたものや、各種のアプリケーションが含まれている。制御部５は、対象機器１０の電源がＯＮされると、集合パッケージを起動させて、予め設定された初期画像を表示部２の画面に表示させ、操作入力部３からの入力信号に基づいて、ユーザ操作に応じたアプリケーションを起動させたり、アプリケーションにおける各種機能を実現させるための処理（以下「アプリケーション処理」という）を実行したりするなかで、そのアプリケーションによって指定される各種の画像（以下「アプリケーション画像」という）を表示部２の画面に表示させる。

また、診断プログラムは、制御部５が対象プログラムに基づき、ユーザ操作に応じて行う画像表示を含む制御が正常に行われているかどうかをテストするためのプログラムであり、これらの制御に係る不具合が検出されたときに、その不具合に関するテストレポートを生成するまでの一連の処理内容が規定されている。制御部５は、操作入力部３からの入力信号に基づき、ユーザ操作に応じて診断プログラムが起動されると、以下で説明する機器診断処理を実行するように構成されている。なお、機器診断処理では、対象プログラムの集合パッケージも起動されており、対象機器１０のテストを行うユーザ（以下「テスタ」という）が、操作入力部３のタッチパネルやメカニカルなスイッチ等を操作することにより、アプリケーションの起動やアプリケーション処理が実行されるようになっており、これらに伴い表示部２の画面に表示される初期画像やアプリケーション画像等の画像データや、ユーザ操作に関する情報（以下「操作情報」という）が記憶部４に保存されるようになっている。なお、記憶部４に保存される画像データは、静止画に限らず、動画である場合もある。そして、機器診断処理では、記憶部４に保存された画像データの中から、対象機器１０の制御に不具合があったときに、その不具合の報告用の画像データを自動抽出し、抽出した画像データを用いてテストレポートを生成するようになっている。

＜機器診断処理＞
次に、制御部５が実行する機器診断処理について、図２のフローチャートに沿って詳しく説明する。なお、本処理は、前述の通り、ユーザ操作に応じて診断プログラムが起動されると開始し、この診断プログラムを終了させるための操作を操作入力部３から入力すると終了する。

まず、本処理が開始されると、制御部５は、Ｓ１１０において、画像データの抽出方法を自動モードまたは手動モードのいずれかのモードに設定するための設定用画面を表示部２に表示させる。なお、表示部２に設定用画面が表示されると、テスタは、操作入力部３を介して上記いずれかのモードを選択・決定することができる。また、設定用画面では、上記モードの設定に限らず、例えば、記憶部４に保存する画像データとして静止画・動画を選択・決定したり、記憶部４に保存するデータ量を設定したり、記憶部４に保存する操作情報として各種情報毎に保存するかどうか設定したりすることができる。なお、設定用画面は、本処理の実行中、ユーザ操作によって任意のタイミングで表示させることができる。

続いて、Ｓ１２０では、Ｓ１１０において設定されたモードが自動モードであるか手動モードであるか否かを判断し、自動モードの設定である場合には、Ｓ１３０に移行し、手動モードである場合には、Ｓ２２０に移行する。

Ｓ１３０では、前述の初期画像を表示部２の画面に表示させることで、設定用画面から初期画面に戻り、テスタが操作入力部３を介してタッチパネルやメカニカルなスイッチ等を操作することにより、アプリケーションの起動やアプリケーション処理が実行されることに伴い、表示部２の画面に表示される画像（画像データ）を記憶部４に記憶する画像記憶処理を開始する。なお、画像データは、記憶された時点が識別可能な形態で記憶部４に記憶されるので、時系列に沿って記憶部４に記憶されることになる。

そして、Ｓ１４０では、操作入力部３からの入力信号に基づき、操作入力部３のタッチパネルやメカニカルなスイッチ等が操作されたか否かを判断し、このようなユーザ操作がなされた場合には、Ｓ１５０に移行し、ユーザ操作がなされていない場合には、Ｓ１６０に移行する。

Ｓ１５０では、Ｓ１４０において操作入力部３のタッチパネルやメカニカルなスイッチ等が操作された内容を表す操作情報を、その操作されたときに表示部２の画面に表示されていた画像（画像データ）と対応づけて記憶部４に記憶して、Ｓ１４０に戻る。なお、ここでの操作情報には、少なくともタッチ操作の位置を示す座標（位置座標）またはメカニカルなスイッチを特定するための情報が含まれており、設定に応じては、さらにタッチ操作時の接触面積や圧力に関する情報等が含まれ得る。また、Ｓ１４０における操作に応じて、アプリケーションの起動やアプリケーション処理が実行されることに伴い、表示部２の画面には、各種のアプリケーション画像等が順次表示されていくことになる（但し、操作によっては初期画像が表示されることもある）。

Ｓ１６０では、Ｓ１４０においてユーザ操作が連続してなされていない時間（以下「アイドル時間」という）が、予め設定された閾値時間（例えば１分）以上となったか否かを判断し、アイドル時間が経過した場合には、Ｓ１７０に移行し、アイドル時間が経過していない場合には、Ｓ１４０に戻る。

Ｓ１７０では、Ｓ１６０においてアイドル時間が閾値時間以上経過した時点（つまり、ユーザ操作が閾値時間以上なされなかった時点）を、前述の画像データの抽出における開始点として設定し、この開始点を表すタイミング情報を記憶部４に記憶する。

続くＳ１８０では、表示部２の画面に不具合が検出されたか否かを判断し、不具合が検出された場合には、Ｓ１９０に移行し、不具合が検出されていない場合には、Ｓ１４０に戻る。不具合の検出方法は、従来のように、テスタが実際に操作を行った手順（操作手順）とともに、その操作に応じて表示部２の画面に表示された画像（表示画像）を期待値（正解画像）として記憶部４に記憶しておき、その記憶された操作手順に沿って自動制御されたときの表示画像を正解画像と比較することにより行ってもよいが、本実施形態ではテスタが実際に操作しながら表示部２の画面が正しく表示されているか（つまり、アプリケーション処理等が正常になされているか）どうか判断することにより行う。

Ｓ１９０では、記憶部４に記憶されているタイミング情報に基づいて、Ｓ１７０において設定した開始点から、Ｓ１８０において不具合が検出された時点に対応する期間に記憶部４に記憶された１ないし複数の表示画像（画像データ）を抽出し、Ｓ２００に移行する。つまり、Ｓ１８０において不具合が検出された時点が、画像データの抽出における終了点として設定されることになる。

このように、Ｓ１１０〜Ｓ１２０によって自動モードに設定されている場合、Ｓ１３０〜Ｓ１９０によって、ユーザ操作が閾値時間以上なされなかった時点を開始点、不具合が検出された時点を終了点とし、例えばこの開始点から終了点に対応する期間に記憶部４に記憶された１ないし複数の表示画像（画像データ）を抽出する自動抽出処理を行うようにしている。

一方、Ｓ１１０〜Ｓ１２０によって手動モードに設定されている場合、後述するＳ２２０〜Ｓ２８０によって、その手動モードが設定された時点を開始点、不具合が検出された時点を終了点とし、例えばこの開始点から終了点に対応する期間に記憶部４に記憶された１ないし複数の表示画像（画像データ）を抽出する手動抽出処理を行うようにしている。

具体的には、Ｓ２２０では、操作入力部３からの入力信号に基づき、Ｓ１１０において手動モードに設定する操作（以下「手動設定操作」という）がなされたか否かを判断し、このような手動設定操作がなされた場合には、Ｓ２３０に移行し、手動設定操作がなされていない場合には、Ｓ１２０に戻る。

Ｓ２３０では、Ｓ１３０と同様に、画像記録処理を開始し、続くＳ２４０では、Ｓ２２０において手動設定操作がなされた時点（つまり、手動モードが設定された時点）を、前述の画像データの抽出における開始点として設定し、この開始点を表すタイミング情報を記憶部４に記憶する。

そして、Ｓ２５０では、Ｓ１４０と同様に、操作入力部３のタッチパネルやメカニカルなスイッチ等が操作されたか否かを判断し、このようなユーザ操作がなされた場合には、Ｓ２６０に移行し、ユーザ操作がなされていない場合には、Ｓ２７０に移行する。

Ｓ２６０では、Ｓ１５０と同様に、Ｓ２５０において操作入力部３のタッチパネルやメカニカルなスイッチ等が操作された内容を表す操作情報を、その操作されたときに表示部２の画面に表示されていた画像（画像データ）と対応づけて記憶部４に記憶して、Ｓ２５０に戻る。

Ｓ２７０では、Ｓ１８０と同様に、表示部２の画面に不具合が検出されたか否かを判断し、不具合が検出された場合には、Ｓ２８０に移行し、不具合が検出されていない場合には、Ｓ２５０に戻る。

Ｓ２８０では、Ｓ１９０と同様に、記憶部４に記憶されているタイミング情報に基づいて、Ｓ２３０において設定した開始点から、Ｓ２７０において不具合が検出された時点に対応する期間に記憶部４に記憶された１ないし複数の表示画像（画像データ）を抽出し、Ｓ２００に移行する。

次に、Ｓ２００では、Ｓ１９０またはＳ２８０において抽出された１ないし複数の表示画像（画像データ）を用いて、不具合に関するテストレポートを生成するレポート生成処理を行う。つまり、図３（ａ）に示すように表示部２の画面（画面Ａ〜Ｆ）上においてユーザ操作（操作１〜５）がなされ、図３（ｂ）に示すように自動モードが設定されている場合、自動抽出処理によって、アイドル時間が閾値時間以上経過した時点から不具合検出時点までに表示されていた画面Ｄ、Ｅ、Ｆが抽出され、レポート生成処理では、これら画面Ｄ、Ｅ、Ｆを対象としてテストレポートを生成する。また、図３（ｃ）に示すように手動モードが設定されている場合、手動抽出処理によって、手動設定操作がなされた時点から不具合検出時点までに表示されていた画面Ｄ、Ｅ、Ｆが抽出され、レポート生成処理では、これら画面Ｄ、Ｅ、Ｆを対象としてテストレポートを生成する。なお、テストレポートは、例えば、不具合検出時に表示部２の画面に表示されていた画像（画面Ｆ）と、不具合に至る過程を示す画像（画面Ｄ、Ｅ）とを示すように構成されたものであり、本実施形態では、記憶部４に記憶されている操作情報に基づく操作画像１８（図４、５参照）が、それぞれ対応する表示画像（画面Ｄ、Ｅ、Ｆ）に含まれている。

最後に、Ｓ２１０では、Ｓ２００において生成されたテストレポートを編集するための編集用画面２０（図４、５参照）を表示部２に表示し、ユーザ操作に応じてテストレポートを加工することにより報告書を作成する報告書作成処理を実施し、本処理を終了する。この報告書作成処理では、編集用画面２０において、上記開始点以前および終了点以降に記憶部４に記憶された１ないし複数の表示画像（画像データ）を履歴画像とし、この履歴画像をテストレポートに追加するためのガイド画像２１、２２（図４、５参照）を表示したり、不具合箇所の特定および説明等をテストレポートに加入するためのツール画像２３（図４、５参照）を表示したりすることによって、ユーザがテストレポートを編集しやすいようにしている。

＜動作例＞
このように構成された機器診断ツール１では、図４（ａ）に示すように、動画を視聴するためのアプリケーション（動画アプリ）を実行中に、読み込み中のまま動画が再生されない不具合を、テスタが見つけたときに、テストレポートを生成するために予め決められたユーザ操作を行うと、不具合検出時から遡って最初にアイドル時間（操作間隔）が閾値時間以上経過した時点に対応する画像（画面Ｃ、Ｄのいずれでもよいが、本実施形態では画面Ｄとする）と、不具合検出時の画像（画面Ｆ）と、これらの間の表示画像（画面Ｅ）とが抽出される。

そして、図４（ｂ）に示すように、これらの抽出された表示画像（画面Ｄ、Ｅ、Ｆ）に、例えば操作画像１８として、テスタの操作位置を示すポインタ（手のマーク）が重畳され、これらの表示画像（画面Ｄ、Ｅ、Ｆ）を時系列順に並べて配置することによりテストレポートが生成される。このテストレポートが生成されると、編集用画面２０として表示部２に表示される。編集用画面２０では、例えばツール画像２３として、テストレポート上の表示画像に不具合の内容を書き込むための吹き出しや、不具合の部分を囲うための枠、不具合の箇所を指し示すための矢印等が表示されており、これらはユーザがテストレポートを編集する際（報告書を作成する際）に使用される。また、編集用画面２０では、例えば第１のガイド画像２１として、左方向を示すスクロールボタンが表示されており、このボタンが押し下げられる毎に、画面Ｄ以前に記憶部４に記憶された表示画像が直近のものから順次（例えば、画面Ｃ、Ｂの順に）、テストレポートに追加される。なお、この追加された表示画像（画面Ｂや画面Ｃ）にも、例えば操作画像１８として、テスタの操作位置を示すポインタ（手のマーク）が重畳されるようになっている。

また、機器診断ツール１では、図５（ａ）に示すように、アプリケーションの実行中に、ソフトウェアボタンを押しても次画面に遷移しない不具合を、テスタが見つけたときに、テストレポートを生成するために予め決められたユーザ操作を行うと、不具合検出時から遡って最初にアイドル時間（操作間隔）が閾値時間以上経過した時点に対応する画像（例えば、画面Ｄ）と、不具合検出時の画像（画面Ｆ）と、これらの間の表示画像（画面Ｅ）とが抽出される。

そして、図５（ｂ）に示すように、これらの抽出された表示画像（画面Ｄ、Ｅ、Ｆ）に、例えば操作画像１８として、テスタの操作位置を示すポインタ（手のマーク）が重畳され、これらの表示画像（画面Ｄ、Ｅ、Ｆ）を時系列順に並べて配置することによりテストレポートが生成される。このテストレポートが生成されると、編集用画面２０として表示部２に表示される。編集用画面２０では、例えばツール画像２３として、テストレポート上の表示画像に不具合の内容を書き込むための吹き出しや、不具合の部分を囲うための枠、不具合の箇所を指し示すための矢印等が表示されており、これらはユーザがテストレポートを編集する際（報告書を作成する際）に使用される。また、編集用画面２０では、例えば第２のガイド画像２２として、右方向を示すスクロールボタンが表示されており、このボタンが押し下げられる毎に順次、画面Ｆ以降に記憶部４に記憶された表示画像（画面Ｇ）が直近のものからテストレポートに追加される。なお、この追加された表示画像（画面Ｇ）にも、例えば操作画像１８として、テスタの操作位置を示すポインタ（手のマーク）が重畳されるようになっている。図５（ｂ）では、不具合検出時の画像（画面Ｆ）の表示中に、メカニカルなスイッチとしてハードウェアのＨＯＭＥボタンが押下されると、正常に初期画像としてのＨＯＭＥ画面（画面Ｇ）へ遷移したことを、表示画像とともにテストレポートに追記することができる場合を示している。ちなみに、このスクロールボタンは、図４（ｂ）に示す画面Ｂや画面Ｃを表示させた状態で押し下げされる毎に、古いものから順次（例えば、画面Ｂ、画面Ｃの順に）、テストレポートから削除させることもできる。

＜効果＞
以上説明したように、機器診断ツール１では、ユーザ操作に応じて画像表示を含む制御を行う対象機器１０について、その対象機器１０の制御に係る不具合の有無をテストするための機器診断処理を実行する。この機器診断処理では、対象機器１０による表示画像を時系列に沿って記憶部４に記憶しつつ、ユーザ操作が所定の閾値時間以上なされなかった時点を開始点、不具合が検出された時点を終了点とし、この開始点から終了点に対応する期間に記憶部４に記憶された１ないし複数の表示画像を抽出する自動抽出処理を行う。そして、自動抽出処理により抽出された１ないし複数の表示画像を用いて、不具合に関するテストレポートを生成する。

このような構成により、不具合の検出に至るユーザの一連の操作に応じた表示画像が、その操作順に沿った態様で抽出され、このように抽出された表示画像を用いたテストレポートが自動生成されるので、テスタが不具合の内容を誰かに報告する際に、このテストレポートを用いて、不具合の内容だけでなく、その不具合に至る過程も画像で示すことができる。また、その結果、報告を受ける側にとっても、不具合の内容を直感的に理解しやすくなる。

したがって、機器診断ツール１によれば、テスタが別途文書を作成したり、説明用の画像を文書に貼り付けたりする手間をかけずに済み、テストレポートをそのまま使用したり、少し加工したりするだけでわかりやすい報告書を作成することが可能となり、不具合の内容を効率よく報告できるようになる。

また、機器診断処理では、対象機器１０による表示画像の出力中になされたユーザ操作に関する操作情報を、その出力中の表示画像に対応づけて記憶部４に記憶し、この操作情報に基づく操作画像を対応する表示画像に含むテストレポートを生成する。

これにより、テストレポートにおいて、表示画像とともに不具合の検出に至るユーザの一連の操作が自動的に示されることになるため、テスタが文章等で不具合に至る過程等を説明する手間を軽減させることができ、わかりやすい報告書をより容易に作成することが可能となる。また、その結果、報告を受ける側にとっても、不具合の内容をより直感的に理解しやすくなる。

また、機器診断処理では、操作情報として、表示画面上の操作位置を表す情報を記憶部４に記憶し、表示画面上の操作位置を表す操作画像を対応する表示画像に含むテストレポートを生成する際に、操作画像としてポインタ等の図形を用いることにより、文字によってユーザの操作内容を説明するよりも、より直感的にわかりやすくすることができる。

また、機器診断処理では、テストレポートを編集するための編集用画面２０を表示部２に表示し、ユーザ操作に応じてテストレポートを加工することにより報告書を作成する報告書作成処理を実施する。これにより、ユーザが編集用画面２０上でテストレポートを加工して報告書を作成することが容易になるため、使い勝手をさらに向上させることができる。

また、報告書作成処理では、上記開始点以前に記憶部４に記憶された１ないし複数の表示画像を履歴画像として、この履歴画像をテストレポートに追加するための第１のガイド画像２１を編集用画面２０に表示する。

これにより、仮に自動抽出処理によってテスタの所望するテストレポートが得られなかった場合であっても、モードの設定を切り替えることなく、開始点以前の表示画像（履歴画像）を適宜、テストレポートに追加することが容易にできるようになり、利便性をさらに向上させることができる。

また、同様に、報告書作成処理では、上記終了点以降に記憶部４に記憶された１ないし複数の表示画像を履歴画像として、この履歴画像をテストレポートに追加するための第２のガイド画像２２を編集用画面２０に表示する。

これにより、不具合の検出以降においてユーザ操作に応じた表示画像（静止画または動画）を適宜、テストレポートに追加することが容易になるため、例えば、不具合を回避できる別のユーザ操作等を表示画像とともに示すこともできるようになり、テスタがより詳細且つわかりやすい報告書を容易に作成することが可能となる。

また、機器診断処理では、画像データの抽出方法を自動モードまたは手動モードのいずれかのモードに設定し、自動モードが設定された場合、前述の自動抽出処理を行い、モード設定手段により手動モードが設定された場合には、その手動モードが設定された時点を開始点として表示画像を抽出する手動抽出処理を行う。

これにより、仮に自動抽出処理によってテスタの所望するテストレポートが得られないような場合（例えば、アイドル時間によって開始点を決定したくない場合）に、モードの設定を手動モードにすることにより、テスタの所望するタイミングで表示画像を抽出し、不具合の検出に至るテスタの一連の操作に応じた表示画像を用いたテストレポートを生成することが可能となるので、使い勝手をより向上させることができる。

＜発明との対応＞
なお、本実施形態において、記憶部４およびＳ１２０〜Ｓ１５０，Ｓ２３０，Ｓ２５０，Ｓ２６０の処理を行う制御部５が画像記憶手段、Ｓ１６０〜Ｓ１９０の自動抽出処理およびＳ２２０，Ｓ２４０，Ｓ２７０，Ｓ２８０の手動抽出処理を行う制御部５が第１の画像抽出手段、Ｓ２００の処理を行う制御部５がレポート生成手段、Ｓ１１０の処理を行う制御部５がモード設定手段、Ｓ２１０の処理を行う制御部５が第２の画像抽出手段およびレポート編集手段の各一例にそれぞれ相当する。

＜他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態の機器診断ツール１は、対象機器１０の制御部５に診断プログラムが組み込まれることによって構成されているが、これに限定されるものではなく、対象機器１０とは別体の装置であり、対象機器１０に有線または無線で接続される態様であってもよい。例えば、機器診断ツール１と対象機器１０とがＵＳＢケーブル等で接続されてもよい。

また例えば、図６に示すように、機器診断ツール１は、インターネット網を介して通信可能に対象機器１０に接続されていてもよい。詳細には、対象機器１０が、表示部２、操作入力部３、対象プログラムが実装された制御部５（以下「対象機器制御部５０」という）の他、インターネット網を介して機器診断ツール１との間で通信を行う通信部６０を備え、機器診断ツール１が、表示部２、操作入力部３、記憶部４、診断プログラムが実装された制御部５（以下「ツール制御部５１」という）の他、インターネット網を介して対象機器１０との間で通信を行う通信部６１を備えるとよい。そして、機器診断ツール１は、機器診断処理において、機器診断ツール１の操作入力部３を介して対象プログラムに基づく処理を実行させるための操作情報を、通信部６１からインターネット網を経由して対象機器１０に送信する。一方、対象機器１０に実装された対象プログラムには、通信部６０を介して受信した操作情報に基づき、テスタの操作に応じた画像表示を含む制御を行い、この制御による表示画像を、通信部６０からインターネット網を経由して機器診断ツール１に送信することが可能な規定があればよい。このような構成によれば、機器診断ツール１は、通信部６１を介して受信した表示画像を機器診断ツール１の記憶部４に記憶することができる。

以上のように、機器診断ツール１が対象機器１０とは別体に構成された装置である場合、機器診断ツール１と対象機器１０と同じ画像を表示させてもよい。また、この場合、機器診断ツール１の表示部２に、対象機器１０における表示画像と、前述の編集用画面２０とを並べて表示し、前述の機器診断処理から報告書作成処理を切り離し、これらの処理をツール制御部５１（制御部５）が並列的に実行する構成を採用し易くなる。

なお、機器診断ツール１と対象機器１０との間で送受信される各種データは、インターネット網上のサーバ４０に記憶してもよい。このサーバ４０において、対象機器１０毎に、テストレポート（または報告書）を記憶することによって管理してもよい。

また、上記実施形態の機器診断処理では、画像データの抽出における開始点を設定し、この開始点を示すタイミング情報を記憶部４に記憶しているが、これに限定されるものではなく、例えば、アイドル時間を記憶部４に記憶しておき、不具合を検出した時点で、記憶部４に記憶されているアイドル時間に基づいて、開始点を探索するようにしてもよい。

また、上記実施形態の機器診断処理では、設定用画面において手動モードが設定された時点（手動設定操作がなされた時点）を開始点として設定しているが、これに限定されるものではなく、手動設定操作とは別に画像記憶処理の開始後に予め規定された操作（手動記録操作）がなされた時点を開始点として設定してもよい。

また、上記実施形態の機器診断処理では、テストレポートにおいて、操作画像１８として、テスタの操作位置を示すポインタ（手のマーク）が重畳されるようになっているが、ポインタに限定されるものではなく、他の図形や絵、文字、記号等のいずれが用いられてもよい。また、操作画像１８は、テスタの操作位置に限らず、例えば操作時刻や、タッチ操作時の接触面積や圧力等に関する情報であってもよい。

また、上記実施形態の機器診断処理では、画像データの抽出方法を自動モードまたは手動モードのいずれかのモードに設定し、自動モードに設定された場合、自動抽出処理を行い、手動モードに設定された場合、手動抽出処理を行うようにしているが、これに限定されるものではなく、少なくとも自動抽出処理を行うようになっていれば、モードの設定や手動抽出処理を省略してもよい。

１…機器診断ツール、２…表示部、３…操作入力部、４…記憶部、５…制御部、１０…対象機器、１８…操作画像、２０…編集用画面、２１…第１のガイド画像、２２…第２のガイド画像、２３…ツール画像、４０…サーバ、５０…対象機器制御部、５１…ツール制御部、６０，６１…通信部。

Claims (5)

1. ユーザ操作に応じて画像表示を含む制御を行う対象機器について、前記対象機器の制御に係る不具合の有無をテストするための機器診断ツールであって、
   前記対象機器による表示画像を前記ユーザ操作の操作情報と対応づけて時系列に沿って記憶する画像記憶手段と、
   前記ユーザ操作が所定の閾値時間以上なされなかった時点を前記操作情報に基づき開始点とし、前記不具合が検出された時点を終了点とし、前記開始点から前記終了点に対応する期間に前記画像記憶手段に記憶された１ないし複数の前記表示画像を抽出する自動抽出処理を行う第１の画像抽出手段と、
   前記第１の画像抽出手段により抽出された１ないし複数の前記表示画像を用いて、前記不具合に関するテストレポートを生成するレポート生成手段と、
   前記画像記憶手段に記憶された１ないし複数の前記表示画像のうち、前記第１の画像抽出手段により抽出された１ないし複数の前記表示画像に対して時系列で前または後ろに隣接する前記表示画像を抽出する第２の画像抽出手段と、
   前記第２の画像抽出手段により抽出された前記表示画像を、前記レポート生成手段により生成された前記テストレポートに対して追加するレポート編集手段と、
   を備えることを特徴とする機器診断ツール。
2. ユーザ操作に応じて画像表示を含む制御を行う対象機器について、前記対象機器の制御に係る不具合の有無をテストするための機器診断ツールであって、
   前記対象機器による表示画像を前記ユーザ操作の操作情報と対応づけて時系列に沿って記憶する画像記憶手段と、
   前記ユーザ操作が所定の閾値時間以上なされなかった時点を前記操作情報に基づき開始点とし、前記不具合が検出された時点を終了点とし、前記開始点から前記終了点に対応する期間に前記画像記憶手段に記憶された１ないし複数の前記表示画像を抽出する自動抽出処理を行う第１の画像抽出手段と、
   前記第１の画像抽出手段により抽出された１ないし複数の前記表示画像を用いて、前記不具合に関するテストレポートを生成するレポート生成手段と、
   を備え、
   前記画像記憶手段は、前記操作情報として、前記対象機器による表示画像の出力中になされた前記表示画像における前記ユーザ操作の位置を、前記出力中の表示画像に対応づけて記憶し、
   前記レポート生成手段は、前記ユーザ操作の位置に基づき前記表示画像の対応する位置にユーザ操作を示すマークを重畳させて前記テストレポートを生成すること
   を特徴とする機器診断ツール。
3. 前記第１の画像抽出手段による前記表示画像の抽出方法を自動モードまたは手動モードのいずれかのモードに設定するモード設定手段を備え、
   前記第１の画像抽出手段は、前記モード設定手段により前記自動モードが設定された場合、前記自動抽出処理を行い、前記モード設定手段により前記手動モードが設定された場合、該手動モードが設定された時点を前記開始点として前記表示画像を抽出する手動抽出処理を行うことを特徴とする請求項１または請求項２に記載の機器診断ツール。
4. コンピュータを、請求項１に記載の前記画像記憶手段、前記第１の画像抽出手段、前記レポート生成手段、前記第２の画像抽出手段および前記レポート編集手段として機能させるためのプログラム。
5. コンピュータを、請求項２に記載の前記画像記憶手段、前記第１の画像抽出手段および前記レポート生成手段として機能させるためのプログラム。