JP6811907B1 - 試験支援方法、試験支援装置及び試験支援プログラム - Google Patents

Abstract

監視制御システムに対する試験における、試験負担及びシンボルの見落としを低減することが可能な試験支援方法、試験支援装置（１）及び試験支援プログラムを提供する。試験支援方法は、監視制御システムに表示される画像として、変化前画像および変化後画像を取得する工程と、変化前画像から変化した変化後画像中の複数のシンボルを抽出する工程と、抽出した複数のシンボルに対し順序情報を付与する工程と、順序情報が複数のシンボルに付与された試験画像を出力する工程とを備える。

Description

本開示は、運行管理システム及び電力管理システム等の監視制御システムに対する試験支援方法、試験支援装置及び試験支援プログラムに関する。

例えば、鉄道における列車の運行を効率的に行うための運行管理システム、変電所の運用を管理するための電力管理システム等の監視制御システムを、更新又は新たに構築する場合、構築したシステムが適切に動作するか事前に試験を行う必要がある。この試験は、試験要領書等により試験項目が定められている。監視制御システムの製造者は、この試験要領書に基づいて試験を実施し、試験結果を記した試験成績書を作成して顧客へ提出する。

通常、このような監視制御システムに対する試験項目は多岐に亘っていることから、試験者の負担は大きい。このため、試験作業の省力化、短期間化、コスト低減が求められている。ここで、構築した監視制御システムに対する試験の負担を軽減するための一つの手段として、試験内容の確認、画面表示及び位置調整等の、試験の一部の工程を自動化する試験支援装置が知られている（例えば、特許文献１参照）。

特開２０１４−１４２８７５号公報

しかしながら、従来の試験支援装置では、構築した監視制御システムの表示画面において正しい表示がなされているか、与えられた信号に対して適切な動作をしているか等を確認する試験は、試験者の目視により行われている。例えば、表示画面が適切に動作するか確認する場合、１つの表示画面中において試験対象となるシンボルが多数存在することがあり、試験者は確認が必要なシンボルを見落とさないよう最大限の注意を払う必要があるとともに、ヒューマンエラーによって確認を見落とすおそれもあった。

本開示は、上記のような課題を解決するためになされたものであり、監視制御システムに対して行う試験において、試験者の見落としを抑制するとともに試験負担を軽減可能な試験支援方法、試験支援装置及び試験支援プログラムを提供することを目的とする。

本開示に係る試験支援方法は、監視制御システムの表示装置に表示される画像として、変化前画像及び変化後画像を取得する工程と、変化前画像から変化した変化後画像中の複数のシンボルを抽出する工程と、抽出した複数のシンボルを複数のグループに分ける工程と、抽出した複数のシンボルに対し順序情報を付与する工程と、順序情報が複数のシンボルに付与された試験画像を出力する工程とを備え、順序情報を付与する工程において、複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、複数のグループのうち第二のグループに属するシンボルに対し、第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与するものである。

本開示に係る試験支援装置は、監視制御システムの表示装置に表示される画像として、変化前画像及び変化後画像を取得する入力部と、変化前画像から変化した変化後画像中の複数のシンボルを抽出し、抽出した複数のシンボルを複数のグループに分け、抽出した複数のシンボルに対し順序情報を付与する処理部と、順序情報が複数のシンボルに付与された試験画像を出力する出力部とを備え、処理部は、複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、複数のグループのうち第二のグループに属するシンボルに対し、第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与するものである。

本開示に係る試験支援プログラムは、コンピュータに、監視制御システムの表示装置に表示される画像として、変化前画像及び変化後画像を取得する工程と、変化前画像から変化した変化後画像中の複数のシンボルを抽出する工程と、抽出した複数のシンボルを複数のグループに分ける工程と、抽出した複数のシンボルに対し順序情報を付与する工程と、順序情報が複数のシンボルに付与された試験画像を出力する工程とを実行させ、順序情報を付与する工程において、複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、複数のグループのうち第二のグループに属するシンボルに対し、第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与するものである。

本開示によれば、変化前画像から変化した変化後画像中のシンボルに対して順序情報が付与された試験画像が出力されるため、試験者は、変化前画面から変化した確認が必要なシンボルを、シンボルに付与された順序情報に基づいて確認することで、確認が必要なシンボルを漏れなく確認できる。このため、試験負担及びシンボルの見落としを低減することが可能となる。

実施の形態１における試験支援システムの概略図である。 実施の形態１における試験支援装置が実行する試験画像生成処理のフローチャートである。 実施の形態１における試験支援装置が取得する変化前画像の概略図である。 実施の形態１における試験支援装置が取得する変化後画像の概略図である。 実施の形態１における試験支援装置によりマーキングが付与された変化後画像の概略図である。 実施の形態１における試験支援装置が実行する順序情報の付与処理のフローチャートである。 実施の形態１における試験支援装置が出力する試験画像の概略図である。 実施の形態２における試験支援装置が実行する順序情報の付与処理のフローチャートである。 実施の形態２における試験支援装置が出力する試験画像の概略図である。 実施の形態３における試験支援装置が実行する順序情報の付与処理のフローチャートである。 実施の形態３における試験支援装置が出力する試験画像の概略図である。 実施の形態４における試験支援装置が実行する順序情報の付与処理のフローチャートである。 実施の形態４における各分割領域における変化シンボルの割合を示す図である。 実施の形態５における試験支援システムの概略図である。 実施の形態５における試験者の視線特性の一例を示す図である。 実施の形態５における試験支援装置が実行する順序情報の付与処理のフローチャートである。

実施の形態１．
＜試験支援システム１００の構成＞
実施の形態１における試験支援システム１００の構成について、図１を用いて説明する。図１に、構成した監視制御システムに対する試験を支援するための試験支援システム１００の概略図を示す。試験支援システム１００は、試験支援装置１と、入力装置２と、出力装置３とを備えている。また、試験支援システム１００は、例えば、社内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク２０と通信可能に接続されている。

試験支援装置１は、例えば、監視制御システムを構築した製造者の社内に設置されたコンピュータであり、運行管理システム及び電力管理システム等の監視制御システムに対して試験を行う際に、試験者が参照するための試験画像を生成する。本実施の形態では試験支援装置１を社内に設置しているが、それに限らず、社外のサーバやクラウド上に設けてもよい。

入力装置２は、試験支援装置１に対して操作者の指示やデータを入力するための機器である。操作者の指示を入力する機器としては、例えば、キーボード、マウス、タッチパネル、等が挙げられる。また、データを入力するための機器としては、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＳＤカード、ＵＳＢメモリ等が挙げられる。

出力装置３は、試験支援装置１から出力された情報を表示又は印刷するための機器である。表示するための機器としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、スマートフォン、携帯タブレット機器等が挙げられる。また、印刷するための機器としては、例えば、プリンタ等が挙げられる。

試験支援装置１の構成について詳細に説明する。図１に示す通り、試験支援装置１は、入力部１０と、処理部１１と、記憶部１２と、出力部１３とを備えている。

入力部１０は、操作者の指示やデータを試験支援装置１の外部から取得するための入力インターフェースである。操作者の指示を取得するための入力インターフェースとしては、例えば、ＵＳＢ端子が挙げられる。入力部１０は、ＵＳＢケーブルにより入力装置２と接続され、入力装置２から操作者の指示を受け付ける。また、データを取得するための入力インターフェースとしては、例えば、ＬＡＮ端子が挙げられる。入力部１０は、有線ネットワーク端子であるＬＡＮ端子に限られず、例えば、ワイヤレスＬＡＮ方式により無線で通信を行ってもよい。また、ＬＡＮに限らず、インターネット等のネットワークを介してデータを取得してもよい。

処理部１１は、ＣＰＵ等のプロセッサであり、入力部１０、記憶部１２及び出力部１３と接続されている。処理部１１は、記憶部１２にインストールされた試験支援プログラムを実行し、入力部１０、記憶部１２及び出力部１３の動作制御、及び演算処理等を実行する。

出力部１３は、処理部１１が取得したデータ及び処理した処理結果等を試験支援装置１外に出力するための出力インターフェースであり、例えば、ＨＤＭＩ端子（ＨＤＭＩは登録商標）、ＤＶＩ端子、Ｄ−Ｓｕｂ端子、ＵＳＢ端子等が挙げられる。出力部１３は、各種ケーブルにより出力装置３と接続され、処理部１１は、出力部１３を介して各種データを出力装置３に送信する。これにより、出力装置３は受信したデータを表示又は印刷することができる。

＜試験支援装置１の試験画像生成処理＞
試験支援装置１における試験画像生成処理について、図２を用いて説明する。図２に、試験支援装置１が実行する試験画像生成処理のフローチャートを示す。

試験支援装置１は、ステップＳ１０１において、監視制御システムに表示される試験対象となる画像として、変化前画像及び変化後画像を取得する。ここで、監視制御システムの試験では、監視制御システムが表示する画像上のシンボルが、信号の入力に対して正しく変化するか試験者が確認する。変化前画像とは、信号が入力される前に監視制御システムが表示している画像であり、変化後画像とは、信号の入力に基づいて表示が変化した後の画像である。

変化前画像の一例を、図３を用いて説明する。図３に、一例として、運行管理システムが表示する運行表示画面における、変化前画像の概略図を示す。運行管理システムは、列車の運行を集中的に監視制御するシステムであり、例えば、運行表示画面においては路線における列車の運行状況及び各種異常等を表示している。なお、以下では試験支援装置の支援対象が運行管理システムである場合を例に説明する。

続いて、変化後画像の一例を、図４を用いて説明する。図４に、運行管理システムが表示する運行表示画面における、変化後画像の概略図を示す。構築した運行管理システムが監視制御の様々な局面において適切な画像を表示するか否か確認するため、監視制御の各局面に対応する各試験項目について、その局面で発生される信号を模した信号を運行管理システムに入力する。運行管理システムは入力された信号に基づいて、監視制御システムにおける表示を変化前画像から変化後画像に変化させる。

運行管理システムの試験者は、試験の実施に先立ち、試験において実施する試験項目に応じた複数の模擬信号を生成して運行管理システムに入力する。その際、複数の模擬信号の入力に応じて変化する変化前画像及び変化後画像をスクリーンショット又はカメラ等によりそれぞれ撮影し、試験項目に対応する変化前画像及び変化後画像を含む試験画像群のデータを生成する。生成した試験画像群のデータは社内ＬＡＮ上のサーバ又はＵＳＢメモリ等に格納されている。試験支援装置１は、ステップＳ１０１において、入力部１０を介してサーバやＵＳＢメモリ等から予め生成しておいた変化前画像及び変化後画像を含む試験画像群のデータを取得する。取得した試験画像群のデータは、試験支援装置１の記憶部１２に格納される。

図２に戻り、試験支援装置１は、ステップＳ１０２において、取得した変化前画像及び変化後画像において変化したシンボルを抽出する。試験支援装置１は、変化前画像及び変化後画像に対して画像差分検出を行い、変化前画像から変化した変化後画像中のシンボルを特定する。以下では、変化前画像から変化した変化後画像中のシンボルのことを、適宜「変化シンボル」とも呼ぶものとする。

続いて、試験支援装置１は、ステップＳ１０３において、変化シンボルに対してマーキング３０を付与する。図５に、マーキング３０が付与された変化後画像の概略図を示す。図５に示す通り、試験支援装置１は、ステップＳ１０２において特定した変化シンボルに対し矩形の枠を付与する。これにより、変化前画像から変化した変化後画像中のシンボルが矩形の枠により囲われることとなり、試験者は確認が必要なシンボルの位置が明確となる。このため、確認が必要なシンボルを探す手間及び時間が低減され、試験負担を軽減することができる。ここで、変化シンボルに付与するマーキング３０は試験者にシンボルの位置がわかる形式であればよく、矩形の枠に限らない。マーキング３０としては、例えば、円形の枠の付与、下線の付与、色の変更等であってもよい。また、画像右上の日時については変化前画像および変化後画像において異なる日時となっているが、マーキング３０は付与されていない。日時のように変化の検知が不要な領域を予め指定し、変化検知をマスクする領域を設定してもよい。

再び図２に戻り、試験支援装置１は、ステップＳ１０４において、変化したシンボルに対し順序情報を付与する。試験支援装置１は、変化前画像から変化した変化後画像中のシンボルに対し、例えば、１、２、３…と順に異なる数字を割り付ける。これにより、変化シンボルそれぞれに対して順序情報が付与された試験画像が生成される。ここで、順序情報は数字に限らず、例えば、Ａ、Ｂ、Ｃ…と順にアルファベットを付与してもよい。試験支援装置１は、ステップＳ１０５において、生成した試験画像を出力部１３を介して出力装置３に出力する。

＜試験支援装置１の順序情報の付与処理＞
試験支援装置１が実行する順序情報の付与処理について、図６及び図７を用いて説明する。図６に、試験支援装置１が実行する順序情報の付与処理のフローチャートを示す。

試験支援装置１は、ステップＳ２０１において、変化後画像に含まれる変化シンボルを、シンボルの座標に基づいて選択する。具体的には、未選択の変化シンボルのうち、シンボルが配置されるｘ座標が最も小さいものを選択する。ｘ座標が等しいシンボルが存在した場合には、ｙ座標が小さいものを優先する。続いて、試験支援装置１は、ステップＳ２０２において、選択された変化シンボルに対し、順序情報を順に付与する。ここで、シンボルの座標とは、シンボル画像に含まれるピクセルの中の代表座標を用いる。代表座標は特に限定されないが、例えば、シンボル画像の中心位置、シンボルに付与する順序情報の中心位置等が挙げられる。

試験支援装置１は、ステップＳ２０３において、ステップＳ１０２において抽出した複数の変化シンボル全ての選択が完了したか否か判定する。全シンボルの選択が完了していない場合（Ｓ２０３においてＮＯ）、選択済みのシンボルを除いた未選択の変化シンボルのうち、ｘ座標が最も小さいものを続いて選択する。全シンボルの選択が完了した場合（Ｓ２０４においてＹＥＳ）、変化シンボルに対する順序情報の付与処理は完了し、図２のＳ１０５に進む。抽出した変化シンボルに対してこのように順序情報の付与を行うことにより、複数の変化シンボルに対して一方向に並ぶ順序で順序情報を付与することができる。

図７に、本実施の形態における順序情報の付与処理によって生成した試験画像の概略図を示す。図７に示す試験画像では、試験画像を構成するピクセルのうち、左上のピクセルを原点として、右方向にｘ座標、下方向にｙ座標を取り個々のピクセルを規定している。図７に示す通り、実施の形態では、複数の変化シンボルに対し、ｘ座標が小さい順に順序情報を割り当てているため、画像の左側から順に数字が表記されている。

ここで、複数の変化シンボルのうち最後の順序情報が付与されたシンボルの順序情報は、他のシンボルの順序情報とは異なる表示を行うことが好ましい。具体的には、本実施の形態の例では「７」が最後の数字であるが、他のシンボルに対して白地に黒色の文字で順序情報が付与されている一方、最後の数字である「７」に対して黒地に白色の文字で順序情報が付与されている。これにより、試験者は「７」が最後の数字であることを一見して理解することができ、検査画面において確認をしなければならないシンボルの数が７つであることを容易に理解することができる。このため、試験者によるシンボルの見落としの抑制がより効果的となる。

本実施の形態では、複数の変化シンボルに対して順序情報の付与を行う順序として、ｘ座標の小さいものから順としたが、これに限らない。例えば、ｘ座標の大きい順としても良いし、ｙ座標の小さい順又は大きい順としてもよい。いずれの場合であっても、抽出した複数の変化シンボルに対して、一方向に並ぶ順序で順序情報を付与することができる。

本実施の形態の構成によると、変化前画像から変化した変化後画像中のシンボルに対して順序情報が付与された試験画像が出力されるため、試験者は、変化前画面から変化した確認が必要なシンボルを、シンボルに付与された順序情報に基づいて確認することで、確認が必要なシンボルを漏れなく確認することができる。よって、シンボルの試験負担及び見落としを低減することが可能となる。

実施の形態２．
＜試験支援装置１の順序情報の付与処理＞
実施の形態２における試験支援装置１の順序情報の付与処理について、図８及び図９を用いて説明する。ここで、実施の形態１の順序情報の付与処理が、一方向に並ぶ順序で順序情報を付与するのに対して、実施の形態２の順序情報の付与処理では、変化後画像を複数の領域に分割し、分割した領域毎に順序情報を付与する点で相違する。試験支援装置１が行う順序情報の付与処理以外の構成及び処理については、実施の形態１と同様である。

図８に、試験支援装置１が実行する順序情報の付与処理のフローチャートを示す。試験支援装置１は、ステップＳ３０１において、変化後画像を、複数の領域に分割する。具体的には、変化後画像をｙ軸方向に５等分し、５つの領域に分割している。ここで、変化後画像の分割数は、ステップＳ１０２において抽出した変化シンボルの数に応じて決定している。変化シンボルの数が多い場合には、画面上の隅々まで確認することが必要となるため、分割数を多く設定する。

変化後画像の分割方法はこれに限らず、ｘ軸方向に複数の領域に分割してもよいし、ｘ軸及びｙ軸の双方向に分割をしてもよい。また、等分ではなく領域毎に大きさが異なっていてもよい。さらに、変化後画像の分割数は固定の数としてもよいし、試験者から分割する領域の数の指定を受け付け、その数に基づいて変化後画像を分割してもよい。

続いて、試験支援装置１は、ステップＳ３０２において、分割した領域を分割領域の座標に基づいて選択する。具体的には、未選択の分割領域のうち、分割領域が配置される位置のｙ座標が最も小さいものを選択する。続いて、試験支援装置１は、ステップＳ３０３において、選択された分割領域に対し、順番を順に付与する。分割領域の座標とは、分割領域の代表座標を用いる。代表座標は特に限定されないが、例えば、分割領域の中心位置、分割領域の端点位置等が挙げられる。

試験支援装置１は、ステップＳ３０４において、ステップＳ３０１において分割した複数の分割領域全ての選択が完了したか否か判定する。全分割領域の選択が完了していない場合（Ｓ３０４においてＮＯ）、選択済みの分割領域を除いた未選択の分割領域のうち、ｙ座標が最も小さいものを続いて選択し順番を付与する。全分割領域の選択が完了した場合（Ｓ３０４においてＹＥＳ）、分割領域に対する順番の付与を完了し、次は図８（ｂ）のフローチャートに進むことになる。なお、分割領域に対してこのように順番の付与を行うことにより、複数の分割領域に対して一方向に並ぶ順序で順番を付与することができる。本実施の形態では、ｙ座標が小さいものから順に順番を付与しているため、複数の分割領域に対し画面の上に位置する領域から順に順番が付与される。

変化後画像を複数の領域に分割することにより、ステップＳ１０２において抽出した複数の変化シンボルが、領域毎に複数のグループに割り当てられる。具体的には、複数の分割領域のうち第１領域に属するシンボルが第一のグループに、第２領域に属するシンボルが第２のグループに、第３領域に属するシンボルが第３のグループに、第４領域に属するシンボルが第４のグループに、第５領域に属するシンボルが第５のグループに割り当てられる。このように、抽出した複数の変化シンボルは、５つのグループに分割される。

続いて、試験支援装置１は、図８（ｂ）のフローチャートに進み、分割領域に付与した順番に従って、それぞれの分割領域に含まれる各グループの変化シンボルに対し、順序情報を付与する。試験支援装置１は、ステップＳ３０５において、複数の分割領域のうち第１領域に含まれる第１グループの変化シンボルを、シンボルの座標に基づいて選択する。具体的には、第１グループに属する未選択の変化シンボルのうち、シンボルが配置されるｘ座標が最も小さいものを選択する。続いて、試験支援装置１は、ステップＳ３０６において、選択された変化シンボルに対し、順序情報を順に付与する。

ここで、本実施の形態では、変化後画像をｙ軸に沿って分割するとともに変化シンボルに対する順序情報の付与をｘ軸に沿って行っている。このように、変化シンボルに対する順序情報の付与の順は、変化後画像の分割方向と交差する方向とするのが好ましい。変化後画像をｙ軸方向に分割した場合、各分割領域はｘ軸方向に長い形状となる。このため、変化シンボルに対してｘ軸方向に沿って順序情報を付与することにより、試験者の視認性を向上することができる。

試験支援装置１は、ステップＳ３０７において、分割領域に含まれる複数の変化シンボル全ての選択が完了したか否か判定する。第１グループに属する全シンボルの選択が完了していない場合（Ｓ３０７においてＮＯ）、選択済みのシンボルを除いた未選択の変化シンボルのうち、ｘ座標が最も小さいものを続いて選択する。第１グループに属する全シンボルの選択が完了した場合（Ｓ３０７においてＹＥＳ）、第１領域に含まれた第１グループの変化シンボルに対する順序情報の付与処理を完了し、続いて、第２領域に含まれた第２グループの変化シンボルに対する順序情報の付与処理を行う。全ての分割領域に対し順序情報の付与処理が完了するまで、ステップＳ３０５からステップＳ３０７の処理をループさせることで、ステップＳ３０３で付与した分割領域の順番で各分割領域への順序情報の付与処理を実行し、全分割領域に含まれる変化シンボルに対し順序情報を付与する。

このように、変化画像を複数の領域に分割し、分割領域毎に変化シンボルに対する順序情報の付与を行うことにより、分割領域毎に、それぞれ含まれる複数の変化シンボルに対して一方向に並ぶ順序で順序情報を付与することができる。

図９に、本実施の形態における順序情報の付与処理によって生成した試験画像の概略図を示す。本実施形態の処理を分かり易くするため、図９に示す試験画像ではステップＳ３０１において分割した５つの領域を破線により示しているが、実際の試験画像においては分割した領域を示す破線は表示していない。図９に示す通り、本実施の形態では、複数の変化シンボルに対し、分割領域毎に、画像の左側から順に数字が表記されている。

本実施の形態では、各分割領域に含まれる複数の変化シンボルに対してｘ座標の小さいものから順に順序情報の付与を行ったが、これに限らない。実施の形態１と同様、例えば、ｘ座標の大きい順としても良いし、ｙ座標の小さい順又は大きい順としてもよい。いずれの場合であっても、抽出した複数の変化シンボルに対して、分割領域毎に一方向に並ぶ順序で順序情報を付与することにより、上下方向又は左右方向に沿ってジグザグに順序情報を付与することができる。

本実施の形態の構成によると、変化前画像から変化した変化後画像中のシンボルに対して、分割領域毎に順に順序情報が付与された試験画像が出力される。このため、特に変化シンボルが多く試験画面の隅々まで確認することが必要な場合であっても、シンボルの確認に要する目線の移動を低減することができる。これにより、試験者は、変化前画面から変化した確認が必要なシンボルを、シンボルに付与された順序情報に基づいて確認することで、シンボルの試験負担及び見落としを低減することが可能となる。

実施の形態３．
＜試験支援装置１の順序情報の付与処理＞
実施の形態３における試験支援装置１の順序情報の付与処理について、図１０及び図１１を用いて説明する。ここで、実施の形態１の順序情報の付与処理が、一方向に並ぶ順序で順序情報を付与するのに対して、実施の形態３の順序情報の付与処理では、ステップＳ１０２において抽出した変化シンボルをクラスタリング手法により複数のグループに分割し、分割した変化シンボルのグループ毎に順序情報を付与する点で相違する。試験支援装置１が行う順序情報の付与処理以外の構成及び処理については、実施の形態１及び２と同様である。

図１０に、試験支援装置１が実行する順序情報の付与処理のフローチャートを示す。試験支援装置１は、ステップＳ４０１において、ステップＳ１０２にて抽出した複数の変化シンボルを、複数のクラスタに分割する。具体的には、複数の変化シンボルそれぞれの基準点に基づいて、公知のクラスタリング手法によりクラスタ分割する。変化シンボルの基準点は、シンボルの中心座標等が挙げられるがこれに限らない。また、クラスタリング手法としては、例えば、Ｍｅａｎ−Ｓｈｉｆｔ法及びｋ−ｍｅａｎｓ法を用いることができる。ここで、Ｍｅａｎ−Ｓｈｉｆｔ法は、変化シンボルを分割するクラスタ数の指定が不要であり、変化シンボルの数や配置に適したクラスタ数に分割できるため好ましい。

続いて、試験支援装置１は、ステップＳ４０２において、分割したクラスタをクラスタの座標に基づいて選択する。具体的には、未選択のクラスタのうち、クラスタが配置される位置のｘ座標が最も小さいものを選択する。続いて、試験支援装置１は、ステップＳ４０３において、選択されたクラスタに対し、順番を順に付与する。クラスタの座標とは、クラスタの代表座標を用いる。代表座標は特に限定されないが、例えば、クラスタの重心位置、クラスタ内の端にあるシンボルの座標等が挙げられる。

試験支援装置１は、ステップＳ４０４において、ステップＳ４０１において分割した複数のクラスタ全ての選択が完了したか否か判定する。全クラスタの選択が完了していない場合（Ｓ４０４においてＮＯ）、選択済みのクラスタを除いた未選択のクラスタのうち、ｙ座標が最も小さいものを続いて選択し順番を付与する。全クラスタの選択が完了した場合（Ｓ４０４においてＹＥＳ）、クラスタに対する順番の付与を完了し、次は図１０（ｂ）のフローチャートに進むことになる。なお、クラスタに対してこのように順番の付与を行うことにより、複数のクラスタに対して一方向に並ぶ順序で順番を付与することができる。本実施の形態では、ｘ座標が小さいものから順に順番を付与しているため、複数の分割領域に対し画面の左に位置するクラスタから順に順番が付与される。

ステップＳ１０２において抽出した複数の変化シンボルをクラスタ分割することにより、変化シンボルが複数のグループに割り当てられる。具体的には、複数のクラスタのうち第１クラスタに属するシンボルが第一のグループに、第２クラスタに属するシンボルが第２のグループに、第３クラスタに属するシンボルが第３のグループに割り当てられる。このように、抽出した複数の変化シンボルは、３つのグループに分割される。

続いて、試験支援装置１は、図１０（ｂ）のフローチャートに進み、クラスタに付与した順番に従って、それぞれのクラスタに含まれる各グループの変化シンボルに対し、順序情報を付与する。試験支援装置１は、ステップＳ４０５において、複数のクラスタのうち第１クラスタに含まれる第１グループの変化シンボルを、シンボルの座標に基づいて選択する。具体的には、第１グループに属する未選択の変化シンボルのうち、シンボルが配置されるｙ座標が最も小さいものを選択する。続いて、試験支援装置１は、ステップＳ４０６において、選択された変化シンボルに対し、順序情報を順に付与する。

試験支援装置１は、ステップＳ４０７において、クラスタに含まれる複数の変化シンボル全ての選択が完了したか否か判定する。第１グループに属する全シンボルの選択が完了していない場合（Ｓ４０７においてＮＯ）、選択済みのシンボルを除いた未選択の変化シンボルのうち、ｙ座標が最も小さいものを続いて選択する。第１グループに属する全シンボルの選択が完了した場合（Ｓ４０７においてＹＥＳ）、第１クラスタに含まれた第１グループの変化シンボルに対する順序情報の付与処理を完了し、続いて、第２クラスタに含まれた第２グループの変化シンボルに対する順序情報の付与処理を行う。全てのクラスタに対し順序情報の付与処理が完了するまで、ステップＳ４０５からステップＳ４０７の処理をループさせることで、ステップＳ４０３で付与したクラスタの順番で各クラスタへの順序情報の付与処理を実行し、全クラスタに含まれる変化シンボルに対し順序情報を付与する。

このように、抽出した変化シンボルを複数のクラスタに分割し、クラスタ毎に変化シンボルに対する順序情報の付与を行うことにより、クラスタ毎に、それぞれ含まれる複数の変化シンボルに対して一方向に並ぶ順序で順序情報を付与することができる。

図１１に、本実施の形態における順序情報の付与処理によって生成した試験画像の概略図を示す。本実施形態の処理を分かり易くするため、図１１に示す試験画像ではステップＳ４０１において分割した３つのクラスタを破線により示しているが、実際の試験画像においては分割したクラスタを示す破線は表示していない。図１１に示す通り、本実施の形態では、複数の変化シンボルに対し、クラスタ毎に、画像の上側から順に数字が表記されている。

本実施の形態では、各クラスタに含まれる複数の変化シンボルに対してｙ座標の小さいものから順に順序情報の付与を行ったが、これに限らない。実施の形態１及び２と同様、例えば、ｙ座標の大きい順としても良いし、ｘ座標の小さい順又は大きい順としてもよい。いずれの場合であっても、抽出した複数の変化シンボルに対して、クラスタ毎に一方向に並ぶ順序で順序情報を付与することにより、クラスタ毎にまとまって順序情報を付与することができる。

本実施の形態の構成によると、変化前画像から変化した変化後画像中のシンボルに対して、クラスタ毎に順に順序情報が付与された試験画像が出力される。このため、特に試験画面中の変化シンボルの配置が偏り、複数個所に変化シンボルがまとまっている場合であっても、シンボルの確認に要する目線の移動を低減することができる。これにより、試験者は、変化前画面から変化した確認が必要なシンボルを、シンボルに付与された順序情報に基づいて確認することで、シンボルの試験負担及び見落としを低減することが可能となる。

実施の形態４．
＜試験支援装置１の順序情報の付与処理＞
実施の形態４における試験支援装置１の順序情報の付与処理について、図１２及び図１３を用いて説明する。ここで、実施の形態１、２及び３の順序情報の付与処理では、一方向で順に順序情報を付与、画像領域分割による順序情報を付与、クラスタリング手法による順序情報の付与と、それぞれ異なる手法を用いて変化シンボルに対して固定的に順序情報を付与している。これに対し、実施の形態４では、取得した変化前画像及び変化後画像に基づいて、適した順序情報の付与手法を試験支援装置１が自動的に選択し、変化シンボルに対して流動的に順序情報を付与する点で相違する。試験支援装置１が行う順序情報の付与処理以外の構成及び処理については、実施の形態１、２及び３と同様である。

図１２に、試験支援装置１が実行する順序情報の付与処理のフローチャートを示す。試験支援装置１は、ステップＳ５０１において、ステップＳ１０２において抽出した変化シンボルの数の情報を取得し、変化後画像に含まれる変化シンボルの数が所定値以上であるか否か判定する。ここで、所定値は、例えば「３」とすることができるがこれに限らず、適宜１〜５といった数字を設定してもよい。

抽出した変化シンボルの数が所定値より小さい場合（Ｓ５０１においてＮＯ）、試験支援装置１は、ステップＳ５２０において、実施の形態１にて説明した一方向で順に順序情報を付与する手法にて、変化シンボルに対し順序情報の付与を行う。検査画面上の変化シンボルの数が所定の数より小さい場合には、いずれの手法により順序情報を付与したとしても、試験者の視線移動距離の差は小さい。このため、一方向で順に順序情報を付与することで、簡便に順序情報を付与することができる。

一方、抽出した変化シンボルの数が所定値以上の場合（Ｓ５０１においてＹＥＳ）、試験支援装置１は、ステップＳ５０２において、変化後画像を複数の領域に分割する。具体的には、変化後画像をｘ軸方向に４等分し、ｙ軸方向に３等分することにより、合計１２の領域に分割している。変化後画像の分割数はこれに限らず、試験対象となる監視制御システムの画面の大きさや、変化シンボルの大きさ等に基づいて適宜設定すればよい。

続いて、試験支援装置１は、ステップＳ５０３において、分割した領域を順に選択する。選択する順序は特に限られず、左上の領域からｘ軸又はｙ軸に沿って順に選択すればよい。試験支援装置１は、ステップＳ５０４において、選択された分割領域に含まれる変化シンボルの数を取得し、選択された分割領域内の変化シンボル割合を算出する。

図１３は、各分割領域における変化シンボルの割合を示す図である。図１３に示す通り、ステップＳ５０３において選択した領域が領域Ａ１の場合、ステップＳ１０３において抽出した変化シンボルのマーキング３０は１つも含まれていない。ここで、この変化後画像に含まれている変化シンボルの合計は７つであるため、領域Ａ１における変化シンボル割合は０／７となり、０％と算出される。領域Ｃ１、領域Ｄ２、領域Ａ３、Ｂ３及び領域Ｄ３も変化シンボルのマーキング３０は１つも含まれていないため、Ａ１と同様、変化シンボル割合は約０％となる。

また、ステップＳ５０３において選択した領域が領域Ｂ１の場合、領域Ｂ１には、変化シンボルのマーキング３０が１つ含まれている。このため、領域Ｂ１における変化シンボル割合は１／７となり、約１４．３％と算出される。領域Ｄ１、領域Ｂ２、領域Ｃ２及び領域Ｃ３も変化シンボルのマーキング３０が１つ含まれているため、変化シンボル割合は約１４．３％となる。

さらに、ステップＳ５０３において選択した領域が領域Ａ２の場合、領域Ａ２には、変化シンボルのマーキング３０が２つ含まれている。このため、領域Ａ２における変化シンボル割合は２／７となり、約２８．６％と算出される。

試験支援装置１は、ステップＳ５０４において、選択した領域内の変化シンボル割合をこのように算出し、変化シンボル割合が所定値以上であるか否か判定する。ここで、所定値は、例えば「３０％」とすることができるがこれに限らず、１０％〜５０％といった数字を適宜設定してもよい。

抽出した変化シンボルの割合が所定値より小さい場合（Ｓ５０４においてＮＯ）、試験支援装置１は、ステップＳ５１０において、ステップ５０２において分割した複数の分割領域全ての選択が完了したか否か判定する。全分割領域の選択が完了していない場合（Ｓ５１０においてＮＯ）、選択済みの分割領域を除いた未選択の分割領域を順に選択し、選択した分割領域の変化シンボル割合が所定値以上であるか否か判定する。

変化シンボル割合が所定値以上である分割領域がなく、全分割領域の選択が完了した場合（Ｓ５１０においてＹＥＳ）、試験支援装置１は、ステップＳ５１１において、実施の形態２にて説明した画像領域分割による手法にて、変化シンボルに対し順序情報の付与を行う。全ての分割領域内の変化シンボル割合が所定の値より小さい場合には、試験画面において変化シンボルの配置が大きく偏っていないこととなる。このため、上下方向又は左右方向に沿ってジグザグに順序情報を付与することにより、試験者の目線の移動を低減させることができる。

一方、ステップＳ５０４において、変化シンボルの割合が大きい分割領域があった場合（Ｓ５０４においてＹＥＳ）、試験支援装置１は、ステップＳ５０５において、実施の形態３にて説明したクラスタリング手法にて、変化シンボルに対し順序情報の付与を行う。分割領域内の変化シンボル割合が所定の値以上の場合には、試験画面において変化シンボルの配置に偏りがあるといえる。このため、クラスタ毎にまとまって順序情報を付与することにより、試験者がシンボルの確認に要する目線の移動を低減することができる。

本実施の形態の構成によると、変化後画像に含まれる変化シンボルの数及び変化シンボルの配置の偏りに基づいて、より適切な手法で順序情報が付与された試験画像が出力される。これにより、試験者は、確認が必要な変化後画像の状況が１枚１枚異なる場合であっても、それぞれ最適な順序で順序情報が付与されるため、より効果的に試験負担及び見落としを低減することが可能となる。

実施の形態５．
＜試験支援システム１００の構成＞
実施の形態５における試験支援システム１００の構成について、図１４を用いて説明する。図１４に示す通り、実施の形態５の試験支援システム１００における出力装置３は、カメラ３１を内蔵している。このカメラ３１は、出力装置３を閲覧する試験者の目を映した画像を撮影可能な位置に設置されている。実施の形態５の試験支援システム１００は、カメラ３１が撮影した画像から試験者の視線特性を取得し、取得した視線特性に基づいて、変化シンボルに対して順序情報を付与する点で実施の形態１、２、３及び４と相違する。出力装置３の構成及び試験支援装置１が行う順序情報の付与処理以外の構成及び処理については、実施の形態１、２、３及び４と同様である。

カメラ３１は、試験者の目を映した画像を取得できるものであればよく、例えば、ＣＭＯＳカメラ、ＣＣＤカメラが挙げられる。カメラ３１は、例えば０．５秒毎等の所定の間隔で試験者の顔画像を撮影し、試験支援装置１の記憶部１２は、カメラ３１が撮影した画像を記憶する。本実施の形態では、カメラ３１が出力装置３に内蔵されているがこれに限らず、カメラ３１と出力装置３を別体に設けてもよい。また、据置型のカメラに限らず、試験者が装着する眼鏡型のデバイスを用いて試験者の目を映した画像を取得してもよい。

試験支援装置１は、カメラ３１が撮影した試験者の目を映した画像を解析し、試験者の視線特性を取得する。試験者の視線特性は、例えば、試験者の画像から瞳孔領域を抽出し、抽出した瞳孔の角度から推定した試験者の視線の時間的変化から取得することができる。なお、視線特性の取得方法は特に限られず、適宜公知の方法により取得してもよい。試験者の視線特性の取得の際には、実際に試験を行う複数の試験画像のうち一部の画像又は試験対象となる試験画像とは別のテスト用画像に複数のマーキングを付与した画像を用意し、試験者は表示された画像のマーキングを順に目視で確認を行う。

試験者が試験画像を見たときの視線特性の例を、図１５を用いて説明する。図１５（ａ）は、試験者の視線特性の一例である。この試験者は、試験画像を見た際、画面の左上から右方向に視線が移り、右端まで視線が移動したのち左端に下段に目線を移動し再び右方向に視線を移動させる。この試験者は、このように視線を移動することで、試験画像全体をまんべんなく確認する視線特性であることがうかがえる。

一方、図１５（ｂ）は、別の試験者の視線特性の一例である。この試験者は、試験画像を見た際、変化シンボルが集中して分布する特定の領域を中心に視線が移動している。この試験者は、試験画面全体を見るのではなく、変化シンボルが集中して分布する一部の領域を中心に確認する視線特性であることがうかがえる。
＜試験支援装置１の順序情報の付与処理＞
続いて、試験者の視線特性に基づく、試験支援装置１の順序情報の付与処理について、図１６を用いて説明する。図１６に、試験支援装置１が実行する順序情報の付与処理のフローチャートを示す。試験支援装置１は、ステップＳ６０１において、ステップＳ１０２において抽出した変化シンボルの数の情報を取得し、変化後画像に含まれる変化シンボルの数が所定値以上であるか否か判定する。ここで、所定値は、例えば「３」とすることができるがこれに限らず、適宜１〜５といった数字を設定してもよい。

抽出した変化シンボルの数が所定値より小さい場合（Ｓ６０１においてＮＯ）、試験支援装置１は、ステップＳ６２０において、実施の形態１にて説明した一方向で順に順序情報を付与する手法にて、変化シンボルに対し順序情報の付与を行う。検査画面上の変化シンボルの数が所定の数より小さい場合には、いずれの手法により順序情報を付与したとしても、試験者の視線移動距離の差は小さい。このため、一方向で順に順序情報を付与することで、簡便に順序情報を付与することができる。

一方、抽出した変化シンボルの数が所定値以上の場合（Ｓ６０１においてＹＥＳ）、試験支援装置１は、ステップＳ６０２において、変化後画像を複数の領域に分割する。具体的には、変化後画像をｘ軸方向に４等分し、ｙ軸方向に３等分することにより、合計１２の領域に分割している。変化後画像の分割数はこれに限らず、試験対象となる監視制御システムの画面の大きさや、変化シンボルの大きさ等に基づいて適宜設定すればよい。

続いて、試験支援装置１は、ステップＳ６０３において、分割した領域を順に選択する。選択する順序は特に限られず、左上の領域からｘ軸又はｙ軸に沿って順に選択すればよい。試験支援装置１は、ステップＳ６０４において、選択された分割領域に含まれる試験者の視点の数を取得し、選択された分割領域内の視点割合を算出する。

抽出した視点割合が所定値より小さい場合（Ｓ６０４においてＮＯ）、試験支援装置１は、ステップＳ６１０において、ステップ６０２において分割した複数の分割領域全ての選択が完了したか否か判定する。全分割領域の選択が完了していない場合（Ｓ６１０においてＮＯ）、選択済みの分割領域を除いた未選択の分割領域を順に選択し、選択した分割領域の視点割合が所定値以上であるか否か判定する。

視点割合が所定値以上である分割領域がなく、全分割領域の選択が完了した場合（Ｓ６１０においてＹＥＳ）、試験支援装置１は、ステップＳ６１１において、実施の形態２にて説明した画像領域分割による手法にて、変化シンボルに対し順序情報の付与を行う。全ての分割領域内の視線割合が所定の値より小さい場合には、今回の試験者は試験画像全体をまんべんなく確認する視線特性であるといえる。このため、上下方向又は左右方向に沿ってジグザグに順序情報を付与することにより、試験者の視線特性に合った順序で目線の移動を行うことができる。

ここで、画像領域分割による手法にて変化シンボルに対し順序情報の付与を行う際に、画面を分割する方向や、分割した各領域に対しどの順で順序情報を付与するかについても、取得した試験者の視線情報に基づいて行ってもよい。この場合、さらに試験者の視線特性に合った順序で目線の移動を行うことができる。

一方、ステップＳ６０４において、変化シンボルの割合が大きい分割領域があった場合（Ｓ６０４においてＹＥＳ）、試験支援装置１は、ステップＳ６０５において、実施の形態３にて説明したクラスタリング手法にて、変化シンボルに対し順序情報の付与を行う。分割領域内の変化シンボル割合が所定の値以上の場合には、今回の試験者は試験画面全体を見るのではなく、変化シンボルが集中して分布する一部の領域を中心に確認する視線特性であるといえる。このため、クラスタ毎にまとまって順序情報を付与することにより、試験者の視線特性に合った順序で目線の移動を行うことができる。

本実施の形態の構成によると、試験者の視線特性に基づいて、より適切な手法で順序情報が付与された試験画像が出力される。これにより、試験者は、多数の試験画像を確認する場合であっても、自身の視線特性に適した順序で順序情報が付与されるため、より効果的に試験負担及び見落としを低減することが可能となる。

なお、実施の形態１〜５は、適した順序情報の付与手法を試験支援装置１が自動的に選択したが、これに限らず、順序情報の付与手法を試験者が任意に選択できるようにしてもよい。この場合、試験支援装置１は試験者が選択した順序情報の付与手法に基づいて試験画像を作成し、出力装置３に表示する。

また、各実施の形態に示した試験支援装置１はあくまで一例であり、各実施の形態を、適宜、組み合わせたり、変形や省略したりすることも、実施の形態に示された技術的思想の範囲に含まれる。

１ 試験支援装置、 ２ 入力装置、 ３ 出力装置、 １０ 入力部、 １１ 処理部、 １２ 記憶部、 １３ 出力部、 ２０ ネットワーク、 ３０ マーキング、 １００ 試験支援システム。

Claims (11)

1. 監視制御システムに表示される画像として、変化前画像及び変化後画像を取得する工程と、
   前記変化前画像から変化した前記変化後画像中の複数のシンボルを抽出する工程と、
   抽出した前記複数のシンボルを複数のグループに分ける工程と、
   抽出した前記複数のシンボルに対し順序情報を付与する工程と、
   前記順序情報が前記複数のシンボルに付与された試験画像を出力する工程と、
   を備え、
   前記順序情報を付与する工程において、
   前記複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、
   前記複数のグループのうち第二のグループに属するシンボルに対し、前記第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与する、試験支援方法。
2. 前記複数のシンボルのうち、最後の順序情報が付与された前記シンボルの順序情報を他のシンボルの順序情報とは異なる表示とする、
   請求項１に記載の試験支援方法。
3. 前記変化後画像を複数の領域に分割する工程をさらに備え、
   前記複数のシンボルを複数のグループに分ける工程において、
   前記複数の領域のうち第一の領域に含まれるシンボルを前記第一のグループに割り当て、
   前記複数の領域のうち第二の領域に含まれるシンボルを前記第二のグループに割り当てる、
   請求項１に記載の試験支援方法。
4. 前記変化前画像から変化した前記変化後画像中のシンボルの数を取得する工程をさらに備え、
   取得した前記シンボルの数が所定数以上の場合、前記変化後画像を複数の領域に分割する、
   請求項３に記載の試験支援方法。
5. 前記変化前画像から変化した前記変化後画像中のシンボルの数を取得する工程をさらに備え、
   取得した前記シンボルの数に基づいて、前記変化後画像を分割する領域の数を変更する、
   請求項３又は４に記載の試験支援方法。
6. 前記複数のシンボルを複数のグループに分ける工程において、前記複数のシンボルをクラスタリング手法により複数のグループに分ける、請求項１に記載の試験支援方法。
7. 前記クラスタリング手法は、ｋ−ｍｅａｎｓ法を用いる、請求項６に記載の試験支援方法。
8. 前記変化後画像を複数の領域に分割する工程と、
   分割した複数の領域それぞれに含まれる、前記変化前画像から変化したシンボルの数を取得する工程と、
   をさらに備え、
   前記変化前画像から変化したシンボルの数が所定の割合を超える場合、前記複数のシンボルを複数のグループに分ける工程において、前記複数のシンボルを前記クラスタリング手法により複数のグループに分ける、
   請求項６又は７に記載の試験支援方法。
9. 試験者の視線特性を取得する工程をさらに備え、
   取得した前記視線特性に基づいて、前記第一のグループ及び前記第二のグループに分ける方法を変更する、
   請求項１から８の何れか一項に記載の試験支援方法。
10. 監視制御システムに表示される画像として、変化前画像及び変化後画像を取得する入力部と、
    前記変化前画像から変化した前記変化後画像中の複数のシンボルを抽出し、抽出した前記複数のシンボルを複数のグループに分け、抽出した前記複数のシンボルに対し順序情報を付与する処理部と、
    前記順序情報が前記複数のシンボルに付与された試験画像を出力する出力部と、
    を備え、
    前記処理部は、
    前記複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、
    前記複数のグループのうち第二のグループに属するシンボルに対し、前記第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与する、試験支援装置。
11. コンピュータに、
    監視制御システムに表示される画像として、変化前画像及び変化後画像を取得する工程と、
    前記変化前画像から変化した前記変化後画像中の複数のシンボルを抽出する工程と、
    抽出した前記複数のシンボルを複数のグループに分ける工程と、
    抽出した前記複数のシンボルに対し順序情報を付与する工程と、
    前記順序情報が前記複数のシンボルに付与された試験画像を出力する工程と、
    を実行させ、
    前記順序情報を付与する工程において、
    前記複数のグループのうち第一のグループに属するシンボルに対し、それぞれのシンボルの位置に応じた順に順序情報を付与し、
    前記複数のグループのうち第二のグループに属するシンボルに対し、前記第一のグループに属するシンボルに続いてそれぞれのシンボルの位置に応じた順に順序情報を付与する、試験支援プログラム。

Images