JP7387061B2

JP7387061B2 - シーケンス自動生成装置、シーケンス自動生成方法およびプログラム

Info

Publication number: JP7387061B2
Application number: JP2023512610A
Authority: JP
Inventors: 克希小林; 宏治田中; 淳平羽藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-04-08
Filing date: 2021-04-08
Publication date: 2023-11-27
Anticipated expiration: 2041-04-08
Also published as: JPWO2022215233A1; WO2022215233A1

Description

本開示は、機器のＨＭＩ（ＨｕｍａｎＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）のシーケンス自動生成装置、シーケンス自動生成方法およびプログラムに関する。

機器が一連の動作を自動的に実行するには、動作の制御構造を定義する情報、即ちシーケンスが必要である。機器の動作のシーケンスを記述するには、動作内容と動作条件、制御方式等を組み合わせ、木構造で表現するビヘイビアツリー（ＢｅｈａｖｉｏｒＴｒｅｅ）、機器の処理状態（例えば、入力待ち、検索中、など）の遷移で表現する状態遷移図（ステートチャート（ＳｔａｔｅＣｈａｒｔ））等が広く活用されている。

従来、このようなシーケンスは設計者が人手で記述し、プログラミングにより作成していた。一方、ＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）技術、ＩｏＴ（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓ）技術の普及により、様々な情報を統合した複雑な制御設計が求められており、シーケンスを人手で書き下すコストが増大している。このため、シーケンスの自動生成技術の必要性が高まっている。

これらの課題に対して、従来のシーケンス自動生成装置では、大規模かつ複雑な、あるいは処理内容の記述が困難な問題であっても、進化計算に基づいて自動的にシーケンスを生成する技術を開示している（例えば、特許文献１参照）。

特許第６６６３８７３号公報

家電機器、車載機器、移動機器など、ユーザが直接操作したり機器の動作が直接ユーザへフィードバックしたりする、即ちＨＭＩを有する機器においては、ＨＭＩのシーケンスが機器のユーザビリティ（使い心地）を決定付ける。このため、ＨＭＩのシーケンスの設計に際しては、ユーザビリティの観点も考慮することが重要である。

しかしながら、上記した従来のシーケンス自動生成装置では、進化計算の個体となるシーケンスの評価において、シーケンスの構造情報である、機器の処理順序に関する評価は行っていない。このため、従来のシーケンス自動生成装置を機器のＨＭＩのシーケンス生成に適用すると、目標の動作は行うことはできるが、使い心地の悪い動作を行うシーケンスが生成される可能性が生じる問題があった。

本開示は、上述の課題を解決するためになされたものであり、シーケンスを自動生成する際、シーケンスの構造情報である機器の処理順序と、人の感性指標とを用いてシーケンスの評価を行うことで、使い心地の良い動作を行うＨＭＩのシーケンスを自動生成することを目的とする。

本開示に係るシーケンス自動生成装置は、
制御対象となる機器が有する機能に関する仕様情報と、当該機器が使用される状況に関する環境情報とを用いて、複数のＨＭＩのシーケンスを生成するシーケンス生成部と、
前記機器のシーケンスの処理順序を示す構造情報と、人の感性指標とを用いて定義された１つ以上の評価基準を有するＨＭＩ評価基準データを参照し、当該評価基準を用いて前記複数のＨＭＩのシーケンスの評価を行い、評価値を付与する評価部と、
前記評価値を付与された前記複数のＨＭＩのシーケンスから、前記評価値を用いてＨＭＩのシーケンスを選択する最適化部、を備えるものである。

また、本開示に係るシーケンス自動生成方法は、
制御対象となる機器が有する機能に関する仕様情報と、当該機器が使用される状況に関する環境情報とを用いて、複数のＨＭＩのシーケンスを生成するシーケンス生成ステップと、
前記機器のシーケンスの処理順序を示す構造情報と、人の感性指標とを用いて定義された１つ以上の評価基準を有するＨＭＩ評価基準データを参照し、当該評価基準を用いて前記複数のＨＭＩのシーケンスの評価を行い、評価値を付与する評価ステップと、
前記評価値を付与された前記複数のＨＭＩのシーケンスから、前記評価値を用いてＨＭＩのシーケンスを選択する最適化ステップ、を備えるものである。

本開示によれば、使い心地の良い動作を行うＨＭＩのシーケンスを自動生成できる効果を有する。

実施の形態１におけるシーケンス自動生成装置のブロック構成図である。実施の形態１におけるシーケンス自動生成装置のハードウェア構成図である。実施の形態１におけるシーケンス自動生成装置の動作を表すフローチャートである。実施の形態１におけるシーケンスの記述形式の一例であるビヘイビアツリーの例である。実施の形態１における仕様情報、環境情報の一例である。実施の形態１におけるＨＭＩ評価基準データの一例である。実施の形態１におけるシーケンス評価手順のフローチャートである。実施の形態１におけるシーケンスの操作量に基づく評価の一例である。実施の形態１におけるシーケンスの動作タイミングに基づく評価の一例である。実施の形態１におけるシーケンスのモーダル情報の順列に基づく評価の一例である。実施の形態２におけるシーケンス自動生成装置のブロック構成図である。実施の形態２におけるシーケンス自動生成装置の動作を表すフローチャートである。実施の形態２におけるＨＭＩ評価基準データの一例である。実施の形態３におけるシーケンス自動生成装置のブロック構成図である。

実施の形態１．
《１－１》構成
実施の形態１におけるシーケンス自動生成装置について図１～図１０を用いて説明する。図１は、本実施の形態１を示すシーケンス自動生成装置のブロック構成図である。

図１において、シーケンス自動生成装置１００は、入力部１と、シーケンス生成部２と、ＨＭＩ評価基準３と、評価部４と、最適化部５と、出力部６とで構成される。

入力部１は、シーケンス自動生成装置１００の外部より入力される仕様情報および環境情報を受け取る。ここで仕様情報は、例えば、制御対象となる機器が有する機能、取りうるパラメータ等の機器のＨＭＩに関する仕様情報である。環境情報は、例えば、機器を使用する状況である。

シーケンス生成部２は、入力部１から受け取った仕様情報および環境情報に基づいて、ＨＭＩのシーケンスを複数生成する。

ＨＭＩ評価基準３は、シーケンスの構造情報と、人の感性指標とを用いて定義された、複数のＨＭＩ評価基準データを格納する。ここで、シーケンスの構造情報は、例えば、機器の処理順序、処理の流れ、動作の並び、などで定義された情報である。また、人の感性指標は、例えば、人にとって自然（あるいは不自然）と感じる度合い、人にとって快適（あるいは不快）と感じる度合いなど、人の感覚の主観的、直感的な反応を表す指標である。ＨＭＩ評価基準データにおける評価基準は、シーケンス生成部２で生成された複数のＨＭＩのシーケンスを評価するために用いられる。この評価基準は、人の感性指標を用いて定義され、例えば、使い心地の良い（人にとって自然と感じる、使い勝手の良い、快適な）ＨＭＩとなる条件に設定される。

評価部４は、シーケンス生成部２から生成されたシーケンスを受け取り、ＨＭＩ評価基準３が出力するＨＭＩ評価基準データを参照しながら各シーケンスの評価を行い、各シーケンスに評価値を付与する。ここで、評価値は、例えば、１．０以下に正規化された正数値とし、１．０に近い程高い評価、すなわち、使い心地が良いＨＭＩのシーケンスであり、０に近い程低い評価、すなわち、使い心地が悪いＨＭＩのシーケンスである。なお、評価値は、シーケンス評価が可能であれば数値は正規化されていなくてもよい。また、評価値は、シーケンス評価が可能な形式であれば数値に限らない。例えば、評価値は、アルファベット列でランキング（例えば、”Ａ”が最も高い評価、”Ｚ”が最も低い評価、など）付けしてもよい。

最適化部５は、評価部４から評価値を付与した複数のＨＭＩのシーケンスを受け取り、評価値が高いシーケンスを選択する処理を行う。また、最適化部５は、シーケンスの選択処理後、例えば、進化計算を用いてシーケンスの内部状態（例えば、機器の仕様情報、環境情報、機器の構造情報のそれぞれに関するパラメータ条件、など）を変更または修正し、再び評価部４へ内部状態変更後のシーケンスを渡し、再度評価を行うという処理を一定の回数、あるいは所定の収束条件に至るまで繰り返すことで、シーケンス全体の評価値を高めていく処理も行う。

出力部６は、最適化部５において、評価値が高められた複数のシーケンスの中から、世代交代の結果、最終的に得られたシーケンスを選択し、外部に出力する。

《１－２》ハードウェア構成
図１に示されるシーケンス自動生成装置１００の各構成は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）内蔵の情報処理装置であるコンピュータで実現可能である。ＣＰＵ内蔵のコンピュータは、例えば、パーソナルコンピュータ、サーバ型コンピュータなどの据え置き型コンピュータ、スマートフォン、タブレット型コンピュータなどの可搬型コンピュータ、あるいは、自律車両運転システム、カーナビゲーションシステムなどの車両搭載システムの機器組み込み用途のマイクロコンピュータ、及びＳｏＣ（ＳｙｓｔｅｍｏｎＣｈｉｐ）などである。

また、図１に示されるシーケンス自動生成装置１００の各構成は、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの電気回路であるＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）により実現されてもよい。また、図１に示されるシーケンス自動生成装置１００の各構成は、コンピュータとＬＳＩの組み合わせであってもよい。

図２は、コンピュータ等の情報処理装置を用いて構成される、シーケンス自動生成装置１００のハードウェア構成の例を示すブロック図である。

図２の例では、シーケンス自動生成装置１００は、メモリ１１、ＣＰＵ（図示せず）を内蔵するプロセッサ１２、記録媒体１３、入力装置１４、出力装置１５、及びバスなどの信号路１６を備えている。

メモリ１１は、実施の形態１のシーケンス自動生成処理を実現するための、各種プログラムを記憶するプログラムメモリ、プロセッサ１２がデータ処理を行う際に使用するワークメモリ、及び信号データを展開するメモリ等として使用するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の記憶手段である。

メモリ１１には、より具体的に言えば、シーケンス生成部２、ＨＭＩ評価基準３、評価部４、最適化部５の各プログラムならびにデータを記憶することができる。また、メモリ１１には、各部の処理によって生じた中間データを記憶することができる。

プロセッサ１２は、ＣＰＵと、作業用メモリとしてメモリ１１中のＲＡＭとを使用し、メモリ１１中のＲＯＭから信号路１６を介して読み出されたコンピュータ・プログラム（すなわち、シーケンス自動生成プログラム）に従って動作する。

プロセッサ１２は、より具体的に言えば、シーケンス生成部２、ＨＭＩ評価基準３、評価部４、最適化部５の各処理に対応するプログラム、ならびにデータをメモリ１１から読み出し、ＣＰＵで処理を行うことで、本実施の形態１に示すシーケンス自動生成処理のプログラムを実行することができる。

記録媒体１３は、プロセッサ１２の各種設定データ及び信号データなどの各種データを蓄積するために使用される。記録媒体１３としては、例えば、ＲＡＭなどの揮発性メモリ、あるいは、装置から脱着可能なＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の不揮発性メモリを使用することが可能である。記録媒体１３には、例えば、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）を含む起動プログラム及び、シーケンス自動生成処理のプログラム、初期状態及び各種設定データ、制御用の定数データ、ＨＭＩ評価基準３のデータベース、機器の仕様情報ならびに環境情報、エラー情報のログ等の各種データを蓄積することができる。なお、この記録媒体１３に、メモリ１１内の各種データを蓄積しておくこともできる。

入力装置１４は、入力部１に相当し、外部データである仕様情報ならびに環境情報を、シーケンス自動生成装置１００内へ入力するための入力手段である。外部データをシーケンス自動生成装置１００に接続されたネットワークを介して入力する場合、入力装置１４は、有線または無線通信を行う通信インタフェースで構成される。あるいは、外部データを人の手によって入力する場合、入力装置１４はキーボード、タッチパネル、マウスなどの入力インタフェースで構成される。なお、上記した記録媒体１３を用いて外部データを入力する場合には、入力装置１４は省略することも可能である。

出力装置１５は、出力部６に相当し、シーケンス自動生成装置１００の処理の結果である、得られたシーケンスを提示するための出力手段である。シーケンス自動生成装置１００に接続されたネットワークを介して出力する場合、出力装置１５は、有線または無線通信を行う通信インタフェースで構成されるが、この通信インタフェースは入力装置１４と共用することもできる。あるいは、得られたシーケンスを人が可読な情報に変換、例えば、テキスト化して提示する場合、出力装置１５は、ディスプレイなどの表示インタフェースで構成される。なお、上記した記録媒体１３を用いて得られたシーケンスを出力する場合には、出力装置１５は省略することも可能である。

また、出力装置１５は、最適化部５における、最適化途中のシーケンスを順次受け取り、表示インタフェースで表示する。最適化途中のシーケンスを表示することで、最適化処理が正しく進行しているか（すなわち、収束しているか）どうかの工程を可視化することもでき、シーケンス自動生成の効率が向上する効果がある。

以上のように、図１に示される、入力部１、シーケンス生成部２、ＨＭＩ評価基準３、評価部４、最適化部５、出力部６の各機能は、メモリ１１、プロセッサ１２、記録媒体１３、入力装置１４、および出力装置１５で実現することができる。

なお、シーケンス自動生成装置１００を実行するプログラムは、ソフトウエアプログラムを実行するコンピュータ内部の記憶手段に記憶していてもよいし、ディスクメディア、又はフラッシュメモリ等のコンピュータで読み取り可能な外部記憶媒体にて配布される形式で保持され、コンピュータ起動時に読み込んで動作させてもよい。また、ＬＡＮ（ＬｏｃａｌＡｅｒａＮｅｔｗｏｒｋ）等の有線又は無線ネットワークを通じ、他のコンピュータからプログラムを取得することも可能である。

また、シーケンス自動生成装置１００を実行するプログラムは、外部で実行されるプログラム、例えば、移動機器を制御するプログラム（例えば、自律運転制御プログラム）とソフトウェア上で結合し、同一のコンピュータで動作させることも可能である。又は、複数のコンピュータ上で分散処理することも可能である。

《１－３》処理動作
次に、実施の形態１における本発明の詳細な動作を説明する。本実施の形態１では、制御対象の機器の一例として、車両等の移動機器を挙げて説明する。ここで、車両等は、例えば、自動車、電動車いす、ＰＭＶ（ＰｅｒｓｏｎａｌＭｏｂｉｌｉｔｙＶｅｈｉｃｌｅ）、二輪車等の乗り物である。図３は、実施の形態１の動作を表すフローチャートである。なお、以下の各ステップにおける「部」を、「ステップ」または「処理」または「工程」と読み替えてもよい。

まず、本実施の形態１の動作を説明するための準備として、本実施の形態１で用いるシーケンスのフォーマット（形式）の一例と、シーケンス自動生成のフレームワークの一例をそれぞれ説明する。

本実施の形態１では、機器、あるいはシステムの動作のシーケンスのフォーマットとして、例えば、非特許文献１に記載のビヘイビアツリー（以降の説明ではＢＴと略する）を用いることができる。ＢＴは、シーケンスの構造情報を、動作内容と動作条件、制御方式を表す種々のノードを組み合わせた木構造で表現するフォーマットであり、機器の一連の処理工程（すなわち、シーケンス）を深さ優先探索で実行する。

Ｃｏｌｌｅｄａｎｃｈｉｓｅ，Ｍ．，Ｏｅｇｒｅｎ，Ｐ．，"ＨｏｗＢｅｈａｖｉｏｒＴｒｅｅｓＭｏｄｕｌａｒｉｚｅＨｙｂｒｉｄＣｏｎｔｒｏｌＳｙｓｔｅｍｓａｎｄＧｅｎｅｒａｌｉｚｅＳｅｑｕｅｎｔｉａｌＢｅｈａｖｉｏｒＣｏｍｐｏｓｉｔｉｏｎｓ，ｔｈｅＳｕｂｓｕｍｐｔｉｏｎＡｒｃｈｉｔｅｃｔｕｒｅａｎｄＤｅｃｉｓｉｏｎＴｒｅｅｓ，" ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｒｏｂｏｔｉｃｓ，３３（２）：ｐｐ．３７２－３８９（２０１７）．

図４にＢＴの記法の一例を示す。図４では、動作内容を表すＡｃｔｉｏｎノード、動作条件を表すＣｏｎｄｉｔｉｏｎノード、制御方式を表すＳｅｌｅｃｔｏｒ（もしくはＦａｌｌｂａｃｋ）ノード、およびＳｅｑｕｅｎｃｅノードの４種類のノードを木構造で連結する。いずれのノードも実行に成功した（Ｓｕｃｃｅｓｓ）か、失敗した（Ｆａｉｌｕｒｅ）かの２種類を親ノードに返却する。また、非同期なシステムでは実行中（Ｒｕｎｎｉｎｇ）を定義することもできる。

続いて、各ノードについて説明する。Ａｃｔｉｏｎノードは、画面表示する、ガイダンス音を送出する、車体の進行方向を右に傾ける等、機器あるいはシステムの動作実行そのものを表す。基本的に実行後、成功（Ｓｕｃｃｅｓｓ）を親ノードに返す。

Ｃｏｎｄｉｔｉｏｎノードは、所定の条件を満たせば成功、満たさなければ失敗を親ノードに返す。所定の条件として、例えば、時間が１２時前である、乗員数が１人である等、実行時の環境、周辺状況の情報を用いた条件を設定することができる。

Ｓｅｌｅｃｔｏｒノード、Ｓｅｑｕｅｎｃｅノードは制御方式を定義する。Ｓｅｌｅｃｔｏｒノードは、子ノードを左から順に評価し、ひとつでも成功した子ノードが存在すれば親ノードに成功を返し、処理を終了する。全ての子ノードが失敗なら、親ノードに失敗を返す。Ｓｅｑｕｅｎｃｅノードは、子ノードを左から順に評価し、ひとつでも失敗した子ノードが存在すれば、親ノードに失敗を返し、処理を終了する。全ての子ノードが成功なら、親ノードに成功を返す。

図４のＢＴの動作を具体的に説明する。まず、ルート（根：Ｒｏｏｔ）であるＳｅｌｅｃｔｏｒノード（ＮＤ１）から処理を開始し、左の子ノードであるＳｅｑｕｅｎｃｅノード（ＮＤ２）を訪れる。Ｓｅｑｕｅｎｃｅノード（ＮＤ２）では、左の子ノードであるＣｏｎｄｉｔｉｏｎノード（ＮＤ３）を評価する。Ｃｏｎｄｉｔｉｏｎノード（ＮＤ３）は、もし条件１を満たせば、親ノードであるＳｅｑｕｅｎｃｅノード（ＮＤ２）に成功を返す。

Ｓｅｑｕｅｎｃｅノード（ＮＤ２）は、Ｃｏｎｄｉｔｉｏｎノード（ＮＤ３）が成功のため、続けて右のＡｃｔｉｏｎノード（ＮＤ４）を評価し、行動１を実行する。実行後、Ａｃｔｉｏｎノード（ＮＤ４）は、親ノードであるＳｅｑｕｅｎｃｅノード（ＮＤ２）に成功を返す。

Ｓｅｑｕｅｎｃｅノード（ＮＤ２）は、子ノードが全て成功のため、親ノードであるＳｅｌｅｃｔｏｒノード（ＮＤ１）に成功を返す。Ｓｅｑｕｅｎｃｅノード（ＮＤ１）は、ひとつの子ノードで成功したため、以降の処理は行わず、１シーケンスの処理を終了する。

もし、Ｃｏｎｄｉｔｉｏｎノード（ＮＤ３）で条件１を満たさない場合、Ｓｅｑｕｅｎｃｅノード（ＮＤ２）に失敗が返る。さらに、Ｓｅｑｕｅｎｃｅノード（ＮＤ２）は、ひとつの子ノードが失敗のため、Ｓｅｌｅｃｔｏｒノード（ＮＤ１）に失敗を返す。このときＳｅｌｅｃｔｏｒノード（ＮＤ１）は、右の子ノードである、Ｓｅｑｕｅｎｃｅノード（ＮＤ５）を訪れる。

Ｓｅｑｕｅｎｃｅノード（ＮＤ５）では、子ノードであるＡｃｔｉｏｎノード（ＮＤ６）からＡｃｔｉｏｎノード（ＮＤ８）までを左から順に実行し、親ノードであるＳｅｌｅｃｔｏｒノード（ＮＤ１）に成功を返す。すなわち、行動２から行動４までの処理を実行する。以上、ＮＤ１からＮＤ８までの１シーケンス分の全ての処理工程を完了する。

続いて、本実施の形態１における、シーケンスを自動生成するフレームワークを説明する。本実施の形態１では、ＢＴの木構造データを自動生成するアルゴリズムとして、非特許文献２に記載の進化計算方法の一つである、ＧｒａｍｍａｔｉｃａｌＥｖｏｌｕｔｉｏｎ（以降の説明ではＧＥと略する）を用いることができる。なお、進化計算方法については、ＧＥに限ることは無く、遺伝的プログラミングなどの公知の進化計算方法を用いても良い。

Ｏ’Ｎｅｉｌｌ，ＭｉｃｈａｅｌａｎｄＣｏｎｏｒＲｙａｎ，"Ｇｒａｍｍａｔｉｃａｌｅｖｏｌｕｔｉｏｎ，" ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ５．４，ｐｐ．３４９－３５８（２００１）．

ＧＥでは、まず、０または１の数列を染色体として有する個体を生成する。その後、各個体にバッカス・ナウア記法（Ｂａｃｋｕｓ－ＮａｕｒＦｏｒｍ、以降の説明ではＢＮＦと略する）と呼ばれる文脈自由文法のアルゴリズムを適用することで、個体を数列から木構造へ変換する。適応度計算は主に木構造を用いて行われ、交叉、突然変異等の演算は他の進化計算同様、個体の染色体、あるいは遺伝子に対して行われる。

元に戻り、本実施の形態１の動作の詳細について、図３に示すフローチャートを用いて説明する。まず、ステップＳＴ１において、入力部１で、制御対象機器のＨＭＩの仕様情報、ならびに環境情報を取得する。図５（ａ）に仕様情報の一例、図５（ｂ）に環境情報の一例をそれぞれ示す。

図５（ａ）において、仕様情報は、例えば、機器が有する機能、その機能が取り得るパラメータ等を指す。これらは、ＢＴにおいては主にＡｃｔｉｏｎノードの基となる情報である。例えば、機能には、車体の加速、減速、右左折など移動機器本体の制御、テロップ表示、ガイダンス音送出など乗員への情報伝達がある。また、例えば、パラメータは、加速、減速する速度、右左折時に変化させる角度など各機能が取り得る値である。テロップの表示・非表示、あるいはガイダンス音送出の有無など、機能自体のＯＮ／ＯＦＦをパラメータとすることもできる。

図５（ｂ）において、例えば、環境情報は、移動機器を使用している周辺環境、あるいは移動機器を操作するユーザの情報、およびそれら情報が取り得るパラメータ等を指す。これらは、ＢＴにおいては、主にＣｏｎｄｉｔｉｏｎノードの基となる情報である。例えば、環境情報には、天気、時刻、気温などの観測データ、あるいは、目標の位置、障害物との距離などの周辺のセンシングデータ、あるいは、不安度などユーザのセンシングデータがある。なお、パラメータは、時刻（例えば、表中の朝／昼／夕／夜）のように離散的な値でも、気温（例えば、表中の－１０℃～４０℃）のように連続的な物理量でも良く、また、座標あるいは距離のようなセンシングデータであっても良い。

また、仕様情報ならびに環境情報は、上記に限定されず、例えば、環境情報にはユーザの発話、あるいは生体センシングデータ、カメラによる顔画像、視線、ユーザの表情、快・不快度、感情情報など、ユーザを情報源として取得可能なデータを含めても良い。また、仕様情報を時系列的に、または環境情報に合わせて変化させても良い。すなわち、使用可能な機能、あるいは取り得るパラメータの値が、時々刻々と変化する、あるいは人通りの多い場所、少ない場所、広い道、狭い道等の環境に合わせて変化するようにしても良い。

次にステップＳＴ２において、シーケンス生成部２で、入力された仕様情報、ならびに環境情報とを用いて複数のシーケンスを自動生成する（ステップＳＴ２）。これは進化計算における、初期集団生成処理に相当する。ＧＥを用いたＢＴ自動生成の場合、ステップＳＴ１で取得した仕様情報、ならびに環境情報をＢＮＦへ埋め込むことで、生成されるＢＴへ仕様情報、ならびに環境情報を反映できる。式（１）にＢＮＦの一例を示す。

式（１）において、<action>タグはＡｃｔｉｏｎノードに変換され、<condition>タグはＣｏｎｄｉｔｉｏｎノードに変換される。各ノードの具体的な内容は、それぞれ<act_contents>タグ、<cond_contents>タグであり、これらに上記のステップＳＴ１の仕様情報、環境情報に基づく処理内容を埋め込むことで、実際のＢＴを生成することができる。

ここで、仕様情報、環境情報から埋め込む処理内容は、例えば、直交表などの公知のテストケース列挙方法を用いることができる。また、パラメータ数の削減のために、連続値であるパラメータを離散化、量子化あるいは抽象化を行うこともできる。パラメータの離散化には、例えば、同値分割法、あるいは、事前に定義した閾値処理などを用いることができる。更に、処理パターンの組合せ数の著しい増大（例えば、作成するシーケンス（ＢＴ）の数が膨大となる、ＢＴの分岐数が膨大となる、など）が想定される場合は、ＢＮＦに制約を加えてパターンの増加を抑止しても良い。

続くステップＳＴ３において、評価部４で、ステップＳＴ２で生成した各シーケンスの評価値を、ＨＭＩ評価基準３に格納されているＨＭＩ評価基準データを参照しながら計算する（ステップＳＴ３）。図６にＨＭＩ評価基準データの一例を示す。図６に示す評価基準データは、シーケンスパターンの番号を表すＩＤと、評価対象のシーケンスから、基準を適用する部分シーケンスを取得するためのシーケンスパターンと、その部分シーケンスが、人にとって自然と感じる（使い勝手の良い、使い心地の良い、快適な）ＨＭＩとなる条件を満たしているかを判定する評価基準、とで定義される。なお、ＨＭＩ評価基準データは、シーケンスパターンと、人にとって自然と感じるＨＭＩとなる条件を満たしているかを判定する評価基準とを備えていればよく、評価対象機器に合わせて、データフォーマットを適宜変更してもよい。

図７に、ステップＳＴ３の内部処理である、シーケンスの評価のフローチャートを示す。まず、ステップＳＴ１１において、未参照のＨＭＩ評価基準があるか否かを判定する（ステップＳＴ１１）。未参照のＨＭＩ評価基準データが存在すれば（ステップＳＴ１１のＹｅｓ）、未参照の評価基準のシーケンスパターンと、評価対象のシーケンスとの照合を行う（ステップＳＴ１２）。未参照のＨＭＩ評価基準データが無ければ（ステップＳＴ１１のＮｏ）、処理を終了する。

ステップＳＴ１２における照合処理後、ステップＳＴ１３において、評価対象のシーケンスにシーケンスパターンと一致する部分シーケンスが含まれているか否かを判定する（ステップＳＴ１３）。評価対象のシーケンスに部分シーケンスが含まれていれば、これを取得する（ステップＳＴ１３のＹｅｓ）。部分シーケンスが含まれていなければ、ステップＳＴ１１へ戻る（ステップＳＴ１３のＮｏ）。

一例として、図６に示すＨＭＩ評価基準データの、ＩＤ１のシーケンスパターンは、Ｓｅｑｕｅｎｃｅノードの子ノード（ワイルドカード“＊”として取得）であり、かつ、その子ノードで、移動機器制御に関するＡｃｔｉｏｎを取得する、というものである。なお、実際のシーケンスパターンの定義、および部分シーケンスの取得には、上述したように、ＩＤ１のシーケンスパターンの正規表現の他、グラフのパターンマッチング、あるいは同型の部分グラフ検索を用いても良い。

つぎに、ステップＳＴ１４において、ステップＳＴ１３の処理で得られた部分シーケンスに対し、評価基準を満たしているか否かを判定する（ステップＳＴ１４）。評価基準を満たしていれば（ステップＳＴ１４のＹｅｓ）、シーケンスには高い評価値（例えば、０．８）が設定される（ステップＳＴ１５）。評価基準を満たしていなければ（ステップＳＴ１４のＮｏ）、シーケンスには低い評価値（例えば、０．２）が設定される（ステップＳＴ１６）。ステップＳＴ１５、ステップＳＴ１６のそれぞれの処理後、ステップＳＴ１１へ戻る。

ステップＳＴ１４の処理は、進化計算に当てはめると、評価基準を満たすシーケンスには高い適応度を与える一方、評価基準を満たさないシーケンスには低い適応度を与えることで、世代交代時の個体選択アルゴリズムへとフィードバックすることに相当する。なお、実際の評価基準は、例えば、デザイン原則、ユニバーサルデザイン等の公知の知識、あるいは快・不快の指標など、人間の普遍的な性質に基づいて定義されてもよい。

次に、図６のＨＭＩ評価基準データのＩＤ１～３を用いた、シーケンスの評価の一例を示す。図８は、評価基準ＩＤ１による、左前の目標へ移動する際の移動機器の操作量に基づく評価の一例である。例えば、評価基準ＩＤ１は、人は、移動機器（乗車した車両）が、滑らかに移動することを「自然に、あるいは快適に感じる」という性質に基づいて定義したものである。言い換えれば、人は、急峻に動作する移動機器に「使い心地の悪さ、あるいは不安感を感じる」という性質に基づいて定義したものである。

図８（ａ）に示すＢＴは、９０度の左折の後、１０ｋｍ／ｈの減速を行うシーケンスである。これを図示すると、移動機器は図８（ｂ）に示す動作となる。一方、図８（ｃ）に示すＢＴは、まず４５度の左折を行い、その後５ｋｍ／ｈの減速、さらに４５度の左折、５ｋｍ／ｈの減速、という制御を行うシーケンスである。これを図示すると、移動機器は図８（ｄ）に示す動作となる。

図８（ａ）のＢＴと、図８（ｃ）のＢＴは、両者共に、移動機器は目標に移動しながら同じ速度に減速する。図８（ａ）のＢＴは、一度のＡｃｔｉｏｎによる進行方向および速度の変化量が大きく、一方、図８（ｃ）のＢＴは、段階的に変化させている。即ち、図８（ａ）のＢＴは、移動機器を急峻な動作で制御し、図８（ｃ）のＢＴは、滑らかな動作で制御する。評価基準ＩＤ１に従うと、急峻な動作をする図８（ａ）のＢＴには低い評価値（例えば、０．２）が設定され、滑らかに変化する図８（ｃ）のＢＴには高い評価値（例えば、０．８）が設定される。

図９は、評価基準ＩＤ２による、ＨＭＩのタイミングに基づく評価の例である。例えば、評価基準ＩＤ２は、移動機器（乗車した車両）が動く際、それを通知する情報の提示のタイミングに基づいて定義したものである。具体的には、人は、乗車した車両が動き出すよりも先に情報提示されなければ、情報提示の効果が低く、不自然に感じるという性質に基づいて定義したものである。

図９（ａ）のＢＴは、左折の後にガイダンス音を送出する。これを図示すると、移動機器は図９（ｂ）に示す動作となる。一方、図９（ｃ）のＢＴは、ガイダンス音を送出後に左折を行っている。これを図示すると、移動機器は図９（ｄ）で示す動作となる。いずれのＢＴも左折、ガイダンス音送出という２つの動作を行うが、図９（ａ）のＢＴは、ガイダンス音送出より先に動作を行っているため、評価基準ＩＤ２に従うと、低い評価値（例えば、０．２）が設定される。一方、図９（ｃ）のＢＴは、ガイダンス音送出を行った後に動作を開始するため、高い評価値（例えば、０．８）が設定される。

図１０は、評価基準ＩＤ３による、モーダル情報を提示する順序に基づく評価の例である。例えば、評価基準ＩＤ３は、視覚情報と聴覚情報のように、複数のモーダルを用いて情報提示する際の、人の認知負荷に基づいて定義したものである。具体的には、モーダル間を行き来するような提示の仕方は認知負荷が高く、人は使い心地を悪く感じるという性質に基づいて定義したものである。

図１０（ａ）のＢＴは、視覚モーダル、聴覚モーダルに関係するＡｃｔｉｏｎが互い違いに出現しているため、評価基準ＩＤ３に従うと、低い評価値（例えば、０．２）が設定される。一方、図１０（ｂ）のＢＴは、聴覚モーダルに関するＡｃｔｉｏｎの後、視覚モーダルに関するＡｃｔｉｏｎを行っている。行うＡｃｔｉｏｎ自体は図１０（ａ）と同じであるが、モーダルが統一された処理順序であるため、高い評価値（例えば、０．８）が設定される。

ステップＳＴ４では、最適化部５で、ステップＳＴ３で評価値を付与した各シーケンスを用いて、評価値が高くなるシーケンスを選択（探索）する最適化処理を行う。これは、進化計算における、選択、交叉、突然変異の各種演算を行う処理に相当する。ここで、演算の対象、即ち個体はシーケンス、つまりＢＴとする。また、各種演算は、上述したステップＳＴ２においてＢＴの生成に用いた個体の遺伝子情報を用いて行う。なお、選択のアルゴリズムは、例えば、評価値が高い個体のＢＴを選ばれやすく、逆に評価値が低い個体のＢＴは選ばれにくいものとする。交叉の演算は、例えば二点交叉法、突然変異の演算は、例えば置換法など、進化計算における任意の公知のアルゴリズムを用いて良い。また、遺伝子情報からＢＴ個体を生成する際は、上述したステップＳＴ２のＢＮＦを使用するが、ＢＮＦに変更を加え、初期集団とは異なる性質となるＢＴを生成しても良い。上記の最適化処理を進化計算のプロセスに当てはめるならば、現世代のうち、評価値の高い優良ないくつかのＢＴを残し、それら優良なＢＴの情報を用いて次世代のＢＴを作り出す。一方、評価値の低いＢＴはその世代で消去（淘汰）することで、世代を更新する毎に理想とするＢＴに近づけることである。これは、シーケンス全体の評価値を高める処理に相当する。

ステップＳＴ５では、ステップＳＴ４における最適化処理が収束したか否か、すなわち、収束条件を満たすか否かを判定する（ステップＳＴ５）。収束条件を満たす場合（ステップＳＴ５のＹｅｓ）、ステップＳＴ６の処理へ移行する。収束条件を満たさない場合（ステップＳＴ５のＮｏ）、最適化処理で得られた各シーケンスを、再び評価部４に渡して、ステップＳＴ３の処理を繰り返す。

ここで、ステップＳＴ５における収束条件として、例えば、全個体の適応度（すなわち、評価値）の平均が所定の閾値を上回った場合とすることができる。その他、全個体中最大の適応度が一定期間変化しなくなった、あるいは、単に一定回数処理を繰り返した等、進化計算で一般的に用いられる方法を適用することができる。

最後にステップＳＴ６では、出力部６で、最適な個体であるシーケンス（すなわち、世代交代の結果、最終的に得られたシーケンス）をひとつ取得し、外部に出力、あるいは人に提示する。

以上のように、本実施の形態１によれば、シーケンスを自動生成する際、シーケンスの構造情報である、機器の処理順序、処理の流れ、動作の並び等に基づき、人の感性指標である、人にとって自然で、使い心地が良いか否かによって定義されたＨＭＩ評価基準データを用いるように構成した。よって、本実施の形態１によるシーケンス自動生成装置は、人にとって自然で、使い心地の良い動作を行うＨＭＩのシーケンスを自動生成することが可能となる。

実施の形態２．
実施の形態２におけるシーケンス自動生成装置について図１１を用いて説明する。図１１は、本実施の形態２を示すシーケンス自動生成装置のブロック構成図である。図１１中、図１と異なる構成としては評価基準選択部７である。図１１中、図１と同一符号を付したものは同一または相当部分を示す。

評価基準選択部７は、機器（すなわち、ＨＭＩを備えた移動機器）が動作する状況（例えば、周辺情報）に基づいて、評価部４に対して、ＨＭＩ評価基準データの中から、どの評価基準を適応するか選択する指示を行う。

図１２は、実施の形態２の動作を表すフローチャートである。図４の実施の形態１のフローチャートにステップＳＴ７の処理が追加された他は、実施の形態１と同様であるので、ステップＳＴ７に関連しない動作の説明は省略する。

ステップＳＴ７において、評価基準選択部７は、入力部１から受け取った入力情報（例えば、環境情報の一種である周辺情報）に基づいて、対象とするＨＭＩの評価に使用するＨＭＩ評価基準データを選択する。図１３は、実施の形態２におけるＨＭＩ評価基準データの一例である。図１３は、図６に示したＨＭＩ評価基準データと比較して、周辺情報の列が追加されており、周辺情報に応じて右の評価基準を選択する構成となっている。

図１３に示した周辺情報は、移動機器が動作している環境の周辺の障害物の有無である。移動機器の周辺に障害物が無い場合、目標まで速度、進行方向が滑らかに移動するシーケンスが高い評価値となる。一方、移動機器の周辺に障害物が存在する場合、人が乗車する移動機器（すなわち、乗り物）が障害物に近づくほど、人は不安に感じるという性質を定義する。この時、シーケンスの評価で優先されるべきは、移動機器が障害物を避けるような動作をするか否かである。ステップＳＴ７では、周辺情報に基づく動作基準（例えば、障害物回避行動）に従ってＨＭＩ評価基準データを選択又は変更する。このように、周辺情報に応じてシーケンスの評価方法を切り替えることで、より実環境に適した評価を行うことができる。

本実施の形態２では、機器が動作する状況の一例として周辺情報を挙げ、また、周辺情報の一例として、移動機器が動作している環境の周辺の障害物の有無を挙げているが、これらに限ることは無い。例えば、周辺情報として、移動機器の進行方向の路面状態（例えば、路面の凹凸、路面の舗装、路面の凍結、路面の傾斜角度、など）を加えてもよい。機器が動作する状況は、移動機器の仕様情報、環境情報に応じて適宜設定することができる。

以上のように、本実施の形態２では、評価基準選択部において、周辺情報に応じてシーケンスの評価基準を切り替えるように構成した。よって、本実施の形態２によるシーケンス自動生成装置は、より実環境に適した評価を行うことができ、更に、人にとって自然で、使い心地の良い動作を行うＨＭＩのシーケンスを自動生成することが可能となる。

実施の形態３．
実施の形態２の変形例として、評価基準選択部７は、評価部４でのシーケンス評価結果に基づいて、周辺情報と対応するＨＭＩ評価基準データを学習又は逐次更新してもよい。

実施の形態３におけるシーケンス自動生成装置について図１４を用いて説明する。図１４は、本実施の形態３を示すシーケンス自動生成装置のブロック構成図である。図１４中、図１１と異なる構成としては、評価部４が、評価基準選択部７へ出力情報を受け渡すと共に、評価基準選択部７が、ＨＭＩ評価基準３をアクセス可能な構成となっている。図１４中、図１１と同一符号を付したものは同一または相当部分を示す。

評価部４は、シーケンスの評価値を算出後、各シーケンスの評価値を評価基準選択部７へ出力する。

評価基準選択部７は、各シーケンスの評価値を参照し、例えば、ある評価基準による評価値の分散が、所定の閾値より小さい場合、個体ごとの差異を十分に評価できていないと判断し、ＨＭＩ評価基準３中のＨＭＩ評価基準データを学習（例えば、別の評価基準に切り替える、当該評価基準を修正、など）する。

以上のように、本実施の形態３では、シーケンスの評価結果を用いて、周辺情報と対応するＨＭＩ評価基準データを学習（更新）するように構成した。よって、本実施の形態３によるシーケンス自動生成装置は、人にとって自然で、使い心地の良い動作を行うＨＭＩのシーケンスの自動生成の精度を高めることが可能となる。

なお、上記した実施の形態のそれぞれにおいて、シーケンスのフォーマットの一例としてＢＴを、シーケンス自動生成のフレームワークの一例として進化計算、特に、ＧＥを用いて説明したが、これらには限定しない。すなわち、同様の機能、効果が得られる構成であれば、それを用いた形態としてもよく、ステートチャート等の他の公知のフォーマット、遺伝的アルゴリズム等の公知のフレームワークを用いても良い。また、制御対象の機器の一例として移動機器を挙げて説明したが、例えば、家電機器（テレビ、空調機など）、輸送機器（エレベーターなど）、製造機器（産業ロボット、工場生産機器）など、ＨＭＩを備えるその他の機器へも適用することができる。

上記以外にも、本開示はその開示の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１入力部、２シーケンス生成部、３ＨＭＩ評価基準、４評価部、５最適化部、６出力部、７評価基準選択部、
１１メモリ、１２プロセッサ、１３記憶媒体、１４入力装置、１５出力装置、１６信号路、
１００シーケンス自動生成装置

Claims

制御対象となる機器が有する機能に関する仕様情報と、当該機器が使用される状況に関する環境情報とを用いて、複数のＨｕｍａｎＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ（ＨＭＩ）のシーケンスを生成するシーケンス生成部と、
前記機器のシーケンスの処理順序を示す構造情報と、人の感性指標とを用いて定義された１つ以上の評価基準を有するＨＭＩ評価基準データを参照し、当該評価基準を用いて前記複数のＨＭＩのシーケンスの評価を行い、評価値を付与する評価部と、
前記評価値を付与された前記複数のＨＭＩのシーケンスから、前記評価値を用いてＨＭＩのシーケンスを選択する最適化部、を備えるシーケンス自動生成装置。
前記最適化部が、前記複数のＨＭＩのシーケンスから選択されたＨＭＩのシーケンスの内部状態を進化計算を用いて変更し、当該選択されたＨＭＩのシーケンスを前記評価部へ再入力し、所定の収束条件を満たすまでシーケンス全体の評価値を高めることを特徴とする、請求項１に記載のシーケンス自動生成装置。
前記評価部が、前記ＨＭＩ評価基準データによる評価を満たすシーケンスには高い評価値を付与し、前記ＨＭＩ評価基準データによる評価を満たさないシーケンスには低い評価値を付与することを特徴とする、請求項１または請求項２に記載のシーケンス自動生成装置。
前記評価部に対し、前記ＨＭＩ評価基準データの中から、前記機器が動作する状況に応じた評価基準を選択する指示を行う評価基準選択部、を備える請求項１から３のいずれか１項に記載のシーケンス自動生成装置。
前記評価基準選択部は、前記評価部でのシーケンス評価結果に応じて、前記機器が動作する状況に対応するように、前記ＨＭＩ評価基準データを学習することを特徴とする、請求項４に記載のシーケンス自動生成装置。
制御対象となる機器が有する機能に関する仕様情報と、当該機器が使用される状況に関する環境情報とを用いて、複数のＨＭＩのシーケンスを生成するシーケンス生成ステップと、
前記機器のシーケンスの処理順序を示す構造情報と、人の感性指標とを用いて定義された１つ以上の評価基準を有するＨＭＩ評価基準データを参照し、当該評価基準を用いて前記複数のＨＭＩのシーケンスの評価を行い、評価値を付与する評価ステップと、
前記評価値を付与された前記複数のＨＭＩのシーケンスから、前記評価値を用いてＨＭＩのシーケンスを選択する最適化ステップ、を備えるシーケンス自動生成方法。
前記最適化ステップが、前記複数のＨＭＩのシーケンスから選択されたＨＭＩのシーケンスの内部状態を進化計算を用いて変更し、当該選択されたＨＭＩのシーケンスを前記評価ステップへ再入力し、所定の収束条件を満たすまでシーケンス全体の評価値を高めることを特徴とする、請求項６に記載のシーケンス自動生成方法。
前記評価ステップが、前記ＨＭＩ評価基準データによる評価を満たすシーケンスには高い評価値を付与し、前記ＨＭＩ評価基準データによる評価を満たさないシーケンスには低い評価値を付与することを特徴とする、請求項６または請求項７に記載のシーケンス自動生成方法。
前記評価ステップに対し、前記ＨＭＩ評価基準データの中から、前記機器が動作する状況に応じた評価基準を選択する指示を行う評価基準選択ステップ、を備える請求項６から８のいずれか１項に記載のシーケンス自動生成方法。
前記評価基準選択ステップは、前記評価ステップでのシーケンス評価結果に応じて、前記機器が動作する状況に対応するように、前記ＨＭＩ評価基準データを学習することを特徴とする、請求項９に記載のシーケンス自動生成方法。
制御対象となる機器が有する機能に関する仕様情報と、当該機器が使用される状況に関する環境情報とを用いて、複数のＨＭＩのシーケンスを生成するシーケンス生成ステップと、
前記機器のシーケンスの処理順序を示す構造情報と、人の感性指標とを用いて定義された１つ以上の評価基準を有するＨＭＩ評価基準データを参照し、当該評価基準を用いて前記複数のＨＭＩのシーケンスの評価を行い、評価値を付与する評価ステップと、
前記評価値を付与された前記複数のＨＭＩのシーケンスから、前記評価値を用いてＨＭＩのシーケンスを選択する最適化ステップ、をコンピュータにより実行させるプログラム。
前記最適化ステップが、前記複数のＨＭＩのシーケンスから選択されたＨＭＩのシーケンスの内部状態を進化計算を用いて変更し、当該選択されたＨＭＩのシーケンスを前記評価ステップへ再入力し、所定の収束条件を満たすまでシーケンス全体の評価値を高めることを特徴とする、請求項１１に記載のプログラム。
前記評価ステップが、前記ＨＭＩ評価基準データによる評価を満たすシーケンスには高い評価値を付与し、前記ＨＭＩ評価基準データによる評価を満たさないシーケンスには低い評価値を付与することを特徴とする、請求項１１または請求項１２に記載のプログラム。
前記評価ステップに対し、前記ＨＭＩ評価基準データの中から、前記機器が動作する状況に応じた評価基準を選択する指示を行う評価基準選択ステップ、を備える請求項１１から１３のいずれか１項に記載のプログラム。
前記評価基準選択ステップは、前記評価ステップでのシーケンス評価結果に応じて、前記機器が動作する状況に対応するように、前記ＨＭＩ評価基準データを学習することを特徴とする、請求項１４に記載のプログラム。