JP7171230B2

JP7171230B2 - 操作判定装置、操作判定学習システム及び操作判定学習方法

Info

Publication number: JP7171230B2
Application number: JP2018091926A
Authority: JP
Inventors: 大輔河村
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2018-05-11
Filing date: 2018-05-11
Publication date: 2022-11-15
Anticipated expiration: 2038-05-11
Also published as: JP2019197450A

Description

本発明は、操作判定装置、操作判定学習システム及び操作判定学習方法に関する。

従来の技術として、複数のジェスチャの基準となる基準ジェスチャデータと入力された入力ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定する操作入力装置が知られている（例えば、特許文献１参照。）。

この操作入力装置は、ジェスチャ入力が終わってから一定時間以内に新たなジェスチャ入力がなかったときは、意図した制御が行われたと推定し、このときの入力ジェスチャと基準ジェスチャとに基づいて基準ジェスチャの更新を行う。

特開２０１６－７６０６１号公報

従来の操作入力装置は、ジェスチャ入力が終わってから一定時間が経過する前に、再度ジェスチャ入力があったときは、操作者の意図とは異なる制御が行われたと推定する。そしてその場合の入力ジェスチャは、基準ジェスチャデータの更新に利用されない。しかし一定時間が経過する前に行われたジェスチャ入力は、ジェスチャとして認識されなかった意図したジェスチャ入力である可能性があり、このようなジェスチャが学習の対象となれば、さらに学習効果を高めることができる。

従って本発明の目的は、学習効果を高めることができる操作判定装置、操作判定学習システム及び操作判定学習方法を提供することにある。

本発明の一態様は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部を備えた操作判定装置を提供する。

本発明の他の態様は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部、及び通信を行う通信部を備えた複数の操作判定装置と、複数の操作判定装置と通信部を介して接続され、複数の操作判定装置から取得した複数の最適化された教師データに基づいて最適化データを生成し、通信部を介して複数の操作判定装置に出力して最適化データに基づく教師データの最適化を実行させるクラウドと、を備えた操作判定学習システムを提供する。

本発明の他の態様は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う、操作判定学習方法を提供する。

本発明によれば、学習効果を高めることができる。

図１（ａ）は、第１の実施の形態に係る操作判定装置が判定する間接的操作の一例を説明するための概略図であり、図１（ｂ）は、操作判定装置のブロック図の一例であり、図１（ｃ）は、操作判定装置が含まれる車両通信システムの一例を示すブロック図である。図２は、第１の実施の形態に係る電子キーの軌跡の一例を示すグラフである。図３は、第１の実施の形態に係る操作判定装置の動作の一例を示すフローチャートである。図４は、第２の実施の形態に係る操作判定装置が判定するジェスチャの一例を示す概略図である。図５は、第３の実施の形態に係る操作判定学習システムの一例を示す概略図である。図６は、第３の実施の形態に係る操作判定学習システムの動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係る操作判定装置は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部を備えて概略構成されている。

この操作判定装置は、間接的操作の判定が否定された後に直接的操作がなされた場合、操作者が間接的操作が認識されなかったので直接操作を行った可能性が高く、この間接的操作の操作データを用いて教師データを最適化して学習することで、この構成を採用しない場合と比べて、学習効果を高めることができる。

[第１の実施の形態]
（操作判定装置１の概要）
図１（ａ）は、第１の実施の形態に係る操作判定装置が判定する間接的操作の一例を説明するための概略図であり、図１（ｂ）は、操作判定装置のブロック図の一例であり、図１（ｃ）は、操作判定装置が含まれる車両通信システムの一例を示すブロック図である。図２は、第１の実施の形態に係る電子キーの軌跡の一例を示すグラフである。図２は、横軸が時間ｔであり、縦軸が電子キー１００の位置Ｙである。図２の縦軸（Ｙ軸）は、地面を基準として上を正としている。

なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）、図１（ｃ）、では、主な信号や情報の流れを矢印で示している。さらに数値範囲を示す「Ａ～Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。

この操作判定装置１は、例えば、図１（ａ）～図１（ｃ）に示すように、車両７に搭載されている。本実施の形態では、例えば、車両７のスライドドア７１を開ける直接的操作及び間接的操作の一例について説明する。

操作判定装置１は、例えば、図１（ａ）～図１（ｃ）に示すように、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ（間接的操作データＳ_１）を用いて判定の基準となる教師データ１４０の最適化を行う判定部としての制御部１４を備えて概略構成されている。

この操作判定装置１は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ（間接的操作データＳ_１）を用いて判定の基準となる教師データ１４０の最適化を行うことを含む操作判定学習方法を実施するものである。なおこの操作判定学習方法は、本実施の形態の操作判定装置１とは異なる電子機器によって実施されても良い。

直接的操作とは、例えば、図１（ａ）に示すドアハンドル７２ａ又はタッチスイッチ７２ｂに対する直接的な操作を示している。操作者９は、例えば、スライドドア７１を開閉する際、ドアハンドル７２ａを引いてスライドドア７１を引いたり押したりする操作、又はタッチスイッチ７２ｂに対してタッチ操作を行う。車両７は、例えば、操作者９が携帯する電子キー１００との認証が成立していた場合、スライドドア７１の開閉を許可する。

間接的操作とは、一例として、図１（ａ）に示すように、操作者９が膝を曲げて屈伸することである。操作者９が屈伸を行うことにより、操作者９が携帯する電子キー１００が上下に移動する。制御部１４は、この電子キー１００の軌跡１０１に基づいて間接的操作が行われたと判定した場合、スライドドア７１を開閉させる指示信号Ｓ_３を出力する。なお間接的操作は、上述の例に限定されない。

操作者９は、例えば、荷物などのため、ドアハンドル７２ａ及びタッチスイッチ７２ｂに対する操作ができない、つまり直接的操作ができない場合、屈伸などの予め定められた間接的操作を行うことにより、スライドドア７１に直接触ることなく開閉することができる。

操作判定装置１は、主に、この間接的操作を判定すると共に、学習によって間接的操作の判定精度を向上させるように概略構成されている。この操作判定装置１は、例えば、図１（ｂ）に示すように、間接的操作部１０と、通信部１２と、をさらに備えている。

（間接的操作部１０の構成）
間接的操作部１０は、間接的操作に伴う操作データを取得するように概略構成されている。本実施の形態の間接的操作部１０は、電子キー１００によって測定された縦軸（Ｙ軸）方向の軌跡１０１に基づく間接的操作データＳ_１を生成するように構成されている。

図２は、電子キー１００が測定した軌跡１０１の一例である。Ｙ_１は、屈伸前の電子キー１００のＹ軸方向の位置である。Ｙ_２は、屈伸した際の電子キー１００のＹ軸方向の位置である。

本実施の形態では、一例として、図２に示す電子キー１００の軌跡１０１を間接的操作データＳ_１とする。この軌跡１０１は、例えば、電子キー１００に搭載された加速度センサから得られる。間接的操作部１０は、間接的操作データＳ_１を生成して制御部１４に出力するように構成されている。

（通信部１２の構成）
通信部１２は、例えば、外部と相互に信号やデータなどの交換を可能とするものである。操作判定装置１は、一例として、図１（ｃ）に示すように、直接的操作部７２、車両制御部７７及び被制御装置７８と共に車両ＬＡＮ（Local Area Network）７６を介して通信を行う車両通信システム７５を構成している。

車両ＬＡＮ７６は、例えば、有線や無線によって相互に信号やデータなどの交換を可能とするＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）といった車両用ネットワークである。

車両制御部７７は、例えば、車両７の電子機器を制御するマイクロコンピュータである。車両制御部７７は、例えば、指示信号Ｓ_３又は後述する直接的操作信号Ｓ_２が入力した場合、被制御装置７８を制御する制御信号Ｓ_４を生成して出力する。

被制御装置７８は、直接的操作及び間接的操作によって操作可能な電子機器である。本実施の形態では、直接的操作及び間接的操作によってスライドドア７１を開閉することができる。従って被制御装置７８は、例えば、制御信号Ｓ_４に基づいてスライドドア７１を開閉する駆動装置である。

直接的操作部７２は、上述したドアハンドル７２ａ及びタッチスイッチ７２ｂである。直接的操作部７２は、例えば、ドアハンドル７２ａ又はタッチスイッチ７２ｂが操作されると、操作がなされたことを示す直接的操作信号Ｓ_２を生成して出力する。

（制御部１４の構成）
制御部１４は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１４が動作するためのプログラムと、教師データ１４０と、が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。また制御部１４は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて動作を行う。

制御部１４は、教師データ１４０と、操作者が携帯する携帯機（電子キー１００）の移動に関する操作データ（間接的操作データＳ_１）と、が許容範囲内で一致する場合、間接的操作がなされたと判定する。

教師データ１４０は、例えば、屈伸に伴う電子キー１００の軌跡１０１のグラフをテンプレート化したものである。制御部１４は、教師データ１４０と間接的操作データＳ_１の形状を比較し、その形状のずれが予め定められた許容範囲内である場合、屈伸、つまり間接的操作がなされたと判定する。

教師データ１４０の最適化とは、この形状のずれを最適なものとして操作者が行った間接的操作の判定精度を向上させる処理である。制御部１４は、間接的操作データＳ_１が教師データ１４０の許容範囲からずれており、間接的操作が行われたと判定しなかったにも関わらず、予め定められた期間内に、間接的操作と同じ指示を行うことができる直接的操作が行われた場合、操作をやり直したと判定して当該間接的操作データＳ_１によって間接的操作が判定できるように学習する。そして制御部１４は、この最適化による学習によって教師データ１４０を更新する。なお予め定められた期間とは、一例として、２～２０秒である。

ここで変形例として制御部１４は、教師データ１４０を操作者ごとに有し、操作者ごとに最適化を行っても良い。つまり制御部１４は、操作者ごとに最適化された教師データ１４０を有する。この操作者の識別は、例えば、電子キー１００の認証時に行われる。

以下に本実施の形態の操作判定装置１の動作の一例について図３のフローチャートに従って説明する。

（動作）
操作判定装置１の制御部１４は、ドアハンドル７２ａ又はタッチスイッチ７２ｂ（直接的操作部７２）に対する直接的操作がなされるか監視する。制御部１４は、ステップ１の「Ｙｅｓ」が成立する、つまり通信部１２を介して直接的操作信号Ｓ_２が入力すると、予め定められた期間内に間接的操作の判定が行われたか確認する。

制御部１４は、間接的操作の判定が否定された、つまり間接的操作データＳ_１と教師データ１４０を比較して間接的操作がなされていないとしていた場合（Ｓｔｅｐ２：Ｙｅｓ）、当該間接的操作データＳ_１を用いて教師データ１４０を最適化し（Ｓｔｅｐ３）、教師データ１４０を更新する。

ここでステップ２において制御部１４は、間接的操作の判定自体がなされていない場合（Ｓｔｅｐ２：Ｎｏ）、ステップ１に処理を進める。

（第１の実施の形態の効果）
本実施の形態に係る操作判定装置１は、学習効果を高めることができる。具体的には、操作者が直接的操作を行い、その前に間接的操作が判定されなかった、つまり判定の結果、間接的操作が否定されていた場合は、間接的操作が認識されなかったので直接的操作を行ったと考えられる。そこで操作判定装置１は、この間接的操作時に得られた間接的操作データＳ_１を正解データとして教師データ１４０の最適化を行う。従って操作判定装置１は、判定されなかった間接的操作の操作データを用いて教師データを更新しない場合と比べて、学習効果を高めることができる。

操作判定装置１は、間接的操作が認識されなかった後に直接的操作を行って操作をやり直す度に教師データ１４０の最適化が行われるので、この構成を採用しない場合と比べて、実験やシミュレーションなどを行って教師データ１４０を開発する手間やコストが低減される。

［第２の実施の形態］
第２の実施の形態は、間接的操作がジェスチャである点で第１の実施の形態と異なっている。

図４は、第２の実施の形態に係る操作判定装置が判定するジェスチャの一例を示す概略図である。なお以下に記載する実施の形態において、第１の実施の形態と同じ機能及び構成を有する部分は、第１の実施の形態と同じ符号を付し、その説明は省略するものとする。

本実施の形態の制御部１４は、教師データ１４０と、操作者が行ったジェスチャの操作データ（間接的操作データＳ_１）と、が許容範囲内で一致する場合、間接的操作がなされたと判定する。

図４は、例えば、操作者の手９０によって円を描くジェスチャを示している。このジェスチャは、例えば、回転方向に応じて被制御装置７８である空調装置の設定温度を上げたり下げたりすることができる。図４の紙面において時計回りに円を描くジェスチャは、設定温度を上げるジェスチャである。そして反時計回りに円を描くジェスチャは、設定温度を下げるジェスチャである。

またジェスチャと同じ指示を可能とする直接的操作を受け付ける直接的操作部７２は、例えば、図４に示すように、被制御装置７８である空調装置のダイヤルを含んで概略構成されている。このダイヤルは、ジェスチャの方向と同様に、時計回りに回転させると設定温度が上がり、反時計回りに回転させると設定温度が下がる。なおジェスチャによって操作される被制御装置７８や機能は、上述の例に限定されず、空調装置の風量、音声再生装置の音量などであっても良い。

本実施の形態の間接的操作を受け付ける間接的操作部１０は、例えば、図４に示すカメラ１０２を含んで概略構成されている。このカメラ１０２は、被制御装置７８の近傍に設けられている。またカメラ１０２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を有して構成されている。

間接的操作部１０は、例えば、カメラ１０２で周期的に撮像した画像に対して画像処理を行ってジェスチャの軌跡１０３を抽出し、抽出した軌跡１０３を間接的操作データＳ_１として制御部１４に出力する。なお変形例として間接的操作部１０は、周期的に撮像した画像のデータ、二値化処理を行った画像のデータなどを間接的操作データＳ_１として出力するように構成されても良い。この場合は、例えば、制御部１４が軌跡１０３の抽出を行う。

以下に本実施の形態の操作判定装置１の動作の一例について第１の実施の形態において用いた図３のフローチャートに従って説明する。

（動作）
操作判定装置１の制御部１４は、ダイヤル（直接的操作部７２）に対する直接的操作がなされるか監視する。制御部１４は、ステップ１の「Ｙｅｓ」が成立する、つまり通信部１２を介してダイヤルが操作されたことを示す直接的操作信号Ｓ_２が入力すると、予め定められた期間内にジェスチャによる間接的操作の判定が行われたか確認する。

制御部１４は、ジェスチャによる間接的操作の判定が否定された、つまり間接的操作データＳ_１と教師データ１４０を比較して軌跡１０３がジェスチャと判定されなかった場合（Ｓｔｅｐ２：Ｙｅｓ）、当該間接的操作データＳ_１を用いて教師データ１４０を最適化し（Ｓｔｅｐ３）、教師データ１４０を更新する。

（第２の実施の形態の効果）
本実施の形態に係る操作判定装置１は、操作者が直接的操作（ダイヤルに対する操作）を行い、その前に間接的操作（ジェスチャによる操作）が判定されなかった場合、ジェスチャの間接的操作データＳ_１を正解データとして教師データ１４０を最適化するので、この構成を採用しない場合と比べて、ジェスチャの判定精度が向上する。

[第３の実施の形態]
第３の実施の形態は、複数の操作判定装置において最適化された教師データを収集して、さらに最適化された教師データを複数の操作判定装置に送信する点で他の実施の形態と異なっている。

図５は、第３の実施の形態に係る操作判定学習システムの一例を示す概略図である。操作判定学習システム８は、例えば、図５に示すように、車両７に搭載された複数の操作判定装置１がクラウド８０と無線で接続されている。

操作判定装置１は、間接的操作部１０と、通信部１２と、制御部１４と、を備えて概略構成されている。

またクラウド８０は、複数の操作判定装置１と通信部１２を介して接続され、複数の操作判定装置１から取得した複数の最適化された教師データ１４０に基づいて最適化データＳ_５を生成し、通信部１２を介して複数の操作判定装置１に出力して最適化データＳ_５に基づく教師データ１４０の最適化を実行させるように概略構成されている。

このクラウド８０は、例えば、クラウドサーバなどの最適化処理を実行する少なくとも１つのコンピュータとネットワークにより接続されたクラウドコンピューティングシステムである。クラウド８０は、複数の車両７に搭載された操作判定装置１によって最適化された教師データ１４０を収集し、収集した教師データ１４０に基づいて最適化した最適化データＳ_５を生成する。

この最適化データＳ_５の生成と送信は、例えば、最適化された教師データ１４０が予め定められた数に到達した場合、予め定められた期間が到来した場合、又は最適化データＳ_５の作成が指示された場合などによって実施される。本実施の形態では、一例として、予め定められた期間ごとに最適化データＳ_５が生成され、送信される。

この最適化データＳ_５は、各操作判定装置１に出力される。操作判定装置１は、取得した最適化データＳ_５を新たな教師データ１４０として間接的操作の判定を行う。

以下に本実施の形態の操作判定学習システム８の動作の一例について図６のフローチャートに従って説明する。

（動作）
まず操作判定装置１は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ（間接的操作データＳ_１）を用いて判定の基準となる教師データ１４０の最適化を行う。そして操作判定装置１は、接続されたクラウド８０に最適化された教師データ１４０を出力する。

操作判定学習システム８のクラウド８０は、複数の操作判定装置１から取得した最適化された教師データ１４０を蓄積する（Ｓｔｅｐ１０）。

次にクラウド８０は、予め定められた期間が到来すると、蓄積されていた、最適化された教師データ１４０に基づいて最適化データＳ_５を生成する（Ｓｔｅｐ１１）。

次にクラウド８０は、接続された複数の操作判定装置１に最適化データＳ_５を出力する（Ｓｔｅｐ１２）。操作判定装置１は、受信した最適化データＳ_５に基づいて自身の教師データ１４０を更新する。

（第３の実施の形態の効果）
本実施の形態の操作判定学習システム８は、操作判定装置１によって最適化された教師データ１４０を蓄積し、この蓄積された最適化された教師データ１４０からさらに最適化された最適化データＳ_５を生成し、各操作判定装置１に送信する。操作判定装置１は、自身のみならず他の操作判定装置１の最適化された教師データ１４０も用いて生成された最適化データＳ_５によって教師データ１４０を更新することで、間接的操作の判定精度をさらに向上させることができる。

従って操作判定学習システム８は、実験やシミュレーションなどを行って人や時間をかけて最適化データを開発する場合と比べて、操作判定装置１ごとに学習して判定精度の向上した教師データ１４０を用いて最適化データＳ_５を生成するので、開発コストを削減することができる。また操作判定学習システム８は、販売後に実際に使用する操作者の正解データを用いて最適化された教師データ１４０を取得するので、学習精度が向上する。

以上述べた少なくとも１つの実施の形態の操作判定装置１及び操作判定学習システム８によれば、学習効果を高めることが可能となる。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…操作判定装置、７…車両、８…操作判定学習システム、９…操作者、１０…間接的操作部、１２…通信部、１４…制御部、７１…スライドドア、７２…直接的操作部、７２ａ…ドアハンドル、７２ｂ…タッチスイッチ、７５…車両通信システム、７６…車両ＬＡＮ、７７…車両制御部、７８…被制御装置、８０…クラウド、９０…手、１００…電子キー、１０１…軌跡、１０２…カメラ、１０３…軌跡、１４０…教師データ

Claims

操作部を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能であって前記操作部を触らずに行われる間接的操作の判定が否定されていた場合、前記間接的操作が認識されなかった後に前記直接的操作を行って操作をやり直したと判定して前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部を備えた操作判定装置。
前記判定部は、前記教師データと、操作者が携帯する携帯機の移動に関する前記操作データと、が許容範囲内で一致する場合、前記間接的操作がなされたと判定する、
請求項１に記載の操作判定装置。
前記判定部は、前記教師データと、操作者が行ったジェスチャの前記操作データと、が許容範囲内で一致する場合、前記間接的操作がなされたと判定する、
請求項１又は２に記載の操作判定装置。
前記判定部は、前記教師データを操作者ごとに有し、前記操作者ごとに最適化を行う、
請求項１乃至３のいずれか１項に記載の操作判定装置。
操作部を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能であって前記操作部を触らずに行われる間接的操作の判定が否定されていた場合、前記間接的操作が認識されなかった後に前記直接的操作を行って操作をやり直したと判定して前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部、及び通信を行う通信部を備えた複数の操作判定装置と、
前記複数の操作判定装置と前記通信部を介して接続され、前記複数の操作判定装置から取得した複数の最適化された前記教師データに基づいてさらに最適化された最適化データを生成し、前記通信部を介して前記複数の操作判定装置に出力して前記最適化データに基づく前記教師データの更新を前記判定部に実行させる少なくとも１つのコンピュータを備えたクラウドと、
を備えた操作判定学習システム。
操作部を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能であって前記操作部を触らずに行われる間接的操作の判定が否定されていた場合、前記間接的操作が認識されなかった後に前記直接的操作を行って操作をやり直したと判定して前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う、
操作判定学習方法。