WO2017047085A1

WO2017047085A1 - 操作制御装置、操作制御方法及び記憶媒体

Info

Publication number: WO2017047085A1
Application number: PCT/JP2016/004213
Authority: WO
Inventors: 浩明長野
Original assignee: 日本電気株式会社
Priority date: 2015-09-16
Filing date: 2016-09-15
Publication date: 2017-03-23
Also published as: JPWO2017047085A1; US20180239314A1; EP3352026A4; JP6806069B2; EP3352026A1; US10921757B2

Abstract

センサ情報に基づいて操作対象に対して操作を行う操作制御装置において、存在が不確かな操作対象の場合であっても、該操作対象に対して操作を行ってよいかどうかの判断を簡潔な構成によって実現する。操作制御装置１は、操作ロジックが予め格納された操作ロジック部１１と、センサ情報に基づいて推定される操作対象Ｍを、存在確率に関する属性と操作に関する属性とを有する仮想操作対象Ｐとして設定する仮想対象設定部１２と、仮想操作対象Ｐに対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定部１３と、センサ２から出力されたセンサ情報と仮想対象操作判定部１３による判定結果とに基づいて、操作ロジック部１１に格納された操作ロジックを用いて、操作対象Ｍに対する操作装置３の操作を制御する操作制御部１４とを備える。

Description

操作制御装置、操作制御方法及び記憶媒体

　本発明は、操作対象に対する操作を制御する操作制御装置、操作制御方法及びこれらを実現するためのプログラムに関する。

　従来、センサから出力されるセンサ情報等に基づいて、センサの計測対象物に対して何らかの操作を行う場合、一般的に、その対象物は確実に存在するものとして操作が行われる。そのため、対象物に対して操作を行う際に、該対象物の存在が不確実であることを疑うことはない。

　また、複数のセンサによって同一対象物が計測されている場合、たとえば人体に対して複数のセンサによって脈拍や体温などを計測して、それらのデータを収集するシステムの場合、同一人の測定データをスマートフォン等のスマートデバイスに集約する構成が一般的である。これにより、複数のセンサによって得られたデータが、同一人から測定して収集されたデータであることを確実にしている。そのため、一般的には、複数のセンサによって得られた測定データが同一人由来のものであるかどうかを疑うようなシステムも存在しない。

　ところが、近年のセンサ技術及びデータ処理技術の進歩により、同じコントローラによって管理されていない複数のセンサから出力されるセンサ情報によって存在が推定される対象に対し、何らかの操作を行うことが可能になっている。たとえば、カメラによって得られる動画データとスマートデバイスから出力される信号等とにより、広告表示等を行うサイネージ装置に適切な表示を行わせる場合などには、対象となる人物が会員である点や、広告表示が有効な範囲に存在するということ等を推定することは可能である。しかしながら対象が確実に存在しているかどうかは決定することができない。

　また、部外者の特定の領域内への立ち入りを制限する場合、対人感知センサまたは画像センサ等により、その領域付近に許可対象外の人物等がいることが推定された際に、物理的な侵入阻害手段など、場合によっては危険が伴うような制御を行うシステムが考えられる。そのような制御を、どの程度、確実性が担保されている場合に行ってよいか等は、現状では個々のシステムの対応に任されている。特に、不確実性を扱うためには、システム設計において特別な配慮が必要になるため、通常のシステムで用いられている、センサ情報（原因）に基づいて操作（結果）を行うという簡潔なロジックに比べて、システム設計が格段に難しくなる。

　センサから得た情報に基づいて、あいまいな推論、いわゆるファジイ論理を用いて制御を行う技術は、例えば特許文献１、２に開示されている。これらの文献に開示されている構成は、センサ情報の曖昧性、および最終的な制御対象に対する制御へのセンサ情報の寄与の曖昧性を許容するような制御方式である。

特許２５３９３７８号公報特開３７２７６８０号公報特開２０１０－０３４９５７号公報

　しかしながら、特許文献１，２に開示されている構成では、上述のような曖昧性を許容するような制御方式を基本とするシステム設計を当初から行わなければならず、センサ情報から確実に存在すると判定された対象と存在が不確かであると判定された対象とを、同じような処理で簡単に扱えるというわけではない。

　このように、従来の技術では、存在が不確かな対象に対する制御を、存在が確実な対象と同じように簡潔に行うための汎用的な手段は確立されていない。

　前述のように、センサから得たセンサ情報とそれに対する操作を記述する論理は、本質的には極めて単純である。ところが、実際の対象については、そのような操作が許される状況かどうかは個別の対象によって異なる。たとえば表示装置がどのような場所に設置されているかによって、特定の情報を表示することが適切であるかどうかの判断基準は異なる。また、物理的になんらかの影響を実世界に及ぼすような操作を行ってよいかは、操作対象が影響する範囲や効果に依存する。

　従来、このような判断を個別にシステムの制御論理に組み込む構成が一般的である。しかしながら、処理がクラウド等に集約され且つ多種多様な対象に対して様々な操作を行うシステムを考えた場合、操作ロジック自体に、対象を判別し且つ操作の可否を決定するロジックを組み込むことはシステム設計上、現実的ではない。すなわち、操作ロジックは簡潔性を保ったまま、操作対象の属性に応じて操作の可否を判断できるようなシステム構成が望まれている。

　本発明の目的は、センサ情報に基づいて操作対象に対して操作を行う操作制御装置において、存在が不確かな操作対象の場合であっても、該操作対象に対して操作を行ってよいかどうかの判断を簡潔な構成によって実現することにある。

　上記目的を達成するため、本発明の一側面における操作制御装置は、操作対象に対する操作装置の操作を制御するための操作制御装置である。この操作制御装置は、センサから得られるセンサ情報に対応する操作ロジックが予め格納された操作ロジック部と、前記センサから出力されたセンサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定部と、前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定部と、前記センサから出力されたセンサ情報と前記仮想対象操作判定部による判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御部とを備える。

　また、上記目的を達成するため、本発明の一側面における操作制御方法は、操作対象に対する操作装置の操作を制御する操作制御方法である。この操作制御方法は、センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック部に予め格納する操作ロジック準備ステップと、前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定ステップと、前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定ステップと、前記センサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御ステップとを備える。

　更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータに、センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック部に予め格納する操作ロジック準備ステップと、前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定ステップと、前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定ステップと、前記センサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御ステップとを実行させる。

　以上のように、本発明の一側面における操作制御装置によれば、存在が不確かな操作対象の場合であっても、該操作対象に対して操作を行ってよいかどうかの判断を簡潔な構成によって実現することができる。

操作制御装置の概略構成を示す図である。操作制御装置の詳細構成を示すブロック図である。操作制御装置の仮想対象生成部で設定される操作に関する属性の一例を示す図である。操作制御装置の動作の一例を示すフローである。コンピュータの構成の一例を示す図である。

　以下、本発明の実施の形態に係る操作制御装置、操作制御方法及びプログラムについて、図１から図４を参照しながら説明する。

　図１は、本発明の実施形態に係る操作制御装置１の概略構成を示す図である。操作制御装置１は、操作対象Ｍが不確実な場合であっても、操作対象Ｍの属性に応じて操作の可否を判定することにより、操作対象Ｍに対する操作の制御を行うことができるシステムである。

　操作制御装置１は、センサ２から出力されるセンサ情報が入力されるとともに、そのセンサ情報に基づいて操作対象Ｍを推定する。また、操作制御装置１では、存在しているかどうか不確かな操作対象Ｍも対象とするために、そのような存在が不確かな操作対象Ｍを、上述の存在確率に関する属性と操作に関する属性とを含む仮想操作対象Ｐとして設定する。操作制御装置１は、センサ情報と設定された仮想操作対象Ｐの属性とに基づいて、操作対象Ｍに対する操作を制御する。仮想操作対象Ｐの属性としては、存在確率に関する属性と、操作対象の操作に関する属性とが含まれる。

　存在確率に関する属性は、仮想操作対象Ｐが存在しているかどうかの確度などに関する情報が含まれる。操作に関する属性は、仮想操作対象Ｐに対する操作として予想される操作内容や、その操作内容を許可する場合の仮想操作対象Ｐの存在確率、操作の許可権限などに関する情報が含まれる。

　操作制御装置１は、上述の存在確率に関する属性と操作に関する属性とに基づいて、仮想操作対象Ｐに対する操作の可否を決定し、その結果とセンサ情報とに基づいて、操作対象Ｍに対する操作の制御を行う。また、操作制御装置１は、センサ情報に対応する操作ロジックを用いて操作対象Ｍに対する操作を実行する。

　具体的には、操作制御装置１は、操作ロジック部１１と、仮想対象設定部１２と、仮想対象操作判定部１３と、操作制御部１４とを備える。操作ロジック部１１は、センサ２から得られるセンサ情報に対応した操作ロジックが格納されている。操作ロジックは、操作装置３に、操作対象Ｍに対する操作を行わせるためのロジックである。

　仮想対象設定部１２は、センサ２から得られるセンサ情報に基づいて操作対象Ｍを推定するとともに、その推定した操作対象Ｍを、存在確率に関する属性と操作に関する属性とを有する仮想操作対象Ｐとして設定する。すなわち、仮想対象設定部１２では、存在が不確かな操作対象Ｍを、所定の属性を有する仮想操作対象Ｐと仮定する。これにより、存在が不確かな操作対象Ｍに対しても、実際に存在する操作対象と同様の制御によって操作を行うことが可能になる。

　仮想対象操作判定部１３は、仮想対象設定部１２によって設定された操作対象Ｍの存在確率に関する属性と操作対象Ｍに対する操作に関する属性とに基づいて、仮想操作対象に対する操作の可否を判定する。具体的には、仮想対象操作判定部１３は、操作に関する属性と存在確率に関する属性とを照らし合わせることにより、仮想操作対象Ｐに対して操作が許可される操作内容を抽出する。

　操作制御部１４は、センサ２から出力されたセンサ情報と、仮想対象操作判定部１３による判定結果とに基づいて、操作ロジック部１１に格納された操作ロジックを用いて操作対象Ｍに対する操作装置３の操作を制御する。

　このような構成により、存在が不確かであり且つ許容される操作が状況により変化する操作対象Ｍであっても、存在が確実な操作対象と同様、操作対象Ｍの属性に応じて該操作対象Ｍに対する操作を制御することができる。

　しかも、従来と同様の操作制御装置の構成に、仮想操作対象Ｐを設定する仮想対象設定部１２と仮想操作対象Ｐに対する操作の可否を判定する仮想対象操作判定部１３とを設けることにより、存在が不確かな操作対象Ｍに対する操作を制御することができる。これにより、実際に存在する操作対象に対する操作の制御を行う操作制御装置において、仮想対象設定部１２及び仮想対象操作判定部１３を設けることにより、操作ロジック部１１等の構成を変更することなく、存在が不確かな操作対象Ｍに対する操作の制御も行うことが可能になる。すなわち、操作対象Ｍの存在の不確実性が操作ロジックに影響を与えないため、該操作ロジックの複雑な改良が不要になる。

　次に、操作制御装置１のより具体的な構成を、図２を用いて詳細に説明する。図２は、本発明の実施形態に係る操作制御装置１の詳細構成を示すブロック図である。

　操作制御装置１は、複数のセンサ２から出力されるセンサ情報が入力可能で、且つ、操作対象Ｍに対して操作を行う複数の操作装置３（操作装置群）を制御可能なコンピュータ装置等によって構成される。操作制御装置１は、操作ロジック部１１と、仮想対象設定部１２と、仮想対象操作判定部１３と、操作制御部１４と、センサ情報収集部１５と、操作ロジック起動部１６とを有する。

　センサ情報収集部１５は、複数のセンサ２（センサ群）から出力されるセンサ情報を収集する。すなわち、センサ情報収集部１５には、各センサ２から出力されるセンサ情報が、各センサ２と紐付けされた状態で入力される。センサ情報収集部１５は、収集したセンサ情報を、仮想対象設定部１２に対して出力する。

　操作ロジック部１１は、操作制御装置１に、複数、設けられている。それぞれの操作ロジック部１１には、複数のセンサ２からそれぞれ出力されるセンサ情報に対応した操作ロジックが予め格納されている。すなわち、各操作ロジック部１１には、各センサ２から出力されるセンサ情報に対応して、操作対象Ｍに対する操作を行う操作装置３を制御するための操作ロジックが予め格納されている。操作ロジック部１１は、後述の操作ロジック起動部１６によって起動されると、格納されている操作ロジックのうちセンサ情報に対応する操作ロジックを後述の操作制御部１４に出力する。

　なお、操作ロジック部１１は、操作の内容や、操作ロジックを組み込んだ者の権限等に応じて、操作装置２を操作する権限を有していてもよい。

　仮想対象設定部１２は、センサ情報収集部１５から出力されたセンサ情報から操作対象Ｍを推定するとともに、推定された操作対象Ｍに応じて、所定の属性を有する仮想操作対象Ｐを設定する。具体的には、仮想対象設定部１２は、操作対象推定部２１と、仮想対象生成部２２とを有する。

　操作対象推定部２１は、センサ情報収集部１５から出力されたセンサ情報に基づいて、操作対象Ｍを推定する。例えば、操作対象推定部２１は、センサ情報としての画像情報や行動履歴、位置情報などから、操作対象Ｍとしての人物等を推定する。

　仮想対象生成部２２は、操作対象推定部２１によって推定された操作対象Ｍに応じて、存在確率に関する属性及び操作に関する属性を有する仮想操作対象Ｐを設定する。また、仮想対象生成部２２は、仮想操作対象Ｐに、その存在確率の根拠となったセンサ情報を関連付ける。仮想対象生成部２２は、各センサ２から得られるセンサ情報の精度、確実性、情報数などから、操作対象Ｍの存在の確度に応じて存在確率を設定する。

　例えば、高精度な顔認識などによって人物がほぼ特定できている場合には、仮想操作対象Ｐの存在確率を９０％に設定する一方、過去の位置情報などに基づいて人物を推定している場合には、仮想操作対象Ｐの存在確率を３０％に設定する。なお、存在確率の値の演算は、各センサ２のセンサ情報から得られる確度の最大値を存在確率の値とする方法や、確度に対する各センサ２の寄与度を、ファジィ演算などによって合算する方法などがある。

　仮想対象生成部２２は、仮想操作対象Ｐに対する操作の属性を設定する。この操作の属性は、仮想操作対象Ｐに対して操作を行う操作装置を推定することにより、設定される。
例えば、操作対象Ｍを推定した位置の近くに存在する画像表示装置や、光、音による警報装置、物理的に操作対象に影響を及ぼす装置、操作対象Ｍが所持していると推定されるデバイスなどが、仮想操作対象Ｐに対して操作を行うと推定される操作装置である。

　仮想操作対象Ｐに対する操作の属性は、仮想操作対象Ｐに対する操作として推定される操作内容と、その操作が許可される場合の仮想操作対象Ｐの存在確率と、操作内容を許可する権限とを含む。推定される操作内容としては、上述のように操作装置が推定された場合に、その操作装置によって行われると推定された操作の内容が設定される。図３に、推定される操作内容の一例を示す。

　操作が許可される場合の仮想操作対象Ｐの存在確率（以下、許容存在確率という）は、単なる表示や宣伝画像などのように、万が一操作が間違っていた場合や操作対象Ｍが実際には存在しなくても影響がない場合は、低く設定される。一方、操作対象Ｍに対する物理的な遮蔽や、公に認識される警報などのように、操作対象Ｍ及び周囲に与える影響が大きい操作は、許容存在確率が高く設定される。図３に、推定される操作内容の例に対する許容存在確率の一例を示す。

　操作内容を許可する権限は、操作ロジック部１１が操作ロジックを実行して操作装置３に操作を実行させる際に必要な権限である。操作内容を許可する権限は、上述のように推定された操作装置の操作内容ごとに設定される。図３に、推定される操作内容の例に対する権限の範囲の一例を示す。

　仮想対象操作判定部１３は、仮想対象生成部２２によって設定された存在確率に関する属性と操作に関する属性とに基づいて、仮想操作対象Ｐに対する操作の可否を判定する。
具体的には、仮想対象操作判定部１３は、存在確率に関する属性から得られる仮想操作対象Ｐの存在確率を、操作に関する属性に含まれる許容存在確率と比較して、仮想操作対象Ｐの存在確率が、許容存在確率以上かどうかを判定する。

　仮想対象操作判定部１３は、仮想操作対象Ｐの存在確率が、許容存在確率以上の場合には、その操作を許可する許可信号を操作制御部１４に対して出力する。一方、仮想対象操作判定部１３は、仮想操作対象Ｐの存在確率が、許容存在確率よりも低い場合には、その操作を許可しないため、許可信号を出力しない。なお、仮想対象操作判定部１３は、操作を許可する場合には何も信号を出力せずに、操作を許可しない場合に、操作制御部１４に対して不許可信号を出力してもよい。また、仮想対象操作判定部１３は、操作を許可する場合に許可信号を出力し、操作を許可しない場合に不許可信号を出力してもよい。

　上述のように、許容存在確率は、操作対象Ｍ及び周囲に与える影響が大きい操作に関しては高く設定される。そのため、操作対象Ｍの存在確率が比較的高い場合でも、仮想対象操作判定部１３の判定によって操作対象Ｍの存在確率が許容存在確率よりも低ければ、操作対象Ｍ及び周囲に与える影響が大きい操作は行われない。一方、操作対象Ｍ及び周囲に与える影響が小さい操作に関しては許容存在確率が低く設定されるため、操作対象Ｍの存在確率が比較的低い場合でも、仮想対象操作判定部１３の判定によって該存在確率が許容存在確率以上であれば、操作対象Ｍに対する操作が行われる。

　操作ロジック起動部１６は、仮想対象設定部１２によって仮想操作対象Ｐが設定された後、複数の操作ロジック部１１のうち、センサ情報に対応する起動条件を有する操作ロジック部１１を選択して起動する。操作ロジック部１１を起動させることにより、該操作ロジック部１１に格納された操作ロジックを実行させることが可能になる。

　なお、仮想対象設定部１２によって設定された仮想操作対象Ｐの操作に関する属性のうち、仮想操作対象Ｐに対する操作内容に関連する操作ロジックが操作ロジック部１１に格納されているか分からない場合がある。この場合、操作ロジック起動部１６は、当該操作ロジックが操作ロジック部１１に格納される操作ロジックに含まれているかどうかを判定した後、該操作ロジック部１１を起動させるように構成してもよい。

　操作制御部１４は、操作ロジック起動部１６によって起動された操作ロジック部１１に格納された操作ロジックを用いて、操作装置３の操作の制御を行う。また、操作制御部１４は、仮想対象操作判定部１３の判定結果に基づいて、操作装置３の操作の制御を行う。
具体的には、操作制御部１４は、仮想対象操作判定部１３から許可信号が出力された場合に、操作ロジック起動部１６によって選択された操作ロジック部１１に格納された操作ロジックを用いて、操作装置３の操作を制御する。

　また、操作制御部１４は、仮想操作対象Ｐの操作に関する属性のうち操作内容を許可する権限に応じて、操作ロジック部１１から出力された操作ロジックを実行する。これにより、仮想操作対象Ｐに設定されている操作内容の権限に応じて、操作装置３の操作を制御することができる。

　次に、本発明の実施形態に係る操作制御装置１の動作について図４を用いて説明する。
図４は、操作制御装置１の動作を示すフロー図である。以下の説明において、図１から図３を適宜、参酌する。また、本実施形態では、操作制御装置１を動作させることによって、操作制御方法が実施される。よって、本実施形態における操作制御方法の説明は、以下の操作制御装置１の動作説明に代える。

　図４に示すフローがスタートすると（スタート）、まず、操作制御装置１は、センサ２から出力されるセンサ情報に対応する操作ロジックを、操作ロジック部１１に格納する（ステップＳ１）。なお、図２に示すように、センサ２が複数存在する場合には、操作制御装置１は複数の操作ロジック部１１を有しており、各操作ロジック部１１に、複数のセンサ情報に対応する操作ロジックが格納される。操作ロジック部１１に対して、操作ロジックを予め格納していてもよい。

　次に、操作制御装置１は、センサ２から出力されるセンサ情報に基づいて、操作対象Ｍを推定する（ステップＳ２）。操作対象Ｍの推定は、操作制御装置１の操作対象推定部２１によって行われる。

　次に、仮想対象生成部２２が、推定された操作対象Ｍを、存在確率に関する属性及び操作に関する属性を有する仮想操作対象Ｐとして設定する（ステップＳ３）。すなわち、仮想対象生成部２２によって、操作対象の存在確率に関する属性と操作対象に対する操作に関する属性とが関連付けられた仮想操作対象Ｐが生成される。

　仮想対象生成部２２によって設定される存在確率に関する属性は、操作対象Ｍの存在の確度を含んでいる。この操作対象Ｍの存在の確度は、センサ２から出力されるセンサ情報等に基づいて求められる。操作に関する属性は、仮想操作対象Ｐに対して操作する可能性がある操作装置を推定した後、仮想対象生成部２２によって決定される。仮想対象生成部２２によって設定される操作に関する属性には、その操作装置で許容される操作内容、操作が許可される場合の存在確率、及び、操作内容を許可する権限が含まれる。

　次に、操作ロジック起動部１６が、複数の操作ロジック部１１のうち、センサ２から出力されたセンサ情報に対応した起動条件を有する操作ロジック部１１を、起動させる（ステップＳ４）。起動した操作ロジック部１１は、格納されている操作ロジックを操作制御部１４に対して出力する。

　続くステップＳ５では、仮想対象操作判定部１３が、仮想操作対象Ｐに対して操作を行うかどうかを判定する（ステップＳ５）。すなわち、仮想対象操作判定部１３は、仮想操作対象Ｐが有する存在確率に関する属性のうち、仮想操作対象Ｐの存在確率が、操作に関する属性の許容存在確率以上であるかどうかを判定する。

　ステップＳ５において仮想操作対象Ｐに対して操作可能であると、仮想対象操作判定部１３によって判定された場合（ＹＥＳの場合）には、処理はステップＳ６に進められ、操作制御部１４によって操作装置３の操作を制御する。操作制御部１４による操作装置３の制御は、ステップＳ４で起動された操作ロジック部１１に格納されている操作ロジックに基づいて行われる。このとき、操作制御部１４は、仮想操作対象Ｐの操作に関する属性のうち操作内容を許可する権限に応じて、操作ロジック部１１から出力された操作ロジックを実行する。これにより、操作装置３によって操作対象Ｍに対する操作を行うことができる。その後、このフローを終了する（Ｅｎｄ）。

　一方、ステップＳ５において仮想操作対象Ｐに対して操作不可であると、仮想対象操作判定部１３によって判定された場合（ＮＯの場合）には、フローを終了する（Ｅｎｄ）。

　ここで、ステップＳ１が操作ロジック準備ステップに、ステップＳ３が操作対象設定ステップに、ステップＳ４が操作ロジック起動ステップに、ステップＳ５が仮想対象操作判定ステップに、ステップＳ６が操作制御ステップに、それぞれ対応している。

　以上のように本実施の形態によれば、存在が不確かな操作対象Ｍを、存在確率に関する属性と操作に関する属性とを有する仮想操作対象Ｐとして設定することにより、それらの属性を用いて、仮想操作対象Ｐに対する操作の可否を判定することができる。これにより、存在が不確かな操作対象Ｍに対する操作の制御を容易に行うことができる。すなわち、操作対象Ｍの代わりに仮想操作対象Ｐを設定することにより、従来と同様の装置構成に、仮想対象設定部１２及び仮想対象操作判定部１３を加えた簡潔な構成によって、存在が不確かな操作対象Ｍに対する操作の制御を実現することができる。

　また、操作ロジック部１１及び操作ロジック起動部１６では、操作対象の不確実性を考慮する必要がないため、これらの構成を従来の構成から変更する必要がない。したがって、ロジック部分の変更が不要になるため、システム設計を容易に行うことができる。

　さらに、複数のセンサ２に対応して操作ロジック部１１を複数、設けることにより、操作対象Ｍに対して複数のセンサ情報に基づいて複数の操作装置３によって操作を行うことが可能になる。これにより、操作対象Ｍに対して様々な操作が可能になる。

　本発明の実施の形態におけるプログラムは、コンピュータに、図４に示すステップＳ１～Ｓ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における操作制御装置１と操作制御方法とを実現することができる。この場合、コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）は、操作ロジック部１１、仮想対象設定部１２、仮想対象操作判定部１３、操作制御部１４、センサ情報収集部１５及び操作ロジック起動部１６として機能し、処理を行う。

　また、本実施形態では、操作ロジック部１１、仮想対象設定部１２、仮想対象操作判定部１３、操作制御部１４、センサ情報収集部１５及び操作ロジック起動部１６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されている。又はこのデータファイルが格納された記録媒体をコンピュータと接続された読取装置に搭載することによって実現されている。

　ここで、本実施形態におけるプログラムを実行することによって、操作制御装置１を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施形態における操作制御装置１を実現するコンピュータの一例を示すブロック図である。

　図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Ｃｏｍｐａｃｔ　Ｆｌａｓｈ（登録商標））及びＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）等の汎用的な半導体記憶デバイスがある。さらに、フレキシブルディスク（Ｆｌｅｘｉｂｌｅ　Ｄｉｓｋ）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの光学記憶媒体であってもよい。

　（その他の実施形態）
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

　前記実施形態では、仮想対象生成部２２によって設定される操作に関する属性に、操作内容を許可する権限が含まれている。しかしながら、このような権限が操作に関する属性に含まれておらず、操作制御装置１が該権限を考慮しない構成であってもよい。

　前記実施形態では、仮想対象設定部１２は、複数のセンサ２から出力されるセンサ情報に基づいて仮想操作対象Ｐを設定している。しかしながら、一部のセンサ情報（例えば携帯端末等からの情報）によって操作対象Ｍの存在確率が高く、該操作対象Ｍの存在が十分に確実である一方、他のセンサ情報が不確実な場合には、それらのセンサ情報に対応して存在確率を低めに設定した仮想操作対象Ｐを複数、設定してもよい。この場合には、複数の仮想操作対象Ｐの存在確率が許容存在確率以上であれば、操作対象Ｍに対する操作装置３の操作を許可するように、操作制御装置１を構成すればよい。

　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１３）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　　操作対象に対する操作装置の操作を制御するための操作制御装置において、
　センサから得られるセンサ情報に対応する操作ロジックが予め格納された操作ロジック部と、
　前記センサから出力されたセンサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定部と、　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定部と、
　前記センサから出力されたセンサ情報と前記仮想対象操作判定部による判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御部とを備える、操作制御装置。

（付記２）
　付記１に記載の操作制御装置において、
　前記操作ロジック部を複数有し、
　前記複数の操作ロジック部には、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックが予め格納されていて、
　前記操作制御部は、前記仮想対象操作判定部によって前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック部のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御装置。

（付記３）
　付記１または２に記載の操作制御装置において、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック部から前記センサ情報に対応する操作ロジック部を選定するとともに、該操作ロジック部を起動させる操作ロジック起動部をさらに備え、
　前記操作制御部は、前記仮想対象操作判定部によって前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動部によって起動された操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御装置。

（付記４）
　付記１から３のいずれか一つに記載の操作制御装置において、
　前記仮想対象設定部は、前記センサから出力されたセンサ情報の確度に基づいて、前記存在確率を設定する、操作制御装置。

（付記５）
　付記１から４のいずれか一つに記載の操作制御装置において、
　前記センサから出力されたセンサ情報を収集するセンサ情報収集部をさらに備え、
　前記センサ情報収集部は、前記仮想対象設定部に対し、収集したセンサ情報を出力する、操作制御装置。

（付記６）
　操作対象に対する操作装置の操作を制御する操作制御方法において、
　センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック部に予め格納する操作ロジック準備ステップと、
　前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定ステップと、
　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定ステップと、
　前記センサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御ステップとを備える、操作制御方法。

（付記７）
　付記６に記載の操作制御方法において、
　前記操作ロジック準備ステップでは、複数の操作ロジック部に、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックを予め格納し、
　前記操作制御ステップでは、前記仮想対象操作判定ステップによって前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック部のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御方法。

（付記８）
　付記６または７に記載の操作制御方法において、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック部から前記センサ情報に対応する操作ロジック部を選定するとともに、該操作ロジック部を起動させる操作ロジック起動ステップをさらに備え、
　前記操作制御ステップは、前記仮想対象操作判定ステップにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動ステップで起動された操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御方法。

（付記９）
　付記６から８のいずれか一つに記載の操作制御方法において、
　前記仮想対象設定ステップでは、前記センサから出力されたセンサ情報の確度に基づいて、前記存在確率を設定する、操作制御方法。

（付記１０）
　操作対象に対する操作装置の操作を制御する操作制御方法を実行するためのプログラムであって、
　コンピュータに、
　センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック部に予め格納する操作ロジック準備ステップと、
　前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定ステップと、
　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定ステップと、
　前記センサから出力されたセンサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック部に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御ステップとを実行させる、プログラム。

（付記１１）
　付記１０に記載のプログラムにおいて、
　前記操作ロジック準備ステップでは、複数の操作ロジック部に、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックを予め格納し、
　前記操作制御ステップでは、前記仮想対象操作判定ステップにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック部のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、プログラム。

（付記１２）
　付記１０または１１に記載のプログラムにおいて、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック部から前記センサ情報に対応する操作ロジック部を選定するとともに、該操作ロジック部を起動させる操作ロジック起動ステップをさらに備え、
　前記操作制御ステップは、前記仮想対象操作判定ステップにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動ステップで起動された操作ロジック部に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、プログラム。

（付記１３）
　付記１０から１２のいずれか一つに記載のプログラムにおいて、
　前記仮想対象設定ステップでは、前記センサから出力されたセンサ情報の確度に基づいて、前記存在確率を設定する、プログラム。

　この出願は２０１５年９月１６日に出願された日本出願特願２０１５－１８２６９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、存在が不確かな操作対象に対する操作を制御する操作制御装置に利用可能である。

１　操作制御装置
２　センサ
３　操作装置
１１　操作ロジック部
１２　仮想対象設定部
１３　仮想対象操作判定部
１４　操作制御部
１５　センサ情報収集部
１６　操作ロジック起動部
２１　操作対象推定部
２２　仮想対象生成部
Ｍ　操作対象
Ｐ　仮想操作対象

Claims

　操作対象に対する操作装置の操作を制御するための操作制御装置において、
　センサから得られるセンサ情報に対応する操作ロジックが予め格納された操作ロジック手段と、
　前記センサから出力されたセンサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定手段と、　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定手段と、
　前記センサから出力されたセンサ情報と前記仮想対象操作判定手段による判定結果とに基づいて、前記操作ロジック手段に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御手段とを備える、操作制御装置。
　請求項１に記載の操作制御装置において、
　前記操作ロジック手段を複数有し、
　前記複数の操作ロジック手段には、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックが予め格納されていて、
　前記操作制御手段は、前記仮想対象操作判定手段によって前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック手段のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御装置。
　請求項１または２に記載の操作制御装置において、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック手段から前記センサ情報に対応する操作ロジック手段を選定するとともに、該操作ロジック手段を起動させる操作ロジック起動手段をさらに備え、
　前記操作制御手段は、前記仮想対象操作判定手段によって前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動手段によって起動された操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御装置。
　請求項１から３のいずれか一つに記載の操作制御装置において、
　前記仮想対象設定手段は、前記センサから出力されたセンサ情報の確度に基づいて、前記存在確率を設定する、操作制御装置。
　操作対象に対する操作装置の操作を制御する操作制御方法において、
　センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック手段に予め格納し、
　前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定し、
　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定し、
　前記センサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック手段に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する
ことを備える、操作制御方法。
　請求項５に記載の操作制御方法において、
　前記操作ロジック準備ステップでは、複数の操作ロジック手段に、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックを予め格納し、
　前記操作制御ステップでは、前記仮想対象操作判定ステップによって前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック手段のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御方法。
　請求項５または６に記載の操作制御方法において、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック手段から前記センサ情報に対応する操作ロジック手段を選定するとともに、該操作ロジック手段を起動させることをさらに備え、
　前記制御する際、前記判定することにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動ステップで起動された操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、操作制御方法。
　操作対象に対する操作装置の操作を制御する操作制御方法を実行するためのプログラムであって、
　コンピュータに、
　センサから得られるセンサ情報に対応する操作ロジックを、操作ロジック手段に予め格納する操作ロジック準備ステップと、
　前記センサ情報に基づいて推定される操作対象を、存在確率に関する属性と操作に関する属性とを有する仮想操作対象として設定する仮想対象設定ステップと、
　前記仮想操作対象に対する操作の可否を、前記存在確率に関する属性と前記操作に関する属性とに基づいて判定する仮想対象操作判定ステップと、
　前記センサから出力されたセンサ情報と前記仮想対象操作判定ステップにおける判定結果とに基づいて、前記操作ロジック手段に格納された操作ロジックを用いて、前記操作対象に対する前記操作装置の操作を制御する操作制御ステップとを実行させる、プログラムを格納する記憶媒体。
　請求項８に記載のプログラムにおいて、
　前記操作ロジック準備ステップでは、複数の操作ロジック手段に、それぞれ、複数のセンサから得られるセンサ情報に対応する操作ロジックを予め格納し、
　前記操作制御ステップでは、前記仮想対象操作判定ステップにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記複数の操作ロジック手段のうち、前記複数のセンサの少なくとも一つのセンサから出力されたセンサ情報に対応する操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、プログラムを格納する記憶媒体。
　請求項８または９に記載のプログラムにおいて、
　前記センサから出力されたセンサ情報に基づいて、前記複数の操作ロジック手段から前記センサ情報に対応する操作ロジック手段を選定するとともに、該操作ロジック手段を起動させる操作ロジック起動ステップをさらに備え、
　前記操作制御ステップは、前記仮想対象操作判定ステップにおいて前記仮想操作対象に対する操作が可であると判定された場合に、前記操作ロジック起動ステップで起動された操作ロジック手段に格納された操作ロジックを用いて、前記操作装置により前記操作対象に対して操作を行う、プログラムを格納する記憶媒体。