JPWO2017022852A1 - 電子制御装置、及び電子制御プログラム - Google Patents

Abstract

電子制御装置は、画像を撮像する撮像部と、前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、前記特徴量を複数取得して記憶する記憶部と、複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、を備える。

Description

本発明は、電子制御装置、及び電子制御プログラムに関する。
本願は、２０１５年８月６日に出願された日本特許出願２０１５−１５６００５号に基づき優先権を主張し、その内容をここに援用する。

近年、様々な電子制御装置が知られている。例えば特許文献１には、室内の人間の動作を追跡して、その人間の行動や・意図を推定することが記載されている。

特開２００５−２４２７５９号公報

しかしながら、特許文献１記載の技術では、人間の位置や方向を検出して、その情報を人間の行動・意図を推定する処理に利用する。人間の行動・意図の推定精度が、人間がいる位置や方位により制限される場合、推定した行動や意図に応じた処理を実施することが困難になる。

本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、前記特徴量を複数取得して記憶する記憶部と、複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、を備える電子制御装置である。

本発明の別の態様は、コンピュータに、画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された画像から被写体の動きの特徴量を抽出する抽出ステップと、前記特徴量を複数取得して記憶する記憶ステップと、複数の特徴量の頻度に基づいて、入力動作を決定する動作決定ステップと、前記入力動作と、予め定められた複数の命令のいずれかの命令とを関連付けて記憶部に記憶させる関連付けステップと、前記撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のなかから、前記入力動作に関連付けられている命令を実行する命令実行ステップと、を実行させるための電子制御プログラムである。

本発明の実施形態に係る電子制御装置の一例を表す概略図である。 本実施形態の電子制御装置が検出する動作の特徴量の一例について示す模式図である。 本実施形態に係る電子制御装置の構成を示す概略ブロック図である。 本実施形態に係る制御部の構成を示す概略ブロック図である。 本実施形態に係る電子制御装置の処理の概略を示すフローチャートである。 本実施形態に係る電子制御装置にコマンドを登録する処理の概略を示すフローチャートである。 本実施形態に係る記憶部が記憶している画像ファイルの一例を示す表である。 本実施形態の特徴量を規定する情報の一例を示す表である。 本実施形態のコマンドを規定する情報の一例を示す表である。 本実施形態に係る電子制御装置にコマンドを実行させる処理の概略を示すフローチャートである。 本実施形態に係る左肘の角Ａ１１の変化と頻度分布の関係を示す図である。 左肘の角Ａ１１と右肘の角Ａ１２の組を変数とする標本点の散布図である。 本実施形態の変形例２の電子制御装置が検出する動作の特徴量の他の一例について示す模式図である。 本変形例として図１３に例示した手振りによる種々の動作の特徴量を示す説明図である。 本実施形態の変形例３に係る記憶部が記憶している画像ファイルに基づいた表示画像の一例を示す図である。 本変形例のコマンドを登録する命令テーブルの一例を示す図である。 本実施形態の変形例４に係る撮像照射装置の構成の一例を示す構成図である。 第３の実施形態のユーザの特徴量を規定する情報の一例を示す表である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

［第１の実施形態］
＜電子制御装置１の概要＞
図１は、本発明の実施形態に係る電子制御装置１の一例を表す概略図である。電子制御装置１は、図１に示すように、部屋Ｒの天井ＳＬに設置されている。この電子制御装置１は、照射部１４を備えている。照射部１４は、光を照射することにより画像を生成する投射装置（プロジェクタ）として機能する。具体的には、照射部１４は、部屋Ｒ内の面の表示領域ＤＡに光を照射することにより、この表示領域ＤＡに画像を表示する。表示領域ＤＡの一例として、部屋Ｒの壁面ＷＬ１に設定される表示領域ＤＡ１と、壁面ＷＬ２に設定される表示領域ＤＡ２と、部屋Ｒの壁面ＷＬ３に設定される表示領域ＤＡ３と、部屋Ｒに置かれている机ＴＢＬの上面に設定される表示領域ＤＡ５とがある。この例において、照射部１４は、これら表示領域ＤＡ１〜ＤＡ３とＤＡ５に光を照射することにより画像を表示する。このように、電子制御装置１は、照射部１４によって、部屋Ｒの壁面ＷＬや机ＴＢＬの上面に光を照射することによって、部屋Ｒの内部に画像を表示する。また、電子制御装置１は、表示する画像を変化させることにより、部屋Ｒを模様替えするように、部屋Ｒの内部の様子を変化させることもできる。

ここで、電子制御装置１が、部屋Ｒの壁面ＷＬなどに表示する画像の具体例について説明する。この電子制御装置１が表示する画像とは、ユーザの属性に応じた画像である。この電子制御装置１が設置される部屋Ｒの一例としては、家庭の居室や、会社の執務室（オフィス）、学校の教室、店舗（例えば、カラオケ店）の個室などがある。ここでは、部屋Ｒがユーザの自宅の居室である場合を一例に説明する。

この電子制御装置１は、部屋Ｒの中にいるユーザの動作の特徴量に基づいた画像を表示領域ＤＡに表示する。このユーザの動作とは、ユーザの身振りや手振りなどの行動によるものである。このユーザの動作には、電話を掛ける動作や腕を組む動作などの日常動作が含まれる。例えば、電子制御装置１は、動作の特徴量に基づいて、ユーザの身振りや手振りを検出し、検出したユーザの動作に応じた画像を表示領域ＤＡに表示する。以下、図２を参照して、ユーザの動作の一例について説明する。

＜電子制御装置１が検出する動作の特徴量について＞
図２は、本実施形態の電子制御装置１が検出する動作の特徴量の一例について示す模式図である。図２（ａ）は、電話を掛ける動作を示す。ユーザＵ１が電話を掛ける動作を行う場合、一方の腕（この例においては、左腕）の掌が腰付近の体側で静止している状態から、肘が徐々に曲がることによって、掌が耳元まで移動して静止している状態に変化する。この肘の角度とは、肩の点Ｐ１１と肘の点Ｐ１２とを通る線分と、肘の点Ｐ１２と掌の点Ｐ１３とを通る線分とのなす角Ａ１１の角度である。一例において、電話を掛ける動作において、肘の角Ａ１１は、約１８０°から約３０°に変化する。すなわち、ユーザＵ１が電話を掛ける姿勢に姿勢を変える動作の特徴量は、動作を開始する前の時点において一方の腕の掌が体側にあること、姿勢を変えている動作中において肘の角度Ａ１１が約１８０°から約３０°に変化すること、姿勢を変える動作を経た後、電話をする姿勢（動作）を開始する時点において掌が耳元にあることである。電子制御装置１は、肩の点Ｐ１１、肘の点Ｐ１２、および掌の点Ｐ１３を検出した結果に基づいて掌の位置および肘の角度を推定する。また、電子制御装置１は、推定した掌の位置および肘の角度が示す動きの特徴量と、予め記憶されている電話を掛ける動きの特徴量とを比較することにより、ユーザＵ１の動作が電話を掛ける姿勢に姿勢を変える動作であるか否かを判定する。又は、電子制御装置１は、推定した掌の位置および肘の角度が示す動きの特徴量と、予め記憶されている電話を掛ける動きの特徴量とを比較することにより、ユーザＵ１の動作が電話を掛けている動作であるか否かを判定する。他の例において、別の角度が設定可能である。

図２（ｂ）は、腕組みをする動作を示す。ユーザＵ１が腕組みをする動作を行う場合、一方の腕（この例においては、左腕）の掌が左の腰付近の体側で静止している状態から、左肘が徐々に曲がることによって、掌が胸元まで移動して静止している状態に変化する。また、他方の腕（この例においては、右腕）の掌が右の腰付近の体側で静止している状態から、右肘が徐々に曲がることによって、掌が胸元まで移動して静止している状態に変化する。この左肘の角度とは、左肩の点Ｐ１１と左肘の点Ｐ１２とを通る線分と、左肘の点Ｐ１２と左掌の点Ｐ１３とを通る線分とのなす角Ａ１１の角度である。右肘の角度とは、右肩の点Ｐ１４と右肘の点Ｐ１５とを通る線分と、右肘の点Ｐ１５と右掌の点Ｐ１６とを通る線分とのなす角Ａ１２の角度である。

腕組みをする動作において、左肘の角Ａ１１は、例えば、約１８０°から約８０°に変化する。腕組みをする姿勢に姿勢を変える動作において、右肘の角Ａ１２は、例えば、約１８０°から約８０°に変化する。すなわち、ユーザＵ１が腕組みをする動作の特徴量は、動作開始時点において左掌が左の腰付近の体側にあること、動作中において左肘の角度Ａ１１が約１８０°から約８０°に変化すること、動作終了時点において左掌が胸元にあることである。ユーザＵ１が腕組みをする姿勢に姿勢を変える動作の特徴量は、動作開始時点において右掌が右の腰付近の体側にあること、動作中において右肘の角度Ａ１２が約１８０°から約８０°に変化すること、動作終了時点において右掌が胸元にあることである。電子制御装置１は、左肩の点Ｐ１１、左肘の点Ｐ１２、および左掌の点Ｐ１３を検出した結果に基づいて左掌の位置および左肘の角度を推定する。また、電子制御装置１は、右肩の点Ｐ１４、右肘の点Ｐ１５、および右掌の点Ｐ１６を検出した結果に基づいて右掌の位置および右肘の角度を推定する。また、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されている腕組みをする動きの特徴量とを比較することにより、ユーザＵ１の動作が腕組みをする姿勢に姿勢を変える動作であるか否かを判定する。または、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されている腕組みをする動きの特徴量とを比較することにより、ユーザＵ１の動作が腕組みをした姿勢をとっている動作であるか否かを判定する。他の例において、別の角度が設定可能である。

図２（ｃ）は、聴衆に対する情報の提示（プレゼンテーション）をする動作を示す。ユーザＵ１がプレゼンテーションをする動作を行う場合、一方の腕（この例においては、右腕）の掌が右の腰付近の体側で静止している状態から、右肘が徐々に曲がることによって、右の掌が体幹の右前方まで移動して静止している状態に変化する。また、他方の腕（この例においては、左腕）の掌が左の腰付近の体側で静止している状態から変化しない。ここで右肘の角度とは、右肩の点Ｐ３１と右肘の点Ｐ３２とを通る線分と、右肘の点Ｐ３２と右掌の点Ｐ３３とを通る線分とのなす角Ａ３１の角度である。左肘の角度とは、左肩の点Ｐ３４と左肘の点Ｐ３５とを通る線分と、左肘の点Ｐ３５と左掌の点Ｐ３６とを通る線分とのなす角Ａ３２の角度である。

プレゼンテーションをする姿勢に姿勢を変える動作において、右肘の角Ａ３２は、例えば、約１８０°から約６０°に変化する。また、プレゼンテーションをする姿勢に姿勢を変える動作において、左肘の角Ａ３１は、例えば、約１８０°から実質的に変化しない。すなわち、ユーザＵ１がプレゼンテーションをする姿勢に姿勢を変える動作の特徴量は、動作開始時点において右掌が右の腰付近の体側にあること、姿勢を変える動作中において右肘の角度Ａ３２が約１８０°から約６０°に変化すること、姿勢を変える動作終了時点において右掌が体幹の右前方にあることである。また、ユーザＵ１がプレゼンテーションをする動作の特徴量は、姿勢を変える動作開始時点から動作終了時点までにおいて左掌の位置が変化しないことである。電子制御装置１は、右肩の点Ｐ３４、右肘の点Ｐ３５、および右掌の点Ｐ３６を検出した結果に基づいて右掌の位置および右肘の角度を推定する。また、電子制御装置１は、左肩の点Ｐ３１、左肘の点Ｐ３２、および左掌の点Ｐ３３を検出した結果に基づいて左掌の位置および左肘の角度を推定する。また、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されているプレゼンテーションをする動きの特徴量とを比較することにより、ユーザＵ１の動作がプレゼンテーションをする姿勢に姿勢を変える動作であるか否かを判定する。又は、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されているプレゼンテーションをする動きの特徴量とを比較することにより、ユーザＵ１の動作がプレゼンテーションをしている動作であるか否かを判定する。他の例において、別の角度が設定可能である。

＜身振りによる制御の例＞
上記に例示したように、ユーザの身振りによる動作の特徴量を用いて、室内の状態を制御する処理について説明する。

例えば、図１に示す部屋Ｒの中にいるユーザＵ１が、ある行動を起こした場合に、電子制御装置１は、ユーザＵ１の行動に適した環境になるように部屋Ｒの環境を制御する。例えば、部屋Ｒで音楽（ＢＧＭ）、テレビやラジオの音声などを聞きながらユーザＵ１が作業をしている際にユーザＵ１が電話を受ける場合を想定する。このような場合に、部屋Ｒに流していた音楽（ＢＧＭ）、テレビやラジオの音声などの音量を下げることにより、部屋Ｒの環境が、通話がしやすい環境になる。そこで、電子制御装置１は、ユーザＵ１の電話をする身振りや手振りを検出して、通話をしやすい環境にするように、ユーザＵ１の身振りや手振りを検出した結果に応じて部屋Ｒの環境を整える。例えば、電子制御装置１は、部屋Ｒの環境を整えるために、部屋Ｒに流していた音楽（ＢＧＭ）やテレビの音声の音量を自動的に調整したり、部屋Ｒに流す音を自動的に止めたりする。これによりユーザＵ１は、自ら部屋Ｒの環境を調整するための操作を行うことなく、適切な音量に調整された環境のもとで通話を開始することができる。

上記のように音声のみで通話する場合に限られず、更に通話先に画像を送るテレビ電話を利用して通話をする場合にも適用できる。例えば、テレビ電話を利用して通話をする場合、ユーザＵ１の背景に好みの画像が自動的に映り込むようにすることで、ユーザＵ１が通話する楽しみを高めたり、ユーザＵ１と通話している相手に好印象を与えたりすることができる。この場合、電子制御装置１は、ユーザＵ１の背景になる側の壁面に所望の画像を表示する。例えば、ユーザＵ１が壁面ＷＬ３に背を向けている場合、電子制御装置１は、壁面ＷＬ３に設定される表示領域ＤＡ３に、ユーザＵ１が好む所望の画像を表示する。これにより、ユーザＵ１は、表示領域ＤＡ３に表示した画像を背景にして、テレビ電話を行うことができる。

さらに、表示する画像の候補を複数用意しておくことにより、候補として用意した画像の中から選択した画像を表示させることができる。電子制御装置１は、ユーザの身振りや手振りを検出した結果に応じて画像を選択したり、適宜切り替えたりしてもよい。例えば、電子制御装置１は、通話の相手、通話の内容を検出して、ユーザＵ１が置かれている状況を推定し、推定した状況を前述の検出した状況に代えてもよい。さらに、電子制御装置１は、在宅中に掛ってきた電話又は掛ける電話の相手先に応じて表示する画像を選択してもよい。例えば、予め登録されている連絡先に対応させて判定フラグを記憶部２００に設定しておき、設定した判定フラグに基づいて表示する画像を選択する。これにより、電話の相手先が連絡先に登録されている友人や親せきなどのように比較的かしこまらずに対応できる人と、連絡先に登録されているがかしこまって対応する人、連絡先に登録されていない人などを区別して、表示する画像を選択してもよい。

また、例えば、部屋Ｒの中にいるユーザＵ１が会社員である場合には、電子制御装置１は、会社の執務室（オフィス）の画像を表示領域ＤＡに表示する。一例として、ユーザＵ１が会社員であって、あるプロジェクト（例えば、プロジェクトＰ１）に携わっている場合、電子制御装置１は、プロジェクトＰ１の資料が収納されている本棚の画像を表示領域ＤＡ１に、プロジェクトＰ１に関連する文章や図形が描かれたホワイトボードの画像を表示領域ＤＡ２と表示領域ＤＡ３にそれぞれ表示する。この場合、電子制御装置１は、プロジェクトＰ１に関連する資料の画像を表示領域ＤＡ５に表示する。これにより、ユーザＵ１は、あたかも会社の執務室の中に居るように感じることができ、また、机ＴＢＬの上に表示されている資料を読むことができる。このような状況の作業をしているユーザＵ１に電話がかかってきた場合に、電子制御装置１は、プロジェクトＰ１などの業務に関連する表示を中断して、一般的な壁紙などの他の画像を表示してもよい。

＜動作の特徴量の検出について＞
これまで、電子制御装置１が、ユーザＵ１の動作の特徴量に基づいて画像を調整する具体例について説明した。次に、電子制御装置１が、ユーザＵ１の動作の特徴量を検出する仕組みの概要について説明する。この電子制御装置１は、ユーザＵ１の動作の特徴量を検出することにより、ユーザＵ１の動作の特徴量に基づいた画像を表示領域ＤＡに表示する。この電子制御装置１は、様々な方法によってユーザＵ１の動作の特徴量を検出することができる。電子制御装置１がユーザＵ１の動作の特徴量を検出する方法の具体例について以下説明する。

一例として、電子制御装置１は、部屋Ｒの中にいるユーザＵ１の画像に基づいて、ユーザＵ１の動作の特徴量を検出する。一例において、電子制御装置１は、図１に示すように、撮像部１０を備える。この撮像部１０とは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したカメラである。この撮像部１０は、部屋Ｒ内の面の撮像領域ＩＡを撮像して、撮像領域ＩＡ内の画像を生成する（イメージをキャプチャーする）。撮像領域ＩＡの一例として、図１に示すように、部屋Ｒの壁面ＷＬ１に設定される撮像領域ＩＡ１と、壁面ＷＬ２に設定される撮像領域ＩＡ２と、壁面ＷＬ３に設定される撮像領域ＩＡ３と、部屋Ｒに置かれている机ＴＢＬの上面に設定される撮像領域ＩＡ５とがある。また、撮像領域ＩＡの一例として、床面ＦＬに設定される撮像領域ＩＡ４がある。この例において、撮像部１０は、これら撮像領域ＩＡ１〜ＩＡ５が撮像範囲に含まれるようにして、撮像領域ＩＡ１〜ＩＡ５の画像を撮像する。撮像部１０が撮像した画像の中に、ユーザＵ１の画像が含まれている場合には、この画像に基づいてユーザＵ１の動作の特徴量を検出することができる。以下、撮像部１０が撮像した画像の中に、ユーザＵ１の画像が含まれている場合について説明する。

電子制御装置１は、撮像部１０が撮像したユーザＵ１の画像を、モーションキャプチャ技術やパターンマッチング技術等によって処理することにより、ユーザＵ１の動作の特徴量を検出する。例えば、ユーザＵ１の特徴量は、３次元座標空間における位置、速度、加速度、角度、角速度などの情報として抽出する。その情報は、スカラー、ベクトルの何れか又は複数の組合せとする。

＜電子制御装置１が提供する機能について＞
次に、電子制御装置１がユーザに対して提供する機能の一例について説明する。この電子制御装置１は、表示領域ＤＡに所望の画像を表示する。この電子制御装置１が表示する画像を選択するオブジェクト選択機能について、表示領域ＤＡ１にプロジェクトＰ１の資料が収納されている本棚の画像が表示されている場合を例にして説明する。例えば、ユーザＵ１が本棚の資料の画像を指すように手を動かすと、電子制御装置１は、このユーザＵ１の動作を検出して、資料の画像を机ＴＢＬ上に表示する。これにより、電子制御装置１は、ユーザＵ１が資料を選択する動作をした場合に、あたかもユーザＵ１が資料を本棚から取り出して机の上に置いたかのようにして、選択された資料の画像を表示することができる。このように、電子制御装置１は、資料の画像などのオブジェクトを選択して、選択したオブジェクトの画像を表示するオブジェクト選択機能を提供する。

この電子制御装置１が提供する情報は、上記のように画像を提供するだけに留まらない。前述のとおり、電子制御装置１は、音楽（ＢＧＭ）、テレビやラジオの音声などを部屋Ｒに流すことができる。

＜電子制御装置１の構成例について＞
図３は、本実施形態に係る電子制御装置１の構成を示す概略ブロック図である。図３に示すように、電子制御装置１は、撮像部１０、音入力部１２、制御部１００、記憶部２００、通信部１３、照射部１４、音出力部１５、および電力供給部１６を備えている。

撮像部１０は、例えばカメラを備えており、実空間を撮像して、撮像した画像を制御部１００へ出力する。ここで、実空間とは、ある広さの面を有する空間であり、仮想空間に対する現実の空間である。この実空間には、屋外広場などの開空間や、屋内施設などの閉空間が含まれる。ある広さの面とは、画像が表示可能な表示面である。この面には、２次元の平面や、３次元の曲面が含まれる。音入力部１２は、例えばマイクを備えており、周囲の音を収音してデータに変換し、変換したデータを制御部１００へ出力する。通信部１３は、有線又は無線によって、他の装置と通信を行う。

照射部１４は、例えばプロジェクタを備えており、制御部１００による制御に基づいて、光を照射する。なお、上述した撮像部１０と照射部１４とは、一体に構成されてもよい（図１０参照）。

音出力部１５は、例えばスピーカを備えており、制御部１００による制御に基づいて、音を出力する。なお、音出力部１５は、指向性スピーカを備えていてもよい。この場合には、音出力部１５は、所定の指向特性を有する音を出力する。

電力供給部１６は、内部又は外部の電源から電力を取得し、取得した電力を電子制御装置１の各部に供給する。電力供給部１６は、例えば部屋Ｒの壁面ＷＬに設置されているコンセントや、天井ＳＬに設置されている照明器具取り付け用ソケットを介して、電力を取得する。

記憶部２００は、ＨＤＤ（Hard Disk Drive）などの記憶装置や半導体メモリなどの記憶素子を備えている。この記憶部２００は、制御部１００による演算結果を一時的に記憶する。また、この記憶部２００は、制御部１００による演算に用いられるデータテーブル等の情報を記憶している。

例えば、記憶部２００は、ユーザテーブル２１０、特徴検出履歴ＤＢ２２０、クラスタ情報ＤＢ２３０、コマンドテーブル２４０、命令テーブル２５０、及び、案内情報テーブル２６０を記憶する。

制御部１００は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）及び／又は（回路（circuitry））を備えており、撮像部１０及び音入力部１２から入力されたデータに基づいて情報処理を行う。例えば、制御部１００は、撮像部１０が撮像した画像に含まれる文字を認識する文字認識処理や、撮像部１０が撮像した画像に含まれるユーザを認識するパターンマッチング処理を行う。また、制御部１００は、通信部１３を介して他の装置と通信を行い、通信で取得した情報に基づいて情報処理を行う。制御部１００は、これらの情報処理の結果に基づいて、照射部１４及び音出力部１５を制御する。この制御部１００の詳細な構成の詳細について、図４を参照して説明する。

なお、制御部１００は、通信部１３を介して外部の装置から制御指令を取得して、取得した制御指令に応じた処理を行う。例えば、取得した制御指令に応じた処理として、電子制御装置１にコマンドを設定するための準備処理などが挙げられる。コマンドを設定する設定処理の詳細については後述する。

＜制御部１００について＞
図４は、本実施形態に係る制御部１００の構成を示す概略ブロック図である。図４に示すように、制御部１００は、抽出部１１０、動作決定部１２０、関連付け部１３０、提示部１４０、命令実行部１５０、識別部１６０、選択部１７０、及び、設定処理部１８０を備えている。なお、動きの特徴量の判定をユーザ毎に行う必要が無い場合には、識別部１６０を必ずしも備えていなくてもよい。

抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する。例えば、被写体としてユーザＵ１（図２）を例示する。抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の身振りや手振りを検出する。抽出部１１０は、検出されたユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を記憶部２００に記憶させる。また、抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を動作決定部１２０に供給する。

動作決定部１２０は、抽出部１１０によって抽出された複数の特徴量の出現頻度に基づいて、入力動作を決定する。上記の「入力動作」とは、ユーザが入力手段に触れて電子制御装置１を操作することに代えて、ユーザが電子制御装置１に指令（制御指令）を送り、電子制御装置１を制御するための動作を示す。動作決定部１２０は、予め定められた動作を検出して、その検出結果を入力動作として出力する。例えば、動作決定部１２０は、入力動作を決定する機能として、目的が異なる２種類の機能を備えている。第１の機能は、動作決定部１２０が入力動作を決定しやすくするための初期化処理をする機能である。例えば初期化処理には、動作決定部１２０のトレーニング処理などが含まれる。第２の機能は、第１の機能による初期化処理の結果に基づいて、実時間で入力動作を決定する機能である。

例えば、上記の第１の機能として、動作決定部１２０は、抽出部１１０によって抽出された後、記憶部２００に記憶されている複数の特徴量を読み出して、読み出した複数の特徴量の出現頻度に基づいて、検出すべき特徴量を選択する。動作決定部１２０は、選択した特徴量に入力動作を対応付けることにより、入力動作を決定できるようにする初期化情報を生成する。例えば、上記の特徴量を選択する際に、動作決定部１２０は、前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数してもよい。類似度の判定として、クラスタ分析などの手法を利用してもよい。なお、読み出した複数の特徴量の出現頻度に基づいて、入力動作を決定する方法についての詳細は後述する。動作決定部１２０は、決定した入力動作に係るデータを記憶部２００に記憶させる。

また、例えば、上記の第２の機能として、動作決定部１２０は、記憶部２００に記憶されている入力動作に係るデータに基づいて、抽出部１１０によって抽出された複数の特徴量から、その複数の特徴量に対応する入力動作を決定する。動作決定部１２０は、決定した入力動作を命令実行部１５０に供給する。

関連付け部１３０は、入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶させる。例えば、命令とは、電子制御装置１の動作状態を制御するコマンド（指令）のことである。電子制御装置１の各部はその命令に応じた処理を実施する。例えば、動作決定部１２０における第１の機能により決定された入力動作と予め定められた複数の命令は記憶部２００に記憶されている。関連付け部１３０は、決定された入力動作と予め定められた複数の命令とを関連付けて、その結果を記憶部２００に記憶させる。

提示部１４０は、関連付け部１３０が前記入力動作と関連付ける前記命令の候補を提示する。例えば、提示部１４０によって命令の候補が提示された場合に、関連付け部１３０は、前記入力動作と、前記提示部１４０が提示した前記命令の候補から選択された命令とを関連付けて記憶部２００に記憶させる。ここで記憶させた命令が、電子制御装置１を制御するために利用できるものとなる。

命令実行部１５０は、撮像部１０から撮像された画像に前記入力動作が含まれる場合、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。例えば、前述のとおり関連付け部１３０によって、動作決定部１２０により決定された入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶されている。ここで、撮像部１０から撮像された画像から前記入力動作が動作決定部１２０の第２の機能により検出された場合、命令実行部１５０は、関連付け部１３０によって入力動作に関連付けられている命令を実行する。

なお、命令実行部１５０は、記憶部２００に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、撮像部１０が撮像した画像に含まれる入力動作とに関連付けられている命令を実行してもよい。

識別部１６０は、撮像部１０が撮像した画像の前記被写体を識別する。例えば、識別部１６０は、撮像部１０が撮像した画像のユーザＵ１を識別してもよい。撮像部１０によって撮像された画像のユーザＵ１を識別する場合、関連付け部１３０は、識別部１６０によって識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて記憶部２００に記憶させてもよい。

選択部１７０は、前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する。例えば、記憶部２００に記憶されている複数の命令には、対応させる入力動作を選択するための入力動作の候補が命令ごとに予め定められている。選択部１７０は、当該入力動作に適する命令とされる入力動作の候補の内から、前記入力動作に対応する命令を選択する。ここで、選択部１７０によって入力動作に対応する命令が選択された場合に、関連付け部１３０は、前記入力動作と、前記選択された前記命令とを関連付けて記憶部２００に記憶させてもよい。

設定処理部１８０は、音入力部１２によって検出された音声、又は、通信部１３を介して取得した制御指令に応じて、電子制御装置１の各部を機能させるためのデータを設定する。設定処理部１８０は、上記の設定の処理を実施するに当たり、提示部１４０を制御して、設定の処理に必要とされる所望の情報を照射部１４によって表示するように制御する。

＜電子制御装置１の処理の概要について＞
図１から図８を参照して、電子制御装置１において実施される処理の概要について説明する。図５は、本実施形態に係る電子制御装置１の処理の概略を示すフローチャートである。図５に示されるように、電子制御装置１は、次の２つのステップに分けて処理をする。

先に、電子制御装置１は、コマンドを登録する処理を実施する（ステップＳ１０）。このステップＳ１０は、後段の処理を実施するために、電子制御装置１に必要な情報を設定する。必要な情報に、次段で使用するコマンドの登録が含まれる。次に、電子制御装置１は、ステップＳ１０において登録したコマンドの処理を、ユーザの動作に基づいて実施する（ステップＳ２０）。以下、電子制御装置１において実施される各種処理について説明する。

＜電子制御装置１にコマンドを登録する処理の概要について＞
図４に示す電子制御装置１にコマンドを登録する処理の概要について説明する。図６は、本実施形態に係る電子制御装置１にコマンドを登録する処理の概略を示すフローチャートである。制御部１００は、次の手順に従って、記憶部２００にコマンドを登録する。制御部１００は、ユーザの操作に応じてコマンドの登録準備の処理をする（ステップＳ１１０）。制御部１００は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する（ステップＳ１３０）。制御部１００は、抽出した特徴量からユーザの動作を分類する（ステップＳ１５０）。制御部１００は、分類結果の入力動作をコマンドに関連付ける（ステップＳ１７０）。制御部１００は、記憶部２００にコマンドを登録する（ステップＳ１９０）。

＜電子制御装置１にコマンドを登録する処理の詳細について＞
次に、図４に示す電子制御装置１にコマンドを登録する際の各ステップの処理の詳細な一例について説明する。

（ステップＳ１１０：コマンドの登録準備の処理について）
コマンドの登録準備の処理について説明する。制御部１００は、通信部１３を介して外部の装置から制御指令を取得して、取得した制御指令に応じた処理を行う。例えば、制御部１００は、取得した制御指令に応じて、各データテーブルの初期化処理を実施する。その初期化処理として、制御部１００は、ユーザテーブル２１０にユーザを識別するためのデータを、コマンドテーブル２４０に命令（コマンド）を示すデータを、及び、案内情報テーブル２６０にユーザに提供する画面を表示させるためのデータをそれぞれ記憶させる。

（ステップＳ１３０：コマンドを登録する際のユーザの特徴量を抽出する処理について）
図７及び図８を参照して、ユーザの特徴量を抽出する処理について説明する。抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出して、抽出した被写体の動きの特徴量を記憶部２００に記憶させる。例えば、被写体をユーザＵ１にした場合を例示する。抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の身振りや手振りを検出する。抽出部１１０は、検出されたユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を記憶部２００（特徴抽出履歴ＤＢ２２０）に記憶させる。なお、抽出部１１０は、各部の特徴量を３次元空間のデータとして扱えるように変換処理をして、ユーザＵ１の動きの特徴量を３次元にモデル化してもよい。記憶部２００（特徴抽出履歴ＤＢ２２０）に記憶する特徴量は、３次元にモデル化して検出された特徴量としてもよい。

図７は、本実施形態の記憶部２００の特徴抽出履歴ＤＢ２２０が記憶する特徴抽出情報の一例を示す表である。図７に示すように、特徴抽出履歴ＤＢ２２０は、ユーザＩＤ、日時、各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６）、及び、推定動きＩＤを関連付けて記憶している。このユーザＩＤとは、ユーザを識別する情報である。この日時とは、特徴を検出した日時を示す情報である。この各特徴量とは、ユーザの身振りによって値が変化する部分を特徴点として定め、その特徴点の状態を示す情報である。例えば、この特徴量には、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６の状態を示す情報が含まれる。推定動きＩＤとは、各特徴量の値から推定される動きを示す識別情報である。例えば、ユーザＩＤをＵ１とするユーザのＸＸ年ＹＹ月ＺＺ日のＸＸ時ＹＹ分と同日のＸＸ時ＺＺ分の情報が例として示されている。このＸＸ時ＹＹ分において、左肘の角Ａ１１が１７５度、左掌の点Ｐ１３が体側で静止した状態が記憶されている。また、ＸＸ時ＺＺ分において、左肘の角Ａ１１が３２度、左掌の点Ｐ１３が体側で静止した状態が記憶されている。なお、ＸＸ時ＹＹ分からＸＸ時ＺＺ分までの時間は、例えば１分から数分程度とする。このように記録された時系列データから所望の特徴量が含まれている時間帯を抽出する。他の例において、別の角度、別の時間間隔が設定可能である。

図８は、本実施形態の特徴量を規定する情報の一例を示す表である。図８に示すように、特徴量を規定する情報として、識別番号（Ｎｏ）、姿勢、各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６）、及び、動きＩＤが関連付けられている。

図８に示す表は、前述の図２に示す身振りを特徴として検出する場合を例示するものである。識別番号の＃１から＃６に、前述の図２に示す身振りを検出するための要件を対応付けている。例えば、＃１、＃３、＃５に、基本姿勢Ａ、Ｂ、Ｃをそれぞれ対応付けている。また、＃２に、前述の図２（ａ）に示した電話をしている姿勢、＃４に、前述の図２（ｂ）に示した腕を組む姿勢、＃６に、前述の図２（ｃ）に示したプレゼンテーションをする姿勢をそれぞれ対応付けている。各特徴量の値については、前述の図２を参照する。なお、この特徴量の値は、初期値として予め定めることができる。また、制御部１００によって、同値を実際に検出されたユーザの身振りに基づいて設定してもよい。

ここで、動きＩＤを下記のように定義する。＃１の基本姿勢Ａから＃２の電話をかける姿勢に変化する場合の動きＩＤをＭＶ０１にする。＃３の基本姿勢Ｂから＃４の腕組みをする姿勢に変化する場合の動きＩＤをＭＶ０２にする。＃５の基本姿勢Ｃから＃６のプレゼンテーションをする姿勢に変化する場合の動きＩＤをＭＶ０３にする。

図８に示すように、各特徴量の変化に対応する動きＩＤを規定したことにより、ユーザの身振りから特定の特徴量の変化を検出した際に、検出した特徴量の変化を動きＩＤを用いて示すことができる。

前述の図７に例示した場合によれば、動作決定部１２０は、抽出部１１０によって抽出されたＸＸ時ＹＹ分からＸＸ時ＺＺ分までの情報によって示される動作を、ＭＶ０１の動きＩＤに対応する動作として検出する。

（ステップＳ１５０：コマンドを登録する際の特徴量から動作を分類する処理について）
動作決定部１２０は、抽出部１１０によって抽出された後、記憶部２００の特徴抽出履歴ＤＢ２２０に記憶されている複数の特徴量を読み出して、読み出した複数の特徴量の出現頻度に基づいて、動作を分類する。例えば、動作の分類の処理には、ステップＳ１３０において検出した動作の動きＩＤに対してクラスタリング処理の手法を適用する。選択する手法に応じて、詳細の手順が若干異なる。

ここでは、動作を分類する際のクラスタの数を予め指定できる場合を例に挙げて説明する。上記の場合には、ｋ平均法として知られているクラスタリングの手法を適用する。例えば、予定するコマンドの数より大きい値をｋの値にする。例えば、動作決定部１２０は、ｋ平均法により、ｋ個のクラスタに、動作の特徴に応じて分類する。動作決定部１２０は、同じクラスタに分類された特徴量には、同じラベルを付与して、検出された特徴量に付与されたラベルの値を検出された特徴量ごとに関連付けて、特徴抽出履歴ＤＢ２２０に記憶させる。また、同じクラスタに分類されたそれぞれの動作の特徴量に基づいて、そのクラスタを代表する特徴量の値を算出する。例えば、この代表する特徴量の値を、当該クラスタに分類された各動作の平均値にする。動作決定部１２０は、算出した代表値、同じクラスタと判定するための範囲を定めるデータをクラスタ情報ＤＢ２３０に記憶させる。

なお、特徴量からの動作の分類にあたり、クラスタリング処理による手法を一例として例示したが、特徴量に対する機械学習を実施する他の手法を適用してもよい。例えば、他の手法として、Adaboostなどの識別器を用いる手法、ディープラーニングなどのニューラルネットワークを用いる手法、サポートベクタマシンによる手法、ランダムフォレストによる手法などが挙げられる。Adaboostなどの識別器を用いる手法では、例えば、識別器が正しく識別した結果が間違っていた場合には、間違って識別した標本の重みづけを調整し、次回以降の識別処理の正解率を高めることができる。ディープラーニングなどのニューラルネットワークを用いる手法では、階層的な処理により特徴量を抽出する処理を実施できる。サポートベクタマシンによる手法では、分類された特徴量（標本）に基づいて、上記の分類を最も正しく判定する面（平面、線）を規定して、規定した面等に基づいた判定を実施できる。ランダムフォレストによる手法では、特徴量を識別するための決定木を定義して、決定木の各ノードで選択する属性をランダムに選択する処理を実施できる。上記のとおり各手法には、それぞれの特徴がある。幾つかの手法を試用して、正しく分類できるものを選択してもよい。動作決定部１２０を複数の手法を実施できるように構成し、最も正しく分類できた手法を、動作決定部１２０が選択するように構成してもよい。

また、動作決定部１２０は、上記のように分類された各クラスタに含まれる要素の数を算出する。ここで、動作決定部１２０は、要素の数が多い複数のクラスタをコマンドに割り付ける動作の候補として選択する。

（ステップＳ１７０：コマンドを登録する際の入力動作をコマンドに関連付ける処理について）
関連付け部１３０は、上記のようにして動作決定部１２０により決定された入力動作と、予め定められた複数の命令（コマンド）のいずれかとを関連付ける。予め定められた複数の命令（コマンド）は、記憶部２００のコマンドテーブル２４０に記憶されている。

図９は、本実施形態のコマンドを規定する情報の一例を示す表である。図９に示すコマンドテーブル２４０には、コマンドを規定する情報として、コマンドＩＤとコマンドを示す情報とが関連付けられている。コマンドＩＤとは、後述のコマンドを識別する識別情報である。コマンドを示す情報とは、電子制御装置１に実行させる処理を示す情報であり、予め定められている。例えば、識別情報をＣＭ０１とするコマンドは、「電話に適した環境にする」こととして定められている。図９に示される他の識別情報に対応するコマンドも同様に定められている。

（ステップＳ１９０：コマンドを登録する際の入力動作をコマンドに関連付ける処理について）
関連付け部１３０は、上記のようにして動作決定部１２０により決定された入力動作と、コマンドテーブル２４０に予め定められた複数の命令（コマンド）のいずれかとを関連付けて、関連付けた結果を命令テーブル２５０に記憶させる。

＜電子制御装置１にコマンドを実行させる処理の概要について＞
次に、図４に示す電子制御装置１にコマンドを実行させる際の各種処理について説明する。図１０は、本実施形態に係る電子制御装置１にコマンドを実行させる処理の概略を示すフローチャートである。

制御部１００は、次の手順に従って、記憶部２００にコマンドを登録する。制御部１００は、ユーザの操作に応じてコマンドの実行準備処理をする（ステップＳ２１０）。制御部１００は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する（ステップＳ２３０）。制御部１００は、抽出した特徴量からユーザの動作を分類する（ステップＳ２５０）。制御部１００は、分類結果の入力動作をコマンドに関連付ける（ステップＳ２７０）。制御部１００は、記憶部２００に登録されたコマンドを実行する（ステップＳ２９０）。

＜電子制御装置１にコマンドを実行させる処理の詳細について＞
次に、図４に示す電子制御装置１にコマンドを実行させる際の各ステップの処理の詳細な一例について説明する。

（ステップＳ２３０：コマンドを実行させる際のユーザの特徴量を抽出する処理について）
抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を動作決定部１２０に供給する。

（ステップＳ２５０：コマンドを実行させる際の入力動作をコマンドに関連付ける処理について）
動作決定部１２０は、選択したクラスタに対応する入力動作を決定して、決定した入力動作を命令実行部１５０に供給する。例えば、前述のとおり記憶部２００のクラスタ情報ＤＢ２３０には、入力動作に係るデータであるクラスタを代表する特徴量の値が記憶されている。動作決定部１２０は、クラスタ情報ＤＢ２３０に記憶されているクラスタを代表する特徴量の値に基づいて、抽出部１１０によって抽出された複数の特徴量から、その複数の特徴量に対応するクラスタを選択する。動作決定部１２０は、選択したクラスタに対応する入力動作を決定して、決定した入力動作を命令実行部１５０に供給する。

（ステップＳ２７０：登録されたコマンドを実行させる処理について）
命令実行部１５０は、動作決定部１２０において決定された入力動作に応じて、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。例えば、コマンドを登録する処理において、関連付け部１３０によって、動作決定部１２０により決定された入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶されている。命令実行部１５０は、関連付け部１３０によって入力動作に関連付けられている命令を、記憶部２００に記憶されているコマンドに応じた処理を実行する。

＜時系列データの類似性の判定処理について＞
動作決定部１２０は、時系列データとして検出した複数の特徴量のうちから、時系列での類似度が所定以上となる特徴量を検出する。その類似度が所定以上となる特徴量の検出について説明する。

特徴抽出履歴ＤＢ２２０は、ユーザＵ１の動きの特徴量のデータを時系列データとして記憶する。例えば、特徴抽出履歴ＤＢ２２０は、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６について、それぞれの状態を示す情報を１分周期でサンプリングされた時系列データとして記憶する。

ここで、図１１を参照して、単変数を検出対象にした場合について、左肘の角Ａ１１を例にして説明する。図１１は、所定の期間の左肘の角Ａ１１の変化と頻度分布の関係を示す図である。一例において、図１１（ａ）に示すように左肘の角Ａ１１が、時刻ｔ１１までの期間において、左肘の角Ａ１１が１８０度近傍の値を示し、時刻ｔ１２からｔ１３において、左肘の角Ａ１１が３０度近傍の値を示す。その後、左肘の角Ａ１１が、時刻ｔ２１までの期間において、左肘の角Ａ１１が１８０度近傍の値を示し、時刻ｔ２２からｔ２３において、８０度近傍の値を示している。例えば、図１１（ａ）に示す例は、時刻ｔ１２からｔ１３までの間に電話をかけていた場合、時刻ｔ２２からｔ２３までの間に腕組みをしていた場合に対応する。時刻ｔ１２からｔ１３、又は、時刻ｔ２２からｔ２３のように同じ姿勢をとっていた期間にあたり、その期間の標本点が示す数値の変化が少なくなっている。このように、同じ姿勢をとっている期間を、標本点が示す数値の変化が少なくなる期間を検出することにより抽出できる。例えば、図１１（ｂ）に示すように、動作決定部１２０は、連続する複数の標本点が示す数値から分散（又は標準偏差）を算出して、算出した分散（又は標準偏差）の値が、予め定めた所定の値より小さくなった期間を検出することにより、上記の期間を抽出するようにしてもよい。又は、動作決定部１２０は、標本値の分類結果に応じて、ある分類から他の分類に遷移したことを検出することにより、上記のような分類間の遷移を検出するようにしてもよい。

上記の図１１（ａ）に示す動作が検出された場合の各標本点の頻度分布を図１１（ｃ）に示す。図１１（ｃ）の縦軸に左肘の角Ａ１１の値、横軸に同値を検出した度数を示す。図１１（ｃ）に示されるように、３０度近傍と８０度近傍と１８０度近傍の数値をとる標本点が検出された度数が高いことが分かる。そこで、ある閾値を定め、その閾値以上の度数を示す角度領域を抽出する。ここでは、前述の３０度と８０度近傍と１８０度近傍の数値をとる標本点を含む角度領域が抽出される。抽出した角度領域のそれぞれにおいて、各角度領域のうちで局所的に頻度が高い角度、各角度領域の標本点が示す数値の平均値、又は、各角度領域の中央値などを当該角度領域の代表値にする。上記のように定めた代表値を基準にして、代表値から所定の範囲に含まれる標本点について、互いの類似度が所定以上になった標本点とする。このような方法により、動作決定部１２０は、時系列での類似度が所定以上となる特徴量について判定することができ、その判定の結果から、同じ特徴量とみなした標本点の出現頻度を計数することができる。

次に、図１２を参照して、多変数を検出対象にした場合について説明する。以下の説明において、説明を簡略化するために２変数の場合として、左肘の角Ａ１１と右肘の角Ａ１２を例に挙げて説明する。図１２は、時系列データとして記憶した左肘の角Ａ１１と右肘の角Ａ１２の組を変数とする標本点の散布図である。図１２において、領域Ｚ１２１からＺ１２６に示す領域に標本点の密度が高くなる領域が生じている。例えば、領域Ｚ１２１は、左肘の角Ａ１１が３０度近傍を示し、右肘の角Ａ１２が１３０度近傍から１８０度近傍までの範囲を示す。領域Ｚ１２２は、左肘の角Ａ１１が３０度近傍を示し、右肘の角Ａ１２が８０度近傍から１２０度近傍までの範囲を示す。領域Ｚ１２３は、右肘の角Ａ１２が３０度近傍を示し、左肘の角Ａ１１が１３０度近傍から１８０度近傍までの範囲を示す。領域Ｚ１２４は、右肘の角Ａ１２が３０度近傍を示し、左肘の角Ａ１１が８０度近傍から１２０度近傍までの範囲を示す。領域Ｚ１２５は、左肘の角Ａ１１と右肘の角Ａ１２がともに７０度近傍から１００度近傍までの範囲を示す。領域Ｚ１２６は、左肘の角Ａ１１と右肘の角Ａ１２がともに１８０度近傍の値を示す範囲を示す。

領域Ｚ１２１からＺ１２６の各領域は、例えば、次の動作に対応する。領域Ｚ１２１と領域Ｓ１２２は、左手で受話器（携帯端末）を支持して電話をする動作に対応する。領域Ｚ１２３と領域Ｓ１２４は、右手で受話器（携帯端末）を支持して電話をする動作に対応する。領域Ｚ１２５は、腕組みをする動作に対応する。領域Ｚ１２６は、手を下げた状態に対応する。

受話器（携帯端末）を支持する手として左手を多く利用するか右手を多く利用するかは、ユーザの習慣やユーザの利き手に依存する。図１２に示す例では、主に左手で受話器（携帯端末）を支持するユーザの場合を示している。

また、受話器（携帯端末）を支持して電話をする際に、ユーザが立った姿勢で電話をする場合には、領域Ｚ１２１又は領域Ｚ１２３に標本点が分布する。一方、ユーザが机を前にして着席した姿勢で電話をする場合には、領域Ｚ１２２又は領域Ｚ１２４に標本点が分布する。例えば、電話をしながら机上でメモをとる場合の姿勢が挙げられる。

図１２に示すように、標本点の密度が高くなる領域を動作の履歴情報を用いて抽出することにより、抽出した領域に対応する動作をユーザが繰り返し実施していることを検出できる。また、領域Ｚ１２１からＺ１２６のように領域を定義することにより、時系列データを示す標本点の散布図上の位置が、時系列順に連続して互いに同じ領域内に留まる場合には、同標本点が示す動作の特徴量の時系列での類似度が所定以上となっているとみなすことができる。動作決定部１２０は、時系列での類似度が所定以上となる特徴量について判定して、その判定の結果から、同じ特徴量とみなした標本点の出現頻度を計数する。

例えば、動作履歴データに基づいた各標本点のデータに対してクラスタリング処理をすることにより、図１２に示す領域を抽出することができる。動作決定部１２０は、クラスタリング処理を実施して、その結果に基づいて、ユーザが多く実施する動作を抽出してもよい。動作決定部１２０は、クラスタリング処理により得られた各クラスタの範囲を示すデータを利用して、当該クラスタに対応する動作であるか否かを判定する動作の検出処理を実施することができる。例えば、時刻ｔ１１の標本点が領域Ｚ１２６に含まれており、時刻ｔ１２の標本点が領域Ｚ１２１からＺ１２４の何れかの領域に含まれていることが検出できた場合、ユーザが電話をかける動作を行ったものと判定することができる。

上記のように、多変数による処理にしたことにより、ユーザの動作の分類を実施しやすくできる。なお、上記の説明において、２つの変数を用いる処理について示したが、変数の個数や種類に制限はなく、検出する動作に応じて適したものを選択できる。

また、上記のようにして、抽出した角度領域の値が検出された場合に、その姿勢に対応する命令を関連付ける。動作決定部１２０は、抽出された特徴量の出現頻度に応じて入力動作を決定するが、抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定したことにより、抽出された特徴量が所定の頻度を超える場合に、動きとコマンドとをタグ付けすることができる。

このような判定処理を実施することにより、ユーザがあまりとらない身振りや、検出しにくい身振りに対しては、コマンドを選択するための候補から外すことができる。

（第１の実施形態の第１変形例）
上記の実施形態において、動作決定部１２０は、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定している。上記の実施形態の第１変形例として、動作決定部１２０は、前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定してもよい。このように、抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定することにより、ありふれた動作（頻度が高すぎる動作）を除外することができる。例えば、図１２の散布図において、領域Ｚ１２６にあたる動作は、両手を下げた姿勢に当たり、ユーザが立った姿勢であればというるものである。このような領域Ｚ１２６は、図１１（ｃ）の１８０度近傍の領域に当たる。

そこで、単変数の場合は、図１１（ｃ）に示すように２つの閾値を定義して、１８０度近傍の領域を動作の候補から外して、３０度近傍と８０度近傍の数値をとる標本点を検出対象とする。

また、多変数の場合は、図１２に示す領域（クラスタ）のうちで、それぞれの領域に含まれる標本点の個数が第１の閾値より多く、第１の閾値より大きい第２の閾値未満の領域（クラスタ）については、動作決定部１２０は、入力動作を割り付ける候補にする。それとともに、動作決定部１２０は、標本点の個数が第２の閾値以上の領域（クラスタ）については入力動作を割り付ける候補から外す。上記の処理により、図１２に示す領域（クラスタ）のうちで入力動作を割り付ける候補にする領域（クラスタ）は、領域Ｚ１２１からＺ１２５にする。

なお、多変数の場合において、互いに同期するあるタイミングに標本化された各標本値を纏めて、状態ベクトルとして扱うようにしてもよい。この場合、散布図に示す標本点は、各タイミングの状態ベクトルになる。

（第１の実施形態の第２変形例）
上記の第１の実施形態、同実施形態の第１変形例において、ユーザの身振りに基づいてコマンドを実行させる構成の一例について説明した。上記の第１の実施形態の第２変形例として、ユーザの手振りに基づいてコマンドを実行させる構成の一例について説明する。

図１３と図１４を参照して、ユーザの手振りによる動作の特徴量の一例について説明する。

図１３は、本実施形態の電子制御装置１が検出する動作の特徴量の他の一例について示す模式図である。図１４は、図１３に例示した手振りによる種々の動作の特徴量を示す説明図である。

このうち図１３（ａ）は、壁面を指差す動作を示す図である。ユーザが壁面を指差す動作を行う場合、手Ｈ１１の親指Ｔ１１が線Ｌ１１に沿って伸ばされ、人差し指Ｆ１１が線Ｌ１２に沿って伸ばされる。この線Ｌ１１とは、線Ｌ１２とのなす角度が角Ｒ１１である線である。また線Ｌ１２とは、手Ｈ１１から壁面に向かう線である。例えば、図１３（ａ）に示す手振りの特徴量を、線Ｌ１１に向かう単位ベクトルと線Ｌ１２に向かう単位ベクトルの内積ＩＰ１１にする。

図１３（ｂ）は、机上を指差す動作を示す図である。ユーザが机上を指差す動作を行う場合、手Ｈ２１の親指Ｔ２１が線Ｌ２１に沿って伸ばされ、人差し指Ｆ２１が線Ｌ２２に沿って伸ばされる。この線Ｌ２１および線Ｌ２２とは、手Ｈ２１から机上に向かう線である。例えば、図１３（ｂ）に示す手振りの特徴量を、線Ｌ２１に向かう単位ベクトルと線Ｌ２２に向かう単位ベクトルの内積ＩＰ２１にする。

図１３（ｃ）は、手に物を載せる動作を示す図である。ユーザが手に物を載せる動作を行う場合、手Ｈ３１の親指Ｔ３１が線Ｌ３１に沿って伸ばされ、人差し指Ｆ３１が線Ｌ３２に沿って伸ばされる。また、ユーザが手に物を載せる動作を行う場合、中指Ｆ３２が線Ｌ３３に、薬指Ｆ３３が線Ｌ３４に、小指Ｆ３４が線Ｌ３５にそれぞれ沿って伸ばされる。例えば、図１３（ｃ）に示す手振りの特徴量を、線Ｌ３１に向かう単位ベクトルと線Ｌ３２に向かう単位ベクトルの内積ＩＰ３にする。さらに、図１３（ｃ）に示す手振りの特徴量として、必要に応じて、線Ｌ３１に向かう単位ベクトルと線Ｌ３３、線Ｌ３４に向かう単位ベクトルの内積ＩＰ３３，ＩＰ３４を付加してもよい。

図１３（ｄ）は、手で物をつかむ動作を示す図である。ユーザが手で物をつかむ動作を行う場合、手Ｈ４１の親指Ｔ４１が線Ｌ４１に沿って伸ばされ、人差し指Ｆ４１が線Ｌ４２に沿って伸ばされる。また、ユーザが手で物をつかむ動作を行う場合、中指Ｆ４２が線Ｌ４３に、薬指Ｆ４３が線Ｌ４４に、小指Ｆ４４が線Ｌ４５にそれぞれ沿って伸ばされる。例えば、図１３（ｄ）に示す手振りの特徴量を、線Ｌ４１に向かう単位ベクトルと線Ｌ４２に向かう単位ベクトルの内積ＩＰ４１にする。さらに、図１３（ｄ）に示す手振りの特徴量として、必要に応じて、線Ｌ４１に向かう単位ベクトルと線Ｌ４３、線Ｌ４４に向かう単位ベクトルの内積ＩＰ４３，ＩＰ４４を付加してもよい。

上記の図１３にそれぞれ示すように、手振りによる種々の動作の特徴量は、各指が伸ばされる（または、握られる）方向によって表すことができる。例えば、手振りによる種々の動作の特徴量を、各指が伸ばされる（または、握られる）方向を示すベクトルの内積としてもよい。以下の説明では、親指が指す方向を示す単位ベクトルと、親指と同じ手にある他の指が指す方向を示す単位ベクトルの内積を用いて説明する。より具体的には、親指が指す方向を示す単位ベクトルに対し、人差し指が指す方向を示す単位ベクトルの内積ＩＰ１と、中指が指す方向を示す単位ベクトルの内積ＩＰ２と、薬指が指す方向を示す単位ベクトルの内積ＩＰ３と、小指が指す方向を示す単位ベクトルの内積ＩＰ４とを用いて説明する。

上記の図１３に示す何れか又は複数の動作の特徴量を変数にして、第１の実施形態と同様の方法により、ユーザの動作に基づいて、電子制御装置１を制御することができる。

（第１の実施形態の第３変形例）
上記の第１の実施形態、同実施形態の第１変形例と第２変形例とにおいて、各コマンドをユーザの身振り又は手振りに基づいて登録する構成の一例について説明した。前述の図１から図１６を参照して、上記の第１実施形態の第３変形例として、ユーザの操作に基づいてコマンドを登録する構成の一例について説明する。

図１５は、本実施形態に係る記憶部２００が記憶している画像ファイルに基づいた表示画像の一例を示す図である。図１５に示す１５００は、表示領域を示す。表示領域１５００には、ユーザに操作を促すメッセージ１５１０と、選択ボタン１５２０と１５３０が表示されている。

ここで、選択ボタン１５２０には「電話に適した環境にする」と示されており、選択ボタン１５３０には「メモ帳を起動する」と示されている。各操作ボタンに表示される内容は、前述の図９に示す「コマンド」の項目に対応するものである。

また、表示領域１５００において、選択ボタン１５２０と１５３０の上方には、ユーザに操作を促すメッセージ１５１０として、「コマンドの候補を提示します。動作に関連付けたいコマンドを選択してください。」という表示がされるように構成されている。

図４と図１６を参照して、コマンドを登録する構成例について説明する。図１６は、本実施形態のコマンドを登録する命令テーブルの一例を示す図である。図１６に示す命令テーブル２５０には、ユーザを識別する識別情報（ユーザＩＤ）に、動きＩＤ、出現頻度、関連付け候補コマンドＩＤ、コマンドＩＤを示す各情報を関連づけて記憶する。

ユーザを識別する識別情報（ユーザＩＤ）は、前述の図７を参照する。動きＩＤは、前述の図８を参照する。出現頻度は、動きＩＤに対応する動作を識別した回数を示す。関連付け候補コマンドＩＤは、動きＩＤに対応する動作に対応付けられたコマンドの候補を識別する識別情報を示す。コマンドＩＤは、関連付け候補コマンドＩＤに対応するコマンドの候補に基づいて設定されたコマンドの識別情報を示す。

一例において、図１６に示すように、ユーザＩＤをＵ１に対応するユーザについて、電話をする動作（ＭＶ０１）が２０回検出され、腕組みする動作（ＭＶ０２）が５回検出され、プレゼンテーションをする動作（ＭＶ０３）が１回検出されたことが記憶されている。

電話をする動作（ＭＶ０１）、腕組みする動作（ＭＶ０２）、及びプレゼンテーションをする動作（ＭＶ０３）には、関連付け候補コマンドＩＤによりＣＭ０１，ＣＭ０２、ＣＭ０３として識別されるコマンドの候補が対応づけられている。

関連付け部１３０が入力動作と命令（コマンド）とを関連付けることは前述したとおりである。提示部１４０は、前述の図１５に示した表示画像のように、入力動作と命令（コマンド）とを関連付けるための候補を提示する。

ここで、前述の図１５に示す画面の案内に従って、ユーザがコマンドを選択する操作を行うことにより、関連付け部１３０は、ユーザの指示に従って、関連付け候補コマンドＩＤにより示されるコマンドの候補を実際に使用するコマンドとして登録する。例えば、図１５に示す画面の案内に従って動きＩＤ（ＭＶ０１）に対応する動作のコマンドを設定するにあたり、選択ボタン１５２０が操作され、コマンドの候補（ＣＭ０１）として抽出されていたコマンドがユーザによって選択された場合には、関連付け部１３０は、コマンドの候補とされていたコマンドと同じコマンド（ＣＭ０１）を実際に使用可能なコマンドとして命令テーブル２５０登録する。

（第１の実施形態の第４変形例）
制御部１００は、撮像部１０の光学系と照射部１４の光学系を共通にして一体に構成してもよい（一体に構成された装置を撮像照射装置Ｃ１と称する）。例えば、制御部１００は、撮像部１０の光軸と照射部１４の光軸を同じにしてもよい。

図１７は、本実施形態の変形例４に係る撮像照射装置Ｃ１の構成の一例を示す構成図である。図１７において、撮像照射装置Ｃ１は、照射光生成部Ｃ１１２、入出光分離部Ｃ１３１、光学部Ｃ１３２、及び固体撮像部Ｃ１４１を備える。

照射光生成部Ｃ１１２は、制御部１００からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。

入出光分離部Ｃ１３１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上であって、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上、に設けられている。入出光分離部Ｃ１３１は、撮像照射装置Ｃ１が外部へ出射する出射光と、外部から撮像照射装置Ｃ１へ入射する入射光の光路を分離する。例えば、入出光分離部Ｃ１３１は、照射光生成部Ｃ１１２から入射された光の少なくも一部を透過し、光学部Ｃ１３２から入射された光の少なくも一部を反射する。入出光分離部Ｃ１３１は、例えばハーフミラーであり、入射した光の一部を反射し、一部を透過する。これにより、撮像照射装置Ｃ１は、照射と撮像で光学部Ｃ１３２を共通にできる。また、撮像照射装置Ｃ１は、照射と撮像の光軸を同じにできる。

光学部Ｃ１３２は、例えば複数枚のレンズで構成される。固体撮像部Ｃ１４１は、例えば、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサである。

照射光生成部Ｃ１１２から出力された光は、入出光分離部Ｃ１３１を透過し、光学部Ｃ１３２を介して照射される。一方、撮像照射装置Ｃ１の外部から光学部Ｃ１３２へ入射された光は、入出光分離部Ｃ１３１で反射された後、反射部Ｃ１４０で反射される。反射部Ｃ１４０で反射された光は、固体撮像部Ｃ１４１へ入射し、光電変換によって画像を示すデータに変換される。

以上のように、撮像照射装置Ｃ１は、照射と撮像で光軸を同じできる。これにより、制御部１００は、照射したスポットを同じ光軸の撮像画像でそのまま認識できるので、スポットの調整を容易にできる。また、撮像照射装置Ｃ１は、光学系を共通にするので、光学系を共通にしない場合と比較して、スペースを省くことができ、また、コストを下げることができる。また、ユーザは、光学系から光が照射されているので、撮像されていることに気づき難い場合がある。これにより、ユーザは、カメラで撮影されていることを意識することなく、電子制御装置１を利用できる。

なお、撮像照射装置Ｃ１において、照射と撮像で、独立して焦点を合わせる機能を有してもよい。例えば、撮像照射装置Ｃ１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上に可動レンズが設けられてもよい。また、撮像照射装置Ｃ１は、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上に可動レンズが設けられてもよいし、固体撮像部Ｃ１４１が可動である構成であってもよい。これにより、撮像照射装置Ｃ１は、照射と撮像各々で、焦点を合わせることができる。

なお、光学部Ｃ１３２は、例えば魚眼レンズであってもよい。これにより、電子制御装置１は、広範囲に照射でき、広範囲で撮像できる。

以上の実施形態において示したように、電子制御装置１は、ユーザの動きに応じたユーザの意図を推定できる

（第２の実施形態）
第１の実施形態の電子制御装置について、身振り又は手振りの何れか一方を利用する処理を例示した。この第２の実施形態では、前述の図１から図１０、図１２から図１５などを参照して、身振りと手振りの双方を組み合わせて利用する処理の一例について説明する。

例えば、コマンドの種類が多い場合、又は、１つのコマンドを選択するために複数のステップを要する場合などでは、身振り又は手振りの何れか一方を利用して構成することができるコマンドの数が不足することが生じ得る。或いは、身振りと手振りを組み合わせることにより、動作の検出精度を高めることができる。

身振りに基づいた動作の特徴量によるｎ個の変数を有する状態ベクトルＸＢｋと、手振りに基づいた動作の特徴量によるｍ個の変数を有する状態ベクトルＸＨｋとを、式（１）と式（２）にそれぞれ示す。状態ベクトルＸＢｋと状態ベクトルＸＨｋのそれぞれの変数は、タイミングｋに同期して標本化されたものとする。

ＸＢｋ＝［ｘｂ１ ・・・ ｘｂｎ］^Ｔ ・・・（１）

上記式（１）において、（ｘｂ１、・・・、ｘｂｎ）（但し、ｎは自然数）は、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６などの変数に対応し、タイミングｋ時点の数値を示す。添え字の「Ｔ」は、転置ベクトルを示す。

ＸＨｋ＝［ｘｈ１ ・・・ ｘｈｍ］^Ｔ ・・・（２）

上記式（２）において、（ｘｈ１、・・・、ｘｈｎ）（但し、ｍは自然数）は、前述の図１３に示したように各指が伸ばされる（または、握られる）方向を示すものとする。例えば、タイミングｋ時点の各指が伸ばされる（または、握られる）方向を示すベクトルを検出して、上記の各変数を、そのベクトルの内積にする。上記のとおり、内積を変数にした場合、状態ベクトルＸＨｋの各変数をスカラーにすることができる。

ここで、状態ベクトルＸＢｋと状態ベクトルＸＨｋを合成した合成状態ベクトルＸＭｋを、例えば式（３）のように定義する。

ＸＭｋ＝［ＸＢｋ ＸＨｋ］^Ｔ ・・・（３）

上記のように定義したことにより、合成状態ベクトルＸＭｋの次数は、（ｎ＋ｍ）次になる。

合成状態ベクトルＸＭｋを用いる場合には、状態ベクトルＸＢｋや状態ベクトルＸＨｋを単独で用いる場合に比べてベクトルの次数が高くなるが、第１の実施形態に示した多変数の場合の処理と同様の手法を用いて処理することができる。

上記の本実施形態に示したようにベクトルの次数が高くなると、それに応じて演算処理の負荷が高くなる。ただし、上記に応じて各データを組み合わせて判定できるようになり、所望の動作を検出する精度を高めることができる。

（第３の実施形態）
第１の実施形態と第２の実施形態では、ユーザの動作を検出するにあたり、ユーザを特定することなく、各ユーザに共通の処理を実施していた。この第３の実施形態においては、前述の図１から図１０、図１２から図１８などを参照して、ユーザを特定する処理の一例について説明する。

＜ユーザ認証処理について＞
前述の図４に戻り、識別部１６０は、画像変換部１２０から入力された撮像画像に基づいて、撮像画像中のユーザを識別する。すなわち、識別部１６０は、撮像部１０が撮像した画像に基づいてユーザを識別する。以下、識別部１６０が行うユーザ識別処理の具体例について説明する。

識別部１６０は、撮像部１０が撮像した画像にユーザの画像が含まれている場合に、そのユーザの画像と、記憶部２００が記憶しているユーザの特徴量を示す情報とに基づいて、ユーザを識別する。

図１８は、本実施形態のユーザの特徴量を規定する情報の一例を示す表である。図１８に示すコマンドテーブル２４０には、ユーザを識別する識別情報（ユーザＩＤ）に、ユーザの特徴を示す情報を関連づけて記憶する。図１８に示すように、ユーザの特徴を示すデータには、個人を特定するためのデータ（特徴量Ａ）と、コマンドを検出するための対象にする特徴量（特徴量Ｂ）とが含まれる。例えば、個人を特定するためのデータには、性別、利き手、年齢、身長、顔の特徴などの項目が含まれる。コマンドを検出するための対象にする特徴量には、前述の各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６等）が含まれており、動きＩＤに各データが関連付けられている。

上述したように、記憶部２００が記憶している特徴量は、１つであってもよく複数であってもよい。画像変換部１２０から撮像画像が入力されると、識別部１６０は、この撮像画像からユーザの画像を抽出して、特徴量を算出する。次に、識別部１６０は、算出した特徴量と、記憶部２００が記憶しているユーザの特徴量との一致度を判定する。この一致度が高いほど、撮像部１０が撮像したユーザが、登録済みのユーザである確率が高い。識別部１６０は、この一致度が所定のしきい値よりも高いと判定した場合には、この特徴量を示す情報に関連付けられているユーザＩＤを提示部１４０に出力する。また、識別部１６０は、この一致度が所定のしきい値以下であると判定した場合には、ユーザＩＤを提示部１４０に出力しない。また、記憶部２００が記憶している特徴量が、例えば、特徴量Ａ、特徴量Ｂのように複数ある場合には、識別部１６０は、これらの特徴量毎に、算出した特徴量との一致度を判定する。このようにして、識別部１６０は、部屋Ｒを利用するユーザが、登録済みのユーザであること識別する。これにより、電子制御装置１は、部屋Ｒの中に登録済みのユーザがいない場合には、画像を表示しないようにすることができる。この識別部１６０によれば、上述した具体例において、部屋Ｒの机ＴＢＬにプロジェクトＰ１の資料が置いてある場合であっても、ユーザＵ１が部屋Ｒの中にいない場合には、プロジェクトＰ１に関連する画像を表示しないようにすることができる。このように識別部１６０を備えることによって、電子制御装置１は、識別されないユーザに対して画像を表示しないようにすることができる。

なお、識別部１６０は、登録されていないユーザについてはユーザＩＤを出力しない例について説明したがこれに限られない。例えば、識別部１６０は、登録されていないユーザが部屋Ｒの中にいる場合には、このユーザを新規に登録することもできる。具体的には、識別部１６０は、撮像画像から抽出されたユーザの特徴量と、記憶部２００が記憶しているユーザの特徴量との一致度が所定のしきい値以下であると判定した場合には、新たなユーザＩＤを生成する。次に、識別部１６０は、生成したユーザＩＤと撮像画像から抽出されたユーザの特徴量を示す情報とを関連付けて記憶する。さらに識別部１６０は、生成したユーザＩＤを取得部１２３に出力する。これにより、電子制御装置１は、ユーザが操作を行うことなく、登録されていないユーザを登録することができる。

なお、上記実施形態（変形例含む）において、抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する。動作決定部１２０は、複数の特徴量の出現頻度に基づいて、入力動作を決定する。関連付け部１３０は、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶させる。命令実行部１５０は、撮像部１０から撮像された画像に前記入力動作が含まれる場合、前記記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。上記のように構成した電子制御装置１において、記憶部２００に記憶されている複数の前記命令には、少なくとも入力動作に関連付けられている命令がある。撮像部１０から撮像された画像に前記入力動作が含まれる場合、電子制御装置１は、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行することにより、ユーザの動きに応じたユーザの意図を推定して、推定した意図に応じた処理を実施することができる。

また、上記のように構成した電子制御装置１において、識別部１６０は、前記撮像部１０が撮像した画像の前記被写体を識別する。関連付け部１３０は、識別部１６０によって識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて記憶部２００に記憶させる。命令実行部１５０は、記憶部２００に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、撮像部１０が撮像した画像に含まれる入力動作とに関連付けられている命令を実行する。これにより、電子制御装置１は、ユーザＩＤなどの識別情報に基づいて、ユーザ毎に異なる入力動作に関連付けられている命令を実行することができる。

また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数する。これにより、時系列での類似度が所定以上となる特徴量の頻度を検出することができる。

また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定する。これにより、時系列での類似度が所定以上となる特徴量の頻度を抽出し、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合の特徴量に基づいて入力動作を決定することができる。

また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定する。これにより、ありふれた姿勢に対応する特徴量を、抽出対象の特徴量から除くことができ、入力動作の検出を容易にすることができる。

また、上記のように構成した電子制御装置１において、提示部１４０は、関連付け部１３０が前記入力動作と関連付ける前記命令の候補を提示する。関連付け部１３０は、前記入力動作と、提示部１４０が提示した前記命令の候補から選択された命令とを関連付けて記憶部２００に記憶させる。これにより、ユーザは、提示部１４０が提示した表示により、その表示が示す命令の候補に、前記入力動作と関連付けることができる。

また、上記のように構成した電子制御装置１において、選択部１７０は、前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する。関連付け部１３０は、前記入力動作と、前記選択された前記命令とを関連付けて記憶部２００に記憶させる。これにより、電子制御装置１は、前記入力動作に基づいて、選択部１７０が複数の命令のなかから選択した命令を、入力動作に対応する命令として自動でタグ付けすることができる。

なお、具体例として、電子制御装置１が部屋Ｒの天井ＳＬに設置されている場合について説明したが、これに限られない。例えば、電子制御装置１は、部屋Ｒの壁面ＷＬ（例えば、壁面ＷＬ３）や、机ＴＢＬの上面などに設置されていてもよい。

また、撮像領域ＩＡの例として、撮像領域ＩＡ１〜ＩＡ５について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が撮像領域ＩＡであってもよい。

また、表示領域ＤＡの例として、表示領域ＤＡ１〜ＤＡ３について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が表示領域ＤＡであってもよい。

なお、上述した実施形態における電子制御装置１の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、電子制御装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における電子制御装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路（回路（circuitry））として実現してもよい。電子制御装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、一の実施形態と別の実施形態とを適宜組み合わせ可能である。

例えば、図１２に示した散布図は、２つの変数を用いる場合について示したものであり、３つ以上の変数を用いる場合には変数の個数に応じた空間の座標を定義して、同空間における標本点の分布から動作の特徴量の類似度を判定することができる。

１…電子制御装置、１０…撮像部、１２…音入力部、１３…通信部、１４…照射部、１５…音出力部、１６…電力供給部、１００…制御部、１１０…抽出部、１２０…動作決定部、１３０…関連付け部、１４０…提示部、１５０…命令実行部、１６０…識別部、１７０…選択部、１８０…設定処理部、２００…記憶部、Ｃ１…撮像照射装置、Ｃ１１２…照射光生成部、Ｃ１３１…入出光分離部、Ｃ１３２…光学部、Ｃ１４１…固体撮像部

本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、前記特徴量を複数取得して記憶する記憶部と、出現頻度が予め定められた第１のしきい値以上である前記特徴量に対応する前記被写体の動きを、新たに入力動作として設定することを決定する動作決定部と、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、を備える電子制御装置である。

また、本発明の一態様は、コンピュータに、画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された画像から被写体の動きの特徴量を抽出する抽出ステップと、前記特徴量を複数取得して記憶する記憶ステップと、出現頻度が予め定められた第１のしきい値以上である前記特徴量に対応する前記被写体の動きを、新たに入力動作として設定することを決定する動作決定ステップと、前記入力動作と、予め定められた複数の命令のいずれかの命令とを関連付けて記憶部に記憶させる関連付けステップと、前記撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のなかから、前記入力動作に関連付けられている命令を実行する命令実行ステップと、を実行させるための電子制御プログラムである。

Claims (8)

1. 画像を撮像する撮像部と、
   前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、
   前記特徴量を複数取得して記憶する記憶部と、
   複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、
   前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、
   前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、
   を備える電子制御装置。
2. 前記撮像部が撮像した画像の前記被写体を識別する識別部
   を備え、
   前記関連付け部は、
   前記識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて前記記憶部に記憶させ、
   前記命令実行部は、
   前記記憶部に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、前記撮像部が撮像した画像に含まれる入力動作とに関連付けられている命令を実行する
   請求項１に記載の電子制御装置。
3. 前記動作決定部は、
   前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数する
   請求項１または請求項２に記載の電子制御装置。
4. 前記動作決定部は、
   前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定する
   請求項１から請求項３のいずれか一項に記載の電子制御装置。
5. 前記動作決定部は、
   前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定する
   を備える請求項４に記載の電子制御装置。
6. 前記関連付け部が前記入力動作と関連付ける前記命令の候補を提示する提示部
   を備え、
   前記関連付け部は、
   前記入力動作と、前記提示部が提示した前記命令の候補から選択された命令とを関連付けて記憶部に記憶させる
   請求項１から請求項５のいずれか一項に記載の電子制御装置。
7. 前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する選択部
   を備え、
   前記関連付け部は、
   前記入力動作と、前記選択された前記命令とを関連付けて記憶部に記憶させる
   請求項１から請求項６のいずれか一項に記載の電子制御装置。
8. コンピュータに、
   画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像から被写体の動きの特徴量を抽出する抽出ステップと、
   前記特徴量を複数取得して記憶する記憶ステップと、
   複数の特徴量の頻度に基づいて、入力動作を決定する動作決定ステップと、
   前記入力動作と、予め定められた複数の命令のいずれかの命令とを関連付けて記憶部に記憶させる関連付けステップと、
   前記撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のなかから、前記入力動作に関連付けられている命令を実行する命令実行ステップと、
   を実行させるための電子制御プログラム。

Images