JP4973667B2 - Operation estimating apparatus and program - Google Patents

Operation estimating apparatus and program

Info

Publication number
JP4973667B2
JP4973667B2 JP2009007616A JP2009007616A JP4973667B2 JP 4973667 B2 JP4973667 B2 JP 4973667B2 JP 2009007616 A JP2009007616 A JP 2009007616A JP 2009007616 A JP2009007616 A JP 2009007616A JP 4973667 B2 JP4973667 B2 JP 4973667B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009007616A
Other languages
Japanese (ja)
Other versions
JP2010165223A (en )
Inventor
寛 森本
貴洋 石川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、操作者が実施しようとしている操作内容を推定するための操作推定装置およびプログラムに関する。 The present invention relates to the operation estimating apparatus and a program for estimating the operation content by the operator is about to implementation.

近年、ビデオ映像を利用して人間の姿勢を推定する技術が提案されている。 In recent years, technology for estimating the human posture by using a video image has been proposed. 具体的には、画像中における人間が撮影されている領域について、身体を模擬的に表現してなる身体モデルを画像中の人間の姿勢に合わせて重ね合わせ、その身体モデルにおける人体特徴点(肩、肘、手首など)の位置(座標)を特定することにより、人間の姿勢を推定する技術である(例えば、特許文献1を参照)。 Specifically, the region where the human in the image is captured, superimposed combined body model formed by simulating representation of the body human posture in the image, the body feature points at the body model (shoulder , elbows, by identifying the position of the wrist, etc.) (coordinates), is a technique for estimating the human position (e.g., see Patent Document 1).

しかし特許文献1に記載の技術では、人間の姿勢を推定することはできても、その人間が何らかの操作対象を操作しようとしているか否か、および、どの操作対象を操作しようとしているのかを推定することはできなかった。 However, in the technique described in Patent Document 1, although it is possible to estimate the human posture, whether the person is trying to operate any operation target, and to estimate whether trying to manipulate what operation target it could not be.

例えば、車両を運転する運転者がステアリングやナビゲーション装置などの車載機器を操作する動作を行う場合に、特許文献1に記載の技術では、運転者の姿勢を推定することができるが、運転者がステアリングやナビゲーション装置などを操作しようとしているということまで推定することができない。 For example, when a driver driving the vehicle performs an operation to operate the vehicle equipment, such as steering and navigation system, the technique described in Patent Document 1, although it is possible to estimate the posture of the driver, the driver It can not be estimated until that is attempting to perform an operation on a such as steering and navigation equipment.

そこで、操作対象を操作する操作者が辿ると推定される姿勢軌跡(推定姿勢軌跡)をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、撮影した画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡(実姿勢軌跡)とを照合し、遷移推定モデルでモデル化された推定姿勢軌跡のうち、実姿勢軌跡との近似度が所定のしきい値以上となる推定姿勢軌跡が、操作者が実施しようとしている操作内容であると推定する技術が提案されている(例えば、特許文献2を参照)。 Therefore, obtained from the respective transition estimation model formed by modeling posture trajectory is estimated to follow the operator to operate the operation target (estimated posture trajectory) for respective operation contents, the body feature points for each captured image, respectively operator posture trajectory and a (the actual attitude trajectory) matches among the modeled estimated posture trajectory transition estimation model, the estimated posture trajectory approximation degree of the actual attitude trajectory is equal to or greater than a predetermined threshold value, techniques operator estimates that the operation content is trying to practice has been proposed (e.g., see Patent Document 2). なお、上記の操作内容とは、例えば、運転者がステアリングを握っている状態からナビゲーション装置を操作する状態に遷移することや、運転者がエアコンを操作している状態からステアリングを握る状態に遷移すること等である。 Note that the above operation content, for example, and making a transition to a state of operating the navigation device from the state in which the driver is behind the wheel, in a state of gripping the steering from the state in which the driver is operating the air conditioner transition it is like to be.

特開2003−109015号公報 JP 2003-109015 JP 特開2008−140268号公報 JP 2008-140268 JP

しかしながら、上記特許文献2に記載の技術では、予め用意されている全ての遷移推定モデルと、運転者の実姿勢軌跡とを照合する。 However, in the technique described in Patent Document 2, it collates the all transition estimation model prepared in advance, and the actual posture trajectory of the driver. すなわち、運転者の現時点の姿勢では行うことができない操作内容をモデル化した遷移推定モデルについても実姿勢軌跡との照合を行う。 That is, the matching between the actual posture trajectory also modeled transition estimation model the operation content which can not be done at the moment of the posture of the driver. 例えば、運転者がナビゲーション装置を操作している状態において、「ステアリングからシフトレバーへ遷移する行動」や「ステアリングからエアコンへ遷移する行動」を操作内容の候補として照合を行う。 For example, carried out in a state where the driver is operating the navigation device, a collating "action to transition from the steering to the shift lever" and "action to transition from the steering to the air conditioner" as the candidate of the operation content. このため、運転者が操作する操作対象の数の増加に伴って、照合のための演算量が膨大になるという問題があった。 Therefore, with an increase in the number of operation object operated by the driver, there is a problem that the calculation amount for the verification becomes enormous. なぜならば、遷移推定モデルの数は、運転者が操作する操作対象の組合せの数だけ必要であり、操作対象の数の増加に対して指数関数的に増大するからである。 Because the number of transitions estimation model is necessary for the number of combinations of operation object operated by the driver, because the exponentially increasing with increasing number of the operation target.

また、予め用意されている全ての遷移推定モデルと運転者の実姿勢軌跡とを照合するため、運転者の現時点の姿勢では行うことができない操作内容を、運転者が実施しようとしている操作内容であると推定してしまうおそれがある。 Also, to match with all of the transition estimation model prepared in advance and the actual attitude trajectory of the driver, the operation content that can not be performed at the moment of the posture of the driver, the operation content that the driver is attempting to practice there will be estimated that there is fear.

本発明は、こうした問題に鑑みてなされたものであり、操作者が実施しようとしている操作内容を推定する場合に、推定のための演算量と、誤推定の頻度を低減することができる技術を提供することを目的とする。 The present invention has been made in view of such problems, when estimating the operation content by the operator is attempting to practice, and the amount of calculation for the estimation, a technique capable of reducing the frequency of erroneous estimation an object of the present invention is to provide.

上記目的を達成するためになされた請求項1に記載の操作推定装置では、まず画像取得手段が、複数の操作対象と操作対象を操作可能な位置に存在する操作者とを含む画像である操作画像を繰り返し取得し、そして人体特徴点特定手段が、画像取得手段により取得された操作画像を用いて、操作者の姿勢を表す所定の人体特徴点を特定する。 In operation estimating apparatus according to claim 1 which has been made in order to achieve the above object, the image acquisition means first is an image including an operator present a plurality of operation target operation target location that enables operation Operation repeatedly acquiring images, and the human body feature point specifying means, using the obtained operation image by the image acquisition unit, specifies a predetermined human characteristic points representing the attitude of the operator. また推定モデル記憶手段が、操作対象を操作する操作者が辿ると推定される姿勢軌跡である推定姿勢軌跡をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶するとともに、操作検出手段が、複数の操作対象の中から、操作者が操作している操作対象である操作中操作対象を検出する。 Together with the estimation model storage means stores a plurality of transition estimation model obtained by modeling for respective operation content estimated posture trajectory is a posture trajectory is estimated that the operator follow to operate the operation target, the operation detection means but from among a plurality of operation target, the operator detects the operation during the operation target to be operated, which is operating.

そして操作対象特定手段が、操作検出手段による検出結果に基づいて、操作者が操作している又は操作者が直前に操作していた操作対象である最終操作対象を特定する。 The operation target specifying means on the basis of the detection result by the operation detecting means, the operator operating from or operator to specify the final operation target to be operated, which was operated immediately before.

さらにモデル選択手段が、推定モデル記憶手段が記憶する複数の遷移推定モデルの中から、操作対象特定手段が特定した最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する。 Further model selection means, from a plurality of transition estimation model estimation model storage means for storing, selecting a transition estimation model that models the estimated posture trajectory starting from the final operation target by the operation target specifying means has specified. その後に操作推定手段が、人体特徴点特定手段により操作画像毎に特定された人体特徴点を用いて求められる操作者の姿勢軌跡である実姿勢軌跡と、モデル選択手段により選択された遷移推定モデルとを照合し、この照合結果に基づいて、操作者の操作内容を推定する。 After which the operation estimating means, and the actual posture trajectory is a posture trajectory of operator determined using the human body feature points identified in each operation image by the body feature point specifying means, transition estimation model selected by the model selecting means against the door, on the basis of the comparison result, to estimate the operation contents of the operator.

このように構成された操作推定装置によれば、複数の遷移推定モデルの中から、最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより操作者の操作内容を推定することができる。 According to the thus configured operation estimating apparatus, from among a plurality of transition estimation model, the estimated posture trajectory that the final control target origin select transition estimation model that model, and the selected transition estimation model , it is possible to estimate the operation contents of the operator by collating the actual posture locus. このため、推定モデル記憶手段が記憶する遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。 Therefore, as compared with the case where the estimation model storage means collates the all the actual attitude trajectory of transition estimation model that stores, it is possible to reduce the number of transition estimation model used for verification. これにより、操作推定手段が推定処理を行うための演算量を低減することができる。 This makes it possible to operate estimating means to reduce the amount of calculation for the estimation process. なお、この低減効果は、操作対象の数が多くなるほど大きい。 Note that this reduction is greater the greater number of the operation target.

また操作対象特定手段が、操作者が操作している又は操作者が直前に操作していた操作対象(最終操作対象)を特定し、この最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを用いて照合を行うので、操作対象特定手段が特定した最終操作対象以外を起点とした操作内容を操作者が実施していると推定することがない。 The operation target specifying means specifies the operator operation target operation from or the operator has been operated immediately before (last operation target), obtained by modeling the estimated posture trajectory starting from the final operation target since the verification with the transition estimation model, the operation content in which the operation target specifying means starting from the non-final operation object identified by the operator not be estimated to be performed. すなわち、操作対象特定手段が特定した操作対象を操作者が操作している状態を起点とした操作内容を操作者が実施する場合に、操作者が操作している操作対象以外を起点とした操作内容を操作者が実施していると推定することがない。 That is, when the operation content starting from the state in which the operation target by the operation target specifying means specified by the operator is operating the operator to implement, starting from the non-operation target driver operates the operation is not possible to estimate with the contents of the operator has implemented. このため、操作者の現時点の姿勢では行うことができない操作内容を、操作者の操作内容であると推定しまう可能性を低減することができる。 Therefore, the operation content that can not be performed at the moment of the posture of the operator, it is possible to reduce the likelihood result estimated at operation content of the operator. つまり、誤推定の頻度を低減することができる。 That is, it is possible to reduce the frequency of erroneous estimation.

なお上記の操作推定手段は、具体的には、特許文献2に記載されている手法を用いて推定を行うようにしてもよい。 Note above operation estimating means, specifically, it may be performed estimation using the technique disclosed in Patent Document 2. すなわち、推定姿勢軌跡をモデル化した遷移推定モデルと、上記の実姿勢軌跡とを照合し、最も近似度が高い推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定する手法である。 That is, the estimated posture trajectory modeled transition estimation model, in a manner that matches the actual attitude trajectory of the estimates and the operator operating content closest degree corresponds to a high estimated posture trajectory is about to practice is there.

また上記の人体特徴点特定手段は、具体的には、特許文献1に記載されている手法を用いて特定を行うようにしてもよい。 The above human body feature point specifying means, specifically, may be performed identified using the techniques described in Patent Document 1. すなわち、画像中の操作者に対応する領域に、身体を模擬的に表現してなる身体モデルを、その操作者の姿勢に合わせて重ね合わせ、その身体モデルにおける1以上の人体特徴点の位置それぞれを特定する手法である。 That is, the region corresponding to the operator in the image, the body model formed by simulating representation of the body are overlapped to match the orientation of the operator, each position of at least one body feature points at the body model it is a technique to identify.

また、上記の操作対象特定手段は、具体的には、以下の手法を用いて特定を行うようにしてもよい。 The above-described operation target specifying means, specifically, may be performed a specific using the following procedure. すなわち、まず、操作検出手段が操作中操作対象を検出している最中には、この操作中操作対象を最終操作対象として特定する。 That is, first, while the operation detection means detects the operation during the operation target identifies the operation in the operation target as a final operation target. つまり、この時に特定した最終操作対象は、上記の「操作者が操作している操作対象」に相当する。 In other words, the final operation target identified at this time corresponds to the "operation target driver operates" above. その後、操作検出手段が操作中操作対象を検出しなくなってから所定時間が経過するまでは、操作検出手段が操作中操作対象を検出しなくなるまで検出していた操作中操作対象を最終操作対象として特定する。 Thereafter, the after operation detecting means detects no operation during operation target until a predetermined time elapses, the operation detection means operated during the operation target which has been detected until no detects the operation during the operation target as a final operation target Identify. つまり、この時に特定した最終操作対象は、上記の「操作者が直前に操作していた操作対象に相当する。また、上記の「操作者が直前に操作していた操作対象」における「直前」とは、「操作検出手段が操作中操作対象を検出しなくなってから所定時間が経過するまで」のことをいう。 In other words, the final operation target identified at this time, the above "operator corresponds to the operation target that was operated immediately before. Also," immediately before "in the" operation target the operator had to operate immediately before "the refers to a "from the operation detecting means detects no operation during operation target until a predetermined time elapses".

また請求項1に記載の操作推定装置において、請求項2に記載のように、モデル選択手段は、操作対象特定手段が最終操作対象を特定することができない場合には、操作検出手段の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択するようにしてもよい。 In addition the operation estimating apparatus according to claim 1, as claimed in claim 2, the model selecting means, when it is not possible operation target specifying means for specifying a final operation target is detected in the operation detection means estimated posture trajectory starting from the operation target is not a may be selected to model the transition estimation model.

このように構成された操作推定装置によれば、複数の遷移推定モデルの中から、操作検出手段の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより操作者の操作内容を推定することができる。 According to the thus configured operations estimator, selected from a plurality of transition estimation model, a transition estimation model that models the estimated posture trajectory starting from the detection target becomes non operation target of the operation detecting means and, a the selected transition estimation model, it is possible to estimate the operation contents of the operator by collating the actual attitude trajectory. このため、推定モデル記憶手段が記憶する遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。 Therefore, as compared with the case where the estimation model storage means collates the all the actual attitude trajectory of transition estimation model that stores, it is possible to reduce the number of transition estimation model used for verification. これにより、操作推定手段が推定処理を行うための演算量を低減することができる。 This makes it possible to operate estimating means to reduce the amount of calculation for the estimation process.

また、操作検出手段の検出対象となっている操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルが除外されているので、操作検出手段の検出対象となっている操作対象を起点とした操作内容を操作者が実施していると推定することがない。 Further, since the transition estimation model that models the estimated posture trajectory starting from the operation target which is a detection target of the operation detecting means is excluded, and starting from the operation object which is a detection target of the operation detecting means It is not that the the operation contents of the operator is estimated to be carried out. すなわち、操作検出手段の検出対象となっていない操作対象を操作者が操作している状態を起点とした操作内容を操作者が実施する場合に、操作検出手段の検出対象となっている操作対象を起点とした操作内容を操作者が実施していると推定することがない。 That is, if the operator operating content operator operation target not the detection target starting from the state in which the operation of the operation detecting means is performed, the operation target which is a detection target of the operation detecting means It is not to be presumed to have implemented the operator details of the operation starting from the. このため、操作者の現時点の姿勢では行うことができない操作内容を、操作者の操作内容であると推定しまう可能性を低減することができる。 Therefore, the operation content that can not be performed at the moment of the posture of the operator, it is possible to reduce the likelihood result estimated at operation content of the operator. つまり、誤推定の頻度を低減することができる。 That is, it is possible to reduce the frequency of erroneous estimation.

また請求項2に記載の操作推定装置において、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定するため、すなわち、操作対象特定手段が最終操作対象を特定することができないとするために、請求項3に記載のように、操作対象特定手段は、操作検出手段が操作中操作対象を検出していない状態が予め設定された所定判定時間継続した場合に、最終操作対象を特定することができないとするようにしてもよい。 In operation estimating apparatus according to claim 2, for identifying an operator an operation object that is not a detection target of the operation detecting unit is operating, i.e., the operation target specifying means for specifying a final operation target it in order to not be, as claimed in claim 3, the operation target specifying means, when the state where the operation detecting unit is not detecting the operation of the operation target is continued preset predetermined determination time, it may be not able to identify the final operation target.

つまり、操作検出手段が操作中操作対象を検出していない状態が所定判定時間継続した場合には、操作検出手段の検出対象となっていない操作対象を操作者が操作していると看做している。 That is, when the state where the operation detecting unit is not detecting the operation of the operation target continues for a predetermined determination time, the operator operation target is not a detection target of the operation detecting unit is operating regarded ing.

このように構成された操作推定装置によれば、操作検出手段が操作中操作対象を検出していない状態が継続している時間を計測するという簡便な方法により、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定することができる。 According to the thus configured operation estimating apparatus, a simple method of measuring the time that a state where the operation detecting unit is not detecting the operation of the operation target is continued, a detection target of the operation detecting means the non operation target operator may be identified as being operated.

また請求項2に記載の操作推定装置において、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定するために、請求項4に記載のように、動作変化量算出手段が、人体特徴点特定手段により操作画像毎に特定された人体特徴点の変化に基づいて、操作者による動作の単位時間当たりの変化量である動作変化量を算出するとともに、操作判断手段が、動作変化量算出手段による算出された動作変化量に基づいて、操作者が操作対象を操作しているか否かを判断し、操作対象特定手段が、操作者が操作対象を操作していると操作判断手段が判断し、且つ、操作検出手段が操作中操作対象を検出していない場合に、最終操作対象を特定することができないとするようにしてもよい。 In operation estimating apparatus according to claim 2, in order to identify an operator an operation object that is not a detection target of the operation detecting unit is operating, as described in claim 4, the operation amount of change calculating means, based on changes in body feature points identified in each operation image by the body feature point specifying means, and calculates the operation amount of change is the amount of change per unit operating time by the operator, the operation determination means but on the basis of the operation change amount calculated by the operation change amount calculating means, determines whether the operator is operating the operation target, the operation target specifying means, the operator is operating the operation target an operation determination means determines, and, when the operation detecting unit is not detecting the operation in the operation target, the final operation target may be not able to identify.

なお、上記の操作判断手段は、具体的には、以下の手法を用いて判断を行うようにしてもよい。 The above operation determination means, specifically, may be performed determined using the following procedure. すなわち、動作変化量が予め設定された第1判定変化量を超え、その後に、動作変化量が第1判定変化量より小さく設定された第2判定変化量以下になった場合に、操作者が操作対象を操作していると判断する手法である。 That is, beyond the first determination change amount operation change amount is set in advance, thereafter, when the operation amount of change is equal to or less than the second determination change amount is smaller than the first determination change amount, the operator it is a technique to determine that an operation object is operating.

これは、操作者が或る操作対象を触れているときには上記の動作変化量が小さく、その後、この操作対象から他の操作対象に触れようとするときには動作変化量が大きくなり、さらにその後、この他の操作対象に触れると再び動作変化量が小さくなる(動作変化量がほぼ0になる)という考えに基づく。 This small operation amount of change in the when the operator is touching a certain operation target, then operation change amount becomes large when trying to touch from the operation target to another operation target Thereafter, this based on the idea that the operation change amount again touches the other operation target becomes smaller (operation change amount becomes substantially 0).

このように構成された操作推定装置によれば、操作者の実際の動作に基づいて、操作者が操作対象を操作しているか否かを判断できるので、請求項3に記載の手法と比較して、この判断の精度を向上させることができる。 According to the thus configured operation estimating apparatus, based on the actual operation of the operator, it can be determined whether the operator is operating the operation target, compared to the method of claim 3 Te, it is possible to improve the accuracy of the determination.

例えば、請求項3に記載の手法では、所定判定時間の長さによっては、操作者が或る操作対象から他の操作対象に触れようとして動作している最中に所定判定時間が経過してしまうことが考えられる。 For example, in the method according to claim 3, depending on the length of the predetermined judgment time, the operator has elapsed a predetermined judging time while running trying to touch from one operation target to another operation target put away it is conceivable. したがって、所定判定時間の長さによっては、操作者が他の操作対象に触れていないにもかかわらず、操作検出手段の検出対象となっていない操作対象を操作者が操作していると判断してしまう頻度が多くなる。 Thus, depending on the length of the predetermined judgment time, even though the operator does not touch the other of the operation target, and determines that the operator operation target is not a detection target of the operation detecting unit is operating and thus the frequency is increased.

一方、請求項4に記載の手法では、所定判定時間の長さに関係なく、動作変化量が小さくなったときに、操作者が他の操作対象に触れていると判断する。 Meanwhile, in the method according to claim 4, regardless of the length of the predetermined judgment time, when the operation amount of change is smaller, it is determined that the operator is touching the other operation target. このため、操作者が或る操作対象から他の操作対象に触れようとして動作している最中に、操作検出手段の検出対象となっていない操作対象を操作者が操作していると判断してしまう頻度が少なくなる。 Therefore, while the operator is operating as if to touch from one operation target to another operation target, it determines that operator operation target is not a detection target of the operation detecting unit is operating and thus the frequency is reduced.

また、請求項5に記載のプログラムは、請求項1〜請求項4の何れかに記載の操作推定装置の各手段としてコンピュータを機能させるためのプログラムである。 The program according to claim 5 is a program for causing a computer to function as each means of the operation estimating apparatus according to any one of claims 1 to 4.

このプログラムにより制御されるコンピュータは、請求項1〜請求項4の何れかに記載の操作推定装置の一部を構成することができる。 Computer controlled by this program may be part of an operation estimating apparatus according to any one of claims 1 to 4.

なお、上述した各プログラムは、各種記録媒体や通信回線を介して、クライアント、サーバ、及びこれを利用するユーザに提供されるものである。 Each program described above, via various recording media or a communication line, and is provided to the user to utilize client, server, and this.

操作支援システム1の全体構成を示すブロック図である。 Is a block diagram showing the overall configuration of the operation support system 1. 車両室内、及びカメラにより撮影された車両室内を示す図である。 It shows a vehicle compartment, and the vehicle compartment taken by the camera. 人体特徴点特定処理を示すフローチャートである。 It is a flowchart showing a body feature point specifying process. 運転者が各操作対象を操作している様子を示す画像である。 Is an image showing a state in which the driver is operating the respective operation target. 人体特徴点の位置を示す図である。 It shows the position of the body feature points. 操作推定処理を示すフローチャートである。 Is a flowchart showing an operation estimation process. 操作状態監視処理を示すフローチャートである。 Is a flowchart illustrating an operation state monitoring process. 操作状態リスト43bを示す図である。 Is a diagram showing an operation state list 43b. 第1実施形態の推定モデル選択処理を示すフローチャートである。 Is a flowchart illustrating an estimation model selection process in the first embodiment. 遷移推定モデルの選択方法を示す図である。 It is a diagram illustrating a method of selecting a transition estimation model. ステアリング13からナビゲーション装置11へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。 Is a time chart for explaining the transition estimation model selection procedure for the transition from the steering 13 to the navigation apparatus 11. 第1実施形態の、ステアリング13から、センサがない操作対象へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。 Of the first embodiment, the steering 13 is a time chart for explaining the transition estimation model selection procedure for transition to the sensor is not the operation target. 第2実施形態の推定モデル選択処理を示すフローチャートである。 Is a flowchart illustrating an estimation model selection process of the second embodiment. 第2実施形態の、ステアリング13から、センサがない操作対象へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。 Of the second embodiment, the steering 13 is a time chart for explaining the transition estimation model selection procedure for transition to the sensor is not the operation target.

(第1実施形態) (First Embodiment)
以下に本発明の第1実施形態を図面とともに説明する。 The first embodiment of the present invention will be described in conjunction with the accompanying drawings.

図1は本発明が適用された操作支援システム1の全体構成を示すブロック図である。 Figure 1 is a block diagram showing the overall configuration of the operation support system 1 to which the present invention is applied.

操作支援システム1は、車両に搭載されており、図1に示すように、車両の運転席及びその周辺を連続して撮影するカメラ2と、車両室内に設定された複数の操作対象が操作されたか否かを検出する複数のセンサ(近接センサ、タッチセンサ、スイッチなど)からなるセンサ群3と、カメラ2による撮影画像とセンサ群3による検出結果とに基づいて運転者の操作を推定する操作推定装置4と、操作推定装置4の推定結果を用いて各種制御を行う車載装置群5とを備えている。 Operation support system 1 is mounted on a vehicle, as shown in FIG. 1, a camera 2 for photographing continuously driver's seat and around the vehicle, a plurality of operation target set in the vehicle compartment is operated a plurality of sensors for detecting whether Taka not (proximity sensors, touch sensors, switches, etc.) and sensor group 3 consisting of the detection result and an operation for estimating a driver's operation based on the by the captured image and sensor group 3 by the camera 2 and estimating device 4, and a vehicle-mounted device group 5 performs various controls by using the estimation results of an operation estimating apparatus 4.

なお本実施形態において、車両室内に設定された複数の操作対象は、図2(a)に示すように、ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、コンソールボックス15、グローブボックス16、及びバックミラー17である。 In the present embodiment, a plurality of operation set in the vehicle interior object, as shown in FIG. 2 (a), the navigation device 11, air conditioning 12, steering 13, a shift lever 14, the console box 15, the glove box 16, and a rearview mirror 17.

これらのうちカメラ2は、車両室内におけるバックミラー17上部の領域17aにおいて、少なくとも車両の運転者、及び車両室内において運転者が操作しうる操作対象全てを撮影できる位置に取り付けられている。 Camera 2 Of these, the rearview mirror 17 upper region 17a in the vehicle compartment, is attached to at least the driver of the vehicle, and a position where it can shoot all the operation target by a driver can operate the vehicle interior. そしてカメラ2は、撮影した画像(図2(b)を参照)を随時、操作推定装置4へ出力する。 The camera 2, a photographed image (see FIG. 2 (b)) at any time, and outputs to the operation estimating device 4.

またセンサ群3は、図1に示すように、ナビゲーション装置11が操作されたか否かを検出するナビゲーション装置センサ31と、エアコン12が操作されたか否かを検出するエアコンセンサ32と、ステアリング13が操作されたか否かを検出するステアリングセンサ33と、シフトレバー14が操作されたか否かを検出するシフトレバーセンサ34と、コンソールボックス15が操作されたか否かを検出するコンソールボックスセンサ35とから構成される。 The sensor group 3, as shown in FIG. 1, a navigation device sensor 31 for detecting whether or not the navigation device 11 is operated, an air conditioner sensor 32 which detects whether air conditioner 12 is operated, the steering 13 a steering sensor 33 for detecting whether or not operated, composed of a shift lever sensor 34 for detecting whether the shift lever 14 is operated, the console box sensor 35 for detecting whether the console box 15 is operated It is. そして各センサ31〜35は、その検出結果を示す情報を、センサから操作推定装置4へと至る通信路(例えば車両内ネットワーク)を介して操作推定装置4へ送信する。 And each sensor 31 to 35, transmits the information indicating the detection result, a communication path extending from the sensor to the operation estimating device 4 (e.g., in-vehicle network) via the operating estimator 4. なおセンサ群3は、車載機器の操作を検知するために付加された近接センサ、タッチセンサ、スイッチ等のセンサだけでなく、ナビゲーション装置11のタッチパネルやエアコン12の設定ボタンのように車載機器に組み込まれているセンサでもよい。 Incidentally sensor group 3, the added proximity sensor to detect the operation of the in-vehicle device, a touch sensor, as well as sensors such as a switch, integrated into the vehicle device as the setting button of the touch panel and air conditioner 12 of the navigation apparatus 11 it may be a sensor that is.

また操作推定装置4は、CPU41,ROM42,RAM43,I/O(不図示)及びこれらの構成を接続するバスライン(不図示)などからなる周知のマイクロコンピュータを中心に構成されており、ROM42及びRAM43に記憶されたプログラムに基づいて各種処理を実行する。 The operation estimating device 4, CPU41, ROM42, RAM43, I / O (not shown) and is configured around a known microcomputer including a bus line (not shown) connecting these components, ROM 42 and It executes various processes based on programs stored in the RAM 43.

また車載装置群5は、操作推定装置4の推定結果に基づいて車両制御のタイミングや強弱を調整するACC(Adaptive Cruise Control)装置51、ブレーキ装置52、及び変速装置53と、操作推定装置4の推定結果に基づいて振動などで運転者に刺激を与えるシートベルト装置54及びステアリング装置55と、操作推定装置4の推定結果に基づいて走行中の運転者からの利用を制限するナビゲーション装置11などから構成される。 The vehicle device group 5, ACC (Adaptive Cruise Control) device 51 for adjusting the timing and strength of the vehicle control based on the estimation result of the operation estimating apparatus 4, a brake device 52, and a transmission 53, the operating estimator 4 a seat belt device 54 and the steering device 55 irritating to the driver in the vibration based on the estimation result, the navigation device or the like 11 which limits the use of the driver during running on the basis of the estimation result of the operation estimating apparatus 4 constructed.

このように構成された操作支援システム1において、操作推定装置4は、後述の人体特徴点特定処理、操作推定処理、操作状態監視処理、及び推定モデル選択処理をそれぞれ独立に実行する。 In the thus constituted operation support system 1, the operation estimating device 4, the body feature point specifying process will be described later, the operation estimation process, executes the operation state monitoring process, and the estimated model selection processing independently.

まず、操作推定装置4が実行する人体特徴点特定処理の手順を図3を用いて説明する。 First, the procedure of the human body feature point specifying processing operation estimating apparatus 4 executes will be described with reference to FIG. 図3は人体特徴点特定処理を示すフローチャートである。 Figure 3 is a flowchart showing a body feature point specifying process. この人体特徴点特定処理は、操作推定装置4が起動(電源オン)している間に繰り返し実行される処理である。 The body feature point specifying process is a process for operating estimating device 4 is executed repeatedly while starting (power on).

この人体特徴点特定処理が実行されると、操作推定装置4は、まずS10にて、カメラ2から入力される画像を取得する。 When the body feature point specifying process is executed, the operation estimating device 4, first at S10, and acquires an image input from the camera 2. ここでは、例えば、図4(a)〜(g)に示すように、運転者が各操作対象を操作している様子を示す画像が取得される。 Here, for example, as shown in FIG. 4 (a) ~ (g), image showing the state of the driver is operating the respective operation target is obtained.

そしてS20にて、S10で取得された画像に基づいて、この画像中の運転者における1以上の人体特徴点を特定する。 Then, in S20, based on the acquired image in S10, identifying one or more human body feature points at the driver in the image.

ここでは、カメラ2から入力される画像中の運転者に対応する領域に、人体を模擬的に表現してなる身体モデルを、その運転者の姿勢に合わせて重ね合わせ、その画像中から、身体モデルにおける基準となる座標それぞれを、その画像中の運転者における人体特徴点として特定する。 Here, the region corresponding to the driver in the image input from the camera 2, the body model formed by simulating representation of the human body, superimposed in accordance with the posture of the driver from the image in the body each the reference coordinates in the model is specified as the human body feature point in the driver in the image. ここで、「身体モデルにおける基準となる座標」とは、図5のd1〜d6に示すように、例えば、両肩、両肘、及び両手首などの中心位置の座標である。 Here, the "coordinate to the body model", as shown in d1~d6 in FIG. 5, for example, is both shoulders, the coordinates of the center position, such as elbows, and wrists. 以降、1つの画像から特定される1以上の人体特徴点を単に「人体特徴点」という。 Thereafter, one or more human body feature points specified from one image to simply as "human body feature points". なお、このような身体モデルの重ね合わせについては、特開2003−109015号に記載された技術を利用するとよい。 Note that the superimposition of such body model, it is preferable to use the techniques described in JP-2003-109015.

さらにS30にて、S20にて特定された人体特徴点を、操作推定装置4のRAM43に設けられた人体特徴点リスト43aに登録する。 Further in S30, the body feature points identified in S20, and registers the human body feature point list 43a provided in RAM43 of the operation estimating apparatus 4. そして、人体特徴点特定処理を一旦終了する。 Then, once it ended body feature point specifying process.

この人体特徴点リスト43aは、所定数N(Nは整数)の人体特徴点が先入れ先出し方式で登録されるリストである。 The body feature point list 43a is (N is an integer) a predetermined number N is a list body feature points are registered in a first-in-first-out basis. つまり、この人体特徴点リスト43aは、人体特徴点特定処理が一定回数繰り返された以降、人体特徴点として常に最新のものから所定数Nだけ前までのものが登録された状態となる。 That is, the body feature point list 43a is after the body feature point specifying process is repeated a predetermined number of times, always in a state that those are registered from latest before a predetermined number N as the human body feature point. なお、この人体特徴点リスト43aには、運転者が特定の姿勢をとっている場合における人体特徴点として想定される人体特徴点を、初期値として登録しておくようにしてもよい。 Note that this is the human body feature point list 43a, the body feature points are assumed as the human body feature points in a case where the driver has taken a particular orientation, it may be be registered as an initial value.

次に、操作推定装置4が実行する操作推定処理の手順を、図6を用いて説明する。 Next, the procedure of the operation estimation processing operation estimating apparatus 4 executes will be described with reference to FIG. 図6は操作推定処理を示すフローチャートである。 6 is a flowchart showing an operation estimation process. この操作推定処理は、操作推定装置4が起動(電源オン)している間に繰り返し実行される処理である。 This operation estimation process is a process repeatedly executed while the operating estimating device 4 is activated (power on).

この操作推定処理が実行されると、操作推定装置4は、まずS110にて、人体特徴点リスト43aに登録されている全ての人体特徴点を読み出す。 When this operation estimation process is executed, the operation estimating device 4, first at S110, reads all of the human body feature points registered in the human body feature point list 43a. その後S120にて、読み出した人体特徴点それぞれに基づいて運転者の姿勢軌跡を特定する。 At subsequent S120, it specifies the posture trajectory of the driver based on the respective read-out body feature points. 具体的には、S110にて読み出された各人体特徴点を、主成分分析により表現される固有空間に投影し、こうして投影した固有空間上での座標の軌跡を運転者による実際の姿勢軌跡(以降、実姿勢軌跡という)として特定する。 Specifically, each body feature points read at S110, the actual posture trajectory by projecting the eigenspace represented, thus the driver of the trajectory of the coordinates on eigenspace projection by principal component analysis (hereinafter referred to as the actual posture locus) to identify as.

またS130にて、後述の推定モデル選択処理で選択された遷移推定モデルを取得する。 Also at S130, acquires the transition estimation model selected in estimation model selection process will be described later. なお遷移推定モデルは、或る操作対象を操作していた状態から別の操作対象の操作へと移行する操作内容を実施している運転者が辿ると推定される姿勢軌跡(以降、推定姿勢軌跡という)をモデル化したものである。 Incidentally transition estimation model, some operation target operation from optionally state to another operation target of the operation the driver of the operation contents are carried out to shift to follow estimated posture trajectory (hereinafter, the estimated posture trajectory it is obtained by modeling a) that. 姿勢軌跡としては例えば、ステアリング13を握っている姿勢から、ナビゲーション装置11を操作しようとしてナビゲーション装置11に指が接触する姿勢までの軌跡が挙げられる。 The posture trajectory example, from the posture that behind the wheel 13, the navigation device 11 fingers include trajectory up posture contacting an attempt to operate the navigation device 11. また遷移推定モデルは、それぞれの操作内容に対応するものが操作推定装置4のRAM43に記憶される。 The transition estimation model, those corresponding to the respective operation contents are stored in the RAM43 of the operation estimating apparatus 4.

そしてS140にて、S120にて特定された実姿勢軌跡における座標p01〜p0n(n≧1)毎に、その座標と、S130にて取得された各遷移推定モデル1〜x(x>1)にて示される推定姿勢軌跡における座標p11〜p1m,p21〜p2m,…,px1〜pxm(m≧1)それぞれとの角度θを算出する。 Then, in S140, for each coordinate p01~p0n (n ≧ 1) in the actual attitude trajectory identified in S120, and the coordinate, in each transition estimation model 1~x acquired in S130 (x> 1) coordinates in the estimated posture trajectory indicated Te p11~p1m, p21~p2m, ..., px1~pxm (m ≧ 1) calculates an angle θ with each. なお、「座標p01〜p0n」及び「座標p11〜p1m,p21〜p2m,…,px1〜pxm」は、上記の固有空間上の座標である。 It should be noted that, "coordinate p01~p0n" and "coordinate p11~p1m, p21~p2m, ..., px1~pxm" is the coordinates on the above-mentioned specific space.

これにより、実姿勢軌跡における座標それぞれに対応する複数の角度群(p01[θ11〜θxm],p02[θ11〜θxm],…,p0n[θ11〜θxm])が算出される。 Thus, a plurality of angular group corresponding to the coordinates, respectively, in the actual attitude trajectory (p01 [θ11~θxm], p02 [θ11~θxm], ..., p0n [θ11~θxm]) is calculated. なお、上記の角度θは、両座標をP1,P2として、式(1)に基づいて算出されるものである。 Incidentally, the above-mentioned angle theta, as both coordinates P1, P2, is intended to be calculated based on equation (1).

cosθ=P1・P2/(|P1|・|P2|) ・・・(1) cosθ = P1 · P2 / (| P1 | · | P2 |) ··· (1)
ここで、式(1)中の「P1・P2」は、座標P1と座標P2の内積値である。 Here, the "P1 · P2" in the equation (1) is an inner product value of the coordinate P1 and the coordinate P2.

次にS150にて、S140にて算出された座標毎の角度群それぞれについて、その角度群の中で最も小さい角度と、この最小角度に対応する遷移推定モデルとを特定する。 Next, in S150, for each angular unit of each coordinate calculated in S140, the smallest angle in the angle set, it identifies a transition estimation model that corresponds to the minimum angle.

その後S160にて、S150にて特定された最小角度の全てが、予め設定された推定判定値(本実施形態では、例えば20度)未満であるか否かを判断する。 At subsequent S160, all minimum angle specified in S150 is (in this embodiment, for example, 20 degrees) preset estimated decision value determines whether less than. ここで、特定された最小角度の全てが推定判定値未満である場合には(S160:YES)、S170にて、S150にて特定された遷移推定モデルが全て同一であるか否かを判断する。 Here, if all the minimum angle identified is less than the estimated decision value (S160: YES), in S170, the identified transition estimation model is determined whether all the same in S150 .

ここで、特定された遷移推定モデルが全て同一である場合には(S170:YES)、S180にて、S150にて特定された遷移推定モデルに対応する操作内容を運転者が行っていると推定し、操作推定処理を一旦終了する。 Here, if the identified transition estimation model are all the same (S170: YES), in S180, it is estimated by performing the driver the operation content corresponding to the specified transition estimation model at S150 and, once the operation ends estimation process.

一方、S150にて特定された遷移推定モデルが全て同一ではない場合には(S170:NO)、S190に移行する。 On the other hand, if the identified transition estimation model not all the same in S150 (S170: NO), the process proceeds to S190.

またS160にて、特定された最小角度のなかで推定判定値以上となるものがある場合には(S160:NO)、S190に移行する。 Also at S160, if there is to be estimated determination value or more among the minimum angle specified (S160: NO), the process proceeds to S190.

そしてS190に移行すると、運転者の操作内容に該当する遷移推定モデルがない、つまり、遷移推定モデルに対応する操作を運転者が行っていないと推定し、操作推定処理を一旦終了する。 When the process proceeds to S190, there is no transition estimation model corresponding to the operation content of the driver, that is, an operation corresponding to the transition estimation model estimates that the driver is not performing, once the operation ends estimation process.

次に、操作推定装置4が実行する操作状態監視処理の手順を、図7を用いて説明する。 Next, the procedure of the operation state monitor processing operation estimating apparatus 4 executes will be described with reference to FIG. 図7は操作状態監視処理を示すフローチャートである。 Figure 7 is a flow chart showing the operation state monitoring process. この操作状態監視処理は、操作推定装置4が起動(電源オン)している間に繰り返し実行される処理である。 The operation state monitoring process is a process repeatedly executed while the operating estimating device 4 is activated (power on).

この操作状態監視処理が実行されると、操作推定装置4は、まずS310にて、車両室内に設定された複数の操作対象が操作されたか否かを示す情報(以下、操作検出情報という)をセンサ群3から取得する。 When this operation state monitoring processing is executed, the operation estimating device 4, first at S310, information indicating whether a plurality of operation target set in the vehicle compartment is operated (hereinafter, referred to as operation detection information) obtained from the sensor group 3.

その後S320にて、取得した操作検出情報に基づいて、操作推定装置4のRAM43に設けられた操作状態リスト43bの内容を書き換え、操作状態監視処理を一旦終了する。 At subsequent S320, based on the obtained operation information detected, rewriting the contents of the operation state list 43b provided in RAM43 of the operation estimating apparatus 4 temporarily terminates the operation state monitoring process.

この操作状態リスト43bは、図8に示すように、ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、及びコンソールボックス15のそれぞれが操作されている最中であるか否かを記録する操作記憶領域LA1〜LA5と、運転者が操作している最中または直前に操作していた操作対象を示す情報を記憶する操作対象記憶領域LBとから構成される。 The operation state list 43b, as shown in FIG. 8, the navigation device 11, air conditioning 12, steering 13, a shift lever 14, and the operation for recording whether the middle of each of the console box 15 is operated a storage area LA1~LA5, composed of a control target storage area LB that stores information indicating the operation target during or has been operated immediately before the driver is operating. なお、操作記憶領域LA1〜LA5をまとめて操作記憶領域LAという。 Incidentally, the operation storage area LA1~LA5 collectively referred operated storage area LA.

そしてS320では、取得した操作検出情報に基づいて、操作記憶領域LA1〜LA5の中から、運転者が操作している最中である操作対象に対応する操作記憶領域LAに、「オン」を示す情報を書き込む一方、運転者が操作していない操作対象に対応する操作記憶領域LAに、「オフ」を示す情報を書き込む。 Then, in S320, based on the acquired operation detection information from the operation memory area LA1~LA5, in the operation memory area LA corresponding to the operation target is in the middle the driver is operating, indicating the "on" while writing information, in the operation memory area LA corresponding to the operation target driver is not operating, and writes the information indicating the "off".

なお図8に示す操作状態リスト43bでは、操作記憶領域LA1に「オン」が書き込まれ、操作記憶領域LA2〜LA5に「オフ」が書き込まれている。 Note that in the operation state list 43b shown in FIG. 8, "ON" is written in the operation memory area LA1, "OFF" is written in the operation memory area LA2~LA5. すなわち、図8に示す操作状態リスト43bは、運転者がナビゲーション装置11を操作中であるとともにエアコン12、ステアリング13、シフトレバー14、及びコンソールボックス15を操作していないことを示している。 That is, the operation state list 43b shown in FIG. 8 shows that the driver air 12 with is in operating the navigation device 11, a steering 13, it does not operate the shift lever 14 and the console box 15,.

さらにS320では、或る操作記憶領域LAにおいて「オン」が書き込まれると、「オン」が書き込まれた時点で、「オン」が書き込まれた操作記憶領域LAに対応した操作対象を示す情報を操作対象記憶領域LBに書き込む。 In addition S320, if "ON" is written in a certain operation storage area LA, when the "ON" is written, the information indicating the operation target "on" corresponding to the written operation storage area LA operation It is written into the target storage area LB. 以下、操作対象記憶領域LBに書き込まれている情報を操作対象記憶情報という。 Hereinafter, the information written in the control target storage area LB of the operation target stored information.

なお図8に示す操作状態リスト43bでは、操作記憶領域LA1に「オン」が書き込まれているので、ナビゲーション装置11であることを示す情報が操作対象記憶領域LBに書き込まれている。 Note that in the operation state list 43b shown in FIG. 8, since the operation storage area LA1 "ON" is written, information indicating that the navigation device 11 is written to the operating memory area LB.

またS320において、運転者が操作している最中である操作対象がない場合には、操作記憶領域LA1〜5には全て「オフ」が書き込まれ、操作記憶領域LBには直前の操作対象が保持される。 In S320, if there is no operation target is in the middle the driver operates is written all in the operation memory area LA1~5 "off", the operation target immediately before the operation storage area LB It is held.

次に、操作推定装置4が実行する推定モデル選択処理の手順を、図9を用いて説明する。 Next, a procedure of estimation model selection processing operation estimating apparatus 4 executes will be described with reference to FIG. 図9は推定モデル選択処理を示すフローチャートである。 Figure 9 is a flow chart showing an estimation model selection process. この推定モデル選択処理は、操作推定装置4が起動(電源オン)している間に繰り返し実行される処理である。 The estimation model selection process is a process repeatedly executed while the operating estimating device 4 is activated (power on).

この推定モデル選択処理が実行されると、操作推定装置4は、まずS410にて、操作状態リスト43bの操作記憶領域LA1〜LA5の中で、「オン」から「オフ」に変更にされたものがあるか否かを判断する。 When this estimation model selection process is performed, those operating estimating device 4, first at S410, the in operation storage area LA1~LA5 operation state list 43 b, which is changed from "on" to "off" It determines whether there is.

ここで、「オン」から「オフ」に変更された操作記憶領域LAがある場合には(S410:YES)、S420にて、操作推定装置4のRAM43に設けられた操作継続判定タイマTM1のインクリメントを開始し、S430に移行する。 Here, if there is altered operated memory area LA from "on" to "off" is (S410: YES), in S420, the increment operation continuation determination timer TM1 provided RAM43 operations estimator 4 the start, the process proceeds to S430.

なお操作継続判定タイマTM1は、例えば1msごとにインクリメントするタイマであり、インクリメントが開始されると、その値が0からインクリメントする。 Note operation continuation determination timer TM1 is a timer that is incremented for example, every 1 ms, the increment is started, the value is incremented from 0. また操作継続判定タイマTM1は、ある時点でインクリメントが中止されると、その時点でその値が0となるように設定されている。 The operation continuation determination timer TM1, when incremented at some point is canceled is set to the value at that point becomes zero.

一方S410にて、「オン」から「オフ」に変更された操作記憶領域LAがない場合には(S410:NO)、S430に移行する。 Meanwhile at S410, if there is no change to the operation storage area LA from "on" to "Off" (S410: NO), the process proceeds to S430.

そしてS430に移行すると、操作状態リスト43bの操作記憶領域LA1〜LA5の中で、「オフ」から「オン」に変更にされたものがあるか否かを判断する。 When the process proceeds to S430, in operation storage area LA1~LA5 operating conditions list 43 b, it is determined whether there is what is changed from "off" to "on". ここで、「オフ」から「オン」に変更された操作記憶領域LAがある場合には(S430:YES)、S440にて、操作継続判定タイマTM1のインクリメントを中止させ、S450に移行する。 Here, if there is altered operated memory area LA from "off" to "on" is (S430: YES), in S440, stops the incrementing of the operation continuation determination timer TM1, the process proceeds to S450. これにより、操作継続判定タイマTM1がインクリメントを中止するとともに、その値が0になる。 Thus, the operation continuation determination timer TM1 is thereby cancel the increment, the value becomes 0.

一方S430にて、「オフ」から「オン」に変更された操作記憶領域LAがない場合には(S430:NO)、S450に移行する。 Meanwhile at S430, if there is no "on" to the changed operation storage area LA from "Off" (S430: NO), the process proceeds to S450.

そしてS450に移行すると、操作継続判定タイマTM1の値(以下、操作継続判定タイマ値という)が予め設定された操作継続判定値JT(本実施形態では例えば5sに相当する値)以上であるか否かを判断する。 When the process proceeds to S450, the value of the operation continuation determination timer TM1 (hereinafter, the operation continuation determining timer value hereinafter) or not (in this embodiment for example, a value corresponding to a 5s) is preset operation continuation determining value JT is more or the judges.

ここで、操作継続判定タイマ値が操作継続判定値JT以上である場合には(S450:YES)、S460にて、操作状態リスト43bの操作対象記憶領域LBに書き込まれている操作対象記憶情報を消去し、S470に移行する。 Here, when the operation continuation determination timer value is operated continuation determining value JT above (S450: YES), in S460, the control target storage information written in the control target storage area LB of the operation state list 43b erased, and the process proceeds to S470.

一方、操作継続判定タイマ値が操作継続判定値JT未満である場合には(S450:NO)、S470にて、操作状態リスト43bの操作対象記憶領域LBに操作対象記憶情報が書き込まれているか否かを判断する。 On the other hand, when the operation continuation determination timer value is smaller than the operation continuation determining value JT is (S450: NO), in S470, whether the operation target stored information in the control target storage area LB of the operation state list 43b is written not or the judges. ここで、操作対象記憶情報が書き込まれている場合には(S470:YES)、S480にて、操作対象記憶情報に応じた操作対象を起点とした遷移推定モデル(以下、通常時推定モデルともいう)を選択する。 Here, if the control target storage information is written (S470: YES), referred to at S480, transition estimation model starting from the operation target in accordance with the operation target stored information (hereinafter, also the normal estimation model ) is selected.

詳細には、操作対象記憶領域LBに書き込まれている操作対象記憶情報が、ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、及びコンソールボックス15である場合にはそれぞれ、ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、及びコンソールボックス15を起点とした遷移推定モデルを選択する(図10の列R1,R2,R3,R4,R5を参照)。 In particular, control target storage information written in the control target storage area LB is, the navigation device 11, air conditioning 12, respectively when the steering 13, a shift lever 14, and a console box 15, the navigation device 11, air conditioning 12, steering 13, a shift lever 14, and selects the transition estimation model starting from the console box 15 (see columns R1, R2, R3, R4, R5 of FIG. 10). そして、遷移推定モデルの選択が終了すると、推定モデル選択処理を一旦終了する。 When the selection of the transition estimation model is completed, once ended estimation model selection process.

一方S470にて、操作対象記憶情報が書き込まれていない場合には(S470:NO)、S490にて、操作されたか否かをセンサ群3が検出することができない操作対象を起点とした遷移推定モデル(以下、例外時推定モデルともいう)を選択する。 Meanwhile at S470, if the control target storage information is not written (S470: NO), in S490, transition estimation whether the operated sensor group 3 starting from the operation target that can not be detected model (hereinafter also referred to as an exception when the estimated model) is selected. 詳細には、本実施形態では、車両室内に設定された操作対象(ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、コンソールボックス15、グローブボックス16、バックミラー17)のうち、センサ群3が操作を検出することができないものはグローブボックス16及びバックミラー17である。 In particular, in the present embodiment, the operation target set in the vehicle interior (navigation device 11, air conditioning 12, steering 13, a shift lever 14, the console box 15, the glove box 16, the back mirror 17) among the sensor group 3 There are things which can not be detected operation is the glove box 16 and rearview mirrors 17. したがって、グローブボックス16及びバックミラー17を起点とした遷移推定モデルを選択する(図10の列R6を参照)。 Therefore, to select a transition estimation model starting from the glove box 16 and rearview mirrors 17 (see column R6 in FIG. 10). そして、遷移推定モデルの選択が終了すると、推定モデル選択処理を一旦終了する。 When the selection of the transition estimation model is completed, once ended estimation model selection process.

このように構成された操作支援システム1において、遷移推定モデルを選択する手順を図11,12を用いて説明する。 In the thus constituted operation support system 1, a procedure for selecting a transition estimation model will be described with reference to FIGS. 11 and 12.

図11は、ステアリング13を操作している状態からナビゲーション装置11を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。 Figure 11 is a time chart for explaining the procedure for selecting a transition estimation model in the case of transition from a state that the steering 13 to a state of operating a navigation device 11. また図12は、ステアリング13を操作している状態から、センサ群3が検出することができない操作対象を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。 The Figure 12, from the state that the steering 13, a time chart for explaining the procedure for selecting a transition estimation model when sensor group 3 transitions to the state to operate the operation target that can not be detected is there.

まず図11に示すように、運転者がステアリング13を操作しているときには(指示C01を参照)、操作状態リスト43bの操作記憶領域LA3(ステアリング)は「オン」であり(指示C02を参照)、操作記憶領域LA1(ナビゲーション装置)は「オフ」であり(指示C03を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C04を参照)。 First, as shown in FIG. 11, (see instruction C01) when the driver is operating the steering 13, operation storage area of ​​the operation state list 43 b LA3 (steering) is "on" (see instruction C02) , operating the storage area LA1 (navigation device) is "off" (see instruction C03), the operation target information stored in the control target storage area LB is "steering" (see instructions C04). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C05を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C05). なお、このときの操作継続判定タイマ値は0である(指示C06を参照)。 The operation continuation determining timer value at this time is 0 (see instructions C06).

そして、運転者がステアリング13から手を離し(時刻t1を参照)、ステアリング13を操作している状態から、ナビゲーション装置11を操作する状態へ遷移する途中では(指示C11を参照)、操作状態リスト43bの操作記憶領域LA3(ステアリング)は「オフ」であり(指示C12を参照)、操作記憶領域LA1(ナビゲーション装置)は「オフ」であり(指示C13を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C14を参照)。 Then, the driver releases the hand from the steering 13 (see time t1), a state that the steering 13, (see instruction C11) is in the course of transition to the state to operate the navigation device 11, the operation state list 43b operation storage area LA3 of the (steering) is "off" (see instruction C12), operation storage area LA1 (navigation device) is "off" (see instruction C13), the control target storage area LB operation target storage information is "steering" (see instructions C14). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C15を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C15). なお、運転者がステアリング13から手を離した時点(時刻t1)で、操作継続判定タイマTM1がインクリメントを開始し、時間の経過とともに操作継続判定タイマ値が増加する(指示C16を参照)。 Incidentally, when the driver releases the hand from the steering 13 (time t1), the operation continuation determination timer TM1 starts incrementing operation continuation determining timer value increases with the passage of time (see instructions C16).

そして、運転者がステアリング13から手を離してから、操作継続判定値JTに相当する時間が経過する前に(時刻t2を参照)、運転者がナビゲーション装置11を操作する状態となると(指示C21を参照)、操作状態リスト43bの操作記憶領域LA3(ステアリング)は「オフ」であり(指示C22を参照)、操作記憶領域LA1(ナビゲーション装置)は「オン」になり(指示C23を参照)、操作対象記憶領域LBの操作対象記憶情報は「ナビゲーション装置」になる(指示C24を参照)。 Then, (see time t2) after release the driver steering 13, before the elapse of the time corresponding to the operation continuation determining value JT, when the driver is in a state of operating a navigation device 11 (indication C21 see), operation storage area of ​​the operation state list 43 b LA3 (steering) is "off" (see instruction C22), operation storage area LA1 (navigation device) is turned "on" (see instruction C23), control target storage information of the operation target storage area LB is "navigation system" (see instructions C24). このため、ナビゲーション装置11を起点とした遷移推定モデルが選択される(指示C25を参照)。 Therefore, transition estimation model in which the navigation device 11 as the starting point is selected (see instructions C25). なお、運転者がナビゲーション装置11を操作する状態になった時点(時刻t2)で、操作継続判定タイマTM1がインクリメントを中止し、操作継続判定タイマ値が0になる(指示C26を参照)。 Incidentally, when the driver is ready to operate the navigation device 11 (time t2), the operation continuation determination timer TM1 is discontinued increment operation continuation determining timer value becomes 0 (see instructions C26).

次に図12に示すように、運転者がステアリング13を操作しているときには(指示C31を参照)、操作状態リスト43bの操作記憶領域LA3(ステアリング)は「オン」であり(指示C32を参照)、操作記憶領域LA1,2,4,5は「オフ」であり(指示C33〜C36を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C37を参照)。 Next, as shown in FIG. 12, when the driver is operating the steering 13 (see indication C31), operation storage area of ​​the operation state list 43 b LA3 (steering) is "on" (see instruction C32 ), operating the storage area LA1,2,4,5 is "off" (see instruction C33~C36), the operation target information stored in the control target storage area LB is "steering" (see instructions C37). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C38を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C38). なお、このときの操作継続判定タイマ値は0である(指示C39を参照)。 The operation continuation determining timer value at this time is 0 (see instructions C39).

そして、運転者がステアリング13から手を離し(時刻t11を参照)、ステアリング13を操作している状態から、センサ群3が検出することができない操作対象を操作する状態へ遷移する途中では(指示C41を参照)、操作状態リスト43bの操作記憶領域LA1〜5は「オフ」であり(指示C42〜C46を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C47を参照)。 Then, (see time t11) the driver releases the hand from the steering 13 from the state that the steering 13, is in the course of sensor group 3 is shifted to the state to operate the operation target can not be detected (indicated Referring to C41), the operation storage area LA1~5 operation state list 43b is "off" (see instruction C42~C46), the operation target information stored in the control target storage area LB is "steering" (instruction C47 see). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C48を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C48). なお、運転者がステアリング13から手を離した時点(時刻t11)で、操作継続判定タイマTM1がインクリメントを開始し、時間の経過とともに操作継続判定タイマ値が増加する(指示C49を参照)。 Incidentally, when the driver releases the hand from the steering 13 (time t11), the operation continuation determination timer TM1 starts incrementing operation continuation determining timer value increases with the passage of time (see instructions C49).

そして、運転者がステアリング13から手を離してから、操作継続判定値JTに相当する時間が経過した時点で(時刻t12を参照)、センサ群3が操作対象を検出することができないため(指示C51を参照)、操作状態リスト43bの操作記憶領域LA1〜5は「オフ」であり(指示C52〜C56を参照)、操作対象記憶領域LBの操作対象記憶情報は「なし」になる(指示C57を参照)。 Then, (see time t12) after release the driver steering 13, when a time corresponding to the operation continuation determining value JT has elapsed, since the sensor group 3 can not detect the operation target (an instruction see C51), operation storage area LA1~5 of operation state list 43b is "off" (see instructions C52~C56), the operation target information stored in the control target storage area LB is "none" (instruction C57 see). このため、例外時推定モデルが選択される(指示C58を参照)。 Therefore, an exception during estimation model is selected (see instructions C58). なお、操作継続判定値JTに相当する時間が経過しても(時刻t12)、操作継続判定タイマTM1はインクリメントを継続し、時間の経過とともに操作継続判定タイマ値が増加する(指示C59を参照)。 The operation continuation determining value over time corresponding to JT (time t12), the operation continuation determination timer TM1 continues to increment, increase the operation continuation determining timer values ​​over time (see instruction C59) .

このように構成された操作支援システム1では、まず、複数の操作対象(すなわち、ナビゲーション装置11、エアコン12、ステアリング13、シフトレバー14、コンソールボックス15、グローブボックス16、バックミラー17)と操作対象を操作可能な位置に存在する運転者とを含む画像(以下、操作画像という)を繰り返し取得し(S10)、そして、取得された操作画像を用いて、運転者の姿勢を表す人体特徴点を特定する(S20)。 In the thus configured operation support system 1, firstly, a plurality of operation target (i.e., the navigation device 11, air conditioning 12, steering 13, a shift lever 14, the console box 15, the glove box 16, the back mirror 17) and the operation target the image including a driver present in operable position (hereinafter, referred to as operation image) acquired repeatedly (S10), and, using the obtained operation image, the body feature points representing the attitude of the driver identifying (S20). また操作推定装置4のRAM43が、操作対象を操作する運転者が辿ると推定される姿勢軌跡(推定姿勢軌跡)をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶するとともに、センサ群3が、複数の操作対象の中から、運転者が操作している操作対象(以下、操作中操作対象という)を検出する。 The RAM43 operation estimating device 4 stores a plurality of transition estimation model estimated posture trajectory that the driver follows the (estimated posture trajectory) obtained by modeling for each operation content to operate the operation target, the sensor group 3, from among a plurality of operation target, the operation target the driver is operating (hereinafter referred to as operation in the operation target) is detected.

そして、センサ群3による検出結果に基づいて、運転者が操作している又は運転者が直前に操作していた操作対象(以下、最終操作対象ともいう)を特定する(S320,S410〜S460)。 Then, based on the detection result by the sensor group 3, the driver operation target operation from or the driver has been operating immediately before (hereinafter, also referred to as a final manipulated) to identify (S320, S410~S460) .

さらに、複数の遷移推定モデルの中から、特定された最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する(S480)。 Furthermore, from a plurality of transition estimation model, to select a transition estimation model that models the estimated posture trajectory starting from the specified final operation target (S480). その後に、操作画像毎に特定された人体特徴点を用いて求められる運転者の姿勢軌跡(実姿勢軌跡)と、選択された遷移推定モデルとを照合し、この照合結果に基づいて、運転者の操作内容を推定する(S110〜S190)。 Then, against the driver's posture trajectory determined using the human body feature points identified in each operation image (the actual attitude trajectory), and a selected transition estimation model, based on the verification result, the driver to estimate the operation content (S110~S190).

このように構成された操作支援システム1によれば、複数の遷移推定モデルの中から、最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより運転者の操作内容を推定することができる。 According to the configured operation support system 1, from a plurality of transition estimation model, the estimated posture trajectory that the final control target origin select modeled transition estimation model, transition estimation model this selection When, it is possible to estimate the operation content of the driver by collating the actual attitude trajectory. このため、記憶された遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。 Therefore, as compared with the case where matching all the actual attitude trajectory of the stored transition estimation model, it is possible to reduce the number of transition estimation model used for verification. これにより、運転者の操作内容を推定する処理を行うための演算量を低減することができる。 Thus, it is possible to reduce the amount of calculation for performing the processing for estimating the operation content of the driver. なお、この低減効果は、操作対象の数が多くなるほど大きい。 Note that this reduction is greater the greater number of the operation target.

また、運転者が操作している又は運転者が直前に操作していた操作対象(最終操作対象)を特定し、この最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを用いて照合を行うので、特定された最終操作対象以外を起点とした操作内容を運転者が実施していると推定することがない。 Further, to identify the operator or driver driver is operating has been operated immediately before the target (final manipulated), a transition estimation model that models the estimated posture trajectory starting from the final operation target since the verification Te, is not to be estimated to exemplary driver operating content as a starting point other than the last operation the specified target. すなわち、特定された操作対象を運転者が操作している状態を起点とした操作内容を運転者が実施する場合に、運転者が操作している操作対象以外を起点とした操作内容を運転者が実施していると推定することがない。 That is, when carrying out the driver's operation content starting from the state in which the driver a specified manipulation target is operating, driving the operation content starting from the non-operation target driver is operator There is not possible to estimate to be carried out. このため、運転者の現時点の姿勢では行うことができない操作内容を、運転者の操作内容であると推定しまう可能性を低減することができる。 Therefore, the operation content that can not be performed at the moment of the posture of the driver, it is possible to reduce the likelihood result estimated at operation content of the driver. つまり、誤推定の頻度を低減することができる。 That is, it is possible to reduce the frequency of erroneous estimation.

また、最終操作対象を特定することができない場合には(S470:NO)、センサ群3の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する(S490)。 Further, when it is impossible to identify the final operation target (S470: NO), selects a transition estimation model the operation target which is not a detection target sensor group 3 was modeled estimate posture trajectory as a starting point ( S490).

これにより、複数の遷移推定モデルの中から、センサ群3の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより運転者の操作内容を推定することができる。 Thus, from a plurality of transition estimation model, select transition estimation model the operation target which is not a detection target sensor group 3 was modeled estimate posture trajectory as a starting point, and the selected transition estimation model, it is possible to estimate the operation content of the driver by collating the actual attitude trajectory. このため、記憶された遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。 Therefore, as compared with the case where matching all the actual attitude trajectory of the stored transition estimation model, it is possible to reduce the number of transition estimation model used for verification. これにより、運転者の操作内容を推定する処理を行うための演算量を低減することができる。 Thus, it is possible to reduce the amount of calculation for performing the processing for estimating the operation content of the driver.

また、操作検出手段の検出対象となっている操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルが除外されているので、センサ群3の検出対象となっている操作対象を起点とした操作内容を運転者が実施していると推定することがない。 Further, since the transition estimation model that models the estimated posture trajectory starting from the operation target which is a detection target of the operation detecting means is excluded, and starting from the operation object which is a detection target of the sensor group 3 never to the operation content by the driver is estimated to be performed. すなわち、センサ群3の検出対象となっていない操作対象を運転者が操作している状態を起点とした操作内容を運転者が実施する場合に、センサ群3の検出対象となっている操作対象を起点とした操作内容を運転者が実施していると推定することがない。 That is, when the driver of the operation content of the operation target which is not a detection target sensor group 3 the driver starting from the state where the operation is carried out, the operation target which is the object of detection of the sensor group 3 It is not to estimate the operating content as a starting point the driver has performed. このため、運転者の現時点の姿勢では行うことができない操作内容を、運転者の操作内容であると推定しまう可能性を低減することができる。 Therefore, the operation content that can not be performed at the moment of the posture of the driver, it is possible to reduce the likelihood result estimated at operation content of the driver. つまり、誤推定の頻度を低減することができる。 That is, it is possible to reduce the frequency of erroneous estimation.

また、センサ群3の検出対象となっていない操作対象を運転者が操作していると特定するため、すなわち、最終操作対象を特定することができないとするために、運転者が操作している操作対象(以下、操作中操作対象ともいう)をセンサ群3が検出していない状態が操作継続判定値JTに相当する時間継続した場合に、最終操作対象を特定することができないとする(S450,S460)。 Further, in order to identify the operation object which is not a detection target sensor group 3 the driver is operating, i.e., in order to the final operation target can not be identified, the driver is operating operation target when the (hereinafter, the operation in the operation target also called) the sensor group 3 and duration the state has not been detected corresponding to the operation continuation determining value JT, and the final control target can not be identified (S450 , S460).

つまり、センサ群3が操作中操作対象を検出していない状態が操作継続判定値JTに相当する時間継続した場合には、センサ群3の検出対象となっていない操作対象を運転者が操作していると看做している。 That is, when the sensor group 3 is a state that does not detect the operation of the operation target and the duration corresponding to the operation continuation determining value JT is the operation target not the detected sensor group 3 the driver manipulates and that is the considered.

これにより、センサ群3が操作中操作対象を検出していない状態が継続している時間を計測するという簡便な方法によって、センサ群3の検出対象となっていない操作対象を運転者が操作していると特定することができる。 Thus, by the simple method of measuring the time that state sensor group 3 does not detect the operation of the operation target is continued, the driver of the operation target not the detected sensor group 3 is operated and that it can be identified.

以上説明した実施形態において、カメラ2及びS10の処理は本発明における画像取得手段、S20の処理は本発明における人体特徴点特定手段、RAM43は本発明における推定モデル記憶手段、センサ群3は本発明における操作検出手段、S320及びS410〜S460の処理は本発明における操作対象特定手段、S480及びS490の処理は本発明におけるモデル選択手段、S110〜S190の処理は本発明における操作推定手段、操作継続判定値JTに相当する時間は本発明における所定判定時間である。 In the embodiment described above, the image acquisition unit in the processing of the camera 2 and S10 the invention, the body feature point specifying means in the present invention the process of S20, RAM 43 the estimation model storage means in the present invention, the sensor group 3 present invention operation detecting means in the operation target specifying means in the present invention the process of S320 and S410~S460, model selection means in the present invention the process of S480 and S490, the operation estimating means in the present invention process S110~S190 operation continuation determination time corresponding to the value JT is a predetermined determination time in the present invention.

(第2実施形態) (Second Embodiment)
以下に本発明の第2実施形態を説明する。 Explaining the second embodiment of the present invention are described below. なお、第2実施形態では、第1実施形態と異なる部分のみを説明する。 In the second embodiment, it will be described only portions different from the first embodiment.

第2実施形態の操作支援システム1は、推定モデル選択処理が変更された点以外は第1実施形態と同じである。 Operation support system 1 of the second embodiment, except that the estimation model selection process has been changed is the same as the first embodiment.

第2実施形態の推定モデル選択処理の手順を図13を用いて説明する。 The procedure of estimation model selection process of the second embodiment will be described with reference to FIG. 13. 図13は第2実施形態の推定モデル選択処理を示すフローチャートである。 Figure 13 is a flowchart showing an estimation model selection process of the second embodiment.

第2実施形態の推定モデル選択処理が実行されると、操作推定装置4は、まずS610にて、人体特徴点リスト43aに登録された人体特徴点の時間変化に基づいて、人体特徴点の移動速度VPを算出する。 The estimated model selection process of the second embodiment is executed, the operation estimating device 4, first at S610, based on the time variation of the human body feature points registered in the human body feature point list 43a, the movement of the human body feature points to calculate the speed VP. さらにS620にて、人体特徴点の移動速度VPが、予め設定された動作中判定値JV1以上であるか否かを判断する。 Further in S620, the moving speed VP of the human body feature points, determines whether a predetermined operation during the determination value JV1 more. すなわち、運転者が或る操作対象を操作していた状態から別の操作対象の操作へと移行する動作(以下、移行動作ともいう)を行っているか否かを判断する。 That is, the driver operates to shift from the state which has been operated a certain operation target to another operation target of the operation (hereinafter, transition operation also called) determines whether performed.

ここで、人体特徴点の移動速度VPが動作中判定値JV1未満である場合には(S620:NO)、移行動作を行っていないと判断し、S640に移行する。 Here, the moving speed VP of the human body feature point in the case is less than during operation judging value JV1: determining that (S620 NO), not performing the migration operation, the process proceeds to S640. 一方、人体特徴点の移動速度VPが動作中判定値JV1以上である場合には(S620:YES)、移行動作を行っていると判断し、S630にて、操作推定装置4のRAM43に設けられた動作中指示フラグF1をセットして、S640に移行する。 On the other hand, when the moving speed VP of the human body feature points is in the determination value JV1 above operation (S620: YES), determines that the performed transition operation, in S630, provided RAM43 operations estimator 4 It was in by setting the instruction flag F1 operation, the process proceeds to S640.

そしてS640に移行すると、動作中指示フラグF1がセットされているか否かを判断する。 When the process proceeds to S640, in operation instruction flag F1 is judged whether it is set. ここで、動作中指示フラグF1がクリアされている場合には(S640:NO)、S680に移行する。 Here, if the operation in the indicator flag F1 is cleared (S640: NO), the process proceeds to S680. 一方、動作中指示フラグF1がセットされている場合には(S640:YES)、S650にて、人体特徴点の移動速度VPが、動作中判定値JV1より小さく設定されている動作終了判定値JV2未満であるか否かを判断する。 On the other hand, if the operation in the indicator flag F1 is set (S640: YES), in S650, the moving speed VP of the human body feature points, termination operation is set to be smaller than the operation in the determination value JV1 determination value JV2 It determines a whether below. すなわち、上記の移行動作が終了したか否かを判断する。 That is, whether the above transition operation is completed.

ここで、人体特徴点の移動速度VPが動作終了判定値JV2以上である場合には(S650:NO)、移行動作中であると判断し、S680に移行する。 Here, when the moving speed VP of the human body feature point of operation end determination value JV2 more (S650: NO), determines that the during the transition operation, the process proceeds to S680. 一方、人体特徴点の移動速度VPが動作終了判定値未満である場合には(S650:YES)、移行動作が終了したと判断し、S660にて、動作中指示フラグF1をクリアするとともに、S670にて、操作状態リスト43bの操作対象記憶領域LBに書き込まれている操作対象記憶情報を消去して、S680に移行する。 On the other hand, when the moving speed VP of the human body feature points is less than the operation end determination value (S650: YES), determines that the transition operation is finished, in S660, with clearing operation in instruction flag F1, S670 at erases the control target storage information written in the control target storage area LB of the operation status list 43 b, the process proceeds to S680.

そしてS680に移行すると、操作状態リスト43bの操作対象記憶領域LBに操作対象記憶情報が書き込まれているか否かを判断する。 When the process proceeds to S680, it is determined whether the operation target stored information in the control target storage area LB of the operation state list 43b is written. ここで、操作対象記憶情報が書き込まれている場合には(S680:YES)、S690にて、操作対象記憶情報に応じた操作対象を起点とした遷移推定モデル(通常時推定モデル)を選択し、推定モデル選択処理を一旦終了する。 Here, if the control target storage information is written (S680: YES), in S690, selects a transition estimation model starting from the operation target in accordance with the operation target stored information (normal estimation model) , once to end the estimation model selection process.

一方、操作対象記憶情報が書き込まれていない場合には(S680:NO)、S700にて、操作されたか否かをセンサ群3が検出することができない操作対象を起点とした遷移推定モデル(例外時推定モデル)を選択し、推定モデル選択処理を一旦終了する。 On the other hand, if the control target storage information is not written (S680: NO), in S700, transition estimation model whether or not the operated sensor group 3 starting from the operation target can not be detected (Exception select the time of estimation model), once to end the estimation model selection process.

なお、操作状態リスト43bの操作対象記憶領域LBに書き込まれている操作対象記憶情報は、操作状態監視処理により書き込みが行われ、推定モデル選択処理により消去される。 The operation target storage information written in the control target storage area LB of the operation state list 43b, the writing is performed by the operation state monitoring processing, it is erased by the estimation model selection process. このため、推定モデル選択処理のS680で操作対象記憶情報を参照する際に、操作状態監視処理を行い、最新の操作対象記憶情報を参照することとしてもよい。 Therefore, when referring to the operation target stored information S680 estimation model selection process, do state monitoring process, it is also possible to refer to the most recent operation target stored information.

このように構成された操作支援システム1において、遷移推定モデルを選択する手順を図14を用いて説明する。 In the thus constituted operation support system 1, a procedure for selecting a transition estimation model will be described with reference to FIG. 14.

図14は、ステアリング13を操作している状態から、センサ群3が検出することができない操作対象を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。 14, from a state that the steering 13 is the time chart for explaining a procedure for selecting a transition estimation model when sensor group 3 transitions to the state to operate the operation target that can not be detected .

図14に示すように、運転者がステアリング13を操作しているときには(指示C61を参照)、操作状態リスト43bの操作記憶領域LA3(ステアリング)は「オン」であり(指示C62を参照)、操作記憶領域LA1,2,4,5は「オフ」であり(指示C63〜C66を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C67を参照)。 As shown in FIG. 14, (see instruction C61) when the driver is operating the steering 13, operation storage area of ​​the operation state list 43 b LA3 (steering) is "on" (see instruction C62), operation storage area LA1,2,4,5 is "off" (see instruction C63~C66), the operation target information stored in the control target storage area LB is "steering" (see instructions C67). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C68を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C68). なお、このときの人体特徴点移動速度VPは略0である(指示C69を参照)。 Incidentally, the body feature point movement speed VP at this time is substantially zero (see instructions C69).

そして、運転者がステアリング13から手を離し(時刻t21を参照)、ステアリング13を操作している状態から、センサ群3が検出することができない操作対象を操作する状態へ遷移する途中では(指示C71を参照)、操作状態リスト43bの操作記憶領域LA1〜5は「オフ」であり(指示C72〜C76を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C77を参照)。 Then, (see time t21) the driver releases the hand from the steering 13 from the state that the steering 13, is in the course of sensor group 3 is shifted to the state to operate the operation target can not be detected (indicated Referring to C71), the operation storage area LA1~5 operation state list 43b is "off" (see instruction C72~C76), the operation target information stored in the control target storage area LB is "steering" (instruction C77 see). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C78を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C78). なお、このときの人体特徴点移動速度VPは徐々に大きくなり、動作中判定値JV1を超える(時刻t22を参照)。 Incidentally, the body feature point movement speed VP at this time is gradually increased, than the operation in the determination value JV1 (see time t22).

そして、センサ群3が検出することができない操作対象に運転者の手が到達すると(時刻t23を参照)、センサ群3が操作対象を検出することができないため(指示C81を参照)、操作状態リスト43bの操作記憶領域LA1〜5は「オフ」であり(指示C82〜C86を参照)、操作対象記憶領域LBの操作対象記憶情報は「ステアリング」である(指示C87を参照)。 Then, (see time t23) when the driver's hand reaches the operation target sensor group 3 can not be detected, (see instructions C81) for sensor group 3 can not detect the operation target, the operation state operation storage area LA1~5 of the list 43b is "off" (see instructions C82~C86), the operation target information stored in the control target storage area LB is "steering" (see instructions C87). このため、ステアリング13を起点とした遷移推定モデルが選択される(指示C88を参照)。 Therefore, transition estimation model starting from the steering 13 is selected (see instructions C88).

なお、このときの人体特徴点移動速度VPは徐々に小さくなり、動作終了判定値JV2未満となる(時刻t24を参照)。 Incidentally, the body feature point movement speed VP at this time is gradually reduced, less than the operation end determination value JV2 (see time t24). これにより、操作対象記憶領域LBの操作対象記憶情報は「なし」になる(指示C97を参照)。 Accordingly, the operation target information stored in the control target storage area LB is "none" (see instructions C97). このため、例外時推定モデルが選択される(指示C98を参照)。 Therefore, an exception during estimation model is selected (see instructions C98).

このように構成された操作支援システム1では、操作画像毎に特定された人体特徴点の変化に基づいて、人体特徴点移動速度VPを算出するとともに(S610)、人体特徴点移動速度VPに基づいて、運転者が操作対象を操作しているか否かを判断し(S620〜S650)、運転者が操作対象を操作していると判断し(S640,S650:YES)、且つ、センサ群3が操作中操作対象を検出していない場合に(S680:NO)、最終操作対象を特定することができないとする。 In the thus configured operation support system 1, based on the change of human body feature points identified in each operation image, and calculates the body feature point movement speed VP (S610), based on the human body feature point movement speed VP Te, it is determined whether the driver is operating the operation target (S620~S650), it determines that the driver is operating the operation target (S640, S650: YES), and, the sensor group 3 the operation in the operation target if not detected (S680: nO), and the final control target can not be identified.

このように構成された操作支援システム1によれば、運転者の実際の動作に基づいて、運転者が操作対象を操作しているか否かを判断できるので、第1実施形態に記載の手法と比較して、この判断の精度を向上させることができる。 Thus, according to the configured operation support system 1, based on the actual operation of the driver, it can be determined whether the driver is operating the operation target, the method according to the first embodiment in comparison, it is possible to improve the accuracy of the determination.

例えば、第1実施形態に記載の手法では、操作継続判定値JTに相当する時間の長さによっては、運転者が或る操作対象から他の操作対象に触れようとして動作している最中に操作継続判定値JTに相当する時間が経過してしまうことが考えられる。 For example, in the method according to the first embodiment, depending on the length of time corresponding to the operation continuation determining value JT, while the driver is operating as if to touch from one operation target to another operation target the time corresponding to the operation continuation determining value JT will be passed is considered. したがって、操作継続判定値JTに相当する時間の長さによっては、運転者が他の操作対象に触れていないにもかかわらず、センサ群3の検出対象となっていない操作対象を運転者が操作していると判断してしまう頻度が多くなる。 Thus, depending on the length of time corresponding to the operation continuation determining value JT, despite the driver does not touch the other of the operation target, the operation target which is not a detection target of the sensor group 3 driver operation and it has a frequency that will become more and judgment.

一方、第2実施形態に記載の手法では、操作継続判定値JTに相当する時間の長さに関係なく、人体特徴点移動速度VPが小さくなったときに、運転者が他の操作対象に触れていると判断する。 Meanwhile, in the method according to the second embodiment, regardless of the length of time corresponding to the operation continuation determining value JT, when a human body feature point moving speed VP is decreased, touch driver to another operation target It determines that. このため、運転者が或る操作対象から他の操作対象に触れようとして動作している最中に、センサ群3の検出対象となっていない操作対象を運転者が操作していると判断してしまう頻度が少なくなる。 Therefore, it is determined while the driver is operating as if to touch from one operation target to another operation target, and the operation target not the detected sensor group 3 driver is operating and thus the frequency is reduced.

以上説明した実施形態において、S610の処理は本発明における動作変化量算出手段、S620〜S650の処理は本発明における操作判断手段である。 In the embodiment described above, the operation change amount calculating means in the present invention the process of S610, the processing of S620~S650 is an operation determining unit in the present invention.
以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。 Having described an embodiment of the present invention, the present invention is not limited to the above embodiments, it can take various forms within the technical scope of the present invention.

例えば上記実施形態においては、センサ群3の検出結果に基づいて最終操作対象を特定するものを示した。 For example, in the above embodiments showed that identifies the final operation target based on a detection result of the sensor group 3. しかし、取得された操作画像を用いて運転者の姿勢を推定し、この推定結果に基づいて最終操作対象を特定するようにしてもよい。 However, using the obtained operation image to estimate the position of the driver, it may be specified final operation target based on the estimation result. これにより、上記の操作中操作対象を検出するための手段を省略することができる。 Thus, it is possible to omit the means for detecting the operation in the operation target.

また、センサ群3の検出結果と、運転者の姿勢の上記推定結果との両方に基づいて最終操作対象を特定するようにしてもよい。 Further, a detection result of the sensor group 3, may be specified final operation target based on both the above estimation result of the driver's position.

また、センサ群3の検出結果に基づいて、センサ群3の検出対象となっている最終操作対象を特定するとともに、運転者の姿勢の上記推定結果に基づいて、センサ群3の検出対象となっていない最終操作対象を特定するようにしてもよい。 Further, based on the detection result of the sensor group 3, with specifying the last operation target that is the detection target of the sensor group 3, based on the estimation result of the driver's position, a detected sensor group 3 not the last operation object may be identified.

また上記実施形態においては、操作継続判定値JTが1つであるものを示したが、操作対象毎に異なる操作継続判定値を設定するようにしてもよい。 In the above embodiment has been described what operation continuation determining value JT is one, may be set to different operating continuation determining value for each operation target. また、操作継続判定値JTは、複数の操作対象の平均値であってもよいし、中央値や、95%をカバーする上限値としてもよい。 The operation continuation determining value JT may be a mean value of a plurality of operation target, the median or may be a limit to cover 95%.

1…操作支援システム、2…カメラ、3…センサ群、4…操作推定装置、5…車載装置群、11…ナビゲーション装置、12…エアコン、13…ステアリング、14…シフトレバー、15…コンソールボックス、16…グローブボックス、17…バックミラー、31…ナビゲーション装置センサ、32…エアコンセンサ、33…ステアリングセンサ、34…シフトレバーセンサ、35…コンソールボックスセンサ、41…CPU、42…ROM、43…RAM、43a…人体特徴点リスト、43b…操作状態リスト、51…ACC装置、52…ブレーキ装置、53…変速装置、54…シートベルト装置、55…ステアリング装置 1 ... operation support system, 2 ... camera, 3 ... sensors, 4 ... operation estimating apparatus, 5 ... vehicle device group, 11 ... navigation device, 12 ... air conditioner, 13 ... steering, 14: shift lever 15 ... console box, 16 ... glove box, 17 ... rear view mirror, 31 ... navigation device sensor, 32 ... air conditioning sensor, 33 ... steering sensor, 34: shift lever sensor, 35 ... console box sensor, 41 ... CPU, 42 ... ROM, 43 ... RAM, 43a ... human body feature point list, 43 b ... operation state list, 51 ... ACC device 52 ... braking system, 53 ... transmission, 54 ... seat belt device, 55 ... steering device

Claims (5)

  1. 複数の操作対象と該操作対象を操作可能な位置に存在する操作者とを含む画像である操作画像を繰り返し取得する画像取得手段と、 An image acquisition means repeatedly acquires the operation image is an image including the operator present a plurality of operation target and the manipulation target operable position,
    前記画像取得手段により取得された前記操作画像を用いて、前記操作者の姿勢を表す所定の人体特徴点を特定する人体特徴点特定手段と、 And the body feature point specifying means for specifying a predetermined human body feature points by using the operation image acquired, representing the orientation of the operator by the image acquisition unit,
    前記操作対象を操作する操作者が辿ると推定される姿勢軌跡である推定姿勢軌跡をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶する推定モデル記憶手段と、 And estimation model storage means for storing a plurality of transition estimation model formed by modeling the estimated posture trajectory operator is posture trajectory is estimated to follow operating the operation target for each content of the operation,
    複数の前記操作対象の中から、前記操作者が操作している前記操作対象である操作中操作対象を検出する操作検出手段と、 From among the plurality of the operation target, an operation detection means for detecting an operation in the operation target is the operation target of the operator is operating,
    前記操作検出手段による検出結果に基づいて、前記操作者が操作している又は前記操作者が直前に操作していた前記操作対象である最終操作対象を特定する操作対象特定手段と、 Based on the detection result by the operation detecting means, an operation target specifying means the operator or is operating for the operator to identify the final control target which is the operation target that was operated immediately before,
    前記推定モデル記憶手段が記憶する複数の前記遷移推定モデルの中から、前記操作対象特定手段が特定した前記最終操作対象を起点とした前記推定姿勢軌跡をモデル化した前記遷移推定モデルを選択するモデル選択手段と、 The estimation model from the storage means among the plurality of transition estimation model for storing a model of selecting the transition estimation model that models the estimated posture trajectory starting from the said final operation target the operation target specifying means specified and selection means,
    前記人体特徴点特定手段により前記操作画像毎に特定された前記人体特徴点を用いて求められる前記操作者の姿勢軌跡である実姿勢軌跡と、前記モデル選択手段により選択された前記遷移推定モデルとを照合し、この照合結果に基づいて、前記操作者の前記操作内容を推定する操作推定手段と を備えることを特徴とする操作推定装置。 And the actual attitude trajectory is a posture trajectory of the operator is determined using the human body feature points identified for each of the operation image by the human body feature point specifying means, and the transition estimation model selected by the model selecting means matches, on the basis of the collation result, the operation estimation device characterized by comprising an operation estimating means for estimating the operation contents of the operator.
  2. 前記モデル選択手段は、 The model selecting means,
    前記操作対象特定手段が前記最終操作対象を特定することができない場合には、前記操作検出手段の検出対象となっていない前記操作対象を起点とした前記推定姿勢軌跡をモデル化した前記遷移推定モデルを選択する ことを特徴とする請求項1に記載の操作推定装置。 Wherein when the operation target specifying means is unable to identify the final operation target, the transition estimation model that models the estimated posture trajectory of the operation target on the customers that not the detection target of the operation detection means operation estimating apparatus according to claim 1, characterized in that selecting.
  3. 前記操作対象特定手段は、 The operation target specifying means,
    前記操作検出手段が前記操作中操作対象を検出していない状態が予め設定された所定判定時間継続した場合に、前記最終操作対象を特定することができないとする ことを特徴とする請求項2に記載の操作推定装置。 When a state where the operation detecting unit does not detect the operation of the operation target is continued preset predetermined determination time, to claim 2, characterized in that the inability to identify the said final operation target operation estimating apparatus described.
  4. 前記人体特徴点特定手段により前記操作画像毎に特定された前記人体特徴点の変化に基づいて、前記操作者による動作の単位時間当たりの変化量である動作変化量を算出する動作変化量算出手段と、 Wherein said identified for each of the operation image by the body feature point specifying means based on a change in the human body feature points, the operation change amount calculating means for calculating an operation amount of change is the amount of change per unit operating time by the operator When,
    前記動作変化量算出手段による算出された前記動作変化量に基づいて、前記操作者が前記操作対象を操作しているか否かを判断する操作判断手段とを備え、 Based on the operation change amount calculated by the operation change amount calculating means, and an operation determining unit that the operator determines whether or not operating the operation target,
    前記操作対象特定手段は、 The operation target specifying means,
    前記操作者が前記操作対象を操作していると前記操作判断手段が判断し、且つ、前記操作検出手段が前記操作中操作対象を検出していない場合に、前記最終操作対象を特定することができないとする ことを特徴とする請求項2に記載の操作推定装置。 The operator determines that said operation judging means is operating the operation target, and, when the operation detection means does not detect the operation of the operation target, is possible to specify the final operation target operation estimating apparatus according to claim 2, characterized in that the impossible.
  5. 請求項1〜請求項4の何れかに記載の操作推定装置の前記各手段としてコンピュータを機能させるためのプログラム。 Program for the causing a computer to function as each means of the operation estimating apparatus according to any one of claims 1 to 4.
JP2009007616A 2009-01-16 2009-01-16 Operation estimating apparatus and program Active JP4973667B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009007616A JP4973667B2 (en) 2009-01-16 2009-01-16 Operation estimating apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009007616A JP4973667B2 (en) 2009-01-16 2009-01-16 Operation estimating apparatus and program

Publications (2)

Publication Number Publication Date
JP2010165223A true JP2010165223A (en) 2010-07-29
JP4973667B2 true JP4973667B2 (en) 2012-07-11

Family

ID=42581321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009007616A Active JP4973667B2 (en) 2009-01-16 2009-01-16 Operation estimating apparatus and program

Country Status (1)

Country Link
JP (1) JP4973667B2 (en)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320920A (en) * 1995-05-24 1996-12-03 Matsushita Electric Ind Co Ltd Device and method for hand operation recognition
JPH09305743A (en) * 1996-05-20 1997-11-28 Toshiba Corp Human face motion detecting system
JPH11316850A (en) * 1998-03-05 1999-11-16 Okada Boeki Kk Method for extracting contour of moving picture and video/voice discrimination command device using this method
JP2002359766A (en) * 2001-03-30 2002-12-13 Hitachi Kokusai Electric Inc Method and apparatus for controlling view field of image picking-up apparatus and computer program therefor
JP4035610B2 (en) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 Interface device
JP2004356819A (en) * 2003-05-28 2004-12-16 Sharp Corp Remote control apparatus
JP4311190B2 (en) * 2003-12-17 2009-08-12 株式会社デンソー Interface for in-vehicle equipment
JP2006301915A (en) * 2005-04-20 2006-11-02 Olympus Corp Electronic data operating apparatus
WO2008007471A1 (en) * 2006-07-10 2008-01-17 Kyoto University Walker tracking method and walker tracking device
JP4752721B2 (en) * 2006-10-24 2011-08-17 オムロン株式会社 Movement pattern identification apparatus, the mobile pattern specific method, the moving pattern specific program, and a recording medium recording this
JP4670803B2 (en) * 2006-12-04 2011-04-13 株式会社デンソー Operation estimating apparatus and program
JP5030580B2 (en) * 2006-12-27 2012-09-19 タカタ株式会社 The vehicle operating system, vehicle
JP4882930B2 (en) * 2007-09-11 2012-02-22 株式会社デンソー Behavior estimation device
JP5217754B2 (en) * 2008-08-06 2013-06-19 株式会社デンソー Behavior estimation device, program
JP2010044493A (en) * 2008-08-11 2010-02-25 Denso Corp Action estimation device, and program

Also Published As

Publication number Publication date Type
JP2010165223A (en) 2010-07-29 application

Similar Documents

Publication Publication Date Title
US20070183635A1 (en) Method for image-based driver identification in a motor vehicle
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
US20130111403A1 (en) In-vehicle display apparatus
JP2002331850A (en) Driving behavior intention detector
JP2004206275A (en) Automatic drive control system
JP2005050177A (en) Non-contact information input device
JP2005041433A (en) Vehicle guiding device and route judging program
JP2002112252A (en) Image processing apparatus and image processing method
WO2001039018A1 (en) System and method for detecting obstacles to vehicle motion
JP2006522397A (en) Multi-view display
JPH09238905A (en) Apparatus for measurement of direction of visual axis
JP2006227811A (en) Driving support apparatus
US20050264433A1 (en) Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
JP2005209019A (en) Apparatus, method and program for obstacle detection
JP2004322772A (en) In-vehicle electronic device
JP2003030627A (en) Vehicle peripheral image processor and recording medium
JP2002274301A (en) Obstacle detector
JPH0981307A (en) Equipment controller
JP2010184600A (en) Onboard gesture switch device
JP2003115100A (en) Vehicle peripheral image processor
US20090034794A1 (en) Conduct inference apparatus
JP2003344534A (en) On-vehicle radar equipment and program
US20130009759A1 (en) In-vehicle system
JP2004314855A (en) Apparatus operation control method and apparatus operation control system
JP2009217477A (en) Input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250