JP7212531B2 - Motion discrimination device, computer program, and storage medium - Google Patents

Motion discrimination device, computer program, and storage medium Download PDF

Info

Publication number
JP7212531B2
JP7212531B2 JP2019012197A JP2019012197A JP7212531B2 JP 7212531 B2 JP7212531 B2 JP 7212531B2 JP 2019012197 A JP2019012197 A JP 2019012197A JP 2019012197 A JP2019012197 A JP 2019012197A JP 7212531 B2 JP7212531 B2 JP 7212531B2
Authority
JP
Japan
Prior art keywords
motion
body part
movement
processor
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019012197A
Other languages
Japanese (ja)
Other versions
JP2020119434A (en
Inventor
佑記 名和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2019012197A priority Critical patent/JP7212531B2/en
Publication of JP2020119434A publication Critical patent/JP2020119434A/en
Application granted granted Critical
Publication of JP7212531B2 publication Critical patent/JP7212531B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

本発明は、車室内の乗員による動作を判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。 The present invention relates to a device for determining motion by occupants in a vehicle cabin. The invention also relates to a computer program executed by a processor provided in the device and a storage medium on which the computer program is stored.

特許文献１に開示されているように、カメラで撮影したユーザの手の動きに基づいて、所望の処理に関連付けられた動作を検出する装置が知られている。 2. Description of the Related Art As disclosed in Japanese Patent Laid-Open No. 2002-200012, there is known a device that detects an action associated with a desired process based on a motion of a user's hand photographed by a camera.

特開２００１－３０６２４３号公報JP-A-2001-306243

本発明の目的は、車室内の乗員による回転動作と払い動作の検出精度を高めることである。 SUMMARY OF THE INVENTION It is an object of the present invention to improve the detection accuracy of rotation and sweeping motions by passengers in the passenger compartment.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a motion discrimination device,
an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is less than a threshold value, it is determined that the occupant has performed a turning motion at the body part.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a motion discrimination device,
an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is equal to or greater than a threshold value, it is determined that the occupant performed a sweeping motion with the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine the motion of an occupant's body part based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is less than a threshold value, it is determined that the occupant has performed a turning motion at the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine the motion of an occupant's body part based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is equal to or greater than a threshold value, it is determined that the occupant performed a sweeping motion with the body part.

車室内の乗員の身体部位による払い動作終了後に元の位置へ当該身体部位を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の身体部位の移動速度の分布幅は、回転動作中の身体部位の移動速度の分布幅と異なる。上記のような構成によれば、身体部位の移動速度の分布幅に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ身体部位を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室内の乗員による回転動作と払い動作の判別精度を高めることができる。 After the bodily part of the occupant in the vehicle is swept away, the motion of returning the body part to its original position is likely to be misidentified as a rotating motion. However, the distribution width of the movement speed of the body part during the return motion differs from the distribution width of the movement speed of the body part during the rotation motion. According to the configuration as described above, since the rotation motion and the sweeping motion are determined based on the distribution width of the moving speed of the body part, the motion of returning the body part to the original position after the sweeping motion is finished is considered as the rotating motion. It is possible to suppress the possibility of being misidentified. Therefore, it is possible to improve the accuracy of discrimination between the turning motion and the sweeping motion by the occupant in the vehicle compartment.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a motion discrimination device,
an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
identifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
If the re-acceleration is not determined, it is determined that the occupant has performed a turning motion with the body part.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a motion discrimination device,
an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
identifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
When the re-acceleration is determined, it is determined that the occupant performed a sweeping motion with the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine the motion of an occupant's body part based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor
identifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
If the re-acceleration is not determined, it is determined that the occupant has performed a turning motion with the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine motion by a body part of an occupant based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor
identifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
When the re-acceleration is determined, it is determined that the occupant performed a sweeping motion with the body part.

車室内の乗員の身体部位による払い動作終了後に元の位置へ当該身体部位を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の身体部位の移動速度の経時変化履歴は、閾値速度未満までの減速後の再加速の有無において、回転動作中の身体部位の移動速度の経時変化履歴と異なる。上記のような構成によれば、身体部位の移動速度の経時変化履歴に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ身体部位を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室内の乗員による回転動作と払い動作の判別精度を高めることができる。 After the bodily part of the occupant in the vehicle is swept away, the motion of returning the body part to its original position is likely to be misidentified as a rotating motion. However, the history of change over time of the moving speed of the body part during the return motion differs from the history of change over time of the moving speed of the body part during the turning motion in the presence or absence of reacceleration after deceleration to less than the threshold speed. According to the above-described configuration, since the rotation motion and the sweeping motion are distinguished based on the history of change over time in the moving speed of the body part, the rotation motion is particularly the motion of returning the body part to its original position after the sweeping motion. It is possible to suppress the possibility of being misidentified as Therefore, it is possible to improve the accuracy of discrimination between the turning motion and the sweeping motion by the occupant in the vehicle compartment.

上記の目的を達成するための一態様は、上記のコンピュータプログラムを記憶している記憶媒体である。 One aspect for achieving the above object is a storage medium storing the above computer program.

一実施形態に係る動作判別システムの構成を例示している。1 illustrates the configuration of a motion determination system according to an embodiment; 図１の動作判別システムが搭載される車両の一部を例示している。2 illustrates a portion of a vehicle in which the motion determination system of FIG. 1 is mounted; 図１の動作判別装置により実行される処理を説明するための図である。FIG. 2 is a diagram for explaining a process executed by the action determination device of FIG. 1; FIG. 図１の動作判別装置により実行される処理を説明するための図である。FIG. 2 is a diagram for explaining a process executed by the action determination device of FIG. 1; FIG. 図１の動作判別装置により実行される処理の一例を示している。2 shows an example of processing executed by the action determination device of FIG. 1; 図１の動作判別装置により実行される処理の別例を示している。3 shows another example of processing executed by the action determination device of FIG. 1;

添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。 Exemplary embodiments are described in detail below with reference to the accompanying drawings. In each drawing used for the following description, the scale is appropriately changed so that each member has a recognizable size.

図１は、一実施形態に係る動作判別システム１の構成を模式的に示している。動作判別システム１は、ＴＯＦ（Time of Flight）カメラ２と動作判別装置３を含んでいる。図２は、動作判別システム１が搭載される車両４の一部を示している。矢印Ｌは、車両４の前後方向に沿う向きを示している。矢印Ｈは、車両４の高さ方向に沿う向きを示している。 FIG. 1 schematically shows the configuration of a motion discrimination system 1 according to one embodiment. A motion discrimination system 1 includes a TOF (Time of Flight) camera 2 and a motion discrimination device 3 . FIG. 2 shows a portion of a vehicle 4 on which the motion discrimination system 1 is mounted. An arrow L indicates a direction along the longitudinal direction of the vehicle 4 . An arrow H indicates a direction along the height direction of the vehicle 4 .

ＴＯＦカメラ２は、図２に示される車両４の車室４１内における適宜の位置に配置され、車室４１内の運転者５の手５１を含む画像を取得する。運転者５は、乗員の一例である。手５１は、身体部位の一例である。 The TOF camera 2 is arranged at an appropriate position inside the cabin 41 of the vehicle 4 shown in FIG. Driver 5 is an example of a passenger. Hand 51 is an example of a body part.

図１に示されるように、ＴＯＦカメラ２は、取得された画像に対応する画像データセットＩＤを出力する。画像データセットＩＤは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。 As shown in FIG. 1, the TOF camera 2 outputs an image dataset ID corresponding to the acquired image. The image dataset ID contains multiple pixel datasets. Each of the plurality of pixel data sets is associated with a corresponding one of the plurality of pixels making up the acquired image.

ＴＯＦカメラ２は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。ＴＯＦカメラ２により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標（Ｕ，Ｖ）に加えて、当該画素に対応する対象物の一部までの距離（奥行き）を示す距離情報ｄ（Ｕ，Ｖ）を含む。 The TOF camera 2 has a light emitting element and a light receiving element. The light emitting element emits, for example, infrared light as detection light. The emitted detection light is reflected by the object and enters the light receiving element as return light. By measuring the time from when the detection light is emitted from the light emitting element to when the return light is incident on the light receiving element, the distance to the object from which the return light is generated is calculated. By calculating the distance for each of the plurality of pixels that make up the image acquired by the TOF camera 2, each pixel has two-dimensional position coordinates (U, V) in the image, as well as It includes distance information d(U, V) that indicates the distance (depth) to a part of the corresponding object.

したがって、ＴＯＦカメラ２から出力される画像データセットＩＤに含まれる画素データセットの各々は、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）を含む。 Therefore, each pixel data set included in the image data set ID output from the TOF camera 2 includes position coordinates (U, V) and distance information d (U, V).

動作判別装置３は、車両４における適宜の位置に搭載される。動作判別装置３は、ＴＯＦカメラ２から提供される画像データセットＩＤに基づいて、運転者５の手５１による動作を判別し、当該動作に関連付けられた機能を発揮させるための信号あるいはデータを生成する装置である。 The motion discrimination device 3 is mounted at an appropriate position on the vehicle 4 . Based on the image data set ID provided by the TOF camera 2, the motion discrimination device 3 discriminates the motion of the hand 51 of the driver 5, and generates a signal or data for exhibiting the function associated with the motion. It is a device that

図１に示されるように、動作判別装置３は、入力インターフェース３１を備えている。入力インターフェース３１は、ＴＯＦカメラ２から出力された画像データセットＩＤを受け付ける。 As shown in FIG. 1 , the motion discrimination device 3 has an input interface 31 . The input interface 31 receives an image dataset ID output from the TOF camera 2 .

動作判別装置３は、プロセッサ３２を備えている。プロセッサ３２は、入力インターフェース３１に入力された画像データセットＩＤに基づいて、運転者５の手５１による回転動作と払い動作を判別する処理を実行する。 The motion determination device 3 includes a processor 32 . Based on the image data set ID input to the input interface 31, the processor 32 performs processing for determining whether the hand 51 of the driver 5 is rotating or sweeping.

図３の（Ａ）は、手５１による回転動作を示している。運転者５が円弧状の軌跡を描くように手５１を動かすことにより、回転動作が成立する。図３の（Ｂ）は、手５１による払い動作を示している。運転者５が例えば左上方から右下方へ斜めに手５１を動かすことにより、払い動作が成立する。 (A) of FIG. 3 shows a rotation operation by the hand 51 . Rotation is established when the driver 5 moves the hand 51 so as to draw an arc-shaped trajectory. (B) of FIG. 3 shows the wiping motion of the hand 51 . When the driver 5 moves the hand 51 obliquely, for example, from the upper left to the lower right, the wiping action is established.

しかしながら、回転動作を行なおうとする運転者５の手５１が必ずしも真円に近い軌跡を描くように動くとは限らない。他方、払い動作を行なった後の運転者５の手５１が元の位置に戻される際、図３の（Ｂ）に破線で示されるように、意図せず円弧状の軌跡を描いてしまう場合がある。回転動作の軌跡が真円から逸脱するほど、払い動作の軌跡が円弧状に近づくほど、両動作の識別が難しくなる。 However, it is not always the case that the hand 51 of the driver 5 who is about to make a turning motion draws a trajectory close to a perfect circle. On the other hand, when the hand 51 of the driver 5 is returned to its original position after performing the wiping motion, it unintentionally draws an arc-shaped trajectory as indicated by the broken line in FIG. 3B. There is As the trajectory of the rotating motion deviates from a perfect circle and the trajectory of the wiping motion approaches an arc shape, it becomes difficult to distinguish both motions.

この問題に対処するために、動作判別装置３は、運転者５の手５１の移動速度の経時変化に着目する。図４の（Ａ）は、回転動作中における手５１の移動速度の経時変化の一例を示している。図４の（Ｂ）は、払い動作中における手５１の移動速度の経時変化の一例を示している。 In order to deal with this problem, the motion discrimination device 3 focuses on the temporal change in the moving speed of the hand 51 of the driver 5 . FIG. 4A shows an example of temporal changes in the moving speed of the hand 51 during the rotating motion. (B) of FIG. 4 shows an example of the change over time of the moving speed of the hand 51 during the wiping motion.

図４の（Ａ）に示されるように、手５１による回転動作は、時刻ｔ１に開始される。時刻ｔ２に最高速度Ｖｍに達した後は、ほぼ一定の速度で円弧を描く動作がなされる。時刻ｔ３において減速が開始され、時刻ｔ４において回転動作が終了される。 As shown in (A) of FIG. 4, the rotating motion by the hand 51 is started at time t1. After reaching the maximum speed Vm at time t2, the motion of drawing an arc is performed at a substantially constant speed. Deceleration starts at time t3, and the rotation operation ends at time t4.

図４の（Ｂ）に示されるように、手５１による払い動作は、時刻ｔ１に開始される。時刻ｔ２に最高速度Ｖｍに達した後、減速を経て時刻ｔ３に払い動作が終了される。時刻ｔ４から時刻ｔ５の間に現れる加速と減速は、図３の（Ｂ）において破線で示される手５１を戻す動作に対応している。 As shown in (B) of FIG. 4, the payout action with the hand 51 is started at time t1. After reaching the maximum speed Vm at time t2, the wiping operation is completed at time t3 through deceleration. Acceleration and deceleration appearing between time t4 and time t5 correspond to the action of returning the hand 51 indicated by the dashed line in FIG. 3B.

両図の比較から判るように、回転動作と払い動作とでは、手５１の移動速度の分布幅が相違している。回転動作中における手５１の移動速度の分布幅は比較的小さいのに対して、払い動作中における手５１の移動速度の分布幅は比較的大きい。プロセッサ３２は、この相違点に基づいて回転動作と払い動作の識別を行なう。図５は、プロセッサ３２により行なわれる処理の一例を示している。 As can be seen from the comparison between the two figures, the distribution width of the moving speed of the hand 51 is different between the rotating motion and the wiping motion. While the distribution width of the moving speed of the hand 51 during the rotating motion is relatively small, the distribution width of the moving speed of the hand 51 during the wiping motion is relatively large. Processor 32 discriminates between spinning and wiping motions based on this difference. FIG. 5 shows an example of processing performed by processor 32 .

プロセッサ３２は、ＴＯＦカメラ２から出力された画像データセットＩＤに基づいて、運転者５の手５１の三次元空間における位置を示す位置データセットＰＤを取得する（ＳＴＥＰ１１）。 The processor 32 acquires the position data set PD indicating the position of the hand 51 of the driver 5 in the three-dimensional space based on the image data set ID output from the TOF camera 2 (STEP 11).

画像データセットＩＤの各画素データに含まれる位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）は、画像中心座標が（ｃX，ｃY）と定義された場合、次式を用いてカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）に変換されうる。ｆは、ＴＯＦカメラが備えるレンズの焦点距離を表している。 The position coordinates (U, V) and the distance information d (U, V) contained in each pixel data of the image data set ID are obtained by using the following equation when the image center coordinates are defined as (c X , c Y ). can be converted into a point (X, Y, Z) on the three-dimensional space in the camera coordinate system. f represents the focal length of the lens provided in the TOF camera.

Figure 0007212531000001
Figure 0007212531000001

プロセッサ３２は、上式に基づいて、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換を行なう。なお、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換は、ＴＯＦカメラ２に内蔵されたプロセッサによって行なわれてもよい。この場合、ＴＯＦカメラ２から出力される画像データセットＩＤに含まれる複数の画素データセットの各々は、位置座標（Ｘ，Ｙ，Ｚ）を含む。 The processor 32 converts the position coordinates (U, V) and the distance information d (U, V) to a point (X, Y, Z) on the three-dimensional space in the camera coordinate system based on the above formula. The conversion from the position coordinates (U, V) and the distance information d (U, V) to the point (X, Y, Z) on the three-dimensional space in the camera coordinate system is performed by a processor built into the TOF camera 2. may be done. In this case, each of the plurality of pixel data sets included in the image data set ID output from the TOF camera 2 includes position coordinates (X, Y, Z).

カメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）は、車両４における特定の位置を原点とする車両座標系における位置座標（Ｌ，Ｗ，Ｈ）に変換されうる。例えば、運転席における特定の位置を原点とした場合、Ｗ軸の座標値は、運転者５から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。例えば、Ｌ軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。例えば、Ｈ軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。 Position coordinates (X, Y, Z) in the camera coordinate system can be converted into position coordinates (L, W, H) in the vehicle coordinate system with a specific position in the vehicle 4 as the origin. For example, when a specific position in the driver's seat is set as the origin, the W-axis coordinate value takes a positive value on the right side of the origin and a negative value on the left side of the origin as seen from the driver 5. . For example, the L-axis coordinate value takes a positive value in front of the origin and a negative value behind the origin. For example, the H-axis coordinate value takes a positive value above the origin and a negative value below the origin.

続いてプロセッサ３２は、画像データセットＩＤにおいて運転者５の手５１が含まれる可能性がある領域を特定する。当該領域の特定は、人の手の形状的特徴を検出することにより行なわれる。形状的特徴は、複数の画素データセットに基づく適宜の画像認識技術を用いて検出されてもよいし、位置データセットＰＤに含まれる複数の点要素の各々が有している三次元空間における位置情報に基づいて検出されてもよい。 The processor 32 then identifies areas in the image data set ID that may contain the hand 51 of the driver 5 . The identification of the area is performed by detecting the shape features of the human hand. The shape feature may be detected using an appropriate image recognition technique based on a plurality of pixel data sets, or may be detected by detecting the position in a three-dimensional space possessed by each of the plurality of point elements included in the position data set PD. It may be detected based on information.

手５１の三次元空間における位置は、例えば、手５１として検出された複数の画素あるいは複数の点要素の重心位置として特定されうる。あるいは、指先、手首、掌などの特徴点に対応する位置として特定されうる。 The position of the hand 51 in the three-dimensional space can be specified, for example, as the barycenter position of a plurality of pixels or a plurality of point elements detected as the hand 51 . Alternatively, it can be identified as a position corresponding to a feature point such as a fingertip, wrist, or palm.

続いてプロセッサ３２は、手５１の移動速度の経時変化を取得する（ＳＴＥＰ１２）。手５１の移動速度は、上記のようにして特定された手５１の位置の経時変化をモニタすることによって取得されうる。 Subsequently, the processor 32 acquires the temporal change in the moving speed of the hand 51 (STEP 12). The moving speed of the hand 51 can be obtained by monitoring the change over time of the position of the hand 51 specified as described above.

続いてプロセッサ３２は、手５１の移動速度の分布幅が閾値未満であるかを判断する（ＳＴＥＰ１３）。移動速度の分布幅は、ＳＴＥＰ１２において取得された移動速度のピークトゥピーク値、分散値、標準偏差などを演算することにより取得されうる。 Subsequently, the processor 32 determines whether the distribution width of the moving speed of the hand 51 is less than the threshold (STEP 13). The moving speed distribution width can be obtained by calculating the peak-to-peak value, variance, standard deviation, etc. of the moving speeds obtained in STEP12.

前述したように、回転動作中における手５１の移動速度の分布幅は比較的小さい。したがって、手５１の移動速度の分布幅が所定値未満であると判断されると（ＳＴＥＰ１３においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ１４）。 As described above, the distribution width of the moving speed of the hand 51 during the rotating motion is relatively small. Therefore, when it is determined that the distribution width of the movement speed of hand 51 is less than the predetermined value (YES in STEP 13), processor 32 determines a rotational motion of hand 51 (STEP 14).

他方、払い動作中における手５１の移動速度の分布幅は比較的大きい。したがって、手５１の移動速度の分布幅が所定値以上であると判断されると（ＳＴＥＰ１３においてＮＯ）、プロセッサ３２は、手５１による払い動作を判別する（ＳＴＥＰ１５）。 On the other hand, the distribution width of the moving speed of the hand 51 during the wiping motion is relatively large. Therefore, when it is determined that the distribution width of the moving speed of the hand 51 is equal to or greater than the predetermined value (NO in STEP 13), the processor 32 determines the payout motion of the hand 51 (STEP 15).

図１に示されるように、動作判別装置３は、出力インターフェース３３を備えている。出力インターフェース３３は、判別された動作を示すデータＧＤを出力しうる。出力されたデータＧＤは、例えば、当該データが示す手５１の動作に対応付けられた車載装置の機能を起動するために利用されうる。 As shown in FIG. 1 , the motion discrimination device 3 has an output interface 33 . The output interface 33 can output data GD indicative of the determined action. The output data GD can be used, for example, to activate the function of the in-vehicle device associated with the motion of the hand 51 indicated by the data.

払い動作終了後に元の位置へ手を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の手５１の移動速度の分布幅は、回転動作中の手５１の移動速度の分布幅と異なる。上記のような構成によれば、手５１の移動速度の分布幅に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ手を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室４１内の運転者５による回転動作と払い動作の判別精度を高めることができる。 The action of returning the hand to its original position after the sweeping action is easily misidentified as a rotating action. However, the distribution width of the moving speed of the hand 51 during the return motion differs from the distribution width of the moving speed of the hand 51 during the rotating motion. According to the configuration as described above, since the rotating motion and the wiping motion are discriminated based on the distribution width of the moving speed of the hand 51, in particular, the motion of returning the hand to the original position after the wiping motion is erroneously recognized as the rotating motion. can reduce the possibility of being Therefore, it is possible to improve the accuracy of discrimination between the turning motion and the wiping motion by the driver 5 in the passenger compartment 41 .

図３の（Ａ）と（Ｂ）において、符号Ｇは、手５１の移動軌跡の重心位置を示している。符号Ｌ１は、重心位置Ｇから移動軌跡までの最短距離を示している。符号Ｌ２は、重心位置Ｇから移動軌跡までの最長距離を示している。 In (A) and (B) of FIG. 3 , reference G indicates the position of the center of gravity of the movement trajectory of the hand 51 . Reference L1 indicates the shortest distance from the center of gravity position G to the movement locus. Reference L2 indicates the longest distance from the center of gravity position G to the movement locus.

両図の比較から判るように、回転動作による移動軌跡と、払い動作および戻し動作による移動軌跡とでは、真円度が相違している。回転動作による移動軌跡の真円度は、比較的高い。払い動作および戻し動作による移動軌跡の真円度は、比較的低い。重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比は、この真円度に対応する値となりうる。動作判別装置３は、手５１の移動軌跡の真円度に基づく回転動作と払い動作の識別をさらに行ないうる。 As can be seen from the comparison between the two figures, the roundness is different between the trajectory of movement by the rotating action and the trajectory of movement by the wiping action and the returning action. The circularity of the movement trajectory due to the rotational motion is relatively high. The circularity of the movement trajectories due to the sweep and return movements is relatively low. The ratio between the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement trajectory can be a value corresponding to this roundness. The motion discrimination device 3 can further discriminate between the rotating motion and the sweeping motion based on the roundness of the movement locus of the hand 51 .

具体的には、手５１の移動速度の分布幅が所定値以上であると判断された場合（ＳＴＥＰ１３においてＮＯ）、プロセッサ３２は、手５１の移動軌跡の重心位置Ｇを特定する（ＳＴＥＰ１６）。重心位置Ｇは、手５１の三次元空間における位置の経時変化をモニタすることにより特定されうる。 Specifically, when it is determined that the distribution width of the movement speed of hand 51 is equal to or greater than a predetermined value (NO in STEP 13), processor 32 specifies the center-of-gravity position G of the movement trajectory of hand 51 (STEP 16). The center-of-gravity position G can be identified by monitoring changes over time in the position of the hand 51 in the three-dimensional space.

続いてプロセッサ３２は、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２を特定し、両者の比（Ｌ１／Ｌ２）を算出する（ＳＴＥＰ１７）。さらにプロセッサ３２は、算出された比の値が閾値以上であるかを判断する（ＳＴＥＰ１８）。閾値は、０より大きく１より小さい値として適宜設定される。 Subsequently, the processor 32 identifies the shortest distance L1 and the longest distance L2 from the position of the center of gravity G to the trajectory, and calculates the ratio (L1/L2) of the two (STEP 17). Furthermore, the processor 32 determines whether the calculated value of the ratio is equal to or greater than the threshold (STEP 18). The threshold is appropriately set as a value greater than 0 and less than 1.

前述したように、回転動作中における手５１の移動軌跡の真円度は比較的高いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比（Ｌ１／Ｌ２）の値は１に近づく。したがって、比の値が閾値以上であると判断されると（ＳＴＥＰ１８においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ１４）。先の払い動作の判別結果は、キャンセルされる。 As described above, since the roundness of the movement locus of the hand 51 during the rotating motion is relatively high, the ratio (L1/L2) between the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement locus is 1. get closer to Therefore, when it is determined that the ratio value is equal to or greater than the threshold (YES in STEP 18), processor 32 determines the rotating motion of hand 51 (STEP 14). The determination result of the previous payment operation is canceled.

他方、払い動作中における手５１の移動軌跡の真円度は比較的低いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比の値（Ｌ１／Ｌ２）は０に近づく。比の値が閾値未満であると判断されると（ＳＴＥＰ１８においてＮＯ）、プロセッサ３２は、先の払い動作の判別結果を確定する（ＳＴＥＰ１５）。 On the other hand, since the roundness of the movement trajectory of the hand 51 during the sweeping motion is relatively low, the ratio (L1/L2) of the shortest distance L1 to the maximum distance L2 from the center of gravity position G to the movement trajectory approaches zero. If it is determined that the ratio value is less than the threshold (NO in STEP 18), the processor 32 determines the determination result of the previous payment operation (STEP 15).

上記のような構成によれば、手５１の移動速度の分布幅に基づいてなされた判別結果の検証を、手５１の移動軌跡の真円度に基づいて行なうことができる。したがって、手５１による回転動作と払い動作の判別精度を高めることができる。 According to the configuration as described above, the determination result based on the distribution width of the moving speed of the hand 51 can be verified based on the roundness of the moving trajectory of the hand 51 . Therefore, it is possible to improve the accuracy of discrimination between the rotating motion and the wiping motion of the hand 51 .

図５に示された例においては、手５１の移動速度の分布幅に基づいて払い動作が判別された場合（ＳＴＥＰ１３においてＮＯ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されている。しかしながら、手５１の移動速度の分布幅に基づいて回転動作が判別された場合（ＳＴＥＰ１３においてＹＥＳ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されてもよい。この場合、先の回転動作の判別結果が確定またはキャンセルの対象となる。 In the example shown in FIG. 5, when the wiping motion is determined based on the distribution width of the moving speed of the hand 51 (NO in STEP 13), determination processing based on the roundness of the moving trajectory of the hand 51 is started. configured to be However, if the rotational motion is determined based on the distribution width of the moving speed of the hand 51 (YES in STEP 13), the determining process based on the circularity of the moving trajectory of the hand 51 may be started. good. In this case, the determination result of the preceding rotation operation is to be confirmed or cancelled.

動作判別装置３は、運転者５の手５１の移動速度の変化履歴に着目することによって回転動作と払い動作の判別を行なうこともできる。図４の（Ｂ）に示されるように、手５１により払い動作と戻り動作がなされると、手５１の移動速度は、ある程度の速度まで一旦低下した後で再度上昇している。他方、図４の（Ａ）に示されるように、手５１により回転動作がなされると、手５１の移動速度は、最高速度Ｖｍに到達してから動作終了時の減速が開始されるまで、ほぼ一定の値で推移する。プロセッサ３２は、手５１の移動速度の変化履歴がこのような減速と再加速を含んでいるかに基づいて、回転動作と払い動作の識別を行ないうる。図６は、プロセッサ３２により行なわれる処理の別例を示している。 The motion discrimination device 3 can also discriminate between the turning motion and the sweeping motion by focusing on the change history of the moving speed of the hand 51 of the driver 5 . As shown in FIG. 4B, when the hand 51 performs the wiping motion and the returning motion, the movement speed of the hand 51 once decreases to a certain speed and then increases again. On the other hand, as shown in (A) of FIG. 4, when the hand 51 makes a rotational motion, the movement speed of the hand 51 reaches the maximum speed Vm until deceleration at the end of the motion starts. It changes at an almost constant value. The processor 32 can distinguish between rolling motions and sweeping motions based on whether the change history of the movement speed of the hand 51 includes such decelerations and re-accelerations. FIG. 6 shows another example of the processing performed by processor 32 .

プロセッサ３２は、ＴＯＦカメラ２から出力された画像データセットＩＤに基づいて、運転者５の手５１の三次元空間における位置を示す位置データセットＰＤを取得する（ＳＴＥＰ２１）。この処理は、図５に示されるＳＴＥＰ１１と同じであるので、繰り返しとなる説明は省略する。 The processor 32 acquires the position data set PD indicating the position of the hand 51 of the driver 5 in the three-dimensional space based on the image data set ID output from the TOF camera 2 (STEP 21). Since this process is the same as STEP 11 shown in FIG. 5, repeated description will be omitted.

続いてプロセッサ３２は、手５１の移動開始時点と移動終了時点を特定する（ＳＴＥＰ２２）。図４の（Ａ）に示される例においては、移動開始時点は時刻ｔ１であり、移動終了時点は時刻ｔ４である。図４の（Ｂ）に示される例においては、移動開始時点は時刻ｔ１であり、移動終了時点は時刻ｔ５である。 Subsequently, the processor 32 specifies the movement start point and the movement end point of the hand 51 (STEP 22). In the example shown in FIG. 4A, the movement start point is time t1 and the movement end point is time t4. In the example shown in FIG. 4B, the movement start point is time t1 and the movement end point is time t5.

手５１の移動開始時点は、例えば、手５１の速度が実質的にゼロである期間が所定の長さ以上続いた後に加速が開始された時点として特定されうる。手の移動終了時点は、例えば、手５１の減速後に速度が実質的にゼロである期間が所定の長さ以上続いた時点として特定されうる。 The movement start time point of the hand 51 can be specified, for example, as the time point at which the hand 51 begins to accelerate after a period in which the speed of the hand 51 is substantially zero continues for a predetermined length or longer. The end point of movement of the hand can be specified, for example, as the point in time when the hand 51 decelerates and the period in which the speed is substantially zero continues for a predetermined length or longer.

続いてプロセッサ３２は、特定された手５１の移動開始時点から移動終了時点までの間に、手５１の移動速度が閾値速度Ｖｔ未満まで減速された後に再加速されたかを判断する（図５のＳＴＥＰ２３）。閾値速度Ｖｔは、図４の（Ｂ）に示されるように、払い動作の終了を判断しうる程度の速度値として設定される。換言すると、手５１の移動速度が最高速度Ｖｍに到達した後に閾値速度Ｖｔ未満までの減速と閾値速度Ｖｔを超える再加速がなされたかが判断される。 Next, the processor 32 determines whether the moving speed of the hand 51 is decelerated to less than the threshold speed Vt and then re-accelerated during the specified movement start time to the movement end time of the hand 51 (see FIG. 5). STEP23). As shown in FIG. 4B, the threshold speed Vt is set as a speed value that allows determination of the end of the pay operation. In other words, after the moving speed of the hand 51 reaches the maximum speed Vm, it is determined whether deceleration to less than the threshold speed Vt and re-acceleration exceeding the threshold speed Vt are performed.

図４の（Ａ）に示されるように、回転動作中における手５１の移動速度は、最高速度Ｖｍに到達した後の閾値速度Ｖｔ未満までの減速と再加速を伴わない。したがって、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていないと判断されると（図５のＳＴＥＰ２３においてＮＯ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ２４）。 As shown in FIG. 4A, the moving speed of the hand 51 during the rotating motion does not accompany deceleration and reacceleration to less than the threshold speed Vt after reaching the maximum speed Vm. Therefore, when it is determined that the history of change over time of the movement speed of the hand 51 does not include deceleration and reacceleration to less than the threshold speed Vt (NO in STEP 23 of FIG. is discriminated (STEP 24).

他方、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていると判断されると（ＳＴＥＰ２３においてＹＥＳ）、プロセッサ３２は、手５１による払い動作を判別する（ＳＴＥＰ２５）。 On the other hand, when it is determined that deceleration and re-acceleration to less than the threshold speed Vt are included in the history of change over time of the moving speed of the hand 51 (YES in STEP 23), the processor 32 determines the wiping motion of the hand 51. (STEP 25).

払い動作終了後に元の位置へ手を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の手５１の移動速度の経時変化履歴は、閾値速度Ｖｔ未満までの減速後の再加速の有無において、回転動作中の手５１の移動速度の経時変化履歴と異なる。上記のような構成によれば、手５１の移動速度の経時変化履歴に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ手を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室４１内の運転者５による回転動作と払い動作の判別精度を高めることができる。 The action of returning the hand to its original position after the sweeping action is easily misidentified as a rotating action. However, the time-dependent change history of the moving speed of the hand 51 during the return motion differs from the time-dependent change history of the moving speed of the hand 51 during the rotating motion in the presence or absence of reacceleration after deceleration to less than the threshold speed Vt. According to the configuration as described above, since the rotating motion and the wiping motion are discriminated based on the time-dependent change history of the movement speed of the hand 51, the motion of returning the hand to the original position after the wiping motion is particularly regarded as the rotating motion. It is possible to suppress the possibility of being misidentified. Therefore, it is possible to improve the accuracy of discrimination between the turning motion and the wiping motion by the driver 5 in the passenger compartment 41 .

図５に示される処理例と同様に、動作判別装置３は、手５１の移動軌跡の真円度に基づく回転動作と払い動作の識別をさらに行ないうる。 Similar to the processing example shown in FIG. 5 , the motion determination device 3 can further distinguish between the rotating motion and the sweeping motion based on the roundness of the movement trajectory of the hand 51 .

具体的には、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていると判断された場合（ＳＴＥＰ２３においてＹＥＳ）、プロセッサ３２は、手５１の移動軌跡の重心位置Ｇを特定する（ＳＴＥＰ２６）。重心位置Ｇは、手５１の三次元空間における位置の経時変化をモニタすることにより特定されうる。 Specifically, when it is determined that deceleration and re-acceleration to less than the threshold speed Vt are included in the time-dependent change history of the movement speed of the hand 51 (YES in STEP 23), the processor 32 calculates the movement trajectory of the hand 51. is specified (STEP 26). The center-of-gravity position G can be identified by monitoring changes over time in the position of the hand 51 in the three-dimensional space.

続いてプロセッサ３２は、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２を特定し、両者の比（Ｌ１／Ｌ２）を算出する（ＳＴＥＰ２７）。さらにプロセッサ３２は、算出された比の値が閾値以上であるかを判断する（ＳＴＥＰ２８）。閾値は、０より大きく１より小さい値として適宜設定される。 Subsequently, the processor 32 identifies the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement locus, and calculates the ratio (L1/L2) of the two (STEP 27). Furthermore, the processor 32 determines whether the calculated value of the ratio is equal to or greater than the threshold (STEP 28). The threshold is appropriately set as a value greater than 0 and less than 1.

前述したように、回転動作中における手５１の移動軌跡の真円度は比較的高いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比（Ｌ１／Ｌ２）の値は１に近づく。したがって、比の値が閾値以上であると判断されると（ＳＴＥＰ２８においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ２４）。先の払い動作の判別結果は、キャンセルされる。 As described above, since the roundness of the movement locus of the hand 51 during the rotating motion is relatively high, the ratio (L1/L2) between the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement locus is 1. get closer to Therefore, if it is determined that the ratio value is equal to or greater than the threshold (YES in STEP 28), processor 32 determines the rotational motion of hand 51 (STEP 24). The determination result of the previous payment operation is canceled.

他方、払い動作中における手５１の移動軌跡の真円度は比較的低いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比の値（Ｌ１／Ｌ２）は０に近づく。比の値が閾値未満であると判断されると（ＳＴＥＰ２８においてＮＯ）、プロセッサ３２は、先の払い動作の判別結果を確定する（ＳＴＥＰ２５）。 On the other hand, since the roundness of the movement trajectory of the hand 51 during the sweeping motion is relatively low, the ratio (L1/L2) of the shortest distance L1 to the maximum distance L2 from the center of gravity position G to the movement trajectory approaches zero. If it is determined that the ratio value is less than the threshold (NO in STEP 28), processor 32 determines the determination result of the previous payment operation (STEP 25).

上記のような構成によれば、手５１の移動速度の経時変化履歴に基づいてなされた判別結果の検証を、手５１の移動軌跡の真円度に基づいて行なうことができる。したがって、手５１による回転動作と払い動作の判別精度を高めることができる。 According to the configuration as described above, it is possible to verify the determination result based on the change history of the moving speed of the hand 51 over time based on the roundness of the moving trajectory of the hand 51 . Therefore, it is possible to improve the accuracy of discrimination between the rotating motion and the wiping motion of the hand 51 .

図６に示された例においては、手５１の移動速度の経時変化履歴に基づいて払い動作が判別された場合（ＳＴＥＰ２３においてＮＯ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されている。しかしながら、手５１の移動速度の経時変化履歴に基づいて回転動作が判別された場合（ＳＴＥＰ２３においてＹＥＳ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されてもよい。この場合、先の回転動作の判別結果が確定またはキャンセルの対象となる。 In the example shown in FIG. 6, when the wiping motion is determined based on the time-dependent change history of the movement speed of the hand 51 (NO in STEP 23), determination processing based on the roundness of the movement trajectory of the hand 51 is performed. configured to be started. However, when the rotational motion is determined based on the time-varying change history of the moving speed of the hand 51 (YES in STEP 23), determination processing based on the roundness of the movement trajectory of the hand 51 is started. good too. In this case, the determination result of the preceding rotation operation is to be confirmed or cancelled.

上述したプロセッサ３２の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ３２は、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ３２は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。プロセッサ３２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。 The functions of processor 32 described above may be implemented by a general-purpose microprocessor operating in conjunction with a general-purpose memory. A CPU, MPU, and GPU can be exemplified as a general-purpose microprocessor. Examples of general-purpose memory include ROM and RAM. In this case, the ROM may store a computer program for executing the above-described process. ROM is an example of a storage medium that stores computer programs. The processor 32 designates at least part of the program stored on the ROM, develops it on the RAM, and cooperates with the RAM to execute the above-described processing. Processor 32 may be implemented by a dedicated integrated circuit such as a microcontroller, ASIC, or FPGA capable of executing a computer program that implements the processes described above. Processor 32 may be implemented by a combination of a general purpose microprocessor and a dedicated integrated circuit.

図１に示されるように、動作判別装置３は、ネットワーク６を介して外部サーバ７と通信可能に構成されうる。この場合、上述した処理を実行するコンピュータプログラムは、外部サーバ７からネットワーク６を介してダウンロードされうる。外部サーバ７は、コンピュータプログラムを記憶している記憶媒体の一例である。 As shown in FIG. 1 , the motion determination device 3 can be configured to communicate with an external server 7 via a network 6 . In this case, a computer program for executing the processes described above can be downloaded from the external server 7 via the network 6 . The external server 7 is an example of a storage medium storing computer programs.

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。 The above embodiments are merely examples for facilitating understanding of the present invention. The configurations according to the above embodiments can be modified and improved as appropriate without departing from the scope of the present invention.

上記の実施形態において、動作判別装置３は、運転者５の手５１による回転動作と払い動作を判別かつ識別可能に構成されている。しかしながら、動作判別装置３は、手５１による回転動作のみを判別する装置としても構成されうる。あるいは、動作判別装置３は、手５１による払い動作のみを判別する装置としても構成されうる。 In the above-described embodiment, the motion determination device 3 is configured to be able to determine and identify the turning motion and the sweeping motion of the hand 51 of the driver 5 . However, the motion discrimination device 3 can also be configured as a device that discriminates only the rotational motion of the hand 51 . Alternatively, the motion discrimination device 3 can be configured as a device that discriminates only the sweeping motion of the hand 51 .

上記の実施形態において、動作判別装置３の入力インターフェース３１は、位置データセットＰＤを、画像データセットＩＤの一部としてＴＯＦカメラ２から受け付けている。このような構成によれば、運転者５の手５１が含まれている可能性が高い領域を特定するために使用される画像データセットＩＤと位置データセットＰＤを、効率的に取得できる。しかしながら、画像データセットＩＤを出力する撮像装置と、位置データセットＰＤを出力する装置は、異なっていてもよい。そのような装置としては、ＬｉＤＡＲ（Light Detection and Ranging）センサなどが例示されうる。 In the above embodiment, the input interface 31 of the motion discrimination device 3 receives the position data set PD from the TOF camera 2 as part of the image data set ID. According to such a configuration, it is possible to efficiently acquire the image data set ID and the position data set PD that are used to identify the area that is likely to contain the hand 51 of the driver 5 . However, the imaging device that outputs the image data set ID and the device that outputs the position data set PD may be different. Examples of such devices include LiDAR (Light Detection and Ranging) sensors.

上記の実施形態においては、車室４１内における運転者５の手５１が判別に供されている。しかしながら、回転動作と払い動作を行ないうるのであれば、他の身体部位が判別に供されてもよい。そのような身体部位としては、鼻先、顎、額、肘、膝などが例示されうる。また、画像データセットＩＤと位置データセットＰＤを出力する装置を適宜に配置することにより、他の乗員の身体部位が判別に供されてもよい。 In the above embodiment, the hand 51 of the driver 5 inside the vehicle compartment 41 is used for determination. However, other body parts may be used for discrimination as long as they are capable of rotating and sweeping motions. Examples of such body parts include the tip of the nose, chin, forehead, elbows, and knees. Also, by appropriately arranging a device that outputs the image data set ID and the position data set PD, the body parts of other occupants may be used for discrimination.

２：ＴＯＦカメラ、３：動作判別装置、３１：入力インターフェース、３２：プロセッサ、４１：車室、５：運転者、５１：手、７：外部サーバ、ＰＤ：位置データセット、Ｇ：移動軌跡の重心位置、Ｌ１：重心位置から移動軌跡までの最短距離、Ｌ２：重心位置から移動軌跡までの最長距離、Ｖｔ：閾値速度 2: TOF camera, 3: motion discrimination device, 31: input interface, 32: processor, 41: vehicle interior, 5: driver, 51: hand, 7: external server, PD: position data set, G: movement trajectory Center of gravity position, L1: shortest distance from the center of gravity position to the movement trajectory, L2: longest distance from the center of gravity position to the movement trajectory, Vt: threshold speed

Claims (10)

車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値未満である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
動作判別装置。 an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is equal to or greater than a threshold,
Identifying the position of the center of gravity of the movement trajectory of the body part;
calculating the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory;
If the ratio is less than a threshold, determining that the occupant performed a sweeping motion with the body part;
motion discriminator. 車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
動作判別装置。 an input interface for accepting a data set indicative of positions of occupant body parts within the vehicle;
a processor that determines motion by the body part based on the data set;
and
The processor
identifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
If the re-acceleration is not determined, determining that the occupant has performed a rotational motion at the body part;
motion discriminator. 前記プロセッサは、前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項２に記載の動作判別装置。 The processor determines that the occupant performed a sweeping motion with the body part when the re-acceleration is determined.
The motion discrimination device according to claim 2 . 前記プロセッサは、前記再加速が判定された場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値以上である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
請求項２に記載の動作判別装置。 The processor, if the reacceleration is determined,
Identifying the position of the center of gravity of the movement trajectory of the body part;
calculating the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory;
If the ratio is equal to or greater than a threshold, determining that the occupant has performed a rotational motion at the body part;
The motion discrimination device according to claim 2 . 前記プロセッサは、前記再加速が判定された場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値未満である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項２に記載の動作判別装置。 The processor, if the reacceleration is determined,
Identifying the position of the center of gravity of the movement trajectory of the body part;
calculating the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory;
If the ratio is less than a threshold, determining that the occupant performed a sweeping motion with the body part;
The motion discrimination device according to claim 2 . 前記身体部位は手である、
請求項１から５のいずれか一項に記載の動作判別装置。 the body part is a hand;
The motion discrimination device according to any one of claims 1 to 5 . 前記データセットは、ＴＯＦカメラより取得される、
請求項１から６のいずれか一項に記載の動作判別装置。 wherein the dataset is obtained from a TOF camera;
The motion discrimination device according to any one of claims 1 to 6 . 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動速度の経時変化を取得させ、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、
前記身体部位の移動軌跡の重心位置を特定させ、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出させ、
前記比が閾値未満である場合に、前記乗員が前記身体部位で払い動作を行なったと判別させる、
コンピュータプログラム。 A computer program that causes a processor to determine motion of a body part of an occupant based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor:
Acquiring the change over time of the movement speed of the body part,
When the distribution width of the movement speed in the change over time is equal to or greater than a threshold,
specifying the position of the center of gravity of the movement trajectory of the body part;
calculating a ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory;
If the ratio is less than a threshold, determining that the occupant performed a sweeping motion with the body part;
computer program. 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動開始時点と移動終了時点を特定させ、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定させ、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別させる、
コンピュータプログラム。 A computer program that causes a processor to determine motion of a body part of an occupant based on a data set indicating the position of the body part of an occupant in a vehicle compartment,
By executing the computer program, the processor:
specifying the movement start point and the movement end point of the body part;
determining whether the movement speed of the body part is decelerated to less than a threshold value and then re-accelerated between the movement start time and the movement end time;
If the re-acceleration is not determined, it is determined that the occupant performed a turning motion at the body part;
computer program. 請求項８または９に記載のコンピュータプログラムを記憶している記憶媒体。 A storage medium storing the computer program according to claim 8 or 9 .
JP2019012197A 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium Active JP7212531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019012197A JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019012197A JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Publications (2)

Publication Number Publication Date
JP2020119434A JP2020119434A (en) 2020-08-06
JP7212531B2 true JP7212531B2 (en) 2023-01-25

Family

ID=71890957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019012197A Active JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Country Status (1)

Country Link
JP (1) JP7212531B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385012B (en) * 2022-01-17 2023-06-30 维沃移动通信有限公司 Motion recognition method, motion recognition device, electronic equipment and readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211781A (en) 2009-02-12 2010-09-24 Sony Corp Operation recognizer, operation recognition method, and program
JP2011134212A (en) 2009-12-25 2011-07-07 Canon Inc Input device, control method of input device, program, and storage medium
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2014134919A (en) 2013-01-09 2014-07-24 Ntt Docomo Inc Display unit and display method
JP2015219885A (en) 2014-05-21 2015-12-07 株式会社デンソー Gesture input device
JP2017194767A (en) 2016-04-19 2017-10-26 株式会社東海理化電機製作所 Gesture discrimination device
JP2017224161A (en) 2016-06-15 2017-12-21 株式会社東海理化電機製作所 Gesture determination device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211781A (en) 2009-02-12 2010-09-24 Sony Corp Operation recognizer, operation recognition method, and program
JP2011134212A (en) 2009-12-25 2011-07-07 Canon Inc Input device, control method of input device, program, and storage medium
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2014134919A (en) 2013-01-09 2014-07-24 Ntt Docomo Inc Display unit and display method
JP2015219885A (en) 2014-05-21 2015-12-07 株式会社デンソー Gesture input device
JP2017194767A (en) 2016-04-19 2017-10-26 株式会社東海理化電機製作所 Gesture discrimination device
JP2017224161A (en) 2016-06-15 2017-12-21 株式会社東海理化電機製作所 Gesture determination device

Also Published As

Publication number Publication date
JP2020119434A (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP6398347B2 (en) Image processing apparatus, recognition object detection method, recognition object detection program, and moving object control system
JP6688990B2 (en) Identification device, identification method, identification program, and recording medium
JP6350145B2 (en) Face orientation detection device and vehicle warning system
CA3010997C (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JP2002059796A (en) Method and apparatus for classification by detecting road user and obstacle based on camera image and detecting distance to observer
CN109643372A (en) A kind of recognition methods, equipment and moveable platform
JP2007255977A (en) Object detection method and object detector
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
US6834116B2 (en) Method and device for determining the position of an object within a given area
JP2010113506A (en) Occupant position detection device, occupant position detection method, and occupant position detection program
JP6657024B2 (en) Gesture judgment device
JP7212531B2 (en) Motion discrimination device, computer program, and storage medium
CN109703555A (en) Method and apparatus for detecting object shielded in road traffic
JP7265873B2 (en) Motion discrimination device, computer program, and storage medium
CN114467111B (en) Object recognition method and object recognition device
CN104697491A (en) Distance determination using a monoscopic imager in a vehicle
KR20180031146A (en) Vehicle and Method for detecting obstacle
JP7240193B2 (en) Face orientation determination device, computer program, and storage medium
JP7053341B2 (en) Processing equipment and programs
JP7195963B2 (en) Head identification device, computer program, and storage medium
JP7079187B2 (en) Crew discriminator, computer program, and storage medium
JP7079188B2 (en) Crew discriminator, computer program, and storage medium
EP2290582B1 (en) Image classification system and method thereof
JP2020117184A (en) Operation recognition device, computer program, and storage medium
JP7053340B2 (en) Processing equipment and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150