WO2020110706A1 - ジェスチャ検出装置、およびジェスチャ検出方法 - Google Patents

ジェスチャ検出装置、およびジェスチャ検出方法 Download PDF

Info

Publication number
WO2020110706A1
WO2020110706A1 PCT/JP2019/044341 JP2019044341W WO2020110706A1 WO 2020110706 A1 WO2020110706 A1 WO 2020110706A1 JP 2019044341 W JP2019044341 W JP 2019044341W WO 2020110706 A1 WO2020110706 A1 WO 2020110706A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointing
finger
operator
pointing direction
gesture
Prior art date
Application number
PCT/JP2019/044341
Other languages
English (en)
French (fr)
Inventor
佳行 津田
勝之 今西
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2020110706A1 publication Critical patent/WO2020110706A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present disclosure relates to a gesture detection device that detects a gesture used for an input operation, and a gesture detection method.
  • the device controller specifies the device to be controlled based on the gesture (hand shape, state, change of state) of the operator, and further issues a control command. It can be determined and input (remote operation) to the control target device. For example, when the display (TV) screen is pointed by the pointing gesture with the index finger as the operator's gesture, the device controller recognizes that the device to be controlled is the TV, and the pointing gesture , The cursor on the display located on the extension line of the finger can be moved.
  • the gesture detection device information input device
  • the device controller specifies the device to be controlled based on the gesture (hand shape, state, change of state) of the operator, and further issues a control command. It can be determined and input (remote operation) to the control target device. For example, when the display (TV) screen is pointed by the pointing gesture with the index finger as the operator's gesture, the device controller recognizes that the device to be controlled is the TV, and the pointing gesture , The cursor on the display located on the extension line of the finger can
  • the expansion surface is set by the display screen and the extension surface that is the outer area of the display screen. Then, a virtual line connecting the operator's eye position (reference point) and the fingertip (pointer) of the hand held in front of the deployment surface defines the position on the deployment surface (point of interest) by pointing. It is supposed to be done.
  • One of the objects of the present disclosure is to provide a gesture detection device, a gesture detection method, and a gesture detection control program that can reduce erroneous operations without causing the operator to feel bothersome.
  • a gesture detection device is a gesture detection device that performs an input to an operation target based on a finger pointing direction by a finger pointing gesture of an operator,
  • An acquisition unit that acquires the posture of the operator's body, The posture of the body acquired by the acquisition unit, the finger pointing method is determined based on a predetermined threshold for the body posture, and the pointing direction is calculated by a calculation method corresponding to the finger pointing method,
  • a gesture detection method is a gesture detection method of performing an input to an operation target based on a finger pointing direction by an operator's finger pointing gesture, An acquisition step of acquiring the posture of the operator's body, The body posture acquired in the acquisition step and the finger pointing method are determined based on a predetermined threshold for the body posture, and the finger pointing direction is calculated by a calculation method corresponding to the finger pointing method, And a calculation input step of inputting to the operation target.
  • a gesture detection control program is a gesture detection control program that performs an input to an operation target based on a finger pointing direction by a finger pointing gesture of an operator, Computer, The pointing method is determined based on the posture data of the body acquired by the acquisition unit that acquires the posture of the operator's body and a predetermined threshold for the posture of the body, and the calculation corresponding to the pointing method is performed. It is a gesture detection control program that functions as a control unit that calculates a pointing direction by a method and performs an input to an operation target.
  • the gesture detection control program may be stored in a non-transitory storage medium.
  • control unit can automatically determine which direction (position) the operator is pointing based on the posture of the operator's body and a predetermined threshold value. It is possible to reduce erroneous operations without feeling bothersome.
  • the gesture detection device 100 according to the first embodiment will be described with reference to FIGS. 1 to 8.
  • the gesture detection device 100 according to the present embodiment is, for example, a device that is mounted on a vehicle and that issues an input instruction to various vehicle devices 10 based on a pointing direction by an operator (driver) pointing gesture.
  • the finger in the pointing gesture can be, for example, the index finger.
  • Examples of the various vehicle devices 10 include, for example, an air conditioner that air-conditions the interior of a vehicle, a car navigation device (hereinafter, car navigation device) that displays the current position of the vehicle or guidance to a destination, TV broadcast, radio broadcast, There is an audio device for reproducing a CD/DVD or the like. These vehicle devices 10 correspond to the operation target of the present disclosure.
  • the various vehicle devices 10 are not limited to the above, and include a head-up display device, a room lamp device, a rear seat sunshade device, an electric seat device, a glow box opening/closing device, and the like.
  • the air conditioner, the car navigation device, the audio device, and the like have a display unit 11 using, for example, a liquid crystal display, an organic EL display, or the like. 11b, and further the respective operating states and the like are displayed.
  • the gesture detection device 100 includes an acquisition unit 110, a control unit 120, and the like.
  • the control unit 120 selects from among predetermined patterns (FIG. 3) based on the posture data (the posture of the body) of the operator's finger pointing gesture acquired by the acquisition unit 110 and various thresholds described below.
  • a suitable pointing method is determined from the above, and the pointing direction is calculated by a calculation method corresponding to this pointing method.
  • the control unit 120 outputs the data in the pointing direction to the various vehicle devices 10 to give an input instruction (instruction for input operation) to the various vehicle devices 10.
  • the display unit 11 displays the result of the operation (operating state, etc.).
  • the various vehicle devices 10 change the set temperature, change the air volume of the conditioned air, and the like when the pointing device is, for example, an air conditioning device. Settings and the like are performed, and in the audio device, a television station, a radio station are changed, a song is selected, a volume is changed, and the like.
  • the acquisition unit 110 continuously acquires (with the passage of time) finger pointing gestures (body postures) of the operator and outputs them as finger pointing gesture data (body posture data) to the control unit 120. ..
  • the acquisition unit 110 mainly acquires the face of the operator in the upper half of the body, the position of the eyes (line-of-sight direction Vg), the postures of the shoulders, elbows, wrists, fingers, and the display unit 11.
  • a camera that forms a brightness image of an object a range image sensor that forms a range image, or a combination thereof can be used.
  • the camera there is a near-infrared camera that captures near-infrared rays, a visible-light camera that captures visible light, or the like.
  • the range image sensor for example, a stereo camera that simultaneously captures images with a plurality of cameras to measure information in the depth direction from parallax, or the depth is determined by the time until light from a light source is reflected by an object and returned.
  • the camera that forms the brightness image of the target object as described above is used as the acquisition unit 110.
  • the control unit 120 is, for example, a computer including a CPU, a ROM, a RAM, and the like, and includes a storage unit 121, a pointing direction calculation unit 122, an input control unit 123, and the like.
  • the storage unit 121 stores various threshold values (threshold values for various predetermined patterns) serving as a determination condition when determining the finger pointing method, and a priority order when there are a plurality of calculated finger pointing directions. Has become.
  • a threshold value The and a threshold value The′ for determining the bending degree (angle ⁇ e) of the elbow, and further bending degrees (angles) of the first and second joints of the finger There are a threshold value Th1, a threshold value Th2, a threshold value Th1′, and a threshold value Th2′ that determine ⁇ 1 and ⁇ 2). Further, based on the line-of-sight direction Vg, the eyeball position Pe, and the fingertip position Pt as various thresholds, the angle ⁇ (Vg, Pe ⁇ ) formed by the line-of-sight direction Vg and the line segment connecting the eyeball position Pe and the fingertip position Pt. There is a threshold Thf for determining Pt) (FIG. 6).
  • the priority order is predetermined as a order for determining which direction is to be preferentially adopted as the pointing direction when a plurality of pointing directions are calculated.
  • the various threshold value data and the priority order stored in the storage unit 121 are referred to by the pointing direction calculation unit 122 when the pointing direction is calculated as described later (step S110 in FIG. 2). Is becoming
  • the finger pointing direction calculation unit 122 determines a finger pointing method using the finger pointing gesture data of the operator output from the acquisition unit 110 and various thresholds and priorities stored in the storage unit 121. It is a part that calculates the actual finger pointing direction by the operator's finger pointing gesture by a calculation method corresponding to the pointing method.
  • the input control unit 123 is a unit that outputs the data of the pointing direction calculated by the pointing direction calculation unit 122 to various vehicle devices 10.
  • the gesture detection device 100 of the present embodiment is configured as described above, and the operation and action effects will be described below (FIGS. 2 to 8).
  • step S100 the finger pointing gesture (posture data) of the operator is acquired by the acquisition section 110, and the acquired finger pointing gesture data is stored in the finger pointing direction calculation section of the control section 120. It is output to 122.
  • Step S100 corresponds to the acquisition step of the present disclosure.
  • the finger pointing direction calculation unit 122 determines from the output finger pointing gesture data and the various threshold values stored in the storage unit 121, for example, as shown in the schematic diagram of FIG. 3 and the determination criteria (various patterns). A matching finger pointing method is determined, and an actual finger pointing direction is calculated by a calculation method corresponding to this finger pointing method.
  • the procedure for determining the pointing method and the procedure for calculating the pointing direction here, the following four pattern examples
  • Pattern 1 (Pattern based on finger direction)
  • the finger pointing direction calculation unit 122 determines that the elbow of the operator is bent and the first joint and the second joint of the finger are extended, the pattern 1 is applied as the finger pointing method.
  • the finger pointing direction calculation unit 122 when the angle formed by the upper arm and the lower arm is ⁇ e, Angle ⁇ e ⁇ threshold value The When it is determined that the elbow is bent, and when the angle at the first joint of the finger is ⁇ 1 and the angle at the second joint is ⁇ 2, as shown in FIG. Angle ⁇ 1 ⁇ threshold value Th1 When the angle ⁇ 2 ⁇ threshold value Th2, it is determined that each joint of the finger is extended. Then, the pointing direction calculation unit 122 calculates the direction of the extension line of the finger as the pointing direction.
  • Pattern 2 (eye-fingertip based pattern)
  • the finger pointing direction calculation unit 122 has the fingertip located near the center of the line of sight of the operator, and as shown in FIG. 6, the angle formed by the line of sight Vg and the line segment connecting the eyeball position Pe and the fingertip position Pt. Is ⁇ (Vg, Pe-Pt), ⁇ (Vg, Pe-Pt) ⁇ threshold Thf In this case, it is determined that the pattern 2 is applied as the pointing method. Then, the finger pointing direction calculation unit 122 calculates the direction of the line segment connecting the eyeball position Pe and the fingertip position Pt as the finger pointing direction.
  • Pattern 3 shoulder-fingertip based pattern
  • the finger pointing direction calculation unit 122 determines that the operator's elbow is extended, it determines that the pattern 3 is applied as the pointing method. Specifically, as shown in FIG. 7, the finger pointing direction calculation unit 122 sets the angle between the upper arm and the lower arm to ⁇ e, Angle ⁇ e ⁇ threshold The′ If it is, it is determined that the elbow is extended. Then, the finger pointing direction calculation unit 122 calculates the direction of the line segment connecting the shoulder and the fingertip as the finger pointing direction.
  • Pattern 4 (Pattern based on hand direction)
  • the finger pointing direction calculation unit 122 determines that the elbow is bent and the first joint and the second joint of the finger are bent, it determines that the pattern 4 is applied as the finger pointing method. .. Specifically, as shown in FIG. 4, the finger pointing direction calculation unit 122, when the angle formed by the upper arm and the lower arm is ⁇ e, Angle ⁇ e ⁇ threshold value The When it is determined that the elbow is bent, and when the angle at the first joint of the finger is ⁇ 1 and the angle at the second joint is ⁇ 2, as shown in FIG. Angle ⁇ 1 ⁇ threshold value Th1′ Angle ⁇ 2 ⁇ threshold value Th2′ If it is, it is determined that each joint of the finger is bent. Then, the finger pointing direction calculation unit 122 calculates the direction of the line segment connecting the wrist and the fingertip as the finger pointing direction.
  • the pointing direction calculation unit 122 calculates all of the patterns 1 to 4 that satisfy the calculation conditions.
  • the first joint and the second joint of the finger are assumed to bend or extend at the same time.
  • step S120 the pointing direction calculation unit 122 determines whether or not the pointing direction calculated in step S110 intersects the display unit 11 of the vehicle device 10, and the pointing direction intersects. If it is determined that it is present, the process proceeds to step S130, and if it is determined that it is not, this control is ended and the process returns to the start.
  • step S130 the finger-pointing direction calculation unit 122 further determines whether or not a plurality of finger-pointing directions are calculated among the calculations of patterns 1 to 4 in step S110, and the plurality of finger-pointing directions are calculated. In the case, the process proceeds to step S150, and when it is determined to be no, the process proceeds to step S140.
  • step S140 the input control unit 123 issues an input instruction to the vehicle device 10 based on the pointing direction (one pointing direction) calculated in step S110.
  • the above step S110 and this step S140 correspond to the calculation input step of the present disclosure.
  • the pointing direction calculation unit 122 determines the final pointing direction based on the priority order stored in advance in the storage unit 121 for the plurality of calculated pointing directions, and It proceeds to S140.
  • the first priority is based on the eye-fingertip
  • the second is based on the direction of the finger
  • the third is based on the direction of the hand
  • the fourth is on the shoulder-fingertip. It can be set to be based.
  • the first position is based on the eye-fingertip
  • the second position is based on the shoulder-fingertip
  • the third position is based on the direction of the finger
  • the fourth position is based on the direction of the hand. It is also possible.
  • the finger pointing direction calculation unit 122 may determine the final finger pointing direction by averaging a plurality of calculated finger pointing directions.
  • the finger in the finger pointing gesture is described as the index finger (FIGS. 3 to 8), but the finger is not limited to the index finger and other fingers may be used.
  • the control unit 120 determines the pointing method based on the posture of the operator's body acquired by the acquisition unit 110 and the threshold value set in advance for the posture of the body. It is determined that the finger pointing direction in the finger pointing gesture is calculated by the calculation method corresponding to the finger pointing method, and the input to the various vehicle devices 10 is performed.
  • control unit 120 determines the pointing method based on the body posture and a predetermined threshold even when the posture of the operator's body takes various forms, and the pointing method Since it is possible to automatically determine in which direction (position) the operator is pointing with a calculation method corresponding to, it is possible to reduce erroneous operations without making the operator feel annoyed. it can.
  • the control unit 120 when the calculated pointing direction does not intersect the display unit 11 (operation target), the control unit 120 excludes it from the target of input control (in the case of No in step S120). .. As a result, it is possible to prevent the operator from inputting an unintended finger pointing gesture and improve the reliability of the input operation.
  • the control unit 120 when there are a plurality of calculated finger pointing directions, the control unit 120 follows a predetermined priority order or uses an average value (averages) to make a final finger pointing. The direction is decided. Thereby, the reliability of the calculated finger pointing direction can be improved.
  • Modified examples of the first embodiment are shown in FIG. 3 (modified example), FIG. 9 and FIG.
  • the present modified example is different from the first embodiment in that the calculation procedure of the pointing direction is changed.
  • the storage unit 121 stores in advance dominant eye information indicating which side the operator's dominant eye is (right eye or left eye).
  • the dominant-eye information may be information registered in advance by the operator, information determined from the operator's line-of-sight movement pattern, information determined from the operator's line-of-sight direction Vg and the gazing point, or the like.
  • the condition that the wrist is bent may be used as the judgment of the finger pointing method, as shown in FIG.
  • the pointing direction calculation unit 122 Angle ⁇ w ⁇ threshold value Thw If it is, it is determined that the wrist is bent. Then, the pointing direction calculation unit 122 calculates the direction of the extension line of the finger as the pointing direction.
  • the judgment of the finger pointing method may be made as a condition that the third joint of the finger is bent as shown in FIG.
  • the pointing direction calculation unit 122 when the angle at the third joint is ⁇ 3, Angle ⁇ 3 ⁇ threshold value Th3 When it becomes, it is determined that the third joint of the finger is bent. Then, the pointing direction calculation unit 122 calculates the direction of the extension line of the finger as the pointing direction.
  • the finger pointing direction may be calculated as a combination of two or more conditions among the third joint of the operator's elbow, wrist and finger.
  • the finger pointing direction calculation unit 122 may adopt a condition that the operator's finger faces upward. That is, when the vector in the pitch direction (upward direction) of the finger is Pf and the threshold value indicating upward is Thf, Vector Pf ⁇ threshold value Thf In this case, it is determined that the finger is facing upward, and for example, the direction of the line segment connecting the fingertip and the closest icon 11b among the plurality of icons 11b on the display unit 11 is calculated as the pointing direction. ..
  • the fingertip may be below the line-of-sight direction Vg. If it is on the side, the threshold value Thf may be changed to a value increased by a predetermined amount.
  • the operation target is the various vehicle devices 10, but the present invention is not limited to this and may be applied to devices provided for homes and facilities.
  • the hypothetical equipment is, for example, a television or audio
  • the facility equipment is, for example, an ATM of a bank or an automatic ticket vending machine at a station.
  • the target operator of the one installed in the vehicle is not limited to the driver, but may be the passenger.
  • the passenger seat also makes a gesture, whereby the gesture detection device 100 detects the gesture, and the various vehicle devices 10 can be operated.
  • the disclosure in this specification and drawings is not limited to the illustrated embodiment.
  • the disclosure encompasses the illustrated embodiments and variations on them based on them.
  • the disclosure is not limited to the combination of parts and/or elements shown in the embodiments.
  • the disclosure can be implemented in various combinations.
  • the disclosure may have additional parts that may be added to the embodiments.
  • the disclosure includes omissions of parts and/or elements of the embodiments.
  • the disclosure includes replacements or combinations of parts and/or elements between one embodiment and another.
  • the disclosed technical scope is not limited to the description of the embodiments. It is to be understood that some technical scopes disclosed are shown by the description of the claims, and further include meanings equivalent to the description of the claims and all modifications within the scope.
  • the control unit 120 and the method described in the present disclosure may be realized by a dedicated computer that configures a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the apparatus and method described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • the apparatus and the method described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program may be stored in a computer-readable non-transitory tangible recording medium as an instruction executed by the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

操作者の指差しジェスチャによる指差し方向に基づいて、操作対象１０に対する入力を行うジェスチャ検出装置は、操作者の体の姿勢を取得する取得部１１０と、取得部によって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う制御部１２０と、を備える。

Description

ジェスチャ検出装置、およびジェスチャ検出方法 関連出願の相互参照
　本出願は、２０１８年１１月２６日に出願された日本特許出願番号２０１８－２２０２４０号に基づくものであり、ここにその開示を参照により援用する。
　本開示は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、およびジェスチャ検出方法に関するものである。
　従来のジェスチャ検出装置として、例えば、特許文献１に記載されたものが知られている。特許文献１のジェスチャ検出装置（情報入力装置）では、機器制御器は、操作者のジェスチャ（手の形状、状態、状態の変化）に基づいて、制御対象機器を特定し、更に、制御コマンドを決定し、制御対象機器に対する入力（遠隔操作）ができるようになっている。例えば、操作者のジェスチャとして、人差し指を立てた指差しジェスチャによって、ディスプレイ（テレビ）画面が指し示されると、機器制御器は、制御対象機器がテレビであることを認識し、この指差しジェスチャによって、指の延長線上に位置したディスプレイ上のカーソルを移動することができるようになっている。
　また、特許文献２のジェスチャ検出装置（操作入力装置）では、ディスプレイ画面と、ディスプレイ画面の外側領域となる延長面とによって、展開面が設定されている。そして、操作者の目の位置（基準点）と、展開面の前方にかざされた手の指先（指示物）とを結ぶ仮想線によって、指差しによる展開面上の位置（対象点）が定義されるようになっている。
特開２０１３－２０５９８３号公報 特開２００５－３２１８７０号公報
　しかしながら、上記特許文献１、２では、それぞれ、所定の指差し方法が予め決められており、その方法を前提として、指差し方向が特定されるようになっている。よって、操作者が、所定の指差し方法とは異なる指差しジェスチャを行うと誤操作が発生する。一方、誤操作を回避するために、どの部位でどのように指差しをするのかを操作者に制約すると、操作者は煩わしさを感じる。
　本開示の目的の一つは、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムを提供することにある。
　本開示の一側面に係るジェスチャ検出装置は、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象に対する入力を行うジェスチャ検出装置であって、
　操作者の体の姿勢を取得する取得部と、
　取得部によって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う制御部と、を備えるジェスチャ検出装置である。
　本開示の一側面に係るジェスチャ検出方法は、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象に対する入力を行うジェスチャ検出方法であって、
　操作者の体の姿勢を取得する取得ステップと、
　取得ステップによって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う算出入力ステップと、を備えるジェスチャ検出方法である。
　本開示の一側面に係るジェスチャ検出制御プログラムは、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象に対する入力を行うジェスチャ検出制御プログラムであって、
　コンピュータを、
　操作者の体の姿勢を取得する取得部によって取得された体の姿勢データと、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う制御部として機能させるジェスチャ検出制御プログラムである。ジェスチャ検出制御プログラムは、非一時的な記憶媒体に格納され得る。
　これにより、制御部は、操作者の体の姿勢と、予め定められた閾値とに基づいて、操作者がどの方向（位置）を指差しているのかを自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
　本開示の上記及び他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明らかになる。図面において、
第１実施形態におけるジェスチャ検出装置の全体構成を示すブロック図である。 制御部が行う制御内容を示すフローチャートである。 具体的に指差し方向を算出する際に用いる閾値（判断基準）を示す図である。 肘が曲がっている状態を示す説明図である。 指の第１関節と第２関節とが伸びている状態を示す説明図である。 視線方向、眼球位置、および指先位置を示す説明図である。 肘が伸びている状態を示す説明図である。 肘、および指の第１、第２関節が曲がっている状態を示す説明図である。 変形例において、手首が曲がっている状態を示す説明図である。 変形例において、指の第３関節が曲がっている状態を示す説明図である。
　以下に、図面を参照しながら複数の実施形態を説明する。各実施形態において先行する実施形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各実施形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の実施形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
　（第１実施形態）
　第１実施形態のジェスチャ検出装置１００について図１～図８を用いて説明する。本実施形態のジェスチャ検出装置１００は、例えば車両に搭載され、操作者（運転者）の指差しジェスチャによる指差し方向に基づいて、各種車両機器１０に対する入力指示を行う装置となっている。指差しジェスチャにおける指は、例えば、人差し指とすることができる。
　各種車両機器１０としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置（以下、カーナビ装置）、テレビ放映、ラジオ放送、ＣＤ／ＤＶＤの再生等を行うオーディオ装置等、がある。これらの車両機器１０は、本開示の操作対象に対応する。尚、各種車両機器１０としては、上記に限らず、ヘッドアップディスプレイ装置、ルームランプ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。
　空調装置、カーナビゲーション装置、およびオーディオ装置等は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を用いた表示部１１を有しており、この表示部１１には、例えば、カーソル１１ａ、操作用のアイコン１１ｂ、更にはそれぞれの作動状態等が表示されるようになっている。
　ジェスチャ検出装置１００は、図１に示すように、取得部１１０、および制御部１２０等を備えている。制御部１２０は、取得部１１０によって取得された操作者の指差しジェスチャの姿勢データ（体の姿勢）と、後述する各種閾値とをもとに、予め定められた各種パターン（図３）の中から適合する指差し方法を判断し、この指差し方法に対応する算出方法で指差し方向を算出するようになっている。そして、制御部１２０は、この指差し方向のデータを各種車両機器１０に出力することで、各種車両機器１０に対する入力指示（入力操作のための指示）を行うようになっている。
　つまり、指差しジェスチャが行われることで、指差し方向と交わるカーソル１１ａが移動される、また、指差し方向と交わるアイコン１１ｂが選択されることで、各種車両機器１０における作動条件が変更され、表示部１１には、操作の結果（作動状態等）が表示される。
　尚、各種車両機器１０は、指差しジェスチャによって、例えば、空調装置であると、設定温度の変更、空調風の風量の変更等が行われ、また、カーナビ装置では、地図の拡大縮小、目的地設定等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
　取得部１１０は、操作者の指差しジェスチャ（体の姿勢）を連続的に（時間経過と共に）取得し、指差しジェスチャデータ（体の姿勢データ）として制御部１２０に出力するようになっている。取得部１１０は、操作者の主に上半身における顔、目の位置（視線方向Ｖｇ）、および肩、肘、手首、指等の姿勢、更には表示部１１を取得するようになっている。
　取得部１１０としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等がある。本実施形態では、取得部１１０としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。
　制御部１２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、記憶部１２１、指差し方向算出部１２２、および入力制御部１２３等を備えている。
　記憶部１２１は、指差し方法を判断する際の判定条件となる各種閾値（予め定められた各種パターンごとの閾値）、および算出された指差し方向が複数ある場合の優先順位等を記憶する部位となっている。
　各種閾値としては、図３～図８に示すように、肘の曲り具合（角度θｅ）を判定する閾値Ｔｈｅ、閾値Ｔｈｅ´、更に、指の第１関節、および第２関節の曲り具合（角度θ１、θ２）を判定する閾値Ｔｈ１、閾値Ｔｈ２、閾値Ｔｈ１´、閾値Ｔｈ２´がある。また、各種閾値として、視線方向Ｖｇ、眼球位置Ｐｅ、および指先位置Ｐｔをもとにして、視線方向Ｖｇと、眼球位置Ｐｅおよび指先位置Ｐｔを結ぶ線分との成す角∠（Ｖｇ、Ｐｅ－Ｐｔ）（図６）を判定する閾値Ｔｈｆがある。
　また、優先順位は、後述するように指差し方向が複数、算出された場合に、どの方向を優先して指差し方向として採用するかを決めるための順位として予め定められている。
　記憶部１２１に記憶された各種閾値データ、および優先順位は、後述するように指差し方向が算出される際（図２のステップＳ１１０）に、指差し方向算出部１２２によって、参照されるようになっている。
　指差し方向算出部１２２は、取得部１１０から出力される操作者の指差しジェスチャデータと、記憶部１２１に記憶された各種閾値、優先順位とを用いて、指差し方法を判断し、この指差し方法に対応する算出方法で、操作者の指差しジェスチャによる実際の指差し方向を算出する部位となっている。
　入力制御部１２３は、指差し方向算出部１２２によって算出された指差し方向のデータを、各種車両機器１０に出力する部位となっている。
　本実施形態のジェスチャ検出装置１００は、以上のような構成となっており、以下、作動および作用効果について説明する（図２～図８）。
　図２に示すフローチャートにおいて、まず、ステップＳ１００で、取得部１１０によって操作者の指差しジェスチャ（姿勢データ）が取得され、取得された指差しジェスチャのデータは、制御部１２０における指差し方向算出部１２２に出力される。ステップＳ１００は、本開示の取得ステップに対応する。
　ステップＳ１１０で、指差し方向算出部１２２は、出力された指差しジェスチャデータと、記憶部１２１にある各種閾値とから、例えば、図３の模式図、および判断基準（各種パターン）に示すように、適合する指差し方法を判断し、この指差し方法に対応する算出方法で実際の指差し方向を算出する。以下、指差し方法の判断の要領と、指差し方向の算出要領（ここでは、以下の４つのパターン例）について具体的に説明する。
　パターン１（指の方向に基づくパターン）
　指差し方向算出部１２２は、操作者の肘が曲がっており、且つ、指の第１関節、および第２関節が伸びている状態を判定すると、指差し方法としては、パターン１を適用するものと判断する。具体的には、指差し方向算出部１２２は、図４に示すように、上腕と下腕との成す角度をθｅとしたときに、
　角度θｅ≦閾値Ｔｈｅ
となる場合に肘が曲がっていると判定すると共に、図５に示すように、指の第１関節における角度をθ１、第２関節における角度をθ２としたときに、
　角度θ１≧閾値Ｔｈ１
　角度θ２≧閾値Ｔｈ２となる場合に指の各関節が伸びていると判定する。そして、指差し方向算出部１２２は、指の伸びる延長線の方向を指差し方向として算出する。
　パターン２（目－指先に基づくパターン）
　指差し方向算出部１２２は、操作者の視線の中心付近に指先が位置しており、図６に示すように、視線方向Ｖｇと、眼球位置Ｐｅおよび指先位置Ｐｔを結ぶ線分との成す角を∠（Ｖｇ、Ｐｅ－Ｐｔ）としたとき、
　∠（Ｖｇ、Ｐｅ－Ｐｔ）≦閾値Ｔｈｆ
となる場合に、指差し方法としては、パターン２を適用するものと判断する。そして、指差し方向算出部１２２は、眼球位置Ｐｅおよび指先位置Ｐｔを結ぶ線分の方向を指差し方向として算出する。
　パターン３（肩－指先に基づくパターン）
　指差し方向算出部１２２は、操作者の肘が伸びている状態を判定すると、指差し方法としては、パターン３を適用するものと判断する。具体的には、指差し方向算出部１２２は、図７に示すように、上腕と下腕との成す角度をθｅとしたときに、
　角度θｅ≧閾値Ｔｈｅ´
となる場合に肘が伸びていると判定する。そして、指差し方向算出部１２２は、肩と指先とを結ぶ線分の方向を指差し方向として算出する。
　パターン４（手の方向に基づくパターン）
　指差し方向算出部１２２は、肘が曲がっており、且つ、指の第１関節、および第２関節が曲がっている状態を判定すると、指差し方法としては、パターン４を適用するものと判断する。具体的には、指差し方向算出部１２２は、図４に示すように、上腕と下腕との成す角度をθｅとしたときに、
　角度θｅ≦閾値Ｔｈｅ
となる場合に肘が曲がっていると判定すると共に、図８に示すように、指の第１関節における角度をθ１、第２関節における角度をθ２としたときに、
　角度θ１≦閾値Ｔｈ１´
　角度θ２≦閾値Ｔｈ２´
となる場合に指の各関節が曲がっていると判定する。そして、指差し方向算出部１２２は、手首と指先とを結ぶ線分の方向を指差し方向として算出する。
　尚、指差し方向算出部１２２は、上記のパターン１～４において、算出条件を満たすものについては、全て算出する。また、指の第１関節、および第２関節は、同時に曲がる、あるいは伸びることを前提としている。
　図２に戻って、次に、ステップＳ１２０で、指差し方向算出部１２２は、上記ステップＳ１１０で算出した指差し方向が、車両機器１０の表示部１１に交わっているか否かを判定し、交わっていると判定した場合は、ステップＳ１３０に進み、否と判定した場合は、本制御を終了し、スタートに戻る。
　ステップＳ１３０では、更に、指差し方向算出部１２２は、ステップＳ１１０におけるパターン１～４の算出のうち、複数の指差し方向が算出されたか否かを判定し、複数の指差し方向が算出された場合は、ステップＳ１５０に移行し、また、否と判定した場合は、ステップＳ１４０に移行する。
　ステップＳ１４０では、入力制御部１２３は、ステップＳ１１０で算出した指差し方向（１つの指差し方向）に基づいて、車両機器１０に対する入力指示を実施する。上記ステップＳ１１０、および本ステップＳ１４０は、本開示の算出入力ステップに対応する。
　また、ステップＳ１５０では、指差し方向算出部１２２は、複数算出された指差し方向に対して、記憶部１２１に予め記憶された優先順位に基づいて、最終の指差し方向を決定して、ステップＳ１４０に進む。尚、優先順位としては、図３において、例えば、１位を目－指先に基づくもの、２位を指の方向に基づくもの、３位を手の方向に基づくもの、４位を肩－指先に基づくものと設定することが可能である。あるいは、図３において、例えば、１位を目－指先に基づくもの、２位を肩－指先に基づくもの、３位を指の方向に基づくもの、４位を手の方向に基づくものと設定することも可能である。
　あるいは、ステップＳ１５０においては、指差し方向算出部１２２は、複数算出された指差し方向に対して、平均化することで、最終の指差し方向として決定するようにしてもよい。
　尚、指差しジェスチャにおける指は、人差し指として説明したが（図３～図８）、人差し指に限らず、他の指を使用するものとしてもよい。
　以上のように、本実施形態では、制御部１２０は、取得部１１０によって取得された操作者の体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて、指差し方法を判断し、指差し方法に対応する算出方法で指差しジェスチャにおける指差し方向を算出して、各種車両機器１０に対する入力を行うようにしている。
　これにより、制御部１２０は、操作者の体の姿勢が種々の形態を取る場合であっても、体の姿勢と、予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で操作者がどの方向（位置）を指差しているのかを、自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
　また、本実施形態では、算出された指し方向が、表示部１１（操作対象）に交わらない場合、制御部１２０は、入力制御の対象から除外するようにしている（ステップＳ１２０のＮｏの場合）。これにより、操作者の意図しない指差しジェスチャに対する入力を禁止して、入力操作の信頼性を向上させることができる。
　また、本実施形態では、算出された指差し方向が、複数ある場合、制御部１２０は、予め定められた優先順位に従って、あるいは、平均値を用いる（平均化する）ことで、最終的な指差し方向として決定するようにしている。これにより、算出される指差し方向の信頼度を向上させることができる。
　（第１実施形態の変形例）
　第１実施形態の変形例を図３（変形例）、図９、図１０に示す。本変形例は、上記第１実施形態に対して、指差し方向の算出要領を変更したものである。
　尚、記憶部１２１には、上記各種閾値、および優先順位に加えて、予め、操作者の利き目がどちら側であるか（右目か左目か）という利き目情報が記憶されている。利き目情報は、予め操作者によって登録されたもの、あるいは、操作者の視線移動パターンから判定したもの、あるいは、操作者の視線方向Ｖｇおよび注視点から判定したもの等とすることができる。
　１．図３中のパターン１（指の方向）に基づく算出において、
　１）指差し方法の判断として、操作者の肘が曲がっているという条件に代えて、図９に示すように、手首が曲がっているという条件にしてもよい。指差し方向算出部１２２は、手首における曲げ角度をθｗとしたときに、
　角度θｗ≦閾値Ｔｈｗ
となる場合に手首が曲がっていると判定する。そして、指差し方向算出部１２２は、指の伸びる延長線の方向を指差し方向として算出する。
　２）指差し方法の判断として、操作者の肘が曲がっているという条件に代えて、図１０に示すように、指の第３関節が曲がっているという条件にしてもよい。指差し方向算出部１２２は、第３関節における角度をθ３としたときに、
　角度θ３≦閾値Ｔｈ３
となる場合に指の第３関節が曲がっていると判定する。そして、指差し方向算出部１２２は、指の伸びる延長線の方向を指差し方向として算出する。
　３）更に、指差し方法の判断として、操作者の肘、手首、指の第３関節のうち、２つ以上の条件の組合せとして、指差し方向を算出するようにしてもよい。
　２．図３中のパターン２（目－指先）に基づく算出において、
　１）指差し方法の判断として、指差し方向算出部１２２は、操作者の指が上側を向いている場合という条件を採用してもよい。即ち、指のピッチ方向（上方向）のベクトルをＰｆ、上を向いていることを示す閾値をＴｈｆとしたとき、
　ベクトルＰｆ≧閾値Ｔｈｆ
となる場合に、指が上側を向いていると判定し、例えば、指先と、表示部１１における複数のアイコン１１ｂのうち一番近いアイコン１１ｂとを結ぶ線分の方向を指差し方向として算出する。
　尚、指が上側を向く場合というのは、例えば、操作者が、表示部１１のアイコン１１ｂを指で押すときのイメージをもって空中で指差し、指が上側を向くことを想定したものである。操作者の視線が、ハードウエア構成上の理由や、外乱光等によって一時的に検知失敗をしたような場合に、この算出要領は有効となる。
　２）操作者の左右どちらの目の視線方向Ｖｇ、眼球位置Ｐｅを使うかについて、
　予め記憶部１２１に記憶された操作者の利き目情報を使用する、あるいは、
　左右の目の平均値を使用する、あるいは、
　指を指している手と同じ側の目を利き目とする（指差しをしている手が右手ならば、右目を利き目とする）、あるいは、
　指先が位置する側の目を利き目とする（左右の手は関係なく、指差しジェスチャする指が操作者の右側にあれば、右目を利き目とする）、ことができる。
　３）閾値Ｔｈｆの設定について、
　操作者自身の指によって操作対象（例えば、カーソル１１ａやアイコン１１ｂ）を隠さないように、視線方向Ｖｇに対して、少し下側を指差す場合があるため、指先が視線方向Ｖｇに対して下側にある場合は、閾値Ｔｈｆを所定量だけ、大きくした値に変更してもよい。
　以上のように、本変形例においても、上記第１実施形態と同様に、操作者がどの方向（位置）を指差しているのかを、自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
　（その他の実施形態）
　上記各実施形態では、操作対象を各種車両機器１０としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。仮定用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のＡＴＭや、駅の自動券売機等が挙げられる。
　また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、ジェスチャを行うことで、ジェスチャ検出装置１００によるジェスチャ検出が行われて、各種車両機器１０の操作が可能となる。
　この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
　本開示に記載の制御部１２０、およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置、およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置、およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非一時的な有形記録媒体に記憶されていてもよい。

 

Claims (6)

  1. 　操作者の指差しジェスチャによる指差し方向に基づいて、操作対象（１０）に対する入力を行うジェスチャ検出装置において、
    　前記操作者の体の姿勢を取得する取得部（１１０）と、
    　前記取得部によって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部（１２０）とを備えるジェスチャ検出装置。
  2. 　算出された前記指差し方向が、前記操作対象に交わらない場合、
    　前記制御部は、入力制御の対象から除外する請求項１に記載のジェスチャ検出装置。
  3. 　算出された前記指差し方向が、複数ある場合、
    　前記制御部は、予め定められた優先順位に従って、最終的な指差し方向として決定する請求項１に記載のジェスチャ検出装置。
  4. 　算出された前記指差し方向が、複数ある場合、
    　前記制御部は、複数の前記指差し方向の平均値を、最終的な指差し方向として決定する請求項１に記載のジェスチャ検出装置。
  5. 　操作者の指差しジェスチャによる指差し方向に基づいて、操作対象（１０）に対する入力を行うジェスチャ検出方法において、
    　前記操作者の体の姿勢を取得する取得ステップ（Ｓ１００）と、
    　前記取得ステップによって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う算出入力ステップ（Ｓ１１０、Ｓ１４０）とを備えるジェスチャ検出方法。
  6. 　操作者の指差しジェスチャによる指差し方向に基づいて、操作対象（１０）に対する入力を行うジェスチャ検出制御プログラムにおいて、
    　コンピュータを、
    　前記操作者の体の姿勢を取得する取得部（１１０）によって取得された前記体の姿勢データと、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部（１２０）として機能させるためのジェスチャ検出制御プログラム。

     
PCT/JP2019/044341 2018-11-26 2019-11-12 ジェスチャ検出装置、およびジェスチャ検出方法 WO2020110706A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018220240A JP7293620B2 (ja) 2018-11-26 2018-11-26 ジェスチャ検出装置、およびジェスチャ検出方法
JP2018-220240 2018-11-26

Publications (1)

Publication Number Publication Date
WO2020110706A1 true WO2020110706A1 (ja) 2020-06-04

Family

ID=70853813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044341 WO2020110706A1 (ja) 2018-11-26 2019-11-12 ジェスチャ検出装置、およびジェスチャ検出方法

Country Status (2)

Country Link
JP (1) JP7293620B2 (ja)
WO (1) WO2020110706A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182677A (ja) 2020-05-18 2021-11-25 キヤノン株式会社 通信装置、制御方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013434A (ja) * 2012-07-03 2014-01-23 Ntt Docomo Inc 表示装置、処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013434A (ja) * 2012-07-03 2014-01-23 Ntt Docomo Inc 表示装置、処理方法及びプログラム

Also Published As

Publication number Publication date
JP2020086913A (ja) 2020-06-04
JP7293620B2 (ja) 2023-06-20

Similar Documents

Publication Publication Date Title
US11314335B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US20160132126A1 (en) System for information transmission in a motor vehicle
JP2006072854A (ja) 入力装置
CN113646736A (zh) 手势识别方法、装置、系统及车辆
US11112873B2 (en) Method for operating a display device for a motor vehicle and motor vehicle
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
JP2017211884A (ja) 動き検出システム
WO2020110706A1 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
KR100939831B1 (ko) 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
JP2020107031A (ja) 指示ジェスチャ検出装置、およびその検出方法
JP7024702B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
JP7163649B2 (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
JP2017197016A (ja) 車載用情報処理システム
JP2020190941A (ja) ポインティング入力装置
JP6696357B2 (ja) ポインタ制御システムおよびポインタ制御プログラム
WO2017175666A1 (ja) 車載用情報処理システム
JP2020067836A (ja) 表示制御装置、表示システム、及びｇｕｉプログラム
JP2020181279A (ja) 車両用メニュー表示制御装置、車載機器操作システム、及びｇｕｉプログラム
JP2018163555A (ja) 情報入力システムおよび情報入力プログラム
JP2018041354A (ja) ポインタ制御システムおよびポインタ制御プログラム
JP2017199203A (ja) 車載用情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889138

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19889138

Country of ref document: EP

Kind code of ref document: A1