WO2022269983A1 - 信号処理装置、信号処理方法、記録媒体、および信号処理システム - Google Patents

信号処理装置、信号処理方法、記録媒体、および信号処理システム Download PDF

Info

Publication number
WO2022269983A1
WO2022269983A1 PCT/JP2022/005153 JP2022005153W WO2022269983A1 WO 2022269983 A1 WO2022269983 A1 WO 2022269983A1 JP 2022005153 W JP2022005153 W JP 2022005153W WO 2022269983 A1 WO2022269983 A1 WO 2022269983A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
recognition
vehicle
signal processing
unit
Prior art date
Application number
PCT/JP2022/005153
Other languages
English (en)
French (fr)
Inventor
洋 今村
徹 長良
誠史 友永
孝至 高松
浩二 長田
宏 竹内
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/569,242 priority Critical patent/US20240264678A1/en
Priority to JP2023529483A priority patent/JPWO2022269983A1/ja
Priority to CN202280042810.6A priority patent/CN117501212A/zh
Priority to EP22827907.1A priority patent/EP4361992A1/en
Priority to KR1020237042536A priority patent/KR20240024809A/ko
Publication of WO2022269983A1 publication Critical patent/WO2022269983A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present technology relates to a signal processing device, a signal processing method, a recording medium, and a signal processing system, and in particular, a signal processing device, a signal processing method, a recording medium, and a signal processing device that enable appropriate recognition of operations using gestures. and signal processing systems.
  • FIG. 1 It is a figure showing an example of composition of a vibration data management system concerning one embodiment of this art. It is a figure which shows the flow of the data in a vibration data management system. It is a figure which shows the mode of operation using a gesture by the passenger
  • the server 1 stores the vibration data transmitted from the preceding vehicle 2A in association with the position of the map data indicated by the position information.
  • the map data is data for the server 1 to collectively manage vibration data and the like of a plurality of positions. That is, the vibration data is stored as traveling data at the position where the preceding vehicle 2A is traveling.
  • the server 1 is composed of a data reception unit 21, a vibration data management unit 22, and a data transmission unit 23.
  • the data receiving unit 41 acquires from the server 1 vibration data linked to the predicted position of the target vehicle 2B. Specifically, the data receiving unit 41 requests the server 1 for vibration data labeled with vehicle information indicating a vehicle type corresponding to the vehicle type of the target vehicle 2B, and acquires the vibration data from the server 1 . The vibration data acquired from the server 1 is supplied to the vibration pattern analysis section 42 .
  • the operation method setting unit 65 supplies the UI display control unit 45 with an operation method parameter indicating whether or not a gesture using each part is to be recognized.
  • the operation method parameters are defined, for example, in the following format. A value of 1 indicates that it is a recognition target, and a value of 0 indicates that it is not a recognition target.
  • both the recognition range and the display range may be changed, or only one of them may be changed.
  • the recognition disable period is the period during which gesture recognition is disabled. For example, a period during which an event such as vibration with an amplitude greater than a predetermined threshold occurs that lowers the accuracy of gesture recognition is set as the recognition invalid period. If a recognition disable period is applied, the duration of the gesture is measured exclusive of the recognition disable period. On the other hand, if no recognition disable period is applied, the duration of the gesture is measured without removing the recognition disable period.
  • the occurrence of stable vibration at the predicted position is detected by classifying the vibration pattern indicated by the vibration data. For example, when amplitudes larger than a predetermined threshold continuously occur in the vibration data, it is determined that stable vibration occurs at the predicted position.
  • the UI command generation unit 82 determines whether the gesture satisfies the operation condition, such as whether the duration of the state in which the gesture is performed within the recognition range has reached the recognition determination time. . For example, if the gesture satisfies the operation condition, the UI command generation unit 82 determines that the gesture is an operation for selecting the UI corresponding to the recognition range.
  • the recognition range is indicated by a recognition range parameter
  • the recognition determination time is indicated by a recognition determination time parameter.
  • the following vehicle 2C is provided with the same configuration as the target vehicle 2B.
  • step S73 the UI command generation unit 82 determines whether the gesture performed by the passenger satisfies the operation conditions. For example, the UI command generation unit 82 compares the duration of a state in which the part used for the gesture set as the recognition target is directed within the recognition range and the recognition determination time. When the duration of the gesture reaches the recognition determination time, the UI command generation unit 82 determines that the gesture has satisfied the operation condition, and the process proceeds to step S74. At this time, if the recognition invalid period is set to be applied, the duration of the gesture is measured in a period other than the recognition invalid period. Note that the recognition range is indicated by a recognition range parameter, and whether or not the recognition determination time and recognition invalid period are applied is indicated by a recognition determination time parameter.
  • the operating method setting unit 65 corrects the operating method parameters so as to disable the operating method with a low success rate. For example, the operation method setting unit 65 modifies the operation method parameter so as to invalidate (not to be recognized) a gesture using a part that is easily affected by vibration, such as a hand or finger.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ジェスチャを用いた操作を適切に認識することができるようにする信号処理装置、信号処理方法、記録媒体、および信号処理システムに関する。 本技術の信号処理装置は、将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、設定部により設定された認識方法に従って、ユーザが行ったジェスチャが示す操作を認識する操作認識部とを備える。操作認識部は、信号処理装置が搭載された車両内のユーザが行ったジェスチャが示す操作を認識する。本技術は、例えば、車両内に設けられた表示デバイスを制御する信号処理装置に適用することができる。

Description

信号処理装置、信号処理方法、記録媒体、および信号処理システム
　本技術は、信号処理装置、信号処理方法、記録媒体、および信号処理システムに関し、特に、ジェスチャを用いた操作を適切に認識することができるようにした信号処理装置、信号処理方法、記録媒体、および信号処理システムに関する。
　車両の自動運転が実現された場合、乗員は運転する必要がないため、車両の中で自由に時間を過ごすことができる。自由な時間の中で、例えば、表示デバイスを利用して映像コンテンツを長時間視聴することが考えられる。表示デバイスからある程度離れた位置で映像コンテンツを視聴する場合、物理的なボタンに触れずに、ジェスチャを用いて表示デバイスを操作することが想定される。
　例えば、UI（User Interface）の表示に指先を向けることによってデジタル機器を操作する場合、車両の振動によってUI表示や指先が揺れてしまい、適切に操作することができないことがある。
　これに対して、特許文献１には、加速度センサにより車両の振動を検出し、検出した振動に基づいてタッチ操作の反応領域の大きさを変更する技術が記載されている。
特開２０１６－１２６５５６号公報
　特許文献１に記載の技術においては、検出された振動状況がUIにフィードバックされる。しかしながら、車両内で行われる操作に特許文献１の技術を適用した場合、振動が生じた後に振動状況がUIにフィードバックされるため、振動状況がUIに反映されるまでに遅延が発生し、必ずしも効果的な改善にはつながらない。
　本技術はこのような状況に鑑みてなされたものであり、ジェスチャを用いた操作を適切に認識することができるようにするものである。
　本技術の第１の側面の信号処理装置は、将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部とを備える。
　本技術の第２の側面の信号処理システムは、将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部とを備える信号処理装置と、前記ジェスチャを用いた前記操作の対象となる画像を表示する表示部を備える表示装置とを有する。
　本技術の第１の側面においては、将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法が設定され、設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作が認識される。
　本技術の第２の側面においては、将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法が設定され、設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作が認識され、前記ジェスチャを用いた前記操作の対象となる画像が表示される。
本技術の一実施形態に係る振動データ管理システムの構成例を示す図である。 振動データ管理システムにおけるデータの流れを示す図である。 先行車両の乗員によるジェスチャを用いた操作の様子を示す図である。 対象車両と後続車両の乗員によるジェスチャを用いた操作の様子を示す図である。 サーバの構成例を示すブロック図である。 先行車両の構成例を示すブロック図である。 対象車両の構成例を示すブロック図である。 振動パターン解析部の詳細な構成例を示すブロック図である。 振動パターンの分類とUI補正データの例を示す図である。 操作の認識方法を補正する例を示す図である。 操作の認識方法を補正する他の例を示す図である。 UI表示制御部の詳細な構成例を示すブロック図である。 先行車両とサーバが行う処理について説明するフローチャートである。 対象車両とサーバが行う処理について説明するフローチャートである。 UI補正データ生成処理について説明するフローチャートである。 操作決定処理について説明するフローチャートである。 UI表示制御部の他の構成例を示すブロック図である。 振動パターン解析部の他の構成例を示すブロック図である。 対象車両とサーバが行う処理について説明するフローチャートである。 成功率算出処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．振動データ管理システム
　２．各機器の構成
　３．各機器の動作
　４．変形例
＜＜１．振動データ管理システム＞＞
　図１は、本技術の一実施形態に係る振動データ管理システムの構成例を示す図である。
　図１に示す振動データ管理システムは、車両２Ａ乃至２Ｃがサーバ１にインターネットなどのネットワークを介して接続されることにより構成される。
　サーバ１は、車両２Ａ乃至２Ｃにおいて検出された振動を表す振動データを管理する。
　車両２Ａ乃至２Ｃには、信号処理装置、表示デバイス、加速度センサなどが搭載される。信号処理装置は、映像コンテンツなどを再生し、表示デバイスに表示させる。表示デバイスは、信号処理装置による制御に従って、映像コンテンツの表示を行ったり、信号処理装置などを操作するためのUIの表示を行ったりする。加速度センサは、車両２Ａ乃至２Ｃのそれぞれの振動を検出する。
　車両２Ａ乃至２Ｃの乗員（ユーザ）は、ジェスチャを用いて表示デバイスや信号処理装置を操作することができる。なお、以下、車両２Ａ乃至２Ｃを区別する必要がない場合、単に車両２と称する。
　図１においては、３台の車両２Ａ乃至２Ｃがサーバ１と接続されているが、実際には、任意の台数の車両２がサーバ１に接続され、それぞれの車両２において検出された振動を表す振動データがサーバ１により管理される。
　図２は、振動データ管理システムにおけるデータの流れを示す図である。
　図２の例においては、車両２Ａ、車両２Ｂ、車両２Ｃの順に同じ位置を通過するように車両２Ａ乃至２Ｃが走行する。以下では、車両２Ａを先行車両２Ａ、車両２Ｂを対象車両２Ｂ、車両２Ｃを後続車両２Ｃとも称する。以下では、特に説明がないかぎり、先行車両２Ａ、対象車両２Ｂ、および後続車両２Ｃの車種が同じ車種である場合について説明する。
　図３は、先行車両２Ａの乗員によるジェスチャを用いた操作の様子を示す図である。
　図３の例においては、先行車両２Ａに設けられた表示デバイス１１Ａにより映像コンテンツの表示が行われている。先行車両２Ａの乗員Ｕ１は、先行車両２Ａ内で、例えば、表示デバイス１１Ａ上の所定の位置に指先を向けることにより、信号処理装置を制御することができる。
　先行車両２Ａにおいては、走行中、道路の凹凸などによって振動が生じる。先行車両２Ａの振動により、図３に示すように、表示デバイス１１Ａや乗員Ｕ１の指先が揺れる。表示デバイス１１Ａや指先の揺れによって、乗員が映像コンテンツの所定の範囲に指先を向けようとしても、例えば、３つの破線の楕円で示すように、指先が向けられる範囲が動く。したがって、指先が向けられたと認識される範囲が安定せず、乗員Ｕ１の意図と異なる動作が信号処理装置により行われることがある。
　これに対して、先行車両２Ａは、走行中に振動を検出した場合、図２の矢印Ａ１に示すように、検出した振動を示す振動データを、先行車両２Ａの車種を示す車両情報と、先行車両２Ａが走行している位置を示す位置情報とともにサーバ１に伝送する。
　サーバ１は、先行車両２Ａから伝送されてきた振動データを、位置情報により示される地図データの位置に紐づけて格納する。地図データは、サーバ１が複数の位置の振動データなどをまとめて管理するためのデータである。すなわち、振動データは、先行車両２Ａが走行している位置における走行データとして格納される。
　対象車両２Ｂは、矢印Ａ２に示すように、将来の走行位置を示す予測位置に紐づけられた振動データをサーバ１から取得する。例えば、対象車両２Ｂの車種に相当する車種の車両２により取得された振動データが、サーバ１から取得される。対象車両２Ｂの車種に相当する車種は、例えば、対象車両２Ｂの車種と同じ車種、または、対象車両２Ｂの車種に近い車種である。ここでは、先行車両２Ａにより取得された振動データがサーバ１から取得される。
　対象車両２Ｂは、サーバ１から取得した振動データに基づいて、予測位置において生じると予測される振動のパターンと大きさを解析し、ジェスチャを用いた操作の認識方法を振動の解析結果に応じて変更する。対象車両２Ｂは、矢印Ａ３に示すように、予測位置において実際に検出した振動を示す振動データとともに、操作の認識方法を変更するために用いられるUI補正データをサーバ１に伝送する。この振動データおよびUI補正データとともに、対象車両２Ｂの車種を示す車両情報、および対象車両２Ｂが走行している位置を示す位置情報がサーバ１に伝送される。
　サーバ１は、対象車両２Ｂから伝送されてきた振動データおよびUI補正データを、位置情報により示される地図データの位置に紐づけて格納する。これにより、１つの位置に対して、先行車両２Ａにより取得された振動データと、対象車両２Ｂにより取得された振動データおよびUI補正データとが紐づけられる。
　後続車両２Ｃは、矢印Ａ４に示すように、予測位置に紐づけられた振動データとUI補正データをサーバ１から取得する。ここでは、先行車両２Ａにより取得された振動データと対象車両２Ｂにより取得された振動データがサーバ１から取得される。また、対象車両２Ｂにおいて用いられたUI補正データがサーバ１から取得される。
　後続車両２Ｃは、サーバ１から取得した振動データに基づいて、予測位置において生じる振動のパターンと大きさを解析し、ジェスチャを用いた操作の認識方法を、振動の解析結果に応じて変更する。さらに、後続車両２Ｃは、サーバ１から取得したUI補正データに基づいて、操作の認識方法を必要に応じて修正する。
　図４は、対象車両２Ｂと後続車両２Ｃの乗員によるジェスチャを用いた操作の様子を示す図である。
　図４のＡの例においては、対象車両２Ｂに設けられた表示デバイス１１Ｂにより映像コンテンツの表示が行われている。対象車両２Ｂの乗員Ｕ２は、先行車両２Ａの乗員Ｕ１と同様に、対象車両２Ｂ内で、表示デバイス１１Ｂ上の所定の位置に指先を向けることにより、信号処理装置を制御することができる。
　図４のＡに示すように、対象車両２Ｂの振動により表示デバイス１１Ｂや乗員Ｕ２の指先が揺れたりしても、例えば、操作として認識される範囲を拡大することにより、信号処理装置は、２つの破線の楕円で示す範囲のうちのいずれかの範囲を指先が向けられた範囲として認識する。これにより、対象車両２Ｂは、指先を表示デバイス１１Ｂに向ける操作を先行車両２Ａよりも安定的に認識することができ、例えば振動が突発的に生じたときに乗員Ｕ２が意図する操作と異なる操作を認識することを防ぐことが可能となる。
　図４のＢの例においては、後続車両２Ｃに設けられた表示デバイス１１Ｃにより映像コンテンツの表示が行われている。後続車両２Ｃの乗員Ｕ３は、先行車両２Ａの乗員Ｕ１や対象車両２Ｂの乗員Ｕ２と同様に、後続車両２Ｃ内で、表示デバイス１１Ｃ上の所定の位置に指先を向けることにより、信号処理装置を制御することができる。
　図４のＢに示すように、後続車両２Ｃの振動により表示デバイス１１Ｃや乗員Ｕ３の指先が揺れたりしても、例えば、振動による影響を加味して、ジェスチャを用いた操作の認識方法を変更することにより、信号処理装置は、１つの破線の楕円で示す範囲を指先が向けられた範囲として認識する。後続車両２Ｃは、振動データに加えてUI補正データを利用することで、指先を表示デバイス１１Ｃに向ける操作を先行車両２Ａや対象車両２Ｂよりも安定的に認識することができる。これにより、後続車両２Ｃは、振動が生じたときに乗員Ｕ３の意図する操作と異なる操作を認識することをより確実に防ぐことが可能となる。
　以上のように、対象車両２Ｂや後続車両２Ｃは、振動量が動的に変化する走行中に、安定した操作環境を提供することが可能となる。振動のパターンや大きさに応じて、操作の認識方法を動的に変更することで、乗員は、例えば、走行している環境に合わせて操作の認識方法の設定変更をマニュアルで行わなくても、表示コンテンツを快適に利用することが可能となる。
＜＜２．各機器の構成＞＞
＜サーバの構成＞
　図５は、サーバ１の構成例を示すブロック図である。
　図５に示すように、サーバ１は、データ受信部２１、振動データ管理部２２、およびデータ送信部２３により構成される。
　データ受信部２１は、車両２から伝送されてくる振動データ、車両情報、位置情報、およびUI補正データを受信し、振動データ管理部２２に供給する。
　振動データ管理部２２は、データ受信部２１から供給された振動データとUI補正データを、位置情報により示される地図データの位置に紐づけて格納する。振動データ管理部２２は、振動データに車両情報をラベリングする。
　データ送信部２３は、車両２による要求に応じて、車両２の予測位置に紐づけられた振動データとUI補正データを振動データ管理部２２から取得し、車両２に送信する。
＜先行車両の構成＞
　図６は、先行車両２Ａの構成例を示すブロック図である。
　図６に示すように、先行車両２Ａは、振動データ取得部３１、加速度センサ３２、GNSS(Global Navigation Satellite System)受信機３３、およびデータ送信部３４により構成される。先行車両２Ａの構成のうちの一部の構成は、先行車両２Ａに設けられた信号処理装置により所定のプログラムが実行されることにより実現される。
　振動データ取得部３１は、加速度センサ３２から振動データを取得し、GNSS受信機３３から位置情報を取得する。振動データ取得部３１は、振動データに位置情報と車両情報を紐づけてデータ送信部３４に供給する。
　加速度センサ３２は、先行車両２Ａに生じた振動を検出し、振動の検出結果を示す振動データを取得し、振動データ取得部３１に供給する。
　GNSS受信機３３は、GNSS衛星から受信した信号に基づいて、先行車両２Ａの走行位置を検出し、走行位置の検出結果を示す位置情報を取得し、振動データ取得部３１に供給する。
　データ送信部３４は、振動データ取得部３１から供給された振動データを、位置情報および車両情報とともに、サーバ１に伝送する。
　なお、図６においては、振動データを取得し、サーバ１に伝送するための構成だけを先行車両２Ａの構成として説明したが、先行車両２ＡにもUIの表示を行うための構成を設けることが可能である。この場合、後述する対象車両２Ｂの構成と同様の構成が、先行車両２Ａに設けられる。
＜対象車両の構成＞
・全体の構成
　図７は、対象車両２Ｂの構成例を示すブロック図である。
　図７に示すように、対象車両２Ｂは、データ受信部４１、振動パターン解析部４２、加速度センサ４３、GNSS受信機４４、UI表示制御部４５、カメラ４６、データ送信部４７、および表示デバイス１１Ｂにより構成される。対象車両２Ｂの構成のうちの一部の構成は、対象車両２Ｂに設けられた信号処理装置により所定のプログラムが実行されることにより実現される。
　データ受信部４１は、対象車両２Ｂの予測位置に紐づけられた振動データをサーバ１から取得する。具体的には、データ受信部４１は、対象車両２Ｂの車種に相当する車種を示す車両情報がラベリングされた振動データをサーバ１に対して要求し、サーバ１から取得する。サーバ１から取得された振動データは、振動パターン解析部４２に供給される。
　振動パターン解析部４２は、データ受信部４１から供給された振動データに基づいて、予測位置において生じる振動のパターンと大きさを解析する。振動パターン解析部４２は、解析結果に基づいてUI補正データを生成し、UI表示制御部４５に供給する。
　また、振動パターン解析部４２は、GNSS受信機４４から位置情報を取得し、位置情報に基づいて、対象車両２Ｂの将来の走行位置を予測位置として決定し、予測位置に紐づけられた振動データをサーバ１から取得するようにデータ受信部４１を制御する。
　さらに、振動パターン解析部４２は、加速度センサ４３から振動データを取得し、振動データ、UI補正データ、位置情報、および車両情報を紐づけてデータ送信部４７に供給する。
　加速度センサ４３は、対象車両２Ｂに生じた振動を検出し、振動の検出結果を示す振動データを取得し、振動パターン解析部４２に供給する。
　GNSS受信機４４は、GNSS衛星から受信した信号に基づいて、対象車両２Ｂの走行位置を検出し、走行位置の検出結果を示す位置情報を取得し、振動パターン解析部４２に供給する。
　UI表示制御部４５は、カメラ４６から画像データを取得し、画像データに基づいて、乗員によるジェスチャを用いた操作を認識する。このとき、UI表示制御部４５は、操作の認識方法を、振動パターン解析部４２から供給されたUI補正データに基づいて補正する。言い換えれば、UI表示制御部４５は、振動パターン解析部４２により設定された操作の認識方法に従って、乗員によるジェスチャを用いた操作を認識する。
　UI表示制御部４５は、乗員によるジェスチャを用いた操作に応じた動作を実行する。例えば、UI表示制御部４５は、車内空間において必要な情報や映像コンテンツの表示を表示デバイス１１Ｂに行わせる。
　カメラ４６は、対象車両２Ｂ内に設けられる。カメラ４６は、対象車両２Ｂの車内空間を撮影し、乗員を撮影した動画像を示す画像データを取得し、UI表示制御部４５に供給する。
　データ送信部４７は、振動パターン解析部４２から供給された振動データ、UI補正データ、位置情報、および車両情報をサーバ１に伝送する。
・振動パターン解析部の構成
　図８は、振動パターン解析部４２の詳細な構成例を示すブロック図である。
　図８に示すように、振動パターン解析部４２は、振動振幅検出部６１、振動周波数検出部６２、振動発生頻度検出部６３、振動パターン分類部６４、操作方法設定部６５、認識範囲設定部６６、および認識判定時間設定部６７を備える。
　振動振幅検出部６１、振動周波数検出部６２、および振動発生頻度検出部６３には、同じ振動データがそれぞれデータ受信部４１から供給される。
　振動振幅検出部６１は、振動データにより示される振動の振幅を検出する。例えば、振幅として、発生周波数ごとに発生する振幅の平均値が検出される。振幅を示す情報は、振動パターン分類部６４に供給される。
　振動周波数検出部６２は、振動データにより示される振動の周波数を検出する。例えば、周波数として、振動の発生周波数が検出される。周波数を示す情報は、振動パターン分類部６４に供給される。
　振動発生頻度検出部６３は、振動データにより示される振動の連続性を検出する。例えば、連続性として、単位時間（例えば1sec）内において発生周波数ごとに振動が発生する割合が検出される。また、振動発生頻度検出部６３は、振動データにより示される振動のランダム性を検出する。例えば、ランダム性として、単位時間内の平均振幅以上の振幅を有するパルス数、および、振幅の分散値の少なくともいずれかが検出される。連続性とランダム性を示す情報は、振動パターン分類部６４に供給される。
　以上のように、振動振幅検出部６１、振動周波数検出部６２、および振動発生頻度検出部６３は、振動データに基づいて、振動の挙動を示す４つの特性を数値化し、以下のような形式の振動特性データを生成する。
　振動特性データ＝（ランダム性，周波数，振幅，連続性）
　振動パターン分類部６４は、振動振幅検出部６１、振動周波数検出部６２、および振動発生頻度検出部６３により生成された振動特性データに基づいて、予測位置において生じる振動のパターンを分類する。予測位置において生じる振動は、図９の１段目に示すランダム性、周波数、大きさ（振幅）、および連続性に応じたパターンに分類される。
　具体的には、突発的に発生し、ランダム性を有するパターン、定常的に発生するパターンなどのいずれかのパターンに、予測位置において生じる振動が分類される。予測位置において生じる振動のパターンを示す振動分類情報は、操作方法設定部６５、認識範囲設定部６６、および認識判定時間設定部６７に供給される。
　操作方法設定部６５は、振動パターン分類部６４から供給された振動分類情報に応じて、乗員が使用可能な操作方法、具体的には、乗員が使用可能なジェスチャの種類を設定する。例えば、操作方法設定部６５は、ジェスチャに使用可能な乗員の部位を選択し、選択した部位を用いたジェスチャを認識対象に設定する。図９の２段目に示すように、例えば、腕、手、指、身体、頭、顔、および視線のうちの少なくともいずれかの部位を用いたジェスチャが認識対象に設定される。
　操作方法設定部６５は、各部位を用いたジェスチャがそれぞれ認識対象であるか否かを示す操作方法パラメータをUI表示制御部４５に供給する。操作方法パラメータは、例えば、以下のような形式で定義される。１の値は認識対象であることを示し、０の値は認識対象でないことを示す。以下の例では、腕、手、および指を用いたジェスチャが認識対象に設定され、身体、頭、顔、および視線を用いたジェスチャは認識対象に設定されていない。
　（腕，手，指，身体，頭，顔，視線）=（１，１，１，０，０，０，０）
　認識範囲設定部６６は、振動パターン分類部６４から供給された振動分類情報に応じて、認識範囲を設定する。認識範囲は、UIの表示範囲に対して、乗員のジェスチャを操作として認識する範囲である。
　図９の４段目には、認識範囲の設定方法の例が示されている。太線の矩形は表示デバイス１１Ｂを示し、破線の矩形は認識範囲を示す。また、灰色に塗られた矩形は表示デバイス１１Ｂ上に表示されるUIの表示範囲を示す。ボタンやアイコンなどの操作の対象となる画像がUIとして表示される。例えば、乗員の指先が認識範囲内を指していることが認識された場合、UIを選択する操作が行われたと判定される。
　認識範囲は、例えば、UIの表示範囲に対して、小さい範囲、標準の範囲、および大きい範囲のうちのいずれかに設定される。例えば、認識範囲が小さい範囲に設定されている場合、認識範囲は標準の範囲より小さい範囲に設定され、表示範囲とほぼ同じ範囲に設定される。認識範囲が大きな範囲に設定されている場合、認識範囲は標準の範囲より大きい範囲に設定され、表示範囲を大きく拡大した範囲に設定される。
　また、図９の３段目に示すように、UIの表示範囲を変更することにより、実質的に認識範囲を変更することも可能である。UIの表示範囲は、小さい範囲、標準の範囲、および大きい範囲のうちのいずれかに設定される。UIの表示範囲が小さい範囲に設定されている場合、UIの表示範囲は標準の範囲より小さい範囲に設定される。UIの表示範囲が大きい範囲に設定されている場合、UIの表示範囲は標準の範囲より大きい範囲に設定される。UIの表示範囲の変更も、例えば認識範囲設定部６６により行われる。
　なお、認識範囲を変更する場合、認識範囲および表示範囲の両方を変更するようにしてもよいし、どちらか一方のみを変更するようにしてもよい。
　認識範囲設定部６６は、認識範囲を示す認識範囲パラメータをUI表示制御部４５に供給する。認識範囲パラメータは、例えば、以下のような形式で定義される。（ｘ，ｙ）は、UIとして表示される画像の表示座標を示す。ｋは、UIの画像の表示範囲を示す。例えば、表示範囲が小さい範囲である場合、ｋは０に設定され、表示範囲が標準の範囲である場合、ｋは１に設定され、表示範囲が大きい範囲である場合、ｋは２に設定される。ｆは、認識範囲を示す。例えば、認識範囲が小さい範囲である場合、ｆは０に設定され、認識範囲が標準の範囲である場合、ｆは１に設定され、認識範囲が大きい範囲である場合、ｆは２に設定される。
　（ｘ，ｙ，ｋ，ｆ）=（０，０，１，１）
　なお、表示範囲の設定が同じでも、表示デバイス１１Ｂの解像度に応じて表示されるUIの画像のサイズは変化する。
　認識判定時間設定部６７は、振動パターン分類部６４から供給された振動分類情報に応じて、認識判定時間、および認識無効期間の適用の有無を設定する。認識判定時間は、ジェスチャを操作として認識するまでのジェスチャの継続時間である。例えば、指先を認識範囲内に認識判定時間分だけ向けるジェスチャが認識された場合、UIを選択する操作が行われたと認識される。図９の５段目に示すように、例えば、200ms（短い），500ms（標準），1s以上（長い）のいずれかの時間が認識判定時間として設定される。
　認識無効期間とは、ジェスチャの認識を無効にする期間である。例えば、所定の閾値よりも振幅が大きな振動などのジェスチャの認識精度が低下する事象が発生する期間が、認識無効期間に設定される。認識無効期間が適用される場合、ジェスチャの継続時間は、認識無効期間を除いて測定される。一方、認識無効期間が適用されない場合、ジェスチャの継続時間は、認識無効期間を除かずに測定される。
　認識判定時間設定部６７は、認識判定時間および認識無効期間の適用の有無を示す認識判定時間パラメータをUI表示制御部４５に供給する。
　以上のような、操作の認識方法を示す操作方法パラメータ、認識範囲パラメータ、および認識判定時間パラメータが、UI補正データとして、UI表示制御部４５による操作の認識方法を補正するために用いられる。
　図１０は、操作の認識方法を補正する例を示す図である。
　図１０の例においては、１段目に示すように、振動データにより示される振動のパターンを分類することによって、予測位置において突発性の振動が生じることが検出されている。例えば、振動データにおいて所定の閾値よりも大きい振幅が単発または断続的に生じている場合、予測位置において突発性の振動が生じると判定される。
　この場合、操作方法設定部６５は、乗員の手指を用いたジェスチャを認識対象とする操作方法パラメータを生成する。したがって、図１０の２段目に示すように、操作の認識方法の補正前において手指を用いたジェスチャが認識対象に設定されている場合、操作の認識方法の補正後においても、認識対象は変更されない。
　また、認識範囲設定部６６は、UIの表示範囲と認識範囲を小さい範囲とする認識範囲パラメータを生成する。したがって、図１０の３段目と４段目に示すように、操作の認識方法の補正前においてUIの表示範囲と認識範囲が小さい範囲に設定されている場合、操作の認識方法の補正後においても、UIの表示範囲と認識範囲は変更されない。
　認識判定時間設定部６７は、認識判定時間を含み、認識無効期間を適用する認識判定時間パラメータを生成する。したがって、図１０の５段目に示すように、操作の認識方法の補正前において、乗員が認識範囲内に指先を向けた状態の継続時間が認識判定時間に達した場合、操作が行われたと判定（認識）される。一方、操作の認識方法の補正後においては、振動の振幅が大きいため操作の認識精度が低下する認識無効期間を除いた期間において、乗員が認識範囲内に指先を向けた状態の継続時間が認識判定期間に達した場合、操作が行われたと判定される。
　なお、操作の認識方法が補正される前においては、操作が行われたと判定されるまでのジェスチャの観測時間は、認識判定時間と一致する。
　一方、操作の認識方法が補正された後においては、操作が行われたと判定されるまでのジェスチャの観測時間は、認識判定時間よりも長くなる場合がある。すなわち、ジェスチャの観測中に、認識無効期間が発生した場合、操作が行われたと判定されるまでのジェスチャの観測時間は、認識判定時間に認識無効期間の長さを加えた時間となる。
　例えば、操作の認識方法を補正しない場合、突発的な振動によって指先や表示デバイス１１Ｂが揺れて、指先の方向が認識範囲から外れてしまうことがある。これにより、乗員が操作を行っているつもりでも、乗員のジェスチャが操作として認識されないといったように、操作の認識結果が不安定になってしまう。
　これに対して、突発的な振動が生じる認識無効期間においてジェスチャの認識を無効とすることにより、突発的な振動によって指先の方向が認識範囲から外れても、認識無効期間以外の期間に指先の方向が認識範囲内である状態が認識判定時間だけ継続すれば、乗員のジェスチャが操作として認識される。したがって、対象車両２Ｂに振動が生じていても、ジェスチャを用いた操作を安定して認識することが可能となる。
　図１１は、操作の認識方法を補正する他の例を示す図である。
　図１１の例においては、１段目に示すように、振動データにより示される振動のパターンを分類することによって、予測位置において安定的な振動が生じることが検出されている。例えば、振動データにおいて所定の閾値よりも大きい振幅が連続して生じている場合、予測位置において安定的な振動が生じると判定される。
　この場合、操作方法設定部６５は、乗員の手指を用いたジェスチャを認識対象とせず、乗員の腕を用いたジェスチャを認識対象とする操作方法パラメータを生成する。言い換えれば、予測位置において安定的な振動が生じることが検出された場合、操作方法設定部６５は、乗員が使用可能なジェスチャの種類を制限する。したがって、図１１の２段目に示すように、操作の認識方法の補正前において認識対象が手指を用いたジェスチャに設定されている場合、操作の認識方法の補正後においては、認識対象が腕を用いたジェスチャに変更される。
　また、認識範囲設定部６６は、UIの表示範囲を小さい範囲とし、認識範囲を標準の範囲とするような認識範囲パラメータを生成する。したがって、図１１の３段目に示すように、操作の認識方法の補正前においてUIの表示範囲が小さい範囲に設定されている場合、操作の認識方法の補正後においても、UIの表示範囲は変更されない。また、図１１の４段目に示すように、操作の認識方法の補正前において認識範囲が小さい範囲に設定されている場合、操作の認識方法の補正後においては、認識範囲が標準の範囲に変更される。
　認識判定時間設定部６７は、認識判定時間を含み、認識無効期間を適用しない認識判定時間パラメータを生成する。したがって、図１１の５段目に示すように、操作の認識方法の補正前および補正後において、乗員が認識範囲内に指先または腕を向けた状態の継続時間が認識判定時間に達した場合、操作が行われたと判定される。
　例えば、操作の認識方法を補正しない場合、大きな振動が継続して生じると、指先や表示デバイス１１Ｂが揺れて、所定の大きさの認識範囲内に指先を正確に向けることができないことがある。
　一方、操作の認識方法を補正した場合、腕を用いたジェスチャに認識対象をシームレスに変更することによって、大きな振動が継続して生じる期間において、振動によって指先が揺れても、振動の影響を受けにくい腕の方向に基づいて、乗員が選択したいUIを正確に認識することができる。
　また、認識範囲を拡大することによって、振動によって腕が揺れても、乗員が選択したいUIを正確に認識することができる。したがって、対象車両２Ｂに振動が生じていても、乗員が行うジェスチャを、乗員が意図したとおりの操作として認識することが可能となる。
　以上のように、操作方法設定部６５、認識範囲設定部６６、および認識判定時間設定部６７により、ジェスチャを用いた操作の認識方法が、振動データに基づいて設定される。操作方法の選択、認識範囲の調整、および認識判定時間の調整を組み合わせて行うことにより、対象車両２Ｂは、振動がジェスチャに与える影響を軽減させ、ジェスチャを用いた操作体系の維持を実現することが可能となる。
・UI表示制御部の構成
　図１２は、UI表示制御部４５の詳細な構成例を示すブロック図である。
　図１２に示すように、UI表示制御部４５は、操作認識器８１とUI命令生成部８２を備える。
　操作認識器８１には、カメラ４６から取得した画像データが供給され、操作方法パラメータが振動パターン解析部４２から供給される。操作認識器８１は、カメラ４６から取得した画像データに基づいて、操作方法パラメータにより認識対象に設定されているジェスチャを認識する。
　認識対象に設定されているジェスチャの認識結果を示すデータは、UI命令生成部８２に供給される。
　UI命令生成部８２には、認識範囲パラメータと認識判定時間パラメータが振動パターン解析部４２から供給される。UI命令生成部８２は、操作認識器８１によるジェスチャの認識結果に基づいて操作を認識し、操作の内容を示すUI情報を生成する。
　例えば、UI命令生成部８２は、ジェスチャが認識範囲内において行われている状態の継続時間が認識判定時間に達したか否かのように、ジェスチャが操作の条件を満たしたか否かを判定する。例えば、ジェスチャが操作の条件を満たしている場合、UI命令生成部８２は、当該ジェスチャが、認識範囲に対応するUIを選択する操作であると判定する。なお、認識範囲は認識範囲パラメータにより示され、認識判定時間は認識判定時間パラメータにより示される。
　UI命令生成部８２は、UI情報を表示デバイス１１Ｂに供給することにより、操作の内容に応じた動作を表示デバイス１１Ｂに行わせる。
　なお、後続車両２Ｃには対象車両２Ｂの構成と同じ構成が設けられる。
＜＜３．各機器の動作＞＞
　以上のような構成を有する振動データ管理システムの各機器の動作について説明する。
＜先行車両とサーバの動作＞
　図１３のフローチャートを参照して、先行車両２Ａとサーバ１が行う処理について説明する。
　ステップＳ１において、先行車両２Ａの振動データ取得部３１は、加速度センサ３２から振動データを取得し、GNSS受信機３３から位置情報を取得し、データ送信部３４に供給する。
　ステップＳ２において、先行車両２Ａの振動データ取得部３１は、自車（先行車両２Ａ）の車両情報を取得し、データ送信部３４に供給する。
　ステップＳ３において、先行車両２Ａのデータ送信部３４は、振動データ、車両情報、および位置情報をサーバ１に伝送する。
　振動データなどの伝送後、先行車両２Ａにおいては、ステップＳ１以降の処理が繰り返し行われる。
　ステップＳ１１において、サーバ１のデータ受信部２１は、先行車両２Ａから伝送されてきた振動データ、車両情報、および位置情報を受信し、振動データ管理部２２に供給する。
　ステップＳ１２において、サーバ１の振動データ管理部２２は、車両情報がラベリングされた振動データを、位置情報に基づく地図データの位置と紐づけて格納する。
　サーバ１においては、先行車両２Ａから振動データなどが伝送されてくる度、ステップＳ１１以降の処理が行われる。
＜対象車両とサーバの動作＞
・全体の動作
　図１４のフローチャートを参照して、対象車両２Ｂとサーバ１が行う処理について説明する。
　ステップＳ２１において、対象車両２Ｂの振動パターン解析部４２は、GNSS受信機４４から自車（対象車両２Ｂ）の位置情報を取得し、予測位置を決定し、データ受信部４１に予測位置を通知する。
　ステップＳ２２において、対象車両２Ｂのデータ受信部４１は、自車（対象車両２Ｂ）の車両情報を取得する。
　ステップＳ２３において、対象車両２Ｂのデータ受信部４１は、サーバ１へ予測位置において取得された振動データを要求する。ここでは、ステップＳ２２において取得された車両情報に基づいて、対象車両２Ｂの車種に相当する車種の車両により取得された振動データが要求される。
　ステップＳ４１において、サーバ１のデータ送信部２３は、対象車両２Ｂにより要求された位置に紐づく振動データを対象車両２Ｂに伝送する。サーバ１においては、振動データが対象車両２Ｂから要求される度、ステップＳ４１の処理が行われる。
　ステップＳ２４において、対象車両２Ｂのデータ受信部４１は、サーバ１から伝送されてきた、予測位置の振動データを受信し、振動パターン解析部４２に供給する。
　ステップＳ２５において、対象車両２Ｂの振動パターン解析部４２は、UI補正データ生成処理を行う。UI補正データ生成処理により、サーバ１から取得された振動データに基づいてUI補正データが生成される。UI補正データ生成処理についての詳細は、図１５を参照して後述する。
　対象車両２Ｂが予測位置に到達したとき、ステップＳ２６において、対象車両２ＢのUI表示制御部４５は、操作決定処理を行う。操作決定処理により、乗員により行われたジェスチャが認識され、ジェスチャの認識結果に基づいてUI情報が生成される。このとき、必要に応じて、ステップＳ２５において生成されたUI補正データを用いて操作の認識方法が補正される。操作決定処理についての詳細は、図１６を参照して後述する。
　ステップＳ２７において、対象車両２Ｂの振動パターン解析部４２は、加速度センサ４３から振動データを取得し、GNSS受信機４４から位置情報を取得し、データ送信部４７に供給する。
　ステップＳ２８において、対象車両２Ｂのデータ送信部４７は、UI補正データ、並びに、自車（対象車両２Ｂ）の振動データ、車両情報、および位置情報をサーバ１へ伝送する。
　UI補正データなどの伝送後、対象車両２Ｂにおいては、ステップＳ２１以降の処理が繰り返し行われる。
　ステップＳ４２において、サーバ１のデータ受信部２１は、対象車両２Ｂから伝送されてきたUI補正データ、振動データ、車両情報、および位置情報を受信し、振動データ管理部２２に供給する。
　ステップＳ４３において、サーバ１の振動データ管理部２２は、車両情報がラベリングされた振動データとUI補正データを、位置情報に基づく地図データの位置と紐づけて格納する。
　サーバ１においては、対象車両２Ｂから振動データなどが伝送されてくる度、ステップＳ４２以降の処理が行われる。
・UI補正データ生成処理
　図１５のフローチャートを参照して、図１４のステップＳ２５において行われるUI補正データ生成処理について説明する。
　ステップＳ５１において、振動パターン解析部４２は、データ受信部４１から振動データを取得する。
　ステップＳ５２において、振動パターン解析部４２は、振動データに基づいて振動パターンを分析する。
　具体的には、振動パターン解析部４２の振動振幅検出部６１、振動周波数検出部６２、および振動発生頻度検出部６３は、振動データに基づいて振動特性データを生成し、振動パターン分類部６４に供給する。振動パターン分類部６４は、振動特性データに基づいて、振動データにより示される振動のパターンを分類し、振動分類情報を生成する。振動パターン分類部６４は、振動分類情報を操作方法設定部６５、認識範囲設定部６６、および認識判定時間設定部６７に供給する。
　ステップＳ５３において、操作方法設定部６５は、振動分類情報に基づいて、操作方法を設定する。すなわち、操作方法設定部６５は、認識対象とする（使用可能とする）ジェスチャを設定する。操作方法設定部６５は、認識対象とするジェスチャを設定するために用いられる操作方法パラメータを生成する。
　ステップＳ５４において、認識範囲設定部６６は、振動分類情報に基づいて、認識範囲を設定する。認識範囲設定部６６は、認識範囲を設定するために用いられる認識範囲パラメータを生成する。
　ステップＳ５５において、認識判定時間設定部６７は、振動分類情報に基づいて、認識判定時間を設定する。また、認識判定時間設定部６７は、振動分類情報に基づいて、認識無効期間の適用の有無を設定する。認識判定時間設定部６７は、認識判定時間、および、認識無効期間の適用の有無の設定に用いられる認識判定時間パラメータを生成する。
　ステップＳ５６において、振動パターン解析部４２は、操作方法パラメータ、認識範囲パラメータ、および認識判定時間パラメータをUI補正データとしてUI表示制御部４５に供給する。
　ステップＳ５７において、振動パターン解析部４２は、UI補正データをデータ送信部４７に供給する。
　その後、図１４のステップＳ２５に戻り、それ以降の処理が行われる。
・操作決定処理
　図１６のフローチャートを参照して、図１４のステップＳ２６において行われる操作決定処理について説明する。
　ステップＳ７１において、操作認識器８１は、ジェスチャを認識する。すなわち、操作認識器８１は、例えば、画像データに基づいて、操作方法パラメータにおいて認識対象に設定されている部位のジェスチャを認識する。例えば、操作認識器８１は、乗員の手のジェスチャを認識する。
　ステップＳ７２において、UI命令生成部８２は、例えば、操作認識器８１により認識されたジェスチャに基づいて、操作種別を認識する。例えば、手の指先を表示デバイス１１Ｂに向けるジェスチャが行われていることが操作認識器８１により認識されている場合、UI命令生成部８２は、表示デバイス１１Ｂに表示されたUIを選択するための操作が行われていると認識する。
　ステップＳ７３において、UI命令生成部８２は、乗員が行ったジェスチャが操作の条件を満たしたか否かを判定する。例えば、UI命令生成部８２は、認識対象に設定されているジェスチャに用いられる部位が認識範囲内に向けられた状態の継続時間と認識判定時間を比較する。ジェスチャの継続時間が認識判定時間に達した場合、UI命令生成部８２は、ジェスチャが操作の条件を満たしたと判定し、処理はステップＳ７４に進む。このとき、認識無効期間を適用するように設定されている場合、認識無効期間を除いた期間において、ジェスチャの継続時間が測定される。なお、認識範囲は認識範囲パラメータにより示され、認識判定時間および認識無効期間の適用の有無は認識判定時間パラメータにより示される。
　ステップＳ７４において、UI命令生成部８２は、操作の認識結果を表示デバイス１１Ｂに伝送する。すなわち、UI命令生成部８２は、認識した操作の内容を示すUI情報を生成し、表示デバイス１１Ｂに伝送する。
　その後、図１４のステップＳ２６に戻り、それ以降の処理が行われる。
　一方、ステップＳ７３において、乗員が行ったジェスチャが操作の条件を満たしていないと判定された場合、ステップＳ７４の処理はスキップされ、処理は図１４のステップＳ２６に戻り、それ以降の処理が行われる。
　以上のように、対象車両２Ｂは、走行中に振動が生じたとしても、乗員がジェスチャを用いて行う操作を適切に認識することが可能となる。
＜＜４．変形例＞＞
＜UI補正データの有効性をフィードバックする例＞
　例えば、道路の状態、乗員の姿勢などの状態、車両の状態などは状況や時間経過によって変化するため、UI補正データによる操作の認識方法の補正が、必ずしも最適であるとは限らない。これに対して、UI補正データが有効であったか否かが操作認識（UI操作）の成功率として算出され、成功率が低かった操作の認識を再度行う際、UI補正データが修正され、最適化されるようにしてもよい。
　図１７は、図７のUI表示制御部４５の他の構成例を示すブロック図である。図１７において、図１２の構成と同じ構成には同一の符号を付してある。重複する説明については適宜省略する。
　図１７に示すUI表示制御部４５の構成は、UI命令生成部８２の後段に成功率判定器１０１が設けられる点で、図１２のUI表示制御部４５の構成と異なる。
　成功率判定器１０１は、成功率算出部１１１とラベリング部１１２を備える。
　成功率算出部１１１には、UI命令生成部８２による判定結果が供給される。成功率算出部１１１は、UI命令生成部８２による判定結果に基づいて、操作認識の成功率を算出する。例えば、成功率算出部１１１は、UI命令生成部８２において、ジェスチャが操作の条件を満たしたと判定された場合を成功とし、ジェスチャが操作の条件を満たしていないと判定された場合を失敗として、成功率を算出する。
　成功率算出部１１１は、算出した成功率を示す情報を、ラベリング部１１２に供給する。
　ラベリング部１１２には、振動パターン解析部４２からUI補正データ（操作方法パラメータ、認識範囲パラメータ、認識判定時間パラメータ）が供給される。ラベリング部１１２は、成功率算出部１１１から供給された情報を、UI補正データの有効性を示す有効性フィードバック情報として、UI補正データにラベリングする。
　ラベリング部１１２は、有効性フィードバック情報を振動パターン解析部２４に供給し、有効性フィードバック情報をラベリングしたUI補正データを、データ送信部４７に供給する。
　図１８は、図７の振動パターン解析部４２の他の構成例を示すブロック図である。図１８において、図８の構成と同じ構成には同一の符号を付してある。重複する説明については適宜省略する。
　図１８に示す振動パターン解析部４２の構成は、操作方法設定部６５、認識範囲設定部６６、および認識判定時間設定部６７に有効性フィードバック情報がUI表示制御部４５から供給される点で、図８の振動パターン解析部４２の構成と異なる。
　操作方法設定部６５は、有効性フィードバック情報に基づいて、成功率が低い操作方法を無効にするように操作方法パラメータを修正する。例えば、操作方法設定部６５は、手や指などの振動の影響を受けやすい部位を用いたジェスチャを無効（認識対象外）とするように操作方法パラメータを修正する。
　認識範囲設定部６６は、有効性フィードバック情報に基づいて、成功率が低い操作の認識範囲または表示範囲を適正化するように認識範囲パラメータを修正する。例えば、認識範囲設定部６６は、認識範囲または表示範囲を拡大するように認識範囲パラメータを修正する。
　認識判定時間設定部６７は、有効性フィードバック情報に基づいて、成功率が低い操作の認識判定時間を適正化するように認識判定時間パラメータを修正する。例えば、認識判定時間設定部６７は、認識判定時間を短くするように認識判定時間パラメータを修正する。
　図１９のフローチャートを参照して、以上のような構成を有する対象車両２Ｂとサーバ１が行う処理について説明する。サーバ１が行う処理は、図１４のサーバ１が行う処理と同じであるため説明を省略する。
　ステップＳ１０１乃至Ｓ１０６においては、図１４のステップＳ２１乃至２６のそれぞれの処理と同様の処理が行われる。すなわち、予測位置の振動データがサーバ１から取得され、UI補正データが生成される。また、乗員が行ったジェスチャに応じた操作の内容を示すUI情報が生成され、表示デバイス１１Ｂに伝送される。
　ステップＳ１０７において、対象車両２Ｂの成功率判定器１０１は、成功率算出処理を行う。成功率算出処理により、有効性フィードバック情報がUI補正データにラベリングされ、UI補正データの有効性がUI補正データ生成処理にフィードバックされる。成功率算出処理については、図２０を参照して後述する。
　ステップＳ１０８において、対象車両２Ｂの振動パターン解析部４２は、加速度センサ４３から振動データを取得し、GNSS受信機４４から位置情報を取得し、データ送信部４７に供給する。
　ステップＳ１０９において、対象車両２Ｂのデータ送信部４７は、有効性フィードバック情報がラベリングされたUI補正データ、並びに、自車の振動データ、車両情報、および位置情報をサーバ１に伝送する。
　UI補正データなどの伝送後、ステップＳ１０１以降の処理が繰り返し行われる。繰り返し行われるステップＳ１０５のUI補正データ生成処理においては、有効性フィードバック情報に基づいて修正されたUI補正データが生成される。
　図２０のフローチャートを参照して、図１９のステップＳ１０７において行われる成功率算出処理について説明する。
　ステップＳ１２１において、成功率算出部１１１は、操作認識の成功率を計算し、成功率の計算結果を示す情報をラベリング部１１２に供給する。
　ステップＳ１２２において、ラベリング部１１２は、成功率算出部１１１から供給された情報を、UI補正データの有効性を示す有効性フィードバック情報として、UI補正データにラベリングする。ラベリング部１１２は、有効性フィードバック情報をラベリングしたUI補正データを、データ送信部４７に供給する。
　ステップＳ１２３において、ラベリング部１１２は、有効性フィードバック情報を振動パターン解析部４２にフィードバックする。
　その後、図１９のステップＳ１０７に戻り、それ以降の処理が行われる。
　以上のように、UI補正データの有効性がフィードバックされるような仕組みを導入することで、道路の状態、乗員の姿勢などの状態、車両の状態などに関わらず、対象車両２Ｂに生じた振動の影響を低減することができるようなUI補正データを継続的に設定することが可能となる。また、同じジェスチャを行うなど、利用回数が増えるに従って、操作の認識精度を改善することができる。
　対象車両２Ｂにより生成され、有効性フィードバック情報がラベリングされたUI補正データを用いて、後続車両２Ｃは、道路の状態などが考慮された、操作の認識方法を設定することができる。したがって、より最適な操作認識を実現することが可能となる。また、同じ道路を通過するなど、利用回数が増えるに従って、操作の認識精度を改善することができる。
＜その他＞
　車両情報がラベリングされた予測位置の振動データをサーバ１から取得する例について説明したが、対象車両２Ｂが先行車両２Ａと通信を行い、振動データ、位置情報、および車両情報を先行車両２Ａから直接取得するように構成することが可能である。対象車両２Ｂが後続車両２Ｃと通信を行い、振動データ、位置情報、車両情報、およびUI補正データを後続車両２Ｃに送信するように構成することも可能である。
　また、対象車両２Ｂが、先行車両２Ａを撮影した動画像に基づいて、予測位置の振動データを取得するように構成することが可能である。先行車両２Ａを撮影した動画像は、例えば、対象車両２Ｂに搭載されたフロントカメラが撮影することによって取得される。
　表示デバイスにUIや映像コンテンツが表示される例について説明したが、例えば、高輝度のプロジェクタにより、UIや映像コンテンツが車両内に投影されるようにしてもよい。
　例えば、対象車両２Ｂの車種に相当する車種の先行車両２Ａにより取得された振動データがサーバ１に格納されていない場合、対象車両２Ｂの車種と異なる車種の先行車両２Ａにより取得された振動データが、対象車両２Ｂの車種に応じて補正されるようにしてもよい。このような補正は、例えば、対象車両２Ｂの信号処理装置やサーバ１により行われる。
　加速度センサにより車両２の振動が検出される例について説明したが、他の振動検出部により車両２の振動が検出されるようにしてもよい。
　例えば、各車両２が、乗員の体格などの特徴を示す乗員情報をサーバ１に伝送し、サーバ１が、各車両２から受信した乗員情報をUI補正データに紐づけて格納するようにしてもよい。そして、各車両２が、乗員の特徴を示す乗員場をサーバ１に伝送し、サーバ１が、各車両２から受信した乗員情報に類似する乗員情報に紐づけられているUI補正データを各車両２に伝送するようにしてもよい。これにより、各車両２は、類似する特徴を有する乗員に対して設定された操作の認識方法を示すUI補正データに基づいて、操作の認識方法を修正することが可能になる。
　本技術は、例えば、車両以外の移動体において乗員のジェスチャによる操作を認識する場合にも適用することができる。
＜コンピュータの構成例＞
　上述したサーバ１や信号処理装置が実行する処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、
　前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部と
　を備える信号処理装置。
（２）
　前記操作認識部は、前記信号処理装置が搭載された車両内の前記ユーザが行った前記ジェスチャが示す前記操作を認識する
　前記（１）に記載の信号処理装置。
（３）
　前記第１の振動データは、前記車両が将来走行すると予測される予測位置を前記車両より先に走行した先行車両により検出された振動を示す
　前記（２）に記載の信号処理装置。
（４）
　前記設定部は、前記先行車両において設定された前記認識方法を示す補正データに基づいて、前記認識方法を修正する
　前記（３）に記載の信号処理装置。
（５）
　前記設定部は、前記車両の車種に相当する車種の前記先行車両により検出された振動を示す前記第１の振動データに基づいて、前記認識方法を設定する
　前記（３）または（４）に記載の信号処理装置。
（６）
　前記車両の振動を検出し、前記車両の振動の検出結果を示す第２の振動データを生成する振動検出部と、
　前記車両の後に前記予測位置を走行する後続車両、または、前記第２の振動データを前記後続車両に送信するサーバに前記第２の振動データを送信する送信部と
　をさらに備える前記（３）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記送信部は、前記車両の種別を示す車両情報を前記第２の振動データとともに前記後続車両または前記サーバに送信する
　前記（６）に記載の信号処理装置。
（８）
　前記送信部は、前記設定部により設定された前記認識方法を示す補正データを前記第２の振動データとともに前記後続車両または前記サーバに送信する
　前記（６）または（７）に記載の信号処理装置。
（９）
　前記先行車両を撮影した動画像に基づいて、前記第１の振動データを取得する取得部を
　さらに備える前記（３）乃至（８）のいずれかに記載の信号処理装置。
（１０）
　前記設定部は、認識対象とする前記ジェスチャの種類、前記ジェスチャを前記操作として認識する範囲、および、前記ジェスチャを前記操作として認識するまでの認識判定時間のうちの少なくともいずれかを、前記認識方法として設定する
　前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
　前記設定部は、前記将来生じると予測される振動のランダム性、周波数、振幅、および連続性のうちの少なくともいずれかに基づいて、前記認識方法を設定する
　前記（１０）に記載の信号処理装置。
（１２）
　前記操作認識部は、所定の閾値よりも大きい振幅の振動が生じる期間を除いた期間における前記ジェスチャの継続時間を前記認識判定時間と比較することにより、前記操作を認識する
　前記（１１）に記載の信号処理装置。
（１３）
　前記設定部は、所定の閾値よりも大きい振幅の振動が連続して生じると予測される場合、認識対象とする前記ジェスチャの種類を制限する
　前記（１１）または（１２）に記載の信号処理装置。
（１４）
　前記設定部は、所定の閾値よりも大きい振幅の振動が連続して生じると予測される場合、前記ジェスチャを前記操作として認識する範囲を拡大させる
　前記（１１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
　前記操作認識部は、前記ユーザを撮影した動画像に基づいて、前記ユーザが行った前記ジェスチャを認識する
　前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）
　前記設定部により設定された前記認識方法の有効性を判定する判定部をさらに備え、
　前記設定部は、前記認識方法の有効性の判定結果に基づいて、前記認識方法を修正する
　前記（１）乃至（１５）のいずれかに記載の信号処理装置。
（１７）
　信号処理装置が、
　将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定し、
　設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する
　信号処理方法。
（１８）
　将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定し、
　設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する
　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（１９）
　　将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、
　　前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部と
　を備える信号処理装置と、
　　前記ジェスチャを用いた前記操作の対象となる画像を表示する表示部を
　備える表示装置と
　を有する信号処理システム。
（２０）
　前記信号処理システムは、
　　前記振動データが示す振動が検出された位置に紐づけて前記振動データを管理する管理部を
　備えるサーバをさらに有し、
　前記設定部は、前記サーバから取得した前記振動データに基づいて、前記認識方法を設定する
　前記（１９）に記載の信号処理システム。
　１　サーバ，　２Ａ　先行車両，　２Ｂ　対象車両，　２Ｃ　後続車両，　１１Ａ乃至１１Ｃ　表示デバイス，　２１　データ受信部，　２２　振動データ管理部，　２３　データ送信部，　３１　振動データ取得部，　３２　加速度センサ，　３３　GNSS受信機　３４　データ送信部，　４１　データ受信部，　４２　振動パターン解析部，　４３　加速度センサ，　４４　GNSS受信機　４５　UI表示制御部，　４６　カメラ，　４７　データ送信部，　６１　振動振幅検出部，　６２　振動周波数検出部，　６３　振動発生頻度検出部，　６４　振動パターン分類部，　６５　操作方法設定部，　６６　認識範囲設定部，　６７　認識判定時間設定部，　８１　操作認識器，　８２　UI命令生成部，　１０１　成功率判定器，１１１　成功率算出部，　１１２　ラベリング部

Claims (20)

  1. 　将来生じると予測される振動を示す第１の振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、
    　前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部と
    　を備える信号処理装置。
  2. 　前記操作認識部は、前記信号処理装置が搭載された車両内の前記ユーザが行った前記ジェスチャが示す前記操作を認識する
    　請求項１に記載の信号処理装置。
  3. 　前記第１の振動データは、前記車両が将来走行すると予測される予測位置を前記車両より先に走行した先行車両により検出された振動を示す
    　請求項２に記載の信号処理装置。
  4. 　前記設定部は、前記先行車両において設定された前記認識方法を示す補正データに基づいて、前記認識方法を修正する
    　請求項３に記載の信号処理装置。
  5. 　前記設定部は、前記車両の車種に相当する車種の前記先行車両により検出された振動を示す前記第１の振動データに基づいて、前記認識方法を設定する
    　請求項３に記載の信号処理装置。
  6. 　前記車両の振動を検出し、前記車両の振動の検出結果を示す第２の振動データを生成する振動検出部と、
    　前記車両の後に前記予測位置を走行する後続車両、または、前記第２の振動データを前記後続車両に送信するサーバに前記第２の振動データを送信する送信部と
    　をさらに備える請求項３に記載の信号処理装置。
  7. 　前記送信部は、前記車両の種別を示す車両情報を前記第２の振動データとともに前記後続車両または前記サーバに送信する
    　請求項６に記載の信号処理装置。
  8. 　前記送信部は、前記設定部により設定された前記認識方法を示す補正データを前記第２の振動データとともに前記後続車両または前記サーバに送信する
    　請求項６に記載の信号処理装置。
  9. 　前記先行車両を撮影した動画像に基づいて、前記第１の振動データを取得する取得部を
    　さらに備える請求項３に記載の信号処理装置。
  10. 　前記設定部は、認識対象とする前記ジェスチャの種類、前記ジェスチャを前記操作として認識する範囲、および、前記ジェスチャを前記操作として認識するまでの認識判定時間のうちの少なくともいずれかを、前記認識方法として設定する
    　請求項１に記載の信号処理装置。
  11. 　前記設定部は、前記将来生じると予測される振動のランダム性、周波数、振幅、および連続性のうちの少なくともいずれかに基づいて、前記認識方法を設定する
    　請求項１０に記載の信号処理装置。
  12. 　前記操作認識部は、所定の閾値よりも大きい振幅の振動が生じる期間を除いた期間における前記ジェスチャの継続時間を前記認識判定時間と比較することにより、前記操作を認識する
    　請求項１１に記載の信号処理装置。
  13. 　前記設定部は、所定の閾値よりも大きい振幅の振動が連続して生じると予測される場合、認識対象とする前記ジェスチャの種類を制限する
    　請求項１１に記載の信号処理装置。
  14. 　前記設定部は、所定の閾値よりも大きい振幅の振動が連続して生じると予測される場合、前記ジェスチャを前記操作として認識する範囲を拡大させる
    　請求項１１に記載の信号処理装置。
  15. 　前記操作認識部は、前記ユーザを撮影した動画像に基づいて、前記ユーザが行った前記ジェスチャを認識する
    　請求項１に記載の信号処理装置。
  16. 　前記設定部により設定された前記認識方法の有効性を判定する判定部をさらに備え、
    　前記設定部は、前記認識方法の有効性の判定結果に基づいて、前記認識方法を修正する
    　請求項１に記載の信号処理装置。
  17. 　信号処理装置が、
    　将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法を設定し、
    　設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する
    　信号処理方法。
  18. 　将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法を設定し、
    　設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する
    　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  19. 　　将来生じると予測される振動を示す振動データに基づいて、ジェスチャを用いた操作の認識方法を設定する設定部と、
    　　前記設定部により設定された前記認識方法に従って、ユーザが行った前記ジェスチャが示す前記操作を認識する操作認識部と
    　を備える信号処理装置と、
    　　前記ジェスチャを用いた前記操作の対象となる画像を表示する表示部を
    　備える表示装置と
    　を有する信号処理システム。
  20. 　前記信号処理システムは、
    　　前記振動データが示す振動が検出された位置に紐づけて前記振動データを管理する管理部を
    　備えるサーバをさらに有し、
    　前記設定部は、前記サーバから取得した前記振動データに基づいて、前記認識方法を設定する
    　請求項１９に記載の信号処理システム。
PCT/JP2022/005153 2021-06-22 2022-02-09 信号処理装置、信号処理方法、記録媒体、および信号処理システム WO2022269983A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/569,242 US20240264678A1 (en) 2021-06-22 2022-02-09 Signal processing device, signal processing method, recording medium, and signal processing system
JP2023529483A JPWO2022269983A1 (ja) 2021-06-22 2022-02-09
CN202280042810.6A CN117501212A (zh) 2021-06-22 2022-02-09 信号处理装置、信号处理方法、记录介质和信号处理系统
EP22827907.1A EP4361992A1 (en) 2021-06-22 2022-02-09 Signal processing device, signal processing method, recording medium, and signal processing system
KR1020237042536A KR20240024809A (ko) 2021-06-22 2022-02-09 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021103260 2021-06-22
JP2021-103260 2021-06-22

Publications (1)

Publication Number Publication Date
WO2022269983A1 true WO2022269983A1 (ja) 2022-12-29

Family

ID=84543745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005153 WO2022269983A1 (ja) 2021-06-22 2022-02-09 信号処理装置、信号処理方法、記録媒体、および信号処理システム

Country Status (6)

Country Link
US (1) US20240264678A1 (ja)
EP (1) EP4361992A1 (ja)
JP (1) JPWO2022269983A1 (ja)
KR (1) KR20240024809A (ja)
CN (1) CN117501212A (ja)
WO (1) WO2022269983A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761040A (zh) * 2023-08-22 2023-09-15 超级芯(江苏)智能科技有限公司 Vr云平台交互方法及交互系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293419A (ja) * 2004-04-02 2005-10-20 Alpine Electronics Inc 空間入力システム
WO2013145223A1 (ja) * 2012-03-29 2013-10-03 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
US20150084849A1 (en) * 2013-09-23 2015-03-26 Hyundai Motor Company Vehicle operation device
JP2016126556A (ja) 2015-01-05 2016-07-11 株式会社デンソー 車載用タッチパネル装置
KR20180120396A (ko) * 2017-04-27 2018-11-06 현대모비스 주식회사 주행 조건에 따른 모션제스처 피드백 실행 방법 및 장치
JP2019095210A (ja) * 2017-11-17 2019-06-20 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293419A (ja) * 2004-04-02 2005-10-20 Alpine Electronics Inc 空間入力システム
WO2013145223A1 (ja) * 2012-03-29 2013-10-03 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
US20150084849A1 (en) * 2013-09-23 2015-03-26 Hyundai Motor Company Vehicle operation device
JP2016126556A (ja) 2015-01-05 2016-07-11 株式会社デンソー 車載用タッチパネル装置
KR20180120396A (ko) * 2017-04-27 2018-11-06 현대모비스 주식회사 주행 조건에 따른 모션제스처 피드백 실행 방법 및 장치
JP2019095210A (ja) * 2017-11-17 2019-06-20 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761040A (zh) * 2023-08-22 2023-09-15 超级芯(江苏)智能科技有限公司 Vr云平台交互方法及交互系统
CN116761040B (zh) * 2023-08-22 2023-10-27 超级芯(江苏)智能科技有限公司 Vr云平台交互方法及交互系统

Also Published As

Publication number Publication date
CN117501212A (zh) 2024-02-02
EP4361992A1 (en) 2024-05-01
US20240264678A1 (en) 2024-08-08
KR20240024809A (ko) 2024-02-26
JPWO2022269983A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US11899855B2 (en) Changing a mode of operation of a computing device by a pen device
US10403147B2 (en) Systems and methods for automatically documenting an accident
US10732695B2 (en) Transitioning a computing device from a low power state based on sensor input of a pen device
US20170235361A1 (en) Interaction based on capturing user intent via eye gaze
US8292833B2 (en) Finger motion detecting apparatus and method
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
US20210266714A1 (en) Systems and Methods for Locating Mobile Devices Within A Vehicle
WO2022269983A1 (ja) 信号処理装置、信号処理方法、記録媒体、および信号処理システム
CN103279223B (zh) 一种反馈触控消息的方法、设备及系统
CN105739680A (zh) 用于基于眼睛跟踪生成触觉效果的系统和方法
US9489052B2 (en) Image recognition device, image recognition method, image recognition program, and recording medium
EP2693311A1 (en) Operation device
CN104160362A (zh) 针对不利使用条件调整移动用户界面
US20190317659A1 (en) Dynamic Image Stabilization Using Motion Sensors
KR20220041831A (ko) 음성 인식의 활성화
JP6043671B2 (ja) クラクション発生装置、クラクション発生方法、プログラム及び乗物用入力装置
US20220242430A1 (en) Vehicle information display system, vehicle information display device, and vehicle control system
JP2024100965A (ja) 情報生成装置、制御方法、プログラム及び記憶媒体
US20170021693A1 (en) Air-conditioning control apparatus, air-conditioning apparatus, air-conditioning control method, air-conditioning control system, and non-transitory recording medium
US11754417B2 (en) Information generating device, vehicle control system, information generation method, and computer program product
US20230075321A1 (en) Systems and methods for user interaction based vehicle feature control
JP2018195167A (ja) 情報提供装置および情報提供方法
JP6770488B2 (ja) 注視対象物推定装置、注視対象物推定方法、およびプログラム
JP2020053083A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
CN116424243B (zh) 一种智能车载多媒体系统控制方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827907

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529483

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280042810.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202327087741

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2022827907

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022827907

Country of ref document: EP

Effective date: 20240122