JP5432169B2 - 車両内で可聴入力を受信するシステムおよび方法 - Google Patents

車両内で可聴入力を受信するシステムおよび方法 Download PDF

Info

Publication number
JP5432169B2
JP5432169B2 JP2010534175A JP2010534175A JP5432169B2 JP 5432169 B2 JP5432169 B2 JP 5432169B2 JP 2010534175 A JP2010534175 A JP 2010534175A JP 2010534175 A JP2010534175 A JP 2010534175A JP 5432169 B2 JP5432169 B2 JP 5432169B2
Authority
JP
Japan
Prior art keywords
microphone
noise
received
vehicle
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010534175A
Other languages
English (en)
Other versions
JP2011502884A (ja
Inventor
セク,レオナルド,エス.
Original Assignee
ティーケー ホールディングス,インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/213,591 external-priority patent/US9520061B2/en
Application filed by ティーケー ホールディングス,インコーポレーテッド filed Critical ティーケー ホールディングス,インコーポレーテッド
Publication of JP2011502884A publication Critical patent/JP2011502884A/ja
Application granted granted Critical
Publication of JP5432169B2 publication Critical patent/JP5432169B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/046Adaptations on rotatable parts of the steering wheel for accommodation of switches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001Vehicle control means, e.g. steering-wheel or column
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)
  • Steering Controls (AREA)
  • Traffic Control Systems (AREA)
  • Telephone Function (AREA)
  • Transceivers (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本開示は、一般に、車両内で可聴入力を受信するためのシステムおよび方法の分野に関する。より詳細には、本開示は少なくとも1つのマイクロフォンを有し、可聴入力を処理するように構成されたステアリングホイールに関する。
本出願は、2008年に6月20に出願された米国特許出願第12/213,591号の一部継続出願であり、米国仮特許出願第60/996,351号(2007年11月13日に出願)および米国仮特許出願第61/006,298号(2008年1月4日に出願)の優先権および利益も主張し、前述の出願のそれぞれは本明細書に参照によってその全体が組み込まれる。
主にアイコンによって運転者に様々な情報メッセージ(informational message)を表示できる通信ステアリングホイールデバイスが開発されている。これらのメッセージには、様々な警告メッセージ、接近しつつある対象物についての情報メッセージ、ナビゲーションコマンドなどが含まれる。たとえば、米国特許出願公開第US20060070795号およびWIPO公報WO2006076903およびWO2006076904(3つの全ての出願が本明細書に参照によって組み込まれる)を参照されたい。
車両は、音声認識アルゴリズムを使用して(たとえばハンズフリー電話の使用、ナビゲーション制御などの)追加の特徴を提供または制御するためにマイクロフォンを備えることができる。音声認識を改善および精密化するために、産業に多くの関心が寄せられているが、そのようなシステムを車両での使用に十分に信頼性のあるものにするためには、課題がかなり残っている。たとえば、運転者の声の検出は、自動車の内側および外側からの他の声および雑音源によって不明瞭になる可能性がある。現在、入力デバイス(マイクロフォン)は、車両のインストルメントパネル(IP)またはヘッドライナ(headliner)内に備えることができる。音声認識のために、道路の雑音、自動車の雑音、他の乗客の雑音、およびその他の雑音をフィルターにかけて除去するためのシステムおよび方法が必要である。
本開示の1つの実施形態は、車両用のステアリングホイールシステムに関する。ステアリングホイールシステムは、ステアリングホイールに装着された第1のマイクロフォン、および第1のマイクロフォンの比較的近くに車両のステアリングホイールまたは他の位置に装着された第2のマイクロフォンを備える。第1および第2のマイクロフォンは、それぞれ可聴入力(audible input)を受信するように構成される。可聴入力は、口頭コマンド成分および雑音成分を含む。ステアリングホイールシステムは、第1のマイクロフォンで受信した雑音成分が、第2のマイクロフォンで受信した雑音成分と位相(phase)がずれていることを判定することによって雑音成分を識別するように構成された制御装置も備える。制御装置は、雑音成分を可聴入力から消去するように構成されている。
本開示の別の実施形態は、口頭コマンドを受信するように構成された車両システムによって受信された雑音を消去する方法に関する。車両システムは、第1のマイクロフォン、第2のマイクロフォン、および制御装置を備える。方法は、第1のマイクロフォンで可聴入力を受信するステップと、第2のマイクロフォンで可聴入力を受信するステップを含む。可聴入力は、口頭コマンド成分および雑音成分を含む。方法は、第1のマイクロフォンで受信した雑音成分が、第2のマイクロフォンで受信した雑音成分と位相がずれていることを判定することによって制御装置を使用して雑音成分を識別するステップも含む。方法は、制御装置を使用して可聴入力から雑音成分を消去するステップも含む。
前述の全体的な説明および以下の詳細な説明の両方は、例示的および説明的なものに過ぎず、本発明を特許請求の範囲に記載されるように限定するものではないことを理解されたい。
本発明のこれらのおよびその他の特徴、態様、ならびに利点は、以下の説明、添付の特許請求の範囲、および下記に簡単に説明される図面に示される添付の例示の実施形態から明らかになるであろう。
例示の実施形態による車両の運転席の斜視図である。 例示の実施形態によるディスプレイを備えるステアリングホイールの概略図である。 例示の実施形態による図2のディスプレイのより詳細な概略図である。 例示の実施形態による様々な供給源からの可聴入力を受信する、図2のステアリングホイールの概略図である。 例示の実施形態によるステアリングホイールシステムのブロック図である。 例示の実施形態による図5のステアリングホイールシステムにおける雑音を消去する方法の流れ図である。 別の例示の実施形態による図5のステアリングホイールシステムにおける雑音を消去する方法のより詳細な流れ図である。 別の例示の実施形態による図5のステアリングホイールシステムにおける雑音を消去する方法の流れ図である。
図1を参照すると、車両の運転者は、車両を運転席10から操作できる。運転席10は、ステアリングホイール12および制御装置14を備える。運転者は、車両の車輪を回し、車両を所望の方向に操舵するためにステアリングホイールを回転させることができる。ステアリングホイール12は、たとえば1つまたは複数のマイクロフォンで、口頭コマンドを含む可聴入力を受信するように構成することもできる。口頭コマンドは、音声認識ソフトウェアを使用して制御装置14によって解析および解釈することができ、または認識することができる。次いで、制御装置14は、車両システム(たとえば、音響システム、ナビゲーションシステム、車両バスインターフェース、インストルメントパネル電子機器など)、または有線または無線接続(たとえば携帯電話、パーソナルナビゲーションデバイス(PND)、携帯情報端末(PDA)、携帯メディアプレーヤなど)を介して車両に接続された電子デバイスに口頭コマンドを表す電子信号を送ることができる。電子信号により、車両システムまたは電子デバイスは、特定のタスクまたは動作を行うことができる。たとえば、使用者は、口頭コマンドを提供して、接続された携帯電話に電話番号を入力し、ナビゲーションシステムまたはパーソナルナビゲーションデバイスに目的地情報を提供し、携帯メディアプレーヤまたは音響システムなどのボリュームまたはメディアを調整することができる。
ステアリングホイール12は、車両の状態または接続された電子デバイスに関連する(たとえば視覚的なメッセージ、可聴式のメッセージなどの)メッセージを運転者に提供するように構成することもできる。メッセージは、口頭コマンドに関連するデータおよび/または車両システムまたは電子デバイスから受信したデータに基づいて制御装置14によって生成することができる。メッセージは、ナビゲーション(たとえば、どのようにコーナーを首尾良く通り抜けまたは操縦するか、どこで旋回するかなど)に関連する、ハンズフリー通話に関連する、音響システムに関連するなどのメッセージであることができる。様々な例示の実施形態によれば、ステアリングホイール12は、車両を操舵するために運転者によって使用可能であり、運転者からのコマンドを受信し、かつ/または運転者にメッセージを提供することが可能な任意のステアリングホイールであることができる。様々な例示の実施形態によれば、制御装置14は、アナログ制御装置、デジタル制御装置、ソフトウェア制御装置、またはそれらの任意の組み合わせであることができる。いくつかの例示の実施形態によれば、制御装置14は、ステアリングホイール12に一体化することができる。
図2〜3を参照すると、ステアリングホイール12は、いくつかの例示の実施形態にしたがって、運転者にメッセージを提供するための、ディスプレイ16を備えることができる。ディスプレイは、全体的に、ディスプレイ部18、20、および22を含む。
ディスプレイ部18は、運転者が車両を操縦または操舵する必要のある方向を示すために、アイコン24を表示または照明するように構成されている。アイコン24は、旋回の角度を示す固定された形状および大きさ、または可変の形状および大きさを有することができる。可変形状のアイコンは、車両が操縦によって接近または前進すると形状を変えることができる。アイコン24は、単一の色、使用者が構成可能な色、または操縦の程度または激しさに基づいて変わる複数の色であることができる。たとえば、緑色アイコンは、現在の速度で操縦を達成できることを示すことができ、黄色アイコンは現在の車両の速度では操縦が安全でない可能性があることを示すことができ、赤色アイコンは現在の速度では操縦が安全でないことを示すことができる。アイコン24は、固定された輝度、使用者が構成可能な輝度、または操縦の程度または激しさによって変わる輝度のものであることができる。たとえば、より輝度の低いアイコンは、現在の速度で操縦が達成できることを示すことができ、より輝度の高いアイコンは、速度を低下させる必要があることを示すことができる。
ディスプレイ部18は単一のアイコンを含むように示されているが、他の例示の実施形態によれば、複数のアイコンを表示することができる。他の例示の実施形態によれば、ディスプレイ部18は、運転者に車両システムまたは取り付けられた電子デバイスの状態に関連する、(たとえば、メディア再生情報、より詳細なナビゲーション情報、通話情報などの)グラフィックおよび/または文字メッセージを提供するように構成することができる。ディスプレイ部18は、複数のLED(有機または無機)、LCDディスプレイ、TFTディスプレイ、白熱球、プラズマディスプレイ、および/またはCRTディスプレイを備えることができる。
いくつかの例示の実施形態によれば、ステアリングホイール12と車両システムまたは電子デバイスとの間で交換された情報は、有線または無線の車両のネットワーク(たとえばCANbusまたは任意の他の車両バスなど)の間による接続を介して送ることができる。現在、ブルートゥース無線技術が、「ハンズフリー」通話方式および他の電子デバイス接続用の車両の用途に日常的に支持され、Wifi規格、または他の限定された範囲の低電力規格を含む、使用可能な他のいくつかの無線プロトコルがある。
携帯電話またはPDAが使用可能になった後に、電話に直接触れて応対することなく、ステアリングホイール12を使用して通話を受け/通話を行うために、運転者は、携帯電話またはPDAに応対することが可能になる。携帯電話は、自動車に組み込むことができ、または小型携帯電話、PDA、またはブルートゥース送受信機を有するPNDなどのアフターマーケットデバイス(aftermarket device)であることができる。デバイスは、携帯電話ネットワークを介して無線接続を行うことができ、受信および送信される全ての通話を処理できる。同様に、ナビゲーションデバイスへの接続により、接触により応対することなく、ハンズフリーでの運転者の使用を容易にすることができる。運転者は、マイクロフォン26で受信した口頭コマンドの音声認識によって通話を開始し、または受けることができる。マイクロフォン26は、ステアリングホイール12のいずれの場所にも配置することができる。
いくつかの例示の実施形態によれば、ナビゲーションシステムは、ステアリングホイール12の内側に収容することができる。ナビゲーションシステムは、車両の運転者にターンバイターン指示を与えることができる。目的地情報は、ステアリングホイール12にキーボード、トラックボール、またはかさばる追加のスイッチを配置する必要なく、マイクロフォン26で受信した口頭コマンドによってナビゲーションシステムに入力できる。データは、携帯電話またはPDAに入力され、次いでブルートゥースまたはその他の無線リンクによってステアリングホイール12に送信される。あるいは、ナビゲーションデバイスは、ステアリングホイール12に完全に一体化する必要はない。それは、携帯電話/PDAから目的地情報を受信する自立型のアフターマーケットナビゲーションデバイスであることもできる。したがって、携帯電話/PDAは、双方向無線システムを使用してステアリングホイール12を介して別々のPNDに接続される。携帯電話への接続により、ディスプレイ16に発信者のID情報を提供することができ、または運転者が口頭コマンドによって携帯電話/PDA/Blackberryによる通話を受け入れ、もしくは排除することができるようになる。
情報は、他の車両のセンサからナビゲーションシステムに提供することもできる。たとえば、車両のセンサから判定されたホストビークルヨーレート(host vehicle yaw rate)および速度データが、ナビゲーションシステムによる使用のために、(内部のナビゲーションシステムまたはアフターマーケットのナビゲーションシステムの)ナビゲーションシステムに提供できる。たとえば、ナビゲーションシステムは、GPSデータがこれ以上入手可能でない場合に車両のセンサのデータを使用して車両位置の推測航法型分析を行うことができる。車両のセンサおよびナビゲーションシステムは、情報がデータバスを介してナビゲーションシステムに、またはそこから送ることができるように、CANbusに接続できる。あるいは、車両のセンサのデータは、自動車のネットワーク(たとえばデータバス)を介してCSWに送り、無線プロトコル(たとえばブルートゥース)を使用してナビゲーションシステムに送信し/交換することができる。
ステアリングホイール12の1つの例示の実施形態では、ステアリングホイールが垂直または12時の真っ直ぐな位置から離れて回された場合に、ディスプレイ16の鮮明度が低下する。ディスプレイ16の輝度は、運転者の注意を引く必要がある接近しつつある旋回、または他の問題に関して運転者に合図を送るために調整または変更することができる。ディスプレイ16は、運転者の注意散漫を軽減するためにホイールを回す時に鮮明度を低下させることができ、ステアリングホイールが真っ直ぐまたは垂直の位置に戻された時に表示輝度を上げることができる。ステアリングホイールが回っていることの検出は、操舵角センサ、操舵角速度センサ、傾斜センサ、または他の内部センサの使用によって行うことができる。
その他の声および車両の内側および外側の雑音源すべてから運転者の声を検出することは困難である可能性がある。一般的な運転中に運転者が向いている位置(すなわち運転者が道路を見ている)にマイクロフォン26を配置すると、運転者の口とマイクロフォンの間の視線に基づいて、運転者からの音声のコマンドが(声の強度の)可能な最も高い振幅を有するようになる。
図4を参照すると、ステアリングホイールは、ステレオ音響入力を提供し、ステアリングホイール12が追加の特徴を提供または制御することを可能にするために、複数のマイクロフォン28および30を備えることができる。ステアリングホイール12の中心線からほぼ等距離に配置された2つのマイクロフォン28、30の使用は、検出される音声の振幅をさらに改善することができる。運転者32が前方を向き、操舵角が一般的な運転範囲内(0度付近)にある場合に、各マイクロフォン28、30に到達する口頭コマンド34は、位相が非常に近くなっている。しかし、乗客38からの雑音36、および(たとえば道路、エンジン、ファン、風などからの)他の雑音40などの、各マイクロフォン28、30で受信した他の音に関しては、雑音源がマイクロフォン28、30に向かって等距離に送られないので、位相が異なる。制御装置14の音声認識ソフトウェア内への可聴入力を向上させるために、ステレオ雑音消去技術を使用して、マイクロフォン28、30から運転者32の音声または口頭コマンド34を明瞭にすることができる。雑音36、40が、位相がずれて検出され、口頭コマンド34が位相が合って検出されるので、制御装置14は、口頭コマンド34から雑音36、40の少なくとも一部分を消去または排除できる。
図5を参照すると、ブロック図は、口頭コマンド34成分および雑音36、40成分を含む可聴入力42を受信するための、ステアリングホイール12におけるステレオマイクロフォン28、30の使用をさらに示す。制御装置14は、信号処理モジュール46において可聴入力42を表す各マイクロフォン28、30からの電気信号を受信する。信号処理モジュール44は、口頭コマンド34および/または雑音36、40成分を識別するために、入力成分の位相を比較する。口頭コマンド34および雑音36、40が識別された後に、信号処理モジュール44は、少なくとも部分的に雑音36、40成分を消去し、口頭コマンド34を表す電気信号46を生成できる。音声認識モジュール48は、信号46を受信し、信号46に基づいて行うタスクまたは動作を決定する。
1つの例示の実施形態によれば、音声認識モジュール48は、無線通信リンク(たとえばブルートゥース、Wifiなど)によって、電子デバイス52(たとえば携帯電話、PDA、PND、携帯メディアデバイスなど)と接続および通信するために、無線通信モジュール50を使用することができる。音声認識モジュールは、電子デバイス52に、たとえば通話(たとえばダイヤル、電話の切断、文字メッセージの送信/受信など)、メディア再生(たとえばメディアの選択、再生の調整など)、データの管理(たとえばメモまたはノートの書き取り、日程表の更新/再検討、インターネット接続の確立など)、またはナビゲーション(たとえば目的地の入力、対象とする地点の要求など)に関係する動作などの動作を行うように指示することができる。
別の例示の実施形態によれば、音声認識モジュール48は、車両バス(たとえばCANbusなど)によって車両システムまたはデバイス56(たとえばナビゲーションシステム、音響システム、インストルメントパネル電子機器など)と接続および通信するために、車両バスインターフェース54を使用することができる。音声認識モジュールは、車両システムまたはデバイス56に、たとえばメディア再生(たとえば、メディアの選択、再生の調整、ボリュームの調整など)、またはナビゲーション(たとえば目的地の入力、対象とする地点の要求など)に関係する動作などの動作を行うように指示することができる。
ステアリングホイール12が高い角度で回された場合に、2つのマイクロフォン28、30は、もはや運転者32から等距離にない可能性があり、各マイクロフォン28、30への入力がもはや位相が合っていないので、音声認識モジュール48は口頭コマンド34を検出することが困難である可能性がある。車両は、一般に、電子安定制御(ESC)システムを備え、多くのESCシステムは、車両の安定性を計算するのを助けるために操舵角センサ58を使用する。操舵角センサ58からの操舵角情報は、口頭コマンド34の位相をずらす、運転者と各マイクロフォン28、30の間の範囲距離(range distance)を補償するために使用できる。操舵角に基づいて、信号処理モジュール44は、口頭コマンド34の期待される位相差を判定し、口頭コマンド34成分を識別し、雑音36、40成分を消去するために、期待される位相差を可聴入力42の成分と照合することができる。説明されるような操舵角センサ58は、ESCシステムの一部分であるが、他の例示の実施形態によれば、操舵角センサ58は、自立型の操舵角センサであることができる。
様々な例示の実施形態によれば、信号処理モジュール、音声認識モジュール48、無線通信モジュール50、および車両バスインターフェース54はそれぞれ、アナログ回路、デジタル回路、および/またはソフトウェアを備えることができることに留意されたい。マイクロフォン28、30および制御装置14は、ステアリングホイール12において具体化されて示されるが、他の例示の実施形態によれば、制御装置14は、ステアリングホイール12の外側にあることができ、またはマイクロフォン28、30は、ステアリングホイール12の外側に配置できる。マイクロフォン28、30がステアリングホイール12に配置されない場合、制御装置14は位置に基づいて口頭コマンドに関する期待される位相差を判定できる。
図6を参照すると、ステアリングホイール12によって受信された可聴入力42から雑音36、40を消去するための方法600が示される。ステップ602では、マイクロフォン28、30のうちの一方が可聴入力42を受信し、ステップ604では、マイクロフォン28、30のうちのもう一方が可聴入力42を受信する。マイクロフォン28、30は異なる時間区分で可聴入力42を受信するものとして示されるが、可聴入力42は各マイクロフォン28、30に対して、ほぼ同時に受信されうることに留意されたい。制御装置は、可聴入力42を表す電子信号を受信する。次いで、ステップ606では、制御装置14は、第1のマイクロフォンで受信した雑音成分の位相が、第2のマイクロフォンで受信した雑音成分の位相と異なることを判定することによって、雑音36、40成分を識別する。ステップ608では、制御装置は、少なくとも部分的に、識別された雑音36、40成分を可聴入力42から消去し、口頭コマンド34成分を残す。他の例示の実施形態によれば、口頭コマンド34成分は、(雑音36、40成分を識別する代わりに)差が非常に少ないことによって識別でき、制御装置14はその他の全ての成分を消去できることに留意されたい。
図7を参照すると、ステアリングホイール12によって受信された可聴入力42から雑音36、40を消去するための方法700が示される。ステップ702では、マイクロフォン28、30のうちの1方が可聴入力42を受信し、ステップ704では、マイクロフォン28、30のうちのもう一方が可聴入力42を受信する。マイクロフォン28、30は異なる時間区分で可聴入力42を受信するものとして示されるが、可聴入力42は各マイクロフォン28、30に対して、ほぼ同時に受信されうることに留意されたい。制御装置は、可聴入力42を表す電子信号を受信する。ステップ706では、制御装置14は、受信した口頭コマンド34の位相を判定する。ステップ708では、制御装置14は、わずかな差を発見し、受信した成分が口頭コマンド34であることを識別するために2つの位相を比較する。ステップ710では、制御装置14は、受信した雑音36、40の位相を判定する。ステップ712では、制御装置14は、差を発見し、受信した成分が雑音36、40であることを識別するために2つの位相を比較する。次いでステップ714では、制御装置14は、ステップ708および712の比較に基づいて雑音36、40成分を識別する。ステップ716では、制御装置は、少なくとも部分的に、識別された雑音36、40成分を可聴入力42から消去し、口頭コマンド34成分を残す。
他の例示の実施形態によれば、口頭コマンド34成分は、(雑音36、40成分を識別する代わりに)差が非常に少ないことによって識別でき、制御装置14はその他の全ての成分を消去できることに留意されたい。他の例示の実施形態によれば、方法700は、口頭コマンド34の位相または雑音36、40の位相のみを判定および比較することができる。制御装置14は、雑音36、40の前に口頭コマンド34に関する位相の情報を判定および比較するものとして示されるが、制御装置14は、口頭コマンド34および雑音36、40に関する位相の情報を任意の順または同時に判定および/または比較できることに留意されたい。
図8を参照すると、ステアリングホイール12によって受信された可聴入力42から雑音36、40を消去するための方法800が示される。ステップ802では、マイクロフォン28、30のうちの1方が可聴入力42を受信し、ステップ804では、マイクロフォン28、30のうちのもう一方が可聴入力42を受信する。マイクロフォン28、30は異なる時間区分で可聴入力42を受信するものとして示されるが、可聴入力42は各マイクロフォン28、30に対して、ほぼ同時に受信されうることに留意されたい。制御装置は、可聴入力42を表す電子信号を受信する。ステップ806では、制御装置は、操舵角センサ58から操舵角信号を受信する。操舵角センサ58からの操舵角信号は、口頭コマンド34の位相をずらす、運転者と各マイクロフォン28、30の間の範囲距離を補償するために使用できる。操舵角に基づいて、信号処理モジュール44は、口頭コマンド34の期待される位相差を判定し、口頭コマンド34成分を識別し、雑音36、40成分を消去するために、期待される位相差を可聴入力42の成分と照合することができる。次いで、ステップ808では、制御装置14は、第1のマイクロフォンで受信した雑音成分の位相が、第2のマイクロフォンで受信した雑音成分の位相と異なることを判定することによって、雑音36、40成分を識別する。ステップ810では、制御装置は、少なくとも部分的に、識別された雑音36、40成分を可聴入力42から消去し、口頭コマンド34成分を残す。他の例示の実施形態によれば、口頭コマンド34成分は、(雑音36、40成分を識別する代わりに)差が非常に少ないことによって識別でき、制御装置14はその他の全ての成分を消去できることに留意されたい。操舵角センサ58が、図7の方法700においても利用できることにも留意されたい。
上記に示されたこれらの例示の実施形態に対する代替実施形態として、システムはステアリングホイールのハブまたは中心線の付近に配置された単一のマイクロフォンを備えることができる。あるいは、1つまたは複数のマイクロフォンがステアリングホイールのリムに配置できる。1つまたは複数のマイクロフォンが、製造および動作の問題にしたがってステアリングホイールの任意の適切な位置に配置できる。
別の例示の実施形態によれば、たとえば図1に示され、たとえば図6および図7に示される第1および第2のマイクロフォンは、車両の異なる構成要素に配置できる。たとえば、1つの例示の実施形態によれば、1つまたは複数のマイクロフォンがステアリングホイールに配置でき、1つまたは複数のマイクロフォンがインストルメントパネルまたは車両の乗客付近のその他の便利な装着位置に配置できる。したがって、雑音成分を消去するためのシステムおよび方法が、車両の異なる構成要素に配置された1つまたは複数のマイクロフォンに基づいたものであることができる。
本開示を例示の実施形態を参照して説明してきたが、当業者は、特許請求の範囲の主題の趣旨および範囲から逸脱することなく、型式および詳細に変更を行うことができることを理解するであろう。たとえば、異なる例示の実施形態が1つまたは複数の利益をもたらす1つまたは複数の特徴を含むものとして説明してきたが、説明された特徴は互いに交換することが可能であり、またはその代わりに、説明された例示の実施形態または他の代替の実施形態において互いに組み合わせることができることが企図される。本開示の技術は、比較的複雑であるので、必ずしも全ての技術の変更が予見可能ではない。例示の実施形態を参照して説明され、添付の特許請求の範囲に明記された本開示は、可能な限り広いことが明白に意図される。たとえば、特別に指摘しない限り、単一の特定の要素を説明する特許請求項も、複数のそのような特定の要素を包含する。
好ましい実施形態および他の例示の実施形態において示されたシステムの要素の構造および配置が、例示的なものに過ぎないことに留意することも重要である。いくつかの数の実施形態のみを本開示において詳細に説明してきたが、本開示を再検討する当業者は、説明される主題の新しい教示および利点から実質的に離れることなく、多くの修正形態が可能であり(たとえば、様々な要素の大きさ、寸法、構造、形状、および大きさ、パラメータの値、装着の配置、材料の使用、色、向きなどの変更)が可能であることを容易に理解するであろう。たとえば、一体に形成されるものとして示される要素は、複数の部分から構成されてもよく、または複数の部品として示される要素は、一体に形成されてもよく、アセンブリの動作は、反対にし、または他の方式で変更することができ、構造の長さもしくは幅、および/あるいはシステムの部材もしくはコネクタまたは他の要素は変更することができ、要素の間に設けられた調整具または取り付け具の性質または数は変更できる。システムの要素および/またはアセンブリは、十分な強度または耐性をもたらす任意の広範な材料から構築できることに留意されたい。したがって、全てのそのような修正形態は、本開示の範囲内に含まれることが意図される。その他の代替、修正、変更、および除外は、本主題の趣旨から逸脱することなく、好ましい実施形態および他の例示の実施形態の設計、動作条件、および配置において行うことができる。開示された方法は、任意の様々な、または連続したステップで行うことができ、例示されるよりも多い、または少ないステップを含むことができることにも留意されたい。
10 運転席
12 ステアリングホイール
14 制御装置
16 ディスプレイ
18 ディスプレイ部
20 ディスプレイ部
22 ディスプレイ部
24 アイコン
26 マイクロフォン
28 マイクロフォン
30 マイクロフォン
32 運転者
34 口頭コマンド
36 雑音
38 乗客
40 雑音
42 可聴入力
44 信号処理モジュール
46 電気信号
48 音声認識モジュール
50 無線通信モジュール
52 電子デバイス
54 車両バスインターフェース
56 車両システムまたはデバイス
58 操舵角センサ

Claims (18)

  1. ステアリングホイールに装着された第1のマイクロフォンと、
    前記ステアリングホイールに装着された第2のマイクロフォンであって、前記第1および第2のマイクロフォンがそれぞれ可聴入力を受信するように構成され、前記可聴入力が口頭コマンド成分および雑音成分を含む、第2のマイクロフォンと、
    信号処理モジュールを含む制御装置とを備え、前記信号処理モジュールは、
    前記第1のマイクロフォンで受信された前記雑音成分が、前記第2のマイクロフォンで受信された前記雑音成分と位相がずれていることを判定することによって、前記第1のマイクロフォン及び前記第2のマイクロフォンで受信された前記雑音成分を識別し
    操舵角センサから操舵角を受信し、
    前記受信された操舵角に基づく前記可聴入力から、前記識別された雑音成分を消去するように構成される、車両用のステアリングホイールシステム。
  2. 前記第2のマイクロフォンが、前記ステアリングホイールに装着され、前記第1および第2のマイクロフォンが前記ステアリングホイールの中心から等距離にある、請求項1に記載の装置。
  3. 前記第1のマイクロフォン及び前記第2のマイクロフォンで受信された前記雑音成分が、車両の乗客の雑音、道路の雑音、エンジンの雑音、ファンの雑音、風の雑音、および前記車両の外側の他の雑音のうちの少なくとも1つである、請求項1に記載の装置。
  4. 前記口頭コマンドが、電子デバイスを制御するためのコマンドである、請求項1に記載の装置。
  5. 前記電子デバイスが、携帯電話、パーソナルナビゲーションデバイス、携帯メディアプレーヤ、および携帯情報端末のうちの少なくとも1つである、請求項4に記載の装置。
  6. 前記電子デバイスが車両制御システムである、請求項4に記載の装置。
  7. 前記車両制御システムが、一体化された音響システム、一体化されたナビゲーションシステム、車両バスインターフェース、およびインストルメントパネル電子機器のうちの少なくとも1つである、請求項6に記載の装置。
  8. 前記制御装置が、無線接続を介して前記電子デバイスと通信する、請求項4に記載の装置。
  9. 口頭コマンドを受信するように構成された車両システムによって受信された可聴入力から受信した雑音を消去するための方法であって、前記車両システムが、第1のマイクロフォン、第2のマイクロフォン、および信号処理モジュールを含む制御装置を備えており、前記方法は、
    前記第1のマイクロフォンで前記可聴入力を受信するステップと、
    前記第2のマイクロフォンで前記可聴入力を受信するステップであって、前記可聴入力が口頭コマンド成分および雑音成分を含むステップと、
    操舵角センサから操舵角を受信するステップと、
    前記第1のマイクロフォンで受信した前記雑音成分の位相が、前記第2のマイクロフォンで受信した前記雑音成分の位相と異なることを判定することによって前記制御装置の前記信号処理モジュールを使用して、前記第1のマイクロフォン及び前記第2のマイクロフォンで受信された前記雑音成分を識別するステップと、
    前記制御装置の前記信号処理モジュールを使用して、前記識別された雑音成分を前記受信された操舵角に基づく前記可聴入力から消去するステップとを含む方法。
  10. 前記車両システムがステアリングホイールである、請求項に記載の方法。
  11. 前記第1および第2のマイクロフォンが、前記ステアリングホイールの中心から等距離にある、請求項10に記載の方法。
  12. 前記第1のマイクロフォン及び前記第2のマイクロフォンで受信された前記雑音成分が、車両の乗客の雑音、道路の雑音、エンジンの雑音、ファンの雑音、風の雑音、および前記車両の外側の他の雑音のうちの少なくとも1つである、請求項に記載の方法。
  13. 前記制御装置を使用して前記口頭コマンドに基づいて電子制御信号を生成するステップと、
    通信リンクによって前記制御装置から電子デバイスに前記電子信号を送るステップであって、前記制御信号が前記電子デバイスの機能を制御するためのものであるステップとをさらに含む、請求項に記載の方法。
  14. 前記電子デバイスが、携帯電話、パーソナルナビゲーションデバイス、携帯メディアプレーヤ、および携帯情報端末のうちの少なくとも1つである、請求項13に記載の方法。
  15. 前記電子デバイスが車両制御システムである、請求項13に記載の方法。
  16. 前記車両制御システムが、一体化された音響システム、一体化されたナビゲーションシステム、車両バスインターフェース、およびインストルメントパネル電子機器のうちの少なくとも1つである、請求項15に記載の方法。
  17. 前記通信リンクが無線通信リンクである、請求項13に記載の方法。
  18. 前記第1のマイクロフォン及び前記第2のマイクロフォンで受信された前記雑音成分を識別するステップが、
    前記信号処理モジュールを使用して、前記第1のマイクロフォンおよび前記第2のマイクロフォンで受信された前記口頭コマンドの成分の位相を判定するステップと、
    前記信号処理モジュールを使用して、前記第1のマイクロフォンおよび前記第2のマイクロフォンで受信された前記口頭コマンドの前記成分の位相を比較するステップと、
    前記信号処理モジュールを使用して、前記第1のマイクロフォンおよび前記第2のマイクロフォンで受信された前記雑音成分の位相を判定するステップと、
    前記信号処理モジュールを使用して、前記第1のマイクロフォンおよび前記第2のマイクロフォンで受信された前記雑音成分の前記位相を比較するステップと、
    前記信号処理モジュールを使用して、前記第1のマイクロフォンで受信された前記雑音成分と前記第2のマイクロフォンで受信された前記雑音成分との、前記比較された位相が異なることを判定するステップとを含む、請求項に記載の方法。
JP2010534175A 2007-11-13 2008-11-13 車両内で可聴入力を受信するシステムおよび方法 Expired - Fee Related JP5432169B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US99635107P 2007-11-13 2007-11-13
US60/996,351 2007-11-13
US629808P 2008-01-04 2008-01-04
US61/006,298 2008-01-04
US12/213,591 US9520061B2 (en) 2008-06-20 2008-06-20 Vehicle driver messaging system and method
US12/213,591 2008-06-20
PCT/US2008/083393 WO2009064877A1 (en) 2007-11-13 2008-11-13 System and method for receiving audible input in a vehicle

Publications (2)

Publication Number Publication Date
JP2011502884A JP2011502884A (ja) 2011-01-27
JP5432169B2 true JP5432169B2 (ja) 2014-03-05

Family

ID=40639120

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2010534175A Expired - Fee Related JP5432169B2 (ja) 2007-11-13 2008-11-13 車両内で可聴入力を受信するシステムおよび方法
JP2010534178A Pending JP2011502885A (ja) 2007-11-13 2008-11-13 車両通信システムおよび方法
JP2014237667A Expired - Fee Related JP6141251B2 (ja) 2007-11-13 2014-11-25 車両通信システムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2010534178A Pending JP2011502885A (ja) 2007-11-13 2008-11-13 車両通信システムおよび方法
JP2014237667A Expired - Fee Related JP6141251B2 (ja) 2007-11-13 2014-11-25 車両通信システムおよび方法

Country Status (4)

Country Link
EP (2) EP2209693B1 (ja)
JP (3) JP5432169B2 (ja)
CN (2) CN101855120B (ja)
WO (2) WO2009064877A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8424904B2 (en) 2009-10-29 2013-04-23 Tk Holdings Inc. Steering wheel system with audio input
KR101307708B1 (ko) 2011-05-18 2013-09-11 (주)엘지하우시스 지능형 리모콘이 구비된 조향핸들
JP5844178B2 (ja) * 2012-02-29 2016-01-13 株式会社日本自動車部品総合研究所 車載装置
US20140371987A1 (en) * 2013-03-15 2014-12-18 Ford Global Technologies Llc Reconfigurable steering wheel with visual feedback related to vehicle systems
US9905243B2 (en) 2013-05-23 2018-02-27 Nec Corporation Speech processing system, speech processing method, speech processing program, vehicle including speech processing system on board, and microphone placing method
CN203439096U (zh) * 2013-07-16 2014-02-19 江门市锐速电子科技有限公司 一种带独立无线免提电话系统的汽车方向盘
EP3194211B1 (en) * 2014-08-04 2024-05-01 HL Klemove Corp. Driver assist system utilizing an inertial sensor
DE102014016380A1 (de) 2014-11-06 2016-05-12 Brückner Maschinenbau GmbH & Co. KG Plasma Abgasreinigung
KR101684107B1 (ko) * 2015-05-07 2016-12-20 현대자동차주식회사 전자 장치 및 전자 장치의 운전자 판단 방법
US20160375770A1 (en) * 2015-06-25 2016-12-29 Steering Solutions Ip Holding Corporation Steering assembly and method of control
US20160375924A1 (en) * 2015-06-25 2016-12-29 Steering Solutions Ip Holding Corporation Steering wheel with integrated keyboard assembly
DE102016225019B4 (de) * 2015-12-29 2020-12-10 Ford Global Technologies, Llc Verfahren zur Verbesserung von Spracherkennung in einem Fahrzeug
US10322682B2 (en) 2016-03-03 2019-06-18 Steering Solutions Ip Holding Corporation Steering wheel with keyboard
BR112018015685A2 (ja) * 2016-04-21 2018-12-26 Nsk Ltd. An allophone detecting method of a steering system, and an evaluation system of a steering system
WO2018000111A1 (zh) * 2016-06-26 2018-01-04 李仁涛 带有麦克风的汽车方向盘
CN106427830B (zh) * 2016-08-26 2018-12-28 东风汽车公司 语音拾取系统及其方法
US10144383B2 (en) 2016-09-29 2018-12-04 Steering Solutions Ip Holding Corporation Steering wheel with video screen and airbag
CN106515600B (zh) * 2016-10-27 2018-11-27 杭州广安汽车电器有限公司 一种可分离屏幕且能挂设在方向盘上的车载导航
JP2018181229A (ja) * 2017-04-21 2018-11-15 三菱電機株式会社 運転支援装置およびメッセージ送信方法
JP6881211B2 (ja) * 2017-10-12 2021-06-02 トヨタ自動車株式会社 車両用表示装置
CN108791462A (zh) * 2018-08-02 2018-11-13 广东工业大学 一种方向盘及车辆
CN110450739B (zh) * 2019-08-29 2021-02-12 北京梧桐车联科技有限责任公司 一种车辆
CN112542164B (zh) * 2019-09-19 2024-01-26 中车时代电动汽车股份有限公司 一种车辆方向盘的语音控制方法、装置、设备及存储介质
WO2022176037A1 (ja) * 2021-02-17 2022-08-25 三菱電機株式会社 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4850015A (en) * 1987-10-27 1989-07-18 Gary Martin Vehicular steering wheel telephone apparatus
US5666102A (en) * 1996-07-24 1997-09-09 United Technologies Automotive Systems, Inc. Vehicle signals incorporated into steering wheel rim
CN1175517A (zh) * 1997-08-18 1998-03-11 李维华 方向盘中置式模块化电脑控制汽车功能监控显示装置
JP3498582B2 (ja) * 1998-08-26 2004-02-16 トヨタ自動車株式会社 駐車支援装置
JP2001010429A (ja) * 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の運転支援装置
KR100395478B1 (ko) 1999-12-28 2003-08-25 이수송 차륜정렬 표시장치
JP2001253219A (ja) * 2000-03-14 2001-09-18 Toyota Motor Corp 車両特性調整装置
DE10013432C1 (de) 2000-03-17 2001-09-06 Daimler Chrysler Ag Mikrofonanordnung
US20020068605A1 (en) * 2000-08-03 2002-06-06 Stanley Winfield Scott Manual mobile-communication interface
CN2444364Y (zh) * 2000-09-22 2001-08-22 航欣工业股份有限公司 显示型资料通讯装置
JP3888572B2 (ja) * 2000-11-22 2007-03-07 マツダ株式会社 車両の周囲情報表示装置
DE20105002U1 (de) 2001-03-22 2001-07-26 Trw Automotive Safety Sys Gmbh Fahrzeuglenkvorrichtung
JP2003066986A (ja) * 2001-08-23 2003-03-05 Sharp Corp 音声認識ロボット
US6983170B2 (en) * 2001-10-03 2006-01-03 Jerry Stulberger Mobile cellular telephone
JP2003195890A (ja) * 2001-12-25 2003-07-09 Nippon Seiki Co Ltd 音声操作装置
JP3946067B2 (ja) * 2002-03-25 2007-07-18 Tcm株式会社 産業車両のメータ表示装置
JP2003300468A (ja) * 2002-04-09 2003-10-21 Nissan Motor Co Ltd 車両の運転表示装置
JP4019839B2 (ja) * 2002-07-23 2007-12-12 ソニー株式会社 ナビゲーション装置、ナビゲーション方法、ナビゲーション装置のプログラム及びナビゲーション装置のプログラムを記録した記録媒体
JP2004132897A (ja) * 2002-10-11 2004-04-30 Mitsubishi Electric Corp 車載用ナビゲーション装置
JP4352790B2 (ja) * 2002-10-31 2009-10-28 セイコーエプソン株式会社 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物
US6882906B2 (en) * 2002-10-31 2005-04-19 General Motors Corporation Vehicle information and interaction management
JP4082579B2 (ja) * 2002-10-31 2008-04-30 独立行政法人情報通信研究機構 車載端末装置
JP4003675B2 (ja) * 2003-03-20 2007-11-07 株式会社デンソー 運転支援システム及び車載用運転支援装置
DE10352733A1 (de) * 2003-04-04 2004-10-28 Takata-Petri Ag Lenkrad für Kraftfahrzeuge
US7076072B2 (en) * 2003-04-09 2006-07-11 Board Of Trustees For The University Of Illinois Systems and methods for interference-suppression with directional sensing patterns
JP4162604B2 (ja) * 2004-01-08 2008-10-08 株式会社東芝 雑音抑圧装置及び雑音抑圧方法
KR101022159B1 (ko) * 2004-03-04 2011-03-17 엘지전자 주식회사 차량용 네비게이션 장치 및 그 동작 방법
DE102004042331A1 (de) * 2004-05-07 2005-12-01 Walter Becker Lenkrad-Anzeigebaugruppe
KR20060026157A (ko) * 2004-09-20 2006-03-23 주식회사 대우일렉트로닉스 디스플레이 장치와 입력 장치를 구비하는 조향 장치
JP2006226840A (ja) * 2005-02-17 2006-08-31 Denso It Laboratory Inc ナビゲーション装置及びナビゲーション方法
JP2006264615A (ja) * 2005-03-25 2006-10-05 Toyota Motor Corp 車両用表示装置
JP2006327421A (ja) * 2005-05-26 2006-12-07 Tokai Rika Co Ltd 操舵制御装置及びバイワイヤ方式の操舵システム
JP2007001417A (ja) * 2005-06-23 2007-01-11 Nissan Motor Co Ltd 運転視覚支援装置
JP2007026271A (ja) * 2005-07-20 2007-02-01 Isuzu Motors Ltd 運転集中判定方法およびその装置
US9193375B2 (en) * 2005-08-10 2015-11-24 Autoliv Asp, Inc. Steering apparatus
US7605693B2 (en) * 2006-08-30 2009-10-20 Kulas Charles J Visual indicators on vehicle steering wheel displayed in response to hand position
JP5495355B2 (ja) * 2006-12-15 2014-05-21 現代自動車株式会社 自動車用ステアリングホイール用ディスプレイシステム

Also Published As

Publication number Publication date
JP6141251B2 (ja) 2017-06-07
EP2209693A1 (en) 2010-07-28
CN101855120A (zh) 2010-10-06
EP2209694B1 (en) 2015-01-07
WO2009064886A3 (en) 2009-08-06
CN101855121A (zh) 2010-10-06
WO2009064886A2 (en) 2009-05-22
JP2015098320A (ja) 2015-05-28
CN101855121B (zh) 2014-01-29
CN101855120B (zh) 2012-07-04
JP2011502884A (ja) 2011-01-27
EP2209693A4 (en) 2011-11-30
JP2011502885A (ja) 2011-01-27
EP2209693B1 (en) 2013-04-03
WO2009064877A1 (en) 2009-05-22
EP2209694A4 (en) 2011-11-30
EP2209694A2 (en) 2010-07-28

Similar Documents

Publication Publication Date Title
JP5432169B2 (ja) 車両内で可聴入力を受信するシステムおよび方法
US9302630B2 (en) System and method for receiving audible input in a vehicle
RU2702378C2 (ru) Система управления для предупреждения водителя транспортного средства, транспортное средство (варианты)
CN106364430B (zh) 车辆控制装置及其车辆控制方法
KR101910383B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101668248B1 (ko) 차량용 입력 장치 및 차량
EP3132435B1 (en) Trainable transceiver and mobile communications device diagnostic systems and methods
US7804399B2 (en) Display apparatus
EP2995908A1 (en) Apparatus, system and method for clustering points of interest in a navigation system
US10949886B2 (en) System and method for providing content to a user based on a predicted route identified from audio or images
JP2010515893A (ja) ナビゲーション装置及び運転の休息警告方法
JP2007249478A (ja) 携帯電話使用警告装置
JPWO2014054151A1 (ja) 車載情報処理装置
US8296012B2 (en) Vehicle communication system and method
US20200132489A1 (en) Methods and apparatus to facilitate navigation using a windshield display
JP4305538B2 (ja) 表示装置
JP2009101763A (ja) 車載用装置および車載用装置の制御方法
US20090170568A1 (en) Handsfree apparatus for vehicle
JP2018199399A (ja) 運転支援装置および運転支援方法
JP2011512516A (ja) ナビゲーションアセンブリ、折り畳み式取り付け具、およびそのような取り付け具を含むナビゲーションアセンブリ
US10248382B2 (en) User interface and method for assisting a user with the operation of an operating unit
KR101767088B1 (ko) 멀티미디어 장치 및 이를 포함하는 차량, 멀티미디어 장치의 사용자 앱 표시 방법
JP2004069419A (ja) カーナビゲーション装置
JP2008002832A (ja) 車載ナビゲーション装置
JP7017548B2 (ja) 情報端末、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130510

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131205

R150 Certificate of patent or registration of utility model

Ref document number: 5432169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S343 Written request for registration of root pledge or change of root pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316354

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R316Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R316531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R316533

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316803

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

S343 Written request for registration of root pledge or change of root pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316354

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R316Z02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R316531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R316533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350