JP5865914B2 - 超音波反射信号に基づく物体位置推定のためのシステム及び方法 - Google Patents

超音波反射信号に基づく物体位置推定のためのシステム及び方法 Download PDF

Info

Publication number
JP5865914B2
JP5865914B2 JP2013539396A JP2013539396A JP5865914B2 JP 5865914 B2 JP5865914 B2 JP 5865914B2 JP 2013539396 A JP2013539396 A JP 2013539396A JP 2013539396 A JP2013539396 A JP 2013539396A JP 5865914 B2 JP5865914 B2 JP 5865914B2
Authority
JP
Japan
Prior art keywords
signal
correlation
modulated continuous
period
arrival time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013539396A
Other languages
English (en)
Other versions
JP2014500492A (ja
Inventor
アルトマン、ナサン
ツファティ、ヨッシー
アガッシー、メイル
Original Assignee
クアルコム,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム,インコーポレイテッド filed Critical クアルコム,インコーポレイテッド
Publication of JP2014500492A publication Critical patent/JP2014500492A/ja
Application granted granted Critical
Publication of JP5865914B2 publication Critical patent/JP5865914B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • G01S7/52006Means for monitoring or calibrating with provision for compensating the effects of temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/82Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein continuous-type signals are transmitted
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003Bistatic radar systems; Multistatic radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/003Bistatic sonar systems; Multistatic sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、その幾つかの実施形態において、位置決めシステム及び方法に関し、より詳細には、限定はしないが、小空間位置決めシステム及び方法に関する。
小空間位置決め、即ち数メートル又はそれ未満の空間内での位置決めの分野が知られている。小空間位置決めシステムを使用する、知られているアプリケーションには、コンピュータ対話のためのポインティングデバイス、ロボット及びマシン制御システム、及び玩具並びに在庫管理のためのコンピュータ対話システムを有するアプリケーションがある。幾つかのアプリケーションは、2D解決策を必要とする場合があり、それ以外のものは、3D解決策を必要とする場合がある。ポインティングデバイスなど、幾つかのアプリケーションは、単方向通信のみを必要とする場合があり、それ以外のもの、例えばロボットアプリケーションは、双方向通信を必要とする場合がある。
SONAR(音波航行及び測距)と呼ばれる方法において超音波反射を使う、指向性送信機/受信機を用いた距離測定を利用することによる物体位置決めもよく知られている。この方法は、超音波パルスが特定の方向で生成される、RADAR(無線探査及び測距)と同様に作用する。このパルスの経路中に物体がある場合、パルスの一部又は全部が、エコーとして送信機に逆反射されることになり、受信機経路を通して検出され得る。送信されるパルスと、受信されるエコーとの間の時間差を測定することによって、物体がどれだけ離れているか決定することが可能である。
その内容が参照により本明細書に組み込まれている、Epos Technologies Ltd、Altman Nathanに譲渡された、「Acoustic Robust Synchronization Signaling For Acoustic Positioning System」と題する国際特許出願公報第WO2005111653号は、位置要素と位置決め機器とを記載しており、位置要素は、連続変調された音響波形と、連続変調された音響波形についてのタイミングデータを各々が運ぶ、少なくとも2つの同期パケットのシーケンスである同期信号とを送信する。さらに、同期信号は、時間ホッピングを用いて、複数の位置要素の同時位置決めをサポートする。
その内容が参照により本明細書に組み込まれている、Epos Technologies Ltd、Altman Nathan及びEliashiv Odedに譲渡された、「Method And System For Obtaining Positioning Data」と題する国際特許出願公報第WO03088136号は、位置を獲得するための位置要素であって、位置を固定するように復号可能な、実質的に連続する超音波形を放出するための第1のエミッタと、位置を固定させるように波形を検出し、位置固定能力を保持可能なように計算用の波形を出力するための検出装置構成とを含む位置要素を記載している。
その内容が参照により本明細書に組み込まれている、Epos Technologies Ltd、Altman Nathan及びAgassy Meirに譲渡された、「System And Method For Positioning」と題する国際特許出願公報第WO2008117292号は、知られているシステムよりも精度を向上させ、及び/又は曖昧さを低減させるための使用ベースバンド及びキャリア情報について記載している。
「Ultrasonic Imaging in Air with a Broadband Inverse Synthetic Aperture Sonar」、Michael P.Hayes、1997年では、デジタル変調超音波信号からの受信超音波反射の分析について論じている。これには、BB及びキャリア分析、チャネルモデリング、漏洩推定及び直交信号の技法が欠けている。
米国特許出願公開第2007/0121097号は、成形超音波パルスを使うジェスチャー分析について論じている。しかしながら、この記載技法は実信号のみを使い、直交BB信号ならびに漏洩推定については開示していない。
米国特許出願第20080005703号は、超音波を使う手振り認識について開示している。しかしながら、変調技法については開示していない。
米国特許出願第20100296368号は、ジェスチャー検出のためのエコー分析について開示している。しかしながら、BB及びキャリア情報の使用に対する変調技法については開示していない。
「Continuous Sonar Sensing for Mobile Mini Robots」、Jurgen Kalholdら、2002年では、連続変調送信の利用について開示している。しかしながら、BB及びキャリア情報の使用については開示していない。直交符号化の考察は、車両分離のためであり、幾つかの送信機から同時に同じ標的を推定するためである。
本発明の幾つかの実施形態の態様によると、知られているシステムよりも、精度を向上させ、及び/又は曖昧さを低減し得る小空間位置決めのためのシステム及び方法が提供される。位置決めされるべき受動物体から、キャリア信号と変調とをもつ連続変調音響波のエコーを取得することができる。
本発明の幾つかの実施形態の態様は、変調連続波を送信する送信機器を備える、小空間位置決めのためのシステムの提供であり、変調連続波は、システムが追跡することが所望される物体が現れ得るエリア又は空間又は範囲まで信号を送信する、キャリア信号とベースバンド信号とを含む。受信ユニットが、送信機器において発せられた、その物体から反射された信号(複数可)を受信する。受信信号は、送信機機器からの直接経路の漏洩を含み得る。システムは、送信の往復分遅れて受信され、物体との間で反射されるキャリア信号とベースバンド信号の両方を使う、近隣範囲に基づく分析を用いて、送信を反射する物体の位置を決定することができる。
システムは、超音波信号を送信及び受信するために、内蔵型ステレオマイクロホン及びスピーカなど、所与の計算機器内に設けられた音声構成要素を使うことができる。
キャリア信号とベースバンド信号の両方の分析は、キャリア信号の位相分析を含み得る。
受信ユニットは、受信ユニットによって受信された変調連続波と、予想変調連続波との間の相関を実施するための検出装置を含み得る。
場合によっては、変調連続波は、所定の形又は構造を有し、予想変調連続波は、送信機器によって送信される変調連続波の複製である。
場合によっては、予想連続波動は、例えば、変調デジタル信号、送信機、エア、マイクロホン及び受信回路要素を含む送信波の全体的応答をモデル化する。
場合によっては、予想連続波は、反射の記録から導出される。
場合によっては、受信ユニットは、受信変調連続波と予想変調連続波との間の相関から、ベースバンド信号とキャリア信号の相関曲線を決定する。
場合によっては、受信ユニットは漏洩減衰機構を含み、漏洩は、直接経路(送信機から受信機)中の固定送信機から受信される信号として定義され、反射信号は、TOA測定のために所望されるものである。漏洩は、直接経路信号とは別に、静的環境、即ち機器ケース、機器の近くにある人工物、機器が置かれている表面などから反射される信号も含み得る、より広い視点で定義してもよい。優れた漏洩減衰機構は、標的よりも変化率が比較的低い、環境からの反射を推定することができる。このように、標的の動作が、検出及び追跡しやすくなる。漏洩信号の例は、モバイル機器のスピーカからマイクロホン(複数可)まで最短経路で届く信号である。
場合によっては、漏洩減衰方法は、受信信号が、一定の漏洩を取り除くための差動動作を受け、次いで、受信信号の予想波形との複素相関が実施される方法を含む。
漏洩とは、反射体がないときに送信機(スピーカ)から送られる受信音響信号である。例えば、表面が使われ、例えばテーブルにハンドセットが置かれているとき、漏洩は、その表面からの反射を含み得る。
「スピーカ」という言葉は、本明細書ではどの音響放出機器にも関連する。
場合によっては、漏洩減衰方法は、物体が存在しない(即ち、反射が存在しない)条件についての知識を利用し、次いで、相関が算出され、相関の値が、数フレームに対して平均される。フレームは、連続変調がそこから築かれるシーケンスの持続時間として定義することができる。結果は、メモリに記憶される。位置決めされるべき物体の存在可能性が示されると、相関が算出され、物体が存在しない条件からの相関の保存値のベクトルが、相関値から減算される。この結果、漏洩のない相関信号が得られる。
さらなる代替として、漏洩減衰方法は、位置決めされるべき物体がない(即ち、反射が存在しない)ことについての知識を利用し、次いで、直接経路から受信された時間ドメイン信号が平均され、記憶される。物体が存在し得ることを知ると、時間ドメインサンプルは、予め記憶されたパターンから減算され、漏洩のない時間ドメイン信号を生じ、この信号は次いで、到着時間、即ちTOAを見つけるために連続波とさらに相関され得る。
漏洩は一般に一定なので、漏洩補償を、距離較正の手段として使うことができる。従って、音速を算出するために、マイクロホンからスピーカまでの既知の距離を用いて、漏洩のTOAを測定することが可能である。音速は、周辺温度を算出するのに使うことができる。
場合によっては、受信要素は、絶対相関曲線における1つ以上のピークと、実相関曲線における1つ以上のピークとを決定する。実相関曲線及び絶対相関曲線についての数学的定義は、これ以降で与える。
場合によっては、受信ユニットは、1つ以上の受信機を含み、受信ユニットは、送信機器と受信機との間の見通し距離、又は一次反射距離を決定するために構成される。
場合によっては、実相関曲線におけるピークと実質的に整合された、絶対相関曲線におけるピークは、受信機と送信機器との間の最可能見通し距離又は一次反射距離に対応する。
場合によっては、システムは、実相関曲線における複数のピークから、1つ以上のピークを選択するための曖昧さ解消装置を備える。
場合によっては、複数のピークは、その相関曲線が互いと重なる幾つかの遅延信号を含む受信信号から取得される。
場合によっては、システムは、絶対相関曲線のピークに最も近い、幾つかのピークのうちの1つを識別し、又は適したピークがないと決定するための曖昧さ解消装置を備える。
場合によっては、曖昧さ解消装置によって算出された1つ以上の事前定義パラメータの値に基づくスコアが使われる。
場合によっては、受信ユニットは、送信機(反射)と、1つ以上の受信機との間の最可能見通し距離(又は最可能反射距離)を判読し、受信機によって受信される信号は、送信機器によって送信される信号のマルチパス機能により、互いに重なる、近距離にある幾つかの遅延信号を含む。
場合によっては、受信ユニットは、キャリア信号波長の10分の1の程度の精度で、位置を決定する。
場合によっては、異なるシステムには、異なるベースバンド信号が使われる。
場合によっては、受信ユニットは、送信機器によって送信され、位置決めされるべき物体によって反射されるベースバンド信号に関する情報を記憶する。
場合によっては、受信ユニットは、位置決めされるべき物体から反射されるキャリア周波数を有する変調信号の間を区別し、ここで反射は、システムの送信機器、及びベースバンド信号に基づく他の送信機器に対するものである。
場合によっては、受信ユニットは、システムの転送機能に基づいて予想変調連続波を調整するための1つ以上の較正パラメータを記憶する。
場合によっては、較正パラメータは、位相応答、振幅応答、及び群遅延のうちの1つである。
場合によっては、変調連続波は音響波である。
場合によっては、変調連続波は超音波である。
場合によっては、変調連続波は、空気以外の媒体を貫通するために構成された、1〜18MHzの範囲内の超音波である。
場合によっては、変調連続波はRF波である。
場合によっては、キャリア信号の周波数は、変調連続波のベースバンド信号のものと同じ大きさである。
場合によっては、受信ユニットは、離間されるとともに各々が事前定義された場所に位置決めされた少なくとも2つの受信機を備える。
場合によっては、システムは、送信機器(反射)と、2つの受信機の各々との間の見通し距離(又は反射距離)の三角測量に基づいて、送信機器の位置を決定するように構成された処理ユニットを備える。
場合によっては、送信機器は、飛行時間遅延の開始を定義する同期信号を送信する。
場合によっては、同期信号はIR信号である。
場合によっては、同期信号はRF信号である。
本発明の幾つかの実施形態の態様は、送信機器から変調連続波を送信することであって、変調連続波が、キャリア信号及びベースバンド信号を含むことと、送信機器によって送信された信号を、互いから予め規定された距離に位置決めされた受信機において受信することと、送信機器から受信されたキャリア信号とベースバンド信号の両方の近隣範囲に基づく分析を用いて、送信機器の位置を決定することであって、送信機器及び受信機のうちの一方が、近隣範囲内で移動可能であり、他方が、予め規定された場所に位置決めされることとを備える、小空間位置決めのための方法の提供である。
本発明の幾つかの実施形態の態様は、送信機器から変調連続波を送信することであって、変調連続波が、キャリア信号及びベースバンド信号を含むことと、互いから予め規定された距離に位置決めされた受信機及び送信機を有する送信機器によって送信された信号を受信することと、送信及び/又は受信機器から受信されたキャリア信号とベースバンド信号の両方の近隣範囲に基づく分析を用いて、反射物体の位置を決定することであって、反射物体が近隣範囲内で移動可能であることとを備える、小空間位置決めのための方法の提供である。
場合によっては、送信機器は、近隣範囲内で移動可能であり、受信機は、予め規定された場所に位置決めされる。
場合によっては、キャリア信号とベースバンド信号の両方の分析は、キャリア信号の位相分析を含む。
場合によっては、方法は、受信ユニットによって受信された変調連続波と、予想変調連続波との間の相関を実施することを備える。
場合によっては、変調連続波は所定の形であり、予想変調連続波は、送信された変調連続波の複製である。
場合によっては、方法は、受信変調連続波と予想変調連続波との間の相関から、絶対相関曲線と実相関曲線とを決定することを備える。
場合によっては、方法は、絶対相関曲線におけるピークと、実相関曲線におけるピークとを決定することを備える。
場合によっては、方法は、送信機器と少なくとも1つの受信機との間の見通し距離を決定することを備える。
場合によっては、実相関曲線におけるピークと実質的に整合された、絶対相関曲線におけるピークは、少なくとも1つの受信機と送信機器との間の最可能見通し距離に対応する。
場合によっては、方法は、実相関曲線における複数のピークから、ピークを選択することを備える。
場合によっては、複数のピークは、その相関曲線が互いと重なる幾つかの遅延信号を含む受信信号から取得される。
場合によっては、方法は、絶対相互相関曲線のピークに最も近いピークを、複数のピークから識別することを備える。
場合によっては、方法は、絶対相関曲線における上昇エネルギーに最も近いピークを、複数のピークから識別することを備える。
場合によっては、方法は、複数のピークから、決定された見通し距離の履歴追跡に基づいてピークを識別することを備える。
場合によっては、方法は、時間に対する、決定された見通し距離の速さ追跡に基づいて、複数のピークからピークを識別することを備える。
場合によっては、方法は、様々な受信機から算出された可能な見通し距離を比較することを備える。
場合によっては、方法は、受信変調連続波に適合する重畳波の最小分散又は最尤度を決定することを備える。
場合によっては、方法は、複数のピークから、複数のピークのうちの少なくとも一部分に割り当てられたスコアに基づいて、ピークを識別することを備える。
場合によっては、スコアは、1つ以上の事前定義パラメータの算出値に基づく。
場合によっては、方法は、送信機(反射体)と受信機との間の最可能見通し距離(又は最可能反射距離)を判読することであって、受信機によって受信される信号が、送信機器によって送信された信号のマルチパス機能により、互いに重なる、近距離にある幾つかの遅延信号を含むことを備える。
場合によっては、方法は、キャリア信号の波長の10分の1の程度の精度の範囲内で位置を決定することを備える。
場合によっては、方法は、様々な送信機器から送信された信号の間を区別することを備える。
場合によっては、区別することは、予想ベースバンド信号を受信ベースバンド信号と比較することに基づく。
場合によっては、方法は、予想変調連続波のテンプレートをオンザフライで調整することを備える。
場合によっては、調整することは、受信された変調連続波の品質に関する定量的測度に基づく。
場合によっては、定量的測度は、変調連続波と予想変調連続波との間の相関の相関スコアである。
場合によっては、各受信ユニットについてのTOA軌跡は、FIR、IIRなどの時間ドメインフィルタリング技法、又は中央値フィルタなどの非線形フィルタ、若しくはそのような技法の組合せを用いてフィルタリングされる。
場合によっては、全ての受信ユニットからのTOA軌跡の形状は、物体の上/下又は下/上の動きを識別するのに使われる。この識別は、全ての受信機のTOA軌跡が同様であること、又は軌跡全体を通して一定の時間シフトが存在することを検証することによって行うことができよう。次いで、TOA軌跡の形状は、「L」形状と同様である場合、上/下を見つけるのに使われる。即ち、軌跡の始端において、TOAの微分は負であり、従って定数値をもつ。同様に、TOA軌跡の形状が、始端において正の微分をもち、ゼロ微分で終わる場合、下/上の動きを識別することができる。
場合によっては、両方の軌跡から「U」形状を識別することによって、左から右又は右から左の動きを、受信信号のTOA軌跡から抽出することができる。そのような「U」形状は、始端において負の微分を備えることができ、その後には(平均的に)ゼロ微分が続き、正の微分の期間で終わる。
場合によっては、第1の受信機がシステムの右手側により接近している例では、第1の受信機の軌跡の「U」形状が、第2の受信機から生じる軌跡の「U」形状の前に来る場合、左から右への動きを識別することができる。
場合によっては、変調連続波は音響波である。
場合によっては、変調連続波は超音波である。
場合によっては、変調連続波は、空気以外の媒体を貫通するための、1〜18MHzの範囲内の超音波である。
場合によっては、変調連続波はRF波である。
場合によっては、キャリア信号の周波数は、変調連続波のベースバンド信号のものと同じ規模である。
場合によっては、方法は、送信機器と、送信機器から送信された信号を受信するための2つの受信機の各々との間の見通し距離の三角測量を実施することを備える。
場合によっては、方法は、同期信号を送信することを備え、同期信号は、飛行時間遅延の開始を定義する。
場合によっては、同期信号はIR信号である。
場合によっては、同期信号はRF信号である。
場合によっては、信号を反射する物体の正確な位置は、マイクロホン又はスピーカの冗長性によって、例えば、3つのマイクロホン及び1つのスピーカ、又は2つのマイクロホン及び2つのスピーカを使うことによって推定することができる。信号エンコードの使用は、スピーカの各々が異なる符号を放出することができ、従って、短期間に反射環境に関するより多くの情報を提供するので、幾つかのスピーカを同時に使うときに特に有用である。
場合によっては、幾つかのスピーカから同じ信号を送信することができ、信号の間の制御遅延が、スピーカを駆動させる。この方法により、送信信号のビームステアリングが可能になる。ビームは、所望の方向からの反射を受けるために制御され得る。ビームをステアリングすることにより、機器の周りに3D画像を形成する。
場合によっては、音楽再生、ボイス呼などのようなオーディオ関連活動と同時に、反射物体の位置が取得され得る。
場合によっては、超音波アプリケーションと音声アプリケーションの両方のために同じオーディオ構成要素が使われる。一般にMEMS技術を使う幾つかのマイクロホンは、使用され得る超音波応答を有し、従って、新たな構成要素を設ける必要なく機能性を提供することを本発明者らは発見した。スピーカ及び他のオーディオエミッタは、超音波範囲内の残留応答を有する。或いは、エミッタは、専用の超音波機器であってよく、マイクロホンがオーディオと超音波の両方のために使われる。あるいは、その逆の手法を使うことができる。
既存のオーディオ要素の使用には、主に、超音波範囲内の好ましくない周波数応答に起因して、ある程度の制限がある。これらの構成要素は、主に音声アプリケーション用に作られるので、その超音波周波数応答は平坦にならない。平坦さには、TOA推定にとってかなりの利益があり、即ち、より狭い相互相関結果をもたらし、マルチパス及びノイズの影響を比較的受けない。送信信号を成形するなど、周波数応答を平坦化するための多数の技法がある。受信機側では、受信信号は、有効周波数応答を成形するためにイコライザを通り得る。
全体的に、機器にとって、オーディオと超音波の両方に同じ構成要素を使い、従って、機器に追加構成要素を追加するコストと複雑さを抑えることが好ましいと見なされる。
場合によっては、反射物体位置が、音声関連活動に影響を与えるのに使われ得る。ビームフォーミングのために使われるマイクロホンアレイの場合、反射位置は、マイクロホン受信ビームをスピーカ方向にステアリングするのを助け得る。別の実施形態では、反射分析は、室内エコーを除去するのに使われ得る。
場合によっては、反射分析は、反射群を分析し、比較的高速な動きを検索することができる。そのようなシナリオは、他の指及び手自体からの大量反射の内側で、動いている指の反射を記述し得る。そのようなケースは、付近の反射を厳密に分離させる、ベースバンド及びキャリア分析の前述した実施形態から利益を受け得る。
場合によっては、幾つかの指からの反射を分析することができ、2本以上の指を位置決めし、完全な指分析が実施されるようにする。このようにして、音楽用キーボードがシミュレートされ得る。
上述した方法から利益を受け得る多数の例については、後で論じる。これらの例は、包括的ではなく、例示として論じる。
どの平坦面も、超音波エネルギーを放出し、反射を分析することによって、ユーザ対話を可能にし得る。場合によっては、ユーザは、機器の近くの平坦面の上で自分の手を動かすことができる。動きは、マウスの動きを制御するために解釈され得る。指をタップすることは、マウスクリックとして解釈され得る。
場合によっては、マルチタッチジェスチャーは、反射分析とともに実装することができ、2本以上の指に、例えば、ズームイン、ズームアウトなどのような機能に関連付けられたジェスチャー(手振り)を実施させる。
場合によっては、3D制御が実装され得る。
場合によっては、反射は、カメラをオートフォーカスするのを助けるのに使われ得る。
場合によっては、反射は、ビデオ画像を「トリミングする」のに使われ得る。
場合によっては、反射は、機器をミュートするのに使われ得る。
別段に定義されていない限り、本明細書で使われる全ての技術及び/又は科学用語は、本発明が関係する当業者によって一般的に理解されるものと同じ意味をもつ。本明細書に記述するものと同様又は同等な方法及び材料が、本発明の実施形態の実施又は試験において使われ得るが、例示的方法及び/又は材料については後で説明する。衝突する場合は、定義を含む特許明細書が適切である。さらに、材料、方法、及び例は、例示にすぎず、必ずしも限定的であることは意図していない。
本発明の実施形態の方法及び/又はシステムの実施態様は、選択されたタスクを手動で、自動的に、又はそれらを組み合わせて実施又は完了することを伴い得る。さらに、本発明の方法及び/又はシステムの実施形態の実際の器具及び機器によると、幾つかの選択されたタスクは、ハードウェアによって、ソフトウェアによって、又はファームウェアによって、若しくはオペレーティングシステムを使うそれらの組合せによって実装することができる。
例えば、本発明の実施形態による、選択されたタスクを実施するためのハードウェアは、チップ又は回路として実装され得る。ソフトウェアとして、本発明の実施形態による選択されたタスクは、どの適したオペレーティングシステムを使うコンピュータによっても実行される複数のソフトウェア命令として実装され得る。本発明の例示的な実施形態において、本明細書に記述する方法及び/又はシステムの例示的実施形態による1つ以上のタスクは、複数の命令を実行するためのコンピューティングプラットフォームなどのデータプロセッサによって実施される。場合によっては、データプロセッサは、命令及び/又はデータを記憶するための揮発性メモリ及び/又は命令及び/又はデータを記憶するための不揮発性ストレージ、例えば、磁気ハードディスク及び/又は取外し可能媒体を含む。場合によっては、ネットワーク接続も提供される。表示器及び/又はキーボードやマウスなどのユーザ入力機器も、場合によっては提供される。
本発明の幾つかの実施形態について、添付の図面を参照しながら、例としてのみ本明細書で説明する。ここで、図面を具体的に詳しく参照するが、図に示す詳細は、本発明の実施形態の例示のため及び例示的考察の目的であることを強調しておく。この点において、図面とともに行われる説明により、本発明の実施形態がどのように実施され得るかが当業者には明らかになるであろう。
本発明の幾つかの実施形態による小空間位置決めシステムを示す簡略ブロック図。 本発明の幾つかの実施形態による、送信信号を反射する物体の位置を決定するための簡略データフロー図。 本発明の実施形態による、受信信号と予想信号の相関曲線の絶対部、虚部及び実部の略図。 本発明の幾つかの実施形態による、マルチパス信号の存在により生じ得る可能な曖昧さを示すある例示的な相関曲線セット。 本発明の幾つかの実施形態による、マルチパス信号の存在により生じ得る可能な曖昧さを示す別の例示的な相関曲線セット。 本発明の幾つかの実施形態による、マルチパス信号の存在により生じ得る可能な曖昧さを示すさらに別の例示的な相関曲線セット。 LOS(高低線)信号に重ねられた複数のマルチパス信号から取得され得る自己相関曲線の例示的な絶対部及び実部の略図。 送信機と受信機との間の直接経路からの漏洩の受信ならびに複数のマルチパス信号がLOS信号に重ねられた、反射信号の受信から取得され得る相互相関曲線の例示的絶対部の略図。 信号が検出されないときの複素相関の絶対値が受信信号から減算される漏洩減衰方法を示す図。 (A)反射条件なしの間に時間ドメイン信号が平均され、次いで、反射が検出され、又は示されたときに平均化値が受信信号から減算される、時間ドメインにおける漏洩減衰方法を示す図、(B)反射条件なしの間に時間ドメイン信号が平均され、次いで、反射が検出され、又は示されたときに平均化値が受信信号から減算される、時間ドメインにおける漏洩減衰方法を示す図、(C)反射条件なしの間に時間ドメイン信号が平均され、次いで、反射が検出され、又は示されたときに平均化値が受信信号から減算される、時間ドメインにおける漏洩減衰方法を示す図、(D)反射条件なしの間に時間ドメイン信号が平均され、次いで、反射が検出され、又は示されたときに平均化値が受信信号から減算される、時間ドメインにおける漏洩減衰方法を示す図。 上/下動中の同じ物体からの受信信号のTOA軌跡の例を示す図。 同じ物体から反射された信号の2つの受信機によって受信された信号の、左から右への動きのTOA軌跡の例を示す図。 同じ物体から反射された信号の2つの受信機によって受信された信号の、左から右への動きのTOA軌跡の例を示す図。 図10aのフィルタリングバージョンを示す図。 図10bのフィルタリングバージョンを示す図。 上/下動作を示す到着時間の軌跡を示す図。 上/下動作を示す到着時間の軌跡を示す図。 マウスとしてのソフトスクリーン使用のためのジェスチャーを含む、指の位置を検出するため、及び近接性を検出するための本実施形態のアプリケーションを示す図。 マウスとしてのソフトスクリーン使用のためのジェスチャーを含む、指の位置を検出するため、及び近接性を検出するための本実施形態のアプリケーションを示す図。 マウスとしてのソフトスクリーン使用のためのジェスチャーを含む、指の位置を検出するため、及び近接性を検出するための本実施形態のアプリケーションを示す図。 複数の指検出のための本実施形態のアプリケーションを示す図。 ユーザの顔からの反射からユーザの存在を検出するための本実施形態のアプリケーションを示す図。
本発明は、その幾つかの実施形態において、位置決めシステム及び方法に関し、より詳細には、限定はしないが、小空間位置決めシステム及び方法に関する。
本発明の幾つかの実施形態によると、小空間位置決めシステムが提供される。本発明の幾つかの実施形態によると、小空間位置決めシステムは、送信信号を反射する受動物体に向けて変調連続信号を送信し、離間された少なくとも2つの受信機によって反射が検出される。変調連続信号は、キャリア信号に埋め込まれた事前定義ベースバンド信号を含む。TOF及び/又はLOS距離は、信号のベースバンド部及びキャリア部の分析に基づいて、又は予想変調信号と受信変調信号との間で算出された相互相関を用いて決定され得る。本明細書で使用する、相互相関という用語は、信号を比較することができる任意の比較関数、例えば最小分散、最小絶対誤差などを意味する。場合によっては、同期信号は、変調連続信号と一緒に送信されて、TOF遅延の開始を画定する。
本発明の実施形態によると、相互相関は、キャリアとベースバンド信号の両方を用いて、例えばダウンコンバージョンを除外及び/又は実施することなく、また、キャリア信号に対するローパスフィルタあり又はなしで、実施される。予想キャリア波形と受信キャリア波形の相互相関により、キャリア信号の位相分析の実施が円滑になり得る。
ベースバンド(BB)信号により、キャリア信号の波長に対応する規模での正確な位置決めができるようになるとともに、キャリア信号の位相分析は、その波長内の位置に関する情報を提供することによって、精度を向上させ得る。
本発明の実施形態は、音響位置決めシステムのために得ることができる精度の向上を円滑にし得る。キャリア信号の波長のほぼ千分の1の程度での精度を達成することができる。一般に、精度は、信号対ノイズ比(SNR)によって制限され、SNRが無限である場合、精度も無限になり得る。実際、SNRは、20dBもの高さになる場合があり、それでも依然として、精度に関して非常に良好な結果をもたらし得る。SNRが十分に高い、例えば一般には15dBを上回る場合、本明細書に記載するシステムの精度の制限要因はSNRではないことを本発明者は発見した。制限要因は、オフィス/ホーム環境でさえもわずかに変わる、音速の再現性である。例えば温度変動による、音速の小さいゆらぎにより、システムの精度が制限され得る。但し、既知の距離である、スピーカとマイクロホンとの間の信号経路のTOFを直接測定することに基づいて、温度の直接測定を行うことができる。従って、本発明の実施形態は、そのような温度変動を補正し得る。
キャリア信号及びBB信号は、BB信号の周波数範囲内で、及び/又はBB信号と同じ規模でキャリア信号が降下するように選択すればよい。
キャリア信号及びBB信号は、音響でよく、超音波(US)周波数範囲内である。他の例示的実施形態では、キャリア及びベースバンド信号は、電磁気でよく、RF範囲内である。
実施形態は、マルチパス信号が存在する場合のLOS距離又は反射距離を決定するときの曖昧さを解消し得る。曖昧さは、相関曲線、例えば元の信号又は最も近い反射とマルチパス信号の相関曲線の重複に起因する場合があり、反射物体の元のLOSピーク又は最も近い反射点を識別しにくくする。
1つ以上のパラメータを算出して、マルチパス信号に曝されている間の最可能位置決めを決定することができる。スコアリングシステムを用いて、様々な定義済みパラメータに基づく最可能位置決めを決定することができる。包絡線におけるピーク及び相関の実部の分析により、曖昧さを解消することもでき、履歴追跡又は速さ追跡若しくは受信機の各々において受信された信号の間の比較、又は上記のどの組合せも用いて、曖昧さを解消してもよい。
ここで、本発明の実施形態による小空間反射位置決めシステムを示す簡略化した概略ブロック図である図1を参照する。固定された既知の場所にある送信要素が、変調連続波130を送信するスピーカ123によって提供される。波130は、連続キャリア信号部と、キャリアに変調されるベースバンド信号とを備える。送信要素123は、位置決めされるべき物体が現れると予想され得る範囲にわたって、例えば、後でより詳細に論じるように、スクリーンにわたって、又は計算機器の前の面で変調連続波を送信するように位置決めされる。受信要素RX1は、送信機器によって送信され、物体140によって反射された信号を受信する。
位置検出要素は、プロセッサ160と、その構成部及びアクセサリ、例えばメモリ151とを含み、反射信号を用いて、一般に反射信号中のキャリア信号部とベースバンド信号の両方の分析によって、物体の位置を決定する。
位置決めシステム120は一般に、送信機123と、送信機によって送信され、物体140から反射され、受信機によって受信された信号をピックアップするための受信機121とを含む。システム120は、受信反射信号のTOF分析に基づいて、定義された空間内で、反射物体の位置を推定する。一般に、システム120は静止している。
本発明の実施形態によると、送信機器123は、事前定義された変調連続信号170を送信する。1つ以上の受信機、例えばシステム120にある受信機121及び受信機122は、送信機123によって送信された信号をピックアップすることができる。受信信号は、キャリア及びBB相関器152を用いて、予想信号、例えば受信機側に予め記憶されている事前定義変調連続信号の複製、又は受信機側における算出信号若しくは受信機)による獲得信号と比較される。一般に、キャリア及びBB相関器は、処理ユニット160と一体である。事前定義変調連続信号のテンプレート、モデル及び/又は特徴は一般に、メモリ151、例えば不揮発性メモリに予め記憶されている。本明細書で使用するテンプレートは、数学的級数からデジタル化入力データまでの、予想信号のフルモデルである。テンプレートは、例えばマイクロホン応答、送信機応答、回路要素、反射体、エアギャップなどを含む全体的モデルを表す。
テンプレートは、算出された基準に対する開始点として使うことができる。異なる例は、送信機と受信機との間の転送機能に関してある程度異なり得る。受信機は、例えば、オンザフライで、又は特別な較正モードでテンプレートを調整することによって、これらの差に適応することができる。受信信号の品質についての定量的測度は、そのような目的のために実装することができる。そのような定量的測度は、相関スコアであってよく、相関スコアに関する事前定義閾は、信号の品質を画定するように実装すればよい。例えば、相関スコアが事前定義閾を上回るとき、受信信号は、システムによってテンプレートを調整するのに使われ得る。
受信機121及び122は、送信機123から1つ以上の信号を受信し得る。一般に、受信機121、122及び送信機123は、静止し、離間され、事前定義された場所に位置決めされる。例示的な一実施形態において、受信機121及び122は、計算機器、例えばパーソナルコンピュータ、モバイル電話機器、携帯情報端末(PDA)に関連付けられた表示器ユニットのエッジに沿って位置決めされる。受信機121及び122は、マイクロホンであり得る。受信機121及び受信機122と電気又は論理通信するキャリア及びBB相関器152は、BB信号をそのキャリアから抽出せずに、受信変調信号と予想変調信号を相互相関させるため、及び/又はBB信号とキャリア信号との相互相関を実施するための回路要素を含み得る。一般に、予想変調信号のテンプレートは、受信信号との相互相関のために実装することができる。
送信機と受信機の同期は、本実施形態において、送信機及び受信機用に同じクロックソースを使うことによって達成することができる。TOF測定は、以前に説明したように、変調信号130の放出と、受信信号の最可能遅延の推定との間の時間の測定を含む。
プロセッサ160は、キャリア信号とベースバンド信号の相互相関結果に基づいて位置決めを決定する。各システムは、専用のキャリア及びBB相関器152に関連付けることができ、送信機123は、一連の可能信号のうちの1つを送信することができる。このようにして、幾つかの送信機は、干渉することなく、同じシステムから同時に送信することができる。幾つかのシステムは、同じ近辺で使うことができ、各々は、他の付近のシステムとの干渉を避けるために、異なる信号セットを使う。場合によっては、送信前に、システムは、周辺環境に注目し、干渉を避けるために動的に信号を選ぶ。
本発明の代替実施形態において、キャリア及びBB相関器及び/又はその機能性は、例えば位置決めシステムに関連付けられたパーソナルコンピュータ又は計算機器内の処理ユニット160と一体である。プロセッサ160は、高速フーリエ変換(FFT)能力を含んでよく、受信信号の位相及び振幅分析を実施するのに使うことができる。
メモリユニット151は、メモリ能力、例えば、受信信号にある情報、予想される変調連続信号のパラメータ及び/又は他の情報を記憶するためのメモリ能力を含み得る。メモリユニット151は、揮発性及び不揮発性メモリを含み得る。メモリユニット151は、特徴、例えば特定のハードウェアセット、例えば受信機及び送信機の転送機能に基づいてテンプレートを調整するように実装される1つ以上の較正パラメータを記憶することができる。例示的較正パラメータは、他のパラメータの中でも、位相、振幅、テンプレートの群遅延における差分を含み得る。
変調連続信号ソース170は、例えば超音波範囲内の音響信号ソースであり得る。例えば、変調連続信号ソース170の信号範囲は、約20KHzと80KHzとの間で、及び/又は最大200KHzまで変わり得る。200KHzを上回る周波数も音響信号用に使うことができるが、音響信号の周波数が増大するにつれ、LOSの損失に対する感受性も増大することを本発明者は発見した。周波数の増加は、波長よりも大きい次元をもつ、もしくは波長の近辺にある小さい人工物により、全体的音響応答に、又は送信信号の減衰率に影響を与える場合があり、結果としてシステムの有効範囲がより小さくなる。
本発明の他の実施形態によると、信号ソース112は、RF信号ソースであり得る。幾つかの例示的実施形態では、RF信号ソースは、超高周波数(UHF)範囲、例えば433MHz、868MHz、900MHz、915MHz、及び2.4GHz内及び/又は超広帯域(UWB)範囲、例えば3.1〜10.6GHz内の信号を放出することができる。
送信/受信システムと反射物体との間の距離は、物体から反射し、受信機によってピックアップされる、送信機からの変調連続信号のTOFに基づいて決定することができる。受信信号は、一般に最短経路、概してLOS、又は送信機と受信機との間の最短距離、反射物体からの反射群、及び機器自体及び環境からの反射を含み得る。ある受信機は、反射物体までの距離を決定することが可能であり得る。2つの受信機により、可能な反射体位置の部分空間を決定することができるようになり得る。3次元での反射物体の位置は、3つの受信機の各々から決定される距離の三角測量に基づいて決定することができる。
受信信号に基づいて、プロセッサ160は、キャリア及びBB信号に基づくTOFを算出し、一般に、三角測量を実施して、時間に応じた送信機器の位置を決定する。
音響位置決めにとって、US周波数範囲内の送信信号を使うことには利点があることを本発明者は発見した。US波は、音響スペクトルの比較的上端にある。一般に、より高周波数のキャリア信号に対しては、より高い厳密さを得ることができる。別の利点は、US送信機は、我々の典型的な環境では、他の音響送信機と比較して、及び/又はRF送信機と比較して顕著ではないので、US波が、一般に環境ノイズからの干渉をより受けにくいことである。追加US送信機及び/又はUS信号は、周辺環境において現れ得るケースでは、より高い周波数に対して減衰率が増大するので、一般に他の音響波よりも速く減衰する。US位置決めシステムの別の利点は、必要な送信エネルギー量に対して、US送信機及び/又は受信機は一般に、他の信号送信機及び/又は受信機よりも小さいことである。さらに、US周波数範囲は、人間にとって可聴でないので、音響位置決めシステムにおいて使われる他の音響範囲よりも、ユーザ対話に対して現実的である。実装される音響周波数の範囲は、より高い範囲信号についてのLOSの一時的損失に対する、より大きい感受性により制限され得る。
システム及び方法は、20〜100KHzにわたる音響信号についてほとんど記述されたが、本明細書に記載するシステム及び方法は、より高い周波数、例えば肝臓及び腎臓などの深層構造に対する1〜6MHz又は筋肉、腱、精巣、胸部及び新生児脳などの構造に対する7〜18MHzを一般に適用する医療用超音波システムにも適用可能であり得る。さらに、本明細書に記載するシステム及び方法は、RFシステムにも適用可能である。
本明細書に記載するシステム及び方法は、複数のユーザ、例えば、互いと近接して作業しているユーザのグループに容易に適合され得る。各送信機器110は、専用の検出装置151及び152(図1)によって認識され得る一意の変調連続信号を送信することができる。異なる送信機器におけるキャリア信号は、異なるユーザ向けの異なるベースバンド信号によって変調することができる。各受信機及び/又は検出装置は、その関連送信機に対応するベースバンドパターンを認識することができる。例えば、認識は、ベースバンド信号の信号分析によって可能になり得る。
具体的には、直交BB系列、又はほぼ直交なBB系列の使用には、多大な利益があり得る。「ほぼ直交」という用語は、2つの異なるBB系列の相互相関が、各系列自己相関に関して低い値を有し得ることを意味する。
予想ベースバンド信号の定義済みプロパティを有していない受信信号は、無視し、及び/又はTOF分析から除いてよい。TOFは、ベースバンドとキャリア情報の両方によって決定されるので、TOFの検出及び/又は推定の精度を犠牲にすることなく、異なる信号が実装され得る。
ここで、本発明の実施形態による、反射位置を決定するための、簡略化した概念データフロー図を示す図2を参照する。2つ以上の受信機、例えば受信機121及び受信機122によってピックアップされた信号は、受信信号の遅延分析が事前定義周波数帯内で実施され得るように、FFT210を受け得る。受信機によってピックアップされた信号は、FFTの実施に先立って、フィルタリングされ、増幅され得る。受信機121及び122から受信された信号のタイミング補正は、受信変調信号と送信変調信号との間の、検出された時間シフトに基づいて、周波数ドメイン中で実施される。一般に、補正信号は、位置決めを決定するように、さらに処理するためにメモリ220に保存される。受信回路と送信回路との間の遅延は、受信信号の場所を分析することによって、オンザフライで補償することができる。送信機と受信機との間の直接経路は、主に地理、即ち、一定である、送信機及び受信機の場所に依存する。この既知の距離を用いて、受信機と送信機との間が初期同期していないシステムについてのTOFを決定することができる。或いは、システムは、少なくとも1つの受信機入力及び1つの送信機出力が電気的に接続される同期位相を含み得る。
メモリ220は、図1に示すメモリ151と一体である。相関器は、223に記憶されたテンプレートと、タイミング補正の後の入力データとの間の相互相関を実施する。相関器152は、予想される変調連続信号、例えば、メモリ223に保存された所定の変調連続信号を相互相関させるために実装され得る。
相関器152は、相関曲線の包絡線(絶対)と実部分とを算出することができる。次いで、包絡線ピークの位置と、実部分のピークとに基づいて、TOFを決定することができる。相関器152は、漏洩信号を考慮に入れることができ、これ以降でより詳細に論じるように、例えば受信信号からの漏洩推定の減算によって減衰し得る。減衰演算の出力は次いで、フィルタリングされてよく、これ以降でより詳細に論じるように、フィルタリング及び動き方向ブロック221で動き方向が推定される。
TOF及び/又はLOSの距離を決定するとき、前のサンプルから記憶された情報、及び/又は他の受信機からの出力信号を検討することができる。記憶データは、1つ又は複数の定義済みパラメータ値、閾値及び/又はTOFを決定する際に有用な他の情報を含み得る。記憶データは、テーブル、例えば予想信号、事前記憶信号及び/又は基準信号のテーブルを含み得る。
送信又は反射音響信号の起点の位置は、受信機121及び122から受信された信号から決定されたTOFに基づいて、座標及び速度推定装置222によって決定され得る。起点の位置は、受信機の位置に相対的な、事前定義座標系内で画定され得る。位置及び速度推定装置(222)出力は、時間に対する特定の反射挙動をジェスチャーとしてマップすることができ、例えば、上/下ジェスチャーや左/右ジェスチャーを可能にする。より精密な反射分析では、指の動きを追跡するために、指している指からの反射など、幾つかの反射へのロックが可能になる。指追跡は例えば、カーソル移動を制御するためのマウスとして使われ得る。
プロセッサ160は、テンプレートを用いて、最も適合する距離を見つけることができるように、受信信号と比較するための基準及び/又は予想信号のルックアップテーブルを構築することができる。予想波形は、ナイキストレートでサンプリングすることができ、サンプリング点の間のどのタイミング不一致も、距離を明らかにするように、外挿関数によって克服することができる。音響信号は、異なる角伝達関数をもち、この現象を補償するために、受信機にイコライザが追加され得ることが当業者には諒解されよう。
曖昧さ検出装置によって取得された最可能信号は、テンプレート信号からの最可能な非ゼロ距離を識別するのに使われる。座標推定装置222は、組み込まれている国際特許出願公報第WO03088136号に記載されているものと同様の最尤度検出装置を含み得る。
連続信号170は、フーリエ変換SL(ω)をもつ複合ローパス時間ドメイン信号sL(t)で表すことができるので、以下のようになる。
|ω|>B/2の場合はSL(ω)=0であり、それ以外の場合はSL(ω)≠0である。
周波数ドメインにおけるこの信号の自己相関関数は、以下のようになる。
Figure 0005865914
時間ドメイン中の自己相関関数cLL(t)は、周波数応答が実数なので、対称であり得ることに留意されたい。
両側帯域パス信号SBP(ω)は、正及び負の周波数としてのキャリア周波数ωc付近のSL(ω)という周波数応答を行うことによって合成され得る。
BP(ω)の自己相関及び/又は相互相関は、以下のように表すことができる(ωc≧B/2と仮定する)。
Figure 0005865914
時間ドメイン表現は以下のようになる。
Figure 0005865914
L(ω)が対称である場合、cLL(t)は実数になることに留意されたい。
両側SBP(ω)信号を使う代わりに、情報を含む正の周波数のみをもつ片側表現、即ちSBP+(ω)を用いてもよい。
信号の自己相関は、以下のようになり得る。
Figure 0005865914
B+PBP+(t)の絶対部は、式(1)におけるBB信号自己相関に対応する。位相ベクトル(複素指数)は、応答に変調項を追加する。
式(4)の実部は、式(3)のキャリア及びBB相関CBPBPに対応する。項「実相関」及び「絶対相関」は、本明細書で説明するように、式(4)から導出される。
ここで、本発明の実施形態による、受信信号と予想信号との間の相互相関曲線の絶対部及び実部のグラフである図3を参照する。相関曲線及び/又は包絡曲線310の絶対部は、ベースバンド自己相関を表し、相関曲線320の実部は、BB及びキャリア信号の相互相関を表す。図3から分かるように、キャリア及びBB信号についての相関曲線320は、ベースバンド信号310に対応する相関曲線よりも狭い。相関曲線320は、キャリア信号に埋め込まれた付加位相情報を提供する。キャリア及びBB信号についての相関曲線320は、より狭いので、包絡曲線310によって決定される波長内の距離の、より厳密な推定が可能になる。LOS信号の遅延は、線350が時間軸(X軸)と交差するときに起こってよく、包絡曲線310の領域内の相関曲線の実部におけるピークに対応する時間に定義される。相関曲線330の虚部は、キャリア信号に埋め込まれた付加位相情報を提供するのに使うことができる。相関の虚部と実部の両方が、位相情報を決定するために実装され得る。
相関曲線のベースバンド部からの情報を、キャリアによって提供された位相情報と組み合わせることにより、TOAのより厳密な推定が可能になる。一般に、例えば、帯域幅が十分な場合、ベースバンド信号は、波長規模の精度の情報を含む。キャリア信号は、より狭い周波帯をもち、包絡線によって定義された波長内の位相情報を提供する。ベースバンドからの結果と、キャリアとを組み合わせることにより、キャリアとの相関を使うだけという結果になる、曖昧さのない、距離のより厳密な推定が可能になることを本発明者は発見した。
方形BB信号の理想的な自己相関結果は、sinc(x)形状と、そのピークが包絡線のピークと整合されるキャリア320とをもつ包絡線310であり得る。sinc(x)は、sin(x)/xを表し、信号の有限帯域幅に起因し、sinc(x)主ローブの幅は信号の帯域幅に比例する。キャリア信号との相関を使うことにより、精度が10倍向上し得る。
他のシステムを上回る精度の向上は、TOA及び/又はTOFを決定するときに、キャリア信号に埋め込まれた位相情報を検討することによって達成することができる。位置決めのために変調連続信号を使う、知られているシステムにおいて、例えばRF位置決めシステムでは、キャリア信号は、取り除かれ、TOA、TOF及び/又はLOS距離を決定するときに検討されない。
キャリア信号の周波数、例えば30〜60KHzは、帯域幅とほぼ同じ規模、例えば50〜100KHzである。サンプリングレートは一般に、帯域幅に基づいて、例えば折り返しを避けるために帯域幅の少なくとも2倍となるように決定されるので、サンプリング周波数は一般に、実信号がキャリア信号をサンプリングするのにも適用可能であると決定するのに使われ、そうすることによって、利用可能システム、例えば音響小空間位置決めシステムのサンプリングレートを大幅に増大させることなく、キャリア信号情報を検討することができる。
一般に、このことは、キャリア周波数が数百MHzの規模であり得るが帯域幅は実質的により小さくてよいRFシステムには当てはまらない。但し、高いサンプリングレート、例えば3〜4GHzのサンプリングレート、及び/又は一層高いレート、例えば6〜8GHzをもつ受信機を含む、知られているRFシステムの場合、キャリア信号の位相情報を、本明細書に記載するシステム及び方法を用いて適用してもよい。
キャリア及びBB信号は一般に、BB信号よりも堅牢であり、LOSとの位置を保ち、例えば、マルチパス信号にかかわらず、LOSとの位置を保つ。キャリア信号の堅牢な性質により、相関を決定する際、周辺ノイズに対する位置決めシステムの感受性は、相関を決定するための、BB信号に依拠するシステムと比較して削減される。
ここで、マルチパス信号の存在により結果的に生じ得る、可能な曖昧さを示す3つの例示的な相関曲線セットを示す図4A〜図4Cを参照する。短距離マルチパス信号が存在するとき、幾つかの遅延信号が、近距離内の検出装置に到着し、互いの上に重なり、そうすることによって、合成相関曲線が不明確になる。マルチパス信号に対応する相関曲線450が、視線(LOS)信号400の相関曲線から一定の距離に現れるようなマルチパス信号が存在するとき、最大相関点410を示す、相関の実部分及び絶対部分におけるピークは明瞭であってよく、LOS距離が決定され得る(図4A)。LOSは、信号が受信された最短距離、及び/又はマルチパスのない、送信機と受信機との間の距離である。最短距離は、遅延410をもつ第1のピークで表されるので、この第1のピークがLOS信号を表すことは明らかである。
但し、曖昧さは、短いマルチパス信号、例えば、キャリア信号の一波長の規模の距離からのマルチパス信号から生じる場合がある。マルチパス遅延460がLOS遅延410(図4B〜図4C)に近づくと、相関曲線の形状は、LOS信号410とマルチパス信号460の相関曲線の重なりにより不明確になり得る。
一般に、図4Bに示すように、接近マルチパス機能が起こると、複数の起こり得るLOSピーク、例えばピーク405及び455を、どのピークがLOSに対応するかについての曖昧さにつながる、相関曲線の実部分に見ることができる。一見すると、包絡曲線499及び実曲線488は、実曲線488が最大ピーク455をもつ時間460における最大相関を指すものと思われるが、LOSピークは遅延410において起こる。
より一層接近しているマルチパス信号が現れると、図4Cに示すように、LOS信号及び遅延がさらに不明確になる場合があり、実相関曲線中の可能ピーク、例えばピーク406、407、及び408のうちのどれも、遅延410に対応する元のLOSピークに対応しない場合がある。信号の重なりはLOSピークではないピークの増幅及び/又はLOSに対応しないピークの減衰につながり得る。LOS距離に関する曖昧さに直面して、最可能LOSピークを決定するために、2つ以上の基準を考察する必要があり得る。
本明細書における例は、最短距離経路を示すためのLOSを論じるが、付近の物体から反射されたときに幾つかの反射が相互に重なるとき、同じ現象が起こり得る。「LOS」という用語は、「反射の最短経路」と交換可能である。
マルチパス信号の重なりの結果として生じる曖昧さを解消するために、曖昧さ解消装置を実装すればよい。ここで、LOS信号に重ねられた複数のマルチパス信号から取得され得る自己相関曲線の例示的な絶対部及び実部の略図である図5を参照する。一見すると、包絡曲線499及び実曲線488は、実曲線488が最大ピーク462をもつ時間460における最大相関を指すものと思われる。LOSピーク、例えば、LOS距離に対応するピークを判読し、推定し、及び/又は選ぶための1つ若しくは複数の基準及び/又はパラメータを検討及び/又は算出すればよい。包絡線ピーク499とキャリアピーク462との間の距離が検討され得る。例えば、包絡線ピークに最も近いキャリアピークはLOSピークであると予想され得ることを本発明者は発見した。例えば、図5において、ピーク462は、包絡線ピーク461に最も近いので、LOSピークの強力な候補と見なすことができる。追加的又は代替的には、包絡線ピークからの事前定義距離を超えるピークは、弱い候補として却下してよく、消去プロセスによってLOSピークを選べばよい。例えば、ピーク425及び430は、弱い候補として却下してよい。
本明細書における例は、最短距離経路を示すためのLOSを論じるが、付近の物体から反射されたときに幾つかの反射が相互に重なるときも、同じ現象が起こり得る。「LOS」という用語は、「反射の最短経路」と交換可能である。
さらに、包絡線ピークとキャリアピークとの間の上記距離は、最可能LOSピークを推定するために検討される数パラメータ及び/又は基準のうちの1つにすぎない場合がある。検討され得る1つの他のパラメータは、包絡線の上昇又は急な上昇部にピークがあるかどうかである。LOSピークは、包絡曲線の上昇エネルギー上にあるピーク、例えば、曲線420が上昇しているときの最も急な部分における第1のピークであり得ると予想され得ることを本発明者は発見した。例えば、このパラメータに基づいて、ピーク422は、LOSピークであると決定され得る。
現在のサンプルにおける最可能LOSピークを選ぶとき、前のサンプルにおけるLOSピークに対応する位置及び/又は距離を検討すればよい。従って、接近マルチパスに起因する曖昧さが生じていない前のサンプルにおいて判読されたLOSピークに対応する位置及び/又は距離を検討し、最可能な現在のLOSピークを決定するときに基準点として使えばよい。例えば、4サンプル前に、そのサンプルにおいてマルチパスの曖昧さがなかったので、LOSピークが、受信機からの距離Aに対応していたことが明らかだった場合、そのサンプルを、何が最可能距離になり、従って現在のサンプルのLOSピークになるか決定するための基準点として使うことができる。LOSピークの前の場所、例えば、曖昧さのない場所に基づいてLOSピークの場所を追跡する履歴は、動きが連続的であるという仮定に基づいて、正しいLOSピークを選ぶ尤度を向上させ得る。異なる可能性に対してスコアを決定することができ、最良基準値をもつ可能性を、現在のサンプルの最可能LOSピークとして選ぶことができる。
より具体的には、実装されるアプリケーションに依存して、サンプリング点の間の速さの妥当及び/又は有望な範囲は所定でよい。予め規定された範囲外の、可能性が低い速さに対応するピークは、有望なLOSピークとしては不適格と見なしてよく、及び/又は低いスコアリングを結果として生じ得る。例えば、ペンデジタイザシステム(pen digitizer systems)では、手の動作が一般に、送信機器を動かすのに使われる。手の動作の可能範囲は既知であり、定義期間にわたるLOSの可能性が低い位置及び/又は位置変化を除くのに使うことができる。幾つかの例示的実施形態では、LOSピークは、前のサンプルに関して、決定された速さに基づくスコアを与えられ得る。最良スコアをもつ、例えば最可能速さをもつLOSピークを、最可能LOSピークとして選んでよい。速さ追跡は、2つのサンプル、例えば隣接し合うサンプルの間で、及び/又は複数のサンプルの間で実施することができる。幾つかの例示的実施形態では、速さ追跡は、曖昧さのない前のサンプルを用いて実施することができる。
相互相関は、動き又は追加反射に起因する差分を示し得るので、動きを検出するのに使うこともできる。相互相関を使用すると、洗練されたやり方で漏洩を取り除くことができるようになる。
別の受信機から取得された情報を用いて、最可能LOSピークを判読することができる。2つの受信機、例えば受信機121及び122(図1)から受信された入力信号の間の相互相関を実施して、最可能LOSピークを決定することができる。マルチパス機能に起因する曖昧さは一般に、両方の受信機に同時に及び/又は同じようには影響しないことを本発明者は発見した。各入力信号は、別の受信機及び/又は受信信号用のテンプレートとして実装され得る。各受信機からの結果を比較するとき、追加情報が付加され、位置の曖昧さをなくし、及び/又は低減することができる。
上記パラメータ、及び他のパラメータのいずれも、単独又は組み合わせて用いて、最可能LOSピークを決定することができる。スコアリングシステムを、各ピークに各パラメータがスコアを与える複数のパラメータと一緒に使うことができ、次いで、LOSピークが、最高又は最低スコアをもつものとして選択される。パラメータの各々に重みづけが適用され得る。例えば、重要パラメータには、他のパラメータと比較して、より大きな重みが与えられ得る。
最可能LOSピークを判読するのを助けるために、上で言及していない他のパラメータ及び/又は追加パラメータが、当業者によって検討されてもよい。
ここで、複数のマルチパス信号がLOS信号に重ねられるような、直接経路からの漏洩の受信から取得され得る相互相関曲線の例示的絶対部、送信機と受信機との間の周辺固定反射ならびに反射信号の受信の略図である図6を参照する。この図は、同じ図に提示される複数の相関曲線を示す。サンプル「0」は、(較正済みシステムにおいて)0距離に対応する。「X」軸は、時間を表す。図面が基づいている実験は、512個のサンプルを使ったが、サンプル320を上回る相関値が概して低かったので、図面は、おおよそ320個のサンプルを示す。「Y」軸は、(正規化されていない)相関値を表す。実験で使われたサンプリングレートは156.25KHzであり、放出スペクトルはほぼ25KHz〜78KHzであった。但し、現実のシステムでは、より有望なサンプリング周波数は、192KHz又は96KHz(標準オーディオサンプルレート)であろう。幾つかのケースでは、より低い超音波帯域幅を認める48KHz又は44.1KHzのサンプリング周波数を使うことができる。システムは、送信機及び受信機に対して同じクロックソースを使うので、毎送信期間に両方を同期させる必要はない。異なるクロックソースを使う例では、同期機構が必要とされ得る。同期は、漏洩識別を用いて同期を可能にすることができる。
送信シグナリング期間により、往復(送信機−反射体−受信機)距離が決まる。1ミリ秒の期間は、おおよそ34cmを表す(音速がほぼ340m/秒なので)。通常、シンボル間干渉を避けるために、また、より長い往復距離を可能にするために、より長い期間を使い、反射が減衰するのにより多くの時間をかけさせることができる。図6でわかるように、ほぼ0.8ミリ秒の往復時間に対応するサンプル120において遅延が大幅に減衰している。送信信号は、反射分析が必要とされる限り、いかなる割込みもなしで連続して変調され得るが、送信のデューティサイクル及び静穏領域中に実装され得る。サイレント時間により、電力消費がより低くなり、反射エネルギー及び他の特徴の検出がより容易になり得る。
図6における漏洩の大部分は、最も近い相関ピーク(620)である。最も近い相関ピークは、送信機から受信機までの直接信号経路を表すので、複数の測定値にわたって比較的安定もしている。漏洩は、セットアップ又は機器ケーシングに依存する一定反射も表し得る。そのような反射の消去は、製造中などの無菌環境において行われる測定に消去が依拠することがないように動的なので、より困難である。例えば、機器が、本又はスクリーンの近くのテーブルの上に置かれている場合、漏洩は、特定のセットアップに関する本又はスクリーンの静的反射も含み得る。信号の一部を反射する構造を聴き自体がもつケースでは、この構造は、一定及び安定したままであるので、この構造も漏洩と見なされ得る。
体の動きなど、動的環境からの反射は、安定せず、ある信号期間から別の信号期間(630)までに変わる傾向がある。動きが素早い場合、変化も急速になる。幾つかのケースでは、漏洩は、反射を不明確にするとともに有意な反射分析を困難にし得る多大なエネルギーを有し得る。多くの現実的な使用ケースでは、例えば、オーディオ構成要素(受信機及び送信機)も音声機能性のために使われるとき、漏洩減衰は、より良好な反射分析を行うためにより重要である。その理由は、例えば、オーディオ構成要素の配置は、超音波分析にとって最適ではないが、音声アプリケーションに対するトレードオフであり、オーディオ中心構成要素の周波数応答が、超音波において比較的低くなりがちだからなどである。
ここで、信号が検出されないときの複素相関の絶対値が実際の受信信号から減算される漏洩減衰方法、即ち絶対相関ドメインにおける漏洩減算の4つの曲線を示す図7を参照する。
絶対相関の漏洩推定(760)は、直接経路(最も高いピーク)と、直接経路に続く「一定」反射の相関を含む。これらの間で、これらの成分は曲線770を形成する。
機器が静的環境に置かれているとき、信号受信の全ての期間からの漏洩の減算は、比較的低く平坦な相関(795)をもたらし得る。物体が、送信機及び受信機によって覆われたボリューム中を通るとき、相関は、漏洩(720)と反射(730)の両方を含み得る。この信号から推定漏洩(770)を減算することにより、静的付加のない動的挙動を示す、復号をより容易にする反射相関曲線(750)がもたらされる。
ここで図8(A)〜(D)を参照するが、これらの図は、反射条件なしの間に時間ドメイン信号が平均され、次いで、反射が検出され、又は示されると平均化値が受信信号から減算される、時間ドメインでの、又は時間及び位相ドメインでの漏洩減衰方法を示す。
時間ドメインでの漏洩推定(840)は、直接経路と、主経路信号に続く「一定」又は「固定」反射とを含む。この漏洩を推定するための一方法は、環境内のノイズ又は疑似的動きを減衰するために、幾つかの信号期間を平均することである。漏洩は、減衰された漏洩を含む信号860を形成する着信信号(820)から減算される。漏洩のない受信信号とのテンプレートの相互相関は、反射挙動に関してより分析しやすい曲線880を形成する。
時間ドメイン減算に等価な埋込みは、絶対漏洩減算について記述したのと同様に、漏洩推定に実相関(キャリアとBB情報とを含む)を使用することである。
図9は、上/下動中の同じ物体からの受信信号のTOA軌跡の例を示し、そのような上/下動が反射到着時間に基づいてどのように検出され得るかを示すグラフである。
図9に示すように、全ての信号期間にシステムがロックオンしている反射の位置(「Y」軸)が、信号期間カウント(「X」軸)に対して示される。この例では、ハンドセットの上を向くスピーカと1対のマイクロホンとをもつハンドセットのモックアップの上方に手が動かされる。手からの反射の往復遅延は、上で記載した方法に従って分析される。手の上の反射点の幾つかはより強く、又はより弱くなり、アルゴリズムは、時間が経過すると手の異なる部分からの異なる反射にロックオンすることを選び得るので、曲線は全体的に平滑でないことに留意されたい。しかしながら、反射往復遅延がより小さくなり、2つのマイクロホンが同様の遅延を有することが容易にわかる。これらの要因は、手の動きが機器の上方で始まり、より接近していく(「上/下」)ことを示す。往復遅延の微分は手の速度であり、この速度も用いてよい。図に見られ得るように、全ての受信機のTOA軌跡はおおよそ同様であり、又は軌跡全体を通して一定の時間シフトがあり得る。次いで、TOA軌跡の形状は、その外見が「L」形状と同様である場合、上/下動を示すものと見なされる。「L」形状において、軌跡の始端は、負であるTOAの微分を有し、その後に定数値をもつ軌跡の領域が続く。
同様に、TOA軌跡の形状が、始端において正の微分をもち、次いでゼロ微分で終わる場合、下/上の動きを識別することができる。
動きの開始(図の時間0)の検出は、専用の論理を使う。疑似的動きは、有意なジェスチャーとして誤って解釈される場合があり、従って、解決策の有用性を制限してしまう。そのような検出装置は、十分な反射エネルギーがあるまで、ジェスチャー認識を抑圧し得るエネルギー閾を含み得る。他の機構は、複数の受信機を決定などに使う、特定の方向のコヒーレント運動を含み得る。
連続する信号の相互相関により、相対的な動きを検出することができる。前の送信からの受信信号は、後続信号と相関させることができる。そのような相互相関は、一定又は緩やかに変化する反射がもつ影響が小さいので、差分を示し得る。差分は、動きに対応し得る。漏洩減衰は、変化が強められ得るので、この方法において大きな助けになり得る。信号が定期的であり、信号期間の大部分を占める場合、後続サンプルのスライディングウィンドウが、検出の解像度を向上させ得る。例えば、全てのサンプルに関して、同じサンプル長はもつが新たなサンプルはもたない相関を実施することができる。
現実的システムは、比較的低い平均電力消費を可能にするパワーモードを使うこともできる。例えば、システムは、より多くのリソースを消費するとともにより頻繁な送信を使い得る復号モードに入る前に、特定の閾を通る超音波反射を探せばよい。復号モードでさえも、反射の速度によっては、送信の可変デューティサイクルを使うことができる。速度が低い場合、送信/受信のアップデートレートも低下され得る。
図10A及び図10Bは、同じ物体から反射された信号の2つの受信機によって受信された信号の、左から右への動きのTOA軌跡の例を示す。
見るとわかるように、左マイクロホン往復遅延曲線(1020)は、右マイクロホン往復遅延曲線(1010)よりも開始(時間0)において離れているが、順序は、信号期間400の辺りに示すケースにおいて、時間とともに切り替わる。手の動きは従って、右から左であると決定され得る。
追加又は代替として、両方の軌跡から「U」形状を識別することによって、左から右又は右から左の動きを、受信信号のTOA軌跡から抽出することができよう。「U」形状微分は、始端における負の微分から識別することができ、負の微分の後にはほぼゼロの微分が続き、正の微分の期間で終わる。
場合によっては、第1の受信機がシステムの右手側により接近している例では、第1の受信機における軌跡の「U」形状が、第2の受信機における軌跡の「U」形状の前に来る場合、左から右への動きを識別することができる。
図10Aは、絶対相関ドメインにおける漏洩減算を示し、図10Bは、時間ドメインにおける漏洩減衰を示す。時間ドメイン漏洩推定により、より平滑な往復推定が可能であることに留意できよう。
図11A及び図11Bは、図10A及び図10Bにおける軌跡のフィルタリングされたバージョンを示す。図11Aは、絶対相関ドメインにおける漏洩減算を示し、9という中央値フィルタ長を使う。図11Bは、時間ドメインにおける漏洩減算を示し、10という全1(all-ones)フィルタ長と一緒に、3という中央値フィルタ長を使う。異なるフィルタは本発明者によってベンチマーク(benchmark)されており、図に示すような中央値フィルタは、比較的低い計算作業で適切な性能を与えることがわかった。
図12A及び図12Bは、上/下動作中の同じ物体からの受信信号の反射電力軌跡を示す。
全ての信号期間にシステムがロックオンしている反射の位置(「Y」軸)は、信号期間カウント(「X」軸)に対してプロットされる。この例では、ハンドセットから上の方を向くスピーカとマイクロホンペアとをもつハンドセットのモックアップ(実物大模型)の上方に手が動かされる。手からの反射の往復遅延は、上で記載した方法に従って分析される。手の上の反射点の幾つかはより強く、又はより弱くなり、アルゴリズムは、時間が経過すると異なる反射にロックオンすることを選び得るので、曲線は全体的に平滑でないことに留意されたい。しかしながら、反射往復遅延がより小さくなり、2つのマイクロホンが同様の遅延を有することが容易にわかる。これらの要因は、手の動きが機器の上方で始まり、より接近していくことを示し、従って上/下動を示す。往復遅延の微分は手の速度であり、この速度も用いてよい。図に見られ得るように、全ての受信機のTOA軌跡はおおよそ同様であり、又は軌跡全体を通して一定の時間シフトが存在し得る。TOA軌跡の形状は、「L」形状と同様である場合、上/下動作として識別される。上述したように、「L」形状とは、軌跡の始端において、TOAの微分が負であり、その接続が定数値をもつ軌跡である。同様に、TOA軌跡の形状が、始端において正の微分をもち、次いでゼロ微分で終わるとき、下/上の動きを識別することができる。
動きの開始(図の時間0)の検出は、動き検出にとって重要である専用の論理を使う。疑似的動きは、有意なジェスチャーとして誤って解釈される場合があり、これにより、解決策の有用性が制限され得る。そのような検出装置は、十分な反射エネルギーがあるまで、ジェスチャー認識を抑圧し得るエネルギー閾を含み得る。他の機構は、複数の受信機を決定などに使う、特定の方向のコヒーレント運動を探し得る。
別の実施形態では、連続する信号の相互相関により、相対的な動きを検出することができる。前の送信からの受信信号は、後続信号と相関させることができる。この相互相関は、一定又は緩やかに変化する反射がもつ影響が小さいので、差分を示すことになる。相関によって現れた差分は従って、動きに対応する。漏洩減衰は、変化が強められ得るので、そのような方法において大きな助けになる。信号が定期的であり、信号期間の大部分を占める場合、後続サンプルのスライディングウィンドウが、検出解像度を向上させ得る。例えば、全てのサンプルに関して、同じサンプル長はもつが新たなサンプルはもたない相関を実施することができる。
ここで図13を参照するが、この図は、スピーカ1320において変調超音波信号を放出するモバイル計算又は通信機器1300を示し、変調超音波信号は、3つのマイクロホン1340、1360及び1380によってピックアップされる。この機器は、手振り認識を可能にする。より高い信号レベルとより低い電力消費とを可能にするために、専用の超音波エミッタが使われ得る。図13Aに示すように、この構成は、スクリーンの上の領域における指追跡のために使うことができ、同じ構成が、スクリーンの指タッチを可能にするのに使われ得る。図13Bは、手で行われるジェスチャーが認識され得るように、スクリーンの上をうろついている手を追跡する例を示す。
図13Cに示すように、同様の構成が、スピーカ1400と、機器が置かれ得るテーブル表面に対して垂直なマイクロホン1420及び1440とを有することができ、テーブル表面に対して平行に伝播する波の容易な送信及び受信が可能になり、指をマウスとして使うことができる。図13A及び図13Bの構成において、送信機及び受信機は、面している方向が上であっても、マウス実施態様を可能にするのに十分なエネルギーをもち得る。
ここで、複数の送信機と受信機とを使うマルチタッチアプリケーションを示す図14を参照する。この場合、2つのスピーカ1460及び1480が、デバイスのいずれかの側からの信号を送信し、マイクロホン1490.1〜1490.8(全部は図示していない)が、各隅及び各側の中央に置かれる。送信機は、上述したように様々な信号を放出することができ、そうすることによって、特定の反射が特定のエミッタに関連付けられるので、反射をより容易に分析できるようになる。幾つかの送信機からの同時送信を可能にするために、符号化を実施することができ、そうすることによって、受信機は、様々な送信機からの信号を区別することができる。様々な符号は、互いに対して与え得る影響がはるかに低いので、直交符号化は、反射分析を円滑にし得る。符号を使うと、全てのシステム向けに異なる符号をもつことによって、付近のシステムの間での影響がより低くなり得る。符号選択は、付近のシステムの間での干渉の確率を低下させるために、動的でよい。システムは、付近で使われる符号を検出するために、一定の期間、リッスンすることができ、次いで、異なる符号をピックアップする。
図15は、ユーザの存在又はユーザの動きを検出するための、スクリーン又はラップトップに組み込まれた検出装置を示す。アプリケーションは、ユーザの存在に応じて機器をオン又はオフにして、機器の電力管理を操作するために、スクリーンに接近したユーザの存在の検出を使うことができる。
本出願から満期になる特許の存続期間中、多くの関連検出及び処理回路要素が開発されることが予想され、検出装置及び/又はプロセッサという用語の範囲は、事前に全てのそのような新規技術を含むことを意図している。
「備える(comprises)」、「備える(comprising)」、「含む(includes)」、「含む(including)」、「有する(having)」という用語及びその活用形は、「含むが、それに限定されない」ことを意味する。
「からなるという用語は、「含み、それに限定される」ことを意味する。
上記説明を書くにあたって、明快のために、別個の実施形態のコンテキストで記述した本発明の特徴は、単一の実施形態と組み合わせても提供され得ることが我々の明らかな意図である。逆に、簡潔のために、単一の実施形態のコンテキストで記述されている本発明の様々な特徴は、個別に、又はどの適した部分的な組合せでも、もしくは他のどの記述した本発明の実施形態において適したものとしても提供され得る。様々な実施形態のコンテキストで記述した特徴は、実施形態がそれらの要素なしでは動作不能でない限り、それらの実施形態の本質的特徴と見なされるべきでない。各特徴は、当業者の理解に従って、分離して取り出し、次いで、本明細書に記載する他のどの特徴と組み合わせてもよい。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] 連続キャリア信号部及び前記キャリア信号部に変調されたベースバンド信号を含む変調された連続波を送信するために構成され、位置決めされるべき物体が現れ得る範囲にわたって前記変調連続波を送信するように構成され、固定された既知の場所にある送信要素と、前記送信機器によって送信され、前記物体によって反射された信号を受信するために構成された受信要素と、前記反射信号から受信された前記キャリア信号部と前記ベースバンド信号の両方の分析から、前記物体の位置を決定するように構成された位置検出要素とを備える、小空間位置決めのためのシステム。
[2] 前記キャリア信号と前記ベースバンド信号の両方の前記分析は、前記キャリア信号の位相分析を含む、[1]に記載のシステム。
[3] 前記位置検出要素が、前記受信ユニットによって受信された変調連続波と、予想変調連続波との間の相関を実施するために構成された、[1又は[2]に記載のシステム。
[4] 前記変調連続波が所定であり、前記予想変調連続波が、前記送信機器によって送信された前記変調連続波の複製を備える、[3]に記載のシステム。
[5] 前記変調連続波の前記複製が、前記位置要素から前記波形復号ユニットへの、前記波形のモデリング移行のためのチャネルモデルを備え、そうすることによって、前記最可能距離を識別するための基準信号を与える、[4]に記載のシステム。
[6] 前記受信ユニットが、前記受信変調連続波と前記予想変調連続波との間の前記相関から、ベースバンド信号とキャリア信号の相関曲線を決定するために構成される、[3又は[4]に記載のシステム。
[7] 前記相関曲線が、それぞれの絶対曲線と、実曲線と、虚曲線とを備え、前記受信ユニットが、それぞれの絶対相関曲線における少なくとも1つのピークと、それぞれの実相関曲線における少なくとも1つのピークとを決定するために構成される、[6]に記載のシステム。
[8] 前記送信要素と前記受信要素との間の既知の距離、及び相互同期のための固定リンクからなる群のうちの1つのメンバを使うようにさらに構成される、任意の先行のシステム。
[9] 前記位置検出要素が、差動検出を用いて、直接信号経路と、静的アーティファクトとの漏洩を取り除くように構成される、先行[のどれか一つ1項]に記載のシステム。
[10] 前記差動検出が、先行サンプルから各入力サンプルを減算すること、及び次いで、連続フレームの間の複素相関及び相互相関からなる群のうちの少なくとも1つのメンバを加えることからなる群の1つのメンバを備え、前記差動検出が、到着時間を決定するために実施される、[9]に記載のシステム。
[11] 前記位置検出要素が、複素相関減算を用いて直接信号経路の漏洩を取り除くように構成される、[1乃至7のいずれか1]に記載のシステム。
[12] 前記位置検出要素が、検出エリアに物体が置かれていない第1の時間を決定し、複素相関を前記第1の時間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、位置決めされるべき物体が前記検出エリアに置かれている第2の時間に、前記第2の時間に取得された相関結果の第2の絶対値を決定し、前記保存された絶対値から前記第2の絶対値を減算し、そうすることによって、前記直接経路漏洩のない前記反射信号の絶対相関を抽出し、前記絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、[11]に記載のシステム。
[13] 前記位置検出要素が、時間ドメイン減算を用いて直接信号経路の漏洩を取り除くように構成される、[1から7のいずれか1項]に記載のシステム。
[14] 前記位置検出要素が、検出エリアに物体が置かれていない第1の時間を決定し、各フレームが送信シーケンスの持続時間である、N個のフレームに対して、ある期間だけ信号を平均し保存し、位置決めされるべき物体が前記検出エリアに置かれている第2の時間に、前記第1の時間に算出された、時間ドメイン信号の前記保存された平均化値から、受信信号の時間ドメイン値を減算し、そうすることによって、前記直接経路の前記漏洩のない、前記反射信号の時間ドメイン値を抽出し、複素相関を実施して、前記反射信号の到着時間を抽出するように構成される、[13]に記載のシステム。
[15] 前記位置検出要素が、前記送信要素と前記受信要素との間の既知の距離とともに、前記漏洩の到着時間を用いて、そこから気温を算出するように構成される、[9乃至14のいずれか1]に記載のシステム。
[16] 物体の存在の指示が、エネルギー及び信号対ノイズ比からなる群のうちの少なくとも1つのメンバの変化を検出することによって取得される、[11乃至14のいずれか1]に記載のシステム。
[17] エネルギー検出が、入力信号を既知のテンプレートと相関させ、次いで、可能な全ての時間距離にわたる相関出力のエネルギーを積分することを備える、[16]に記載のシステム。
[18] 前記信号対ノイズ算出が、可能な距離範囲内の相関の全ての可能な値のエネルギーを積分することと、遠隔時間シフトされた相関出力におけるノイズ推定の平均で除算することとを備える、[16]又は[17]に記載のシステム。
[19] 前記位置検出要素が、フレームごとに算出された複素相関値から、受信機ごとの到着時間軌道を算出するように構成され、前記フレームが、送信シーケンス、又はテンプレートの持続時間に等しい、先行のいずれかに記載のシステム。
[20] 前記複素相関によって抽出された前記到着時間が、設定された閾を通った前記複素相関の最大絶対値を用いて算出される、[19]に記載のシステム。
[21] 前記設定された閾が、前記ノイズのある相関の平均値のM倍又は前記ノイズのある相関の平均値よりもM大きくなるように設定され、Mが所定の定数である、[20]に記載のシステム。
[22] 前記位置検出要素が、第1の経路到着時間の抽出を微調整するために2次元検索を使うように構成される、先行[のいずれか1項]に記載のシステム。
[23] 前記2次元検索が、同じ発信信号の複数の反射を検索することを備え、前記複数の反射が、対応する複素相関のそれぞれの時間、振幅及び位相のうちの少なくとも1つによって特徴づけられる、[22]に記載のシステム。
[24] 前記位置検出要素が、予め設定された閾を上回る、相関の絶対値をとり、質量中心の方程式を用いて積分することによって、前記複素相関から前記到着時間を抽出するように構成される、[19]に記載のシステム。
[25] 前記位置検出要素が、線形フィルタ、IIRフィルタ、FIRフィルタ、非線形フィルタ、中央値フィルタ、及び線形フィルタと非線形フィルタの組合せからなる群のうちの1つのメンバを用いて、抽出された到着時間軌跡をフィルタリングするようにさらに構成される、[19乃至24のいずれか1]に記載のシステム。
[26] 前記位置検出要素が、第2の受信機を使い、各受信機からの到着時間トレースを比較するようにさらに構成される、先行のいずれか1に記載のシステム。
[27] 前記位置検出要素が、各受信機からそれぞれトレース方向を抽出し、そうすることによって、上から下の動きと下から上の動きとの間を区別するように構成される、[26]に記載のシステム。
[28] 前記区別が、前記それぞれのトレースの第1の微分を推定することと、平均し、ゼロと比較することと、前記平均化値がゼロよりも大きい場合、前記方向が下から上であると決定し、前記値がゼロよりも低い場合、前記方向が上から下であると決定することとを備える、[27]に記載のシステム。
[29] 前記決定が、トレース部を除くために行われ、前記微分がゼロに等しい、[28]に記載のシステム。
[30] 前記微分されたTOAトレースの平均化値から速さが抽出される、[27乃至29のいずれか1]に記載のシステム。
[31] 前記位置検出要素が、それぞれ、左から右の動きと右から左の動きとの間を区別するために、各受信機におけるそれぞれの到着時間軌跡を使うようにさらに構成される、[26乃至30のいずれか1]に記載のシステム。
[32] 前記区別が、到着時間における、減少と、それに続く定数と、それに続く増加との3部形成を見つけることを備える、[31]に記載のシステム。
[33] 前記区別が、それぞれの受信機における前記3部形成を比較することを備える、[32]に記載のシステム。
[34] 前記送信要素が、少なくとも1つの他の送信要素によって生成された信号から区別可能である信号を与えるために、直交復号を使うように構成される、先行のいずれか1に記載のシステム。
[35] 前記送信要素が、前記システムの既存のスピーカ要素を用いて提供され、前記受信機要素が、前記システムの既存のマイクロホン要素を用いて提供される、先行のいずれか1に記載のシステム。
[36] 空気音速の測定のためのシステムであって、連続キャリア信号部、及び前記キャリア信号部上に変調されたベースバンド信号を備える変調された連続波を送信するために構成され、第1の固定された既知の場所にある送信要素と、前記送信機器によって送信された信号、及び周辺からの漏洩を受信するために構成され、第2の固定された既知の場所にある受信要素と、を具備し、前記受信要素は、前記送信要素と前記受信要素の間の距離を考慮して、前記漏洩の到着時間から前記音速を決定するように構成された検出要素を備える、空気音速の測定のためのシステム。
[37] 前記検出要素が、前記音速の測定から気温を決定するように構成される、[36]に記載のシステム。
[38] 連続キャリア信号部及び前記キャリア信号部上に変調されたベースバンド信号を備える変調された連続波を送信するために構成され、第1の固定された既知の場所にあり、位置決めされるべき物体が現れ得る範囲にわたって前記変調連続波を送信するように構成される送信要素と、前記送信機器によって送信され、前記物体によって反射された信号を受信するために構成され、第2の固定された既知の場所にある受信要素と、を具備し、前記受信素子は、前記反射信号から受信された前記変調連続波の反射の分析から、前記物体の位置を決定するように構成された位置検出要素を備える、小空間位置決めのためのシステム。
[39] 前記位置検出要素が、差動検出を用いて直接信号経路の漏洩を取り除くように構成される、[38]に記載のシステム。
[40] 前記差動検出が、先行サンプルから各入力サンプルを減算することを備え、次いで、到着時間を決定するために複素相関の適用が実施される、[39]に記載のシステム。
[41] 前記位置検出要素が、複素相関減算を用いて直接信号経路の漏洩を取り除くように構成される、[38]に記載のシステム。
[42] 前記位置検出要素が、受信エリアに物体が置かれていない第1の時間を決定し、複素相関を前記第1の時間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、位置決めされるべき物体が前記受信エリアに置かれている第2の時間に、前記第2の時間に取得された相関結果の第2の絶対値を決定し、前記保存された絶対値から前記第2の絶対値を減算し、そうすることによって、前記直接経路漏洩のない前記反射信号の絶対相関を抽出し、前記絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、[41]に記載のシステム。
[43] 前記位置検出要素が、時間ドメイン減算を用いて直接信号経路の漏洩を除くように構成される、[38]に記載のシステム。
[44] 前記位置検出要素が、受信エリアに物体が置かれていない第1の時間を決定し、各フレームが送信シーケンスの持続時間であるN個のフレームにおいて、ある期間だけ信号を平均し保存し、位置決めされるべき物体が前記受信エリアに置かれている第2の時間に、前記第1の時間に算出された、時間ドメイン信号の前記保存された平均化値から、受信信号の時間ドメイン値を減算し、そうすることによって、前記直接経路の前記漏洩のない、前記反射信号の時間ドメイン値を抽出し、複素相関を実施して、前記反射信号の到着時間を抽出するように構成される、[43]に記載のシステム。
[45] 物体存在検出、カーソル操作、複数の物体追跡、音楽用キーボード、及びソフトスクリーンとの追跡対話からなるアプリケーション群のうちの1つのメンバのために使われるときの、先行のいずれか1に記載のシステム。
[46] 変調された連続波形を放出するように各々が構成された少なくとも3つの送信要素と、所望の方向からの反射を受けるためのビームステアリングをもたらすために、各放出要素における前記信号の間の制御遅延をもたらし、そうすることによって、前記送信要素の周りで3次元位置決めを行うための中央コントローラとを備える、小空間位置決めのためのシステム。
[47] 連続キャリア信号部、及び前記キャリア信号部上に変調されたベースバンド信号を備えた固定の場所から変調された連続波を送信することと、前記送信機器によって送信され、前記物体によって反射された信号を受信することと、前記物体から反射された前記キャリア信号部と前記ベースバンド信号の両方の分析から、前記物体の位置を決定することとを備え、前記送信することが、位置決めされるべき物体が現れ得る範囲内へと行われる、小空間位置決めのための方法。
[48] 第1の固定の場所から連続キャリア信号部、及び前記キャリア信号部上に変調されたベースバンド信号を備えた変調された連続波を送信することと、第2の固定の場所において、前記送信機器によって送信され、前記物体によって反射された信号を受信することと、前記物体からの前記反射の分析から、前記物体の位置を決定することとを備え、前記送信することが、位置決めされるべき物体が現れ得る範囲内に行われる、小空間位置決めのための方法。

Claims (35)

  1. 小空間位置決めのためのシステムであって、
    連続超音波キャリア信号部及び前記キャリア信号部に変調された所定の超音波ベースバンド信号を含む変調された連続超音波を送信するために構成され、位置決めされるべき物体が現れ得る範囲にわたって前記変調された連続超音波を送信するように構成され、固定された既知の場所にある送信要素と、
    前記送信要素によって送信され、前記物体によって反射された信号を受信するために構成された少なくとも複数の受信要素と、
    前記反射信号中の前記キャリア信号部と前記ベースバンド信号の両方の分析から、前記物体の位置を決定するように構成された位置検出要素と、を備え、
    受信された前記信号は前記変調された連続超音波を含み、前記キャリア信号部と前記ベースバンド信号の両方の分析は前記キャリア信号部の位相分析を含み、
    前記受信要素は前記システムが置かれる表面に対して垂直であり、前記表面に対して平行に送信及び受信される信号の容易な送信及び受信が可能になり、
    前記位置検出要素が、
    検出エリアに物体が置かれていない第1の期間を決定し、複素相関を前記第1の期間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、
    位置決めされるべき物体が前記検出エリアに置かれている第2の期間に、前記第2の期間に取得された相関結果の第2の絶対値を決定し、前記第2の絶対値から前記保存された絶対値を減算して、補正された絶対相関を決定し、
    前記補正された絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、システム。
  2. 前記位置検出要素が、前記受信要素によって受信された変調連続波と、予想変調連続波との間の相関を実施するために構成され、
    前記変調された連続超音波が所定であり、前記予想変調連続波が、前記送信要素によって送信される前記変調された連続超音波の複製を備える、請求項1に記載のシステム。
  3. 前記変調された連続超音波の前記複製が、前記受信された変調連続波と比較され、そうすることによって、前記受信要素と前記物体との間の最可能性が高い距離を識別するための基準信号を与える、請求項2に記載のシステム。
  4. 前記受信要素が、前記受信された変調連続波と前記予想変調連続波との間の前記相関から、ベースバンド信号とキャリア信号の相関曲線を決定するために構成される、請求項2に記載のシステム。
  5. 前記相関曲線が、それぞれの絶対曲線と、実曲線と、虚曲線とを備え、前記受信要素が、それぞれの絶対相関曲線における少なくとも1つのピークと、それぞれの実相関曲線における少なくとも1つのピークとに基づいて、前記物体の位置を推定するための飛行時間を決定するために構成される、請求項4に記載のシステム。
  6. 音速を算出するために、前記送信要素と前記受信要素との間の既知の距離を使うようにさらに構成される、請求項1乃至5のいずれか1項に記載のシステム。
  7. 前記位置検出要素が、絶対相関の減算を用いて直接経路信号を取り除くように構成される、請求項1乃至6のいずれか1項に記載のシステム。
  8. 前記位置検出要素が、前記送信要素と前記受信要素との間の既知の距離とともに、前記直接経路信号の到着時間を用いて、そこから気温を算出するように構成される、請求項7に記載のシステム。
  9. 物体の存在が、エネルギー及び信号対ノイズ比のうちの少なくとも1つの変化によって検出される、請求項1乃至のいずれか1項に記載のシステム。
  10. エネルギー検出が、入力信号を既知のテンプレートと相関させ、次いで、可能な全ての時間距離にわたる相関出力のエネルギーを積分することを備える、請求項に記載のシステム。
  11. 前記信号対ノイズ比の算出が、可能な距離範囲内の相関の全ての可能な値のエネルギーを積分することと、異なる時間シフトで出力された相関におけるノイズ推定の平均で除算することとを備える、請求項又は請求項1に記載のシステム。
  12. 前記位置検出要素が、フレームごとに算出された複素相関の値から、受信要素ごとの到着時間軌跡を算出するように構成され、前記フレームが、送信シーケンス、又はテンプレートの持続時間に等しく、前記到着時間軌跡は、X軸が時間を表わし、Y軸が前記送信要素によって送信された信号の到着時間から算出された距離を表わすグラフ上の軌跡である、請求項1乃至1のいずれか1項に記載のシステム。
  13. 前記位置検出要素が、線形フィルタ、IIRフィルタ、FIRフィルタ、非線形フィルタ、中央値フィルタ、及び線形フィルタと非線形フィルタの組合せのうちの1つを用いて、抽出された到着時間軌跡をフィルタリングするようにさらに構成される、請求項1に記載のシステム。
  14. 前記位置検出要素が、第2の受信要素を使い、各受信要素からの到着時間軌跡を比較するようにさらに構成され、前記到着時間軌跡は、X軸が時間を表わし、Y軸が前記送信要素によって送信された信号の到着時間から算出された距離を表わすグラフ上の軌跡である、請求項1乃至1のいずれか1項に記載のシステム。
  15. 前記位置検出要素が、各受信要素からそれぞれの到着時間軌跡の方向を抽出し、そうすることによって、前記システムの上方における前記物体の上から下の動きと下から上の動きとの間を区別するように構成される、請求項1に記載のシステム。
  16. 前記区別することが、
    前記それぞれの到着時間軌跡の微分を推定することと、
    前記微分を平均し、ゼロと比較することと、
    前記平均された値がゼロよりも大きい場合、前記方向が下から上であると決定し、前記値がゼロよりも低い場合、前記方向が上から下であると決定することとを備える、請求項15に記載のシステム。
  17. 前記決定することが、前記微分がゼロに等しい到着時間軌跡の部分を除くように行われる、請求項16に記載のシステム。
  18. 前記微分された到着時間軌跡の平均された値から速さが抽出される、請求項16又は請求項17に記載のシステム。
  19. 前記位置検出要素が、それぞれ、左から右の動きと右から左の動きとの間を区別するために、各受信要素におけるそれぞれの到着時間軌跡を使うようにさらに構成される、請求項1乃至18のいずれか1項に記載のシステム。
  20. 前記区別することが、到着時間軌跡における、減少と、それに続く定数と、それに続く増加との3部形成を見つけることを備える、請求項19に記載のシステム。
  21. 前記区別することが、それぞれの受信要素における前記3部形成を比較することを備える、請求項2に記載のシステム。
  22. 前記送信要素が、少なくとも1つの他の送信要素によって生成された信号から区別可能である信号を与えるために、直交符号化を使うように構成される、請求項1乃至2のいずれか1項に記載のシステム。
  23. 前記送信要素が、前記システムの既存のスピーカ要素を用いて提供され、前記受信要素が、前記システムの既存のマイクロホン要素を用いて提供される、請求項1乃至2のいずれか1項に記載のシステム。
  24. 小空間位置決めのためのシステムであって、
    各々が連続超音波キャリア信号部及び前記超音波キャリア信号部上に変調された所定の超音波ベースバンド信号を備える複数の変調された連続超音波を送信するために構成され、それぞれの第1の固定された既知の場所にあり、位置決めされるべき物体が現れ得る範囲にわたって前記変調された連続超音波を送信するように構成される少なくとも2つの送信要素と、
    前記送信要素によって送信され、前記物体によって反射された信号を受信するために構成され、それぞれの第2の固定された既知の場所にある複数の受信要素と、
    前記反射信号中の前記変調された連続超音波の反射の分析から、前記物体の位置を決定するように構成された位置検出要素と、を備え、
    受信された前記信号は前記変調された連続超音波を含み、前記キャリア信号部と前記ベースバンド信号の両方の分析は前記キャリア信号部の位相分析を含み、
    前記第1および第2の固定された既知の場所は前記システムの各側の周りに離間され
    前記位置検出要素が、
    検出エリアに物体が置かれていない第1の期間を決定し、複素相関を前記第1の期間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、
    位置決めされるべき物体が前記検出エリアに置かれている第2の期間に、前記第2の期間に取得された相関結果の第2の絶対値を決定し、前記第2の絶対値から前記保存された絶対値を減算して、補正された絶対相関を決定し、
    前記補正された絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、システム。
  25. 前記位置検出要素が、差動検出を用いて直接経路信号を取り除くように構成され、
    前記差動検出が、先行サンプルから各入力サンプルを減算し、次いで、複素相関を実施して到着時間を決定することを備える、請求項2に記載のシステム。
  26. 前記位置検出要素が、複素相関の減算を用いて直接経路信号を取り除くように構成される、請求項2に記載のシステム。
  27. 前記位置検出要素が、時間ドメイン減算を用いて直接経路信号を除くように構成される、請求項2に記載のシステム。
  28. 前記位置検出要素が、
    前記第1の、各フレームが送信シーケンスの持続時間であるN個のフレームにおいて、ある期間だけ信号を平均し保存し、
    前記第2の間に、前記第1の間に算出された、時間ドメイン信号の前記保存された平均された値から、受信信号の時間ドメイン値を減算し、そうすることによって、直接経路信号のない、前記反射信号の時間ドメイン値を抽出し、
    複素相関を実施して、前記反射信号の到着時間を抽出するように構成される、請求項2に記載のシステム。
  29. 物体存在検出、カーソル操作、複数の物体追跡、音楽用キーボード、及びソフトスクリーンとの対話追跡のうちの1つのために使われる、請求項1乃至28のいずれか1項に記載のシステム。
  30. 送信要素により、固定の場所から連続超音波キャリア信号部及び前記超音波キャリア信号部上に変調された所定の超音波ベースバンド信号を備えた変調された連続超音波を送信することと、
    少なくとも2つの受信要素により、前記送信要素によって送信され、物体によって反射された信号を受信することと、
    位置検出要素により、前記物体から反射された前記キャリア信号部と前記ベースバンド信号の両方の分析から、前記物体の位置を決定することとを備え、
    前記送信することが、位置決めされるべき前記物体が現れ得る範囲内で行われ、受信された前記信号は前記変調された連続超音波を含み、前記キャリア信号部と前記ベースバンド信号の両方の前記分析は前記キャリア信号部の位相分析を含み、
    前記位置検出要素が、
    検出エリアに物体が置かれていない第1の間を決定し、複素相関を前記第1の間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、
    位置決めされるべき物体が前記検出エリアに置かれている第2の間に、前記第2の間に取得された相関結果の第2の絶対値を決定し、前記第2の絶対値から前記保存された絶対値を減算して、補正された絶対相関を決定し、
    前記補正された絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、小空間位置決めのための方法。
  31. 送信要素により、第1の固定の場所から連続超音波キャリア信号部及び前記キャリア信号部上に変調された所定の超音波ベースバンド信号を備えた変調された連続超音波を送信することと、
    2つの受信要素により、第2および第3のそれぞれの固定の場所において、前記送信要素によって送信され、物体によって反射された信号を受信することと、
    位置検出要素により、前記物体からの前記反射の分析から前記物体の位置を決定することと、を備え、
    前記送信することが、位置決めされるべき物体が現れ得る範囲内で行われ、受信された前記信号は前記変調された連続超音波を含み、前記キャリア信号部と前記ベースバンド信号の両方の分析は前記キャリア信号部の位相分析を含み、
    前記位置検出要素が、
    検出エリアに物体が置かれていない第1の間を決定し、複素相関を前記第1の間において算出及び平均するように構成され、前記相関の絶対値が保存され、前記位置検出要素がさらに、
    位置決めされるべき物体が前記検出エリアに置かれている第2の間に、前記第2の間に取得された相関結果の第2の絶対値を決定し、前記第2の絶対値から前記保存された絶対値を減算して、補正された絶対相関を決定し、
    前記補正された絶対相関を用いて、前記反射信号の到着時間を抽出するように構成される、小空間位置決めのための方法。
  32. 前記位置検出要素は、第1の受信要素における到着時間軌跡が、前記第1の受信要素における到着時間軌跡と類似した第2の受信要素における到着時間軌跡より前に現れるとき、前記第1の受信要素から前記第2の受信要素への方向での前記物体の動きを識別するようにさらに構成される、請求項1に記載のシステム。
  33. 前記位置検出要素が、手で行われるジェスチャーを検出するようにさらに構成される、請求項1に記載のシステム。
  34. 前記位置検出要素が、指の追跡を行うようにさらに構成される、請求項33に記載のシステム。
  35. 前記位置検出要素が、絶対相関の減算を用いて環境からの静的反射に対応する信号を取り除くように構成される、請求項1乃至6のいずれか1項に記載のシステム。
JP2013539396A 2010-11-16 2011-11-16 超音波反射信号に基づく物体位置推定のためのシステム及び方法 Expired - Fee Related JP5865914B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41400410P 2010-11-16 2010-11-16
US61/414,004 2010-11-16
PCT/IL2011/000884 WO2012066541A2 (en) 2010-11-16 2011-11-16 System and method for object position estimation based on ultrasonic reflected signals

Publications (2)

Publication Number Publication Date
JP2014500492A JP2014500492A (ja) 2014-01-09
JP5865914B2 true JP5865914B2 (ja) 2016-02-17

Family

ID=45524905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013539396A Expired - Fee Related JP5865914B2 (ja) 2010-11-16 2011-11-16 超音波反射信号に基づく物体位置推定のためのシステム及び方法

Country Status (6)

Country Link
US (1) US9810784B2 (ja)
EP (2) EP2641105B1 (ja)
JP (1) JP5865914B2 (ja)
KR (1) KR20130137005A (ja)
CN (2) CN103229071B (ja)
WO (1) WO2012066541A2 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201106971D0 (en) * 2011-04-27 2011-06-08 Elliptic Laboratories As Interaction surfaces
US10459579B2 (en) * 2011-06-13 2019-10-29 Elliptic Laboratories As Touchless interaction
MX2013014835A (es) 2011-06-27 2014-03-27 Trilithic Inc Metodo para detectar fugas en sistemas digitalmente modulados.
US9363386B2 (en) * 2011-11-23 2016-06-07 Qualcomm Incorporated Acoustic echo cancellation based on ultrasound motion detection
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9575590B2 (en) 2012-11-27 2017-02-21 Beijing Lenovo Software Ltd Input method and input apparatus
CN104422920B (zh) * 2013-09-06 2017-05-24 联想(北京)有限公司 终端设备及其信号调制方法
KR20140113832A (ko) * 2013-03-15 2014-09-25 현대자동차주식회사 자동차의 음성 전달 시동장치 및 시동방법
CN103402156B (zh) * 2013-07-25 2016-05-25 瑞声科技(南京)有限公司 声学系统
JP6146228B2 (ja) 2013-09-17 2017-06-14 株式会社Soken 物体検知装置及び物体検知システム
EP3055708A2 (en) * 2013-10-09 2016-08-17 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US20150102994A1 (en) * 2013-10-10 2015-04-16 Qualcomm Incorporated System and method for multi-touch gesture detection using ultrasound beamforming
CN104569956B (zh) * 2013-10-12 2018-05-04 中兴通讯股份有限公司 一种测距方法及设备
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9918213B2 (en) 2014-05-07 2018-03-13 DewMobile Inc. Discovery and networking of proximate wireless devices by acoustic messaging
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
JP6272154B2 (ja) * 2014-06-10 2018-01-31 Kddi株式会社 音波受信時刻算出装置、方法及びプログラム並びに当該装置を備える距離推定システム
CN104101879B (zh) * 2014-06-29 2016-08-03 湖北汽车工业学院 基于超声波的车辆空间定位方法及系统
US20160044394A1 (en) * 2014-08-07 2016-02-11 Nxp B.V. Low-power environment monitoring and activation triggering for mobile devices through ultrasound echo analysis
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
DE102014014449A1 (de) * 2014-09-26 2016-03-31 Giesecke & Devrient Gmbh Verfahren und Sicherheitsmodul zum Empfang von zwei Signalen
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9983300B2 (en) * 2014-10-17 2018-05-29 Qualcomm Incorporated Systems, methods, and apparatus for living object protection in wireless power transfer applications
US11079468B2 (en) * 2014-12-15 2021-08-03 Courtius Oy Detection of acoustic events
CN104703104A (zh) * 2015-03-31 2015-06-10 歌尔声学股份有限公司 压电受话器和超声波发生器复合结构
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US9995647B2 (en) * 2015-09-30 2018-06-12 General Monitors, Inc. Ultrasonic gas leak location system and method
US20170168158A1 (en) * 2015-10-02 2017-06-15 Sound Solutions International Co., Ltd. Ultrasonic noise based sonar
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105243316B (zh) * 2015-10-15 2018-01-26 广东欧珀移动通信有限公司 一种移动终端解锁的方法及装置
CN105548992B (zh) * 2015-12-07 2018-07-24 天津工业大学 一种全数字式主动声纳发射机及声纳发生方法
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
JP2017181318A (ja) * 2016-03-30 2017-10-05 Toto株式会社 センサ装置、及び、それを備えたトイレ装置。
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US11125553B2 (en) * 2016-06-24 2021-09-21 Syracuse University Motion sensor assisted room shape reconstruction and self-localization using first-order acoustic echoes
WO2018004369A1 (ru) * 2016-07-01 2018-01-04 Шлюмберже Канада Лимитед Способ и система для обнаружения в скважине объектов, отражающих гидравлический сигнал
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
FR3054325B1 (fr) * 2016-07-21 2019-08-16 Centre National De La Recherche Scientifique - Cnrs - Procede et dispositif acoustique pour mesurer des mouvements de surface.
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
CN106162478B (zh) * 2016-08-16 2019-08-06 北京小米移动软件有限公司 麦克风优选方法及装置
CN106291489B (zh) * 2016-08-23 2019-03-01 中国人民解放军国防科学技术大学 适用于多种发射信号波形的合成孔径雷达回波仿真方法
JP2018072318A (ja) * 2016-10-20 2018-05-10 三星電子株式会社Samsung Electronics Co.,Ltd. 超音波移動体検出装置、超音波移動体検出方法及び超音波移動体検出プログラム
KR102547936B1 (ko) * 2016-10-20 2023-06-27 삼성전자주식회사 초음파를 이용하여 대상체에 관한 정보를 검출하는 방법 및 이를 위한 전자 장치
US11181636B2 (en) 2016-10-20 2021-11-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of detecting information about target object by using ultrasound waves
GB201703647D0 (en) * 2017-03-07 2017-04-19 Sonitor Technologies As Ultrasound position-determination system
US10627479B2 (en) * 2017-05-17 2020-04-21 Zerokey Inc. Method for determining the position of an object and system employing same
CN107194896B (zh) * 2017-06-05 2019-12-17 华中科技大学 一种基于邻域结构的背景抑制方法和系统
CN109343049B (zh) * 2017-11-10 2022-04-26 毫末智行科技有限公司 跟踪可移动目标的方法和装置
JP7119369B2 (ja) * 2017-12-21 2022-08-17 株式会社アイシン 距離計測装置
EP3502741B1 (en) 2017-12-21 2022-04-06 Aisin Corporation Obstacle detection sensor
JP7040766B2 (ja) * 2018-03-29 2022-03-23 株式会社ブイ・テクノロジー 超音波距離測定装置及び超音波距離測定方法
US11733377B2 (en) 2018-05-07 2023-08-22 Texas Instruments Incorporated Time of flight and code signature detection for coded ultrasonic transmission
DE102018113112A1 (de) * 2018-06-01 2019-12-05 USound GmbH Verfahren zum Betreiben einer Lautsprechereinheit sowie eine Lautsprechereinheit
US11644555B2 (en) 2018-07-27 2023-05-09 Texas Instruments Incorporated Threshold generation for coded ultrasonic sensing
WO2020041563A1 (en) * 2018-08-23 2020-02-27 Board Of Regents, The University Of Texas System Controlling a device by tracking movement of hand using acoustic signals
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
CN109602444A (zh) * 2018-12-06 2019-04-12 余姚市华耀工具科技有限公司 肾脏缺失验证机构
EP3897391B1 (en) * 2018-12-18 2023-11-15 Insightec Ltd. Echo-based focusing correction
US11099268B2 (en) * 2018-12-19 2021-08-24 GM Global Technology Operations LLC Doppler ambiguity resolution via high order phase terms
US20200225345A1 (en) * 2019-01-11 2020-07-16 Texas Instruments Incorporated Coded ultrasonic sensing with staggered bursts
CN109871122B (zh) * 2019-01-18 2023-01-10 深圳大学 一种智能电子设备的水下操控系统及其操控方法
US10900990B2 (en) 2019-03-21 2021-01-26 Rosemount Aerospace Inc. Acoustic air data sensing systems with skin friction sensors
CN110031827B (zh) * 2019-04-15 2023-02-07 吉林大学 一种基于超声波测距原理的手势识别方法
WO2020233798A1 (en) * 2019-05-21 2020-11-26 Proceq Sa Ultrasound detection using phase information
US11308733B2 (en) * 2019-08-05 2022-04-19 Bose Corporation Gesture detection using ultrasonic clicks
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN114746021A (zh) * 2019-12-04 2022-07-12 捷锐士阿希迈公司(以奥林巴斯美国外科技术名义) 外科手术导引探针
CN111044998B (zh) * 2019-12-30 2024-04-23 联想(北京)有限公司 信号处理的方法、装置、电子设备和介质
CN112180378B (zh) * 2020-09-28 2024-04-02 北京小米松果电子有限公司 设备间距离确定方法、装置及存储介质
CN114500707A (zh) * 2020-10-26 2022-05-13 维沃移动通信有限公司 电子设备和电子设备的发声方法
NO346569B1 (en) * 2021-03-08 2022-10-17 Elliptic Laboratories As Proximity detection for computers or screens
EP4419869A1 (en) * 2021-10-22 2024-08-28 Evident Scientific, Inc. Ultrasonic remote condition monitoring system
EP4170382B1 (en) * 2021-10-24 2023-12-20 Tata Consultancy Services Limited System and method for acoustic based gesture tracking and recognition using spiking neural network
FR3129751B1 (fr) * 2021-11-30 2024-04-12 Vitesco Technologies Procédé de détection de geste, destiné notamment au pilotage d’un ouvrant de véhicule automobile
US12044810B2 (en) 2021-12-28 2024-07-23 Samsung Electronics Co., Ltd. On-device user presence detection using low power acoustics in the presence of multi-path sound propagation
JP2023125321A (ja) * 2022-02-28 2023-09-07 ミネベアミツミ株式会社 レーダー装置および受信信号処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4159462A (en) * 1977-08-18 1979-06-26 General Electric Company Ultrasonic multi-sector scanner
JPS63233336A (ja) 1987-03-20 1988-09-29 Noritoshi Nakabachi 音速測定方法およびその装置
JP2718222B2 (ja) * 1989-11-24 1998-02-25 ダイキン工業株式会社 距離測定方法、その装置および相対位置測定装置
JP3073998B2 (ja) 1990-03-15 2000-08-07 オリンパス光学工業株式会社 レンズ系の偏心量測定装置
FI982603A (fi) * 1998-12-02 2000-06-03 Leonid Mihaljov Laser-mittauksen epätarkkuutta pienentävä mittausmenetelmä
JP2000267798A (ja) 1999-03-19 2000-09-29 Ricoh Co Ltd 座標入力/検出装置
DE10027828A1 (de) * 2000-06-05 2001-12-06 Sonem Gmbh Aktives Ultraschall-Sichtgerät
JP2002143160A (ja) 2000-11-09 2002-05-21 Fukuda Denshi Co Ltd 超音波診断装置
JP2002244814A (ja) 2001-02-19 2002-08-30 Ricoh Co Ltd マルチディスプレイシステム
US6492938B1 (en) * 2002-02-11 2002-12-10 Delphi Technologies, Inc. Method of associating target data in a multi-slope FMCW radar system
KR100974022B1 (ko) 2002-04-15 2010-11-15 에포스 디벨롭먼트 리미티드 위치 결정 데이터를 얻기 위한 방법 및 시스템
KR101031692B1 (ko) * 2002-12-18 2011-04-29 파나소닉 주식회사 무선 통신 장치, 무선 통신 방법, 안테나 장치 및 제 1듀플렉서
JP2005141542A (ja) * 2003-11-07 2005-06-02 Hitachi Ltd 非接触入力インターフェース装置
US7711329B2 (en) 2003-11-12 2010-05-04 Qualcomm, Incorporated Adaptive filter for transmit leakage signal rejection
CN100594392C (zh) * 2004-04-20 2010-03-17 皇家飞利浦电子股份有限公司 多区彩色多普勒波束发射方法
NZ551334A (en) 2004-05-17 2008-07-31 Epos Technologies Ltd Acoustic robust synchronization signalling for acoustic positioning system
ATE542305T1 (de) 2004-11-15 2012-02-15 Qualcomm Inc Adaptives filter zur sendelecksignalsperrung
JP5539620B2 (ja) 2004-12-21 2014-07-02 エリプティック・ラボラトリーズ・アクシェルスカブ オブジェクトを追跡する方法及び追跡装置
JP4633565B2 (ja) * 2005-07-19 2011-02-16 株式会社日立製作所 河川データ測定方法及び装置
US7414705B2 (en) 2005-11-29 2008-08-19 Navisense Method and system for range measurement
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
WO2008105742A1 (en) * 2007-02-28 2008-09-04 Agency For Science, Technology And Research A leakage suppressing circuit
US8036623B2 (en) 2007-03-13 2011-10-11 Qualcomm, Incorporated Wireless receiver with notch filter to reduce effects of transmit signal leakage
AU2008231407B2 (en) * 2007-03-27 2012-05-17 Qualcomm Incorporated System and method for positioning
JP5589547B2 (ja) 2010-05-13 2014-09-17 セイコーエプソン株式会社 光学式検出装置、表示装置及び電子機器
CN101951241B (zh) * 2010-09-15 2014-04-09 中兴通讯股份有限公司 实现射频泄漏对消的装置及方法和射频识别阅读器

Also Published As

Publication number Publication date
CN105242258A (zh) 2016-01-13
WO2012066541A2 (en) 2012-05-24
EP2930530A1 (en) 2015-10-14
US9810784B2 (en) 2017-11-07
US20130301391A1 (en) 2013-11-14
KR20130137005A (ko) 2013-12-13
EP2641105A2 (en) 2013-09-25
EP2641105B1 (en) 2015-01-21
CN103229071A (zh) 2013-07-31
CN103229071B (zh) 2015-09-23
EP2930530B1 (en) 2019-12-25
JP2014500492A (ja) 2014-01-09
WO2012066541A3 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
JP5865914B2 (ja) 超音波反射信号に基づく物体位置推定のためのシステム及び方法
JP5331097B2 (ja) 測位のためのシステムおよび方法
Wang et al. Millisonic: Pushing the limits of acoustic motion tracking
US10996742B2 (en) Input device for AR/VR applications
Liu et al. Indoor acoustic localization: A survey
Yun et al. Strata: Fine-grained acoustic-based device-free tracking
Chen et al. EchoTrack: Acoustic device-free hand tracking on smart phones
Cobos et al. A survey of sound source localization methods in wireless acoustic sensor networks
Li et al. FM-track: pushing the limits of contactless multi-target tracking using acoustic signals
US10126406B2 (en) Method and apparatus for performing ultrasonic presence detection
KR101520554B1 (ko) 연속파 초음파 신호들을 이용한 무접촉식 감지 및 제스쳐 인식
US9152276B2 (en) Acoustic motion determination
US7724355B1 (en) Method and device for enhancing accuracy in ultrasonic range measurement
Zhang et al. Vernier: Accurate and fast acoustic motion tracking using mobile devices
WO2016176116A1 (en) Utilizing a mobile device as a motion-based controller
Cheng et al. Push the limit of device-free acoustic sensing on commercial mobile devices
US11474194B2 (en) Controlling a device by tracking movement of hand using acoustic signals
CN109871122B (zh) 一种智能电子设备的水下操控系统及其操控方法
CN114729986A (zh) 频移确定

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20140205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151021

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R150 Certificate of patent or registration of utility model

Ref document number: 5865914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees