JP4425383B2 - Sensor unit - Google Patents

Sensor unit Download PDF

Info

Publication number
JP4425383B2
JP4425383B2 JP26420699A JP26420699A JP4425383B2 JP 4425383 B2 JP4425383 B2 JP 4425383B2 JP 26420699 A JP26420699 A JP 26420699A JP 26420699 A JP26420699 A JP 26420699A JP 4425383 B2 JP4425383 B2 JP 4425383B2
Authority
JP
Japan
Prior art keywords
sensor
gyro
movement
controller
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP26420699A
Other languages
Japanese (ja)
Other versions
JP2001091289A (en
Inventor
通保 田野
Original Assignee
株式会社データ・テック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社データ・テック filed Critical 株式会社データ・テック
Priority to JP26420699A priority Critical patent/JP4425383B2/en
Priority to TW90106090A priority patent/TW479132B/en
Publication of JP2001091289A publication Critical patent/JP2001091289A/en
Application granted granted Critical
Publication of JP4425383B2 publication Critical patent/JP4425383B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、人間、ロボット、車両、航空機等の被検体の姿勢、動き成分、位置等を複合的に検出し、必要に応じて他の検出データに基づいて計器の誤差分を自律的に補正することにより高精度の検出結果を恒常的に得る、センサユニットに関する。
【0002】
【発明の背景】
被検体の姿勢や動きを検出し、この検出結果と映像の表現データとを実時間でリンクさせることにより、被検体の姿勢等に応じた映像を表示手段に表示させる技術がある。このような技術において、被検体の姿勢や動きを検出する場合、従来は、主として以下の二つの方式が採用されている。
第1の方式は、角速度を検出するジャイロセンサと加速度を検出する加速度計とをそれぞれ二次元又は三次元の軸線上に配置したセンサユニットを用い、このセンサユニットを取り付けた被検体の姿勢や動きを検出する方式である。
第2の方式は、三次元的な微弱磁場を発磁コイルから発生し、その磁場の変化を磁力センサを用いて被検体の姿勢等を検出する方式である。この方式では、磁場の影響が及ぶ数メートル範囲での方向及び場所でセンシングすることになる。
【0003】
しかしながら、従来方式には、以下のような問題点があった。
第1の方式では、ジャイロセンサが早い動きに追随できる利点はあるが、センサ特有のドリフトが発生しやすく、被検体の向きに対して高精度の検出ができない。ジャイロセンサでは、検出した角速度を積分して角度に変換することになるため、僅かな誤差でもそれが累乗に蓄積されることになる。このような誤差の原因としては、電気回路部の温度特性の変化によるものがある。これは、抵抗やアンプなどの温度により特性の変化を拾ってしまい、それが検出データのドリフトとして現れるのである。また、ジャイロセンサの特性によるものがある。この種のジャイロセンサとしては振動型のものが主流であるが、使用に際して剛体が振動するため、安定振動にいたるまでに時間を要し、それがドリフトとして現れるのである。このようなドリフトの発生は、ジャイロセンサを採用する以上、不可避となる。ジャイロセンサは、このドリフトを自律的に補正することができないため、例えば被検体が正面を向いたことを感知できる赤外線センサ等を利用したリファレンス装置を用いて補正していくことになる。このようなリファレンス装置は、設置場所が固定されるのが通常なので、ドリフト補正を逐次行おうとするとセンサユニットの使用範囲が限定されてしまい、野外での使用や携帯しての使用は不可能である。
【0004】
第2の方式では、外乱の影響を受けやすいため様々なフィルタリング処理が必要となり、微弱磁場を利用することとも相まって、検出結果を画定するまでに要する時間が長いという問題がある。つまり、応答性が悪いという問題である。この結果、被検体の実際の動きを実時間で出力することができず、一定の時間経過後に出力されることになり、実時間処理を要する用途には不向きとなる。磁場を強くしてノイズに強くすれば応答性はある程度解決するが、被検体が人間の場合、磁場の人体への悪影響の心配や、医療分野のおいて心臓のペースメーカーへの影響などで、磁場を極力弱くすることが市場から要求されており、この時間的な遅れの解決は不可能に近いといえる。第2の方式では、発磁コイルを設置することから限られた場所内で被検体の姿勢等を計測することになり、第1の方式の場合と同様、自由な空間でのセンシングが不可能である。
【0005】
本発明は、以上の背景に鑑み、使用する環境に依存せず、姿勢等の高精度のセンシングを可能にするセンサユニットを提供することにある。
【0006】
【課題を解決するための手段】
本願出願人は、従来は存在しない人間の知覚動作を模擬することができるセンサユニットを構成することで、上記課題の解決を図るものである。
【0007】
−第1のセンサユニット−
第1のセンサユニットは、自己の姿勢及び動きを検出する第1センサと、自己の視野にある物体の相対姿勢及びその動きを検出する第2センサと、これらのセンサの動作を制御するとともに各センサの検出結果に基づく処理を行うコントローラとを所定の筐体に収容して成り、前記コントローラが、各センサによる検出結果を実時間で受け入れ、これらの検出結果を所定のメモリ領域上に形成された情報空間内に更新自在に記録し、前記第2センサにより前記物体の相対姿勢及び動きの変化が検出されたときは、前記第2センサの検出結果と前記情報空間内に記録されている第1センサの検出結果とを比較することにより、前記変化が、前記筐体と前記物体のどちらが動いたことにより発生したかを判定するように構成されているものである。
【0008】
ある実施の形態では自己の周辺に存する音源の存在を検出する第3センサをさらに備えており、前記コントローラは、この第3センサから出力されるデータに基づいて前記情報空間に記録されている第1センサ又は前記第2センサの検出結果を補完する。
【0009】
ある実施の態様では、前記第1センサは、前記筐体における複数次元の軸線回りの角速度を計測するための複数のジャイロセンサを含むものであり、前記第2センサは、前記物体を含む画像を取り込む画像取込手段と、取り込んだ画像から前記物体の角速度を演算により導出可能な演算手段とを有するものであり、前記コントローラは、前記第1センサで計測された角速度を前記第2センサによる前記演算に要する時間分だけ積算することにより前記第2センサにより演算される角速度を予測するとともに、前記第2センサによる演算の後に、当該予測された値と前記演算の結果とを比較し、両者の差分が予め定めた所定範囲外のときは前記第1センサで計測された角速度を計測データとして採用し、他方、両者の差分が前記所定範囲内のときは前記第2センサで演算された角速度を計測データとして採用するとともに前記第1センサにより計測された角速度を前記差分で補正する。
また、ある実施の態様では、前記第1センサは、前記筐体における複数次元の軸線回りの角速度を計測するための複数のジャイロセンサを含むものであり、前記コントローラは、前記第2センサで動きが検出されておらず、且つ、前記ジャイロセンサで計測された角速度が0のときは、前記ジャイロセンサ及び前記第2センサの計測結果を初期値にし、一方、前記第2センサで動きが検出されておらず、且つ、前記ジャイロセンサで計測された角速度が有限値のときは、当該有限値を0に補正する。
【0010】
構成を簡略化する観点からは、第2センサとして、目標物を映し出す手段と前記目標物の画像輪郭を抽出してその画像輪郭の動き成分を演算によって導出する手段とを1チップ化した人工網膜ICを用いる。
【0011】
第3センサは、例えば、音信号の強度を計測する1又は複数の指向性マイクを含む音響センサであり、同一の音源からの音信号の強度を異なる角度から計測することで自己に対する当該音源の方向を検出するものである。
【0012】
なお、絶対位置を検出するGPSセンサと絶対方位を検出する方位センサの少なくとも一方を前記筐体にさらに収容してセンサユニットを構成し、前記コントローラが、これらのセンサにより検出された情報を考慮して前記筐体の現在位置を導出するようにしても良い。
【0013】
−第2のセンサユニット−
第2のセンサユニットは、センシング対象となる被検体に取り付けられ、前記被検体の姿勢及び動きを検出する第1センサと、前記被検体に取り付けられ、当該被検体から見た物体の相対姿勢及びその動きを検出する第2センサと、各センサの動作を制御するとともに各センサから取得した検出結果に基づく情報処理を行うコントローラとを有し、該コントローラが、各センサによる検出結果を実時間で受け入れ、これらの検出結果を所定のメモリ領域上に形成された情報空間内に更新自在に記録するとともに前記第2センサにより前記物体の相対姿勢及び動きの変化が検出されたときは、前記第2センサの検出結果と前記第1センサの検出結果とを前記情報空間内で比較することにより、前記変化が、前記被検体と前記物体のどちらかが動いたことにより発生したかを判定するように構成されているものである。
【0014】
ある実施の態様では、前記被検体は、自己の動作姿勢又は動きを制御する主制御手段を有するものであり、前記コントローラは、前記変化の判定結果を前記主制御手段に伝えるように構成されている。この場合の被検体は、例えば自律歩行型のロボット、飛行体、車両等である。
【0015】
この第2のセンサユニットの好ましい実施の形態としては、前記コントローラ、各センサから実時間で出力されるデータに基づいて、検出結果を予測し、実際の検出結果が前記予測された検出結果とが合致しなかった場合に、前記被検体の近傍に前記物体が存在すると認識するように構成する。また、前記被検体の周辺の音源の存在を検出する第3センサ、前記被検体の絶対位置を検出する第4センサ、基準方位に対する前記被検体の方位を検出する第5センサの少なくとも一つをさらに備えるようにし、前記コントローラが、第3、第4又は第5のセンサから出力されるデータで、前記第1センサ又は前記第2センサから出力されるデータを補完するように構成する。
【0016】
【発明の実施の形態】
以下、本発明を人間の知覚動作を模擬するセンサユニットに適用した場合の実施の形態を説明する。
図1(a)は人間の知覚を示す説明図である。人間の知覚は、平行感覚を司る三半規管1、視覚を司る目2、聴覚を司る耳3、及びこれらの器官を統括的に管理する頭脳4の相互作用によって実現される。
【0017】
三半規管1は、自己の相対的な姿勢やその動き、方向を感知するものであり、その原理は、水成分の動きから頭の前後左右の傾き度合いや方向を感知するというものである。しかし、三半規管1のみでは、例えば暗い部屋で何回か回転すると目的とする方向を見失ってしまったり、目をつぶりながら片足で立ち続けることができずに目をあけてしまったり、両足で立ってしまうことがある。このような場合、絶対的な方向や傾斜は、目2からの視覚情報や耳3からの音源情報で補完される。
【0018】
目2は、自己の姿勢や周囲の事物に対する自己の相対位置、自己の動き、相手との相対速度、相手との距離等を感知するが、目2からの情報のみでは、自己や相手の速い動きに対応しにくかったり、暗い状態では感知精度が低いことは良く経験するところである。このような場合、三半規管1及び耳3からの情報によって感知情報が補完される。
【0019】
耳3は、音源の存在や、その音源と自己との距離・方向等を感知するが、耳3からの情報のみでは感知精度が低いため、やはり、目2や三半規管1からの情報によって感知精度の補完が行われる。
【0020】
頭脳4は、三半規管1、目2、耳3からの情報に基づいて情報相互の補完や事象の発生確認、その他の判断を行う。例えば現在又は過去の視覚情報及び音情報をもとに、自己の周辺の事物の存在や配置等を空間的に認識する。人が肩を叩かれたときに振り向くことが出来るのは、後ろに障害になる物が無いことを知っているからである。つまり、頭脳4は、現在認識されるいる情報のみに基づくのではなく、事前に取得してある情報をも加味することによって常に空間的に存在する情報を整理しておくのである。このようにして、自己の動きにあった空間を作りだし、人は安心して歩行できる。
【0021】
このような人間の知覚と等価の機能を実現するため、本実施形態では、図1(b)のような構成のセンサユニットを構成する。
このセンサユニットは、可搬性の筐体に、頭脳4に相当するコントローラ5、三半規管1に相当するジャイロユニット6、目2に相当する人工網膜IC7、耳に相当する音響センサ8、及び、D‐GPS9(differential‐globalpositioning systemの略称である。)、及びこれらの電源(図示省略)を装着して構成される。
【0022】
ジャイロユニット6は、複数のジャイロセンサ及び加速度計を含んで成り、これらの計器によって、筐体の姿勢やその動きを検出するものである。
ジャイロセンサは、筐体内に形成されるX,Y,Z軸(ピッチ、ロール、ヨー)又はX,Y軸上に配置され、各軸線回りの角速度を計測する。加速度計は、X,Y,Z軸又はX,Y軸上に配置され、軸線傾斜による重力加速度と運動加速度との和を計測する。本実施形態では、ジャイロセンサは筐体の旋回角度を含む姿勢の計測に利用し、加速度計は、筐体の加速・停止加速度の計測、旋回による横加速度等の計測に利用する。この計測により得られたデータ(以下、この実施形態では「計測データ」と称する)は、必要に応じて増幅器(図示省略)によって増幅され、時系列にコントローラ5に出力されるようになっている。なお、方位計を含んでジャイロユニットを構成しても良い。この場合は、上記計測データに絶対方位に対する筐体の相対方位を表すデータが付加される。
【0023】
ジャイロセンサは、温度変化がその計測データに影響を与える場合があるので、寒冷地方や温暖地方で使用する場合は、計測データを温度係数で補正する温度補正手段を付加することが望ましい。
ジャイロユニット(特にジャイロセンサ)6は、筐体の動きにダイレクトに反応して計測データを出力することができ、しかも軸線回りの動き成分に基づいて計測データを出力するものであるから高周波の動きに対しては精度が高いが、軸線回りの動きが少ない場合、つまり低周波の動きに対しては精度を確保することが比較的困難である。また、ジャイロセンサについては、前述のように計測データにドリフト成分が蓄積されるという本質的な問題がある。
【0024】
人工網膜IC7は、筐体の周囲における目標物の存在を認識し、認識した目標物の位置関係や自己又は目標物の動き成分を検出するセンサである。人工網膜IC7は、例えば特開平10−340349号公報に開示されたものを用いることができる。この開示された人工網膜ICは、CCD(charge coupleddevice)の機能や画像の輪郭抽出機能などを選択することができ、ロジックゲートアレイで画像入力のためのクロックを生成し、内容で処理した結果をチップ内メモリに記憶できるようなものである。
【0025】
本実施形態では、この人工網膜IC7を用いて自己の視野にある目標物を動画として映しだし、これにより得られたそれぞれの画像の輪郭情報を抽出するとともに、抽出した輪郭情報の差分から自己に対する目標物の相対的な動き成分を表す物理量、具体的には角速度、速度、移動方向、移動量、移動後の方位等の演算を行う。そのために、まず自己と目標物との間で発生する動きベクトルを検出する。
図2は、人工網膜IC7における動きベクトルの検出手順を示した図であり、図3はその概念図である。
人工網膜IC7では、図2に示されるように、まず、目標物を映した動画から1画面分の画像を入力し、その目標物の画像の輪郭情報を抽出する(ステップS101、S102)。図3(a)はこの処理を概念的に示したものである。抽出された1画面分の輪郭情報は、図3(b)のような形態で図示しないチップ内メモリに記録される(ステップS103)。
一定時間経過後、同一目標物を同じ角度で映し出し、同様の処理を行う。ここでは、直前に映した画像を前回画像、その後に映した画像を今回画像とすると、図3(c)のように、前回画像の輪郭情報と今回画像の輪郭情報の特定部位を基準として、量及び方向をパラメータとするベクトル成分を論理演算によって抽出することができる。例えば前回画像の輪郭情報(ドット)と今回画像の輪郭情報(ドット)の排他的論理和を判定することで、移動したドットのみを抽出することができる。人工網膜IC7では、このベクトル成分をその画像についての動きベクトルとして検出する(ステップS104,S105)。
【0026】
移動ベクトルの検出に際しては、目標物の移動速度を予測して移動したドットの探索範囲を決めていく。探索範囲では、最初に横方向に移動して探索範囲をスキャンし、次に上下方向に移動して探索範囲をスキャンする。そして、探索できたドットの色情報を参照し、それが特定部位のドット(起点ドット)のものと同様であれば、そのドットを移動先ドットとする。
以上は目標物が動いている場合の手順であるが、目標物自体は動かず、人工網膜IC7が動いている場合もほぼ同様の手順で動きベクトルを検出することができる。
【0027】
この人工網膜IC7は、機能的には、CCDと画像処理手段とを組み合わせたものであるが、本実施形態では、上記のように目標物の動きベクトルを検出できれば足りるので、目標物の画像の輪郭情報に基づく動き成分を簡易に抽出できる人工網膜ICを用いることとしたものである。従って、同機能をもつセンサでこれを代用することを否定するものではない。
【0028】
人工網膜IC7は、単独でも使用可能であるが、人間の目のように二つの人工網膜IC7を所定間隔で併設し、同一目標物の動き等を二つの人工網膜IC7で同時に検出するような形態も可能である。このようにすれば、各人工網膜IC7のチップ内メモリに記録される目標物の輪郭情報の相対位置からセンサユニットからその目標物までの距離を演算できるようになる。車両に搭載する場合には、車間距離計として利用することができる。
【0029】
人工網膜IC7は、実際に映しだした目標物の画像に基づいて動き成分を演算するため、低周波の動きに対しては検出精度が高いが、画像処理を行うことから2値化処理を伴い、また、通常は目標物の位置の相対変化等を認識する処理が伴うため、目標物の高周波の動きに対して精度を高く維持することは困難である。
【0030】
音響センサ8は、同一音源からの音信号を複数の方向から計測し、計測された音信号の到達時間差からその音源の方向を特定できるようにしたセンサである。音響センサ8の具体的な構成としては、音源からの音信号を検出する指向性マイクとこの指向性マイクで受信した音信号から特定周波数、例えば50〜100Hzの低周波領域の音信号を抽出し、抽出した音信号の到達時間差から音源方向を特定するための演算処理を行う処理手段を含んで構成する。人間の耳のように、2つの指向性マイクを一定間隔で配置し、この2つの指向性マイクに同時に入力された音信号の到達時間差から音源方向を特定できるようにしても良い。なお、処理手段では、上記低周波領域の音の強度変化パターンをバンドパスフィルタで切り取り、その切り取ったパターンとそのときの音源の方向とを記憶しておいて、同様のパターンが発生したときにその方向の角度を参考値にするようにして処理の効率化を図ることも可能である。
【0031】
D‐GPS9はGPSの一種であり、GPS信号をGPEX(衛星測位情報センタ)の固定基準局で受信し、誤差を計算した後、補正データをFM多重放送で送信するシステムであり、自己の絶対位置や速度をワールド座標系でコントローラ5に出力するものである。このD−GPS9は、一般のGPSに比べて10倍以上の検出精度が得られることは良く知られている。
【0032】
コントローラ5は、例えばROM等に記録された所定のプログラムをCPUが読み込んで実行することにより形成されるもので、各センサ6〜9の動作を制御することを主たる機能とするが、各センサ6〜9からの計測データをRAM等の内部メモリに形成される情報空間に統合化する機能、統合された計測データをもとに各センサ6〜9の利点を引き出し、弱点については他のセンサの計測データで補正する機能、時々刻々センスされ、統合される計測データに基づいて次の計測データを予測し、この予測値に対して合理性のある(ある許容範囲内の)結果から自己(センサユニット)の動きや目標物の動きを認識する機能を有するものである。
内部メモリの情報空間には、例えば−180〜0〜+180のように360度に渡る各センサ6〜9の計測結果を時間情報と共に随時更新自在に記録されるようになっており、これによって、空間的、時間的なデータの統合、及び統合されたデータを利用したデータ予測その他の判断処理を可能にしている。
【0033】
次に、本実施形態によるセンサユニットの動作を説明する。このセンサユニットでは、人間の三半規管を模擬した三半規管動作、視覚を模擬した視覚動作、聴覚を模擬した聴覚動作を行う。
<三半規管動作>
センサユニットにおける三半規管動作は、主としてジャイロユニット6の計測データに基づいて、筐体、筐体取付体等の被検体の姿勢(傾き、向き等)及びその動きをコントローラ5を通じて認識することにより実現される。但し、ジャイロユニット6のみでは、センサユニットを取り付けた被検体が、例えば電源断後再立ち上げ後に何回か回転したときに、その被検体の正しい姿勢を確定することが困難となる場合がある。このような場合を想定し、本実施形態では、三半規管動作を模擬するためのデータについては、人工網膜IC7より得られた視覚情報、人工網膜IC7からの計測データに基づいて演算された物理量の情報、音響センサ8によって検出された情報やそれに基づく物理量の情報で補完するようにしている。また、動きの度合い(検出周波数)によっては、ジャイロユニット6の計測データに代えて、人工網膜IC7からの計測データを用いる。
【0034】
<視覚動作>
センサユニットにおける視覚動作は、主として人工網膜IC7の計測結果に基づいて、目標物の存在、被検体自体又は目標物の相対的な動き、被検体の姿勢や位置、向きをコントローラ5を通じて認識することにより実現される。但し、人工網膜IC7のみでは、被検体や目標物の速い動きに対応しにくかったり、夜間等の暗い環境では、目標物や被検体の絶対的な位置や姿勢等を正しく認識できなかったりする。このような場合を想定し、本実施形態では、速い動きの場合にはジャイロユニット6の計測データに基づく姿勢や向きの情報で人工網膜IC7による検出結果を補完し、位置や方位については、音響センサ8によって検出された情報やそれに基づいて演算された物理量の情報、D−GPS9によって検出された位置情報で補完する。
【0035】
<聴覚動作>
センサユニットにおける聴覚動作は、主として音響センサ8の計測結果に基づいて被検体の向きや音源までの距離をコントローラ5を通じて認識することにより実現される。但し、音響センサ8からの情報のみでは、音信号の強度が弱すぎたり、音源に対する2方向の角度が小さい場合には精度を十分に確保することができない場合がある。一方、音源の方向を検出する際に、人工網膜IC7で実際に映しだした画像をもとに音源の方向を予測することによって、音源方向の探索に要する時間の短縮化が可能になる。そこで、本実施形態では、人工網膜IC7により検出された情報を聴覚動作の補完に用いる。
【0036】
<コントローラによる統合処理>
上記の三半規管動作、視覚動作、聴覚動作は、センサユニットのコントローラ5が各センサ6〜9から時々刻々収集した情報をメモリ領域に空間的、時間的にそれぞれ更新自在に統合的に記録しておき、これらの情報に基づいて情報相互の補完、予測等を行うことによって実現される。
コントローラでは、上記各動作のサポートのほか、被検体の周辺で発生した事象の認識その他の各種判断処理を行う。以下、各処理の内容を詳細に説明する。
【0037】
人工網膜IC7で画像処理を通じて目標物の動きを検出(演算)する場合、入力された目標物の映像の動きが自己が動いた結果なのか、目標物が動いた結果なのかを区別する必要がある。コントローラ5は、この場合の判定に、ジャイロユニット6の計測データを利用する。図4(a)は、人工網膜IC7自身が目標物(楕円で図示)41に向かって前進している場合の映像例、図4(b)は、人工網膜IC7は移動せず、目標物41が図中央から左側に動く場合の例である。 図4(a)において、目標物41は、人工網膜IC7が前進するにつれて大きくなるが、ジャイロユニット6の角速度は変化していない。この場合、人工網膜IC7が移動していることを示す映像であると認識できる。他方、図4(b)において、目標物41は大きさが同一のまま左側に移動しているが、ジャイロユニット6の角速度は変化しない。このような場合、目標物41が動いているという認識ができる。
【0038】
また、人工網膜IC7と目標物とが共に動く場合もジャイロユニット6の検出結果を利用して実際の動き成分を正確なものに補正することができる。例えば図5(a)のように、人工網膜IC7が固定されていることが判っているとき、動き成分があればそれは目標物が動いた結果であり、目標物における設定部位の動きベクトル51のみで目標物の動きに関する物理量を演算することができる。しかし、図5(b)のように、目標物と人工網膜IC7とが共に動いている場合(図示の場合は同一方向の移動)は、目標物についての動きベクトル52のほか、ジャイロユニットによる動き(ベクトル量)53を考慮する必要がある。図5(c)は、両ベクトルの差分54を示したものであり、この差分ベクトルが実際の動きベクトルを表すことになる。このように動きベクトルを補正することにより、動きの検出精度を高めることができる。
【0039】
ジャイロユニット6が高周波の動きに対しては精度が高く、他方、人工網膜IC7が低周波の動きに対して精度が高いことは前述のとおりである。コントローラ5では、この点に着目して、ジャイロセンサ6からの出力データのうち第1周波数帯のデータと人工網膜IC7からの出力データのうち第1周波数帯とは異なる第2周波数帯のデータとを統合し、両周波数域をカバーする統合的な計測データを得るようにする。具体的には、ジャイロユニット6の検出信号からハイパスフィルタで低周波成分を除去し、60Hz〜0.5Hz程度の信号を出力するようにし、逆に、人工網膜IC7の検出信号は、ローパスフィルタで高周波成分を除去し、0.5Hz以下の信号を出力する。そして、両信号を統合する。また、例えば60Hzでセンシングしたとすると、角速度は、ジャイロセンサ6の計測データでは60Hzで演算可能であるが、人工網膜IC7では、最大で20Hzでの演算になる。これは、人工網膜IC7では、時間的に離れた3つのポイント(三角形ポイント)の差分で角速度の演算がなされるためである。つまり、三角形の一頂点である第1ポイントと他の頂点である第2ポイントとの差分で速度を演算し、第1、第2、第3ポイントの差分で角速度を演算することになるからである。ジャイロユニット6の場合は、それぞれのポイントでの角速度演算が可能である。このように周波数特性の異なる2種類のセンサ6,7からの計測データを、それぞれの周波数特性に合ったフィルタを通してミキシングする。上記例でいえば、3つのポイントのうち1回は人工網膜IC7で計測し、その間はジャイロセンサ6で計測して両者をミキシングする。これにより、ジャイロユニット6の利点と人工網膜IC7の利点とを融合させて、精度が高い領域での計測データに基づく検出結果を得ることができる。
【0040】
ジャイロユニット6による計測データと人工網膜ICセンサ7による演算結果とを相互にリファレンスして姿勢等の検出精度を高めることもできる。図6は、この場合のコントローラ5の処理手順説明図である。コントローラ5では、ジャイロユニット6による計測データ(角速度を表すデータ)を人工網膜IC7での演算に要する時間分だけ積算(積分)し(ステップS201)、人工網膜IC7において演算される角速度を予測しておく(ステップS202)。このジャイロユニット6の計測データをもとに人工網膜IC7によって演算される角速度を予測するのは、以下の理由による。
ジャイロユニット6により得られる角速度は瞬間的な計測データを積分することにより得られるのに対し、人工網膜IC7の場合は、積分を要さずにそれがダイレクトに得られる。しかし、人工網膜IC7では、前述のように画像の2値化のための処理を伴うことから、演算までに一定の時間を要する。両者の動作が正常であった場合は結果がほぼ同じになるので問題はないが、人工網膜IC7のいて処理の誤り等があった場合には、演算結果に誤差が生じる。しかし、そのことは、実際に演算されてみて初めて判る。そこで、まずジャイロユニット6の計測データを信頼し、人工網膜IC7における演算の後に異常の有無を判定することとしたものである。
【0041】
人工網膜IC7により演算された角速度が所定の範囲外、すなわちジャイロセンサ6で予測された値を超えているかどうかを判定し、超えていた場合はジャイロユニット6による角速度を採用し(ステップS203、S204:No、S205)、ステップS201の処理に戻る。このような事態は、主として動きが高い周波数のものであった場合に生じる。
一方、両者の演算結果が所定範囲以内であった場合は、相対的に精度が高い人工網膜IC7で演算された角速度を採用する(ステップS203,S204:Yes、S206)。その後、採用された角速度とジャイロユニット6により計測された角速度との差分を求める。人工網膜IC7ではドリフト成分が発生しないので、両者に差がある場合は、その差は通常はジャイロセンサのドリフト成分である。そこで、上記差分をフィードバック補正する(ステップS208)。
【0042】
ジャイロセンサ6の計測データ及び人工網膜IC7の計測データを相互に確認することによって、ジャイロセンサのドリフト成分を補正することもできる。
ここでは、単位時間(例えば1秒)毎に人工網膜IC7及びジャイロユニット6により得られる動き成分を表す計測データがコントローラ5に入力されるものとする。コントローラ5では、人工網膜IC7で動き成分が検出されておらず、且つジャイロユニット6の角速度が0であるときは、ジャイロユニット6に誤差がないことになるので、両者の値を初期値にする。一方、人工網膜IC7では動き成分が検出されていないがジャイロユニット6の角速度が有限値であった場合は、ジャイロユニット6により得られる角速度はドリフト成分であることになるので、この有限値を0に補正する。
このように、ジャイロユニット6及び人工網膜IC7の欠点を互いの利点によってカバーしあうことができ、精度の高い姿勢検出等が可能になる。また、従来のドリフト成分の自律補正が可能なセンサユニットを構成することが可能になる。
【0043】
上述の聴覚動作によって、例えば被検体の正面からのずれ量を検出することができる。従って、人工網膜IC7等によって検出(演算)された被検体の正面方向を聴覚動作によって補完することができる。
また、音源の方向検出の応用として、単位時間における音源の移動量を音響センサ8で検出してその音源の移動速度を演算することができ、さらに、音源が固定されている状態で音源の移動成分を検出することでセンサユニットの移動の事実や移動量、移動方向等を検出することができる。前述のように、人工網膜IC7では、夜間等で目標物の動き等を正しく検出することが困難であるが、人工網膜IC7による計測と同期させて音響センサ8で音源の移動成分を検出し、その検出結果を人工網膜IC7による検出動作に反映させることで、人工網膜IC7による検出精度を高めることができる。
【0044】
ジャイロユニット6、人工網膜IC7、音響センサ8、D−GPS9からのデータに基づいてそれぞれ共通の物理量を検出することができる。例えば、ジャイロユニット6に含まれる加速度計から被検体の移動速度及び移動量を検出できるし、人工網膜IC7の動き成分を積算することでも被検体の移動量や移動速度を検出することができる。さらに、上述のように音響センサ8によっても音源又は被検体の移動速度や移動量を検出することができる。また、D−GPS9によっても速度を演算することができる。そこで、これらの共通の物理量を互いに他のセンサのものと比較し、それぞれが一定の許容範囲に入っていることを確認した上で検出結果として外部に出力するような使用形態も可能である。
また、予め物理量毎に基準となるセンサを決めておき、この基準となるセンサによる検出結果を優先的に使用する形態、あるいは優先度の高いセンサからのずれを検出して他のセンサの動作の不具合を検出するような形態も可能である。
この点については、被検体の姿勢を表すデータについても同様である。
【0045】
さらに、上記のように共通の物理量をもとに、他のセンサによる検出結果による計測結果の不具合を予測することができる。例えば、D−GPS9では衛星情報で位置等を検出するが、電波はビルディング等の反射によってマルチパス(複数経路)を発生させ、位置の情報に「飛び」が発生する。具体的には、急に200m程度位置が飛んだりする。ところが、ジャイロセンサ6に含まれる加速度データ予想される速度に比べて1秒間に200mの移動がありえなければ(予測結果が否定的であった場合)、それが明らかなマルチパスの発生であるとして、D−GPS9による計測データを無視する。
【0046】
このように、本実施形態のセンサユニットによれば、人間の知覚動作を模擬したセンシングを行い、各センサ3〜9における利点を統合し、欠点については、他のセンサでそれを補うようにしたので、従来にはない高精度のセンシングが可能になる。また、可搬性の筐体に各センサ3〜9及びコントローラ5を収容したので、使用環境に依存しないセンシングが可能になる。
【0047】
【実施例】
次に、本実施形態のセンサユニットの適用場面を具体的に説明する。
<自律歩行ロボット>
本発明のセンサユニットは、自律歩行型の二足ロボットの姿勢センサとして適用することができる。図7は、本発明のセンサユニットVをロボットWの頭部に配置した状態を示した図である。センサユニットVはロボットWの目、耳、三半規管として機能させる。つまり、人間の知覚と同様、ロボットW自身の位置、向いている方向、姿勢、動きを検出する。また、目標物との間の距離や相対的な動きを出力する。
【0048】
ロボットWは、人間と同様の歩行動作を行うために関節部分にサーボモータが設けられており、各サーボモータが主制御装置Uによって制御されるようになっている。
【0049】
主制御装置Uは、センサユニットVからの検出情報をもとに現在のロボットWの等をセンサユニットVで検出し、これらの検出情報に基づいて、該当するサーボモータの最適な制御量(目的の姿勢、移動形態を実現するための制御量)を演算する。例えば、ロボットWが水平から5度だけ傾斜していた場合、それを最適な速度で水平にするような演算を行い、所定のモデリングカーブに従う制御量を演算する。モデリングカーブは、例えばロボットWの傾斜を3秒後に水平に戻す際に、そのための角速度を直線的にするかとか、最初は早い角速度にしてその後ゆっくりにするかというような制御のタイミングを決定するためのカーブをいう。このモデリングカーブは、個々のサーボモータのトルクやロボットWの制御の場所等によって異なる。
【0050】
最適な制御量を演算した後は、モデリングカーブを所定の制御タイミング(例えば10Hz)で分割し、該当するサーボモータに駆動電力を出力する。この駆動電力の出力によってロボットWが実際に動いた量をセンサユニットVで検出してサーボモータの次の制御量を確認する、という手順を繰り返す。このようにしてロボット全体の重心を安定させながら自律歩行を実現する。
【0051】
なお、センサユニットVのコントローラでは、次の制御タイミングでの計測結果を予測し、これをロボットWの制御装置に伝える。主制御装置U側でも先に決定した最適制御量から予想される結果を予測することができるので、両者の差分が許容範囲内であれば、通常のフィードバック制御を行う。一方、両者の差分が許容範囲を超える場合は、ロボットWとセンサユニットWのいずれかに異常があるとして、制御を中止させる。
このように、本発明のセンサユニットを適用することにより、自律歩行型の二足ロボットを容易に実現できるようになる。
【0052】
<無人搬送車>
本発明のセンサユニットは、二足ロボットと同様の主制御装置Uをもって自律的に移動する無人搬送車、例えば過酷な環境や時間での物体搬送や清掃車等の知覚センサとして利用することもできる。この場合の利用形態、例えばコントローラによる制御形態は、二足ロボットの場合と同様となる。
【0053】
<飛行体>
本発明のセンサユニットは、飛行体の姿勢検出センサ、例えばラジコンで操作するヘリコプタに搭載され、そのヘリコプタの高度や姿勢等を検出するためのセンサとして利用することができる。
例えば、図8(a)〜(d)の右側に示される円内の目印の図形を着地点に記しておき、この図形の変化を検出することで、ヘリコプタの高度や姿勢等を認識することができる。この場合、ヘリコプタの動きを表す動きベクトルは、ヘリコプタ自体の移動によるものであり、着地点の図形自体は動かないので、ベクトル演算のみによって検出結果を得ることができる。
【0054】
なお、ヘリコプタに二足ロボットにおける主制御装置Uの如きものが搭載されている場合は、外部指示に応じて自律的に自己の姿勢を修正できるようになる。また、ヘリコプタでは、風、燃料消費による自重の変化等、種々の外乱が発生するが、これらの外乱を本発明のセンサユニットで検出して、その結果を飛行制御に反映させることも可能である。
【0055】
<車両>
本発明のセンサユニットは、車両に搭載して各種センサとして利用することもできる。
例えば、コントローラ5による予測動作を利用して運転中における障害物及び危険物の認知や子供の飛び出しなどの危険回避等に利用することができる。すなわち、予測される検出結果と実際の検出結果とを常時比較し、運転中のある時期における実際の検出結果が予測される検出結果と合致しなかった場合(否定的であった場合)、車両の近傍に障害物が存在すると認識することができる。また、D−GPS9で検出された自己の速度が4Km/hのときに、人工網膜IC7で検出された速度がスタート直後の速度であった場合、D−GPS9の検出結果を当該車両の初速として認識するが、このとき、横方向に10km/hの変位が認識され、且つジャイロユニット6で角速度が検出されていなければ、それは予期しない物体の動作、つまり急に飛び出した物体があると認識され、車両の停止動作を促すことが可能になる。
【0056】
センサユニットは、車間距離計として利用することもできる。すなわち、先行車両までの視野角を人工網膜IC7で求め、この視野角から先行車両までの距離を演算することができる。
路面上で断続的なパターンが続くセンターラインの映像を映すことにより、センサユニットを速度計として使用することができる。すなわち、人工網膜IC7からセンターラインまでの視野角を求め、さらに、センターラインのリズミカルなパターンの変化を人工網膜IC7で動きベクトルとして検出することで、当該センサユニットを搭載した車両の速度を演算することができる。
【0057】
【発明の効果】
以上の説明から明らかなように、本発明のセンサユニットによれば、複数のセンサの検出結果を補完させてセンサの利点同士を活かし、欠点については他のセンサの利点で補うようにしたので、検出精度を高く維持できるようになる。
また、ジャイロセンサを含む場合に、そのドリフト成分を他のセンサの検出結果をもとに自律的に補正するようにしたので、使用環境を問わないセンシングが可能になる。
さらに、時々刻々センスされるデータのみならず、空間的、時間的に統合されたデータに基づく検出結果が得られるため、人間の知覚動作に近い検出結果が正確に得られるようになり、従来のセンサ乃至センサユニットでは不可能であった用途に広く応用することが可能になる。
【図面の簡単な説明】
【図1】(a)は、人間の知覚動作を示した説明図、(b)は、本発明のセンサユニットの構成図。
【図2】人工網膜ICにおける動作ベクトルの抽出手順を示した図。
【図3】(a)〜(c)は人工網膜ICにおける動作ベクトルの抽出概要を示した図。
【図4】人工網膜ICにおける動きの主体を区別するための説明図であり,(a)は人工網膜IC自身が目標物に向かって前進している場合の映像例、(b)は、人工網膜ICは移動せず、目標物が図中央から左側に動く場合の例である。
【図5】人工網膜ICにおける動きの補正概要を示すための説明図であり、(a)は目標物だけが移動する場合、(b)は、人工網膜ICと目標物とが共に移動する場合、(c)は補正後の動き量を示した図である。
【図6】ジャイロユニットと人工網膜ICセンサの相互補完の処理手順を示した図。
【図7】本発明を自律歩行ロボットに適用した場合の概念図。
【図8】(a)〜(d)は、本発明をヘリコプタヘリへ応用した場合の処理概要を示した図である。
【符号の説明】
5 コントローラ
6 ジャイロユニット
7 人工網膜ICセンサ
8 音響センサ
9D‐GPS
[0001]
BACKGROUND OF THE INVENTION
The present invention detects the posture, motion components, position, etc. of subjects such as humans, robots, vehicles, aircrafts, etc., and autonomously corrects instrument errors based on other detection data as necessary. The present invention relates to a sensor unit that constantly obtains a highly accurate detection result.
[0002]
BACKGROUND OF THE INVENTION
There is a technique for displaying an image corresponding to the posture or the like of a subject on a display means by detecting the posture or movement of the subject and linking the detection result and video expression data in real time. In such a technique, when detecting the posture and movement of a subject, conventionally, the following two methods are mainly employed.
The first method uses a sensor unit in which a gyro sensor that detects angular velocity and an accelerometer that detects acceleration are arranged on a two-dimensional or three-dimensional axis, respectively, and the posture and movement of a subject to which the sensor unit is attached. This is a method for detecting.
The second method is a method in which a three-dimensional weak magnetic field is generated from a magnetizing coil, and a change in the magnetic field is detected using a magnetic sensor to detect the posture of the subject. In this method, sensing is performed in a direction and a location in a range of several meters affected by a magnetic field.
[0003]
However, the conventional method has the following problems.
In the first method, there is an advantage that the gyro sensor can follow a fast movement, but a drift peculiar to the sensor is likely to occur, and high-precision detection cannot be performed with respect to the direction of the subject. In the gyro sensor, since the detected angular velocity is integrated and converted into an angle, even a slight error is accumulated to the power. The cause of such an error is due to a change in temperature characteristics of the electric circuit section. This is because a change in characteristics is picked up by the temperature of the resistor, amplifier, etc., and this appears as a drift of detection data. Also, there is a gyro sensor characteristic. As this type of gyro sensor, the vibration type is the mainstream, but since a rigid body vibrates in use, it takes time to reach stable vibration, which appears as a drift. Such drift is inevitable as long as the gyro sensor is used. Since the gyro sensor cannot autonomously correct this drift, for example, it is corrected using a reference device using an infrared sensor or the like that can sense that the subject is facing the front. Since the installation location of such a reference device is usually fixed, the range of use of the sensor unit is limited if drift correction is performed sequentially, and it cannot be used outdoors or carried around. is there.
[0004]
In the second method, since it is easily affected by disturbances, various filtering processes are necessary, and coupled with the use of a weak magnetic field, there is a problem that it takes a long time to define a detection result. That is, it is a problem that responsiveness is bad. As a result, the actual movement of the subject cannot be output in real time, and is output after a certain time has elapsed, making it unsuitable for applications that require real-time processing. Responsiveness can be solved to some extent by strengthening the magnetic field and making it more resistant to noise, but if the subject is a human being, the magnetic field may be affected by concerns about the adverse effects of the magnetic field on the human body or the cardiac pacemaker in the medical field It is almost impossible to resolve this time delay. In the second method, since the magnetizing coil is installed, the posture of the subject is measured in a limited place, and as in the first method, sensing in a free space is impossible. It is.
[0005]
In view of the above background, it is an object of the present invention to provide a sensor unit that enables highly accurate sensing of a posture or the like without depending on an environment to be used.
[0006]
[Means for Solving the Problems]
The applicant of the present application intends to solve the above problem by configuring a sensor unit that can simulate a human perceptual action that does not exist conventionally.
[0007]
-First sensor unit-
The first sensor unit is a first sensor that detects its posture and movement. When, Second sensor for detecting relative posture and movement of an object in its field of view And this Control the operation of these sensors And processing based on the detection results of each sensor The controller is housed in a predetermined housing, and the controller accepts detection results from each sensor in real time and records these detection results in an information space formed on a predetermined memory area in an updatable manner. And When a change in relative posture and movement of the object is detected by the second sensor, the detection result of the second sensor is compared with the detection result of the first sensor recorded in the information space. Determine whether the change occurred due to movement of the housing or the object It is comprised as follows.
[0008]
is there Embodiment Then , A third sensor for detecting the presence of a sound source in the vicinity of the self; The controller is This third Data output from the sensor The detection result of the first sensor or the second sensor recorded in the information space based on Complement.
[0009]
In one embodiment, The first sensor includes a plurality of gyro sensors for measuring angular velocities around a plurality of dimensional axes in the housing, and the second sensor includes image capturing means for capturing an image including the object. A calculation means capable of deriving the angular velocity of the object from the captured image by calculation; The controller is The angular velocity calculated by the second sensor is estimated by integrating the angular velocity measured by the first sensor by the time required for the calculation by the second sensor, and after the calculation by the second sensor, The predicted value is compared with the result of the calculation, and when the difference between the two is outside the predetermined range, the angular velocity measured by the first sensor is adopted as measurement data, while the difference between the two is When it is within the predetermined range, the angular velocity calculated by the second sensor is adopted as measurement data, and the angular velocity measured by the first sensor is calculated as the difference. to correct.
In one embodiment, The first sensor includes a plurality of gyro sensors for measuring angular velocities around a plurality of axes in the housing. The controller When no motion is detected by the second sensor and the angular velocity measured by the gyro sensor is 0, the measurement results of the gyro sensor and the second sensor are set to initial values, while the second sensor When no motion is detected by the sensor and the angular velocity measured by the gyro sensor is a finite value, the finite value is corrected to zero. To do.
[0010]
From the viewpoint of simplifying the configuration, as the second sensor, an artificial retina in which a means for projecting a target and a means for extracting an image contour of the target and deriving a motion component of the image contour by calculation are integrated into one chip. IC is used.
[0011]
The third sensor is, for example, an acoustic sensor including one or more directional microphones that measure the intensity of a sound signal, and the intensity of the sound signal from the same sound source is measured from different angles so that the sound source with respect to itself is measured. The direction is detected.
[0012]
Note that at least one of a GPS sensor that detects an absolute position and an orientation sensor that detects an absolute direction is further accommodated in the housing to form a sensor unit, and the controller considers information detected by these sensors. The current position of the housing may be derived.
[0013]
-Second sensor unit-
The second sensor unit is attached to a subject to be sensed, a first sensor that detects the posture and movement of the subject, and the subject Attached to the subject A second sensor for detecting the relative posture and movement of the viewed object, and controlling the operation of each sensor Information processing based on detection results obtained from each sensor A controller that accepts detection results from each sensor in real time and records these detection results in an information space formed on a predetermined memory area in an updatable manner. As well as , When a change in relative posture and movement of the object is detected by the second sensor, the change is obtained by comparing the detection result of the second sensor and the detection result of the first sensor in the information space. Determines whether the subject or the object has moved It is comprised as follows.
[0014]
In one embodiment, the subject is Has main control means to control its own movement posture or movement The controller determines the change determination result. Configured to communicate to the main control means Has been . The subject in this case is, for example, an autonomous walking robot, a flying object, a vehicle, or the like.
[0015]
As a preferred embodiment of the second sensor unit, the controller Is Based on the data output from each sensor in real time , The detection result Predict, Recognize that the object exists in the vicinity of the subject when the actual detection result does not match the predicted detection result Configure as . Ma In addition, at least one of a third sensor that detects the presence of a sound source around the subject, a fourth sensor that detects the absolute position of the subject, and a fifth sensor that detects the orientation of the subject with respect to a reference orientation Further, the controller outputs data output from the third, fourth, or fifth sensor. And supplementing data output from the first sensor or the second sensor. Configure as follows.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment in which the present invention is applied to a sensor unit that simulates a human perception operation will be described.
FIG. 1A is an explanatory diagram showing human perception. Human perception is realized by the interaction of the semicircular canal 1 that controls parallelism, the eye 2 that controls vision, the ear 3 that controls hearing, and the brain 4 that centrally manages these organs.
[0017]
The semicircular canal 1 senses its relative posture, its movement, and direction, and its principle is to sense the degree and direction of inclination of the head, front, back, left and right from the movement of the water component. However, with the semicircular canal 1 alone, for example, if you rotate several times in a dark room, you lose sight of the target direction, you can not keep standing with one foot while squeezing your eyes, or you stand with both feet May end up. In such a case, the absolute direction and inclination are complemented with visual information from the eyes 2 and sound source information from the ears 3.
[0018]
Eye 2 senses its own posture, its relative position with respect to surrounding things, its movement, relative speed with the opponent, distance to the opponent, etc. It is often experienced that it is difficult to respond to movement or that the detection accuracy is low in a dark state. In such a case, the sensing information is supplemented by information from the semicircular canal 1 and the ear 3.
[0019]
The ear 3 senses the presence of the sound source and the distance and direction between the sound source and itself, but the sensing accuracy is low only by the information from the ear 3, so the sensing accuracy is also based on the information from the eyes 2 and the semicircular canal 1 Is complemented.
[0020]
The brain 4 complements each other, confirms the occurrence of an event, and makes other judgments based on information from the semicircular canal 1, the eyes 2, and the ears 3. For example, based on current or past visual information and sound information, the presence and arrangement of things around the user are spatially recognized. The reason people can turn around when they are struck is because they know that there are no obstacles behind them. That is, the brain 4 is not based solely on currently recognized information, but always organizes information that exists spatially by taking into account information that has been acquired in advance. In this way, you can create a space that suits your movements, and people can walk with peace of mind.
[0021]
In order to realize such a function equivalent to human perception, a sensor unit configured as shown in FIG. 1B is configured in the present embodiment.
This sensor unit includes a portable housing, a controller 5 corresponding to the brain 4, a gyro unit 6 corresponding to the semicircular canal 1, an artificial retina IC 7 corresponding to the eye 2, an acoustic sensor 8 corresponding to the ear, and a D- GPS9 (abbreviation for differential-globalpositioning system) and these power supplies (not shown) are mounted.
[0022]
The gyro unit 6 includes a plurality of gyro sensors and an accelerometer. The gyro unit 6 detects the attitude of the casing and its movement with these instruments.
The gyro sensor is arranged on the X, Y, Z axes (pitch, roll, yaw) or X, Y axes formed in the housing, and measures the angular velocity around each axis. The accelerometer is arranged on the X, Y, Z axis or the X, Y axis, and measures the sum of gravitational acceleration and motion acceleration due to the tilt of the axis. In this embodiment, the gyro sensor is used for measuring the posture including the turning angle of the casing, and the accelerometer is used for measuring the acceleration / stop acceleration of the casing, and for measuring the lateral acceleration due to the turning. Data obtained by this measurement (hereinafter referred to as “measurement data” in this embodiment) is amplified by an amplifier (not shown) as necessary and output to the controller 5 in time series. . A gyro unit may be configured including an azimuth meter. In this case, data representing the relative orientation of the housing with respect to the absolute orientation is added to the measurement data.
[0023]
Since the gyro sensor may affect its measurement data due to temperature changes, it is desirable to add temperature correction means for correcting the measurement data with a temperature coefficient when used in a cold region or a warm region.
The gyro unit (especially the gyro sensor) 6 can output measurement data in direct response to the movement of the casing, and outputs measurement data based on the movement component around the axis, so that it can move at high frequency. However, it is relatively difficult to ensure the accuracy when the movement around the axis is small, that is, the movement at a low frequency. Further, the gyro sensor has an essential problem that the drift component is accumulated in the measurement data as described above.
[0024]
The artificial retina IC 7 is a sensor that recognizes the presence of a target around the casing and detects the positional relationship of the recognized target and the motion component of the target or the target. As the artificial retina IC7, for example, one disclosed in JP-A-10-340349 can be used. This disclosed artificial retina IC can select a CCD (charge coupled device) function, an image contour extraction function, etc., generates a clock for image input by a logic gate array, and processes the result of processing with the contents. It can be stored in the on-chip memory.
[0025]
In the present embodiment, the artificial retina IC7 is used to project a target in its own field of view as a moving image, and the contour information of each image obtained thereby is extracted, and the difference between the extracted contour information is used for the self. A physical quantity representing a relative motion component of the target, specifically, an angular velocity, a speed, a moving direction, a moving amount, a direction after moving, and the like are calculated. For this purpose, first, a motion vector generated between itself and the target is detected.
FIG. 2 is a diagram showing a motion vector detection procedure in the artificial retina IC7, and FIG. 3 is a conceptual diagram thereof.
In the artificial retina IC7, as shown in FIG. 2, first, an image for one screen is input from a moving image showing the target, and the contour information of the image of the target is extracted (steps S101 and S102). FIG. 3A conceptually shows this processing. The extracted outline information for one screen is recorded in an in-chip memory not shown in the form as shown in FIG. 3B (step S103).
After a certain period of time, the same target is projected at the same angle, and the same processing is performed. Here, assuming that the image projected immediately before is the previous image, and the image projected thereafter is the current image, as shown in FIG. 3C, the contour information of the previous image and the specific part of the contour information of the current image are used as a reference. A vector component having the quantity and direction as parameters can be extracted by a logical operation. For example, by determining the exclusive OR of the contour information (dots) of the previous image and the contour information (dots) of the current image, only the moved dots can be extracted. The artificial retina IC7 detects this vector component as a motion vector for the image (steps S104 and S105).
[0026]
When detecting the movement vector, the moving speed of the target is predicted and the search range of the moved dot is determined. In the search range, the search range is first scanned in the horizontal direction, and then the search range is scanned in the vertical direction. Then, the color information of the found dot is referred to, and if it is the same as that of the dot (starting dot) at the specific part, that dot is set as the movement destination dot.
The above is the procedure when the target is moving, but the target itself does not move, and even when the artificial retina IC7 is moving, the motion vector can be detected by substantially the same procedure.
[0027]
This artificial retina IC7 is functionally a combination of a CCD and an image processing means. However, in this embodiment, it is sufficient to detect the motion vector of the target as described above. An artificial retina IC that can easily extract a motion component based on contour information is used. Therefore, it is not denied that the sensor having the same function is substituted.
[0028]
Although the artificial retina IC7 can be used alone, two artificial retinas IC7 are provided at a predetermined interval like a human eye, and the movement of the same target is detected simultaneously by the two artificial retinas IC7. Is also possible. In this way, the distance from the sensor unit to the target can be calculated from the relative position of the contour information of the target recorded in the in-chip memory of each artificial retina IC7. When mounted on a vehicle, it can be used as an inter-vehicle distance meter.
[0029]
Since the artificial retina IC7 calculates a motion component based on the image of the target actually projected, it has high detection accuracy for low-frequency motion, but it involves binarization because it performs image processing. In addition, since it usually involves a process of recognizing a relative change in the position of the target, it is difficult to maintain high accuracy with respect to the high-frequency movement of the target.
[0030]
The acoustic sensor 8 is a sensor that measures sound signals from the same sound source from a plurality of directions, and can specify the direction of the sound source from the arrival time difference of the measured sound signals. As a specific configuration of the acoustic sensor 8, a directional microphone that detects a sound signal from a sound source and a sound signal in a low frequency region of 50 to 100 Hz, for example, are extracted from the sound signal received by the directional microphone. And a processing means for performing arithmetic processing for specifying the sound source direction from the arrival time difference of the extracted sound signals. Like a human ear, two directional microphones may be arranged at regular intervals so that the direction of the sound source can be specified from the arrival time difference between sound signals simultaneously input to the two directional microphones. In the processing means, the sound intensity change pattern in the low frequency region is cut out by a band pass filter, the cut pattern and the direction of the sound source at that time are stored, and a similar pattern is generated. It is also possible to improve the processing efficiency by using the angle in the direction as a reference value.
[0031]
D-GPS9 is a type of GPS, which is a system that receives GPS signals at a fixed reference station of GPEX (Satellite Positioning Information Center), calculates errors, and transmits correction data by FM multiplex broadcasting. And the speed are output to the controller 5 in the world coordinate system. It is well known that the D-GPS 9 can obtain detection accuracy 10 times or more that of a general GPS.
[0032]
The controller 5 is formed, for example, by a CPU reading and executing a predetermined program recorded in a ROM or the like. The controller 5 mainly functions to control the operations of the sensors 6 to 9. The functions of integrating the measurement data from -9 to the information space formed in the internal memory such as RAM, the advantages of each sensor 6-9 are derived based on the integrated measurement data, and the weak points of other sensors A function that corrects the measurement data, predicts the next measurement data based on the measurement data that is sensed and integrated from time to time, and determines the self (sensor) from a reasonable result (within a certain tolerance) for the predicted value. Unit) and the movement of the target.
In the information space of the internal memory, the measurement results of the sensors 6 to 9 over 360 degrees, for example, −180 to 0 to +180, are recorded with time information so as to be updated at any time. Spatial and temporal data integration, data prediction using the integrated data, and other judgment processing are enabled.
[0033]
Next, the operation of the sensor unit according to the present embodiment will be described. This sensor unit performs a semicircular canal operation that simulates a human semicircular canal, a visual operation that simulates vision, and an auditory operation that simulates hearing.
<Semicircular canal operation>
The semicircular canal operation in the sensor unit is realized by recognizing through the controller 5 the posture (inclination, orientation, etc.) and movement of the subject such as the housing and the housing mounting body based mainly on the measurement data of the gyro unit 6. The However, with the gyro unit 6 alone, it may be difficult to determine the correct posture of the subject when the subject with the sensor unit is rotated several times after the power is turned off and then restarted. . Assuming such a case, in the present embodiment, with respect to data for simulating the semicircular canal operation, the visual information obtained from the artificial retina IC7 and the information on the physical quantity calculated based on the measurement data from the artificial retina IC7 The information detected by the acoustic sensor 8 and the information of the physical quantity based on the information are complemented. Further, depending on the degree of movement (detection frequency), measurement data from the artificial retina IC7 is used instead of the measurement data of the gyro unit 6.
[0034]
<Visual movement>
The visual motion in the sensor unit is recognized through the controller 5 mainly based on the measurement result of the artificial retina IC7, the presence of the target, the relative movement of the subject itself or the target, the posture, position and orientation of the subject. It is realized by. However, it is difficult for the artificial retina IC7 alone to cope with the fast movement of the subject or the target, or the absolute position or posture of the target or the subject cannot be correctly recognized in a dark environment such as at night. Assuming such a case, in the present embodiment, in the case of fast movement, the detection result by the artificial retina IC7 is complemented with the posture and orientation information based on the measurement data of the gyro unit 6, and the position and orientation are It complements with the information detected by the sensor 8, the information of the physical quantity calculated based on it, and the positional information detected by D-GPS9.
[0035]
<Hearing action>
The auditory motion in the sensor unit is realized by recognizing the direction of the subject and the distance to the sound source through the controller 5 mainly based on the measurement result of the acoustic sensor 8. However, only the information from the acoustic sensor 8 may not ensure sufficient accuracy when the intensity of the sound signal is too weak or the angle in two directions with respect to the sound source is small. On the other hand, when the direction of the sound source is detected, the time required for searching the sound source direction can be shortened by predicting the direction of the sound source based on the image actually projected by the artificial retina IC7. Therefore, in the present embodiment, information detected by the artificial retina IC7 is used for complementing the auditory movement.
[0036]
<Integrated processing by controller>
In the above semicircular canal operation, visual operation, and auditory operation, the information collected from the sensors 6 to 9 by the controller 5 of the sensor unit from time to time is recorded in the memory area in an integrated manner so that it can be updated spatially and temporally. This is realized by performing mutual information complementation, prediction and the like based on these pieces of information.
In addition to supporting the above operations, the controller performs recognition of events occurring around the subject and various other determination processes. Hereinafter, the contents of each process will be described in detail.
[0037]
When detecting (calculating) the movement of the target through image processing by the artificial retina IC7, it is necessary to distinguish whether the input target image is a result of self movement or a result of movement of the target. is there. The controller 5 uses the measurement data of the gyro unit 6 for the determination in this case. FIG. 4A shows an example of an image when the artificial retina IC7 itself moves forward toward the target (illustrated by an ellipse) 41, and FIG. 4B shows the target 41 without the artificial retina IC7 moving. This is an example of moving from the center of the figure to the left. In FIG. 4A, the target 41 becomes larger as the artificial retina IC7 advances, but the angular velocity of the gyro unit 6 does not change. In this case, it can be recognized that the image indicates that the artificial retina IC7 is moving. On the other hand, in FIG. 4B, the target 41 moves to the left with the same size, but the angular velocity of the gyro unit 6 does not change. In such a case, it can be recognized that the target 41 is moving.
[0038]
Further, even when the artificial retina IC 7 and the target move together, the actual motion component can be corrected to be accurate using the detection result of the gyro unit 6. For example, as shown in FIG. 5A, when it is known that the artificial retina IC7 is fixed, if there is a motion component, it is a result of the target moving, and only the motion vector 51 of the set part in the target is present. The physical quantity related to the movement of the target can be calculated. However, as shown in FIG. 5B, when the target and the artificial retina IC7 are moving together (movement in the same direction in the illustrated case), in addition to the motion vector 52 for the target, the motion by the gyro unit (Vector amount) 53 needs to be considered. FIG. 5C shows a difference 54 between the two vectors, and this difference vector represents an actual motion vector. By correcting the motion vector in this way, the motion detection accuracy can be increased.
[0039]
As described above, the gyro unit 6 has high accuracy with respect to high-frequency movement, and the artificial retina IC 7 has high accuracy with respect to low-frequency movement. In the controller 5, paying attention to this point, the first frequency band data among the output data from the gyro sensor 6 and the second frequency band data different from the first frequency band among the output data from the artificial retina IC7, To obtain integrated measurement data covering both frequency ranges. Specifically, the high pass fill is detected from the detection signal of the gyro unit 6. In The low frequency component is removed and a signal of about 60 Hz to 0.5 Hz is output. Conversely, the detection signal of the artificial retina IC7 is a low-pass filter. In A high frequency component is removed and a signal of 0.5 Hz or less is output. Then, both signals are integrated. For example, if sensing is performed at 60 Hz, the angular velocity can be calculated at 60 Hz in the measurement data of the gyro sensor 6, but the artificial retina IC 7 can calculate at a maximum of 20 Hz. This is because in the artificial retina IC7, the angular velocity is calculated based on the difference between three points (triangular points) that are separated in time. In other words, the velocity is calculated by the difference between the first point that is one vertex of the triangle and the second point that is the other vertex, and the angular velocity is calculated by the difference between the first, second, and third points. is there. In the case of the gyro unit 6, the angular velocity calculation at each point is possible. In this way, the measurement data from the two types of sensors 6 and 7 having different frequency characteristics are mixed through the filters suitable for the respective frequency characteristics. In the above example, one of the three points is measured by the artificial retina IC7, and during that time, the gyrosensor 6 is used to mix the two points. As a result, the advantages of the gyro unit 6 and the advantages of the artificial retina IC 7 can be fused to obtain a detection result based on measurement data in a highly accurate region.
[0040]
The measurement accuracy by the gyro unit 6 and the calculation result by the artificial retina IC sensor 7 can be referred to each other to improve the detection accuracy of the posture and the like. FIG. 6 is an explanatory diagram of the processing procedure of the controller 5 in this case. The controller 5 integrates (integrates) the measurement data (data representing the angular velocity) by the gyro unit 6 for the time required for the calculation in the artificial retina IC7 (step S201), and predicts the angular velocity calculated in the artificial retina IC7. (Step S202). The reason why the angular velocity calculated by the artificial retina IC 7 is predicted based on the measurement data of the gyro unit 6 is as follows.
The angular velocity obtained by the gyro unit 6 is obtained by integrating instantaneous measurement data, whereas in the case of the artificial retina IC7, it can be obtained directly without requiring integration. However, since the artificial retina IC7 involves processing for binarizing the image as described above, a certain time is required until the calculation. If both operations are normal, the result is almost the same, so there is no problem. However, if there is an error in the processing of the artificial retina IC7, an error occurs in the calculation result. However, this can only be understood when actually calculated. Therefore, first, the measurement data of the gyro unit 6 is trusted, and the presence or absence of abnormality is determined after the calculation in the artificial retina IC7.
[0041]
It is determined whether or not the angular velocity calculated by the artificial retina IC7 is out of a predetermined range, that is, exceeds the value predicted by the gyro sensor 6, and if so, the angular velocity by the gyro unit 6 is adopted (steps S203 and S204). : No, S205), the process returns to step S201. Such a situation occurs mainly when the movement is of a high frequency.
On the other hand, when the calculation results of both are within the predetermined range, the angular velocity calculated by the artificial retina IC7 having relatively high accuracy is adopted (steps S203, S204: Yes, S206). Thereafter, a difference between the adopted angular velocity and the angular velocity measured by the gyro unit 6 is obtained. Since the artificial retina IC7 does not generate a drift component, if there is a difference between the two, the difference is usually a drift component of the gyro sensor. Therefore, the difference is feedback corrected (step S208).
[0042]
The drift component of the gyro sensor can be corrected by mutually confirming the measurement data of the gyro sensor 6 and the measurement data of the artificial retina IC7.
Here, it is assumed that measurement data representing a motion component obtained by the artificial retina IC 7 and the gyro unit 6 is input to the controller 5 every unit time (for example, 1 second). In the controller 5, when no motion component is detected by the artificial retina IC7 and the angular velocity of the gyro unit 6 is 0, the gyro unit 6 has no error, so both values are set to initial values. . On the other hand, if no motion component is detected in the artificial retina IC7, but the angular velocity of the gyro unit 6 is a finite value, the angular velocity obtained by the gyro unit 6 is a drift component. To correct.
In this way, the disadvantages of the gyro unit 6 and the artificial retina IC 7 can be covered with each other's advantages, and highly accurate posture detection and the like can be performed. In addition, it is possible to configure a conventional sensor unit capable of autonomous correction of drift components.
[0043]
For example, the amount of deviation from the front of the subject can be detected by the above-described auditory movement. Therefore, the front direction of the subject detected (calculated) by the artificial retina IC7 or the like can be supplemented by the auditory action.
As an application of the direction detection of the sound source, it is possible to calculate the moving speed of the sound source by detecting the moving amount of the sound source per unit time by the acoustic sensor 8, and further, the movement of the sound source while the sound source is fixed. By detecting the components, it is possible to detect the fact of movement, the amount of movement, the direction of movement, and the like of the sensor unit. As described above, in the artificial retina IC7, it is difficult to correctly detect the movement of the target at night or the like. However, the acoustic sensor 8 detects the moving component of the sound source in synchronization with the measurement by the artificial retina IC7, By reflecting the detection result on the detection operation by the artificial retina IC7, the detection accuracy by the artificial retina IC7 can be improved.
[0044]
A common physical quantity can be detected based on data from the gyro unit 6, the artificial retina IC 7, the acoustic sensor 8, and the D-GPS 9. For example, the moving speed and moving amount of the subject can be detected from an accelerometer included in the gyro unit 6, and the moving amount and moving speed of the subject can be detected by integrating the motion components of the artificial retina IC7. Further, as described above, the acoustic sensor 8 can also detect the moving speed and moving amount of the sound source or the subject. The speed can also be calculated by D-GPS9. In view of this, it is possible to use the common physical quantity with those of other sensors and confirm that each of them is within a certain allowable range and output the result as a detection result to the outside.
In addition, a sensor that serves as a reference for each physical quantity is determined in advance, and a detection result from the sensor serving as a reference is used preferentially, or a deviation from a sensor with a higher priority is detected, and the operation of other sensors is detected. A configuration for detecting a defect is also possible.
The same applies to data representing the posture of the subject.
[0045]
Furthermore, based on the common physical quantity as described above, it is possible to predict a defect in the measurement result due to the detection result of another sensor. For example, the position or the like is detected by satellite information in the D-GPS 9, but the radio wave generates a multipath (a plurality of paths) by reflection of a building or the like, and “jump” occurs in the position information. Specifically, the position jumps about 200m suddenly. However, if the acceleration data included in the gyro sensor 6 cannot move 200 m per second compared to the expected speed (if the prediction result is negative), it is assumed that this is a clear multipath occurrence. , Ignore the measurement data by D-GPS9.
[0046]
As described above, according to the sensor unit of the present embodiment, sensing that simulates human perception is performed, and the advantages of each of the sensors 3 to 9 are integrated, and the defects are compensated for by other sensors. Therefore, highly accurate sensing that is not possible in the past becomes possible. Moreover, since each sensor 3-9 and the controller 5 were accommodated in the portable housing | casing, the sensing independent of use environment is attained.
[0047]
【Example】
Next, the application scene of the sensor unit of the present embodiment will be specifically described.
<Autonomous walking robot>
The sensor unit of the present invention can be applied as a posture sensor of an autonomous walking type biped robot. FIG. 7 is a view showing a state in which the sensor unit V of the present invention is arranged on the head of the robot W. The sensor unit V functions as the eyes, ears, and semicircular canal of the robot W. That is, as with human perception, the position, direction, posture, and movement of the robot W itself are detected. In addition, the distance to the target and relative movement are output.
[0048]
The robot W is provided with a servo motor at a joint portion so as to perform a walking operation similar to that of a human being, and each servo motor is controlled by the main controller U.
[0049]
The main control unit U detects the current robot W or the like with the sensor unit V based on the detection information from the sensor unit V, and based on the detection information, the optimal control amount (objective) of the corresponding servo motor is detected. The control amount for realizing the attitude and the movement form. For example, when the robot W is inclined by 5 degrees from the horizontal, an operation is performed to level the robot W at an optimum speed, and a control amount according to a predetermined modeling curve is calculated. For example, when the robot W is returned to the horizontal position after 3 seconds, the modeling curve determines the control timing such as whether the angular velocity for that purpose is linear, or whether the angular velocity is initially high and then slowed down. A curve for the purpose. This modeling curve differs depending on the torque of each servo motor, the control location of the robot W, and the like.
[0050]
After calculating the optimum control amount, the modeling curve is divided at a predetermined control timing (for example, 10 Hz), and driving power is output to the corresponding servo motor. The procedure of detecting the amount of actual movement of the robot W by the output of the drive power by the sensor unit V and confirming the next control amount of the servo motor is repeated. In this way, autonomous walking is realized while stabilizing the center of gravity of the entire robot.
[0051]
Note that the controller of the sensor unit V predicts the measurement result at the next control timing and transmits this to the control device of the robot W. The main controller U can also predict the expected result from the previously determined optimum control amount. Therefore, if the difference between the two is within an allowable range, normal feedback control is performed. On the other hand, if the difference between the two exceeds the allowable range, it is determined that either the robot W or the sensor unit W is abnormal, and the control is stopped.
Thus, by applying the sensor unit of the present invention, an autonomous walking type biped robot can be easily realized.
[0052]
<Automated guided vehicle>
The sensor unit of the present invention can also be used as a perceptual sensor for an automatic guided vehicle that moves autonomously with a main controller U similar to a biped robot, for example, an object transport or a cleaning car in a harsh environment or time. . The use form in this case, for example, the control form by the controller, is the same as that of the biped robot.
[0053]
<Aircraft>
The sensor unit of the present invention is mounted on an attitude detection sensor of a flying object, for example, a helicopter operated by a radio control, and can be used as a sensor for detecting the altitude, attitude, etc. of the helicopter.
For example, the figure of the mark in the circle shown on the right side of FIGS. 8 (a) to 8 (d) is recorded at the landing point, and the altitude, posture, etc. of the helicopter are recognized by detecting the change of the figure. Can do. In this case, the motion vector representing the motion of the helicopter is due to the movement of the helicopter itself, and the figure at the landing point itself does not move, so that the detection result can be obtained only by vector calculation.
[0054]
When a helicopter such as the main control unit U in a biped robot is mounted, it is possible to autonomously correct its posture according to an external instruction. In addition, in the helicopter, various disturbances such as changes in weight due to wind and fuel consumption occur. These disturbances can be detected by the sensor unit of the present invention, and the results can be reflected in flight control. .
[0055]
<Vehicle>
The sensor unit of the present invention can be mounted on a vehicle and used as various sensors.
For example, the prediction operation by the controller 5 can be used for recognition of obstacles and dangerous objects during driving, danger avoidance such as jumping out of children, and the like. That is, when the predicted detection result is always compared with the actual detection result, and the actual detection result at a certain time during driving does not match the predicted detection result (if it is negative), the vehicle It can be recognized that there is an obstacle in the vicinity. Further, when the speed detected by the D-GPS9 is 4 km / h and the speed detected by the artificial retina IC7 is the speed immediately after the start, the detection result of the D-GPS9 is used as the initial speed of the vehicle. At this time, if a displacement of 10 km / h is recognized in the lateral direction and the angular velocity is not detected by the gyro unit 6, it is recognized that there is an unexpected object movement, that is, an object that has suddenly jumped out. It becomes possible to prompt the stop operation of the vehicle.
[0056]
The sensor unit can also be used as an inter-vehicle distance meter. That is, the viewing angle to the preceding vehicle can be obtained by the artificial retina IC7, and the distance from the viewing angle to the preceding vehicle can be calculated.
By projecting an image of a center line with an intermittent pattern on the road surface, the sensor unit can be used as a speedometer. That is, the viewing angle from the artificial retina IC7 to the center line is obtained, and further, the rhythmic pattern change of the center line is detected as a motion vector by the artificial retina IC7, thereby calculating the speed of the vehicle equipped with the sensor unit. be able to.
[0057]
【The invention's effect】
As is clear from the above description, according to the sensor unit of the present invention, the detection results of a plurality of sensors are complemented to take advantage of the advantages of the sensors, and the defects are compensated for by the advantages of other sensors. High detection accuracy can be maintained.
In addition, when the gyro sensor is included, the drift component is autonomously corrected based on the detection result of the other sensor, so that sensing can be performed regardless of the use environment.
Furthermore, since detection results based not only on data that is sensed from time to time but also on data integrated spatially and temporally can be obtained, detection results close to human perception can be obtained accurately. It can be widely applied to uses that were impossible with sensors or sensor units.
[Brief description of the drawings]
FIG. 1A is an explanatory diagram showing a human perception operation, and FIG. 1B is a configuration diagram of a sensor unit of the present invention.
FIG. 2 is a diagram showing a procedure for extracting a motion vector in an artificial retina IC.
FIGS. 3A to 3C are diagrams showing an outline of motion vector extraction in an artificial retina IC. FIGS.
FIGS. 4A and 4B are explanatory diagrams for distinguishing the main subject of movement in the artificial retina IC. FIG. 4A is an example of an image when the artificial retina IC itself moves forward toward the target, and FIG. In this example, the retina IC does not move and the target moves from the center of the drawing to the left side.
FIGS. 5A and 5B are explanatory diagrams illustrating an outline of correction of motion in the artificial retina IC, where FIG. 5A shows a case where only the target moves, and FIG. 5B shows a case where the artificial retina IC and the target move together. (C) is the figure which showed the motion amount after correction | amendment.
FIG. 6 is a diagram showing a processing procedure for mutual complementation between the gyro unit and the artificial retina IC sensor.
FIG. 7 is a conceptual diagram when the present invention is applied to an autonomous walking robot.
FIGS. 8A to 8D are diagrams showing an outline of processing when the present invention is applied to a helicopter helicopter.
[Explanation of symbols]
5 Controller
6 Gyro unit
7 Artificial retina IC sensor
8 Acoustic sensor
9D-GPS

Claims (6)

自己の姿勢及び動きを検出する第1センサと、自己の視野にある物体の相対姿勢及びその動きを検出する第2センサと、これらのセンサの動作を制御するとともに各センサの検出結果に基づく処理を行うコントローラとを所定の筐体に収容して成り、
前記第1センサは、前記筐体における複数次元の軸線回りの角速度を計測するための複数のジャイロセンサを含むものであり、
前記コントローラは、各センサによる検出結果を実時間で受け入れ、これらの検出結果を所定のメモリ領域上に形成された情報空間内に更新自在に記録し、前記第2センサにより前記物体の相対姿勢及び動きの変化が検出されたときは、前記第2センサの検出結果と前記情報空間内に記録されている第1センサの検出結果とを比較することにより、前記変化が、前記筐体と前記物体のどちらが動いたことにより発生したかを判定前記第2センサで動きが検出されておらず、且つ、前記ジャイロセンサで計測された角速度が0のときは、前記ジャイロセンサ及び前記第2センサの計測結果を初期値にし、一方、前記第2センサで動きが検出されておらず、且つ、前記ジャイロセンサで計測された角速度が有限値のときは、当該有限値を0に補正する、
センサユニット。
A first sensor for detecting its own posture and movement, a second sensor for detecting the relative posture and movement of an object in its field of view, and processing based on the detection results of each sensor while controlling the operation of these sensors And a controller that performs the operation in a predetermined housing,
The first sensor includes a plurality of gyro sensors for measuring angular velocities around a plurality of dimensional axes in the housing,
The controller accepts the detection results of each sensor in real time, records these detection results in an information space formed on a predetermined memory area, and updates the relative posture of the object by the second sensor. When a change in motion is detected, the change is detected by comparing the detection result of the second sensor with the detection result of the first sensor recorded in the information space. determining whether generated by either is moved in, the has not been detected movement by the second sensor, and, wherein when the angular velocity measured by the gyro sensor is zero, the gyro sensor and the second sensor On the other hand, if no motion is detected by the second sensor and the angular velocity measured by the gyro sensor is a finite value, the finite value is set to 0. It is positive,
Sensor unit.
自己の周辺に存する音源の存在を検出する第3センサをさらに備えており、
前記コントローラは、この第3センサから出力されるデータに基づいて前記情報空間に記録されている第1センサ又は前記第2センサの検出結果を補完する、
請求項1記載のセンサユニット。
A third sensor for detecting the presence of a sound source in the vicinity of the self;
The controller supplements the detection result of the first sensor or the second sensor recorded in the information space based on the data output from the third sensor.
The sensor unit according to claim 1.
第2センサが、前記画像取込手段と、前記演算手段とを1チップ化した人工網膜ICである、
請求項記載のセンサユニット。
The second sensor is an artificial retina IC in which the image capturing unit and the calculation unit are integrated into one chip.
The sensor unit according to claim 1 .
前記第3センサが、音信号の強度を計測する1又は複数の指向性マイクを含む音響センサであり、同一の音源からの音信号の強度を異なる角度から計測することで自己に対する当該音源の方向を検出するものである、
請求項2記載のセンサユニット。
The third sensor is an acoustic sensor including one or more directional microphones that measure the intensity of the sound signal, and the direction of the sound source relative to itself by measuring the intensity of the sound signal from the same sound source from different angles Is to detect,
The sensor unit according to claim 2.
絶対位置を検出するGPSセンサと絶対方位を検出する方位センサの少なくとも一方を前記筐体にさらに収容して成り、
前記コントローラが、これらのセンサにより検出された情報を考慮して当該筐体の現在位置を導出するように構成されている、
請求項1乃至のいずれかの項記載のセンサユニット。
The housing further includes at least one of a GPS sensor for detecting an absolute position and an orientation sensor for detecting an absolute direction,
The controller is configured to derive a current position of the housing in consideration of information detected by these sensors;
Sensor unit according to one of claims 1 to 4.
前記筐体が可搬性のものであり、各センサ及び前記コントローラが携帯性電源によって駆動されるものである、
請求項記載のセンサユニット。
The casing is portable, and each sensor and the controller are driven by a portable power source.
The sensor unit according to claim 5 .
JP26420699A 1999-09-17 1999-09-17 Sensor unit Expired - Lifetime JP4425383B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26420699A JP4425383B2 (en) 1999-09-17 1999-09-17 Sensor unit
TW90106090A TW479132B (en) 1999-09-17 2001-03-15 Method, system and apparatus for operating and controlling a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26420699A JP4425383B2 (en) 1999-09-17 1999-09-17 Sensor unit

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008243239A Division JP4782816B2 (en) 2008-09-22 2008-09-22 Sensor unit

Publications (2)

Publication Number Publication Date
JP2001091289A JP2001091289A (en) 2001-04-06
JP4425383B2 true JP4425383B2 (en) 2010-03-03

Family

ID=17399970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26420699A Expired - Lifetime JP4425383B2 (en) 1999-09-17 1999-09-17 Sensor unit

Country Status (1)

Country Link
JP (1) JP4425383B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1630640A4 (en) * 2003-04-17 2007-03-14 Matsushita Electric Ind Co Ltd Start time reduction device and electronic device
JP2009074859A (en) * 2007-09-19 2009-04-09 Toyota Central R&D Labs Inc Motion measuring device and position measuring device
JP5267100B2 (en) * 2008-12-18 2013-08-21 株式会社豊田中央研究所 Motion estimation apparatus and program
JP6058483B2 (en) * 2013-06-28 2017-01-11 公益財団法人鉄道総合技術研究所 Aerial surveying method and apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63124114A (en) * 1986-11-14 1988-05-27 Hitachi Ltd Recognizing device for environment of traveling object
JPH01214774A (en) * 1988-02-23 1989-08-29 Toshiba Corp Control apparatus for power-transmission-line monitoring robot
JPH07123311A (en) * 1993-10-21 1995-05-12 Canon Inc Image pickup device
JP3432937B2 (en) * 1995-03-15 2003-08-04 株式会社東芝 Moving object detecting device and moving object detecting method
JPH09229697A (en) * 1996-02-20 1997-09-05 Mitsubishi Electric Corp Self-position orienting apparatus
JPH1093954A (en) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd Object detection method/system
JP3377079B2 (en) * 1997-07-09 2003-02-17 日本電信電話株式会社 Flow velocity estimation device
KR100243317B1 (en) * 1997-04-18 2000-03-02 윤종용 Car classification equipment
JP2980063B2 (en) * 1997-06-10 1999-11-22 三菱電機株式会社 Image processing device
JP3841323B2 (en) * 1997-07-07 2006-11-01 矢崎総業株式会社 Vehicle rear side monitoring method and vehicle rear side monitoring device
JP2984652B2 (en) * 1997-08-22 1999-11-29 富士通株式会社 Area extracting apparatus, area extracting method, and recording medium storing computer-implementable program
JPH1196375A (en) * 1997-09-22 1999-04-09 Nippon Telegr & Teleph Corp <Ntt> Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program
JPH1199140A (en) * 1997-09-26 1999-04-13 Toshiba Corp Device for detecting sleeping condition abnormality
JP3178393B2 (en) * 1997-11-11 2001-06-18 オムロン株式会社 Action generation device, action generation method, and action generation program recording medium
JP3169213B2 (en) * 1998-02-27 2001-05-21 株式会社データ・テック Moving speed detecting method and device, vehicle slip angle detecting device

Also Published As

Publication number Publication date
JP2001091289A (en) 2001-04-06

Similar Documents

Publication Publication Date Title
US7395181B2 (en) Motion tracking system
Nobili et al. Heterogeneous sensor fusion for accurate state estimation of dynamic legged robots
EP1586423B1 (en) Robot control device, robot control method, and robot control program
US9367067B2 (en) Digital tethering for tracking with autonomous aerial robot
CN110360996B (en) Sensor unit, moving object positioning device, and moving object
JP4782816B2 (en) Sensor unit
WO2019166141A1 (en) Vehicle control method and apparatus
JP2004120661A (en) Moving object periphery monitoring apparatus
CN109774723A (en) Information processing unit, methods and procedures, driver&#39;s monitoring system and preservation media
JP6418342B1 (en) Data processing apparatus, monitoring system, awakening system, data processing method, and data processing program
JP4425383B2 (en) Sensor unit
KR100901312B1 (en) Device for creating geomorphic data of autonomous mobile platform, autonomous mobile platform having the same and method for creating geomorphic data of autonomous mobile platform
CN109974696B (en) Indoor personnel autonomous positioning method based on SLAM and gait IMU fusion
JP6418341B1 (en) Data processing apparatus, monitoring system, awakening system, data processing method, and data processing program
US10249056B2 (en) Vehicle position estimation system
JP5088875B2 (en) Mobile robot and behavior control method of mobile robot
KR20210051030A (en) Apparatus and method for correcting bias in sensor
JP2021025902A (en) Position posture estimation device, position posture estimation method, and program
CN107567605B (en) Improved method for correcting trajectories in a personal mobility assistance device equipped with a sensor
CN108973858A (en) For ensuring the device of travel route safety
CN111712855A (en) Ground information processing method and device and unmanned vehicle
GB2571585A (en) Vehicle control method and apparatus
KR100575108B1 (en) Method of Docking Multiple Spacecrafts Using Vision Sensor
Ramane et al. Autonomous Racing Vehicle
KR20240030846A (en) Apparatus for estimating a vehicel by using a lidar sensor and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4425383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151218

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term