JPH10122871A

JPH10122871A - 状態検出装置および状態検出方法

Info

Publication number: JPH10122871A
Application number: JP28204496A
Authority: JP
Inventors: Kazuhiko Ueda; 和彦上田; Shinichiro Gomi; 伸一郎五味
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-10-24
Filing date: 1996-10-24
Publication date: 1998-05-15

Abstract

(57)【要約】【課題】後付けであっても、正確な現在地を、容易か
つ低コストで検出することができるようにする。【解決手段】ＣＣＤカメラ１とＣＣＤカメラ２によっ
て、ステアリング４とスピードメータ６を撮像し、位置
検出部７において、その結果得られる画像を処理するこ
とによって、自動車の速度情報および方位情報が求めら
れ、さらに、それらの情報に基づいて、自動車の現在地
が求められる。この位置検出部７の出力は、ＧＰＳシス
テム１０において、必要な数のＧＰＳ衛星の電波を受信
することができない場合に、モニタ１１に供給される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、状態検出装置およ
び状態検出方法に関し、特に、例えば、自動車などの速
度や、移動方向などの状態を検出し、その検出結果に基
づいて、自動車の現在地を得る場合などに用いて好適な
状態検出装置および状態検出方法に関する。

【０００２】

【従来の技術】例えば、カーナビゲーションシステムに
おいては、自動車の現在地を検出し、その現在地付近の
地図を表示するようになされている。

【０００３】ところで、このようなカーナビゲーション
システムでは、例えば、ＧＰＳ（Global Positioning S
ystem）衛星からの電波を受信して、自動車の現在地を
検出するようになされており、従って、例えば、自動車
がトンネル内を走行している場合や、天気が悪い場合な
どには、現在地の検出を行うのに必要な数のＧＰＳ衛星
からの電波を受信することができず、現在地を検出する
ことができないことがある。

【０００４】そこで、このような場合に、自動車の速度
（相対速度）や移動方向（相対方位）などを検出し、そ
の検出結果に基づいて、現在地を算出する方法（自律航
行法）が知られている。

【０００５】自動車の速度を求める方法としては、例え
ば、いわゆるスピードメータと同様に、車輪回転計を用
いて車輪の回転数を検出し、その回転数に、車輪の径を
考慮して求める方法などがある。また、自動車の相対速
度や相対方位を求める方法としては、例えば、加速度計
や角速度計を用い、その出力値を積算（積分）する方法
などがある。

【０００６】

【発明が解決しようとする課題】しかしながら、車輪回
転計を用いる方法では、その車輪回転計を、自動車の車
軸と密に接続させる必要があり、アクセサリなどとし
て、後付けするのは困難であった。

【０００７】また、加速度計や角速度計を用いる方法で
は、その出力値の積算による誤差の累積を防ぎ、正確な
現在地を検出するためには、高精度の加速度計や角速度
計を用いる必要があり、ユーザの費用負担が大になる。

【０００８】本発明は、このような状況に鑑みてなされ
たものであり、後付けであっても、正確な現在地を、容
易かつ低コストで検出することができるようにするもの
である。

【０００９】

【課題を解決するための手段】請求項１に記載の状態検
出装置は、乗り物の内部を撮像する撮像手段と、撮像手
段が出力する画像を処理し、その処理結果に基づいて、
乗り物の状態を検出する検出手段とを備えることを特徴
とする。

【００１０】請求項１２に記載の状態検出方法は、乗り
物の内部を撮像し、乗り物の内部の画像を処理して、そ
の処理結果に基づいて、乗り物の状態を検出することを
特徴とする。

【００１１】請求項１に記載の状態検出装置において
は、撮像手段は、乗り物の内部を撮像し、検出手段は、
撮像手段が出力する画像を処理し、その処理結果に基づ
いて、乗り物の状態を検出するようになされている。

【００１２】請求項１２に記載の状態検出方法において
は、乗り物の内部を撮像し、乗り物の内部の画像を処理
して、その処理結果に基づいて、乗り物の状態を検出す
るようになされている。

【００１３】

【発明の実施の形態】図１は、本発明を適用した状態検
出装置の一実施例の構成例を示している。本実施例にお
いては、状態検出装置は、例えば、自動車の内部に設置
され、その現在地を検出するようになされている。

【００１４】即ち、ＣＣＤ（Charge Coupled Device）
カメラ１（撮像手段）は、自動車内の、ステアリング４
を保持している固定部３に固定されており、ステアリン
グ４を撮像し、その結果得られる画像を、位置検出部７
（検出手段）に供給する。また、ＣＣＤカメラ２（撮像
手段）も、ＣＣＤカメラ１と同様に、固定部３に固定さ
れており、フロントパネル５に設けられているスピード
メータ６を撮像し、その結果得られる画像を、位置検出
部７に供給する。なお、図１の実施例では、スピードメ
ータ６は、その針の回転角により自動車の速度を表すよ
うになされている。

【００１５】位置検出部７では、ＣＣＤカメラ１と２か
らのステアリング４とスピードメータ６の画像に基づい
て、自動車の速度および移動方向が検出され、さらに、
その検出結果に基づいて、自動車の現在地が算出（検
出）される。位置検出部７において検出された現在地
は、スイッチ９の端子ａに供給される。

【００１６】スイッチ９は、通常は、端子ｂを選択して
おり、その端子ｂには、ＧＰＳシステム１０の出力が供
給されている。ＧＰＳシステム１０は、ＧＰＳ衛星（図
示せず）からの電波を受信し、その電波に基づいて、自
動車の現在地を検出しており、この現在地は、上述した
ように、スイッチ９の端子ｂに供給されている。

【００１７】従って、通常は、ＧＰＳシステム１０で検
出された自動車の現在地が、スイッチ９を介してモニタ
１１に供給されて表示される。

【００１８】スイッチ９は、何らかの原因によって、Ｇ
ＰＳシステム１０においてＧＰＳ衛星からの電波を受信
することができなくなった場合にみ、端子ａを選択する
ようになされており、従って、この場合、位置検出部７
において検出された自動車の現在地が、スイッチ９を介
してモニタ１１に供給されて表示される。

【００１９】なお、ＧＰＳシステム１０において検出さ
れた自動車の現在地は、端子ｂの他、学習データ算出部
８（補正手段）にも供給されるようになされている。学
習データ算出部８では、ＧＰＳシステム１０の出力に基
づいて、位置検出部７において正確な自動車の現在地を
検出するための学習データが算出され、位置検出部７に
供給される。位置検出部７では、学習データ算出部８か
ら供給される学習データを用い、ＣＣＤカメラ１または
２からの画像に基づいて検出される自動車の速度と移動
方向が、より正確なものに補正されるようになされてい
る。

【００２０】次に、図２は、図１の位置検出部７および
学習データ算出部８の構成例を示している。なお、図２
において、補助速度・方位算出部２８を除くブロック
が、図１の位置検出部７を構成しており、また、補助速
度・方位算出部２８が、図１の学習データ算出部８を構
成している。

【００２１】ＣＣＤカメラ２において撮像されたスピー
ドメータ６の画像は、スピードメータ針抽出部２１に供
給され、そこで、その画像の中から、スピードメータ６
の針の部分（以下、適宜、針画像という）が抽出され
る。スピードメータ針抽出部２１で抽出された針画像
は、針角度検出部２２に供給される。針角度検出部２２
では、針画像に基づいて、スピードメータ６の針の回転
角が検出され、角度：速度変換部（以下、適宜、単に、
変換部という）２３に供給される。変換部２３では、針
角度検出部２２からのスピードメータ６の（針の）回転
角に基づいて、自動車の速度（速度情報）が算出され、
その速度情報が、回転角＆速度：方位変換部（以下、適
宜、単に、変換部という）２６および相対位置算出部２
７に供給される。

【００２２】一方、ＣＣＤカメラ１において撮像された
ステアリング４の画像は、ステアリング抽出部２４に供
給される。ステアリング抽出部２４では、ＣＣＤカメラ
１より供給された画像の中からステアリング４の部分
（以下、適宜、ステアリング画像という）が抽出され、
ステアリング回転量検出部２５に供給される。ステアリ
ング回転量検出部２５では、ステアリング画像から、ス
テアリング４の回転量（回転角）が検出され、変換部２
６に供給される。変換部２６では、ステアリング回転量
検出部２５からのステアリング４の回転量と、変換部２
３からの速度情報とに基づいて、自動車の移動方向（相
対的な方向（微小時間だけ過去の方向を基準とする現在
の移動方向））（方位情報）が求められ、相対位置算出
部２７に供給される。

【００２３】相対位置算出部２７では、変換部２３また
は２６それぞれからの速度情報または方位情報に基づい
て、自動車の現在地（相対位置（微小時間だけ過去の位
置を基準とする現在地））が算出され、スイッチ９を介
してモニタ１１に供給される。

【００２４】一方、補助速度・方位算出部（以下、適
宜、単に、算出部という）２８は、ＧＰＳシステム１０
が動作状態にある場合（ＧＰＳシステム１０が、必要な
数のＧＰＳ衛星からの電波を受信することができる状態
にある場合）に、そのＧＰＳシステム１０が出力する自
動車の現在地（ＧＰＳ情報）を受信し、そのＧＰＳ情報
に基づいて、変換部２３または２６それぞれにおいて正
確な速度情報または方位情報を得るための学習データを
算出する。この学習データは、算出部２８から、変換部
２３および２６に供給され、変換部２３または２６で
は、この学習データを用いて、正確な速度情報または方
位情報が得られるように補正が行われる。

【００２５】次に、図３は、図２のスピードメータ針抽
出部２１および針角度検出部２２の構成例を示してい
る。なお、図３において、色信号復調部３１、ヒストグ
ラム処理部３２、２値化部３３、およびバッファメモリ
３４が、スピードメータ針抽出部２１を構成しており、
残りのＭＰＵ（MicroProcessing Unit）３５が、針角度
検出部２２を構成している。

【００２６】図３においては、スピードメータ６の針
が、通常、その文字盤その他と異なる色相を有すること
から、その色相の違いに注目して、ＣＣＤカメラ２より
供給される画像から、針画像を抽出するようになされて
いる。従って、本実施例においては、ＣＣＤカメラ２
（ＣＣＤカメラ１についても同様）は、カラーの画像を
出力するビデオカメラとされている。

【００２７】即ち、ＣＣＤカメラ２が出力するカラー画
像は、色信号復調部３１に供給される。色信号復調部３
１では、カラー画像のデータから、各画素についての色
差信号Ｕ，Ｖが復調され、２値化部３２およびヒストグ
ラム処理部３３に供給される。

【００２８】２値化部３２では、色信号復調部３１から
の色差信号Ｕ，Ｖに基づいて、ＣＣＤカメラ２が出力す
る画像を構成する各画素の画素値が、例えば、１または
０のうちのいずれか一方に２値化される。即ち、２値化
部３２は、ある画素の色差信号Ｕが、所定の閾値ｕ０以
上ｕ１以下の範囲内にあり、かつその色差信号Ｖが、所
定の閾値ｖ０以上ｖ１以下の範囲内にある場合、その画
素の画素値として１を出力し、それ以外の場合には０を
出力する。２値化部３２は、ＣＣＤカメラ２が出力する
画像を構成する画素すべてについて、上述の処理を行
い、また、２値化部３２が出力する画素の画素値は、バ
ッファメモリ３４の、その画素に対応するアドレスに記
憶される。

【００２９】ここで、所定の閾値ｕ０，ｕ１，ｖ０，ｖ
１は、ヒストグラム処理部３３において求められ、２値
化部３２に供給されるようになされている。即ち、ヒス
トグラム処理部３３は、図５に示すように、色信号復調
部３１から供給される画素の色差信号Ｕ，Ｖの度数分布
（ヒストグラム）を求め、針画像を構成する画素の色差
信号Ｕ，Ｖそれぞれが分布する範囲を決定する。そし
て、その色差信号Ｕ，Ｖそれぞれの範囲の境界を、閾値
ｕ０，ｕ１，ｖ０，ｖ１として、２値化部３２に出力す
る。なお、針画像を構成する画素の色差信号Ｕ，Ｖは、
例えば、夜間に点灯されるフロントパネル５の照明や、
外光の影響で変化するので、ヒストグラム処理部３３で
は、針画像を精度良く検出することができるように、種
々の撮影条件下において適切な閾値が設定されるように
なされている。

【００３０】以上のようにして、バッファメモリ３４
に、ＣＣＤカメラ２からの画像を構成するすべての画素
についての画素値（ここでは、上述したように０または
１）が記憶されると、その０と１で構成される画像（以
下、適宜、２値化画像という）の１の部分が、スピード
メータ６の針の部分（針画像）となる。

【００３１】そして、ＭＰＵ３５においては、図６のフ
ローチャートにしたがった処理が行われることにより、
スピードメータ６の針の回転角が検出される。

【００３２】即ち、ＭＰＵ３５では、まず最初に、ステ
ップＳ１において、変数ｖｘに、スピードメータ６の針
の回転中心ａ０のｘ座標がセットされるとともに、変数
ｖｙに、そのｙ座標がセットされる。ここで、図６の実
施例では、ａ０が原点（０，０）となるように、ｘｙ座
標系が設定されるようになされている。

【００３３】そして、ステップＳ２において、図７
（Ａ）に示すように、回転中心ａ０を中心に、所定の半
径ｒの円を描くように、バッファメモリ３４の記憶内
容、即ち、２値化画像がスキャンされ、ステップＳ３に
進み、スキャンした範囲に、画素値が１の画素、即ち、
針画像を構成する画素がなかったかどうかが判定され
る。ステップＳ３において、針画像を構成する画素があ
ったと判定された場合、ステップＳ４に進み、図７
（Ｂ）に示すように、針画像を構成する画素の範囲の中
点、即ち、回転中心ａ０を中心とする、半径ｒの円の円
周上の、画素値が１の画素の範囲によって形成される中
心角を２等分する角度ｐ’が検出される。

【００３４】ここで、図７（Ｂ）においては、横軸が、
回転中心ａ０を中心とする、所定の基準位置からの回転
角（単位は、例えばラジアン（radian））を表してお
り、縦軸が、その回転角に対応する、半径ｒの円の円周
上の点（画素）の画素値を表している。従って、図７
（Ｂ）は、回転角がｔ０乃至ｔ１の範囲に針画像が存在
していることを表しており、この場合、ステップＳ４で
は、式ｐ’＝（ｔ０＋ｔ１）／２にしたがった計算が行
われることで、中点ｐ’が算出される。

【００３５】その後、ステップＳ５に進み、変数ｖｘ，
ｖｙが次式にしたがって更新され、ステップＳ２に戻
り、図７（Ａ）に示すように、更新された変数ｖｘ，ｖ
ｙを、それぞれｘ，ｙ座標とする点ａ１を、新たな回転
中心として、ステップＳ２以下の処理が繰り返される。

【００３６】ｖｘ←ｖｘ−ｒ×ｃｏｓ（ｐ’）ｖｙ←ｖｙ＋ｒ×ｓｉｎ（ｐ’）・・・（１）

【００３７】そして、ステップＳ３において、スキャン
した範囲に、画素値が１の画素、即ち、針画像を構成す
る画素がなかったと判定された場合、即ち、スピードメ
ータ６の針の先端を越えた範囲をスキャンするような状
態となった場合、ステップＳ６に進み、半径ｒが１／２
倍され、これが新たな半径ｒとされ、ステップＳ７に進
む。ステップＳ７では、半径ｒが、所定の閾値ｒ＿ｍｉ
ｎより小さいかどうかが判定される。

【００３８】ステップＳ７において、半径ｒが、所定の
閾値ｒ＿ｍｉｎより小さくないと判定された場合、ステ
ップＳ２に戻り、以下、同様の処理が繰り返される。ま
た、ステップＳ７において、半径ｒが、所定の閾値ｒ＿
ｍｉｎより小さいと判定された場合、そのときの変数ｖ
ｘ，ｖｙで表される座標（ｖｘ，ｘｙ）が、スピードメ
ータ６の針先の座標であると認識され、ステップＳ８に
進み、次式にしたがって、スピードメータ６の回転角Ｐ
が算出され、処理を終了する。

【００３９】Ｐ＝−ａｒｃｔａｎ（ｖｙ／ｖｘ）・・・（２）なお、ａｒｃｔａｎ（）は、逆正接関数を表す。

【００４０】針角度検出部２２では、以上のようにして
算出された回転角Ｐが、変換部２３（図２）に出力さ
れ、変換部２３では、この回転角Ｐを用い、例えば、次
式にしたがって、速度情報（自動車の速度）Ｃが算出さ
れる。

【００４１】Ｃ＝ｑ₀＋ｑ₁Ｐ＋ｑ₂Ｐ²＋ｑ₃Ｐ³＋ｑ₄Ｐ⁴ ＋ｑ₅Ｐ⁵＋ｑ₆Ｐ⁶＋ｑ₇Ｐ⁷＋ｑ₈Ｐ⁸ ・・・（３）

【００４２】ここで、式（３）におけるｑ_i（但し、こ
こでは、ｉは０乃至８の範囲の整数）は所定の定数で、
算出部２８（図２）から供給される学習データに基づい
て決定（補正）されるようになされている。

【００４３】即ち、算出部２８は、ある時刻ｔにおける
自動車の現在地（Ｋ，Ｌ）（ＫまたはＬは、例えば、経
度または緯度をそれぞれ表す）と、その時刻ｔから時間
△ｔだけ経過したときにおける自動車の現在地（Ｋ’，
Ｌ’）を、ＧＰＳシステム１０から受信すると、次式に
したがって、自動車の速度（基準速度）ＣＣを算出す
る。

【００４４】ＣＣ＝（（Ｋ’−Ｋ）²＋（Ｌ’−Ｌ）²）^1/2／△ｔ・・・（４）

【００４５】算出部２８において算出された基準速度Ｃ
Ｃは、学習データとして、変換部２３に出力され、変換
部２３では、複数時刻において得られた基準速度ＣＣ
を、式（３）における速度情報Ｃに代入し、例えば、回
帰分析などを行うことにより、定数ｑ_iが求められる。

【００４６】ところで、上述の場合には、ＭＰＵ３５に
おいて、２値画像を、いわば逐次成長させることによ
り、スピードメータ６の回転角を求めるようにしたが、
スピードメータ６の回転角は、その他、例えば、２値画
像を主成分分析することにより、スピードメータ６の針
の方向を表す直線を検出し、その直線から求めるように
することなども可能である。

【００４７】即ち、この場合、図８のフローチャートに
示すように、まず最初に、ステップＳ１１において、２
値画像を構成する画素のうち、画素値が１の画素の座標
が入力として与えられる。ここで、例えば、いま、画素
値が１の画素がｎ個あるものとし、ｉ個目（ここでは、
ｉは、１以上ｎ以下の整数）の画素の座標を、（ｘ_i，
ｙ_i）とする。

【００４８】そして、ステップＳ１２に進み、画素値が
１の画素が分布する範囲の中心の座標（ｘ_a，ｙ_a）が、
次式にしたがって算出される。

【００４９】

【数１】・・・（５）なお、式（５）で表されるｘ_a，ｙ_aは、ｘ_i，ｙ_iそれぞ
れの平均値である。

【００５０】その後、ステップＳ１３に進み、画素値が
１の画素の座標についての共分散行列Ｖが、次式にした
がって算出される。

【００５１】Ｖ＝１／ｎ×Ｍ^tＭ・・・（６）但し、Ｍは、次式で表されるｎ×２の行列であり、ま
た、上付けのｔは転置を表す。

【００５２】

【数２】・・・（７）

【００５３】共分散行列Ｖが算出された後は、ステップ
Ｓ１４に進み、固有値と固有ベクトルが算出される。即
ち、ステップＳ１４では、２×２の単位行列をＩと表す
とき、行列Ｖ−λＩの行列式｜Ｖ−λＩ｜を０にする２
つのλ（ここでは、λ₁，λ₂とする）が算出される。な
お、共分散行列Ｖの固有値は、正の実数または０になる
ことが知られており、ステップＳ１４で算出された固有
値λ₁，λ₂は、λ₁≧λ₂≧０の関係にあるものとする。

【００５４】さらに、ステップＳ１４では、共分散行列
Ｖによる一次変換によって、方向が変わらず、大きさだ
けが固有値λ₁，λ₂倍だけされる、０でない２つのベク
トル、即ち、固有ベクトル（ｌ_1x，ｌ_1y），（ｌ_2x，ｌ
_2y）が算出される。

【００５５】ここで、固有値λ₁，λ₂で構成される行列
Λ、および固有ベクトル（ｌ_1x，ｌ_1y），（ｌ_2x，
ｌ_2y）で構成される行列Ｌを次式で定義する。

【００５６】

【数３】・・・（８）

【００５７】この場合、共分散行列Ｖは、次式で表すこ
とができる。

【００５８】Ｖ＝Ｌ^tΛＬ・・・（９）

【００５９】いま、固有値λ₁またはλ₂それぞれに対応
する固有ベクトルを、（ｌ_1x，ｌ_１ｙ）または
（ｌ_２ｘ，ｌ_2y）とすると、固有ベクトル（ｌ_1x，
ｌ_1y），（ｌ_2x，ｌ_2y）は、画素値が１の画素が存在し
ている２次元の線形空間（２次元平面）の基底ベクトル
（１，０），（０，１）を、互いに直交し（無相関
で）、且つ画素値が１の画素の分散が大きくなる方向順
に変換したものとなる。従って、固有ベクトル（ｌ_1x，
ｌ_1y）は、画素値が１の画素の分散が最も大きい方向を
向いており、固有ベクトル（ｌ_2x，ｌ_2y）は、その次に
分散が大きい方向を向いている。

【００６０】以上から、スピードメータ６の針は、ステ
ップＳ１２で求めた座標（ｘ_a，ｙ_a）を通り、固有ベク
トル（ｌ_1x，ｌ_1y）の方向を向いている直線の上に、い
わばのっていると推定される。そこで、固有値および固
有ベクトルの算出後は、ステップＳ１５において、その
直線（以下、適宜、針直線という）が求められる。

【００６１】そして、ステップＳ１６に進み、ステップ
Ｓ１１乃至Ｓ１５の処理が、まだ１回しか行われていな
いかどうかが判定される。ステップＳ１６において、ス
テップＳ１１乃至Ｓ１５の処理が、まだ１回しか行われ
ていないと判定された場合、ステップＳ１７に進み、画
素値が１の画素のうち、針直線から、所定の距離以上離
れているものが削除される。

【００６２】即ち、画素値が１の画素のうち、針直線か
ら、所定の距離以上離れているものは、針画像を構成す
る画素ではない可能性が高い。そこで、ステップＳ１７
では、そのような画素が取り除かれる。そして、ステッ
プＳ１１に戻り、残りの画素（画素値が１の画素のう
ち、針直線から、所定の距離以上離れているものを除い
た残り）を対象に、再び、ステップＳ１１以下の処理が
行われる。

【００６３】一方、ステップＳ１６において、ステップ
Ｓ１１乃至Ｓ１５の処理が、２回行われたと判定された
場合、即ち、画素値が１の画素のうち、針直線から、所
定の距離以上離れているものを除いた残りを対象に主成
分分析が行われ、これにより、針直線が得られた場合、
ステップＳ１８に進み、その針直線の傾きに対応する角
度が、スピードメータ６の針の回転角として決定され、
処理を終了する。

【００６４】なお、図８の実施例における場合において
は、主成分分析を２回行うようにし、その２回目に得ら
れた針直線に基づいて、スピードメータ６の回転角を求
めるようにしたが、１回目の主成分分析で得られた針直
線に基づいて、スピードメータ６の回転角を求めるよう
にすることが可能である。但し、主成分分析を２回行う
ようにした場合においては、上述したように、針画像を
構成する画素ではない画素を除いて、針直線が求められ
るので、より精度の高い、スピードメータ６の回転角を
求めることが可能となる。

【００６５】また、本実施例においては、ステアリング
抽出部２４およびステアリング回転量検出部２５も、図
５に示したスピードメータ針抽出部２１および針角度検
出部２２と同様に構成されており、従って、ステアリン
グ抽出部２４およびステアリング回転量検出部２５にお
いても、上述した場合と同様に、ステアリング４とその
他の部分の色相の違いから、ステアリング画像が抽出さ
れ、その回転量が求められる。

【００６６】但し、ステアリング４については、スピー
ドメータ６と異なり、１回転以上回転する場合があるた
め、その回転量（いわば、絶対的な回転量）の算出は、
例えば、前回検出された回転量と比較しながら行うよう
にする必要がある。

【００６７】次に、図９を参照して、図２の変換部２６
の処理の詳細について説明する。

【００６８】いま、ステアリング回転量検出部２５にお
いて検出されたステアリング４の回転量（絶対的な回転
角）をｈとすると、自動車の前輪Ｆと後輪Ｂの車軸Ｓｈ
_FとＳｈ_Bを２等分する、車体の中心線Ｉからの、自動車
の変位角ａは、次式で表すことができる。

【００６９】ａ＝αｈ・・・（１０）なお、αは、所定の定数で、算出部２８（図２）から供
給される学習データに基づいて決定（補正）されるよう
になされている。

【００７０】即ち、算出部２８は、上述したように、Ｇ
ＰＳシステム１０から供給されるＧＰＳ情報としての、
時刻ｔにおける自動車の現在地（Ｋ，Ｌ）と、時刻ｔ＋
△ｔにおける自動車の現在地（Ｋ’，Ｌ’）から、次式
にしたがって、自動車の移動方向（基準方向）ＳＳを算
出する。

【００７１】ＳＳ＝ａｒｃｔａｎ（（Ｋ’−Ｋ）／（Ｌ’−Ｌ））・・・（１１）

【００７２】算出部２８において算出された基準方向Ｓ
Ｓは、学習データとして、変換部２６に出力され、変換
部２６では、この基準方向ＳＳを、後述する式（１５）
のａに代入することで、定数αが求められる。

【００７３】自動車は、変位角ａによって、ある円の円
周上を走行していくと仮定することができ、この円の中
心Ｏは、前輪Ｆが向いている方向と直交する直線Ｌ１
と、後輪Ｂが向いている方向と直交する直線Ｌ２との交
点によって近似することができる。

【００７４】いま、前輪Ｆの車軸Ｓｈ_Fと後輪Ｂの車軸
Ｓｈ_Bとの距離をＷと、自動車の回転半径（中心０から
自動車までの距離）をＲと、円周上を走行する自動車の
速度（線速度）をＣと、その角速度をＳとすると、次式
が成立する。

【００７５】Ｃ＝ＲＳ・・・（１２）

【００７６】また、図９に示したように、幾何学的に、
次式が成立する。

【００７７】Ｗ＝Ｒ×ｓｉｎ（ａ）・・・（１３）

【００７８】式（１０）、（１２）、および（１３）か
ら次式を得ることができる。

【００７９】Ｓ＝Ｃ／Ｗ×ｓｉｎ（αｈ）・・・（１４）

【００８０】従って、方位情報、即ち、自動車の変位角
ａは、角速度Ｓを積分することにより、即ち、次式によ
り得ることができる。

【００８１】ａ＝∫Ｓｄｔ＝１／Ｗ×Σ（Ｃ×ｓｉｎ（αｈ））・・・（１５）

【００８２】但し、∫ｄｔは、時間についての積分を表
す。また、Σは、所定の期間内に得られるＣとｈについ
てのサメーションを表す。なお、ｈは、ステアリング回
転量検出部２５から、ステアリング４の回転量として、
また、Ｃは、変換部２３から、速度情報としてそれぞれ
得られる。

【００８３】変換部２６では、式（１５）にしたがっ
て、方位情報が求められる。

【００８４】以上のように、ステアリング４およびスピ
ードメータ６を撮像し、その結果得られる画像を処理す
ることによって、自動車の状態としての速度情報および
方位情報を得るようにしたので、後付けであっても、正
確な現在地を、容易かつ低コストで検出することが可能
となる。

【００８５】次に、図１０は、本発明の状態検出装置の
他の実施例の構成を示している。

【００８６】この実施例においては、ＣＣＤカメラ１
は、自動車の内部としての、例えば、フロントパネル５
を撮像し、その画像を、処理装置４１に出力するように
なされている。

【００８７】処理装置４１（検出手段）では、ＣＣＤカ
メラ１からのフロントパネル５の画像から、自動車の状
態としての、例えば、自動車の速度や、オイルランプの
点灯の有無、水温、ガソリンの残量などが検出され、音
声合成装置４２に出力される。音声合成装置４２（音声
出力手段）では、処理装置４１からの自動車の状態を、
ユーザに報知するための合成音が生成される。この合成
音は、スピーカ４３に供給されて出力される。

【００８８】従って、この場合、ユーザに対して、自動
車の速度や、オイルランプの点灯、水温、ガソリンの残
量などを、音声で報知することができる。

【００８９】なお、ＣＣＤカメラ１により、フロントパ
ネル５ではなく、例えば、後部座席などを撮像するよう
にすれば、例えば、後部座席に子供を載せた場合に、そ
の子供がいたずらなどをしていることなどを、ユーザに
報知することが可能となる。また、例えば、ドアなどを
撮像するようにすることにより、窓があいていること
や、ドアロックがされていないことなどを、ユーザに報
知し、注意を促すことが可能となる。

【００９０】また、ユーザへの注意は、合成音ではな
く、例えば、運転席などの座席を振動させることなどに
よって促すことも可能である。

【００９１】以上、本発明の状態検出装置を、自動車に
取り付けた場合について説明したが、本発明は、自動車
の他、船舶や、飛行機、その他の乗り物について適用可
能である。

【００９２】なお、本実施例においては、自動車の内部
を撮像するための撮像手段として、ＣＣＤを搭載したＣ
ＣＤカメラを用いるようにしたが、この撮像手段として
は、ＣＣＤカメラ以外のものを用いることも可能であ
る。

【００９３】また、ＣＣＤカメラ１および２として、カ
ラーのビデオカメラを用いるようにしたが、ＣＣＤカメ
ラ１および２としては、白黒のビデオカメラを用いるこ
とも可能である。この場合、ステアリング画像および針
画像の抽出は、白黒のビデオカメラの出力を、例えば、
空間微分するなどして行うことが可能である。

【００９４】さらに、本実施例においては、ステアリン
グ４の回転量、およびスピードメータ６の回転角を、逐
次成長や主成分分析によって求めるようにしたが、これ
らの回転量および回転角は、その他、例えば、ハフ変換
その他の手法により求めることが可能である。

【００９５】また、本実施例では、ステアリング４の回
転量を、そのステアリング４全体の画像から求めるよう
にしたが、ステアリング４の回転量は、その他、例え
ば、ステアリング４のスポークなどに、バーコードその
他の検出し易い目印を付しておき、その目印部分から求
めるようにすることも可能である。

【００９６】さらに、本実施例では、ステアリング４の
回転量、およびスピードメータ６の回転角のいずれも画
像から求めるようにしたが、例えば、いずれか一方を、
角速度センサなどを用いて求めるようにすることも可能
である。

【００９７】また、本実施例では、自動車の速度を、ス
ピードメータ６の回転角を用いて所定の演算を行うこと
により求めるようにしたが、その他、自動車の速度と、
スピードメータ６の回転角とを対応付けたテーブルを作
成し、これを、ＲＡＭ（Random Access Memory）などに
記憶させておき、そのテーブルを参照することにより、
自動車の速度を得るようにすることなども可能である。
自動車の移動方向についても、同様にして得ることが可
能である。

【００９８】さらに、本実施例においては、スピードメ
ータ６として、その針の回転角により自動車の速度を表
すものを用いるようにしたが、スピードメータ６として
は、その他、例えば、７セグメントなどにより数字で、
速度を表すものを用いることが可能である。この場合、
スピードメータ６を撮像した画像を対象に、例えば文字
認識（数字認識）を行うことで、自動車の速度を求める
ことができる。

【００９９】また、本実施例では、ＧＰＳシステム１０
において、ＧＰＳ衛星から送信されてくる電波に基づい
て、速度情報および方位情報を補正するための学習デー
タを算出するようにしたが、学習データは、その他、例
えば、信号機などのランドマークから送信されてくる電
波に基づいて算出するようにすることなどが可能であ
る。

【０１００】さらに、本実施例においては、式（３）に
示したように、速度情報を８次の式によって求めるよう
にしたが、その次数は、特に限定されるものではない。

【０１０１】

【発明の効果】請求項１に記載の状態検出装置および請
求項１２に記載の状態検出方法によれば、乗り物の内部
が撮像され、その画像が処理される。そして、その処理
結果に基づいて、乗り物の状態が検出される。従って、
後付けであっても、正確な現在地を、容易かつ低コスト
で検出することが可能となる。

【図面の簡単な説明】

【図１】本発明の状態検出装置の第１実施例の構成を示
すブロック図である。

【図２】図１の位置検出部７および学習データ算出部８
の構成例を示すブロック図である。

【図３】図２のスピードメータ針抽出部２１および針角
度検出部２２（ステアリング抽出部２４およびステアリ
ング回転量検出部２５）の構成例を示すブロック図であ
る。

【図４】図３の２値化部３２の処理を説明するための図
である。

【図５】図３のヒストグラム処理部３３で作成されるヒ
ストグラムを示す図である。

【図６】図３のＭＰＵ３５の処理を説明するためのフロ
ーチャートである。

【図７】図３のＭＰＵ３５の処理を説明するための図で
ある。

【図８】主成分分析を用いて、スピードメータ６の回転
角（ステアリング４の回転量）を求める方法を説明する
ためのフローチャートである。

【図９】図２の回転角＆速度：方位変換部２６の処理を
説明するための図である。

【図１０】本発明の状態検出装置の第２実施例の構成を
示すブロック図である。

【符号の説明】

１，２ＣＣＤカメラ（撮像手段），４ステアリン
グ，５フロントパネル，６スピードメータ，
７位置検出部（検出手段），８学習データ算出部
（補正手段），１０ＧＰＳシステム，２１スピ
ードメータ針抽出部，２２針角度検出部，２３
角度：速度変換部，２４ステアリング抽出部，２
５ステアリング回転量検出部，２６回転角＆速
度：方位変換部，２７相対位置算出部，２８補
助速度・方位算出部，３１色信号復調部，３２
２値化部，３３ヒストグラム処理部，３５ＭＰ
Ｕ，４１処理装置（検出手段），４２音声合成装
置（音声出力手段）

Claims

【特許請求の範囲】

【請求項１】乗り物の状態を検出する状態検出装置で
あって、前記乗り物の内部を撮像する撮像手段と、前記撮像手段が出力する画像を処理し、その処理結果に
基づいて、前記乗り物の状態を検出する検出手段とを備
えることを特徴とする状態検出装置。
【請求項２】前記撮像手段は、前記乗り物のスピード
メータを撮像し、前記検出手段は、前記スピードメータの画像に基づい
て、前記乗り物の速度を検出することを特徴とする請求
項１に記載の状態検出装置。
【請求項３】前記スピードメータが、その回転角によ
り、前記乗り物の速度を表すとき、前記検出手段は、前記スピードメータの回転角に基づい
て、前記乗り物の速度を検出することを特徴とする請求
項２に記載の状態検出装置。
【請求項４】前記スピードメータが、数字を表示する
ことにより、前記乗り物の速度を表すとき、前記検出手段は、前記スピードメータが表示する数字に
基づいて、前記乗り物の速度を検出することを特徴とす
る請求項２に記載の状態検出装置。
【請求項５】前記検出手段により検出される前記乗り
物の速度を補正する補正手段をさらに備えることを特徴
とする請求項２に記載の状態検出装置。
【請求項６】前記補正手段は、衛星またはランドマー
クから送信されてくる電波に基づいて補正を行うことを
特徴とする請求項５に記載の状態検出装置。
【請求項７】前記撮像手段は、前記乗り物のステアリ
ングを撮像し、前記検出手段は、前記ステアリングの画像に基づいて、
前記乗り物の移動方向を検出することを特徴とする請求
項１に記載の状態検出装置。
【請求項８】前記撮像手段は、前記乗り物のスピード
メータも撮像し、前記検出手段は、前記乗り物のスピードメータの画像に
基づいて、前記乗り物の速度を検出し、さらに、その速
度および前記ステアリングの画像に基づいて、前記乗り
物の移動方向を検出することを特徴とする請求項７に記
載の状態検出装置。
【請求項９】前記検出手段により検出される前記乗り
物の移動方向を補正する補正手段をさらに備えることを
特徴とする請求項７に記載の状態検出装置。
【請求項１０】前記補正手段は、衛星またはランドマ
ークから送信されてくる電波に基づいて補正を行うこと
を特徴とする請求項９に記載の状態検出装置。
【請求項１１】前記検出手段により検出された前記乗
り物の状態を、音声で出力する音声出力手段をさらに備
えることを特徴とする請求項１に記載の状態検出装置。
【請求項１２】乗り物の状態を検出する状態検出方法
であって、前記乗り物の内部を撮像し、前記乗り物の内部の画像を処理し、その処理結果に基づ
いて、前記乗り物の状態を検出することを特徴とする状
態検出方法。