WO2004006207A1 - 交通機関自動案内装置 - Google Patents

Abstract

時々刻々と変化する自動車等の交通機関の周囲の状況を自動的に認識し、道路等の運行経路を自動的に案内することができる交通機関自動案内装置を提供する。交通機関自動案内装置１では、入力装置２によって取得された運行する交通機関の周囲の状況に関する画像データ、音声データ等が、比較装置４によってデータベース内に予め格納された画像データ、音声データ等と比較される。画像データ、音声データ等を比較した結果が一致した場合には、そのデータの内容が認識装置５によって認識され、認識された結果は出力装置６によって運行者等に文字、画像、音声等によって通知される。

Description

明 細 書 交通機関自動案内装置 技術分野

本発明は、 運行する交通機関のおかれた状況を自動的に認識し、 その状況 を運行者等に文字、 画像、 音声等によって通知し、 運行経路を案内し、 かつ, 運行する際の適切な動作を指示する交通機関自動案内装置に関する。 背景技術

従来、 道路に設置された標識、 標示等を自動的に読み取り、 その意味内容 を認識したり、 道路を走行する並進車両、 追越車両、 対向車両等の状況を認 識して、 自車両のおかれた状況を運転者又は同乗者に自動的に通知し、 道路 を案内する装置は存在しなかった。 そこで、 助手席に座った同乗者が、 道路 に設置された標識、 標示等を読んで、 運転者にその内容を知らせたり、 道路 を走行する並進車両、 追越車両、 対向車両等を見て、 運転者にその状況を知 らせたり、 さらに、 場合によっては、 ブレーキを踏む等の操作を指示したり した。

一方、 近年における自動操縦技術の進歩によって、 路肩に付設された白線 を検知し、 その白線に沿って自動車を自動走行させる装置が実用化されてい る。 又、 先行車两との距離を何らかの手段で検出し、 所定距離を保持して自 動車を自動走行させる装置、 道路に設置されたビーコンに従って自動車を自 動走行させる装置等が研究されており、 実用化に近づいている （例えば、 特 開平 1 0— 1 6 2 2 8 5号公報参照） 。 何れにしても、 道路に設置された標識、 標示等、 又、 道路を走行する並進 車両、 追越車両、 対向車両等を認識し、 自動車が走行する道路をき動的に案 内する装置は、 これまで存在しなかった。

このような従来の技術については、 自動車等の路面を走行する車両に限ら ず、 列車等の軌道を走行する車両、 さらには、 航空機等の空間を航行する機 体、 船舶等の海上を航行する船体においても同様であった。 発明の開示

• ここで、 道路に設置された標識、 標示等、 又、 道路を走行する先行車両、 後続車両、 並進車両、 追越車両、 対向車両等の自車両のおかれた状況を自動 的に認識するためには、 自車両の周囲の状況を画像、 音声等として経時的に 取り込み、 取り込んだ画像データ、 音声データ等を高速で処理しなければな らない。

しかし、 時々刻々と変化する自車両の周囲の状況を自動的に認識し、 道路 を自動的に案内するには、 膨大な量の画像データ、 音声データ等を処理する 必要があり、 とても高速で処理するのは困難であった。 ましてや、 リアルタ ィムで処理するのは到底不可能であった。

このような問題点については、 自動車等の路面を走行する車両に限らず、 列車等の軌道を走行する車両、 さらには、 航空機等の空間を航行する機体、 船舶等の海上を航行する船体においても同様であった。

本発明は、 かかる従来の問題点に鑑みて為されたものであり、 膨大な量の 画像データ、 音声データ等を高速に処理することができて、 時々刻々と変化 する自動車等の交通機関の周囲の状況を自動的に認識し、 道路等の運行経路 を自動的に案内することができる交通機関自動案内装置を提供することを目 的とする。

上記目的を達成するために、 本発明の交通機関自動案内装置は、 運行する 交通機関の周囲の状況を画像、 音声等として取得する入力装置と、 その交通 機関に関する画像データ、 音声データ等を予め格納したデータベースと、 前 記入力装置によって取得した画像データ、 音声データ等を前記データベース 内に格納した画像データ、 音声データ等と比較する比較装置と、 画像データ、 音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、 特定する認識装置と、 前記認識装置によって認識し、 特定した結果を運行者 等に文字、 画像、 音声等によって通知する出力装置とから構成されることを 特徴とする。

さらに、 前記入力装置によって取得された対象物に対応する画像データ、 音声データ等が前記データベース内に存在しない場合に、 その新たな対象物 に対応する画像データ、 音声データ等を地図上の位置と対応させて前記デー タベースに新たに格納する記憶装置と、 対象物に対応する画像データ、 音声 データ等が前記データベース内に格納された画像データ、 音声データ等と相 違する場合に、 新しい画像データ、 音声データ等に更新して前記データべ一 スに格納するデータ更新装置を有することが好ましい。

又、 前記認識装置によって認識又は特定された事項に基づいて何等かの判 断を行い、 前記出力装置によって運行者等に判断結果に基づく指示を文字、 画像、 音声等で通知する判断装置をも有するのが好ましい。

さらに、 前記判断装置は、 前記認識装置によって認識又は特定された事項 に基づいて何等かの判断を行い、 さらに、 その判断結果に基づいて前記出力 装置に所定の動作を指示し、 制動装置、 操縦装置等を自動的に作動させるも のであることが好ましい。 又、 前記交通機関自動案内装置において、 これを構成する一又は複数の装 置を他の装置と通信回線を介して接続するようにしてもよレ、。

さらに、 前記入力装置によって取得された交通機関の周囲の状況について の遠近法画像データを、 遠近感を排除した平面画像データに変換する平面画 像変換装置と、 前記比較装置によって、 変換された平面画像データを前記デ ータベース内に格納してある画像データと比較した結果に基づいて、 そのデ ータの内容を認識し、 特定する平面画像認識装置と、 この平面画像認識装置 によって認識、 特定された対象物に関して、 種々の空間的物理量を計測する 画像内容計測装置と、 から構成される平面展開処理装置を付設してもよい。 又、 前記平面画像変換装置は、 前記入力装置によって取得された交通機関 の周囲の状況についての 3 6 0度全周囲画像データをも、 平面画像データに 変換する機能を有するようにしてもよレ、。

さらに、 交通機関の周囲の状況を画像データ、 計測データ等として取得す る交通情報検出装置を交通機関の運行経路に設置して、 前記交通情報検出装 置によって取得した画像データ、 計測データ等を受信できるようにしてもよ レ、。

ここで、 前記交通情報検出装置は、 取得された画像データ、 計測データに 基づいてコンピュータグラフィック化するグラフィック化装置を有すること が好ましい。

さらに、 交通機関に搭載した入力装置によって映像を取得する画像取得部 と、 取得した映像をある期間記録する画像一時記録部と、 画像内に対応点を 取るための手掛り点を自動抽出する手掛り点自動抽出部と、 距離差のある二 以上の画像を取り出し、 各画像内の複数の手掛り点の対応点を求める対応点 検出部と、 検出された複数の対応点から、 入力装置の位置及び方向を演算す る入力装置位置方向計測部と、 求められた入力装置位置の三次元座標の相対 距離値を、 実測値を用いて絶対距離値に変換する実測スケール変換部と、 か ら構成される位置関係認識装置を付設してもよい。 図面の簡単な説明

図 1は、 本発明の交通機関自動案内装置の構成図であり、 図 2は、 交通機 関が自動車である場合の、 本発明の交通機関自動案内装置の作用を示す説明 図であり、 図 3は、 交通機関が軌道車両である場合の、 本発明の交通機関自 動案内装置の作用を示す説明図であり、 図 4は、 交通機関が航空機である場 合の、 本発明の交通機関自動案内装置の作用を示す説明図であり、 図 5は、 交通機関が船舶である場合の、 本発明の交通機関自動案内装置の作用を示す 説明図であり、 図 6は、 本発明の交通機関き動案内装置に付設する平面展開 処理装置の構成図であり、 図 7は、 ビデオカメラによって取得された遠近法 画像を平面展開して、 遠近感を排除した平面画像に変換する式において、 使 用される変数を示す図であり、 図 8及び図 9は、 （A) は、 入力装置によつ て取得した遠近法画像、 （B ) は、 平面画像変換装置によって変換された平 面画像であり、 図 1 0は、 画像内容計測装置によって計測される空間的物理 量を示す説明図であり、 図 1 1は、 3 6 0度全周囲画像を平面展開して、 平 面画像に変換する概念を示す説明図であり、 図 1 2は、 3 6 0度全周囲画像 から変換された平面画像の例であり、 図 1 3は、 道路における交通情報検出 装置の設置例を示す説明図であり、 図 1 4は、 交通情報検出装置から交通機 関自動案内装置への送信例を示す説明図であり、 図 1 5は、 車両が道路を走 行している場合において、 コンピュータグラフィック画像として表示される 出力画面の例であり、 図 1 6は、 車両が交叉点に進入する場合において、 コ ンピュータグラフィック画像として表示される出力画面の例であり、 図 1 7 は、 本発明の交通機関自動案内装置に付設する位置関係認識装置の構成図で あり、 図 1 8は、 図 1 7の位置関係認識装置において、 手掛り点として選択 される対象部及びその一部の例を示す図であり、 図 1 9は、 複数の車載カメ ラによる視野の重複状態を示す概念図である。 発明を実施するための最良の形態

以下、 本発明の交通機関自動案内装置の好適な実施形態について、 図面を 参照して詳細に説明する。

本発明の交通機関自動案内装置 1は、 図 1に示すように、 入力装置 2と、 データベース 3と、 比較装置 4と、 認識装置 5と、 出力装置 6と、 判断装置 7と、 記憶装置 8と、 データ更新装置 9と、 から構成される。

入力装置 2は、 交通機関を運行する際に、 その交通機関の周囲の状況を画 像、 音声等として取得するものである。 例えば、 画像はビデオカメラによつ て、 音声はマイクロフォンによって取得する。

データベース 3には、 予め、 自動車の場合には、 道路標識、 道路標示、 交 通案内板等、 又、 自動車等に関する画像データ、 音声データ等を格納してあ る。 列車の場合には、 踏切面、 踏切信号、 自動車等の移動障害物、 プラッ ト フォーム等、 又、 列車等に関する画像データ、 音声データ等を格納してある _c 航空機の場合には、 空港形状、 空港の滑走路、 誘導路、 管制塔等の構造物、 自動車等の移動障害物、 又、 航空機等に関する画像データ、 音声データ等を 格納してある。 船舶の場合には、 港湾形状、 港湾の岸壁、 埠頭、 航路標識、 又、 船舶等に関する画像データ、 音声データ等を格納してある。

比較装置 4は、 入力装置 2によって取得した画像データ、 音声データ等を データベース 3内に格納してある画像データ、 音声データ等と比較する。 認識装置 5は、 画像データ、 音声データ等を比較した結果に基づいて、 そ のデータの内容を認識し、 特定する。

出力装置 6は、 認識装置 5によって認識し、 特定した結果を、 運行者等に 文字、 画像、 音声等によって通知するものである。

記憶装置 8は、 入力装置 2によって取得された対象物に対応する画像デー タ、 音声データ等がそもそもデータベース 3内に存在しない場合に、 その新 たな対象物に対応する画像データ、 音声データ等を、 地図上の位置と対応さ せて、 データベース 3に新たに格納するものである。

データ更新装置 9は、 地図上の所定位置に対象物が存在していても、 その 対象物に対応する画像データ、 音声データ等がデータベース 3内に格納され た画像データ、 音声データ等と相違する場合に、 新しい画像データ、 音声デ ータ等に更新して、 データベース 3に格納するものである。

判断装置 7は、 認識装置 5によって認識又は特定された事項に基づいて、 何等かの判断を行い、 出力装置 6によって運行者等に判断結果に基づく指示 を文字、 画像、 音声等で通知するものである。

さらに、 判断装置 7は、 判断結果に基づいて、 出力装置 6に所定の動作を 指示し、 ブレーキ等の制動装置、 ハン ドル等の操縦装置を自動的に作動させ る場合もある。

次に、 交通機関が自動車の場合について、 交通機関自動案内装置 1が、 自 車両のおかれた状況を自動的に認識し、 その状況を運転者又は同乗者に文字、 画像、 音声等によって通知し、 道路を案内し、 又、 道路を走行する際の適切 な動作を指示する例について、 具体的に説明する。

[実施例 1 ] 図 2に示すように、 入力装置 2によって制限速度 5 0 k mの道路標識 1 2 が画像データとして取得された場合、 先ず、 比較装置 4によってデータべ一 ス 3内に格納してある画像データと比較され、 認識装置 5によって制限速度 5 0 k mの道路標識データであると認識、 特定される。

次いで、 その認識結果に基づいて、 出力装置 6によって制限速度が 5 0 k mであることが運転者又は同乗者に文字、 画像、 音声等で通知される。 このように、 交通機関自動案内装置 1によれば、 運転者又は同乗者が道路 標識 1 2を見逃してしまった場合にも、 現在走行中の道路では制限速度が 5 0 k mであることを確実に知ることができ、 速度超過による交通違反を未然 に防止することができるとともに、 追突事故等の発生をも防止することがで さる。

[実施例 2 ]

図 2に示すように、 入力装置 2によって自車両 1 1の右側に他車両 1 3が 画像データとして取得された場合、 先ず、 比較装置 4によってデータベース 3内に格納してある画像データと比較され、 認識装置 5によってその他車両 1 3は追越車両であると認識される。

次いで、 その認識結果に基づいて、 判断装置 7は他車両 1 3が追越中には 加速しないという判断を行い、 出力装置 6によって運転者又は同乗者に、 加 速しないようにという指示が、 文字、 画像、 音声等で通知される。

このように、 交通機関自動案内装置 1によれば、 運転者又は同乗者が自車 両 1 1の右側に他車両 1 3が存在することに気が付かなかった場合にも、 他 車両 1 3が追越中であることを確実に知ることができ、 又、 加速しないよう にという指示によって、 何等慌てることもなく、 衝突事故等の発生を防止す ることができる。 [実施例 3 ]

図 2に示すように、 入力装置 2によって、 前方に存在する、 赤色灯が点滅 し、 警報機が鳴っている踏切信号 1 4が、 画像データ、 音声データとして取 得された場合、 先ず、 比較装置 4によってデータベース 3内に格納してある 画像データ、 音声データと比較され、 認識装置 5によって、 前方の踏切信号 1 4の赤色灯が点滅し、 警報機が鳴っていることが認識される。

次いで、 その認識結果に基づいて、 判断装置 7は停止しなければならない という判断を行い、 さらに、 踏切に進入するのは危険であり、 法律でも禁止 されていることを考慮し、 出力装置 6にブレーキを作動するように指示する。 これによつて、 出力装置 6がブレーキを作動させるため、 自動車は踏切手前 の安全な位置に自動的に停止する。

このように、 交通機関自動案内装置 1によれば、 運転者又は同乗者が前方 において踏切信号 1 4の赤色灯が点滅し、 警報機が鳴っていることに気が付 かなかった場合にも、 さらには、 気が付いていても適切な処置を取らなかつ た場合にも、 踏切信号 1 4の赤色灯が点滅し、 警報機が鳴っていて、 踏切に 進入することは危険であることを確実に通知し、 自動的に停止させるという 適切な処置を指示し、 実行させることができるので、 甚大な被害を及ぼす事 故等の発生を未然に防止することができる。

次に、 交通機関が列車の場合について、 交通機関自動案内装置 1が、 自車 両のおかれた状況を自動的に認識し、 その状況を運転者又は同乗者に文字、 画像、 音声等によって通知し、 線路を案内し、 又、 線路を走行する際の適切 な動作を指示する例について、 具体的に説明する。

[実施例 4 ]

図 3に示すように、 入力装置 2によって自車両の前方にブラッ トフォーム 2 1が画像データとして取得された場合、 先ず、 比較装置 4によってデータ ベース 3内に格納してある画像データと比較され、 認識装置 5によって停車 駅が近づいたことが認識される。

次いで、 その認識結果に基づいて、 判断装置 7は停車駅が近づいたので減 速するという判断を行い、 出力装置 6によって運転者又は同乗者に、 減速す るようにという指示が、 文字、 画像、 音声等で通知される。

このように、 交通機関自動案内装置 1によれば、 運転者又は同乗者が自車 両の前方にブラッ トフオーム 2 1が存在することに気が付かなかった場合に も、 停車駅が近づいたことを確実に知ることができ、 又、 減速するようにと いう指示によって、 過誤により停車駅を通過してしまうミスを防止すること ができる。

[実施例 5 ]

図 3に示すように、 入力装置 2によって、 自車両の前方に踏切面 2 2、 踏 切信号 2 3及び自動車等の移動障害物 2 4が画像データ、 音声データとして 取得された場合、 先ず、 比較装置 4によって、 データベース 3内に格納して ある画像データ、 音声データと比較され、 認識装置 5によって、 前方の踏切 信号 2 3の赤 灯が点滅し、 警報機が鳴っていること、 及び、 踏切面 2 2に 自動車等の移動障害物 2 4が存在することが認識される。

次いで、 その認識結果に基づいて、 判断装置 7は緊急停止しなければなら ないという判断を行い、 さらに、 踏切面 2 2に進入するのは危険であること を考慮し、 出力装置 6にブレーキを直ちに作動するように指示する。 これに よって、 出力装置 6がブレーキを直ちに作動させるため、 自車両は踏切面 2 2手前の安全な位置に自動的に急停止する。

このように、 交通機関自動案内装置 1によれば、 運転者又は同乗者が前方 の踏切信号 2 3の赤色灯が点滅し、 警報機が鳴っていること、 及び、 踏切面 2 2に自動車等の移動障害物 2 4が存在することに気が付かなかった場合に も、 さらには、 気が付いていても適切な処置を取らなかった場合にも、 踏切 信号 2 3の赤色灯が点滅し、 警報機が鳴っていて、 踏切面 2 2に進入するこ とは危険であることを確実に通知し、 自動的に急停止させるという適切な処 置を指示し、 実行させることができるので、 甚大な被害を及ぼす踏切事故等 の発生を未然に防止することができる。

次に、 交通機関が航空機の場合について、 交通機関自動案内装置 1力 自 機体のおかれた状況を自動的に認識し、 その状況を操縦者又は同乗者に文字、 画像、 音声等によって通知し、 航路、 空港内を案内し、 又、 航路を航行し、 空港内を走行する際の適切な動作を指示する例について、 具体的に説明する。

[実施例 6 ]

図 4に示すように、 入力装置 2によって、 自機体 3 1の前方に他機体 3 2、 自動車 3 3等の移動障害物が画像データ、 音声データとして取得された場合、 先ず、 比較装置 4によって、 データベース 3内に格納してある画像データ、 音声データと比較され、 認識装置 5によって、 前方に他機体 3 2、 自動車 3 3等の移動障害物が存在することが認識される。

次いで、 その認識結果に基づいて、 判断装置 7は緊急停止しなければなら ないという判断を行い、 さらに、 前方に移動するのは危険であることを考慮 し、 出力装置 6にブレーキを直ちに作動するように指示する。 これによつて、 出力装置 6がブレーキを直ちに作動させるため、 自機体 3 1は移動障害物手 前の安全な位置に自動的に急停止する。

このように、 交通機関自動案内装置 1によれば、 操縦者又は同乗者が自機 体 3 1の前方に他機体 3 2、 自動車 3 3等の移動障害物が存在することに気 が付かなかった場合にも、 さらには、 気が付いていても適切な処置を取らな かった場合にも、 前方に移動障害物が存在し、 前方に移動することは危険で あることを確実に通知し、 自動的に急停止させるという適切な処置を指示し、 実行させることができるので、 甚大な被害を及ぼす航空機事故等の発生を未 然に防止することができる。

次に、 交通機関が船舶の場合について、 交通機関自動案内装置 1が、 自船 体のおかれた状況を自動的に認識し、 その状況を操縦者又は同乗者に文字、 画像、 音声等によって通知し、 航路、 港湾内を案内し、 又、 航路、 港湾内を 航行する際の適切な動作を指示する例について、 具体的に説明する。

[実施例 7 ]

図 5に示すように、 船舶 4 1が港湾 4 5内で着岸するために航行する際に、 入力装置 2によって、 水路、 埠頭 4 3、 岸壁 4 4が画像データとして取得さ れた場合、 先ず、 比較装置 4によってデータベース 3内に格納してある画像 データ、 音声データと比較され、 認識装置 5によって、 水路、 埠頭 4 3、 岸 壁 4 4が認識される。

次いで、 その認識結果に基づいて、 判断装置 7は、 岸壁 4 4の着岸位置及 び船舶 4 1の現在位置並びに港則法、 海上交通安全法等の関係法令から航行 経路を判断し、 出力装置 6によって、 操縦者又は同乗者に、 航行経路につい ての指示が文字、 画像、 音声等で通知される。

このように、 交通機関自動案内装置 1によれば、 操縦者又は同乗者が港湾 4 5内の形状について不案内であった場合にも、 岸壁 4 4の着岸位置までの 航行経路を容易に知得でき、 岸壁 4 4に円滑に着岸することができて、 港湾 4 5内における船舶の混雑を緩和することができる。

[実施例 8 ] 図 5に示すように、 入力装置 2によって、 自船舶 4 1の前方に他船舶 4 2 、 埠頭 4 3、 岸壁 4 4、 浅瀬等が画像データ、 音声データとして取得された場 合、 先ず、 比較装置 4によって、 データベース 3内に格納してある画像デー タ、 音声データと比較され、 認識装置 5によって、 他船舶 4 2、 埠頭 4 3、 岸壁 4 4、 浅瀬等が存在することが認識される。

次いで、 その認識結果に基づいて、 判断装置 7は、 緊急停止又は航路変更 しなければならないという判断を行い、 さらに、 このまま航行するのは危険 であることを考慮し、 出力装置 6に船舶 4 1を緊急停止又は航路変更する処 置を直ちに取るように指示する。 これによつて、 出力装置 6が船舶 4 1を緊 急停止又は航路変更させるため、 船舶 4 1は安全な位置に自動的に停止する か、 安全な位置に移動する。

このように、 交通機関自動案内装置 1によれば、 操縦者又は同乗者が前方 に他船舶 4 2、 埠頭 4 3、 岸壁 4 4、 浅瀬等が存在することに気が付かなか つた場合にも、 さらには、 気が付いていても適切な処置を取らなかった場合 にも、 他船舶 4 2、 埠頭 4 3、 岸壁 4 4、 浅瀬等が存在して、 そのまま航行 することは危険であることを確実に通知し、 自動的に緊急停止、 航路変更さ せるという適切な処置を指示し、 実行させることができるので、 甚大な被害 を及ぼす船舶事故等の発生を未然に防止することができる。

尚、 交通機関自動案内装置 1において、 それを構成する入力装置 2、 デー タベース 3、 比較装置 4、 認識装置 5、 出力装置 6、 判断装置 7、 記憶装置 8、 データ更新装置 9の何れか一の装置又は複数の装置を、 交通機関自動案 内装置 1を構成する他の装置と通信回線を介して接続するようにしてもよい。 かかる構成によれば、 中央管制センター等において交通機関を遠隔制御す ることも可能となる。 以上述べたように、 本発明の交通機関自動案内装置によれば、 膨大な量の 画像データ、 音声データ等を高速に処理することができ、 時々刻々と変化す る交通機関の周囲の状況を自動的に認識し、 運行経路を自動的に案内するこ とができる。

又、 本発明の交通機関自動案内装置 1には、 平面展開処理装置 5 1を付設 することもできる。

平面展開処理装置 5 1は、 運行する交通機関の周囲の状況について入力装 置 2によって取得された遠近法画像を、 平面展開することによって遠近感を 排除した平面画像に変換し、 これに基づいて距離、 面積等の計測処理を実行 するものであり、 図 6に示すように、 平面画像変換装置 5 2と、 平面画像認 識装置 5 3と、 平面画像結合装置 5 4と、 画像内容計測装置 5 5と、 から構 成される。

交通機関を運行する際に、 その交通機関の周囲の状況は、 入力装置 2によ つて遠近法画像として取得される。

平面画像変換装置 5 2は、 この取得された遠近法画像を平面展開すること によって、 遠近感を排除した平面画像に変換するものである。

入力装置 2であるビデオカメラによって取得された遠近法画像は、 例えば、 図 7に示す変数を用いて、 以下の式 （1 ) , (2) によって平面展開され、 遠近感を排除した平面画像に変換される。 y = V · 2^1/2 · h · c o s (π/ 4 - Θ ) - c o s (β - θ ) /

χ = u · h · c ο s (β - Θ ) / ( f - s i n /3) (2) ここで、 0はカメラの光軸と道路面等の平面との為す角度、 f はカメラの 焦点距離、 hはカメラの高さ、 3はカメラの真下から h + yの距離にある点 とカメラとを結ぶ線分と道路面等の平面との為す角度、 Vはカメラの映写面 上の原点から縦方向の座標、 uはカメラの映写面上の原点から横方向の座標, yは道路面等の平面におけるカメラの真下から h進んだ点を原点とした縦方 向の座標、 Xは道路面等の平面における横方向の座標である。

平面画像認識装置 5 3は、 比較装置 4によって、 変換された平面画像デー タをデータベース 3内に格納してある画像データと比較した結果に基づいて、 そのデータの内容を認識し、 特定するものである。

平面画像結合装置 5 4は、 変換された平面画像データを適宜結合させて、 大画面の平面画像データを生成するものである。

画像内容計測装置 5 5は、 平面画像認識装置 5 3によって認識、 特定され た対象物に関して、 種々の空間的物理量を計測するものである。 空間的物理 量としては、 位置、 距離、 面積、 高さ、 奥行、 体積、 速度、 加速度等が挙げ られる。

次に、 交通機関が自動車等の路面を走行する車両の場合について、 平面展 開処理装置 5 1によって所定の空間的物理量を計測処理する例について、 具 体的に説明する。

[実施例 9 ]

図 8 ( A) に示すように、 入力装置 2によって自車両の前方に延長する走 行車線 5 6が遠近法画像データとして取得された場合、 先ず、 平面画像変換 装置 5 2によって、 図 8 ( B ) に示すように、 遠近感を排除した鉛直上方か ら見た平面画像データに変換される。 ここで、 平面画像認識装置 5 3によつ て、 変換された平面画像データの内容が認識、 特定され、 平面画像内には走 行車線 5 6が存在することが認識、 特定される。

次いで、 画像内容計測装置 5 5によって、 図 8 ( B ) に示すように、 対象 物である走行車線 5 6に関して、 車線幅、 車線の平行度等の種々の空間的物 理量が計測される。 又、 入力装置 2によってリアルタイムに遠近法画像デー タを取得すれば、 時間当たりの移動距離を計測することによって、 自車両の 進行速度を計測することができる。

次に、 交通機関が列車等の軌道を走行する車両の場合について、 平面展開 処理装置 5 1によって所定の空間的物理量を計測処理する例について、 具体 的に説明する。

[実施例 1 0 ]

図 9 ( A) に示すように、 入力装置 2によって自車両の前方に延長する線 路 5 7が遠近法画像データとして取得された場合、 先ず、 平面画像変換装置 5 2によって、 図 9 ( B ) に示すように、 遠近感を排除した鉛直上方から見 た平面画像データに変換される。 ここで、 平面画像認識装置 5 3によって、 変換された平面画像データの内容が認識、 特定され、 平面画像内には線路 5 7が存在することが認識、 特定される。

次いで、 画像内容計測装置 5 5によって、 図 1 0に示すように、 対象物で ある線路 5 7に関して、 レール幅、 レール平行度等の種々の空間的物理量が 計測される。 又、 入力装置 2によってリアルタイムに遠近法画像データを取 得すれば、 時間当たりの移動距離を計測することによって、 自車両の進行速 度を計測することができる。

このように、 平面展開処理装置 5 1によれば、 交通機関自動案内装置 1に 付随して、 交通機関を運行する際に、 その交通機関の周囲の状況に関する 種々の空間的物理量を取得することができる。 又、 この取得された空間的物理量に基づいて、 交通機関自動案内装置 1に おいて、 より適切な通知、 指示を出すことも可能となる。

平面展開処理装置 5 1は、 遠近法画像を平面画像に変換する機能を有する だけでなく、 3 6 0度全周囲画像 （球面画像） を平面画像に変換する機能を 有するものとしてもよレ、。

3 6 0度全周囲画像とは、 運行する交通機関の全周囲、 すなわち、 前後、 左右、 上下、 全ての方向を捉えた画像であって、 例えば、 ① 複数のカメラ で撮影した画像を合成する、 ② カメラの前面に曲面ミラーを設置し、 曲面 ミラーに映った画像を撮影する、 ③ 1台のカメラを回動させ、 各位置で撮 影した画像を合成する、 ④ カメラに魚眼レンズを装着し、 広範囲に撮影し た画像を処理する、 等の方法によって取得できる。

前記 3 6 0度全周囲画像を、 図 1 1に示すように、 仮想の球面上に貼り付 けられた画像と見做せば、 変換された平面画像は、 所望の視点から見た平面 に投影された画像と捉えることができる。

路面を走行する自動車の周囲の状況を、 上記のような方法で 3 6 0度全周 囲画像として取得した場合にあって、 自動車の上方を視点として平面画像に 変換した例を図 1 2に示す。

尚、 以上においては、 交通機関として自動車等の路面を走行する車両、 列 車等の軌.道を走行する車両を例に挙げて説明したが、 航空機、 船舶等におい ても同様に適用することができる。

さらに、 別途、 交通機関の運行経路に交通情報検出装置 6 1を設置して、 交通情報検出装置 6 1によって取得した画像データ、 計測データ等を交通機 関自動案内装置 1に送信するようにしてもよレ、。

交通情報検出装置 6 1は、 交通機関き動案内装置 1における入力装置 2、 データベース 3、 比較装置 4、 認識装置 5、 記憶装置 8、 データ更新装置 9 , 平面展開処理装置 5 1、 さらに、 グラフィック化装置 6 2から構成される。

グラフィック化装置 6 2は、 入力装置 2から取得された画像データ、 計測 データに基づいてコンピュータグラフィック （C G ) 化するものである。 次に、 交通機関が自動車の場合について、 運行経路に設置した交通情報検 出装置 6 1によって取得した画像データ、 計測データ等を交通機関自動案内 装置 1に送信する例について、 具体的に説明する。

[実施例 1 1 ]

自動車の場合には、 交通情報検出装置 6 1は、 例えば図 1 3に示すように、 道路に付設されたゲート 6 3、 照明灯 6 4等に設置される。 そして、 図 1 4 に示すように、 交通情報検出装置 6 1によって取得した画像データ、 計測デ ータ等は、

先ず、 データを集中管理するために設置された基地局 6 5に送信され、 次に、 適宜場所に複数設置された端末局 6 6に配信され、 端末局 6 6から交通機関 自動案内装置 1を搭載した各車両へと送信される。

交通情報検出装置 6 1から基地局 6 5、 端末局 6 6を介して交通機関自動 案内装置 1を搭載した各車両へ配信される画像データ、 計測データ等は、 コ ンピュータグラフィック画像 （C G ) 化されて図形、 数値等とともに送信さ れるから、 各車両の交通機関自動案内装置 1においては、 出力装置 6によつ て、 図 1 5に示すように、 図形、 数値、 文字等で理解し易く表示され、 極め て便利である。

コンピュータグラフィック化された出力画面においては、 自車両の座標は 適宜位置に固定され、 走行する自車両の周囲の状況、 すなわち道路標識、 道 路標示、 交通案内板、 他車両等の位置又表示は、 交通情報検出装置 6 1を通 過する毎に、 時々刻々と変化するようになっている。

尚、 出力画面に表示されるものは、 平面的なコンピュータグラフィック画 像に限らず、 立体的なコンピュータグラフィック画像 （3 D C G ) であって もよく、

平面展開された実画像と合成されたものであってもよい。

図 1 5に示す出力画面は、 予め設定された自車両の安全圏を侵害する又は 侵害する虞れのある他車両がある場合であって、 「追い越し車両あり 時 速： 1 4 0 k m」 等、 文字、 音声等によって運転者又は同乗者に通知される。

[実施例 1 2 ]

交通情報検出装置 6 1から交通機関自動案内装置 1への送信によって交通 情報を認識することは、 図 1 6に示すように、 特に、 交叉点等において自車 両からは左右道路が死角となる場合に、 その左右道路の交通状況を容易に把 握することができ、 交通安全対策上極めて有益である。

図 1 6に示す出力画面は、 自車両からは左右道路が死角となる位置に他車 両がある場合であって、 「前方右折車あり」 等、 文字、 音声等によって運転 者又は同乗者に通知される。

尚、 以上においては、 交通機関として路面を走行する自動車を例に挙げて 説明したが、 列車等の軌道を走行する車両、 航空機、 船舶等においても同様 に適用することができる。

さらに、 交通機関自動案内装置 1において、 運行する交通機関と周囲との 位置関係を正確に認識できる装置を付設すれば、 より効果的に交通機関を自 動案内することができる。

以下においては、 交通機関として自動車等の路面を走行する車両の場合に ついて、 運行する交通機関と周囲との位置関係を正確に認識できる位置関係 認識装置 1 0 1について説明する。

運行する車両の位置関係を認識し、 車両を案内する装置としては、 搭載し たカメラによって取得された映像から道路に付設された白線を検出し、 その 白線からはみ出さないように車両を案内する装置が既に開発されている。 この装置にあっては、 白線という特殊な対象物に限定して、 自車両を白線 との関係においてのみ位置付けているから、 白線を付設していない道路では， 位置認識機能及び自動案内機能は停止するし、 白線が曲がって形成されてい れば、 誤作動をする虞れもある。 又、 交差点等白線に沿って進行することが 必ずしも目的に沿わない場合には、 位置認識機能及び自動案内機能は全く意 味をもたないものとなってしまう。 さらに、 白線以外のものを白線と誤認識 する危険もあり、 白線に沿って走行していても、 障害物が存在した場合には、 それを回避することはできない。

本発明における位置関係認識装置 1 0 1は、 道路に付設した白線のみなら ず、 カメラによって取得された映像中の全ての対象物を利用して、 自車両の 三次元的位置を認識し、 しかも、 周囲の状況の中に自車両を三次元的に位置 付けることができるようにしたものである。

すなわち、 位置関係認識装置 1 0 1においては、 道路に付設した白線のみ ならず、 映像中に存在する全ての対象物が三次元計測の手掛りとなる。 又、 対象物そのものではなく、 対象物中にあって画像処理によって抽出しゃすい 部分を手掛りとする。 又、 対象物中にあって、 三次元計測の手掛りとなりそ うな部分を複数抽出する。 さらに、 当初から対象物を特定するのではなく、 検出できた対象物を手掛りとする、 という点にも特徴がある。

映像中の前記手掛りの部分を、 車両の進行によって生成される連続画像の 各画像中において、 マッチング法等の画像処理技術を適用して自動追跡する。 ここで、 追跡に成功するものもあれば、 追跡に失敗して逃すものもあるが、 追跡に成功した手掛りの部分のみを三次元計測の対象とすればよい。

そして、 車両が適当な距離移動する間に追跡に成功した複数の手掛りの部 分に基づいて、 所定の演算をすることによって、 自車両の三次元的位置及び 方向を検出、 認識する。

又、 複数のカメラを互いの視野が重なるように搭載して、 重なる視野の中 で対応点を検出して三次元計測を行い、 周囲の手掛りとなる部分から構成さ れた三次元座標の中に、 又は、 他の方法で取得された周囲の三次元画像の中 に、 自車両の三次元位置及び方向を位置付ける。

本発明における位置関係認識装置 1 0 1によれば、

① 大きな視差を得ることができるので、 遠方の対象物について計測精度 が向上する。

② 誤差の累積を少なくすることができる。

③ カメラ位置を演算により計測できるので、 装置構成が簡単になり、 力 メラの設定が極めて簡易になる。

④ カメラによって撮影した過去の映像データから、 三次元計測が可能に なるので、 過去の映像資料を活用することができる。

⑤ 過去に走行して取得した特徴となる点のデータから、 その特徴点を手 掛りとして、 自車両の位置を演算により三次元的に求めることができる。 ⑥ 映像には映っていない領域の車両位置及び方向を演算によって求める ことができる。

このように、 位置関係認識装置 1 0 1によれば、 白線のみによる自車両の 位置検出によっては決して為し得ない、 様々な機能を発揮することができる。 そして、 周囲の交通状況を判断し、 それを運行者に伝達し、 又は、 それに 基づいて直接に車両を制御し、 より高度な自動案内を実現することができ、 交通安全に効果的に貢献することができる。

本発明の位置関係認識装置 1 0 1は、 車両に搭載したビデオカメラ等の入 力装置によって撮影される道路面、 周囲物体等の映像情報に基づいて、 道路 面、 周囲物体等及び自車両の三次元的位置を検出し、 道路面との位置関係を 認識することができるようにしたものであり、 車両に搭載した入力装置によ つて画像を取得する画像取得部 1 0 2と、 取得した画像をある期間記録する 画像一時記録部 1 0 3と、 画像内に対応点を取るための手掛り点を自動抽出 する手掛り点自動抽出部 1 0 4と、 距離差のある二以上の画像から、 各画像 内の複数の手掛り点の対応点を検出する対応点検出部 1 0 5と、 検出された 複数の対応点から、 入力装置の位置及び方向を演算する入力装置位置方向計 測部 1 0 6と、 演算された入力装置の位置の三次元座標における相対距離を、 実測値を用いて絶対距離に変換する実測スケール変換部 1 0 7と、 から構成 されることを特徴とする。

画像取得部 1 0 2と画像一時記録部 1 0 3によれば、 自車両に搭載したビ デォカメラ等の入力装置からの映像を記録することができ、 時間軸上に並べ ることによって、 車両の進行とともに時間的に変化する画像が得られる。 つ まり、 静止対象物に関しては、 複数のカメラを車両が進行する道路上に並べ て撮影したと同様の結果となる。 このようにして、 カメラを一台使用するだ けであっても、 カメラを移動することにより、 複数の視差を得ることができ る。

次に、 手掛り点自動抽出部 1 0 4によって、 画像内の特徴的な部分を手掛 り点とするために、 画像の輪郭を抽出し、 又は色の領域に分割する等して、 画像内の特徴的な部分を自動抽出する。 ここで、 手掛り点とは、 位置の異なる地点で撮影した画像間での対応点を 求めるために、 その対応点となる画像内の特徴点を意味する。 手掛り点は、 対象物そのものである場合もあるが、 対象物の一部分である場合の方が多い _c 又、 ここにいう特徴点は、 人間にとっての特徴点ではなく、 画像処理するコ ンピュータにとっての特徴点でよいので、 画像処理は極めて有利となる。 当初から検出する手掛り点を特定しておく必要はなく、 その時現場におい て容易に検出できた対象物又はその一部分を手掛り点とすることができる。 さらに、 検出された複数の手掛り点について、 当初から追跡する手掛り点を 特定しておく必要はなく、 追跡できた手掛り点のみを三次元計測の演算対象 の手掛り点とすることができる。 これらの特徴によって、 位置関係認識装置 1 0 1による位置関係の認識が実現可能となっている。

次に、 対応点検出部 1 0 5と入力装置位置方向計測部 1 0 6とによって、 複数の対応点を画像マッチング法等によって検出し、 各対応点の座標に基づ いて、 演算によってカメラ等の入力装置位置及び方向を求める。

ここで、 入力装置の位置及び方向を連続して求めることによって、 入力装 置の速度、 すなわち、 車両速度、 車両加速度、 車両進行方向を求めることが できる。

対応点のうちには、 車両の移動とともに隠れたりするものもあるが、 十分 に多くの手掛り点を選択しておき、 最終的に数個の手掛り点さえ残れば、 そ れで十分に演算は可能である。

又、 静止座標系に固定した対象物を手掛り点に選択しなければならないが、 十分に多くの手掛り点を選択しておき、 それらに統計処理を施して、 異常値 を示すものを削除し、 有効な手掛り点のみを残すことによって、 三次元計測 が可能となる。 演算によって得られたカメラ位置のデータは相対距離であり、 絶対距離に 変換するためには、 計測対象とする対応点座標又は車両位置座標に関して、 何処か一力所以上の既知の距離が必要となるが、 車両の走行によって距離に 変更がない値として、 例えば、 カメラの設置高さ又は画像内で当初から既知 の距離を用いて、 較正をしておけばよい。 又、 カメラを複数台設置する場合 には、 そのカメラ間の距離を既知の距離とすることができる。 さらに、 画像 内の対象物中に実測値が既知のものが存在すれば、 それを既知の距離として、 実測スケール変換部 1 0 7によって、 絶対距離に変換することができる。 以上のようにして、 カメラ位置及び方向を三次元的に計測することができ る。

前記位置関係認識装置 1 0 1に、 複数の手掛り点の各画像内の対応点から、 複数の手掛り点を三次元計測し、 それらとカメラ位置との関係を三次元座標 として求める対応点三次元計測部 1 0 8を付加してもよい。

対応点三次元計測部 1 0 8によれば、 カメラの位置及び方向の三次元デー タを求める演算過程で、 同時に、 手掛り点の三次元データも求まる。 これに よって、 複数の手掛り点の三次元位置、 三次元配列、 三次元分布の中にカメ ラ位置を配置することが可能になる。 すなわち、 周囲の複数の手掛り点の三 次元分布と同じ三次元座標系の中に、 車両の位置及び方向を三次元的に配置 することができる。

よって、 周囲の静止座標系内の静止対象物の中に、 言い換えれば、 周囲の ビル、 電柱、 道路等を含む三次元座標の中に、 自車両、 正確には自車両に搭 載されたカメラの位置を三次元的に位置付けることができる。

又、 対応点三次元計測部 1 0 8によって得られた対応点の三次元座標を記 録する三次元データ記録部 1 0 9を付加してもよい。 演算で求められた手掛り点の三次元データを記録して残すことで、 後にそ の周辺を走行する場合に、 既に三次元座標を取得している手掛り点を、 車両 の位置及び方向の演算の指標として参考にすることができる。

現実的には、 前もって専用装置を搭載した車両を走行させ、 手掛り点のよ り正確な三次元データを収集しておくことで、 それらを後に多くの車両が利 用することができる。

さらに、 三次元データ記録部 1 0 9に蓄積した手掛り点の三次元データを、 次回以降の周辺の走行時に、 三次元データ記録部 1 0 9から読み出す三次元 データ読み出し部 1 1 0と、 それらデータと次回以降の走行時に取得された 三次元データとを比較して、 一致点を求めて、 車両位置の演算精度を高める 対応点比較部 1 1 1 とを付加してもよい。

三次元データ記録部 1 0 9から三次元データ読み出し部 1 1 0によって、 三次元データを読み出し、 その後の走行の度に、 以前の手掛り点の座標に変 更があれば、 その座標を更新して新しいデータとして再度記録しておくのが よい。

同一場所付近の走行を重ねるにつれて、 三次元データ記録部 1 0 9のデー タを更新し、 新規に追加をすることで、 手掛り点が増加し、 又は位置精度が 向上し、 車両の位置及び方向の演算精度も向上する。

前もって専用装置で精度の高い三次元データを生成しておき、 それを後に 他の車両が利用することによって、 手掛り点の位置精度が極めて高くなる。 さらに、 前もつて専用装置で手掛り点を画素単位まで拡張した三次元地図デ ータを生成しておけば、 走行路周辺の三次元空間が構成され、 その中に車両 の位置及ぴ方向を配置できる。

又、 絶対座標が既知である対象物を対応点に選択し、 前記入力位置方向計 測部 1 0 6及び対応点三次元計測部 1 0 8によって取得した三次元データに 絶対座標を与える絶対座標変換部 1 1 2と、 ある地域に存在する手掛り点の 三次元座標を絶対座標系に統合する座標統合部 1 1 3とを付加してもよい。 絶対座標変換部 1 1 2によれば、 例えば、 G P Sでカメラ位置の絶対座標 を取得するとか、 既に緯度経度の既知である対象物を手掛り として、 相対距 離として得られた三次元データを絶対座標に変換することができる。

又、 座標統合部 1 1 3によれば、 幾つかの手掛り点の座標を共通の絶対座 標系に統一して表示でき、 直ちに、 三次元データは絶対座標を取得したこと になる。

手掛り点が絶対座標を取得すれば、 次回以降も、 或いは他の車両でも、 手 掛り点の共通の三次元データとして利用することができる。

手掛り点を集めた三次元データと一致した現場データは、 手掛り点の位置、 配列、 分布に一致したことで、 絶対座標を得たことになる。 そこから直ちに、 カメラ位置、 すなわち、 車両の絶対座標が取得できることになる。

さらに、 ある地域全体の地図の中に手掛り点による三次元座標を落とし込 むことによって、 地図と手掛り点が結合し、 新たなデータベースができあが り、 多くの車両が、 共通データとして自車両の位置及び方向のデータを記録 する地図を取得できることになる。

又、 手掛り点の名称及び属性を手掛り点の位置データに対応付けて記録保 存し、 各手掛り点の属する対象物の名称及び属性を当該手掛り点の座標デー タに付加する名称属性付加部 1 1 4と、 付加された手掛り点の座標、 名称及 び属性を地図の中に関係付けて書き込み、 記録保存するデータベース 1 1 5 とを付加してもよレ、。

手掛り点が属する対象物の名称及び属性が前もって分かっていれば、 又は、 画像認識により名称が分かれば、 対象物の名称とその一般的性質やその対象 物固有の性質も属性データとして取得することができる。

つまり、 計測時の手掛り点とデータベース内の手掛り点との対応が付けば、 その手掛り点の対象物の名称や性質を読み取ることができる。

又、 前記各種演算結果を適宜、 運転者等に表示して知らせる表示部 1 1 6 を付加してもよい。

取得したデータ、 車両位置及び方向、 手掛り点の属する対象物の名称及び 属性等を表示部 1 1 6によって表示すれば、 それらを運転者や管理者が観察 して、 状況を判断することができる。

前記演算結果により、 周囲とき車両の位置関係及び道路と自車両の位置関 係から車両の状況を自動判断する状況判断部 1 1 7と、 状況判断した結果を 用いて、 自動的に車両の目的にあった操作 （ブレーキ操作、 スピードコント ロール操作、 ハン ドル操作、 警報操作等） を自動的に行う自動車両制御部 1 1 8を付加してもよい。

状況判断部 1 1 7によれば、 自車両の位置及び方向、 手掛り点の属する対 象物の名称及び属性、 それら手掛り点の名称及び属性、 路面と車両との位置 関係、 標識、 道路標示等を総合的に判断して、 車両のおかれている状況を判 断することができる。

これによつて、 自動車両制御部 1 1 8を介して、 車両を自動的に又は半自 動的に運行させることができる。 又、 周囲の状況と車両の位置関係を判断し て、 運転者等に車両の位置情報を伝達することができる。

又、 カメラを複数台設置して画像を取り込み、 それぞれのカメラの視野の —部若しくは全部を重複させた複数カメラ画像取得部 1 1 9と、 単一カメラ よる移動距離による視差から演算される三次元距離計測と、 複数力メラによ るカメラ間視差から演算される三次元距離計測と、 の両方を併用し、 複数力 メラの視野重複方式で得られた手掛り点の三次元距離データを基準長として、 単一カメラの移動による移動距離視差方式で得られた三次元距離データを較 正することによって、 絶対距離に変換するキヤリブレーシヨン部 1 2 0と、 を付加してもよい。

車両の周囲を観察できるように、 車両を取り巻く形で複数のカメラを車両 に設置し、 各カメラの視野が一部他のカメラの視野と重複するようにすれば、 重複部分ではカメラ間視差を発生させることができる。

複数カメラ視野重複方式による三次元距離計測の最大の特徴は、 移動物体 をも計測できることである。 又、 複数カメラ視野重複方式によれば、 短距離 の計測において高い精度が出せる。

一方、 単一カメラ移動距離方式によれば、 複数カメラ方式におけるカメラ 間距離を実質的に長距離とすることが可能であるため、 長距離の三次元距離 計測をする際に有利である。 例えば、 車載カメラにおけるカメラ間距離は、 せいぜい 1 m程度であるが、 カメラ移動距離方式におけるカメラ間距離は、 l m、 1 0 m、 1 0 0 mのみならず、 l k m、 1 0 k mとすることが可能で ある。

そこで、 近距離は視野重複方式によって三次元計測し、 遠距離は視差の大 きく取れるカメラ移動距離方式によって三次元計測する。

基本的に、 単数の場合も複数の場合も計測の原理は同じであるが、 視野重 複する複数カメラ方式の場合の特徴として、 視差による計測において、 基準 長としてカメラ間距離をとることができるので、 絶対距離計測ができ、 しか も、 視差による距離計測から得られた中間距離計測の距離データによって、 単一カメラ移動方式による計測距離を較正することができるので、 短距離か ら長距離まで正確な計測が可能となる。 すなわち、 前方を走行する車両の位 置、 速度、 加速度、 進行方向を計測することができる。

又、 手掛り点の属する対象物の三次元形状を、 表示画面の中に定義された 座標系中の正しい位置に、 三次元コンピュータグラフィックスで配置して表 現し、 必要に応じて名称、 属性、 他の対象物、 自車両を、 その表示画面中に 表示する、 三次元空間を再現する形状座標属性表示部 1 2 0と、 前記表示画 面中に表現された各種対象物を示す三次元コンピュータグラフィックスの画 像上で手で触れたり、 マウスでクリックする等して、 又は、 現実画像のみを 表示し、 表示された現実画像上で目的の対象物を手で触れたり、 マウスでク リックする等して、 目的の対象物を指定することによって、 その対象物の名 称、 座標、 形状、 その他関連データ等の属性を表示し、 指示した目的の対象 物に関連するデータを入力し、 指示した目的対象物に対して、 各種の操作や 行動を指示することができる、 ユーザインターフェース部 1 2 1と、 を付加 してもよレ、。

複数の手掛り点がその属する対象物の三次元座標、 名称、 属性を取得する ことができた場合、 それらの手掛り点はそれらが属するそれぞれの対象物に 対応が取れていることを意味する。

そこで、 対象物の三次元形状と三次元座標を前もってデータベースに入れ ておくことで、 自車両とその周囲の状況を 3 D C G (三次元コンピュータグ ラフィックス） で表現して、 三次元座標系中に表示することができる。 もち ろん、 他の属性も、 そして手掛り点が見つからない対象物であっても、 その 形状と位置座標は分かっているので、 表示することができる。

再構築された三次元空間と、 その中に配置された各対象物の位置関係、 名 称、 属性等の情報から、 状況判断をより適切に行うことが出来る。 又、 表示された 3 D C G画面上の対象物をマウスでクリ ックしたり、 手で 触れたりする等して指定することにより、 若しくは、 直接音声で指示し、 音 声認識装置で指示内容を理解し、 その目的の対象物の属性をデータベースか ら読み出して表示することができる。

さらに、 現実画像の二次元データと前記三次元コンピュータグラフィック スの二次元への投影画像データとを、 それぞれ層状に形状が一致するように 重ねて構成し、 現実画像のみを表示して、 表示画面上の対象画像をマウスで クリ ックしたり、 手で触れる等して、 目的の対象物を指定すれば、 現実画像 と 3 D C G画像が互いに重なるように一致して構成されているデータ構造か ら、 3 D C Gの対応する対象物のデータを指定して、 対象物に関する名称、 座標、 属性、 その他関連情報をデータベースから呼び出し、 又は、 書き込み をすることができる。

又、 通信回線を介して、 他の車両、 若しくは他の通信ポイントと接続され、 情報を送受信する外部通信部 1 2 2を付加してもよい。

通信回線を介して、 他の車両、 若しくは他の通信ポイントと接続すれば、 自動的に、 又はユーザインターフェースを介して指示し、 自車両が生成する 手掛り点の三次元情報、 移動体情報を他に送信し、 又は、 自車両が生成する と同じにように、 他車両がしかも異なる位置で生成した手掛り点の三次元情 報、 移動体情報を他車両から受信することができる。

又、 周囲の固定点に設置されたカメラで取得した映像から解析された手掛 り点情報や、 自車両を含む車両の位置情報、 速度情報、 及び状況を判断した 結果の情報、 例えば、 渋滞情報、 事故情報等を固定局が送信し、 それらの情 報を自車両が受信し、 表示し、 若しくは、 自車両では取得できていない情報 をも受信し、 表示し、 さらに、 自車両が取得した情報に受信した情報を加え て状況判断をし、 精度の高い情報を表示することができる。

次に、 交通機関が自動車等の路面を走行する車両の場合について、 位置関 係認識装置 1 0 1によって、 運行する交通機関と周囲との位置関係を認識す る例について、 具体的に説明する。

[実施例 1 3 ]

図 1 9に示すように、 車両の屋根部に魚眼レンズを装着した 4台の超広角 カメラを視野が一部重複するように設置し、 カメラの視野の重複部分を利用 して、 車両の距離計測と速度計測を行った。 又、 近距離の手掛り点について は、 複数カメラ間の視差により三次元計測をし、 遠距離の手掛り点について は、 単一カメラの移動による手掛り点の対応点検出によって、 移動距離に基 づいて三次元計測を行った。

カメラ間の視差による演算も、 カメラ移動による運動視差による演算も、 基本的には同じ形式の演算となるが、 どれが未知数となるかが異なる。 運動 視差による場合には、 カメラの移動距離は未知数となるが、 カメラ間の視差 による場合には、 カメラ間の距離は前もって実測できるので、 既知数とする ことができる。

又、 演算で求められた三次元計測データを記録しておけば、 次に同じ地域 を走行する場合には、 以前求めた手掛り点が既知数となり、 より精度を向上 して、 三次元計測が可能となる。 手掛り点の例を図 1 8に〇印で示す。 取得した映像は、 球面に貼り付けた球面座標形式に展開するのが後の処理 にとつて有利である。 カメラの位置関係は、 カメラ間距離及び方向を正確に 計測しておくのが望ましいが、 カメラ間距離も未知数として演算で求めるこ とも可能であるから、 適当に設置してもよい。 カメラ間距離は、 実測値変換 の基準として用いることもできる。 カメラの方向も既知数とすることができるが、 カメラの固定方法によって は振動等で方向が多少ずれることも予想される場合には、 カメラの方向は未 知数として扱うことができる。

尚、 未知数が多い場合には、 手掛り点を多く取り、 演算によってそれらの 未知数を求めることができる。 原理的には、 手掛り点は画素数まで増加させ ることができる。 '

ここで、 何れか一個以上の手掛り点を視野重複するカメラの視差により正 確に計測して基準値とし、 実測スケールに変換するか、 又は、 カメラの路面 からの高さを基準値として実測スケールに変換することができる。 又、 画像 内にある長さが既知である対象物を基準長とすることもできる。

視野の重複部分は視差が得られるので、 カメラ間距離を既知の基準長とし て、 同時撮影した各カメラの映像内で、 手掛り点の対応点を画像認識によつ て求めることができる。 手掛り点は、 画像の輪郭処理により、 画像内からリ アルタイムで自動抽出することができる。 画像認識にリアルタイム性を持た せるためと、 演算を容易にするために、 輪郭化された画像内の十字交点、 三 角形状交点、 四角形状交点等を画像内から抽出する。 手掛り点のデータ収集 のためであれば、 リアルタイム性は必要がないので、 オフライン処理によつ て、 かなり多くの手掛り点を演算で求めることができる。 又、 画素全面にま で拡張することも可能である。

一般には、 多くの手掛り点のうちの幾つかを、 特徴ある点として手掛り点 とし、 対応点を画像マッチング法等によって求める。 対応点が決定されれば、 手掛り点までの三次元距離を演算によって求めることができる。 同時に、 力 メラ位置及び方向も演算によって求まる。

手掛り点は、 全てが常に対応点として見つかるとは限らない。 途中におい て対応点が見つけられなくなる場合を想定して、 多少多めに自動抽出してお くのが好ましい。

手掛り点が見つかった場合は、 後処理でもよいから、 手掛り点の三次元位 置を地図と対応させ、 手掛り点の属する対象物の名称及び属性をリンクさせ、 データベースに記録しておくのが好ましい。 これによつて、 次回以降の走行においては、 手掛り点を見つけるだけで、 それが属する対応点の名称とその対象物が持つ属性を知ることができる。 前記データベースを利用すれば、 手掛り点の位置を求めるだけで、 手掛り 点の属する対象物を認識し、 車両のおかれている状況を理解し、 次に取るベ き行動を判断することができる。 そして、 その判断結果によって、 車両方向、 速度等を適宜制御して、 車両を適切に自動案内することができる。

又、 三次元計測結果、 若しくは判断結果を画面表示、 音声等で出力すれば、 図 1 5に示すように、 運転者や管理者に通知することができる。 又、 他車両 からの情報や周囲に設置された固定カメラによる情報を統合すれば、 図 1 6 に示すように、 自車両の周囲の状況を表示し、 運転者や管理者に通知するこ とができる。 何れの場合にも、 表示画面はユーザインターフェースとして機 能し、 目的の車両を指定し、 通信を開始し、 データの送受信をし、 その車両 を明示する等できる。

尚、 以上においては、 交通機関として自動車等の路面を走行する車両を例 に挙げて説明したが、 列車等の軌道を走行する車両、 航空機、 船舶、 宇宙船 等においても、 同様に適用することができる。

Claims

請 求 の 範 囲

1 . 運行する交通機関の周囲の状況を画像、 音声等として取得する入力装置 と、 その交通機関に関する画像データ、 音声データ等を予め格納したデータ ベースと、 前記入力装置によって取得した画像データ、 音声データ等を前記 データベース内に格納した画像データ、 音声データ等と比較する比較装置と、 画像データ、 音声データ等を比較した結果が一致した場合にそのデータの内 容を認識し、 特定する認識装置と、 前記認識装置によって認識し、 特定した 結果を運行者等に文字、 画像、 音声等によって通知する出力装置とから構成 される交通機関自動案内装置。

2 . 前記入力装置によって取得された対象物に対応する画像データ、 音声デ ータ等が前記データベース内に存在しない場合に、 その新たな対象物に対応 する画像デ一タ、 音声データ等を地図上の位置と対応させて前記データべ一 スに新たに格納する記憶装置と、 対象物に対応する画像データ、 音声データ 等が前記データベース内に格納された画像データ、 音声データ等と相違する 場合に、 新しい画像データ、 音声データ等に更新して前記データベースに格 納するデータ更新装置を有することを特徴とする請求項 1に記載の交通機関 自動案内装置。

3 . 前記認識装置によって認識又は特定された事項に基づいて何等かの判断 を行い、 前記出力装置によって運行者等に判断結果に基づく指示を文字、 画 像、 音声等で通知する判断装置を有することを特徴とする請求項 1又は 2に 記載の交通機関自動案内装置。

4 . 前記判断装置は、 前記認識装置によって認識又は特定された事項に基づ いて何等かの判断を行い、 さらに、 その判断結果に基づいて前記出力装置に 所定の動作を指示し、 制動装置、 操縦装置等を自動的に作動させるものであ ることを特徴とする請求項 3に記載の交通機関自動案内装置。

5 . 前記交通機関自動案内装置を構成する一又は複数の装置が他の装置と通 信回線を介して接続されていることを特徴とする請求項 1乃至 4に記載の交 通機関自動案内装置。

6 . 運行する交通機関は自動車等の路面を走行する車両であって、 自車両の 周囲の状況を画像、 音声等として取得する入力装置と、 道路標識、 道路標示、 交通案内板等、 自動車等に関する画像データ、 音声データ等を予め格納した データベースと、 前記入力装置によって取得した画像データ、 音声データ等 を前記データベース内に格納した画像データ、 音声データ等と比較する比較 装置と、 画像データ、 音声データ等を比較した結果が一致した場合にそのデ ータの内容を認識し、 特定する認識装置と、 前記認識装置によって認識し、 特定した結果を運転者又は同乗者に文字、 画像、 音声等によって通知する出 力装置とから構成される交通機関自動案内装置。

7 . 運行する交通機関は鉄道列車等の軌道を走行する車両であって、 自車両 の周囲の状況を画像、 音声等として取得する入力装置と、 軌道敷標識、 軌道 敷表示、 軌道敷案内板等、 鉄道車両等に関する画像データ、 音声データ等を 予め格納したデータベースと、 前記入力装置によって取得した画像データ、 音声データ等を前記データベース内に格納した画像データ、 音声データ等と 比較する比較装置と、 画像データ、 音声データ等を比較した結果が一致した 場合にそのデータの内容を認識し、 特定する認識装置と、 前記認識装置によ つて認識し、 特定した結果を運転者又は同乗者に文字、 画像、 音声等によつ て通知する出力装置とから構成される交通機関自動案内装置。

8 . 運行する交通機関は船舶、 航空機等の軌道のない二次元又は三次元を航 行する船体又は機体であって、 自体の周囲の状況を画像、 音声等として取得 する入力装置と、 標識、 表示、 港湾形状、 空港形状等、 船舶又は航空機等に 関する画像データ、 音声データ等を予め格納したデータベースと、 前記入力 装置によって取得した画像データ、 音声データ等を前記データベース内に格 納した画像データ、 音声データ等と比較する比較装置と、 画像データ、 音声 データ等を比較した結果が一致した場合にそのデータの内容を認識し、 特定 する認識装置と、 前記認識装置によって認識し、 特定した結果を操縦者又は 同乗者に文字、 画像、 音声等によって通知する出力装置とから構成される交 通機関自動案内装置。

9 . 前記入力装置によって取得された交通機関の周囲の状況についての遠近 法画像データを、 遠近感を排除した平面画像データに変換する平面画像変換 装置と、 前記比較装置によって、 変換された平面画像データを前記データべ ース内に格納してある画像データと比較した結果に基づいて、 そのデータの 内容を認識し、 特定する平面画像認識装置と、 から構成される平面展開処理 装置を付設したことを特徴とする請求項 1乃至 8に記載の交通機関自動案内

1 0 . さらに、 前記平面画像認識装置によって認識、 特定された対象物に関 して、 種々の空間的物理量を計測する画像内容計測装置と、 から構成される 平面展開処理装置を付設したことを特徴とする請求項 9に記載の交通機関自 動案内装置。

1 1 . 前記平面画像変換装置は、 前記入力装置によって取得された交通機関 の周囲の状況についての 3 6 0度全周囲画像データをも、 平面画像データに 変換する機能を有することを特徴とする請求項 9又は 1 0に記載の交通機関 自動案内装置。

1 2 . 交通機関の周囲の状況を画像データ、 計測データ等として取得する交 通情報検出装置を交通機関の運行経路に設置して、 前記交通情報検出装置に よって取得した画像データ、 計測データ等を受信できるようにしたことを特 徴とする請求項 1乃至 1 1に記載の交通機関自動案内装置。

1 3 . 前記交通情報検出装置は、 取得された画像データ、 計測データに基づ いてコンピュータグラフィック化するグラフィック化装置を有することを特 徴とする請求項 1 2に記載の交通機関自動案内装置。

1 4 . 交通機関に搭載した入力装置によって画像を取得する画像取得部と、 取得した画像をある期間記録する画像一時記録部と、 画像内に対応点を取る ための手掛り点を自動抽出する手掛り点自動抽出部と、 距離差のある二以上 の画像を取り出し、 各画像内の複数の手掛り点の対応点を求める対応点検出 部と、 検出された複数の対応点から、 入力装置の位置及び方向を演算する入 力装置位置方向計測部と、 求められた入力装置の位置の三次元座標の相対距 離を、 実測値を用いて絶対距離に変換する実測スケール変換部と、 から構成 される位置関係認識装置を付設したことを特徴とする請求項 1〜 1 3に記載 の交通機関自動案内装置。

1 5 . 前記位置関係認識装置に、 複数の手掛り点の各画像内の対応点から複 数の手掛り点を三次元計測し、 それらと入力装置の位置との関係を三次元座 標として求める対応点三次元計測部を付加したことを特徴とする請求項 1 4 に記載の交通機関自動案内装置。

1 6 . 前記位置関係認識装置に、 前記対応点三次元計測部によって得られた 対応点の三次元座標を記録する三次元データ記録部を付加したことを特徴と する請求項 1 5に記載の交通機関自動案内装置。

1 7 . 前記位置関係認識装置に、 運行して得られた前記三次元データ記録部 に蓄積した手掛り点の三次元データを、 次回以降の周辺の運行時に、 三次元 データ記録部から読み出す三次元データ読み出し部と、 それらデータと、 次 回以降の運行時に取得された画像データとを比較して、 一致点を求めること によって、 交通機関の位置の演算精度を向上させる対応点比較部と、 を付加 したことを特徴とする請求項 1 6に記載の交通機関自動案内装置。

1 8 . 前記位置関係認識装置に、 絶対座標が既知である対象物を対応点に選 択することで、 前記入力装置位置方向計測部及び前記対応点三次元計測部で 取得した三次元データに絶対座標を与える絶対座標変換部と、 ある地域に存 在する手掛り点の三次元座標を絶対座標系に統合する座標統合部と、 を付加 したことを特徴とする請求項 1 7に記載の交通機関自動案内装置。

1 9 . 前記位置関係認識装置に、 手掛り点の名称及び属性を、 手掛り点の位 置データに対応付けて記録保存し、 各手掛り点の属する対象物の名称及び属 性を当該手掛り点の座標データに付加する名称属性付加部と、 付加された手 掛り点の座標、 名称、 属性を、 地図の中に関係付けて書き込み記録保存する データベースと、 を付加したことを特徴と請求項 1 8に記載の交通機関自動 案内装置。

2 0 . 前記位置関係認識装置に、 前記各種演算結果を適宜、 運行者等に表示 して知らせる表示部を付加したことを特徴とする請求項 1 9に記載の交通機 関自動案内装置。

2 1 . 前記位置関係認識装置に、 前記各種演算結果により、 周囲と運行する 交通機関の位置関係から、 交通機関の状況を自動判断する状況判断部と、 状 況判断した結果を用いて、 自動的に交通機関の目的にあった操作を自動的に 行う自動制御部を付加したことを特徴とする請求項 2 0に記載の交通機関自 動案内装置。

2 2 . 前記位置関係認識装置に、 入力装置を複数台設置して画像を取り込み、 それぞれの入力装置の視野の一部又は全部を重複させた複数入力装置画像取 得部と、 単一入力装置による入力装置移動距離による視差から演算される三 次元距離計測と複数入力装置による入力装置間視差から演算される三次元距 離計測との両方を併用し、 複数入力装置の視野重複方式で得られた手掛り点 の三次元距離データを基準長として、 単一入力装置移動による移動距離視差 方式で得られた三次元距離データを較正することによって、 絶対距離に変換 するキヤリブレーション部と、 を付加したことを特徴とする請求項 2 1に記 載の交通機関自動案内装置。

2 3 . 前記位置関係認識装置に、 手掛り点の属する対象物の三次元形状を、 表示画面の中に定義された座標系中の正しい位置に、 三次元コンピュータグ ラフィックスで配置して表現し、 必要に応じて名称、 属性、 他の対象物、 自 車両をも、 その表示画像の中に表示可能とする三次元空間を再現する形状座 標属性表示部と、 前記表示画像の中に表現された各種対象物を示す三次元コ ンピュータグラフィックスの画像上を手で触れたり、 マウスでクリ ックする 等して、 又は、 現実画像のみを表示し、 表示された現実映像上で、 目的の対 象物を手で触れたり、 マウスでクリ ックする等して、 目的の対象物を指定す ることで、 その対象物の名称、 座標、 形状、 その他関連データ等の属性を表 示し、 指示した目的の対象物に関連するデータを入力し、 指示した目的対象 物に対して、 各種の操作や行動を指示することができるユーザインターフエ ース部と、 を付加したことを特徴とする請求項 2 2に記載の交通機関自動案 内装置。

2 4 . 前記位置関係認識装置に、 通信回線を介して、 他の交通機関又は他の 通信ボイントと接続され、 情報を送受信する外部通信部を付加したことを特 徴とする請求項 2 3記載に記載の交通機関自動案内装置。