JP5382122B2 - 移動体位置検出装置および移動体位置検出方法 - Google Patents

移動体位置検出装置および移動体位置検出方法 Download PDF

Info

Publication number
JP5382122B2
JP5382122B2 JP2011524549A JP2011524549A JP5382122B2 JP 5382122 B2 JP5382122 B2 JP 5382122B2 JP 2011524549 A JP2011524549 A JP 2011524549A JP 2011524549 A JP2011524549 A JP 2011524549A JP 5382122 B2 JP5382122 B2 JP 5382122B2
Authority
JP
Japan
Prior art keywords
target
data
imaging device
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011524549A
Other languages
English (en)
Other versions
JPWO2011013179A1 (ja
Inventor
健介 沢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2011013179A1 publication Critical patent/JPWO2011013179A1/ja
Application granted granted Critical
Publication of JP5382122B2 publication Critical patent/JP5382122B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Description

本発明は、移動体の位置を検出する技術に関する。
従来、移動体が自らの位置を自律的に検出するための技術にはGPS(Global Positioning System)、光ビーコン高精度測位、レーンマーカなどがある。GPSは人工衛星が発射する電波を受信することによって測位する原理上、移動体における高精度測位には不向きである。また、光ビーコン高精度測位は光ビーコンが設置されている場所でなければ測位できず、レーンマーカはインフラの設置コストが膨大になる。
そこで、移動体の位置検出方法として、移動体に搭載した撮像装置により撮影した画像を用いる方法が知られている。既知の大きさの対象物(ターゲット)を画像から検出し、画像上の該対象物の大きさに基づいて該対象物までの距離を算出する方法や、設置場所が既知である複数の対象物を画像から検出し、複数の該対象物の位置関係から位置を算出する方法が知られている。
例えば、次のような技術が知られている。自動車が道路上を走行している際、画像センサにより前方に位置している道路標識や信号機等の対象物を撮影し、その画像を処理装置に入力する。処理装置は、画像処理部により撮影画像を処理し、対象物の種類を分類する。この分類した対象物は、更に知識ベースに蓄えられている形状データと比較され、その傾きが補正される。その後、画像処理部は、画像上での像の大きさを角度(rad)として算出して距離算出部へ出力する。この距離算出部は、上記像の大きさを示す角度(rad)と知識ベースに蓄えられている対象物の大きさを示すデータを用いて対象物までの距離を算出する。
また、例えば移動体の移動経路に沿って設置されたランドマークを撮像部で撮像し、少なくとも3つ以上のランドマークが認識されると、記憶部に予め記憶されている3つのランドマークの位置データを読み込む。また、画像に基づいて移動体から見た各ランドマーク間の相対角度を算出し、位置データと角度データとに基づいて移動体の現在位置を算出する技術が知られている。
また、次のような技術が知られている。例えば演算処理装置において、移動するビデオカメラにて撮像した道路案内標識の画像データを色相、彩度、明度を基準とするHSV表色系に変換後に道路案内標識の輪郭領域を抽出する。その抽出した輪郭領域に対して水平方向及び垂直方向の明度値を用いて矩形の輪郭を特定する。時系列的に撮像した道路案内標識の複数の画像データから特定した複数の輪郭の位置とその複数の画像データを撮像した時点のビデオカメラの絶対位置とから道路案内標識の絶対位置を決定する。なお、HSVは色相(Hue)、彩度(Saturation)、明度(Value)を示す。
特開平8−219775号公報 特開2001−142532号公報 特開2003−85535号公報 特開2006−53775号公報
上記のように、移動体に搭載した撮像装置で取得した画像を用いて移動体の位置を検出するための様々な技術が存在するが、画像上の対象物(ターゲット)を用いて移動体の位置を検出する方法には改善の余地がある。
そこで、移動体に搭載した撮像装置で取得した画像上のターゲットの形状変化に基づいて移動体の位置を特定する移動体位置検出装置および移動体位置検出方法を提供することを目的とする。
態様のひとつである、移動体が移動可能な経路の付近に設置されたターゲットを撮像装置で連続もしくは間欠的に撮影し、撮影した画像上のターゲットに基づいて移動体の位置を検出する移動体位置検出装置は、ターゲット位置抽出手段、ターゲット位置出力手段を備えている。
ターゲット位置抽出手段は、記録部に記録されている複数のターゲットの画像データと、前記画像上のターゲットの画像データを比較し、前記複数のターゲットの画像データから前記画像上のターゲットの画像データと一致する画像データを特定する。そして、前記記録部に記録されている、特定した画像データに関連付けられている、予め決められた距離まで前記移動体が前記ターゲットに接近したときの位置を示す位置データを取得する。
ターゲット位置出力手段は、前記記録部に記録されている、前記予め決められた距離まで前記移動体が前記ターゲットに接近したときの前記画像上のターゲットの形状に、前記画像上のターゲットが変化したと判定したとき、前記位置データを出力する。
移動体に搭載した撮像装置で取得した画像上でのターゲットの形状変化に基づいて移動体の位置を特定することができる。
移動体に搭載されたビデオカメラにより移動しながら、連続または間欠的に対象物(標識等)を撮影したときの画像上のターゲットの形状変化を示す図である。 実施例1における移動体位置検出装置の構成の一例を示すブロック図である。 実施例1における制御部の構成の一例を示すブロック図である。 実施例1のターゲットテーブルの構造の一例を示す図である。 実施例1のターゲット検出部の構成の一例を示す図である。 実施例1のアスペクト比計算部の構成の一例を示す図である。 実施例1の移動体位置検出装置の動作の一例を示すフロー図である。 実施例1の移動体位置検出装置の動作の一例を示すフロー図である。 実施例2における移動体位置検出装置の構成の一例を示すブロック図である。 実施例2における制御部の構成の一例を示すブロック図である。 実施例2のカメラ切替部の構成の一例を示す図である。 実施例2の移動体位置検出装置の動作の一例を示すフロー図である。 実施例2の移動体位置検出装置の動作の一例を示すフロー図である。 実施例2の移動体位置検出装置の動作の一例を示すフロー図である。 実施例2で用いるターゲットテーブルの構造の一例を示す図である。 実施例3における移動体位置検出装置の構成の一例を示すブロック図である。 実施例3における制御部の構成の一例を示すブロック図である。 カメラ映像合成部が第1の撮像データと第2の撮像データを合成して、合成画像を生成する一例を示す図である。 実施例3の移動体位置検出装置の動作の一例を示すフロー図である。 実施例3の移動体位置検出装置の動作の一例を示すフロー図である。 実施例3の移動体位置検出装置の動作の一例を示すフロー図である。 実施例4における制御部の構成の一例を示すブロック図である。 実施例4のターゲットパターン位置情報変換部の構成の一例を示すブロック図である。 実施例4のターゲットテーブルの構造の一例を示す図である。 実施例4の移動体位置検出装置の動作の一例を示すフロー図である。 実施例4の移動体位置検出装置の動作の一例を示すフロー図である。 実施例5における制御部の構成の一例を示すブロック図である。 実施例5の文字位置情報検出部の構成の一例を示すブロック図である。 実施例5の移動体位置検出装置の動作の一例を示すフロー図である。 実施例5の移動体位置検出装置の動作の一例を示すフロー図である。 実施例5の移動体位置検出装置の動作の一例を示すフロー図である。 本実施例がコンピュータプログラムとして実現される場合の構成の一例を示す図である。
以下図面に基づいて、実施形態について詳細を説明する。
移動体は通常GPSによって現在位置を計測しているため高精度で現在位置を計測することができないときがある。そこで、本実施例では、移動体に搭載した撮像装置で取得した画像から位置が既知であるターゲットを検出し、移動に従って発生する画像上でのターゲットの形状変化の状態に基づいてターゲットの位置を特定する。そして、移動体が特定したターゲットの下の決められた位置に来たときに、特定したターゲットに関連付けて記録されている特定したターゲットの位置データに、移動体が現在有している位置データを変更する。その結果、移動体は自律的に高精度な位置データを取得することができる。
形状変化の状態について図1を用いて説明する。図1は移動体に搭載されたビデオカメラ2(撮像装置)が矢印方向(移動方向)に移動しながら、連続または間欠的にターゲット(案内標識等)を撮影したときの画像上のターゲットの形状変化を示す図である。
ビデオカメラ2aの位置は、撮影した画像にターゲットが映っているときに、そのターゲットが予め撮影され記録されている複数のターゲットのいずれかと一致した位置である(標識捕捉)。
ビデオカメラ2bの位置は、ビデオカメラ2aで撮影した位置より移動体がターゲットに接近したため、撮影した画像上のターゲットの縦方向の長さが縮まった形状に変化する位置である(接近検出1)。
ビデオカメラ2cの位置は、さらにビデオカメラ2bで撮影した位置より移動体がターゲットに接近したため、ビデオカメラ2bの位置で撮影した画像上のターゲットの縦方向の長さよりさらに縮まった形状に変化する位置である(接近検出2)。
ビデオカメラ2dの位置は、移動体がターゲットの下付近に移動したため、ビデオカメラ2cの位置で撮影した画像上のターゲットの縦方向の長さよりさらに縮まった形状になる位置である(下付近検出)。下付近にくると、撮影した画像上のターゲットの形状は線状に近い形状になる。
このように撮影した画像上のターゲットの形状変化を利用して移動体の現在位置データを校正する。
本実施例では以後、移動体を車(自動車、原動機付自転車、軽車両およびトロリーバスなど)とし、対象物を道路に設けられた案内標識とした場合について説明する。しかし、移動体は車に限るものではなく鉄道車両、建設車両、農業車両、産業車両、船舶などであってもよい。また、ターゲットは案内標識に限定するものではないし建造物などを用いてもよい。
(実施例1)
図2は、実施例1における移動体位置検出装置の構成の一例を示すブロック図である。
実施例1における移動体位置検出装置1は、ビデオカメラ2、ビデオエンコーダ3、制御部4、記録部5を備えている。
ビデオカメラ2は、移動体に設置される撮像装置であり、連続または間欠的にターゲットの撮影を行い、撮影した画像をビデオ信号に変換してビデオエンコーダ3に転送する。例えば、ビデオカメラ2は撮像素子(CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなど)を備えた撮像装置などである。また、ビデオ信号は、例えばNTSC(National Television System Committee)などを用いてもよいし、他のビデオ信号を用いてもよい。
ビデオエンコーダ3は、ビデオカメラ2で撮影したビデオ信号(アナログ信号)をエンコードして撮像データ(ディジタル信号)を生成する。ここで、ビデオエンコードの方式として、例えばMPEG4 AV(H.264)を用いてビデオ信号を圧縮してもよいし、JPEGや他の方法を用いて圧縮してもよい。なお、ビデオエンコーダ3は、ハードウェア(専用ICなど)であってもよいし、ソフトウェアにより実現してもよい。なお、ビデオカメラ2から直接撮像データ(ディジタル信号)を出力する場合には、ビデオエンコーダ3を用いなくてもよい。
制御部4は、ビデオエンコーダ3から取得する撮像データと、記録部5に記録されているデータに基づいて位置データを抽出する。制御部4には、CPU(Central Processing Unit)やプログラマブルなデバイス(FPGA(Field Programmable Gate Array)、PLD(Programmable Logic Device)など)を用いることもできる。制御部4の詳細については後述する。
記録部5にはプログラム、テーブル、データなどが記録されている。また、記録部5は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクなどのメモリである。また、記録部5は、パラメータ値、変数値などのデータを記録してもよいし、ワークエリアとして用いることもできる。
図3は、実施例1における制御部4の構成の一例を示すブロック図である。
制御部4は、ターゲット位置抽出手段、ターゲット位置出力手段を備える。
ターゲット位置抽出手段は、記録部に記録されている複数のターゲットの画像データと、画像上のターゲットの画像データとを比較し、複数のターゲットの画像データから画像上のターゲットの画像データと一致する画像データを特定する。そして、記録部に記録されている、特定した画像データに関連付けられている、予め決められた距離まで移動体が前記ターゲットに接近したときの位置を示す位置データを取得する。
ターゲット位置出力手段は、記録部に記録されている、予め決められた距離まで移動体がターゲットに接近したときの画像上のターゲットの形状に、画像上のターゲットが変化したと判定したとき、位置データを出力する。
ターゲット位置抽出手段は、ターゲット検出部21、ターゲット位置情報変換部24を有する。ターゲット位置出力手段は、アスペクト比計算部22、比較部25、FF部26を有する。
ターゲット検出部21は、ビデオエンコーダ3から撮像データを取得し、該撮像データに含まれるターゲットのデータとターゲットデータ記録部23に予め記録されている、後述するターゲット設定データの一致率を求める。撮像データからターゲットを検出する方法は、例えば画像を構成するピクセルの情報に基づいて輪郭、色、模様、文字などのデータを抽出して、その抽出したデータを利用してターゲットを検出してもよいし、既存の技術を用いて検出してもよい。
次に、ターゲット検出部21は、上記一致率に基づいて画像上のターゲットと相関が最も高いターゲット設定データを検出し、後述するように、ターゲット設定データに関連付けてターゲットデータ記録部23に予め記録されているターゲットID(識別番号)を取得する。なお、上記撮影した画像上のターゲットとターゲット設定データとの相関については後述する。
アスペクト比計算部22は、ターゲット検出部21からターゲットデータと補正データを取得してターゲットを特定し、特定したターゲットをターゲットの付近に来るまで追跡しながらターゲットデータのアスペクト比(縦横比)を計算する。そして、アスペクト比計算部22は計算したアスペクト比を比較部25に出力する。ここで、ターゲットの付近とは、アスペクト比が予め決められた値になる、移動体がターゲットに近づいた距離である。アスペクト比は、例えば、ターゲットのY方向(縦方向)の長さの最大値とX方向(横方向)の長さの最大値の比率を計算して求める。なお、画像上のターゲットの縦横方向の長さはピクセル数などにより示すことができる。ターゲットの形状が四角形であっても四角形以外であっても縦横方向の長さはピクセル数などにより示すことができる。
ターゲットデータ記録部23は、複数のターゲットの画像や画像の特徴に関するデータ(ターゲット設定データ)とターゲットIDを関連付けて記録している(後述するターゲットテーブル、図4参照)。ここで、ターゲット設定データとは、例えば道路に設置された案内標識などのターゲットの撮像データに関するデータであり、ターゲットを構成するピクセルの情報、該ピクセルの情報に基づいて生成したターゲットの輪郭、色、模様、文字などである。なお、ターゲットは案内標識以外でも既に設置されている信号機、看板、建造物などをターゲットとしてもよい。
また、ターゲットデータ記録部23は、記録部5からターゲット設定データを取得して記録する。なお、記録部5にターゲットデータ記録部23の機能を設ける場合は制御部4にターゲットデータ記録部23を設けなくてもよい。
ターゲット位置情報変換部24は、ターゲット検出部21から出力されたターゲットIDを取得し、該ターゲットIDに一致するターゲットデータ記録部23に予め記録されている、ターゲットIDに関連付けられた位置データを取得して、FF26に出力する。
なお、記録部5にターゲットデータ記録部23の機能を設ける場合は、ターゲット位置情報変換部24はターゲットIDに対応する位置データを記録部5から取得する。
比較部25は、アスペクト比計算部22から出力されたアスペクト比と予め記録部5(またはターゲットデータ記録部23)に記録されている閾値2を比較して、閾値2以下であればFF26にイネーブル信号を出力する。ここで、閾値2は撮影した画像上のターゲットの画像が線状に近づいたことが判定できればよいので、ターゲットごとに線状に近づいたときのアスペクト比を予め計算して閾値2として記録しておいてもよい。
FF26は、比較部25から出力されたイネーブル信号を受信すると、ターゲット位置情報変換部24から出力された位置データを出力する。
次に、ターゲットテーブルについて説明をする。
図4は、ターゲットテーブルの一例を示す図である。ターゲットテーブルは「ターゲットID」「ターゲット設定データ」「閾値2(アスペクト比データ)」「位置データ」を有している。ターゲットID(識別番号)は、図4の「ターゲットID」に対応する箇所に、ターゲットごとに関連付けられ記録されている。本例では数字「1」「2」・・・「N」が割り振られている。
ターゲット設定データには、ターゲットの画像データ、ターゲットの輪郭、色、模様、ターゲットに記載されている文字などに関するデータなどを記録する列「画像データ」「輪郭データ」「色データ」「模様データ」「文字データ」を有している。図4では、ターゲットIDにターゲット設定データとして画像データ、輪郭データ、色データ、模様データ、文字データを関連付けた例を示した。しかし、ターゲットIDには画像データだけを関連付けてもよいし、ターゲットIDに画像データ、輪郭データ、色データ、模様データ、文字データを組み合わせて関連付けてもよい。
ターゲットの画像データは予め撮影したターゲットの画像データにリンクするための名称が、「画像データ」に対応する箇所にターゲットIDと関連付けて記録されている。例えば、画像データが記録されているファイルの名前が記録されている。本例では「画像1」「画像2」・・・「画像n」が割り振られている。
ターゲットの輪郭のデータは、ターゲットに対して輪郭抽出などの画像処理により抽出したターゲットごとの輪郭に関するデータである。この輪郭に関するデータは輪郭抽出したデータが記録されているファイルにリンクするための名称が、「輪郭データ」に対応する箇所にターゲットIDと関連付けて記録されている。本例では「輪郭1」「輪郭2」・・・「輪郭n」が割り振られている。
ターゲットの色のデータは、ターゲットの色(または色合い)を画像処理により抽出したターゲットごとの色に関するデータである。「色データ」に対応する箇所に、色に関するデータが記録されているファイルにリンクするための名称が、ターゲットIDと関連付けて記録されている。本例では「色1」「色2」・・・「色n」が割り振られている。
ターゲットの模様のデータは、ターゲットの模様を画像処理により抽出したターゲットごとの模様に関するデータである。「模様データ」に対応する箇所に、模様に関するデータが記録されているファイルにリンクするための名称が、ターゲットIDと関連付けて記録されている。本例では「模様1」「模様2」・・・「模様n」が割り振られている。
ターゲットに記載されている文字のデータは、ターゲットに書かれている文字を画像処理により抽出したターゲットごとに記載されている文字に関するデータである。「文字データ」に対応する箇所に、文字に関するデータが記録されているファイルにリンクするための名称が、ターゲットIDと関連付けて記録されている。本例では「文字1」「文字2」・・・「文字n」が割り振られている。
閾値2(アスペクト比データ)は、予め決められた距離まで移動体がターゲットの下に近づいたときに撮影された、画像上のターゲットの形状のアスペクト比に関するデータである。閾値2(アスペクト比データ)は、「閾値2」の対応する箇所に、ターゲットIDと関連付けて記録されている。本例では「比率1」「比率2」・・・「比率n」が割り振られている。
位置データは、予め決められた距離まで移動体がターゲットの下に近づいたときに撮影された画像上のターゲットの形状から計算されるアスペクト比が、対応する「閾値2」の値になる位置を示すデータ(座標や緯度経度など)である。位置データは、「位置データ」の対応する箇所に、ターゲットIDに関連付けて記録されている。本例では「位置データ1」「位置データ2」・・・「位置データn」が割り振られている。
図5は、ターゲット検出部21の構成の一例を示す図である。
ターゲット検出部21は、補正部51、特徴抽出部52、比較部53、相関部55を備えている。
補正部51は、撮像データを取得して撮影した画像を既存の技術を用いて補正する。例えば、補正部51は、コントラストや明るさの補正、フィルタを用いて画像を鮮明化する補正、画像の傾き補正を行う。なお、歪曲収差、口径食、シャープネス欠乏、倍率色収差、色付きフリンジなどを補正してもよいし、また、露出最適化、逆光補正、ノイズ除去などの補正をしてもよい。なお、上記補正は必ずしも行わなくてもよい。図5の例では、補正部51が撮像データA(ノイズが含まれている)を補正して補正データBを出力している。
特徴抽出部52は補正データからターゲットデータを抽出する。図5の例では、特徴抽出部52はエッジ抽出フィルタにより補正データBから輪郭データを抽出し、抽出した輪郭データに基づいて四角形を抽出する。次に、特徴抽出部52は該四角形の輪郭と輪郭内のピクセルデータを収集して図5のターゲットデータCを抽出する。
また、特徴抽出部52は補正データからターゲットデータを抽出した後ターゲットの特徴を抽出してもよい。ここで、特徴とは、ターゲットの輪郭、色、模様、文字などに関するデータなどである。例えば、輪郭データは、撮影した画像上のターゲットからエッジ抽出フィルタなどを用いて、輪郭を抜き出したデータである。色データは、例えば補正した画像上のターゲットなどを構成するピクセルごとの色に関するデータである。また、模様データは、例えば補正した画像上のターゲットなどの模様をピクセルに基づいて抽出した模様に関するデータである。文字データは、補正した画像上のターゲットなどに含まれている文字を、既存の文字認識技術により抽出する。なお、特徴抽出部52が抽出する特徴は、輪郭データ、色データ、模様データ、文字データに限定するものではない。
比較部53は、ターゲットデータ記録部23に記録されている複数のターゲット設定データD、E・・・(図4のターゲットテーブルの画像データ)と特徴抽出部52で抽出したターゲットデータCを比較して一致率を求める。画像同士の一致率が、予め設定した値(閾値1)以上であれば、比較部53は該画像に関連付けられているターゲットIDを相関部55に出力する。
一致率とは、例えばターゲット画像同士の比較であれば、ターゲットデータCと各ターゲット設定データの画像データの基準となる点(ピクセル)を決める。そして、その基準から順にピクセルの成分(例えば、色など)が一致しているピクセルを検出し、一致率=(一致したピクセル数/ターゲットデータCのピクセル数)を計算し、一致率を算出する。
図5の例では、ターゲットデータ記録部23からターゲット設定データとターゲットIDをレジスタ54a〜54nに記録して、特徴抽出部52で抽出されたターゲットデータとレジスタ54a〜54nした記録したターゲット設定データを比較している。比較した結果、一致率が予め設定した値(閾値1)以上のターゲット設定データを選択して、そのターゲット設定データに関連付けられているターゲットIDと一致率を相関部55に出力する。
他の比較方法として、ターゲットデータとターゲット設定データの輪郭、色、模様、文字などに関すデータを比較する方法が考えられる。例えば、特徴抽出部52で説明したようにターゲットデータの特徴として輪郭、色、模様、文字などに関するデータを抽出し、ターゲット設定データの輪郭データ、色データ、模様データ、文字データ(図4)をそれぞれ比較し、どの程度一致しているかを求める。そして、輪郭データ、色データ、模様データ、文字データのそれぞれの一致率が予め設定した値以上のターゲット設定データを選択し、その選択したターゲット設定データに対応するターゲットIDと一致率を相関部55に出力する。上記のように比較対照(輪郭データ、色データ、模様データ、文字データなど)を多くすることにより、ターゲットの抽出精度を向上させることができる。
また、比較部53は、GPSなどにより高精度ではないが移動体の位置が分かるため、このGPSの示す位置データの近くに設置されているターゲット設定データだけを、位置データに基づいて選択してレジスタ54a〜54nに記録する。その結果、ターゲットデータ記録部23から取得するターゲット設定データの数が制限されるため、全てのターゲット設定データを検索しないですむので、全てのターゲット設定データに対して比較をする場合より、ターゲットを早く検出することができる。
相関部55は、比較部53から出力された一致率から最も一致率が高い一致率を検出して、該一致率に関連付けられているターゲットIDをターゲット位置情報変換部24に出力する。また、別の一致率を検出する方法として、例えば、ターゲットIDごとに輪郭データ、色データ、模様データ、文字データなどの各一致率の合計を計算し、合計が最大になるターゲットIDを選択する。なお、上記では各一致率の合計が最大になるターゲットIDを選択したが、この方法に限定するものではない。
図6は、アスペクト比計算部22の構成の一例を示す図である。
アスペクト比計算部22は、ターゲット追跡部61、XY成分分離部62、縦長測定部63、横長測定部64、縦横比演算部65、FF66を備えている。ターゲット追跡部61は、補正部51から補正データとターゲットデータを取得して、補正データに含まれるターゲットを追跡するとともに抽出する。図6の例では、アスペクト比計算部22が補正データBにターゲットデータAがあることを検出し、検出したターゲットを移動体がそのターゲットの位置に移動するまで追跡する。しかし、移動体がターゲットに近づくと図6のC1〜C4(追跡ターゲットデータ)に示すようにターゲットの形状が変化するため、ターゲットを補足したときの形状を追跡するだけではターゲットデータAを追跡することが難しい。そこで、例えば、ターゲットの色などに基づいてターゲットデータAを追跡する方法を用いる。また、ターゲット追跡部61は、ターゲット追跡中のときは追跡中であるか否かを示す信号をFF66に出力する(図6の追跡オン/オフ信号)。また、ターゲット追跡部61は、追跡ターゲットデータをXY成分分離部62に出力する。
XY成分分離部62は、ターゲット追跡部61から出力される追跡ターゲットデータを分析しX方向(横方向)とY方向(縦方向)の成分に分離する。例えば、X方向の成分またはY方向の成分の検出は、X方向またはY方向に連続する同色のピクセルを検出して、X方向の成分またはY方向の成分としてもよいし、他の方法により検出してもよい。なお、XY成分分離部62は、補正部51からターゲットのX方向の成分とY方向の成分を検出し易く補正された補正データを用いているが、直接撮像データを用いてもよい。
縦長測定部63はXY成分分離部62で検出したY方向の成分の長さを計測する。また、横長測定部64はXY成分分離部62で検出したX方向の成分の長さを計測する。Y方向の成分の長さとX方向の成分の長さは、例えばピクセルの数を数えて求めてもよいし、他の方法により求めてもよい。
縦横比演算部65は、縦長測定部63と横長測定部64により計測したX方向の長さとY方向の長さを利用してアスペクト比を算出する。
本例では、アスペクト比=(Y方向の長さ/X方向の長さ)を求めている(縦/横)。次に、縦横比演算部65は上記式により算出したアスペクト比をFF66に出力する。
FF66は、ターゲット検出部21でターゲットが捕捉され追跡されているとき出力がイネーブルになり、アスペクト比を比較部25に出力する。例えば、FF66は追跡オン/オフ信号がオンのとき出力がイネーブルになり、アスペクト比を比較部25に出力する。
(動作説明)
図7A、7Bは、移動体位置検出装置の動作の一例を示すフロー図である。
ステップS1(ターゲット検出処理)では、ビデオカメラ2で撮影した画像(例えば、アナログ信号)をビデオエンコーダ3でディジタル変換した撮像データを、ターゲット検出部21が取得する。次に、ターゲット検出部21は撮像データを補正して補正データを生成し、補正データからターゲットの画像を抽出する。また、ターゲットの画像を抽出した後、ターゲットの特徴として輪郭、色、模様、文字などに関するデータを抽出してもよい。
ステップS2(ターゲット検出処理)でターゲット検出部21は、閾値1を設定する。例えば、閾値1はステップS1で抽出したターゲットの画像と記録部5(またはターゲットデータ記録部23)から取得した各ターゲット設定データを比較して求められる一致率と比較する値である。例えば90%以上の一致率のターゲット設定データを選択するのであれば、閾値1には「0.9」を設定する。
なお、ターゲット設定データの各画像データに対応する閾値1を設定してもよいし、ターゲット設定データの各輪郭データ、色データ、模様データ、文字データを用いる場合においても、各データに対応する閾値1を設定してもよい。
ステップS3(ターゲット検出処理)では、ターゲット検出部21が記録部5(またはターゲットデータ記録部23)のターゲットテーブルからターゲットIDとターゲット設定データを選択するために用いられるカウンタの値をクリアする。ここで、ターゲットIDとターゲット設定データの選択は、例えば、カウンタのカウント値とターゲットIDの値を連携させ、カウントが「1」のときターゲットID「1」と該ターゲットIDに対応するターゲット設定データを選択する。本例では図4のターゲットテーブルに示すターゲットIDが「1」から始まっているので、カウント値を「0」にする。
ステップS4(ターゲット検出処理)でターゲット検出部21は、記録部5(またはターゲットデータ記録部23)からターゲットIDとターゲット設定データを取得するため、上記カウント値を1ずつ増加させる(カウント値=カウント値+1)。
ステップS5(ターゲット検出処理)でターゲット検出部21は、記録部5(またはターゲットデータ記録部23)にターゲットIDとターゲット設定データを取得するためカウント値(要求通知)を出力する。
次に、記録部5(またはターゲットデータ記録部23)が要求通知を取得すると、カウント値に該当するターゲットIDを検出し、ターゲットIDとターゲット設定データをターゲット検出部21に出力する。ステップS6(ターゲット検出処理)ではターゲット検出部21がターゲットIDとターゲット設定データを取得する。
ステップS7(ターゲット検出処理)でターゲット検出部21は、上記比較部53で説明したように一致率を計算する。
ステップS8(ターゲット検出処理)でターゲット検出部21は、ターゲットデータと全てのターゲット設定データの比較を完了したかを判定する。全ての比較が完了していればステップS9に移行し(Yes)、完了していなければステップS4に移行する(No)。例えば、図4に示す全てのターゲットID「1」〜「N」に関連付けられているターゲット設定データに対してターゲットデータと比較をしたかを判定する。
ステップS9(ターゲット検出処理)では、一致率が閾値1以上であるかをターゲット検出部21が判定する。閾値1以上であれば、その一致率に対応するターゲットIDを選択してステップS10に移行し(Yes)、閾値1未満であればステップS1に移行する(No)。例えば、閾値1に0.9が設定され、抽出されたターゲットと図4のターゲットテーブルの画像データの一致率が0.91(91%)であれば、該一致率が閾値1以上であるのでステップS10に移行する。なお、閾値1以上であると判定された一致率が複数あるときは、上記相関部55で説明したように、例えば複数の一致率の中から最も一致率が高いものを選択し、その一致率に対応するターゲットIDを選択してステップS10に移行する。一致率が全て閾値1未満の場合は、現在の撮像データにターゲットが映っていないと考えられるためステップS1に移行して、新しい撮像データを用いてターゲットを探す。
ステップS10(ターゲット位置情報変換処理)では、ターゲット検出部21からターゲットIDを取得する。そして、記録部5(またはターゲットデータ記録部23)にターゲットIDに対応する位置データを取得するためターゲットIDを含む要求通知をする。
次に、記録部5(またはターゲットデータ記録部23)が、要求通知を取得するとターゲットIDに関連付けられている位置データをターゲットテーブルから検出して、ターゲット位置情報変換部24に出力する。
ステップS11(ターゲット位置情報変換処理)でターゲット位置情報変換部24は、記録部5(またはターゲットデータ記録部23)から出力された位置データを取得する。
ステップS12(比較処理)では、比較部25が現在のターゲットIDに基づいてターゲットデータ記録部23から閾値2を取得して設定する。例えば、閾値2はステップS9で取得したターゲットIDに対応するターゲットテーブルの「閾値2」に記録されている「比率1」「比率2」・・・の中から選択して、設定する。
ステップS13(アスペクト比計算処理)でアスペクト比計算部22は、ターゲット検出部21から出力された補正データとターゲットデータに基づいてターゲットを追跡し、アスペクト比を計算する。ターゲットの追跡は、上記ターゲット追跡部61で説明したように画像上の捕捉したターゲットを移動体がターゲット付近に来るまで追跡する。また、アスペクト比の計算は、画像上のターゲットのX方向の成分とY方向の成分から、縦長と横長を測定してアスペクト比を計算する。
ステップS14(比較処理)で比較部25は、ステップS13で計算したアスペクト比と閾値2を比較し、アスペクト比が閾値2以下であるときステップS15に移行し(Yes)、アスペクト比が閾値2より大きいときステップS13に移行する(No)。すなわち、移動体がターゲット付近に来たとき、画像上のターゲットの形状は横長(X方向の長さ)に比べて、縦長(Y方向の長さ)が短くなる。そのため、アスペクト比がX方向の長さ/Y方向の長さで計算されていれば、アスペクト比は0に近づき閾値2の値以下になる。
ステップS15(位置データ出力処理)では位置データを出力してステップS1に移行する。例えば、位置データを必要とする機器(カーナビゲーションシステムなど)に出力する。
上記のように移動体位置検出では、移動体に搭載した撮像装置により撮影した画像上のターゲット(案内標識など)を特定して、特定したターゲットに関連付けられて記録されている位置データを取得する。次に、移動体位置検出では、特定したターゲットをターゲットの設置されている位置まで追跡して、追跡しているターゲットの画像上の形状変化を検出し、ターゲットの形状変化が予め決められた形状になっているかを判定する。判定結果が、予め決められた形状になっている場合、移動体がターゲットの設置場所から予め決められた距離に着いたとして、現在の位置データを更新する。または、位置データを必要とする装置に出力する。
以上のように、本実施例によれば移動体に搭載した撮像装置で取得した画像上でのターゲットの形状変化に基づいて移動体の位置を自律的に特定することができる。また、実際に移動体がターゲットの設置場所から予め決められた距離に来たときに位置データを更新することができるため、高精度な移動体の位置を取得することができる。
また、従来技術で必要だった光ビーコンやレーンマーカなどを用いないため、膨大な設置コストをかける必要がなくなり、大幅な設置コストを削減することができる。
(実施例2)
夜間(または雨、霧などの悪天候)に可視光を使用して撮影した画像からターゲットを抽出する場合、光量などが不足するため良質な画像が得られず、ターゲットを識別することが困難である。そこで、実施例2では、夜間(または悪天候)であっても高精度に移動体の位置を検出する方法について説明する。
図8は、実施例2における移動体位置検出装置の構成の一例を示すブロック図である。
実施例2に示す移動体位置検出装置80は、ビデオカメラ2、ビデオエンコーダ3、ビデオカメラ81(赤外線ビデオカメラ)、ビデオエンコーダ82、制御部4、記録部5を備えている。実施例2では、実施例1の構成にさらにビデオカメラ81、ビデオエンコーダ82を追加して、夜間(または悪天候)でもターゲットを抽出することができる。
ビデオカメラ81は、移動体に設置される赤外線撮像装置であり、連続または間欠的にターゲットの撮影を行い、撮影した画像をビデオ信号に変換してビデオエンコーダ82に転送する。例えば、ビデオカメラ81は撮像素子(CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなど)を備えた撮像装置である。また、ビデオ信号は、例えばNTSC(National Television System Committee)などを用いてもよいし、他のビデオ信号を用いてもよい。また、図9に示すようにビデオカメラ81の外部には赤外線照射器93を備えている。なお、ビデオカメラ81の内部に赤外線照射器93を設けてもよい。例えば、赤外線照射器93は周囲の明るさを感知して赤外線の照射を開始する。
ビデオエンコーダ82は、ビデオカメラ2で赤外線を用い撮影したビデオ信号(アナログ信号)をエンコードして撮像データ(ディジタル信号)を生成する。ここで、ビデオエンコードの方式として、例えばMPEG4 AV(H.264)を用いてビデオ信号を圧縮してもよいし、JPEGや他の方法を用いて圧縮してもよい。なお、ビデオエンコーダ82は、ハードウェア(専用ICなど)であってもよいし、ソフトウェアであってもよい。なお、ビデオカメラ81から直接撮像データ(ディジタル信号)を出力する場合には、ビデオエンコーダ82を用いなくてもよい。
図9は、実施例2における制御部の構成の一例を示すブロック図である。
制御部4は、ターゲット検出部21、アスペクト比計算部22、ターゲットデータ記録部23、ターゲット位置情報変換部24、比較部25、FF26(フリップフロップ)、カメラ選択部91、カメラ切替部92を備えている。
カメラ選択部91は、ビデオカメラ2とビデオカメラ81からそれぞれ出力される輝度信号とIR輝度信号を受信し、輝度信号とIR輝度信号の輝度のレベルを判定する。判定した結果、輝度信号がIR輝度信号より輝度が高いときはビデオカメラ2を選択するセレクト信号をカメラ切替部92に出力し、IR輝度信号が輝度信号より輝度が高いときはビデオカメラ81を選択するセレクト信号をカメラ切替部92に出力する。なお、カメラ選択部91をハードウェアで構成する際は、例えばコンパレータなどを用い、輝度信号とIR輝度信号を比較すればよい。
なお、本例では輝度信号とIR輝度信号をビデオカメラ2とビデオカメラ81から取得しているが、ビデオエンコーダ3とビデオエンコーダ82の出力した撮像データに基づいて輝度値とIR輝度値を取得してもよい。
カメラ切替部92は、カメラ選択部91からセレクト信号を取得して、セレクト信号に基づいてビデオエンコーダ3またはビデオエンコーダ82から出力される撮像データを選択する。図10はカメラ切替部92の構成の一例を示す図である。図10に示すカメラ切替部92は、セレクト信号がS=1であればビデオカメラ2から出力される撮像データを選択し、S=0であればビデオカメラ81から出力される撮像データを選択するセレクタである。
以上のように、撮像装置と別に赤外線撮影可能な赤外線撮像装置を設け、記録部に、予めターゲットごとに赤外線撮像装置で撮影したターゲットの画像データを有するターゲット設定データと位置データと閾値2(アスペクト比データ)と、をターゲットIDに関連付けて記録する。
そして、撮像装置と赤外線撮像装置の撮影した画像の輝度を比較し、輝度が高い撮像装置を選択し、選択された撮像装置が撮影した撮像データをターゲット検出部21に出力する。赤外線撮像装置が選択されたとき、ターゲット検出部21は赤外線撮像装置用のテーブルを用い、ターゲットIDを取得し、ターゲット位置情報変換部24は赤外線撮像装置用のテーブルを用い、位置データを取得する。
(動作説明)
図11A、11B、11Cは、移動体位置検出装置の動作の一例を示すフロー図である。
ステップS1101(カメラ選択処理)でカメラ選択部91は、ビデオカメラ2で撮影した画像(例えば、アナログ信号)をビデオエンコーダ3でディジタル変換した撮像データを取得し、撮像データに含まれている輝度値を記録する。また、ステップS1102(カメラ選択処理)でカメラ選択部91が、ビデオカメラ81で撮影した画像(例えば、アナログ信号)をビデオエンコーダ82でディジタル変換した撮像データを取得し、撮像データに含まれている輝度値(IR輝度値)を記録する。
ステップS1103(カメラ選択処理)では、カメラ選択部91が輝度値とIR輝度値とを比較して輝度値がIR輝度値以上であるとき(Yes)、ステップS1104に移行し、IR輝度値が輝度値以上であるとき(No)、ステップS1105に移行する。
ステップS1104(ターゲット検出処理)でターゲット検出部21は、撮像データを補正して補正データを生成し、補正データからターゲットの画像を抽出する。また、ターゲットの画像を抽出した後、ターゲットの特徴として輪郭、色、模様、文字などに関するデータを抽出してもよい。
ステップS1105(ターゲット検出処理)でターゲット検出部21は、ビデオカメラ81で撮影した画像撮像データを補正して補正データを生成し、補正データからターゲットの画像を抽出する。また、ターゲットの画像を抽出した後、ターゲットの特徴として輪郭、色、模様、文字などに関するデータを抽出してもよい。
ステップS1104に分岐した場合のS1108〜ステップS1119の動作は、実施例1で説明した図7A、7BのステップS2〜ステップS15の動作と同じである。しかし、ステップS1105に分岐した場合のS1108〜ステップS1119の動作は実施例1と異なる。ステップS1105に分岐した場合は、図4に示したターゲットテーブルと異なり、ビデオカメラ81の撮影データ用のターゲットテーブルを用いる。
図12に実施例2で用いるターゲットテーブルの構造の一例を示す図である。
実施例2ではビデオカメラ81の撮影データ用のターゲットテーブル(IRターゲットテーブル)を図4に示したターゲットテーブルと別に有している。IRターゲットテーブルは、カメラ選択部91によりビデオカメラ81側が選択されているときに用いられる。IRターゲットテーブルは、ターゲットID、IRターゲット設定データ、閾値2(アスペクト比データ)、位置データを記録する列「ターゲットID」「IRターゲット設定データ」「閾値2(アスペクト比データ)」「位置データ」を有している。「ターゲットID」には、実施例1と同様、対応する箇所にターゲットごとに関連付けられた識別番号が記録されている。本例では数字「1」「2」・・・「N」が割り振られている。IRターゲット設定データには、赤外線カメラで撮影したターゲットの画像データ、ターゲットの輪郭、色、模様、ターゲットに記載されている文字などに関するデータが記録されている。図12では「IRターゲット設定データ」に、赤外線カメラで撮影した画像、輪郭、色、模様、文字に関するデータを記録する列「IR画像データ」「IR輪郭データ」「IR色データ」「IR模様データ」「IR文字データ」を有している。
ターゲットの画像データは予め撮影したターゲットの画像データにリンクさせるための名称が、「IR画像データ」に対応する箇所にターゲットIDと関連付けて記録されている。例えば、IR画像データが記録されているファイルの名前が記録されている。本例では「IR画像1」「IR画像2」・・・「IR画像n」が割り振られている。
「IR輪郭データ」に対応する箇所に、ターゲットに対して輪郭抽出などの画像処理をして抽出したターゲットの輪郭に関するデータが記録されているファイルの名前にリンクする名称が、ターゲットIDと関連付けて記録されている。本例では「IR輪郭1」「IR輪郭2」・・・「IR輪郭n」が割り振られている。
「IR色データ」に対応する箇所に、ターゲットの色(または色合い)について画像処理をして抽出したターゲットの色に関するデータが記録されているファイルの名前にリンクする名称が、ターゲットIDと関連付けられて記録されている。本例では「IR色1」「IR色2」・・・「IR色n」が割り振られている。
「IR模様データ」に対応する箇所に、ターゲットの模様を画像処理により抽出したターゲットの模様に関するデータが記録されているファイルの名前にリンクする名称が、ターゲットIDと関連付けて記録されている。本例では「IR模様1」「IR模様2」・・・「IR模様n」が割り振られている。
「IR文字データ」に対応する箇所に、ターゲットに書かれている文字を画像処理により抽出したターゲットに記載されている文字に関するデータが記録されているファイルの名前にリンクする名称が、ターゲットIDと関連付けて記録されている。本例では「IR文字1」「IR文字2」・・・「IR文字n」が割り振られている。
「閾値2(アスペクト比データ)」「位置データ」は実施例1に示したようにターゲットIDと関連付けて記録されている。
なお、図12の「閾値2」「位置データ」は、ビデオカメラ2用のターゲットテーブル(図4)の「閾値2」、「位置データ」と共通で使用することができる。
以上のように、輝度により赤外線カメラと可視光カメラを切り替えて使用することにより、夜間(または悪天候)時においても画像識別性能を落とさないようにすることができるため、昼夜を問わず信頼性が高い位置検出を実現することができる。
また、ターゲットの形状や特徴が検出しやすくなるように赤外線再帰性反射素材をターゲットに塗布して、移動体からターゲットに赤外線を照射することによりターゲットの検出率を向上させることができる。例えば、ターゲットの形状を分かりやすくするために、赤外線再帰性反射素材をターゲット全体や外周に塗布することが考えられる。
(実施例3)
移動体に固定されている撮像装置の画角(または視野角)は有限であるため、移動体が移動をしている場合、有効な画像認識を行うために画角を狭くせざるを得ない場合がある。しかし、画角が狭くなると撮影した画像の中からターゲットを検出することが困難になる。
実施例3では、広い画角を要するターゲットが存在する場合であっても、ターゲットを検出して信頼性が高い移動体の位置検出をする方法について説明する。
図13は、実施例3における移動体位置検出装置の構成の一例を示すブロック図である。
実施例3における移動体位置検出装置1300は、ビデオカメラ2(図13では第1のビデオカメラ)、ビデオエンコーダ3、第2のビデオカメラ1301、ビデオエンコーダ1302、制御部4、記録部5を備えている。実施例3では、実施例1の構成にさらに第1のビデオカメラ2と撮像範囲以外は同等の撮影性能を有する第2のビデオカメラ1301、ビデオエンコーダ3と同等の機能を有するビデオエンコーダ1032を追加している。なお、第2のビデオカメラ1301、ビデオエンコーダ1032は、必ずしもビデオカメラ2、ビデオエンコーダ3と同等でなくてもよく、後述する画像合成において合成が可能な撮像データが取得できればよい。
また、第1のビデオカメラ2と第2のビデオカメラ1301は、撮影範囲が異なるが、撮影した画像に共通部分が撮影されるように設置されている。
また、本例では撮像装置が2台の場合について説明するが、2台以上の撮像装置を用意してもよい。
図14は、実施例3における制御部の構成の一例を示すブロック図である。
制御部4は、ターゲット検出部21、アスペクト比計算部22、ターゲットデータ記録部23、ターゲット位置情報変換部24、比較部25、FF26(フリップフロップ)、カメラ映像合成部1401を備えている。
カメラ映像合成部1401は、同じ時刻に第1のビデオカメラ2と第2のビデオカメラ1301で撮影した画像を取得する。第1のビデオカメラ2で撮影した画像は、ビデオエンコーダ3を介して第1の撮像データとして取得し、第2のビデオカメラ1301で撮影した画像は、ビデオエンコーダ1302を介して第2の撮像データとして取得する。次に、カメラ映像合成部1401は、第1の撮像データと第2の撮像データを合成する。
図15は、カメラ映像合成部1401が第1の撮像データと第2の撮像データを合成して、合成画像を生成する一例を示す図である。本例では第1の撮像データには破線範囲1501がなく、第2の撮像データには破線範囲1502がない場合について説明する。図15の例では、例えば、第1の撮像データと第2の撮像データの画像を構成するピクセルを比較して、ピクセルの並びが同じ部分を検出して、共通部分として記録する。図15の例では、カメラ映像合成部1401は、第1の撮像データの破線範囲1503と第2の撮像データの破線範囲1504を共通部分として記録部5に記録する。次に、カメラ映像合成部1401は、共通の部分である破線範囲1503と破線範囲1504が重なるように第1の撮像データと第2の撮像データを合成して合成画像を生成し、記録部5に記録する。その後、カメラ映像合成部1401は、ターゲット検出部21に合成画像のデータを出力する。なお、第1の撮像データと第2の撮像データの合成は、第1の撮像データと第2の撮像データのフレーム信号を同期させ、フレーム信号周期内で実行することが望ましい。
上記例では共通の部分を探して2つの画像を合成したが、共通部分を探して合成する方法に限定するものではなく、複数の画像の合成が可能な方法であれば限定するのものではない。
(動作説明)
図16A、16B、16Cは、移動体位置検出装置の動作の一例を示すフロー図である。
ステップS1601(カメラ映像合成処理)では、カメラ映像合成部1401がビデオカメラ2で撮影した画像(例えば、アナログ信号)をビデオエンコーダ3でディジタル変換した撮像データを取得する。また、ステップS1602(カメラ映像合成処理)では、カメラ映像合成部1401がビデオカメラ1301で撮影した画像(例えば、アナログ信号)をビデオエンコーダ1302でディジタル変換した撮像データを取得する。
ステップS1603(カメラ映像合成処理)では、カメラ映像合成部1401が第1の撮像データと第2の撮像データの画像の共通部分を探して、共通部分が重なるように第1の撮像データと第2の撮像データの画像を合成して合成画像を生成する。その後、カメラ映像合成部1401は合成画像を記録部5に記録する。
ステップS1604(ターゲット検出処理)では、ターゲット検出部21が合成画像を補正して補正データを生成し、補正データからターゲットの画像を抽出する。また、ターゲットの画像を抽出した後、ターゲットの特徴として輪郭、色、模様、文字などに関するデータを抽出してもよい。
ステップS1605〜ステップS1618の動作は、実施例1で説明した図7A、7BのステップS2〜ステップS15の動作と同じである。
以上のように、第1の撮像装置と別に、その撮像装置の撮影範囲と異なり、且つその撮像装置と部分的に共通の撮影範囲を撮影する第2の撮像装置を設ける。そして、第1の撮像装置と第2の撮像装置で撮影した撮像データを、共通の撮影範囲を重ねて合成して合成画像を生成し、ターゲット検出部に出力する。
つまり、移動体が移動して画角が狭くなった場合でも、画角の不足を補うために設置角度が異なる複数の撮像装置で複数の撮像データを撮影し、複数の撮像データを合成して合成画像を生成することにより、ターゲットの検出精度を向上させることができる。また、信頼性が高い高精度の位置検出を実現することができる。
(実施例4)
既存のターゲットの位置情報を予め移動体側で記録しておいて、その物体を標定することにより移動体が自分自身の位置を特定する方式では、予めターゲットの設置地点の位置を記録しなければならない。そのため、ターゲットの数が膨大になると移動体が備える記録部に記録する情報量も膨大になる。そこで、実施例4では移動体が備える記録部に記録する情報量を抑える方法について説明する。
実施例4の移動体位置検出装置は、実施例1と同じ構成であり、ビデオカメラ2、ビデオエンコーダ3、制御部4、記録部5を備えている。
図17は、実施例4における制御部の構成の一例を示すブロック図である。
制御部4は、ターゲットパターン検出部1701、アスペクト比計算部22、ターゲットデータ記録部23、ターゲットパターン位置情報変換部1702、比較部25、FF26(フリップフロップ)を備えている。
ターゲットパターン検出部1701は、ターゲット検出部21と同様に、ビデオエンコーダ3から撮像データを取得し、該撮像データに含まれるターゲットデータとターゲットデータ記録部23に予め記録されているターゲット設定データの一致率を求める。次に、ターゲットパターン検出部1701は、ターゲット検出部21と同様に、撮影した画像上のターゲットと相関が最も高いターゲット設定データを検出する。そして、ターゲット設定データに関連付けてターゲットデータ記録部23に予め記録されているターゲットIDを取得する。その取得したターゲットIDを、図18に示すようにターゲットを捕捉した順番に記録して、図19に示すターゲットテーブルのターゲットIDと一致するパターンを検出する。一致するパターンを検出すると、ターゲットパターン検出部1701は、一致したパターンの最後のターゲットIDをターゲットパターン位置情報変換部1702に出力する。
例えば、図17において捕捉した第1のターゲットのターゲットIDが「1」であるとすると、図18に示す第1のID_1801aに「1」が記録される。次に、図17において捕捉した第2のターゲットのターゲットIDが「2」であるとすると、図18に示す第2のID_1801bに「2」が記録される。次に、図17において捕捉した第3のターゲットのターゲットIDが「3」であるとすると、図18に示す第3のID_1801cに「3」が記録される。
次に、上記のように捕捉した順番に記録したターゲットIDのパターン「123」が、図19に示す「ターゲットID」にあるか検索すると、パターン「123」と一致する「123」が存在する。次に、最後に取得したターゲットIDである「3」をターゲットパターン位置情報変換部1702に出力する。
ターゲットパターン位置情報変換部1702は、ターゲットIDを取得するとそのターゲットIDに対応する位置データがあるか否かを、図19のターゲットテーブルを参照して判定して、位置データがある場合だけ位置データをFF26に出力する。
図19のターゲットテーブルについて説明する。
「ターゲットID」の箇所には、連続して設置されているターゲットにそれぞれ割り振られたターゲットIDが、ターゲットが捕捉される順番に記録されている(ターゲットパターン)。「ターゲット設定データ」は実施例1〜3で用いたターゲットテーブルと同じように、ターゲットIDに関連付けられて「画像データ」「輪郭データ」「色データ」「模様データ」「文字データ」の列に各データが記録されている。
また、「閾値2」には、「ターゲットID」に記録されているパターンの最後の行のターゲットIDのみ「比率」が関連付けられて記録されている。
「位置データ」には、「ターゲットID」に記録されているパターンの最後の行のターゲットIDのみ位置データが関連付けられて記録されている。つまり、移動体が最後のターゲットに近づいたときに位置データを更新する。
(動作説明)
図20A、20Bは、移動体位置検出装置の動作の一例を示すフロー図である。
ステップS2001〜ステップS2009(ターゲットパターン検出処理)の動作は、実施例1で説明した図7AのステップS1〜ステップS9の動作と同じである。
ステップS2010(ターゲットパターン検出処理)でターゲットパターン検出部1701は、ターゲットIDを取得順に記録してパターンを生成する。
ステップS2011(ターゲットパターン検出処理)では、ターゲットパターン検出部1701が図19に示すターゲットテーブルを参照して、同じパターンがあるかを検索する。同じパターンがある場合はステップS2012に移行し、同じパターンがない場合はステップS2001に移行する。例えば、ターゲットパターン検出部1701により「12」というパターンが生成されても、ターゲットテーブルのターゲットIDに「12」というパターンがないようなときステップS2001に移行する。また、「12」まで検出され、ある一定期間経ってもターゲットID「3」が検出されないときは、GPSなどの位置情報を取得し、現在位置が既にターゲットID「3」に対応するターゲットの位置を移動体が通過しているか否を判断する。既にターゲットID「3」に対応するターゲットの位置を過ぎていれば、生成したパターン「12」を削除してステップS2001に移行する。
ステップS2012(ターゲットパターン位置情報変換処理)でターゲットパターン検出部1701は、パターン生成時に最後に取得したターゲットIDを位置データの要求通知とともに、記録部5(またはターゲットデータ記録部23)に送信する。
次に、記録部5(またはターゲットデータ記録部23)が、要求通知を取得するとターゲットIDに関連付けられている位置データをターゲットテーブルから検出して、ターゲット検出部21に出力する。
ステップS2013(ターゲットパターン位置情報変換処理)でターゲット位置情報変換部24は、記録部5(またはターゲットデータ記録部23)から出力された位置データを取得する。
ステップS2014〜ステップS2017(アスペクト比計算処理)の動作は、実施例1で説明した図7BのステップS12〜ステップS15の動作と同じである。
ステップS2018では、FF26が位置データを出力すると、ターゲットパターン検出部1701は生成したパターンを削除してステップS2001に移行する。
以上のように、検出したパターンにおいて最後に捕捉されたターゲットに対応するターゲットIDを取得し、記録部から該最後に捕捉されたターゲットに対応するターゲットIDに関連付けられている位置データを検出する。
すなわち、記録部にターゲット毎の位置データを記憶させるのではなく、特定の数のターゲットのパターンを記憶しておき、パターンとそのパターンが存在する地点の位置データをリンクさせて記憶することにより、移動体が搭載する記憶部の規模を小さくすることができる。
(実施例5)
上記説明した実施例1〜4において、ビデオカメラが撮影した画像に、ターゲット以外にターゲットと類似した形状または色、模様の物体が複数存在している場合、ターゲットの識別が困難になる。そこで、ターゲット以外にターゲットと類似した形状または色、模様の物体が複数存在している場合であってもターゲットの識別を可能にする位置検出方法について説明する。
実施例5における移動体位置検出装置の構成は、例えば、実施例2で説明した図8に示した移動体位置検出装置の構成と同じものを用いることができる。よって、実施例5では一例としてビデオカメラ2、ビデオエンコーダ3、ビデオカメラ81(赤外線ビデオカメラ)、ビデオエンコーダ82、制御部4、記録部5を備えている移動体位置検出装置について説明する。
実施例5では、後述する図22のAに示すように、ターゲットに位置情報が塗装または印刷などにより書かれているものとする。例えば、位置情報はターゲット識別番号や位置座標(位置情報)を、赤外線遮断塗料などを用いターゲットに塗装または印刷する。また、印刷ステガノグラフィ技術によりターゲットに位置情報を埋め込んでもよい。
図21は、実施例5における制御部の構成の一例を示すブロック図である。
制御部4は、ターゲット検出部21、アスペクト比計算部22、ターゲットデータ記録部23、比較部25、FF26(フリップフロップ)、ターゲット文字位置情報検出部2101を備えている。
ターゲット文字位置情報検出部2101は、図22のブロック図に示すように補正部2201、文字抽出部2202、文字識別部2203、文字列記録部2204を備えている。
補正部2201は、ビデオカメラ81で撮影された第2の撮像データを取得して撮影した画像を既存の技術を用いて補正し、IR補正データを文字抽出部2202に出力する。例えば、補正部2201は、コントラストや明るさの補正、フィルタを用いて画像を鮮明化する補正、画像の傾き補正を行う。なお、歪曲収差、口径食、シャープネス欠乏、倍率色収差、色付きフリンジなどを補正してもよいし、また、露出最適化、逆光補正、ノイズ除去などの補正をしてもよい。なお、上記補正は必ずしも行わなくてもよい。
文字抽出部2202は、IR補正データ(図22のA)に書かれている位置情報を既存の文字認識技術により抽出する。次に、文字識別部2203では、文字抽出部2202で抽出された文字列が文字列記録部2204に記録されている文字列にあるかを検索し、一致する文字列がある場合は、一致した文字列に関連付けられている位置データをFF26に出力する。
文字列記録部2204は、図22のBに示す文字列・位置データ変換テーブルが記録されている。文字列・位置データ変換テーブルには、ターゲットごとに記録されている文字列と、各ターゲットの位置を示す位置データを記録する列、「文字列データ」「位置データ」を有している。本例では、「文字列データ」の列にはターゲットごとの位置情報として「文字列データ1」「文字列データ2」・・・「文字列データn」が記録されている。また、「位置データ」の列には各文字列データに対応する位置データが記録されている。なお、文字列記録部2204は、記録部5に設けてもよい。
(動作説明)
図23A、23B、23Cは、移動体位置検出装置の動作の一例を示すフロー図である。
ステップS2301(ターゲット検出処理)でターゲット検出部21は、ビデオカメラ2で撮影した画像(例えば、アナログ信号)をビデオエンコーダ3でディジタル変換した第1の撮像データを取得する。ステップS2302(文字位置情報検出部処理)でターゲット文字位置情報検出部2101は、ビデオカメラ81で撮影した画像(例えば、アナログ信号)をビデオエンコーダ82でディジタル変換した第2の撮像データを取得する。
ステップS2303(ターゲット検出処理)でターゲット検出部21は、第1の撮像データを補正して補正データを生成し、補正データからターゲットの画像を抽出する。また、ターゲットの画像を抽出した後、ターゲットの特徴として輪郭、色、模様、文字などに関するデータを抽出してもよい。
ステップS2304(文字位置情報検出部処理)でターゲット文字位置情報検出部2101は、ビデオカメラ81で撮影した画像撮像データを補正してIR補正データを生成し、IR補正データからターゲットの位置に関する文字列を抽出する。
ステップS2305〜ステップS2312の動作は、実施例1で説明した図7AのステップS2〜ステップS9の動作と同じである。
ステップS2313(文字位置情報検出部処理)では、ターゲット文字位置情報検出部2101がステップS2304で抽出した文字列に対応する位置データを取得するための要求通知を生成する。ステップS2314(文字位置情報検出部処理)でターゲット文字位置情報検出部2101が、文字列記録部2204または記録部5に文字列(要求通知)を出力する。
次に、文字列記録部2204または記録部5はステップS2304で抽出した文字列(要求通知に含まれる)を取得し、文字列・位置データ変換テーブルを検索して該文字列と一致する文字列データを検出する。そして、文字列記録部2204または記録部5は、該文字列データに対応する位置データを文字列・位置データ変換テーブルから検出し、ターゲット文字位置情報検出部2101に該位置データを出力する。
ステップS2313(文字位置情報検出部処理)では、ターゲット文字位置情報検出部2101が位置データを取得する。
ステップS2314〜ステップS2319の動作は、実施例1で説明した図7BのステップS12〜ステップS15の動作と同じである。
以上のように、撮像装置と別に赤外線撮影可能な赤外線撮像装置を備え、記録部は、位置データに位置情報を関連づけて記録し、赤外線撮像装置から出力された画像から位置情報を検出し、記録部を参照して該位置情報に関連付けられた位置データを検出する。その結果、ターゲット以外にターゲットと類似した形状または色、模様の物体が複数存在している場合であっても、ターゲットに位置情報を塗装または印刷しておくことにより、ターゲットを識別することができる。
なお、上記実施例1〜5ではターゲットを上方に設置した場合について説明したが、道路の側方(横、際など)に設置してもよい。道路の側方にターゲットを設置する場合には、画像上から側方のターゲットが消える位置の位置データを予め記録部に記録しておき、ターゲット捕捉後、ターゲットを追跡して、ターゲットが画像上から消えた位置で位置データを出力してもよい。
また、他の方法として、予め決められた位置に移動体が来たときの側方に設置されたターゲットの横方向の長さと縦方向の長さからアスペクト比を計算し、該アスペクト比に対応した位置データを記録部に記録する。そして、ターゲット捕捉後、ターゲットを追跡して、画像上ターゲットのアスペクト比が記録されているアスペクト比になった位置で位置データを出力してもよい。なお、側方に設置されたターゲットの場合のアスペクト比の計算は、アスペクト比=(X方向の長さ/Y方向の長さ)とすることが好ましい。
さらに、上方のターゲットと側方のターゲットを組み合わせて位置を特定することも可能である。
(本実施例がコンピュータプログラムとして実現される場合の構成)
図24は、上記本発明の実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。
コンピュータのハードウェア240は、CPU241、記録部242(ROM、RAM、ハードディスクドライブなど)、記録媒体読取装置243、入出力インタフェース244(入出力I/F)、通信インタフェース245(通信I/F)などを備えている。また、上記各構成部はバス246によってそれぞれ接続されている。
CPU241は、記録部242に格納されている上記説明したターゲット検出処理、ターゲット位置情報変換処理、アスペクト比計算処理、比較処理、位置データ出力処理、カメラ選択処理、カメラ映像合成処理、ターゲットパターン検出処理、ターゲットパターン位置情報変換処理、文字位置情報検出処理などの各処理を実行する。
記録部242には、CPU241が実行するプログラムやデータが記録されている。また、ワークエリアなどとして使用される。
記録媒体読取装置243は、CPU241の制御にしたがって記録媒体243aに対するデータのリード/ライトを制御する。そして、記録媒体243aに記録媒体読取装置243の制御で書き込まれたデータを記憶させたり、記録媒体243aに記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体243aは、コンピュータで読み取り可能な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)などがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
入出力インタフェース244には、入出力装置244a(例えば、カーナビゲーションシステムのスイッチ、ディスプレイなど)が接続され、ユーザが入力した情報を受信し、バス246を介してCPU241に送信する。また、CPU241からの命令に従ってディスプレイの画面上に操作情報などを表示する。
通信インタフェース245は、必要に応じ、他のコンピュータとの間のLAN接続やインターネット接続や無線接続のためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。
このようなハードウェア構成を有するコンピュータを用いることによって、上記説明した各種処理機能(実施例で説明した処理(フローチャートなど))が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体243aに記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
なお、上記実施例で説明した撮像装置は、移動体に配設された、自動でターゲットを追跡できるように撮影範囲を変更可能な機構に取り付けてもよい。
また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。また、処理に矛盾の無い範囲で、実施例を組み合わせることも可能である。
1、80 移動体位置検出装置、
2 ビデオカメラ、
3 ビデオエンコーダ、
4 制御部、
5 記録部、
21 ターゲット検出部、
22 アスペクト比計算部、
23 ターゲットデータ記録部、
24 ターゲット位置情報変換部、
25 比較部、
51 補正部、
52 特徴抽出部、
53 比較部、
54 レジスタ、
55 相関部、
61 ターゲット追跡部、
62 XY成分分離部、
63 縦長測定部、
64 横長測定部、
65 縦横比演算部、
81 ビデオカメラ、
82 ビデオエンコーダ、
91 カメラ選択部、
92 カメラ切替部、
93 赤外線照射器、
240 ハードウェア、
242 記録部、
243 記録媒体読取装置、
243a 記録媒体、
244 入出力インタフェース、
244a 入出力装置、
245 通信インタフェース、
246 バス、
1032 ビデオエンコーダ、
1300 移動体位置検出装置、
1301 ビデオカメラ、
1302 ビデオエンコーダ、
1401 カメラ映像合成部、
1701 ターゲットパターン検出部、
1702 ターゲットパターン位置情報変換部、
2101 ターゲット文字位置情報検出部、
2201 補正部、
2202 文字抽出部、
2203 文字識別部、
2204 文字列記録部、

Claims (11)

  1. 移動体が移動可能な経路の付近に設置されたターゲットを撮像装置で連続もしくは間欠的に撮影し、撮影した画像上のターゲットに基づいて移動体の位置を検出する移動体位置検出装置であって、
    記録部に記録されている複数のターゲットの画像データと、前記画像上のターゲットの画像データとを比較し、前記複数のターゲットの画像データから前記画像上のターゲットの画像データと一致する画像データを特定し、前記記録部に記録されている、特定した画像データに関連付けられている前記ターゲットの位置を示す位置データを取得するターゲット位置抽出手段と、
    前記記録部に記録されている、予め決められた距離まで前記移動体が前記ターゲットに接近したときの前記ーゲットのアスペクト比に、前記撮影した画像上のターゲットのアスペクト比が変化したと判定したとき、前記位置データを出力するターゲット位置出力手段と、
    を備えることを特徴とする移動体位置検出装置。
  2. 前記記録部は、
    前記ターゲットに割り振られたターゲットを識別するターゲットIDと、前記ターゲットIDに関連付けて予め前記ターゲットごとに撮影した前記ターゲットの画像データを有するターゲット設定データと、予め決められた距離まで前記移動体が前記ターゲットに接近したときに前記ターゲットの画像上の形状からアスペクト比を算出した閾値と、前記閾値が算出された位置を示す位置データと、を記録
    前記ターゲット位置抽出手段は、
    前記撮像装置により撮影された画像から前記ターゲットを抽出してターゲットデータを生成し、該ターゲットデータと最も一致する前記ターゲット設定データを記録部から抽出し、抽出したターゲット設定データに対応する前記ターゲットIDを取得するターゲット検出部と、
    前記ターゲット検出部で取得した前記ターゲットIDを取得して、前記記録部から該ターゲットIDに関連付けられている位置データを検出するターゲット位置情報変換部と、を備え、
    前記ターゲット位置出力手段は、
    前記撮像装置により撮影された画像上のターゲットを追跡するとともに、追跡している画像上のターゲットのアスペクト比を算出するアスペクト比計算部と、
    前記アスペクト比が、前記閾値以下であるときイネーブル信号を出力する比較部と、
    前記ターゲット位置情報変換部から位置データを取得し、前記イネーブル信号を受信したとき該位置データを出力するFF部と、を備える、
    ことを特徴とする請求項1に記載の移動体位置検出装置。
  3. 前記撮像装置と別に赤外線撮影可能な赤外線撮像装置を備え、
    前記記録部は、予め前記ターゲットごとに前記赤外線撮像装置で撮影した前記ターゲットの画像データを有するターゲット設定データと前記位置データと前記閾値と、を前記ターゲットIDに関連付けて記録した赤外線撮像装置用のテーブルを有し、
    前記撮像装置と前記赤外線撮像装置の撮影した画像の輝度を比較し、輝度が高い撮像装置を選択するカメラ選択部と、
    前記カメラ選択部で選択された撮像装置が撮影した撮像データを前記ターゲット検出部に出力するカメラ切替部と、
    前記赤外線撮像装置が選択されたとき、前記ターゲット検出部は前記赤外線撮像装置用のテーブルを用い、前記ターゲットIDを取得し、前記ターゲット位置情報変換部は前記赤外線撮像装置用のテーブルを用い、前記位置データを取得する、ことを特徴とする請求項2に記載の移動体位置検出装置。
  4. 前記撮像装置と別に、前記撮像装置の撮影範囲と異なり、且つ前記撮像装置と共通の撮影範囲を撮影する第2の撮像装置を備え、
    前記撮像装置と前記第2の撮像装置で撮影した撮像データを、前記共通の撮影範囲を重ねて合成して合成画像を生成し、前記ターゲット検出部に前記合成画像を出力することを特徴とする請求項2に記載の移動体位置検出装置。
  5. 前記記録部に、前記ターゲットが捕捉される順番に前記ターゲットIDを記録するパターンを設定し、前記パターンにおいて最後に捕捉されたターゲットに対応するターゲットIDにのみ前記位置データを関連付け、
    前記ターゲットパターンを検出したとき、前記パターンにおいて最後に捕捉されたターゲットに対応するターゲットIDを取得するターゲットパターン検出部と、
    前記ターゲットパターン検出部で取得した前記ターゲットIDを取得して、前記記録部から該最後に捕捉されたターゲットに対応するターゲットIDに関連付けられている位置データを検出して前記FF部に出力するターゲットパターン位置情報変換部と、を備えることを特徴とする請求項2に記載の移動体位置検出装置。
  6. 前記撮像装置と別に赤外線撮影可能な赤外線撮像装置を備え、
    前記記録部は、前記位置データに前記ターゲットの位置に関係する位置情報を関連づけて記録し、
    前記赤外線撮像装置から出力された画像に対して文字認識処理をして文字列からなる位置情報を検出し、前記記録部を参照して該位置情報に関連付けられた前記位置データを検出して前記FF部26に出力するターゲット文字位置情報検出部を備えることを特徴とする請求項2に記載の移動体位置検出装置。
  7. 移動体が移動可能な経路の付近に設置されたターゲットを撮像装置で連続もしくは間欠的に撮影し、撮影した画像上のターゲットに基づいて移動体の位置を検出する移動体位置検出方法であって、
    前記ターゲットに割り振られたターゲットを識別するターゲットIDと、前記ターゲットIDに関連付けて予め前記ターゲットごとに撮影した前記ターゲットの画像データを有するターゲット設定データと、予め決められた距離まで前記移動体が前記ターゲットに接近したときに前記ターゲットの画像上の形状からアスペクト比を算出した閾値と、前記閾値が算出された位置を示す位置データと、を記録部に記録し、
    前記コンピュータに、
    前記撮像装置により撮影された画像から前記ターゲットを記録部から抽出してターゲットデータを生成し、該ターゲットデータと最も一致する前記ターゲット設定データを抽出し、抽出したターゲット設定データに対応する前記ターゲットIDを取得する処理と、
    前記記録部から取得した該ターゲットIDに関連付けられている位置データを検出する処理と、
    前記撮像装置により撮影された画像上のターゲットを追跡するとともに、追跡している画像上のターゲットのアスペクト比を算出し、該アスペクト比が前記閾値以下であるとき前記位置データを出力する処理と、
    を実行させることを特徴とする移動体位置検出方法。
  8. 前記撮像装置と別に赤外線撮影可能な赤外線撮像装置を備え、
    前記コンピュータに、
    前記記録部は、予め前記ターゲットごとに前記赤外線撮像装置で撮影した前記ターゲットの画像データを有するターゲット設定データと前記位置データと前記閾値と、を前記ターゲットIDに関連付けて記録した赤外線撮像装置用のテーブルを有し、
    前記撮像装置と前記赤外線撮像装置の撮影した画像の輝度を比較し、輝度が高い撮像装置を選択し、選択された撮像装置が撮影した撮像データに切り替える処理と、
    前記赤外線撮像装置が選択されたとき、前記赤外線撮像装置用のテーブルを用い、前記ターゲットIDと前記位置データを取得する処理と、を実行させることを特徴とする請求項7に記載の移動体位置検出方法。
  9. 前記撮像装置と別に、前記撮像装置の撮影範囲と異なり、且つ前記撮像装置と共通の撮影範囲を撮影する第2の撮像装置を備え、
    前記コンピュータに、
    前記撮像装置と前記第2の撮像装置で撮影した撮像データを、前記共通の撮影範囲を重ねて合成して合成画像を生成する処理を実行させることを特徴とする請求項7に記載の移動体位置検出方法。
  10. 前記記録部に、前記ターゲットが捕捉される順番に前記ターゲットIDを記録するパターンを設定し、前記パターンにおいて最後に捕捉されたターゲットに対応するターゲットIDにのみ前記位置データを関連付け、
    前記コンピュータに、
    前記パターンを検出したとき、前記パターンにおいて最後に捕捉されたターゲットに対応するターゲットIDを取得する処理と、
    前記記録部から該最後に捕捉されたターゲットに対応するターゲットIDに関連付けられている位置データを検出する処理と、を実行させることを特徴とする請求項7に記載の移動体位置検出方法。
  11. 前記撮像装置と別に赤外線撮影可能な赤外線撮像装置を備え、
    前記記録部は、前記位置データに前記ターゲットの位置に関する位置情報を関連づけて記録し、
    前記コンピュータに、
    前記赤外線撮像装置から出力された画像に対して文字認識処理をして文字列からなる位置情報を検出し、前記記録部を参照して該位置情報に関連付けられた前記位置データを検出する処理を、実行させることを特徴とする請求項7に記載の移動体位置検出方法。
JP2011524549A 2009-07-31 2009-07-31 移動体位置検出装置および移動体位置検出方法 Expired - Fee Related JP5382122B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/003667 WO2011013179A1 (ja) 2009-07-31 2009-07-31 移動体位置検出装置および移動体位置検出方法

Publications (2)

Publication Number Publication Date
JPWO2011013179A1 JPWO2011013179A1 (ja) 2013-01-07
JP5382122B2 true JP5382122B2 (ja) 2014-01-08

Family

ID=43528860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011524549A Expired - Fee Related JP5382122B2 (ja) 2009-07-31 2009-07-31 移動体位置検出装置および移動体位置検出方法

Country Status (3)

Country Link
US (1) US8811746B2 (ja)
JP (1) JP5382122B2 (ja)
WO (1) WO2011013179A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064218A (ko) * 2017-11-30 2019-06-10 현대엠엔소프트 주식회사 정밀 지도 구축 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
JP5953953B2 (ja) * 2012-06-06 2016-07-20 株式会社リコー 画像認識装置、画像認識方法及びプログラム
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
KR101406210B1 (ko) 2013-01-02 2014-06-12 군산대학교산학협력단 영상 센서를 이용하여 파종기의 운행을 제어하는 장치 및 방법
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
EP3368957B1 (en) 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
JP6948042B2 (ja) * 2016-02-22 2021-10-13 Necプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
JP6751280B2 (ja) * 2016-02-22 2020-09-02 Necプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
CN106595634A (zh) * 2016-11-30 2017-04-26 深圳市有光图像科技有限公司 通过对比图像识别移动机器人的位置的方法及移动机器人
JP6267381B1 (ja) * 2017-02-28 2018-01-24 株式会社東宣エイディ 看板設置データ生成送信プログラム、看板設置データ生成送信プログラムを実行する情報処理通信端末、情報処理通信サーバ
CN110276785B (zh) * 2019-06-24 2023-03-31 电子科技大学 一种抗遮挡红外目标跟踪方法
CN111324746B (zh) * 2020-02-25 2023-04-11 北京百度网讯科技有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076900U (ja) * 1993-06-25 1995-01-31 株式会社間組 ナビゲーションシステム
JPH11271074A (ja) * 1998-03-20 1999-10-05 Fujitsu Ltd 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
JP2000194831A (ja) * 1998-12-25 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 標識領域画像抽出方法及び装置
JP2001118187A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 情報表示部材及びそれを用いた位置検出方法
JP2001330411A (ja) * 2000-05-23 2001-11-30 Fuji Electric Co Ltd 移動体の位置検出方法
JP2007004256A (ja) * 2005-06-21 2007-01-11 Toyota Motor Corp 画像処理装置、画像処理方法
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
JP2009014645A (ja) * 2007-07-09 2009-01-22 Honda Motor Co Ltd 車両用距離測定装置
JP2009037375A (ja) * 2007-08-01 2009-02-19 Pioneer Electronic Corp 除去対象標示体認識装置、除去対象標示体認識方法及び除去対象標示体認識プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JPH076900A (ja) 1993-06-15 1995-01-10 Hitachi Ltd 高周波加速空胴及びイオンシンクロトロン加速器
JP3205477B2 (ja) * 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
JPH08219775A (ja) 1995-02-16 1996-08-30 Mitsubishi Heavy Ind Ltd 距離計測装置
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2001142532A (ja) 1999-11-12 2001-05-25 Nippon Signal Co Ltd:The 移動体の位置検出装置
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
JP4541609B2 (ja) * 2001-09-06 2010-09-08 富士重工業株式会社 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP2003085535A (ja) 2001-09-07 2003-03-20 Zenrin Co Ltd 道路案内標識の位置認識方法
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3922245B2 (ja) * 2003-11-20 2007-05-30 日産自動車株式会社 車両周辺監視装置および方法
JP4669680B2 (ja) 2004-08-12 2011-04-13 株式会社日立製作所 携帯端末および移動体表示システム
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
US8374390B2 (en) * 2009-06-24 2013-02-12 Navteq B.V. Generating a graphic model of a geographic object and systems thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076900U (ja) * 1993-06-25 1995-01-31 株式会社間組 ナビゲーションシステム
JPH11271074A (ja) * 1998-03-20 1999-10-05 Fujitsu Ltd 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
JP2000194831A (ja) * 1998-12-25 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 標識領域画像抽出方法及び装置
JP2001118187A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd 情報表示部材及びそれを用いた位置検出方法
JP2001330411A (ja) * 2000-05-23 2001-11-30 Fuji Electric Co Ltd 移動体の位置検出方法
JP2007004256A (ja) * 2005-06-21 2007-01-11 Toyota Motor Corp 画像処理装置、画像処理方法
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
JP2009014645A (ja) * 2007-07-09 2009-01-22 Honda Motor Co Ltd 車両用距離測定装置
JP2009037375A (ja) * 2007-08-01 2009-02-19 Pioneer Electronic Corp 除去対象標示体認識装置、除去対象標示体認識方法及び除去対象標示体認識プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064218A (ko) * 2017-11-30 2019-06-10 현대엠엔소프트 주식회사 정밀 지도 구축 장치 및 방법
KR102441244B1 (ko) 2017-11-30 2022-09-06 현대오토에버 주식회사 정밀 지도 구축 장치 및 방법

Also Published As

Publication number Publication date
US20120189162A1 (en) 2012-07-26
US8811746B2 (en) 2014-08-19
WO2011013179A1 (ja) 2011-02-03
JPWO2011013179A1 (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
JP5382122B2 (ja) 移動体位置検出装置および移動体位置検出方法
TWI798305B (zh) 用於更新高度自動化駕駛地圖的系統和方法
Choi et al. KAIST multi-spectral day/night data set for autonomous and assisted driving
US8238610B2 (en) Homography-based passive vehicle speed measuring
JP4767578B2 (ja) 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置
KR101235815B1 (ko) 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
JP6270102B2 (ja) 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
US8405717B2 (en) Apparatus and method for calibrating images between cameras
US20160232410A1 (en) Vehicle speed detection
JPWO2008152740A1 (ja) デジタル空撮3次元計測システム
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP5225542B2 (ja) 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
CN104584032A (zh) 混合式精确跟踪
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
JPH10269362A (ja) 物体認識方法およびその装置
JP7360111B2 (ja) 点群データ管理システム
JP4773794B2 (ja) 新旧映像座標統合装置
Gloudemans et al. So you think you can track?
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
JP4752319B2 (ja) 画像認識装置及び画像認識方法
JP3437671B2 (ja) ランドマーク認識装置およびランドマーク認識方法
JP2011053024A (ja) 高架道特定装置、高架道特定方法及び高架道特定プログラム
CN111277791B (zh) 一种案事件监测方法及系统
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN105247571A (zh) 用于构建脉冲地发光的对象的拍摄的方法和设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130916

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees