JP6979438B2 - データベース生成システムおよびデータベース生成プログラム - Google Patents
データベース生成システムおよびデータベース生成プログラム Download PDFInfo
- Publication number
- JP6979438B2 JP6979438B2 JP2019200406A JP2019200406A JP6979438B2 JP 6979438 B2 JP6979438 B2 JP 6979438B2 JP 2019200406 A JP2019200406 A JP 2019200406A JP 2019200406 A JP2019200406 A JP 2019200406A JP 6979438 B2 JP6979438 B2 JP 6979438B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vehicle
- database
- facility
- target facility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Description
本発明は、交通安全施設（交通信号灯器および道路標識など）の情報をデータベース化するための技術に関するものである。
自動車の自動運転を行うためには、車載カメラを利用して交通信号機を自動で認識する必要がある。しかし、車載カメラによって得られる画像だけを用いて十分な認識性能を確保することは困難である。
そのため、画像との照合に適したデータが登録されたデータベースが必要となる。
そのため、画像との照合に適したデータが登録されたデータベースが必要となる。
特許文献１には、多くの種類の道路付属物を高精度に検出ための方法が開示されている。
本発明は、自動車の自動運転を行うために必要なデータベースを提供できるようにすることを目的とする。
本発明のデータベース生成システムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設の情報をデータベース化する。
前記データベース生成システムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記特徴データを拡張データベースに登録する特徴登録部と、を備える。
前記データベース生成システムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記特徴データを拡張データベースに登録する特徴登録部と、を備える。
前記特徴抽出部は、前記対象施設を識別する識別番号を生成する。
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する。
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する。
前記特徴抽出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記対象施設の前記特徴データに含める。
前記特徴抽出部は、前記対象施設に備わる１つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記１つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める。
前記特徴抽出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記対象施設に隣接している物体を検出し、検出された物体を示すデータを前記対象施設の前記特徴データに含める。
前記カメラは、視線方向を調整する指向機能を有する。
前記データベース生成システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備える。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
前記データベース生成システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備える。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
本発明のデータベース生成プログラムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設の情報をデータベース化する。
前記データベース生成プログラムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記特徴データを拡張データベースに登録する特徴登録部として、
コンピュータを機能させる。
前記データベース生成プログラムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記特徴データを拡張データベースに登録する特徴登録部として、
コンピュータを機能させる。
前記特徴抽出部は、前記対象施設を識別する識別番号を生成する。
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する。
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する。
前記特徴抽出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記対象施設の前記特徴データに含める。
前記特徴抽出部は、前記対象施設に備わる１つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記１つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める。
前記特徴抽出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記対象施設に隣接している物体を検出し、検出された物体を示すデータを前記対象施設の前記特徴データに含める。
前記カメラは、視線方向を調整する指向機能を有する。
前記データベース生成プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させる。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
前記データベース生成プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させる。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
本発明によれば、自動車の自動運転を行うために必要なデータベースを提供することが可能となる。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態１．
各地点に設けられた交通信号灯器の情報をデータベース化する形態について、図１から図１０に基づいて説明する。
各地点に設けられた交通信号灯器の情報をデータベース化する形態について、図１から図１０に基づいて説明する。
交通信号灯器は、交通信号機の一部である。
交通信号機は、交通信号灯器と交通信号制御機とを備える。
交通信号灯器は、交通信号を表示する。交通信号は、赤信号、青信号、黄信号および矢印信号などである。
交通信号制御機は、交通信号灯器の表示を制御する。
交通信号機は、自動車用の信号機、歩行者用の信号機またはその他の用途の信号機のいずれであってもよい。
交通信号機は、交通安全施設の一種である。
交通信号機は、交通信号灯器と交通信号制御機とを備える。
交通信号灯器は、交通信号を表示する。交通信号は、赤信号、青信号、黄信号および矢印信号などである。
交通信号制御機は、交通信号灯器の表示を制御する。
交通信号機は、自動車用の信号機、歩行者用の信号機またはその他の用途の信号機のいずれであってもよい。
交通信号機は、交通安全施設の一種である。
＊＊＊構成の説明＊＊＊
図１に基づいて、データベース生成システム１００の構成を説明する。
データベース生成システム１００は、車両１１０とデータベース生成装置２００とを備える。
図１に基づいて、データベース生成システム１００の構成を説明する。
データベース生成システム１００は、車両１１０とデータベース生成装置２００とを備える。
車両１１０は、道路を走行しながら、各時刻に、位置および姿勢を計測すると共に撮影を行う。例えば、車両１１０は、モービルマッピングシステム（ＭＭＳ）で使用される自動車である。
車両１１０の位置を示すデータを「車両位置データ」と称する。車両１１０の位置は、三次元座標値で識別される。
車両１１０の姿勢を示すデータを「車両姿勢データ」と称する。車両１１０の姿勢は、ロール角、ピッチ角およびヨー角で識別される。
車両１１０からの撮影によって得られる画像を「道路画像」と称する。道路画像には、道路周辺（道路を含む）が映る。
車両１１０の位置を示すデータを「車両位置データ」と称する。車両１１０の位置は、三次元座標値で識別される。
車両１１０の姿勢を示すデータを「車両姿勢データ」と称する。車両１１０の姿勢は、ロール角、ピッチ角およびヨー角で識別される。
車両１１０からの撮影によって得られる画像を「道路画像」と称する。道路画像には、道路周辺（道路を含む）が映る。
データベース生成装置２００は、各時刻の車両位置データと、各時刻の車両姿勢データと、各時刻の道路画像と、基本データベース１２０と、を用いて、拡張データベース１３０を生成する。
基本データベース１２０は、各地点に設けられた交通信号灯器の基本データが登録されたデータベースである。
交通信号灯器の基本データは、交通信号灯器の基本的な情報を示す。
交通信号灯器の基本データは、交通信号灯器の基本的な情報を示す。
交通信号灯器の基本データは、位置データと、姿勢データと、サイズデータと、表示内容データと、を含む。
交通信号灯器の位置データは、交通信号灯器の位置を示す。交通信号灯器の位置は、交通信号灯器の基準点の三次元座標値で識別される。
交通信号灯器の姿勢データは、交通信号灯器の姿勢を示す。交通信号灯器の姿勢は、交通信号灯器の正面部分の傾斜角で識別される。
交通信号灯器のサイズデータは、交通信号灯器のサイズを示す。交通信号灯器のサイズは、寸法と形状で識別される。
交通信号灯器の表示内容データは、交通信号灯器に備わる１つ以上の表示部のそれぞれの種類を示す。例えば、表示部は、赤信号、青信号、黄信号または矢印信号といった種類に分類される。
交通信号灯器の位置データは、交通信号灯器の位置を示す。交通信号灯器の位置は、交通信号灯器の基準点の三次元座標値で識別される。
交通信号灯器の姿勢データは、交通信号灯器の姿勢を示す。交通信号灯器の姿勢は、交通信号灯器の正面部分の傾斜角で識別される。
交通信号灯器のサイズデータは、交通信号灯器のサイズを示す。交通信号灯器のサイズは、寸法と形状で識別される。
交通信号灯器の表示内容データは、交通信号灯器に備わる１つ以上の表示部のそれぞれの種類を示す。例えば、表示部は、赤信号、青信号、黄信号または矢印信号といった種類に分類される。
拡張データベース１３０は、各地点に設けられた交通信号灯器の特徴データが登録されたデータベースである。
交通信号灯器の特徴データは、交通信号灯器の特徴を示す。
交通信号灯器の特徴データの詳細について後述する。
交通信号灯器の特徴データは、交通信号灯器の特徴を示す。
交通信号灯器の特徴データの詳細について後述する。
図２に基づいて、車両１１０の構成を説明する。
車両１１０は、車体の屋根の上に、各種センサを備える。
具体的には、車両１１０は、アンテナ（１１１Ａ〜１１１Ｃ）と、ＩＭＵ１１２と、カメラ（１１３Ａ、１１３Ｂ）と、レーザスキャナ１１４と、を備える。
これらのセンサは、ＭＭＳ用の車両に備わる基本的な要素である。
車両１１０は、車体の屋根の上に、各種センサを備える。
具体的には、車両１１０は、アンテナ（１１１Ａ〜１１１Ｃ）と、ＩＭＵ１１２と、カメラ（１１３Ａ、１１３Ｂ）と、レーザスキャナ１１４と、を備える。
これらのセンサは、ＭＭＳ用の車両に備わる基本的な要素である。
アンテナ（１１１Ａ〜１１１Ｃ）は、衛星測位システム用のアンテナである。衛星測位システムの具体例は、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）である。
ＩＭＵ１１２は、慣性計測装置である。
カメラ（１１３Ａ、１１３Ｂ）は、ＭＭＳ用のカメラである。
ＩＭＵ１１２は、慣性計測装置である。
カメラ（１１３Ａ、１１３Ｂ）は、ＭＭＳ用のカメラである。
車両１１０は、車体の前部に、カメラ１１９を備える。
カメラ１１９は、データベース生成システム１００用のカメラである。カメラ１１９は画像センサを有する。
カメラ１１９は、データベース生成システム１００用のカメラである。カメラ１１９は画像センサを有する。
車両１１０は、さらに、センサ管理装置３００を備える。
センサ管理装置３００は、車両位置データおよび車両姿勢データを生成する。また、センサ管理装置３００は、カメラ１１９の指向性を制御する。
センサ管理装置３００は、車両位置データおよび車両姿勢データを生成する。また、センサ管理装置３００は、カメラ１１９の指向性を制御する。
図３に基づいて、カメラ１１９の指向性について説明する。
カメラ１１９は、視線方向を調整する機能（指向機能）を有する。視線方向は、カメラ１１９の位置を基点とする撮影方向である。撮影方向は、カメラ１１９によって撮影される方向である。具体的には、指向機能は、画像センサ（の視軸）の向きを調整する。但し、指向機能は、画像センサ（の視軸）の向きを調整する代わりに、カメラ１１９の姿勢を調整してもよい。例えば、指向機能は、画像センサ又はカメラ１１９を駆動する装置によって実現される。カメラ１１９は、指向機能によって特定の方向を撮影することができる。
カメラ１１９は、画角を調整する機能（画角調整機能）を有する。例えば、カメラ１１９は、画角調整機能によって画角を狭めて撮影を行うことができる。つまり、カメラ１１９は、狭視野での撮影が可能である。狭視野での撮影により、撮影範囲が狭まるため、撮影範囲の解像度が高まる。つまり、画像センサの多素子化が実現される。
カメラ１１９は、視線方向を調整する機能（指向機能）を有する。視線方向は、カメラ１１９の位置を基点とする撮影方向である。撮影方向は、カメラ１１９によって撮影される方向である。具体的には、指向機能は、画像センサ（の視軸）の向きを調整する。但し、指向機能は、画像センサ（の視軸）の向きを調整する代わりに、カメラ１１９の姿勢を調整してもよい。例えば、指向機能は、画像センサ又はカメラ１１９を駆動する装置によって実現される。カメラ１１９は、指向機能によって特定の方向を撮影することができる。
カメラ１１９は、画角を調整する機能（画角調整機能）を有する。例えば、カメラ１１９は、画角調整機能によって画角を狭めて撮影を行うことができる。つまり、カメラ１１９は、狭視野での撮影が可能である。狭視野での撮影により、撮影範囲が狭まるため、撮影範囲の解像度が高まる。つまり、画像センサの多素子化が実現される。
図４および図５に基づいて、カメラ１１９の指向性を制御することによって得られる道路画像について説明する。
図４は、道路画像の具体例を示している。図５は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、交通信号灯器が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、交通信号灯器が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが容易になる。
図４は、道路画像の具体例を示している。図５は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、交通信号灯器が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、交通信号灯器が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが容易になる。
図６に基づいて、センサ管理装置３００の構成を説明する。
センサ管理装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
センサ管理装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ３０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ３０１はＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
入出力インタフェース３０５は、入出力用のポートである。例えば、各種センサとカメラ１１９とのそれぞれにはケーブルの一端が接続され、各ケーブルの他端が入出力インタフェース３０５に接続される。これにより、各種センサおよびカメラ１１９がセンサ管理装置３００に接続される。
センサ管理装置３００は、データ収集部３１１とデータ処理部３１２と指向制御部３１３といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置３０３には、データ収集部３１１とデータ処理部３１２と指向制御部３１３としてコンピュータを機能させるためのセンサ管理プログラムが記憶されている。センサ管理プログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、センサ管理プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、センサ管理プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
センサ管理プログラムの入出力データは記憶部３９０に記憶される。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
センサ管理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
図７に基づいて、データベース生成装置２００の構成を説明する。
データベース生成装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
データベース生成装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１はＣＰＵである。
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
入出力インタフェース２０５は、入出力用のポートである。
データベース生成装置２００は、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と特徴抽出部２１４と特徴登録部２１５といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置２０３には、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と特徴抽出部２１４と特徴登録部２１５としてコンピュータを機能させるためのデータベース生成プログラムが記憶されている。データベース生成プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、データベース生成プログラムを実行する。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、データベース生成プログラムを実行する。
データベース生成プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
データベース生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
＊＊＊動作の説明＊＊＊
データベース生成システム１００の動作の手順はデータベース生成方法に相当する。
データベース生成システム１００（特に、データベース生成装置２００）の動作の手順はデータベース生成プログラムによる処理の手順に相当する。センサ管理装置３００用のプログラム（センサ管理プログラム）がデータベース生成プログラムに含まれてもよい。
データベース生成システム１００の動作の手順はデータベース生成方法に相当する。
データベース生成システム１００（特に、データベース生成装置２００）の動作の手順はデータベース生成プログラムによる処理の手順に相当する。センサ管理装置３００用のプログラム（センサ管理プログラム）がデータベース生成プログラムに含まれてもよい。
図８に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
カメラ１１９による撮影の際、指向制御部３１３は、カメラ１１９の画角調整機能を制御することによって、カメラ１１９の画角を狭める。そのため、カメラ１１９は狭視野での撮影を行う。
ステップＳ１０１からステップＳ１０４は、各時刻に実行される。
ステップＳ１０１において、データ収集部３１１は、各センサからセンサデータを取得し、各センサデータを記憶部３９０に記憶する。
センサデータは、センサによって得られるデータである。
センサデータは、センサによって得られるデータである。
アンテナ（１１１Ａ〜１１１Ｃ）によって得られるセンサデータを「測位信号データ」と称する。
ＩＭＵ１１２によって得られるセンサデータを「慣性計測データ」と称する。
カメラ１１９を用いた撮影によって得られるセンサデータを「道路画像」と称する。
ＩＭＵ１１２によって得られるセンサデータを「慣性計測データ」と称する。
カメラ１１９を用いた撮影によって得られるセンサデータを「道路画像」と称する。
ステップＳ１０２において、データ処理部３１２は、ステップＳ１０１で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部３９０に記憶する。
データ処理部３１２は、車両位置データと車両姿勢データとを以下のように生成する。
データ処理部３１２は、測位信号データを用いて衛星航法を行うことによって、車両１１０の位置を算出する。そして、データ処理部３１２は、車両１１０の位置を示す車両位置データを生成する。
データ処理部３１２は、慣性計測データを用いて慣性航法を行うことによって、車両１１０の姿勢を算出する。そして、データ処理部３１２は、車両１１０の姿勢を示す車両姿勢データを生成する。
データ処理部３１２は、測位信号データを用いて衛星航法を行うことによって、車両１１０の位置を算出する。そして、データ処理部３１２は、車両１１０の位置を示す車両位置データを生成する。
データ処理部３１２は、慣性計測データを用いて慣性航法を行うことによって、車両１１０の姿勢を算出する。そして、データ処理部３１２は、車両１１０の姿勢を示す車両姿勢データを生成する。
ステップＳ１０３において、指向制御部３１３は、車両位置データと車両姿勢データに基づいて、基本データベース１２０から注目信号灯器（注目施設の一例）の位置データを取得する。
注目信号灯器は、車両１１０の進行方向に位置する交通信号灯器である。特に、車両１１０の進行方向側の錐形領域内に位置する交通信号灯器を注目信号灯器と称する。錐形領域は、車両１１０の位置を頂点とする錐形（例えば、四角錐）の領域である。錐形領域の大きさは予め定義される。
車両１１０の進行方向は、車両１１０の位置を基点にして車両１１０の姿勢によって判別される方向である。
例えば、指向制御部３１３は、車両位置データと車両姿勢データとを用いて車両１１０の進行方向を算出し、車両１１０の進行方向側の錐形領域を算出する。そして、指向制御部３１３は、基本データベース１２０を検索することによって、算出した錐形領域内に位置する交通信号灯器（注目信号灯器）の位置データを見つける。
ステップＳ１０４において、指向制御部３１３は、注目信号灯器の位置データに基づいて、注目信号灯器が位置する方向をカメラ１１９が撮影するようにカメラ１１９の指向機能を制御する。
例えば、指向制御部３１３は、車両１１０の位置と車両１１０の姿勢とカメラ１１９の視線方向とに基づいて、カメラ１１９の撮影方向を算出する。指向制御部３１３は、カメラ１１９から注目信号灯器への方向とカメラ１１９の撮影方向とのずれ量を算出する。算出されるずれ量を調整量と称する。そして、指向制御部３１３は、カメラ１１９の指向機能を制御することにより、カメラ１１９の視線方向を調整量だけずらず。
図９に基づいて、データベース生成方法を説明する。
ステップＳ１１１からステップＳ１１５は、各時刻のデータセットに対して実行される。
データセットは、車両１１０に搭載されたカメラ１１９を用いた撮影によって得られる道路画像と、撮影時の車両１１０の位置を示す車両位置データと、撮影時の車両１１０の姿勢を示す車両姿勢データと、を含む。
ステップＳ１１１からステップＳ１１５は、各時刻のデータセットに対して実行される。
データセットは、車両１１０に搭載されたカメラ１１９を用いた撮影によって得られる道路画像と、撮影時の車両１１０の位置を示す車両位置データと、撮影時の車両１１０の姿勢を示す車両姿勢データと、を含む。
ステップＳ１１１において、データ取得部２１１はデータセットを取得する。
例えば、各時刻のデータセットがセンサ管理装置３００の補助記憶装置３０３から読み出され、各時刻のデータセットがデータベース生成装置２００の補助記憶装置２０３に記憶される。そして、データ取得部２１１は、各時刻のデータセットを補助記憶装置２０３からメモリ２０２へロードする。
例えば、データ取得部２１１は、センサ管理装置３００と通信することによって、各時刻のデータセットをセンサ管理装置３００から受信する。そして、データ取得部２１１は、各時刻のデータセットをメモリ３０２に記憶する。
例えば、各時刻のデータセットがセンサ管理装置３００の補助記憶装置３０３から読み出され、各時刻のデータセットがデータベース生成装置２００の補助記憶装置２０３に記憶される。そして、データ取得部２１１は、各時刻のデータセットを補助記憶装置２０３からメモリ２０２へロードする。
例えば、データ取得部２１１は、センサ管理装置３００と通信することによって、各時刻のデータセットをセンサ管理装置３００から受信する。そして、データ取得部２１１は、各時刻のデータセットをメモリ３０２に記憶する。
ステップＳ１１２において、データベース検索部２１２は、車両位置データと車両姿勢データに基づいて、基本データベース１２０から対象信号灯器（対象設備の一例）の基本データを取得する。
対象信号灯器は、撮影時に車両１１０の進行方向に位置していた交通信号灯器である。特に、撮影時に車両１１０の進行方向側の錐形領域内に位置していた交通信号灯器を対象信号灯器と称する。錐形領域の大きさは予め定義される。
例えば、データベース検索部２１２は、車両位置データと車両姿勢データとを用いて車両１１０の進行方向を算出し、車両１１０の進行方向側の錐形領域を算出する。そして、データベース検索部２１２は、基本データベース１２０を検索することによって、算出した錐形領域内に位置する交通信号灯器（対象信号灯器）の位置データを見つける。見つかった位置データを含む基本データが対象信号灯器の基本データである。
ステップＳ１１３において、画像範囲限定部２１３は、対象信号灯器の基本データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
限定範囲は、道路画像の中で対象信号灯器が映る範囲である。
限定範囲は、道路画像の中で対象信号灯器が映る範囲である。
例えば、画像範囲限定部２１３は、車両１１０の位置と車両１１０の姿勢とカメラ１１９の視線方向とに基づいて、カメラ１１９の撮影方向を算出する。画像範囲限定部２１３は、カメラ１１９の撮影方向とカメラ１１９の画角とに基づいて、カメラ１１９の撮影範囲を算出する。画像範囲限定部２１３は、カメラ１１９の撮影範囲に基づいて、道路画像の中で対象信号灯器の位置に相当する画素（対象画素）を特定する。また、画像範囲限定部２１３は、カメラ１１９から対象信号灯器までの距離と対象信号灯器のサイズとに基づいて、道路画像に映る対象信号灯器のサイズ（対象サイズ）を算出する。そして、画像範囲限定部２１３は、道路画像から、対象画素を基点にして対象サイズを有する範囲を抽出する。抽出される範囲が限定範囲となる。
ステップＳ１１４において、特徴抽出部２１４は、限定範囲に対する画像処理によって、対象信号灯器の特徴データを生成する。
対象信号灯器の特徴データを以下のように生成される。
対象信号灯器の特徴データを以下のように生成される。
特徴抽出部２１４は、対象信号灯器を識別する識別番号を生成し、生成した識別番号を対象信号灯器に付加する。
特徴抽出部２１４は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている対象信号灯器（被写体）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部２１４は、変換後の限定範囲を用いて対象信号灯器の特徴データを生成する。
限定範囲に対する射影変換は、限定範囲に映っている対象信号灯器（被写体）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部２１４は、変換後の限定範囲を用いて対象信号灯器の特徴データを生成する。
特徴抽出部２１４は、変換後の限定範囲を対象信号灯器の特徴データに含める。
まず、特徴抽出部２１４は、変換後の限定範囲に対する画像処理によって、対象信号灯器に備わる１つ以上の表示部を検出する。例えば、表示部は、形状および色などの外観のパターンマッチングによって検出される。
次に、特徴抽出部２１４は、１つ以上の表示部のそれぞれの領域（表示領域）を示すデータを生成する。例えば、表示領域は、対象信号灯器の正面における二次元領域で識別される。
そして、特徴抽出部２１４は、生成したデータを対象信号灯器の特徴データに含める。
次に、特徴抽出部２１４は、１つ以上の表示部のそれぞれの領域（表示領域）を示すデータを生成する。例えば、表示領域は、対象信号灯器の正面における二次元領域で識別される。
そして、特徴抽出部２１４は、生成したデータを対象信号灯器の特徴データに含める。
まず、特徴抽出部２１４は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、特徴抽出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象信号灯器など）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部２１４は、変換後の参照範囲に対する画像処理によって、対象信号灯器に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部２１４は、検出された物体を示すデータを生成する。例えば、特徴抽出部２１４は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象信号灯器の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象信号灯器のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部２１４は、生成したデータを対象信号灯器の特徴データに含める。
次に、特徴抽出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象信号灯器など）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部２１４は、変換後の参照範囲に対する画像処理によって、対象信号灯器に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部２１４は、検出された物体を示すデータを生成する。例えば、特徴抽出部２１４は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象信号灯器の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象信号灯器のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部２１４は、生成したデータを対象信号灯器の特徴データに含める。
図１０に基づいて、対象信号灯器に隣接している物体（検出される物体）の具体例を説明する。
例えば、特徴抽出部２１４は、対象信号灯器を支えている支柱を検出する。また、特徴抽出部２１４は、対象信号灯器の支柱に取り付けられている交通信号制御機を検出する。
例えば、特徴抽出部２１４は、対象信号灯器を支えている支柱を検出する。また、特徴抽出部２１４は、対象信号灯器の支柱に取り付けられている交通信号制御機を検出する。
図９に戻り、ステップＳ１１５を説明する。
ステップＳ１１５において、特徴登録部２１５は、対象信号灯器の識別番号と対象信号灯器の基本データと対象信号灯器の特徴データとを互いに対応付けて拡張データベース１３０に登録する。
ステップＳ１１５において、特徴登録部２１５は、対象信号灯器の識別番号と対象信号灯器の基本データと対象信号灯器の特徴データとを互いに対応付けて拡張データベース１３０に登録する。
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、各地点に設けられた交通信号灯器の情報をデータベース化することができる。つまり、拡張データベース１３０を生成することができる。
拡張データベース１３０には、各交通信号灯器の特徴データが登録される。各交通信号灯器の特徴データと道路画像を照合することにより、交通信号灯器を漏れなく正確に検出することが可能となる。したがって、拡張データベース１３０は、自動車の自動運転を行うために有用である。
実施の形態１により、各地点に設けられた交通信号灯器の情報をデータベース化することができる。つまり、拡張データベース１３０を生成することができる。
拡張データベース１３０には、各交通信号灯器の特徴データが登録される。各交通信号灯器の特徴データと道路画像を照合することにより、交通信号灯器を漏れなく正確に検出することが可能となる。したがって、拡張データベース１３０は、自動車の自動運転を行うために有用である。
実施の形態２．
各地点に設けられた道路標識の情報をデータベース化する形態について、主に実施の形態１と異なる点を図１１から図１５に基づいて説明する。
各地点に設けられた道路標識の情報をデータベース化する形態について、主に実施の形態１と異なる点を図１１から図１５に基づいて説明する。
道路標識は、交通安全施設の一種である。
＊＊＊構成の説明＊＊＊
データベース生成システム１００の構成は、実施の形態１における構成（図１参照）と同じである。
但し、基本データベース１２０は、各地点に設けられた道路標識の基本データが登録されたデータベースである。つまり、実施の形態２では、実施の形態１で説明した基本データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
また、拡張データベース１３０は、各地点に設けられた道路標識の特徴データが登録されたデータベースである。つまり、実施の形態２では、実施の形態１で説明した特徴データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
データベース生成システム１００の構成は、実施の形態１における構成（図１参照）と同じである。
但し、基本データベース１２０は、各地点に設けられた道路標識の基本データが登録されたデータベースである。つまり、実施の形態２では、実施の形態１で説明した基本データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
また、拡張データベース１３０は、各地点に設けられた道路標識の特徴データが登録されたデータベースである。つまり、実施の形態２では、実施の形態１で説明した特徴データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
車両１１０の構成は、実施の形態１における構成（図２参照）と同じである。
カメラ１１９の指向性は、実施の形態１における指向性（図３参照）と同じである。
図１１および図１２に基づいて、カメラ１１９の指向性を制御することによって得られる道路画像について説明する。
図１１は、道路画像の具体例を示している。図１２は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、道路標識が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、道路標識が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが容易になる。
図１１は、道路画像の具体例を示している。図１２は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、道路標識が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、道路標識が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが容易になる。
センサ管理装置３００の構成は、実施の形態１における構成（図６参照）と同じである。
データベース生成装置２００の構成は、実施の形態１における構成（図７参照）と同じである。
＊＊＊動作の説明＊＊＊
図１３に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
図１３に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
カメラ１１９による撮影の際、指向制御部３１３は、カメラ１１９の画角調整機能を制御することによって、カメラ１１９の画角を狭める。そのため、カメラ１１９は狭視野での撮影を行う。
ステップＳ２０１からステップＳ２０４は、各時刻に実行される。
ステップＳ２０１において、データ収集部３１１は、各センサからセンサデータを取得し、各センサデータを記憶部３９０に記憶する。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
ステップＳ２０２において、データ処理部３１２は、ステップＳ２０１で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部３９０に記憶する。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
ステップＳ２０３において、指向制御部３１３は、車両位置データと車両姿勢データに基づいて、基本データベース１２０から注目標識（注目施設の一例）の位置データを取得する。
注目標識は、車両１１０の進行方向に位置する道路標識である。
ステップＳ２０３の処理は、実施の形態１のステップＳ１０３（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
注目標識は、車両１１０の進行方向に位置する道路標識である。
ステップＳ２０３の処理は、実施の形態１のステップＳ１０３（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
ステップＳ２０４において、指向制御部３１３は、注目標識の位置データに基づいて、注目標識が位置する方向をカメラ１１９が撮影するようにカメラ１１９の指向機能を制御する。
ステップＳ２０４の処理は、実施の形態１のステップＳ１０４（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
ステップＳ２０４の処理は、実施の形態１のステップＳ１０４（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
図１４に基づいて、データベース生成方法を説明する。
ステップＳ２１１からステップＳ２１５は、各時刻のデータセットに対して実行される。
ステップＳ２１１からステップＳ２１５は、各時刻のデータセットに対して実行される。
ステップＳ２１１において、データ取得部２１１はデータセットを取得する。
ステップＳ２１１は、実施の形態１のステップＳ１１１（図９参照）と同じである。
ステップＳ２１１は、実施の形態１のステップＳ１１１（図９参照）と同じである。
ステップＳ２１２において、データベース検索部２１２は、車両位置データと車両姿勢データに基づいて、基本データベース１２０から対象標識（対象設備の一例）の基本データを取得する。
対象標識は、撮影時に車両１１０の進行方向に位置していた道路標識である。
ステップＳ２１２の処理は、実施の形態１のステップＳ１１２（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
対象標識は、撮影時に車両１１０の進行方向に位置していた道路標識である。
ステップＳ２１２の処理は、実施の形態１のステップＳ１１２（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
ステップＳ２１３において、画像範囲限定部２１３は、対象標識の基本データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
ステップＳ２１３の処理は、実施の形態１のステップＳ１１３（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
ステップＳ２１３の処理は、実施の形態１のステップＳ１１３（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
ステップＳ２１４において、特徴抽出部２１４は、限定範囲に対する画像処理によって、対象標識の特徴データを生成する。
ステップＳ２１４の処理は、実施の形態１のステップＳ１１４（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同様である。
対象標識の特徴データは、以下のように生成される。
ステップＳ２１４の処理は、実施の形態１のステップＳ１１４（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同様である。
対象標識の特徴データは、以下のように生成される。
特徴抽出部２１４は、対象標識を識別する識別番号を生成し、生成した識別番号を対象標識に付加する。
特徴抽出部２１４は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている対象標識（被写体）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象標識との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部２１４は、変換後の限定範囲を用いて対象標識の特徴データを生成する。
限定範囲に対する射影変換は、限定範囲に映っている対象標識（被写体）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象標識との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部２１４は、変換後の限定範囲を用いて対象標識の特徴データを生成する。
特徴抽出部２１４は、変換後の限定範囲を対象標識の特徴データに含める。
まず、特徴抽出部２１４は、変換後の限定範囲に対する画像処理によって、対象標識に備わる表示部を検出する。例えば、表示部は、形状および色などの外観のパターンマッチングによって検出される。
次に、特徴抽出部２１４は、表示部の領域（表示領域）を示すデータを生成する。例えば、表示領域は、対象標識の正面における二次元領域で識別される。
そして、特徴抽出部２１４は、生成したデータを対象標識の特徴データに含める。
次に、特徴抽出部２１４は、表示部の領域（表示領域）を示すデータを生成する。例えば、表示領域は、対象標識の正面における二次元領域で識別される。
そして、特徴抽出部２１４は、生成したデータを対象標識の特徴データに含める。
まず、特徴抽出部２１４は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、特徴抽出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象標識など）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象標識との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部２１４は、変換後の参照範囲に対する画像処理によって、対象標識に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部２１４は、検出された物体を示すデータを生成する。例えば、特徴抽出部２１４は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象標識の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象標識のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部２１４は、生成したデータを対象標識の特徴データに含める。
次に、特徴抽出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象標識など）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部２１４は、車両１１０と対象標識との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部２１４は、変換後の参照範囲に対する画像処理によって、対象標識に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部２１４は、検出された物体を示すデータを生成する。例えば、特徴抽出部２１４は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象標識の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象標識のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部２１４は、生成したデータを対象標識の特徴データに含める。
図１５に基づいて、対象標識に隣接している物体（検出される物体）の具体例を説明する。
例えば、特徴抽出部２１４は、対象標識を支えている支柱を検出する。また、特徴抽出部２１４は、対象標識の支柱に取り付けられている任意標識を検出する。任意標識は、基本データベース１２０によって管理されていない道路標識である。
例えば、特徴抽出部２１４は、対象標識を支えている支柱を検出する。また、特徴抽出部２１４は、対象標識の支柱に取り付けられている任意標識を検出する。任意標識は、基本データベース１２０によって管理されていない道路標識である。
図１４に戻り、ステップＳ２１５を説明する。
ステップＳ２１５において、特徴登録部２１５は、対象標識の識別番号と対象標識の基本データと対象標識の特徴データとを互いに対応付けて拡張データベース１３０に登録する。
ステップＳ２１５の処理は、実施の形態１のステップＳ１１５（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
ステップＳ２１５において、特徴登録部２１５は、対象標識の識別番号と対象標識の基本データと対象標識の特徴データとを互いに対応付けて拡張データベース１３０に登録する。
ステップＳ２１５の処理は、実施の形態１のステップＳ１１５（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、各地点に設けられた道路標識の情報をデータベース化することができる。つまり、拡張データベース１３０を生成することができる。
拡張データベース１３０には、各道路標識の特徴データが登録される。各道路標識の特徴データと道路画像を照合することにより、道路標識を漏れなく正確に検出することが可能となる。したがって、拡張データベース１３０は、自動車の自動運転を行うために有用である。
実施の形態２により、各地点に設けられた道路標識の情報をデータベース化することができる。つまり、拡張データベース１３０を生成することができる。
拡張データベース１３０には、各道路標識の特徴データが登録される。各道路標識の特徴データと道路画像を照合することにより、道路標識を漏れなく正確に検出することが可能となる。したがって、拡張データベース１３０は、自動車の自動運転を行うために有用である。
＊＊＊実施の形態の補足＊＊＊
データベース生成装置２００は、車両１１０に搭載されてもよい。データベース生成装置２００が車両１１０に搭載される場合、データベース生成装置２００とセンサ管理装置３００が１台の装置に統合されてもよい。
データベース生成装置２００は、車両１１０に搭載されてもよい。データベース生成装置２００が車両１１０に搭載される場合、データベース生成装置２００とセンサ管理装置３００が１台の装置に統合されてもよい。
基本データベース１２０と拡張データベース１３０とのそれぞれは、データベース生成装置２００、センサ管理装置３００またはその他の装置（例えば、データベースサーバ）のいずれで管理されてもよい。
カメラ１１９の代わりに、ＭＭＳ用のカメラ（１１３Ａ、１１３Ｂ）が用いられてもよい。
ＭＭＳ用のカメラ（１１３Ａ、１１３Ｂ）の代わりに、カメラ１１９が用いられてもよい。
ＭＭＳ用のカメラ（１１３Ａ、１１３Ｂ）の代わりに、カメラ１１９が用いられてもよい。
車両１１０は、鉄道車両であってもよい。交通信号機は、鉄道用の信号機（例えば、踏切警報機）であってもよい。
データベース生成システム１００は、交通信号灯器と道路標識とは別の交通安全施設の情報をデータベース化してもよい。
つまり、「交通信号灯器」を「他の交通安全施設」に置き換えて実施の形態１が実施されてよいし、「道路標識」を「他の交通安全施設」に置き換えて実施の形態２が実施されてもよい。
つまり、「交通信号灯器」を「他の交通安全施設」に置き換えて実施の形態１が実施されてよいし、「道路標識」を「他の交通安全施設」に置き換えて実施の形態２が実施されてもよい。
データベース生成装置２００およびセンサ管理装置３００のハードウェア構成について補足する。
データベース生成装置２００は、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と特徴抽出部２１４と特徴登録部２１５とを実現する処理回路を備える。
センサ管理装置３００は、データ収集部３１１とデータ処理部３１２と指向制御部３１３とを実現する処理回路を備える。
処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。
データベース生成装置２００とセンサ管理装置３００とのそれぞれにおいて、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
データベース生成装置２００は、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と特徴抽出部２１４と特徴登録部２１５とを実現する処理回路を備える。
センサ管理装置３００は、データ収集部３１１とデータ処理部３１２と指向制御部３１３とを実現する処理回路を備える。
処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。
データベース生成装置２００とセンサ管理装置３００とのそれぞれにおいて、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
データベース生成装置２００とセンサ管理装置３００とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。
データベース生成装置２００とセンサ管理装置３００とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。
１００ データベース生成システム、１１０ 車両、１１１ アンテナ、１１２ ＩＭＵ、１１３ カメラ、１１４ レーザスキャナ、１１９ カメラ、１２０ 基本データベース、１３０ 拡張データベース、２００ データベース生成装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２１１ データ取得部、２１２ データベース検索部、２１３ 画像範囲限定部、２１４ 特徴抽出部、２１５ 特徴登録部、２９０ 記憶部、３００ センサ管理装置、３０１ プロセッサ、３０２ メモリ、３０３ 補助記憶装置、３０４ 通信装置、３０５ 入出力インタフェース、３１１ データ収集部、３１２ データ処理部、３１３ 指向制御部、３９０ 記憶部。
Claims (12)
- 交通信号灯器と道路標識との少なくともいずれかの交通安全施設の情報をデータベース化するデータベース生成システムであり、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記基本データと前記対象施設の前記特徴データとを互いに対応付けて拡張データベースに登録する特徴登録部と、
を備え、
前記特徴抽出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記対象施設に隣接している物体を検出し、前記対象施設に対する検出された物体の相対位置および相対サイズを示すデータを前記対象施設の前記特徴データに含める
データベース生成システム。 - 前記特徴抽出部は、前記対象施設を識別する識別番号を生成し、
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する
請求項１に記載のデータベース生成システム。 - 前記特徴抽出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記対象施設の前記特徴データに含める
請求項１または請求項２に記載のデータベース生成システム。 - 前記特徴抽出部は、前記対象施設に備わる１つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記１つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める
請求項３に記載のデータベース生成システム。 - 前記カメラは、視線方向を調整する指向機能を有し、
前記データベース生成システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備え、
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる
請求項１から請求項４のいずれか１項に記載のデータベース生成システム。 - 前記カメラは、画角を調整する画角調整機能を有し、
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭め、
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる
請求項５に記載のデータベース生成システム。 - 交通信号灯器と道路標識との少なくともいずれかの交通安全施設の情報をデータベース化するためのデータベース生成プログラムであり、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータとを含む基本データが登録された基本データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の基本データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記基本データとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲に対する画像処理によって、前記対象施設の特徴を示す特徴データを生成する特徴抽出部と、
前記対象施設の前記基本データと前記対象施設の前記特徴データとを互いに対応付けて拡張データベースに登録する特徴登録部として、
コンピュータを機能させるデータベース生成プログラムであって、
前記特徴抽出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記対象施設に隣接している物体を検出し、前記対象施設に対する検出された物体の相対位置および相対サイズを示すデータを前記対象施設の前記特徴データに含める
データベース生成プログラム。 - 前記特徴抽出部は、前記対象施設を識別する識別番号を生成し、
前記特徴登録部は、前記対象施設の前記識別番号を付して前記対象施設の前記特徴データを登録する
請求項７に記載のデータベース生成プログラム。 - 前記特徴抽出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記対象施設の前記特徴データに含める
請求項７または請求項８に記載のデータベース生成プログラム。 - 前記特徴抽出部は、前記対象施設に備わる１つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記１つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める
請求項９に記載のデータベース生成プログラム。 - 前記カメラは、視線方向を調整する指向機能を有し、
前記データベース生成プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記基本データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させ、
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる
請求項７から請求項１０のいずれか１項に記載のデータベース生成プログラム。 - 前記カメラは、画角を調整する画角調整機能を有し、
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭め、
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる
請求項１１に記載のデータベース生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019200406A JP6979438B2 (ja) | 2019-11-05 | 2019-11-05 | データベース生成システムおよびデータベース生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019200406A JP6979438B2 (ja) | 2019-11-05 | 2019-11-05 | データベース生成システムおよびデータベース生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021076883A JP2021076883A (ja) | 2021-05-20 |
| JP6979438B2 true JP6979438B2 (ja) | 2021-12-15 |
Family
ID=75897200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019200406A Active JP6979438B2 (ja) | 2019-11-05 | 2019-11-05 | データベース生成システムおよびデータベース生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6979438B2 (ja) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2964402B1 (ja) * | 1998-08-28 | 1999-10-18 | 株式会社ゼンリン | 三次元地図データベースの作成方法及び装置 |
| JP2002243469A (ja) * | 2001-02-19 | 2002-08-28 | Alpine Electronics Inc | ナビゲーション装置および地図データベース更新システム |
| JP5551236B2 (ja) * | 2010-03-03 | 2014-07-16 | パナソニック株式会社 | 道路状況管理システム及び道路状況管理方法 |
| WO2014013545A1 (ja) * | 2012-07-17 | 2014-01-23 | 三菱電機株式会社 | 車載機およびセンター装置 |
| EP2983153B1 (en) * | 2013-04-04 | 2018-12-19 | Nissan Motor Co., Ltd | Signal recognition device |
| JP6331811B2 (ja) * | 2014-07-18 | 2018-05-30 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
| JP6464783B2 (ja) * | 2015-02-04 | 2019-02-06 | 株式会社デンソー | 物体検出装置 |
| WO2017009933A1 (ja) * | 2015-07-13 | 2017-01-19 | 日産自動車株式会社 | 信号機認識装置及び信号機認識方法 |
| JP6733582B2 (ja) * | 2017-03-08 | 2020-08-05 | 株式会社デンソー | 標識認識システム |
-
2019
- 2019-11-05 JP JP2019200406A patent/JP6979438B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021076883A (ja) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6901625B2 (ja) | 地図データ、レーザ、およびカメラからのヨー誤差の確定 | |
| CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
| JP6866440B2 (ja) | 物体識別方法、装置、機器、車両及び媒体 | |
| JP4577655B2 (ja) | 地物認識装置 | |
| JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| JP6759175B2 (ja) | 情報処理装置および情報処理システム | |
| JPWO2020090428A1 (ja) | 地物検出装置、地物検出方法および地物検出プログラム | |
| CN110998684B (zh) | 图像收集系统、图像收集方法、图像收集装置、记录介质 | |
| JP7424390B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US10846546B2 (en) | Traffic signal recognition device | |
| JP2006330908A (ja) | 位置記録装置及び位置記録方法 | |
| JP6989284B2 (ja) | 車両位置推定装置及びプログラム | |
| JP6278790B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| US11650321B2 (en) | Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| JP2007004256A (ja) | 画像処理装置、画像処理方法 | |
| JP2007181129A (ja) | 車載用移動体検出装置 | |
| JP6965325B2 (ja) | 自動検出システムおよび自動検出プログラム | |
| JP2018073275A (ja) | 画像認識装置 | |
| JP7272334B2 (ja) | 地図生成装置および地図生成方法 | |
| CN111678488B (zh) | 测距方法、装置、计算机可读存储介质及电子设备 | |
| JP6979438B2 (ja) | データベース生成システムおよびデータベース生成プログラム | |
| JP2019146012A (ja) | 撮像装置 | |
| JP5435294B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6979438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |