JP4459717B2 - Map update system - Google Patents
Map update system Download PDFInfo
- Publication number
- JP4459717B2 JP4459717B2 JP2004156623A JP2004156623A JP4459717B2 JP 4459717 B2 JP4459717 B2 JP 4459717B2 JP 2004156623 A JP2004156623 A JP 2004156623A JP 2004156623 A JP2004156623 A JP 2004156623A JP 4459717 B2 JP4459717 B2 JP 4459717B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- unit
- subject
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Description
本発明は、立体地図を車両の運転手に提供する地図更新システムに関する。特に本発明は、カメラによって撮像された画像を用いて、カーナビゲーションシステムが有する立体地図を更新する地図更新システムに関する。 The present invention relates to a map update system that provides a three-dimensional map to a driver of a vehicle. In particular, the present invention relates to a map update system that updates a three-dimensional map of a car navigation system using an image captured by a camera.
従来、立体地図を運転手へ表示するカーナビゲーションシステムが知られている(例えば、非特許文献1参照)。運転手は、カーナビゲーションに表示された立体地図を参考に、実際の道路の周辺に存在する目印となる建物を決めて、目的地までの運転を行う。 Conventionally, a car navigation system that displays a three-dimensional map to a driver is known (see, for example, Non-Patent Document 1). The driver determines a building that is a landmark around the actual road with reference to the three-dimensional map displayed in the car navigation, and drives to the destination.
しかしながら、道路の周辺に新たに建造物が作られると、カーナビゲーションシステムが表示する情報は、実際の道路周辺の状況とは異なる。このような場合、目印となる建物が実際の道路の周辺に見つからずに、運転手が混乱するという課題がある。 However, when a new building is created around the road, the information displayed by the car navigation system is different from the actual situation around the road. In such a case, there is a problem that a driver becomes confused because a building as a landmark is not found around an actual road.
そこで本発明は、上記の課題を解決することのできる地図更新システムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Then, an object of this invention is to provide the map update system which can solve said subject. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
このような課題を解決するために、本発明の第1の形態における地図更新システムは、車両に搭載されるカメラと、立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、カメラによって撮像された画像を用いて、カーナビゲーションシステムが有する立体地図を更新する地図更新部とを備えた。これにより、道路の周辺に様々な建造物が造られた場合であっても、最新の立体地図を運転手に提供することができる。 In order to solve such a problem, a map update system according to a first embodiment of the present invention includes a camera mounted on a vehicle, a car navigation system having a three-dimensional map, and acquiring a position and a traveling direction of the vehicle. And a map updating unit that updates a three-dimensional map of the car navigation system using an image captured by the camera. Thereby, even if various buildings are built around the road, the latest three-dimensional map can be provided to the driver.
また本形態における地図更新システムは、カメラにより撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分の領域を抽出して、この領域における高周波成分を除去する高周波除去部を更に備え、地図更新部は、高周波除去部によって高周波が除去された画像を用いて立体地図を更新してもよい。これにより、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また高周波が除去された画像を用いて立体地図を更新するので、運転手が把握しやすく、かつ情報量の少ない立体地図を生成することができる。 In addition, the map update system according to the present embodiment extracts a region of a high frequency component whose size is larger than a reference value compared with the size of the low frequency component in the image captured by the camera, and the high frequency component in this region is extracted. A high frequency removing unit that removes the component may be further provided, and the map updating unit may update the three-dimensional map using the image from which the high frequency has been removed by the high frequency removing unit. As a result, it is possible to effectively reduce information such as dirt contained in the subject while maintaining the high frequency component of the boundary region of the subject. Further, since the three-dimensional map is updated using the image from which the high frequency has been removed, it is possible to generate a three-dimensional map that is easy for the driver to grasp and has a small amount of information.
また本形態における地図更新システムは、カメラによって連続して撮像された画像に含まれる被写体の位置を比較することにより、撮像された画像に含まれる移動体を検出する移動体検出部と、移動体検出部によって検出された移動体を除去する移動体除去部とを更に備え地図更新部は、移動体除去部によって移動体が除去された画像を用いて立体地図を更新してもよい。これにより、立体地図に移動体が格納されることを防ぐことができる。 Further, the map update system according to the present embodiment includes a moving body detection unit that detects a moving body included in the captured image by comparing the positions of the subjects included in the images continuously captured by the camera, and the moving body. The map updating unit may further include a moving body removing unit that removes the moving body detected by the detecting unit, and may update the three-dimensional map using the image from which the moving body has been removed by the moving body removing unit. Thereby, it can prevent that a mobile body is stored in a three-dimensional map.
また本形態における地図更新システムは、車両の速度を検出する車速検出部と、車速検出部によって検出された車速を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部とを更に備え、移動体検出部は、オプティカルフロー算出部によって算出されたオプティカルフローとは異なる移動ベクトルを有する被写体を移動体として検出してもよい。これにより移動体を確実に除去することができる。 The map update system according to the present embodiment further includes a vehicle speed detection unit that detects the speed of the vehicle, and an optical flow calculation unit that calculates the optical flow of the stationary subject using the vehicle speed detected by the vehicle speed detection unit. The body detection unit may detect a subject having a movement vector different from the optical flow calculated by the optical flow calculation unit as a moving body. Thereby, a moving body can be removed reliably.
また本形態における地図更新システムは、カーナビゲーションシステムから取得される走行中の道路の幅および道路上の位置を示す情報を用いて、カメラによって撮像される画像中の、道路の周囲の被写体のみを検出する周囲被写体検出部と、周囲被写体検出部によって検出された周囲被写体のみを選択する周囲被写体選択部とを更に備え地図更新部は、周囲被写体選択部によって検出された周囲被写体の画像を用いて、立体地図を更新してもよい。これにより、例えば路上の画像や、道路自体の画像などの不要な画像が立体地図に更新されることを避けることができる。 In addition, the map update system according to the present embodiment uses only the information on the road width and the position on the road acquired from the car navigation system, and uses only the subject around the road in the image captured by the camera. The map update unit further includes a surrounding subject detection unit to detect, and a surrounding subject selection unit that selects only the surrounding subject detected by the surrounding subject detection unit. The map update unit uses an image of the surrounding subject detected by the surrounding subject selection unit. The 3D map may be updated. Thereby, it is possible to avoid an unnecessary image such as an image on the road or an image of the road itself from being updated to the three-dimensional map.
また本形態における地図更新システムは、最新の地図を格納しているサーバを更に備え地図更新部は、複数の車両から受け取った画像を用いて、サーバに格納されている最新の立体地図を更新する。これによりサーバは、各地の最新の立体地図を取得して、古い立体地図を更新することができる。 The map update system in this embodiment further includes a server storing the latest map, and the map update unit updates the latest three-dimensional map stored in the server using images received from a plurality of vehicles. . Thereby, the server can acquire the latest 3D map of each place and can update an old 3D map.
また本形態における地図更新システムは、サーバから最新の立体地図を取得して、カーナビゲーションシステムに格納する最新地図取得部を更に備えてもよい。これにより、各車両に搭載されたカーナビゲーションシステムは、初めて通過する場所であっても、最新の立体地図を表示することができる。 The map update system according to the present embodiment may further include a latest map acquisition unit that acquires the latest three-dimensional map from the server and stores it in the car navigation system. Thereby, the car navigation system mounted in each vehicle can display the latest three-dimensional map even if it is a place where it passes for the first time.
最新地図取得部は、カーナビゲーションシステムによってルート検索が行われると、ルート上の最新の立体地図をサーバから取得してカーナビゲーションシステムに格納してもよい。このように必要な立体地図のみを取得するので、サーバとの通信時間、通信料金、および更新時間を削減することができる。 When the route search is performed by the car navigation system, the latest map acquisition unit may acquire the latest three-dimensional map on the route from the server and store it in the car navigation system. Since only the necessary three-dimensional map is acquired in this way, the communication time with the server, the communication fee, and the update time can be reduced.
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の開発手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all the combinations of features described in the embodiments are not included in the invention. It is not always essential for development means.
図1は、本発明の地図更新システム900の構成を示す。地図更新システム900は、複数の地図更新装置100a〜100n、サーバ200、ネットワーク300、および複数の基地局400a〜400mを備える。サーバ200は、ネットワーク300を介して複数の基地局400a〜400mと接続される。地図更新装置100a〜100nのそれぞれはカーナビゲーションシステムを備え、各車両10a〜10nに搭載される。
FIG. 1 shows a configuration of a
ここで従来、立体地図を運転手へ表示するカーナビゲーションシステムが知られている。運転手は、カーナビゲーションに表示された立体地図を参考に、実際の道路の周辺に存在する建物を目印として定めて運転を行う。しかしながら、道路の周辺に新たに建造物が作られた場合や、既存の建造物が壊された場合、カーナビゲーションシステムが表示する地図情報は、実際の道路周辺の状況とは異なる。このような場合、目印の建物が実際の道路の周辺に見つからずに、運転手が混乱するという課題がある。 Here, conventionally, a car navigation system that displays a three-dimensional map to a driver is known. The driver refers to the three-dimensional map displayed on the car navigation and determines a building existing around the actual road as a landmark for driving. However, when a new building is made around the road or when an existing building is destroyed, the map information displayed by the car navigation system is different from the actual situation around the road. In such a case, there is a problem that the driver is confused because the landmark building is not found around the actual road.
そこで本発明の地図更新装置100は、カメラを更に備え、車両10が走行する道路の周辺の画像を撮像することにより、最新の立体地図を運転手に提供することを目的とする。更に、各車両10に搭載された地図更新装置100は、各地に設けられた基地局400と、各基地局400を結ぶネットワーク300とを介して、サーバ200と通信を行う。これにより、本発明の地図更新システム900は、車両10に搭載された地図更新装置100が各地で撮像した画像を取得して、古い立体地図を最新の立体地図へ更新すると共に、各車両10からの要求に応じて、最新の立体地図を各車両10へ送信することを目的とする。
Therefore, the
図2は、地図更新装置100が有する立体地図を説明する図である。図2(a)は、予め地図更新装置100に格納された立体地図を示す。本図の例では、車両10が道路606を交差点620に向かって走行中に、地図更新装置100のカーナビゲーションシステムは、走行中の道路606、前方の交差点620、および、道路606および交差点620の周囲に存在する複数の建物608、610、612、および616を運転手へ表示する。
FIG. 2 is a diagram illustrating a three-dimensional map that the
図2(b)は、地図更新装置100が有するカメラが撮像した画像を示す。実際の道路606の周辺には、地図更新装置100が格納していない新たな建物614が存在しており、地図更新装置100のカメラは、この新たな建物614を含む画像を撮像する。また地図更新装置100のカメラが撮像する画像には、道路606の上を走行する車両602および604、歩道を歩く歩行者600等が含まれる。そこで本発明の地図更新装置100は、道路上の被写体を除くことにより道路周辺の被写体のみを検出し、立体地図を新しい建物614を含む最新の立体地図へと更新すると共に、地面に対して移動する被写体を検出することにより、移動中の人物や車両が含まれない立体地図を更新することを目的とする。
FIG. 2B shows an image captured by the camera included in the
更に、地図更新装置100が有するカメラによって撮像された画像には、各建物の窓700〜704、汚れ706、および玄関708等の、運転手に進路を表示する上で必ずしも必要ではない情報が含まれる。そこで地図更新装置100は、これらの不要な情報を除去した立体地図を運転手へ表示することを目的とする。図2(c)は、更新された立体地図の一例を示す。
Further, the image captured by the camera included in the
図3は、地図更新システム900の詳細な構成の一例を示す。地図更新装置100は、3Dカメラ42、高周波除去部44、オプティカルフロー算出部46、車速検出部48、舵角検出部50、旋回速度算出部51、移動体検出部52、移動体除去部54、周囲被写体検出部56、周囲被写体選択部58、地図更新部60、カーナビゲーションシステム62、最新地図取得部66および送信部67を備える。カーナビゲーションシステム62は、立体地図DB(データベース)64を有する。地図更新装置100は、GPS衛星500からGPS情報を取得する。
FIG. 3 shows an example of a detailed configuration of the
カーナビゲーションシステム62は、GPS衛星500から、GPS情報を受け取る。これによりカーナビゲーションシステム62は、車両10の現在の位置を取得する。また、本例のカーナビゲーションシステム62は、GPS衛星から受け取ったGPS情報の履歴を格納する。カーナビゲーションシステム62は、この格納した履歴から車両10の進行方向を特定する。
The
3Dカメラ42は、車両10の進行方向に光軸が一致するように車両10に予め配置され、車両10の前方を連続して撮像する。ここで3Dカメラ42は内部に2つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両10を基準とした被写体までの距離を求める。また3Dカメラ42は、撮像された画像における被写体の位置を用いて、車両10の進行方向に対する被写体の方向を算出する。これにより、3Dカメラ42は、連続して撮像したそれぞれの画像において、車両10からみた被写体の相対的な位置を検出する。
The
高周波除去部44は、3Dカメラ42により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分の領域を抽出して、この領域における高周波成分を除去する。本例の高周波除去部44は、得られた画像をDCT変換(離散コサイン変換)し、変換によって得られたスペクトルにおいて、基準値以上に大きな周波数成分を持つスペクトルの係数をゼロにして、更に逆DCT変換(逆離散コサイン変換)を施すことにより、高周波成分を除去する。この場合、高周波成分を除去した画像には、画像が有する直流成分は残るので、高周波除去部44は、高周波成分を除去した後の画像として、直流成分の濃度を画素値として有する画像を得る。
The high
車速検出部48は車両10の移動速度を検出し、舵角検出部50は、車両10の舵角を検出する。旋回速度算出部51は、車速検出部48が検出した移動速度および、舵角検出部50が検出した舵角に基づいて、車両10の旋回速度を算出する。本例の旋回速度算出部51は、車速検出部48が検出した移動速度に、舵角検出部50が検出した舵角の変化の大きさを乗じることにより、車両10の旋回速度を算出する。
The vehicle
ここで、車両10が走行することにより、撮像された画像に含まれる各被写体には動き生じる。この被写体の動きは、画像の中央付近では小さく生じ、周囲においては大きい。また、車両10から被写体までの距離が近いほど大きくなる。本明細書では、このような車両10の走行状態と被写体の距離によって定まる画像内における各被写体の動きをオプティカルフローと呼び、画像内の被写体の実際の動きを移動ベクトルと呼ぶ。 Here, as the vehicle 10 travels, movement occurs in each subject included in the captured image. The movement of the subject is small near the center of the image and large around. Further, the closer the distance from the vehicle 10 to the subject, the larger the distance. In this specification, the movement of each subject in the image determined by the traveling state of the vehicle 10 and the distance of the subject is called an optical flow, and the actual movement of the subject in the image is called a movement vector.
オプティカルフロー算出部46は、被写体が静止していると仮定した場合に、車両10の移動速度および旋回速度によって被写体に生じる移動ベクトルを、静止被写体のオプティカルフローとして算出する。車両10が直進する場合、各被写体のオプティカルフローの大きさは、車両10の移動速度、車両10からオブジェクトまでの距離、および車両10に対する被写体の方向から定まる。また、オプティカルフローの方向は、車両10から被写体までの距離と方向、即ち車両10から被写体までの相対的位置により定まる。また車両10が微小時間内に旋回を行った場合、画像内の被写体は、左右方向へのオプティカルフローが生じる。このオプティカルフローの方向は、旋回を行った方向と逆方向であり、大きさは、旋回速度に比例する。そこで、オプティカルフロー算出部46は、車両10が直進した場合に生じたオプティカルフローに、旋回した場合に生じた各オブジェクトのオプティカルフローを加算することにより、車両10が旋回しながら進んだ場合における、静止被写体のオプティカルフローを算出する。尚、本例のオプティカルフロー算出部46は、3次元のオプティカルフローを算出する。
When it is assumed that the subject is stationary, the optical
移動体検出部52は、3Dカメラ42が算出した被写体の位置に基づいて、車両10に対する被写体の相対的な移動ベクトルを算出する。この場合、移動体検出部52は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。移動体検出部52は、オプティカルフロー算出部46によって算出された静止被写体のオプティカルフローの中で、移動体検出部52が算出した移動ベクトルとは異なる移動ベクトルを有する被写体を、移動体として検出する。ここで移動体検出部52は、オプティカルフロー算出部46が算出したオプティカルフローと、算出した移動ベクトルとの差分を算出し、予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体であると判断する。そして移動体除去部54は、移動体検出部52によって検出された移動体を除去する。これにより、移動体を確実に除去することができる。
The moving
周囲被写体検出部56は、カーナビゲーションシステム62から取得される走行中の道路の幅および道路上の位置を示す情報を用いて、3Dカメラ42によって撮像される画像中の、道路の周囲の被写体である周囲被写体のみを検出する。本例のカーナビゲーションシステム62は、道路の幅を予め格納しており、GPS情報を車両10の道路上の位置を示す情報としてGPS衛星500から取得する。また周囲被写体とは、車両10が走行する道路の周囲に存在する建築物や標識などであってよい。周囲被写体検出部56は、道路上における現在の車両10の位置、および道路の幅から、撮像された画像における道路を示す領域を特定し、この道路以外の領域の被写体を、周囲被写体として検出する。そして周囲被写体選択部58は、周囲被写体検出部56によって検出された周囲被写体を選択する。
The surrounding
地図更新部60は、3Dカメラ42によって撮像された画像を用いて、カーナビゲーションシステム62が有する立体地図を更新する。地図更新部60は、高周波除去部44によって高周波が除去された画像を用いて立体地図を更新する。これにより、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また高周波が除去された画像を用いて立体地図を更新するので、運転手が把握しやすく、かつ情報量の少ない立体地図を生成することができる。地図更新部60は、移動体除去部54によって移動体が除去された画像を用いて立体地図を更新する。これにより、立体地図に移動体が格納されることを防ぐことができる。地図更新部60は、周囲被写体選択部58によって検出された周囲被写体の画像を用いて、立体地図を更新する。これにより、例えば路上の画像や、道路自体の画像などの不要な画像が立体地図に更新されることを避けることができる。尚、立体地図を更新する動作の詳細は後述する。
The
尚、本例の地図更新部60は、予め格納された立体地図と撮像した画像とを比較することにより、予め格納された立体地図とは異なる領域の画像を選択する。この場合、地図更新部60は、立体地図DB64に予め格納された立体地図の各座標における画素値と、周囲被写体選択部58より受け取った画像における各座標における画素値との差分を算出し、この差分の絶対値が予め定められた値よりも大きい場合に、その座標を更新すべき立体地図の領域として選択する。送信部67は、無線を用いて、更新すべき立体地図の領域を示す画像情報を基地局400へ送信する。これによりサーバ200へ送信するデータ量を削減することができる。尚、本例において、更新すべき立体地図の領域を示す画像情報とは、領域を示す各座標、および各座標における更新すべき画素値である。
In addition, the
サーバ200は、地図更新部61および最新立体地図DB(データベース)68を有する。地図更新部61は、ネットワーク300を介して複数の車両10から受け取った、更新すべき立体地図の領域を示す画像情報を用いて、最新立体地図DB68に格納されている最新の立体地図を更新する。これにより最新立体地図DB68は、最新の立体地図を格納する。
The
ここでカーナビゲーションシステム62によってルート検索が行われると、地図更新装置100の最新地図取得部66は、ルート上の最新の立体地図をネットワーク300および基地局400を介してサーバ200から取得し、カーナビゲーションシステム62に格納する。このように最新地図取得部66はサーバ200から最新の立体地図を取得して、カーナビゲーションシステム62に格納するので、本発明の地図更新装置100は、各地の最新の画像を取得して、立体地図を最新の内容に更新することができる。そして初めて通過する場所であっても、最新の立体地図を運転手に対して表示することができる。また、本発明の地図更新装置100は、必要な立体地図のみをサーバ200から取得するので、サーバ200との通信時間、通信料金、および更新時間を削減することができる。
Here, when a route search is performed by the
図4および図5は、地図更新装置100の動作の一例を示すフローチャートである。カーナビゲーションシステム62は、GPS衛星500からGPS情報を受け取る。これによりカーナビゲーションシステム62は、車両10の現在の位置、および進行方向を取得する(S100)。尚、本例のカーナビゲーションシステム62は、車両10の位置の履歴から車両10の進行方向を特定する。
4 and 5 are flowcharts showing an example of the operation of the
3Dカメラ42は、車両10から前方の画像を撮像する(S105)。本例の3Dカメラ42は内部に2つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両10を基準とした被写体までの距離を求める。また3Dカメラ42は、撮像された画像における被写体の位置を用いて、車両10の進行方向に対する被写体の方向を算出する。これにより3Dカメラ42は、車両10からみた被写体の相対的な位置を検出する。
The
そして3Dカメラ42により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分を有する場合(S110:YES)、高周波除去部44は、高周波成分を除去する(S115)。また3Dカメラ42により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分を持たない場合(S110:NO)、本フローチャートは、ステップS120へ進む。
When the image picked up by the
車速検出部48は車両10の移動速度を検出し、舵角検出部50は、車両10の移動旋回角度を検出する(S120)。旋回速度算出部51は、車速検出部48が検出した移動速度および、舵角検出部50が検出した舵角に基づいて、車両10の旋回速度を算出する(S125)。本例の旋回速度算出部51は、車速検出部48が検出した移動速度に、舵角検出部50が検出した舵角の変化の大きさを乗じることにより、車両10の旋回速度を算出する。
The
オプティカルフロー算出部46は、車速検出部48によって検出された車速、及び旋回速度算出部51によって算出された旋回速度を用いて、静止被写体のオプティカルフローを算出する(S130)。尚、本例のオプティカルフロー算出部46は、3次元のオプティカルフローを算出する。
The optical
移動体検出部52は、3Dカメラ42が算出した被写体の位置に基づいて、車両10に対する被写体の相対的な移動ベクトルを算出する。この場合、移動体検出部52は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。オプティカルフロー算出部46によって算出された静止被写体のオプティカルフローの中で、移動体検出部52が算出した移動ベクトルとは異なる移動ベクトルを有する場合(S135:YES)、移動体検出部52は、この被写体を移動体として検出する(S140)。ここで移動体検出部52は、オプティカルフロー算出部46が算出したオプティカルフローと、算出した移動ベクトルとの差分を算出し、予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体であると判断する。そして移動体除去部54は、移動体検出部52によって検出された移動体を除去する(S145)。
The moving
オプティカルフロー算出部46によって算出された静止被写体のオプティカルフローの中で、移動体検出部52が算出した移動ベクトルとは異なる移動ベクトルを持たない場合(S135:NO)、本フローチャートは、ステップS150へ進む。
If the optical flow of the stationary subject calculated by the optical
周囲被写体検出部56は、カーナビゲーションシステム62から取得される位置情報に基づいて、現在走行中の道路の幅および道路上の位置を示す情報を取得する。これにより周囲被写体検出部56は、3Dカメラ42によって撮像される画像における道路および道路上の領域を定め(S150)、そして、道路および道路上の被写体を除外する(S155)。ここで周囲被写体とは、車両10が走行する道路の周囲に存在する建築物や標識などであってよい。周囲被写体選択部58は、周囲被写体検出部56によって検出された周囲被写体のみを選択する(S160)。
The surrounding
地図更新部60は、3Dカメラ42によって撮像された画像を用いて、カーナビゲーションシステム62が有する立体地図を更新する(S165)。本例の地図更新部60は、高周波除去部44によって高周波が除去された画像、移動体除去部54によって移動体が除去された画像、及び周囲被写体選択部58によって検出された周囲被写体の画像を用いて立体地図を更新する。或いは地図更新部60は、高周波が除去された画像、移動体が除去された画像、又は周囲被写体の画像のいずれかを用いて立体地図を更新してもよい。
The
尚、本例の地図更新部60は、立体地図DB64に予め格納された立体地図の各座標における画素値と、周囲被写体選択部58より受け取った画像における各座標における画素値との差分を算出し、この差分の絶対値が予め定められた値よりも大きい場合に、その座標を更新すべき立体地図の領域として選択する。すると送信部67は、無線を用いて、基地局400を介してサーバ200へ更新すべき立体地図の領域を示す画像情報を送信する(S170)。するとサーバ200の最新立体地図DB68は、各車両10から受け取った画像を用いて、最新立体地図DB68に格納されている最新の立体地図を更新する。
The
ここで、カーナビゲーションシステム62によってルート検索が行われると(S175:YES)、最新地図取得部66は、ルート上の最新の立体地図をサーバ200から取得し(S180)、取得した最新の立体地図をカーナビゲーションシステムに格納する。カーナビゲーションシステム62によってルート検索が行われない場合(S175:NO)、本フローチャートは、ステップS100へ進み、上記で説明したステップS100からステップS175までの動作を繰り返す。以上で、本フローチャートを終了する。
Here, when a route search is performed by the car navigation system 62 (S175: YES), the latest
図6は、立体地図の表示について説明する図である。カーナビゲーションシステム62は、立体地図DB64に、交差点および道路が曲がる箇所をノードとして格納すると共に、それぞれの道路を、ノードをつなぐリンクとして格納する。本図の例では、ノード800および802には、リンク804〜815がつながっている。ここでカーナビゲーションシステム62は、ノードに対応づけて位置情報を格納し、リンクに対応づけて道路情報を格納する。例えばカーナビゲーションシステム62は、ノードに対応づけて緯度および経度で示された位置情報を格納し、リンクに対応づけて、リンクに対応する道路の法定速度等の情報を道路情報として格納する。これらの情報を運転手へ提供することにより、カーナビゲーションシステム62は運転手の運転を支援する。
FIG. 6 is a diagram for explaining display of a three-dimensional map. The
本図は、道路606(図2参照)を走行する車両10を真上から見た様子を示す。説明の便宜上、交差点および道路に対応するノードおよびリンクを重ねて示す。立体地図DB64は、立体地図を生成するための3次元の画像情報を各リンクに対応づけて格納しており、カーナビゲーションシステム62は、各リンクにおける車両10の現在位置に基づいて、格納された画像情報を用いて立体地図を生成する。本例の立体地図DB64は、3次元の画像情報として、ノードを座標の原点とする3次元座標と、各3次元座標に対応する画素値とを格納する。そしてカーナビゲーションシステム62は、リンク上における車両10の位置に基づいて、運転手へ表示するべき立体地図を、随時、生成しながら表示する。本例のカーナビゲーションシステム62は、運転手の視点から見た場合における、道路および建物の表面を表す画像を、運転手へ表示するべき立体地図として表示する。
This figure shows a state where the vehicle 10 traveling on the road 606 (see FIG. 2) is viewed from directly above. For convenience of explanation, nodes and links corresponding to intersections and roads are shown in an overlapping manner. The three-
例えば、建物616の表面上における位置820は、ノード800を原点とする3次元座標(X、Y、Z)で定義され、立体地図DB64は、位置820における画素値Aを格納する。同様にして立体地図DB64は、道路および道路周辺の全ての位置に対応づけて、3次元座標および画像値を格納している。車両10が矢印804に示されるリンク808上に位置し、矢印816が示す方向、即ちノード800からノード802へ向かって移動している場合、カーナビゲーションシステム62は、車両10の運転手から見える道路および各建物の立体地図を生成して表示する。本図の例において、運転手へ表示するべき領域が、点線で示された領域850である場合、カーナビゲーションシステム62は、建物614、616、608、610、および612を含む立体地図を表示する。尚、進行方向が矢印816と逆方向である場合、カーナビゲーションシステム62は、ノード802を原点とした3次元座標に変換して立体地図を表示する。
For example, the position 820 on the surface of the
図7は、ステップS165における詳細な動作の一例を示すフローチャートである。新しい建物614が建造されていた場合、地図更新装置100の3Dカメラ42は、建物614を含む画像を撮像する。ここで、現在位置をGPS衛星500(図3参照)から取得すると、カーナビゲーションシステム62は、GPS衛星500から受け取った現在の車両10の位置情報を、リンク上における座標に変換する。本例のカーナビゲーションシステム62は、車両10の現在位置を、車両10の進行方向と逆の方向に接続されたノードを原点とする座標に変換する。図6の例では、カーナビゲーションシステム62は、ノード800を原点とする、リンク808における位置を特定する(S200)。
FIG. 7 is a flowchart showing an example of detailed operation in step S165. When a
次に地図更新部60は、予め格納された3次元の画像情報、即ち古い3次元の画像情報において、現在の車両10の位置として運転手へ表示すべき立体地図を生成するために必要な各点の座標と画素値を算出する(S205)。そして、各座標において、3Dカメラ42が撮像した3次元画像の画素値と古い3次元画像の画素値とを比較し、その差分が所定の値よりも大きい場合に、古い3次元画像の画素値を、3Dカメラ42が新しく撮像した画像の画素値に置き換える(S210)。これにより地図更新部60は、立体地図を更新する。
Next, the
尚、本例のオプティカルフロー算出部46は、各被写体の3次元のオプティカルフローを算出したが、より簡易には2次元のオプティカルフローを算出してもよい。この場合、移動体検出部52は、連続して撮像された画像から各被写体の移動ベクトルを算出することにより、画像全体に生じるオプティカルフローを算出し、算出されたオプティカルフローと異なる移動ベクトルを持つ被写体を、移動体として検出しても良い。
Note that the optical
また、本例の地図更新装置100は、3Dカメラ42を用いて画像を取得したが、他の例における地図更新装置100は、2Dカメラを用いて画像を取得してもよい。この場合、地図更新部60は、2Dカメラで撮像された画像に対応する立体地図を生成するのに必要な、予め3次元の形式で格納された画像情報を特定することによって、立体地図を更新する。
Moreover, although the
或いは、他の例として、地図更新装置100は、車両の位置に応じて運転手へ表示するべき2次元の画像を予め格納していてもよい。この場合、地図更新装置100は、予め格納された画像と2Dカメラによって取得した画像とのパターンマッチング処理を行い、予め格納された画像には無い被写体を検出することにより、地図更新装置100の画像を更新する。
Alternatively, as another example, the
以上の説明から明らかなように本実施形態によれば、地図更新部60は3Dカメラ42によって撮像された画像を用いて、カーナビゲーションシステム62が有する立体地図を更新するので、道路の周辺に様々な建造物が造られた場合であっても、最新の立体画像を車両の運転手に提供することができる。高周波除去部44は3Dカメラ42により撮像された画像の中で、高周波成分のみを有する領域を抽出して、この領域における高周波成分を除去するので、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また、移動体検出部52は、3Dカメラ42によって連続して撮像された画像に含まれる被写体の位置を比較することにより、撮像された画像に含まれる移動体を検出するので、立体地図に移動体が格納されることを防ぐことができる。
As is apparent from the above description, according to the present embodiment, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements are also included in the technical scope of the present invention.
10a〜n・・・車両、42・・・3Dカメラ、44・・・高周波除去部、46・・・オプティカルフロー算出部、48・・・車速検出部、50・・・舵角検出部、51・・・旋回速度算出部、52・・・移動体検出部、54・・・移動体除去部、56・・・周囲被写体検出部、58・・・周囲被写体選択部、60・・・地図更新部、61・・・地図更新部、62・・・カーナビゲーションシステム、64・・・立体地図DB、66・・・最新地図取得部、67・・・送信部、68・・・最新立体地図DB、100a〜n・・・地図更新装置、200・・・サーバ、300・・・ネットワーク、400a〜m・・・基地局、500・・・GPS衛星、600・・・歩行者、602、604・・・車両、606・・・道路、608、610、612、614、616・・・建物、620・・・交差点、700、702、704・・・窓、706・・・汚れ、708・・・玄関、800、802・・・ノード、804、816・・・矢印、806、808、810、812、814、815・・・リンク、820・・・位置、850・・・領域、900・・・地図更新システム 10a to n ... vehicle, 42 ... 3D camera, 44 ... high frequency removing unit, 46 ... optical flow calculating unit, 48 ... vehicle speed detecting unit, 50 ... steering angle detecting unit, 51 ... turning speed calculation unit, 52 ... moving body detection unit, 54 ... moving body removal unit, 56 ... surrounding subject detection unit, 58 ... surrounding subject selection unit, 60 ... map update , 61... Map update unit, 62... Car navigation system, 64... 3D map DB, 66... Latest map acquisition unit, 67. , 100a to n ... map update device, 200 ... server, 300 ... network, 400a to m ... base station, 500 ... GPS satellite, 600 ... pedestrian, 602, 604 ..Vehicle, 606 ... road, 608, 610, 6 2, 614, 616 ... Building, 620 ... Intersection, 700, 702, 704 ... Window, 706 ... Dirt, 708 ... Entrance, 800, 802 ... Node, 804, 816 ..Arrow, 806, 808, 810, 812, 814, 815 ... link, 820 ... position, 850 ... area, 900 ... map update system
Claims (8)
立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、
前記カメラにより撮像された画像の中で、高周波成分の大きさが、低周波成分の大きさより基準値以上大きい領域を抽出して、この領域における高周波成分を除去する高周波除去部と、
前記高周波除去部によって高周波成分が除去された画像を用いて、前記カーナビゲーションシステムが有する立体地図を更新する地図更新部と
を備えた地図更新システム。 A camera mounted on the vehicle,
A car navigation system having a three-dimensional map and acquiring the position and traveling direction of the vehicle;
In the image captured by the camera, a high-frequency removing unit that extracts a region where the magnitude of the high-frequency component is greater than the reference value by the magnitude of the low-frequency component,
A map updating system comprising: a map updating unit that updates a three-dimensional map of the car navigation system using an image from which a high frequency component has been removed by the high frequency removing unit .
を更に備え、Further comprising
前記地図更新部は、前記周囲被写体検出部によって検出された周囲被写体の画像を用いて、立体地図を更新する請求項1に記載の地図更新システム。 The map update system according to claim 1, wherein the map update unit updates a three-dimensional map using an image of a surrounding subject detected by the surrounding subject detection unit.
立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、 A car navigation system having a three-dimensional map and acquiring the position and traveling direction of the vehicle;
前記カーナビゲーションシステムから取得される走行中の道路の幅および道路上の位置を示す情報を用いて、前記カメラによって撮像される画像中の、道路の周囲の被写体である周囲被写体を検出する周囲被写体検出部と、 A surrounding subject for detecting a surrounding subject, which is a subject around the road, in the image captured by the camera, using information indicating the width of the running road and the position on the road acquired from the car navigation system A detection unit;
前記周囲被写体検出部によって検出された周囲被写体の画像を用いて、前記カーナビゲーションシステムが有する立体地図を更新する地図更新部と A map updating unit that updates a three-dimensional map of the car navigation system using an image of the surrounding subject detected by the surrounding subject detection unit;
を備えた地図更新システム。Map update system with
前記移動体検出部によって検出された移動体を除去する移動体除去部と
を更に備え、
前記地図更新部は、前記移動体除去部によって移動体が除去された画像を用いて立体地図を更新する請求項1から3のいずれかに記載の地図更新システム。 A moving body detection unit that detects a moving body included in the captured image by comparing positions of subjects included in the images continuously captured by the camera;
A moving body removing unit that removes the moving body detected by the moving body detecting unit;
The map update system according to any one of claims 1 to 3, wherein the map update unit updates a three-dimensional map using an image from which a moving object has been removed by the moving object removal unit.
前記車速検出部によって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部と
を更に備え
前記移動体検出部は、前記オプティカルフロー算出部によって算出されたオプティカルフローとは異なる移動ベクトルを有する被写体を移動体として検出する請求項4に記載の地図更新システム。 A vehicle speed detector for detecting the moving speed of the vehicle;
An optical flow calculation unit that calculates an optical flow of a stationary subject using the moving speed detected by the vehicle speed detection unit is further provided. The map update system according to claim 4 , wherein a subject having a different movement vector is detected as a moving body.
前記地図更新部は、複数の車両から受け取った画像を用いて、前記サーバに格納されている最新の立体地図を更新する請求項1から5のいずれかに記載の地図更新システム。 A server storing the latest 3D map;
The map updating unit, using the image received from a plurality of vehicles, the map updating system according to any one of claims 1 to 5 for updating the latest three-dimensional map in which the stored in the server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004156623A JP4459717B2 (en) | 2004-05-26 | 2004-05-26 | Map update system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004156623A JP4459717B2 (en) | 2004-05-26 | 2004-05-26 | Map update system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005337863A JP2005337863A (en) | 2005-12-08 |
JP4459717B2 true JP4459717B2 (en) | 2010-04-28 |
Family
ID=35491606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004156623A Expired - Fee Related JP4459717B2 (en) | 2004-05-26 | 2004-05-26 | Map update system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4459717B2 (en) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5023663B2 (en) | 2006-11-07 | 2012-09-12 | ソニー株式会社 | Imaging apparatus and imaging method |
JP5176311B2 (en) | 2006-12-07 | 2013-04-03 | ソニー株式会社 | Image display system, display device, and display method |
JP4961984B2 (en) | 2006-12-07 | 2012-06-27 | ソニー株式会社 | Image display system, display device, and display method |
CA2678156C (en) * | 2007-02-16 | 2013-10-08 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
JP4367663B2 (en) | 2007-04-10 | 2009-11-18 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP4506795B2 (en) | 2007-08-06 | 2010-07-21 | ソニー株式会社 | Biological motion information display processing device, biological motion information processing system |
WO2009101679A1 (en) * | 2008-02-13 | 2009-08-20 | Pioneer Corporation | Picture display device, picture display method and picture display program |
JP2009192420A (en) | 2008-02-15 | 2009-08-27 | Sharp Corp | Moving object navigation system, navigation device, and server device |
KR100988568B1 (en) | 2008-04-30 | 2010-10-18 | 삼성전자주식회사 | Robot and method for building map of the same |
JP5040851B2 (en) * | 2008-08-07 | 2012-10-03 | トヨタ自動車株式会社 | Wakimi driving judgment device |
TWI578283B (en) * | 2009-02-20 | 2017-04-11 | 尼康股份有限公司 | Carrying information machines, information acquisition systems, information retrieval servers, and information machines |
US8550909B2 (en) * | 2011-06-10 | 2013-10-08 | Microsoft Corporation | Geographic data acquisition by user motivation |
JP6019680B2 (en) * | 2012-04-04 | 2016-11-02 | 株式会社ニコン | Display device, display method, and display program |
US9081383B1 (en) * | 2014-01-22 | 2015-07-14 | Google Inc. | Enhancing basic roadway-intersection models using high intensity image data |
JP6403407B2 (en) * | 2014-03-27 | 2018-10-10 | 株式会社日立ソリューションズ | Data update method, data update system, and terminal device |
JP2016133701A (en) * | 2015-01-21 | 2016-07-25 | 株式会社Screenホールディングス | Information providing system and information providing method |
JP2016157197A (en) * | 2015-02-23 | 2016-09-01 | 株式会社リコー | Self-position estimation device, self-position estimation method, and program |
JP6790417B2 (en) * | 2016-03-31 | 2020-11-25 | ソニー株式会社 | Information processing equipment and information processing server |
CN107515006A (en) * | 2016-06-15 | 2017-12-26 | 华为终端(东莞)有限公司 | A kind of map updating method and car-mounted terminal |
US10794710B1 (en) | 2017-09-08 | 2020-10-06 | Perceptin Shenzhen Limited | High-precision multi-layer visual and semantic map by autonomous units |
JP2019168886A (en) * | 2018-03-23 | 2019-10-03 | カシオ計算機株式会社 | Detection body region detecting device, imaging device, flying device, detection body region detecting method, imaging method and program |
KR102238522B1 (en) * | 2019-09-27 | 2021-04-09 | 주식회사 서울로보틱스 | Vehicle and method for generating map corresponding to three-dimentional space |
KR102206834B1 (en) | 2020-04-28 | 2021-01-25 | 네이버랩스 주식회사 | Method and system for detecting changes in road-layout information |
WO2022041257A1 (en) * | 2020-08-31 | 2022-03-03 | 深圳市大疆创新科技有限公司 | Method and apparatus for processing three-dimensional map, and movable platform and storage medium |
KR102628281B1 (en) * | 2023-11-09 | 2024-01-23 | 한화시스템(주) | Vector-based spatial information compression system and method for improving electronic map display performance |
-
2004
- 2004-05-26 JP JP2004156623A patent/JP4459717B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005337863A (en) | 2005-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4459717B2 (en) | Map update system | |
JP4895313B2 (en) | Navigation apparatus and method | |
JP5927735B2 (en) | Map data creation device, autonomous mobile system and autonomous mobile control device | |
JP5057184B2 (en) | Image processing system and vehicle control system | |
CN102889892B (en) | The method of real scene navigation and navigation terminal | |
KR20180079428A (en) | Apparatus and method for automatic localization | |
WO2017120595A2 (en) | Vehicular component control using maps | |
WO2018135167A1 (en) | Navigation system, computer program product, and onboard device | |
US20100245561A1 (en) | Navigation device | |
WO2019015150A1 (en) | Method and system for vehicle localization | |
KR20140078158A (en) | Deadreckoning-based navigation system using camera and control method thereof | |
JP6415583B2 (en) | Information display control system and information display control method | |
JP2008026253A (en) | Device and program for photographing periphery of vehicle and for transmitting | |
WO2021009534A1 (en) | Information processing device, information processing method, and information processing program | |
JP6236954B2 (en) | Driving support system, method and program | |
JP2017203638A (en) | Electronic device, guidance method and guide system | |
US11680822B2 (en) | Apparatus and methods for managing maps | |
TW202229818A (en) | Lane mapping and localization using periodically-updated anchor frames | |
JP2005326168A (en) | Driving support system, vehicle, and driving support method | |
JP5203747B2 (en) | Navigation device | |
JP2011174748A (en) | Device, method and program for map display | |
JP2020101924A (en) | Information processing system, program, and information processing method | |
JP2018194417A (en) | Position estimation device, mobile device | |
JP6610371B2 (en) | Lane guidance system and lane guidance program | |
JP7468075B2 (en) | Control System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090709 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100210 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |