JP6759175B2 - 情報処理装置および情報処理システム - Google Patents

情報処理装置および情報処理システム Download PDF

Info

Publication number
JP6759175B2
JP6759175B2 JP2017207732A JP2017207732A JP6759175B2 JP 6759175 B2 JP6759175 B2 JP 6759175B2 JP 2017207732 A JP2017207732 A JP 2017207732A JP 2017207732 A JP2017207732 A JP 2017207732A JP 6759175 B2 JP6759175 B2 JP 6759175B2
Authority
JP
Japan
Prior art keywords
landmark
information
imaging
image
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017207732A
Other languages
English (en)
Other versions
JP2019078700A (ja
Inventor
鈴木 美彦
美彦 鈴木
佐藤 俊雄
俊雄 佐藤
雄介 高橋
雄介 高橋
浩 堺
浩 堺
上野 秀樹
秀樹 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2017207732A priority Critical patent/JP6759175B2/ja
Priority to US16/163,680 priority patent/US11328441B2/en
Priority to AU2018253534A priority patent/AU2018253534B2/en
Publication of JP2019078700A publication Critical patent/JP2019078700A/ja
Application granted granted Critical
Publication of JP6759175B2 publication Critical patent/JP6759175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明の実施形態は、情報処理装置および情報処理システムに関する。
従来から、トラムやプローブ車両等(以下、車両)に設けられた撮像装置が周囲を撮像した撮像画像から、道路の混雑状況等を推定する技術が知られている。撮像画像を撮像した時点における車両の位置を特定するためには、例えば、GPS信号から取得した位置情報が用いられる。また、より高精度に車両の位置を特定するために、GPS信号から取得した位置情報だけではなく、撮像画像に含まれるランドマークの画像の情報を用いる技術が知られている。
特許第4897542号公報 特開2005−265494号公報 特開2009−250718号公報 特開2016−099172号公報 特許第5966747号公報 特表2015−508163号公報
しかしながら、ランドマークは建物等であるため、消失する場合がある。このような場合に、従来技術においては、車両の位置を高精度に特定することが困難な場合があった。
実施形態の情報処理装置は、記憶部と、受信部と、検出部と、抽出部と、変換部と、位置特定部とを備える。記憶部は、車両に搭載された撮像装置によって予め撮像された登録用撮像画像が撮像された際の位置を示す撮像位置情報と、登録用撮像画像に表される複数のランドマークの組み合わせであるランドマークセットの識別情報と、ランドマークセットに含まれる個々のランドマークに関する情報である登録ランドマーク情報と、を対応付けて記憶する。受信部は、車両に搭載された車載装置から、車両に搭載された撮像装置によって撮像された位置特定用撮像画像を受信する。検出部は、位置特定用撮像画像に表されるランドマークを検出する。抽出部は、検出されたランドマークに関する情報である撮像ランドマーク情報を位置特定用撮像画像から抽出する。変換部は、位置特定用撮像画像を撮像した撮像装置の仕様が登録用撮像画像を撮像した撮像装置の仕様と異なる場合、撮像ランドマーク情報を、登録用撮像画像を撮像した撮像装置で撮像された状態における撮像ランドマーク情報に変換する。位置特定部は、変換後の撮像ランドマーク情報と類似する登録ランドマーク情報を含むランドマークセットの識別情報に対応付けられた撮像位置情報が示す位置を、位置特定用撮像画像を撮像した時点における車両の位置として特定する。
図1は、第1の実施形態にかかる情報処理システムの全体構成の一例を示す図である。 図2は、第1の実施形態にかかるトラムの構成の一例を示す図である。 図3は、第1の実施形態にかかるトラムのコックピットの構成の一例を示す図である。 図4は、第1の実施形態にかかるGPS信号によるトラムの位置の取得の一例を説明するための図である。 図5は、第1の実施形態にかかる車載装置および情報処理装置の機能的構成の一例を示す図である。 図6は、第1の実施形態にかかるランドマークデータベースのデータ構成の一例を示す図である。 図7は、第1の実施形態にかかる位置特定用撮像画像と登録用撮像画像の一例を示す図である。 図8は、第1の実施形態にかかる撮像角度変換情報の一例を示す図である。 図9は、第1の実施形態にかかる位置特定用撮像画像の一例を示す図である。 図10は、第1の実施形態にかかる位置特定処理の流れの一例を示すフローチャートである。 図11は、第2の実施形態にかかる車載装置および情報処理装置の機能的構成の一例を示す図である。 図12は、第2の実施形態にかかる登録ランドマーク情報の削除の処理の流れの一例を示すフローチャートである。 図13は、第2の実施形態にかかる登録ランドマーク情報の追加の処理の流れの一例を示すフローチャートである。 図14は、第3の実施形態にかかる車載装置および情報処理装置の機能的構成の一例を示す図である。 図15は、第3の実施形態にかかるランドマークデータベースのデータ構成の一例を示す図である。 図16は、第3の実施形態にかかる異なる方位の一例を示す図である。 図17は、第3の実施形態にかかる位置特定処理の流れの一例を示すフローチャートである。
(第1の実施形態)
本実施形態においては、本実施形態にかかる情報処理システムを、道路の一部に敷設された専用レーンを走行するトラムに適用した例を説明する。トラムは、本実施形態における車両の一例である。本実施形態の情報処理システムは、トラムの撮像装置が撮像した撮像画像を用いて、トラムに搭載された車載装置が受信したGPS信号に基づく位置情報よりも、高精度にトラムの位置を特定する。
図1は、本実施形態にかかる情報処理システムS1の全体構成の一例を示す図である。図1に示すように、本実施形態にかかる情報処理システムS1は、専用レーン(図4に図示)を走行するトラム1と、当該トラム1の運行を管理する運行管理センターに設置された情報処理装置2と、を有する。トラム1と情報処理装置2とは、無線基地局Bを介して、無線通信可能である。情報処理装置2は、例えばトラム1の運行を管理するサーバである。
図2は、本実施形態にかかるトラム1の構成の一例を示す図である。図2に示すように、トラム1は、撮像装置11と、車載装置12と、通信装置13と、を有する。
撮像装置11は、専用レーンおよび当該専用レーンの周囲を撮像可能な広角カメラ等である。撮像装置11は、例えば、専用レーンの周囲に隣接する、一般車両が走行する一般レーン、および、道路の周囲の標識やビル(建物)、木等の物体を撮像する。
本実施形態においては、専用レーンを走行するトラム1の撮像装置11から撮像可能な物体のうち、移動しない物体であり、かつ、形状、色、模様(文字含む)などが特徴的なものを、ランドマークと称する。形状、色、模様(文字含む)などが特徴的であるとは、画像処理を行う際にランドマークを抽出可能な程度に、周囲の風景と当該ランドマークとの違いが明確であることである。例えば、形状が円や矩形であることや、色が赤色であることをランドマークの条件としても良い。また、ランドマークは、必ずしも1つの建物等の全体を示すものでなくとも良い。例えば、あるビルの本体部分と、当該ビルの屋上に設置されたモニュメントとが、それぞれ、別のランドマークとしても良い。この場合、1つのビルが、2つのランドマークとなる。
また、通信装置13は、情報処理装置2等の外部装置と通信可能である。
車載装置12は、撮像装置11が撮像した撮像画像を取得し、通信装置13を介して、撮像画像を情報処理装置2に送信する。
図3は、本実施形態にかかるトラム1のコックピットの構成の一例を示す図である。図3に示すように、トラム1のコックピット(操縦席)には、マスターコントローラ14と、メータ15と、撮像装置11と、GPS受信機16と、表示装置17と、を有する。
マスターコントローラ14は、トラム1の速度を遠隔制御する装置である。メータ15は、トラム1の速度等を表示する。
撮像装置11は、上述したように、専用レーンおよび当該専用レーンの周囲を撮像可能に設けられている。本実施形態では、撮像装置11は、トラム1の操縦席に向かって左右方向に離間して配置されたステレオカメラ11−1,11−2である。図3に示す撮像装置11の設置位置、および設置台数は一例であり、これに限定されるものではない。また、撮像装置11はステレオカメラに限らず、単眼カメラ等でも良い。
ここで、運行に用いられるトラム1に設置された撮像装置11が撮像した撮像画像は、トラム1の位置を特定するために用いられるため、位置特定用撮像画像という。また、後述の、登録用の情報を収集するトラム1に搭載された撮像装置11によって撮像された撮像画像を、登録用撮像画像という。図1〜4で説明するトラム1に設置された撮像装置11によって撮像される撮像画像は、位置特定用撮像画像とする。登録用撮像画像と位置特定用撮像画像の詳細については後述する。
また、表示装置17は、撮像装置11の撮像により得られる位置特定用撮像画像等の各種情報を表示可能である。
GPS(Global Positioning System)受信機16は、GPS衛星から受信したGPS信号に基づいて、トラム1の位置を取得する。
図4は、本実施形態にかかるGPS信号によるトラム1の位置の取得の一例を説明するための図である。図4に示すように、GPS受信機16は、GPSアンテナを介して、GPS衛星ST(図4に図示)からGPS信号を受信し、当該受信したGPS信号に基づいて、トラム1の位置を計測する。
また、図4に示すように、撮像装置11は、トラム1が走行する専用レーンELに加えて、専用レーンELに隣接する一般レーンALを撮像可能である。
車載装置12は、GPS信号から計測されたトラム1の位置を示す情報と、撮像装置11によって撮像された撮像画像と、当該撮像画像の撮像時刻とを、無線基地局Bを介して、情報処理装置2に送信する。トラム1の位置を示す情報は、例えば緯度と経度である。本実施形態では、GPS信号から計測されたトラム1の位置を示す情報を、GPS位置情報、という。
また、本実施形態の車載装置12および情報処理装置2は、例えば、CPUと、ROM(Read Only Memory)やRAM(Random Access Memory)等の記憶装置と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の外部記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
図5は、本実施形態にかかる車載装置12および情報処理装置2の機能的構成の一例を示す図である。本実施形態にかかる情報処理システムS1の車載装置12は、取得部121と、送信部122とを備える。
取得部121は、撮像装置11から、位置特定用撮像画像と、当該位置特定用撮像画像の撮像時刻とを取得する取得部である。また、取得部121は、GPS受信機16から、当該位置特定用撮像画像の撮像時刻における、GPS受信機16が計測したトラム1のGPS位置情報を取得する。
送信部122は、取得部121が取得した位置特定用撮像画像と、当該位置特定用撮像画像の撮像時刻と、当該位置特定用撮像画像の撮像時刻におけるGPS位置情報と、を対応付けて情報処理装置2に送信する送信部である。
また、情報処理装置2は、受信部21と、検出部22と、抽出部23と、変換部24と、位置特定部25と、出力部26と、記憶部200と、を備える。
記憶部200は、ランドマークデータベース(DB)201と、仕様変換情報202と、撮像角度変換情報203と、を記憶する記憶部である。また、記憶部200は、HDD等の記憶装置である。
ランドマークデータベース201は、トラム1が走行する専用レーンELの周囲に存在するランドマークについての情報が、予め登録されたデータベースである。例えば、ランドマークデータベース201には、ランドマークに関する情報を登録するために、例えば、登録用の情報を収集するトラム1を使用して収集した、ランドマークに関する情報が登録される。
ランドマークデータベース201に登録する情報を収集するトラム1は、通常の運行に用いられるトラム1が利用されても良いし、登録する情報を収集するための専用のトラム1を使用しても良い。また、トラム1を使用せず、管理者等が専用レーン上に撮像装置およびGPS受信機を設置して、ランドマークデータベース201に登録する情報を収集しても良い。
図6は、本実施形態にかかるランドマークデータベース201のデータ構成の一例を示す図である。図6に示すように、ランドマークデータベース201は、ランドマークセット番号と、撮像位置情報と、ランドマーク1〜nに関する登録ランドマーク情報とを有する。
撮像位置情報は、登録用の情報を収集するトラム1に搭載された撮像装置11によって登録用撮像画像が予め撮像された際のトラム1の位置を示す緯度と経度である。撮像位置情報は、通常の運行においてGPS受信機16を用いて計測されるGPS位置情報よりも、高精度にトラム1の位置を示すものとする。例えば、登録用の情報を収集する専用のトラム1は、通常の運行に用いられるトラム1が搭載しているものよりも高精度なGPS受信機16を搭載し、高精度なGPS位置情報を計測してもよい。また、専用レーンELの同じコースにおいてGPS位置情報を複数回計測した結果から、統計的により高精度に算出された緯度と経度が撮像位置情報として登録されても良い。また、本実施形態においては、撮像位置情報は、登録用撮像画像が撮像された際のトラム1の位置を示すとしているが、実際にトラム1に搭載されたGPS受信機16等で計測されたGPS位置情報から求められたものではなくとも良い。例えば、撮像位置情報は、トラム1に搭載された撮像装置11が登録用撮像画像を撮像する場合にトラム1が位置すると推定される位置を、測量者等が計測することによって求めた位置であっても良い。
ランドマークセット番号は、ランドマークセットを識別する識別情報である。ランドマークセットは、ある位置で撮像された登録用撮像画像に表される複数のランドマークの組み合わせである。図6に示すランドマークデータベース201のレコードは、撮像位置情報またはランドマークセット番号によって特定される。
登録ランドマーク情報は、1つのランドマークセットに含まれる個々のランドマークの特徴を表す情報である。登録ランドマーク情報は、登録用撮像画像に表されるランドマークの形状、色、模様、模様(文字含む)の何れかと、登録用撮像画像上でランドマークが表される範囲を示す座標と、を含む。本実施形態においては、登録ランドマーク情報は、図6に示すように、登録用撮像画像に表されるランドマークの種類、形状、色、座標を含む。
種類は、当該ランドマークがどのような物体であるかを示す。例えば、標識、ビル(建物)、看板、木等がランドマークの種類として用いられる。種類は、例えば、管理者等がランドマークデータベース201を登録および更新等する際に参照される。
形状は、登録用撮像画像に表されるランドマークの形状であり、例えば、円や矩形等である。登録用撮像画像におけるランドマークの形状をより詳細に示す情報が登録されても良い。
座標は、登録用撮像画像上でランドマークが表される範囲を示す。より詳細には、座標は、所定の解像度の登録用撮像画像において、ランドマークの画像が、登録用撮像画像上のどの範囲に位置するかを、x座標(横)とy座標(縦)とで示す。
例えば、図6に示す“緯度:a1、経度:b1”の位置で撮像された登録用撮像画像には、座標“x1,y1〜x2,y2”の範囲に、形状が“円”で、色が“赤色”の“標識”が表される。当該標識を、当該撮像位置におけるランドマーク1とし、同じ登録用撮像画像の座標“x3,y3〜x4,y4”の範囲に表される、形状が“矩形”で、色が“灰色”の“ビル”を、ランドマーク2とする。また、“緯度:a1、経度:b1”の位置で撮像された登録用撮像画像に表された標識とビルとの組み合わせ(ランドマークセット)を、ランドマークセット番号“1”として識別する。また、登録ランドマーク情報はランドマークセット番号ごとに登録されるため、ランドマークセット番号が異なれば、同じ“ランドマーク1”でも異なる物体を示す情報となる。
図6に示すランドマークデータベース201のデータ構成は一例であり、これに限定されるものではない。例えば、ランドマークデータベース201は、さらに、各ランドマークセットに含まれるランドマークの数を示すランドマーク数を、有しても良い。例えば、ランドマークセット番号“1”のランドマークセットには2つのランドマークが含まれるので、ランドマーク数は“2”となる。
また、ランドマークの形状と色は登録用撮像画像に表されるランドマークの特徴の一例であり、他の特徴がランドマークデータベース201に登録されても良い。また、ランドマークデータベース201は、ランドマークの形状、色、模様(文字含む)のいずれか1つを含むものであっても良い。また、ランドマークデータベース201は、種類を有しない構成であってもよい。
図5に戻り、仕様変換情報202は、運行に用いられるトラム1に設置された撮像装置11が撮像した位置特定用撮像画像から、後述の抽出部23によって抽出されたランドマークに関する情報(以下、撮像ランドマーク情報)を、登録用の情報を収集するトラム1に設置された撮像装置11で撮像された場合の撮像ランドマーク情報に変換するための情報である。
より詳細には、運行に用いられるトラム1に設置された撮像装置11と、登録用の情報を収集するトラム1に設置された撮像装置11との仕様が異なる場合がある。このため、登録用の情報を収集するトラム1に設置された撮像装置11の仕様を標準の仕様とし、当該標準の仕様に合わせて撮像ランドマーク情報を、後述の変換部24によって変換する。
ここでいう撮像装置11の仕様とは、レンズの焦点距離、撮像素子のサイズ、画素等である。例えば、レンズの焦点距離が異なると、画角が異なるため、撮像画像におけるランドマークが表される画像範囲の位置が変わる。
図7は、本実施形態にかかる位置特定用撮像画像900と登録用撮像画像901の一例を示す図である。運行に用いられるトラム1に設置された撮像装置11と、登録用の情報を収集するトラム1に設置された撮像装置11との仕様が異なると、図7に示すように、撮像画像におけるランドマークL1,L2が表される位置に差異が生じる。以下、ランドマークL1とランドマークL2とを特に区別しない場合には、ランドマークLという。
本実施形態における仕様変換情報202は、位置特定用撮像画像900におけるランドマークが表された画像範囲を示す座標を、標準の仕様で撮像された場合における座標に変換するための変換パラメータ情報である。これは一例であり、仕様変換情報202の内容は、これに限定されるものではない。また、仕様変換情報202は、座標以外の情報を変換するものとしても良い。
なお、本実施形態においては、仕様変換情報202は、撮像ランドマーク情報を変換するための変換パラメータ情報であるが、位置特定用撮像画像900を、登録用の情報を収集するトラム1に設置された撮像装置11で撮像された場合の位置特定用撮像画像900に変換するための変換パラメータ情報であっても良い。
図5に戻り、撮像角度変換情報203は、撮像ランドマーク情報を、位置特定用撮像画像900を撮像した撮像装置11の撮像角度が異なる場合における撮像ランドマーク情報に変換するための情報である。「位置特定用撮像画像900を撮像した撮像装置11の撮像角度」は「位置特定用撮像画像900の撮像角度」ともいう。
例えば、運行に用いられるトラム1に設置された撮像装置11と、登録用の情報を収集するトラム1に設置された撮像装置11との設置角度または位置が異なる場合がある。このような場合、同じ位置で撮像された登録用撮像画像901と、位置特定用撮像画像900とで撮像角度に差異が生じて、撮像画像におけるランドマークが表される画像範囲の位置が変わる。このような場合に、登録用撮像画像901と同じ位置で撮像した位置特定用撮像画像900から抽出された撮像ランドマーク情報が、登録ランドマーク情報と一致しないことがある。そこで、撮像ランドマーク情報を変換することにより、登録ランドマーク情報と一致させることが可能な状態にする。
例えば、本実施形態においては、位置特定用撮像画像900の撮像角度が、登録用の情報を収集するトラム1に設置された撮像装置11の撮像角度(以下、標準の撮像角度という)とどの程度差異があるかは予めわかっていないものとする。このような場合、後述の変換部24によって、撮像ランドマーク情報を、位置特定用撮像画像900の撮像角度を正または負の角度に数度ずつ変換した場合における撮像ランドマーク情報に変換する。
図8は、本実施形態にかかる撮像角度変換情報203の一例を示す図である。図8に示すように、撮像角度変換情報203は、変換角度と、撮像角度変換パラメータとを対応付けた情報である。変換角度は、位置特定用撮像画像900の撮像角度と、変換後の撮像ランドマーク情報における撮像角度との差異である。また、撮像角度変換パラメータは、対応付けられた変換角度分、撮像ランドマーク情報におけるランドマークが表された画像範囲を示す座標を変換するためのパラメータ情報である。
例えば、撮像ランドマーク情報を、位置特定用撮像画像900の撮像角度から、“+1度”変更した撮像角度で撮像された撮像画像から抽出された状態に変換する撮像角度変換パラメータは“p1”である。本実施形態においては、撮像角度変換パラメータは、撮像ランドマーク情報のうち、座標を変換するパラメータであるとする。
図8に示す撮像角度変換情報203の内容は一例であり、これに限定されるものではない。また、撮像角度変換情報203は、座標以外の情報を変換するものとしても良い。
図5に戻り、受信部21は、運行に用いられるトラム1に搭載された車載装置12から、位置特定用撮像画像900と、当該位置特定用撮像画像900の撮像時刻と、当該位置特定用撮像画像900の撮像時刻におけるGPS位置情報とを受信する受信部である。
検出部22は、位置特定用撮像画像900に表されるランドマークLを検出する検出部である。本実施形態の検出部22は、ランドマークLを検出するにあたって、検出処理を行う領域(探索領域)を位置特定用撮像画像900上に設定し、その後に、当該探索領域内に含まれるランドマークLの条件を満たす画像を、位置特定用撮像画像900に表されたランドマークLとして検出する。
より詳細には、検出部22は、ランドマークデータベース201から、受信部21が受信したGPS位置情報が示す位置から所定の範囲に含まれる撮像位置情報を検索する。以下、受信部21が受信したGPS位置情報が示す位置から所定の範囲内に含まれる撮像位置情報と、当該撮像位置情報に対応付けられた情報(ランドマークセット番号、撮像位置情報、登録ランドマーク情報)を、検索結果という。所定の範囲は、例えばGPS位置情報が示す位置から半径10m以下の範囲とするが、これに限定されるものではない。
検出部22は、位置特定用撮像画像900上の、検索結果に含まれる登録ランドマーク情報の座標に基づいて、ランドマークLの探索領域を設定する。
図9は、本実施形態にかかる位置特定用撮像画像900の一例を示す図である。例えば、上述の図6に示したランドマークデータベース201に登録された情報のうち、GPS位置情報が示す位置から所定の範囲内に含まれる撮像位置情報は“緯度:a1、経度b:1”であるとする。この場合、ランドマークセット番号“1”に対応付けられた情報が検索結果に含まれる。当該検索結果に基づいて、ランドマークセット番号“1”に対応付けられた座標“x1,y1〜x2,y2”、“x3,y3〜x4,y4”付近の画像範囲が、位置特定用撮像画像900上で、探索領域として設定される。
図9に示す探索領域A1,A2は、検索結果に含まれる登録ランドマーク情報の座標付近の画像範囲である。位置特定用撮像画像900と登録用撮像画像901とではランドマークが表される画像範囲の座標が異なる場合があるため、探索領域A1,A2は登録ランドマーク情報の座標が示す画像範囲よりも広い範囲が設定される。また、検索結果が複数のランドマークセット番号を含む場合は、それぞれのランドマークセット番号に対応付けられた登録ランドマーク情報に基づいて、探索領域が設定される。
そして、検出部22は、探索領域A1,A2に対して、エッジ検出や色の検出を、公知の手法により実行し、探索領域A1,A2に表された物体の形状および色を検出することにより、ランドマークLの条件を満たす画像を、位置特定用撮像画像900に表されたランドマークL1,L2としてそれぞれ検出する。例えば、検出部22は、探索領域A1,A2から円形または矩形の形状の画像を検出し、また、当該円形または矩形の画像の色を検出する。
このように検出部22が探索領域A1,A2を設定することにより、位置特定用撮像画像900の全体に対して検出処理を実行する場合と比較して、計算コストや処理負荷を低減することができる。なお、位置特定用撮像画像900に表されるランドマークを検出する手法は、これに限定されるものではない。
また、検出部22がGPS位置情報に基づいてランドマークデータベース201から検索した検索結果は、位置特定部25においても用いられる。位置特定部25の機能の詳細については、後述する。
図5に戻り、抽出部23は、検出部22によって検出されたランドマークLの特徴を表す情報である撮像ランドマーク情報を抽出する抽出部である。
撮像ランドマーク情報は、位置特定用撮像画像900に表されるランドマークLの形状、色、模様(文字含む)の何れかと、位置特定用撮像画像900上でランドマークLが表される範囲を示す座標とを含む。本実施形態においては、撮像ランドマーク情報は、位置特定用撮像画像900に表されるランドマークLの形状および色と、位置特定用撮像画像900上でランドマークLが表される範囲を示す座標と、である。撮像ランドマーク情報は、登録ランドマーク情報との類否を判断可能な情報であれば良くこれに限定されるものではない。例えば、撮像ランドマーク情報は、ランドマークLの形状、色、模様(文字含む)のいずれか1つを含むものであっても良い。
変換部24は、位置特定用撮像画像900を撮像した撮像装置11の仕様が、標準の仕様と異なる場合に、抽出部23が抽出した撮像ランドマーク情報を、登録用撮像画像901を撮像した撮像装置11で撮像された状態における撮像ランドマーク情報に変換する変換部である。より詳細には、変換部24は、上述の仕様変換情報202を用いて、位置特定用撮像画像900におけるランドマークが表された画像範囲を示す座標を、標準の仕様で撮像された場合における座標に変換する。
また、変換部24は、撮像ランドマーク情報を、位置特定用撮像画像900の撮像角度が異なる場合における撮像ランドマーク情報に変換する。より詳細には、変換部24は、上述の撮像角度変換情報203を用いて、位置特定用撮像画像900におけるランドマークが表された画像範囲を示す座標を、異なる撮像角度で撮像された場合における座標に変換する。本実施形態においては、位置特定用撮像画像900の撮像角度が、標準の撮像角度とどの程度差異があるかは予めわかっていないため、変換部24は、撮像角度変換情報203に登録された複数の変換角度のそれぞれに応じて、撮像角度変換後の撮像ランドマーク情報を生成する。
また、本実施形態の変換部24は、後述の位置特定部25によって撮像ランドマーク情報と登録ランドマーク情報とが比較された後、撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数が一致するランドマークセットがない場合に、再度の比較処理の前に、撮像角度の変換を実行する。撮像角度の変換の実行のタイミングは、これに限定されるものではない。
なお、変換部24は、撮像ランドマーク情報ではなく、位置特定用撮像画像900を、標準の仕様や、異なる撮像角度で撮像された状態に変換する構成を採用しても良い。
位置特定部25は、撮像ランドマーク情報と類似する登録ランドマーク情報を含むランドマークセットの識別情報に対応付けられた撮像位置情報が示す位置を、位置特定用撮像画像900の撮像時刻におけるトラム1の位置として特定する位置特定部である。
より詳細には、位置特定部25は、変換部24が、標準の仕様で撮像された場合における座標に変換した後の、複数の撮像ランドマーク情報と、前述の検出部22によってランドマークデータベース201からGPS位置情報で検索された検索結果に含まれる複数の登録ランドマーク情報とをそれぞれ比較する。
そして、位置特定部25は、ランドマークセット番号に対応付けられた登録ランドマーク情報のうち、所定の数以上の登録ランドマーク情報が、位置特定用撮像画像900から抽出された撮像ランドマーク情報と一致する場合に、当該ランドマークセット番号に対応付けられた撮像位置情報を、位置特定用撮像画像900の撮像時刻におけるトラム1の位置として特定する。
ここで、位置特定部25が、比較対象を、GPS位置情報で検索された検索結果に含まれる登録ランドマーク情報に限定するのは、比較対象の登録ランドマーク情報を削減することにより処理負荷および処理時間を低減するためである。本実施形態においては、受信部21が受信したGPS位置情報よりも、トラム1の位置を高精度に検出することを目的としている。このため、ランドマークデータベース201に記憶されている複数の登録ランドマーク情報と、撮像ランドマーク情報と、を比較することで、トラム1の位置を特定する。しかしながら、ランドマークデータベース201には、様々な撮像位置情報に対応付けられた登録ランドマーク情報が格納されている。このため、ランドマークデータベース201に記憶されている登録ランドマーク情報の全てについて比較すると、演算負荷が大きくなる。そこで、本実施形態では、位置特定部25は、GPS位置情報が示す位置に基づいて、ランドマークデータベース201の検索領域を限定することとした。なお、ランドマークデータベース201に登録されているランドマークセットの件数が少ない場合等においては、GPS位置情報で限定せずに、全件を比較に用いる構成を採用しても良い。
本実施形態において、所定の数は、ランドマークセット番号に対応付けられた登録ランドマーク情報の過半数とする。例えば、あるランドマークセットに5つのランドマークLが含まれるとする。つまり、ランドマークデータベース201において、あるランドマークセット番号に、5つの登録ランドマーク情報が対応付けられている。この場合、位置特定部25は、3つの登録ランドマーク情報が、撮像ランドマーク情報のいずれかとそれぞれ一致すれば、当該ランドマークセット番号に対応付けられた撮像位置情報を、位置特定用撮像画像900の撮像時刻におけるトラム1の位置として特定する。
このように、位置特定部25は、ランドマークセット番号に対応付けられた登録ランドマーク情報の全てが撮像ランドマーク情報と一致しなくとも、過半数の登録ランドマーク情報が一致するランドマークセット番号に対応付けられた撮像位置情報をトラム1の位置として特定することで、周囲の環境の変化や撮像条件等が変化しても、より高精度にトラム1の位置を特定することができる。例えば、登録用撮像画像901が撮像された時点では存在したいずれかのランドマークLが、位置特定用撮像画像900の撮像時刻においては消失していたり、障害物等に隠れたために位置特定用撮像画像900に表れなかったりする場合がある。このような場合でも、過半数の登録ランドマーク情報が一致するという条件であれば、消失したり隠れたりしていない残りのランドマークLに関する撮像ランドマーク情報と一致する登録ランドマーク情報から、ランドマークセット番号および撮像位置情報を特定して、トラム1の位置を特定することができる。
なお、過半数は、本実施形態における所定の数の一例であり、位置特定用撮像画像900の撮像時刻におけるトラム1の位置を特定する条件は、これに限定されるものではない。
また、位置特定部25は、撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数が一致するランドマークセットがない場合に、変換部24によって撮像角度が変換された撮像ランドマーク情報を用いて、登録ランドマーク情報と再度比較する。
また、位置特定部25は、条件を満たすランドマークセット番号が複数ある場合、撮像ランドマーク情報と一致する登録ランドマーク情報が最も多いランドマークセット番号に対応付けられた撮像位置情報を、位置特定用撮像画像900の撮像時刻におけるトラム1の位置として特定する。
位置特定部25は、撮像ランドマーク情報と登録ランドマーク情報とが完全に同じではない場合であっても、その差が一定の範囲内であれば、一致すると判断するものとしても良い。例えば、撮像ランドマーク情報と登録ランドマーク情報との座標の差が一定の範囲内である場合に、位置特定部25は、撮像ランドマーク情報と登録ランドマーク情報とが一致すると判断しても良い。
また、位置特定部25は、位置特定用撮像画像900と、位置特定用撮像画像900の撮像時刻と、特定した位置特定用撮像画像900の撮像時刻におけるトラム1の位置と、を対応付けて、記憶部200に保存しても良い。
出力部26は、位置特定用撮像画像900と、位置特定用撮像画像900の撮像時刻と、位置特定部25が特定した位置特定用撮像画像900の撮像時刻におけるトラム1の位置と、を対応付けて、不図示の交通管理センターのコンピュータ等に出力(送信)する出力部である。出力の形式はこれに限定されるものではなく、出力部26は、情報処理装置2のディスプレイ(表示部)等に出力しても良い。
次に、上記のように構成された情報処理装置2におけるトラム1の位置を特定する処理について説明する。
図10は、本実施形態にかかる位置特定処理の流れの一例を示すフローチャートである。
まず、受信部21は、運行に用いられるトラム1に搭載された車載装置12から、位置特定用撮像画像900と、当該位置特定用撮像画像900の撮像時刻と、当該位置特定用撮像画像900の撮像時刻におけるGPS位置情報と、を受信する(S1)。
検出部22は、ランドマークデータベース201から、受信部21が受信したGPS位置情報が示す位置から所定の範囲内に含まれる撮像位置情報を検索する(S2)。検出部22は、位置特定用撮像画像900上の、検索結果に含まれる登録ランドマーク情報の座標に基づいて、ランドマークの探索領域A1,A2を設定する。そして、検出部22は、探索領域A1,A2に表された物体の形状、色、模様(文字含む)などを検出することにより、ランドマークの条件を満たす画像を、位置特定用撮像画像900に表されたランドマークL1,L2として検出する(S3)。
抽出部23は、位置特定用撮像画像900から、検出部22によって検出されたランドマークL1,L2の撮像ランドマーク情報(位置特定用撮像画像900に表されるランドマークL1,L2の形状、色、模様(文字含む)、位置特定用撮像画像900上でランドマークL1,L2が表される範囲を示す座標)を抽出する(S4)。
本実施形態においては、位置特定用撮像画像900を撮像した撮像装置11の仕様は、登録用の情報を収集するトラム1に設置された撮像装置11の仕様(標準の仕様)と異なるものとする。そこで、変換部24は、仕様変換情報202を用いて、撮像ランドマーク情報を、予め定められた撮像装置11(つまり、標準の仕様の撮像装置11)で撮像した場合における撮像ランドマーク情報に変換する(S5)。より詳細には、変換部24は、位置特定用撮像画像900におけるランドマークが表された画像範囲を示す座標を、標準の仕様で撮像された場合における座標に変換する。
次に、位置特定部25は、S2のランドマークデータベース201の検索処理の検索結果に含まれる撮像位置情報に対応付けられたランドマークセットごとに、登録ランドマーク情報と、変換部24が変換した撮像ランドマーク情報とを比較する(S6)。
そして、位置特定部25は、撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがあるか否かを判断する(S7)。
撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがある場合(S7“Yes”)、位置特定部25は、撮像ランドマーク情報と一致する登録ランドマーク情報の数が最も多いランドマークセットを特定する(S8)。
そして、位置特定部25は、S8で特定したランドマークセットに対応付けられた撮像位置情報を、位置特定用撮像画像900の撮像時刻におけるトラム1の位置と特定する(S9)。
出力部26は、位置特定用撮像画像900と、位置特定用撮像画像900の撮像時刻と、位置特定部25が特定した位置特定用撮像画像900の撮像時刻におけるトラム1の位置と、を対応付けて、不図示の交通管理センターのコンピュータ等に出力する(S10)。
また、撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがない場合(S7“No”)、変換部24は、撮像ランドマーク情報の撮像角度を変換する(S11)。より詳細には、変換部24は、撮像角度変換情報203を用いて、位置特定用撮像画像900におけるランドマークが表された画像範囲を示す座標を、異なる撮像角度で撮像された場合における座標に変換する。
次に、位置特定部25は、S2のランドマークデータベース201の検索処理の検索結果に含まれる撮像位置情報に対応付けられたランドマークセットごとに、変換部24による撮像角度の変換後の撮像ランドマーク情報と、登録ランドマーク情報とを比較する(S12)。
そして、位置特定部25は、撮像角度の変換後の撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがあるか否かを判断する(S13)。
撮像角度の変換後の撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがある場合(S13“Yes”)、S8の処理へ進む。
また、撮像角度の変換後の撮像ランドマーク情報と、ランドマークセットに含まれる登録ランドマーク情報の過半数とが一致するランドマークセットがない場合(S13“No”)、当該フローチャートの処理は終了する。
このように、本実施形態の情報処理装置2は、撮像位置情報と、ランドマークセット番号と、複数の登録ランドマーク情報と、を対応付けたランドマークデータベース201を記憶する。そして、本実施形態の情報処理装置2は、トラム1に搭載された撮像装置11によって撮像された位置特定用撮像画像900から撮像ランドマーク情報を抽出し、撮像ランドマーク情報と類似する登録ランドマーク情報を含むランドマークセット番号に対応付けられた撮像位置情報が示す位置を、位置特定用撮像画像900を撮像した時点におけるトラム1の位置として特定する。このように、本実施形態の情報処理装置2によれば、複数の登録ランドマーク情報の組み合わせであるランドマークセットを用いるため、一部のランドマークLが消失または障害物等で隠れている場合であっても、高精度にトラム1の位置を特定することができる。
また、本実施形態の情報処理装置2によれば、複数の登録ランドマーク情報の組み合わせであるランドマークセットを用いるため、1つのランドマークLだけでは位置を特定するのが困難な場合であっても、登録用撮像画像901における複数のランドマークの配置(座標)を組み合わせることにより、高精度にトラム1の位置を特定することができる。例えば、本実施形態ではランドマークL1として標識を使用したが、標識1つだけを用いて位置を特定するよりも、他のランドマークL2等と組み合わせることにより、トラム1の位置の特定結果の信頼性が向上する。
さらに、本実施形態の情報処理装置2では、登録ランドマーク情報および撮像ランドマーク情報は、登録用撮像画像901または位置特定用撮像画像900に表されるランドマークLの形状、色、模様、文字の何れかと、座標とを含む。そして、本実施形態の情報処理装置2は、登録ランドマーク情報と撮像ランドマーク情報とに含まれるランドマークLの形状、色、模様、文字の何れかと、座標と、がそれぞれ類似するか否かを判断し、位置特定用撮像画像900を撮像した時点におけるトラム1の位置を、緯度と経度で特定する。このため、本実施形態の情報処理装置2によれば、単に登録用撮像画像901と位置特定用撮像画像900とを比較するよりも、処理時間および処理負荷を低減することができる。
さらに、本実施形態の情報処理装置2は、ランドマークセットに含まれる複数の登録ランドマーク情報のうち、所定の数以上の登録ランドマーク情報が撮像ランドマーク情報と一致する場合、ランドマークセットの識別情報に対応付けられた撮像位置情報が示す位置を、位置特定用撮像画像900を撮像した時点におけるトラム1の位置として特定する。このため、本実施形態の情報処理装置2によれば、撮像条件等により位置特定用撮像画像900が登録用撮像画像901と完全に一致しない場合であっても、これらの撮像画像のそれぞれに表された複数のランドマークLの配置が類似する場合に、撮像位置情報を特定することができるため、トラム1の位置を高精度に特定することができる。
さらに、本実施形態の情報処理装置2は、位置特定用撮像画像900を撮像した撮像装置11の仕様が登録用撮像画像901を撮像した撮像装置11の仕様と異なる場合、撮像ランドマーク情報を、登録用撮像画像901を撮像した撮像装置11で撮像された状態における撮像ランドマーク情報に変換した後に登録ランドマーク情報との比較をする。このため、本実施形態の情報処理装置2によれば、運行に使用するトラム1に設置された撮像装置11が標準の仕様と異なる場合であってもトラム1の位置を高精度に特定することができる。例えば、本実施形態の情報処理装置2によれば、トラム1に既設のカメラ等を撮像装置11として使用して、トラム1の位置を特定することができる。
さらに、本実施形態の情報処理装置2は、撮像ランドマーク情報を、位置特定用撮像画像900の撮像角度が異なる場合における撮像ランドマーク情報に変換する。このため、本実施形態の情報処理装置2によれば、運行に使用するトラム1に設置された撮像装置11の撮像角度が、標準の撮像角度とは異なる場合であっても、撮像ランドマーク情報を変換することにより、トラム1の位置を特定することができる。また、このような構成を備えることにより、本実施形態の情報処理装置2によれば、各トラム1に設置された撮像装置11の撮像角度ごとの登録ランドマーク情報をランドマークデータベース201に予め登録しておかなくとも良いため、データ容量を削減することができる。
なお、本実施形態におけるトラム1は専用レーン走行車両の一例であり、トラム1以外の専用レーン走行車両に情報処理システムを適用しても良い。他の専用レーン走行車両の例としては、路面電車や、ガイドウェイと呼ばれる専用レーンを走行するガイドウェイバス等がある。
(変形例1)
第1の実施形態では、情報処理装置2が位置特定処理を実行していたが、位置特定処理の一部またはすべてを車載装置12が実行する構成を採用しても良い。
例えば、車載装置12が検出部22を備え、位置特定用撮像画像900からランドマークLを検出する構成を採用しても良い。当該構成を採用する場合、送信部122はランドマークLが検出された場合にのみ、位置特定用撮像画像900と、位置特定用撮像画像900から検出したランドマークLが表された位置を示す座標と、撮像時刻と、GPS位置情報と、を対応付けて情報処理装置2に送信しても良い。上述の車載装置12が実行する処理は一例であり、これに限定されるものではない。
(変形例2)
第1の実施形態では、位置特定用撮像画像900の撮像角度が、標準の撮像角度とどの程度差異があるかは予めわかっていないものとしていた。このため、第1の実施形態では、変換部24は、撮像角度変換情報203に登録された複数の変換角度のそれぞれに応じて、撮像角度変換後の撮像ランドマーク情報を生成していた。
しかしながら、位置特定用撮像画像900の撮像角度と標準の撮像角度との差異があらかじめ分かっている場合は、変換部24は、撮像ランドマーク情報を、標準の撮像角度で撮像された場合における撮像ランドマーク情報に変換しても良い。例えば、位置特定用撮像画像900の撮像角度と標準の撮像角度との差異は、記憶部200に予め保存されるものとしても良い。
より詳細には、本変形例の変換部24は、撮像角度変換情報203から、位置特定用撮像画像900の撮像角度と標準の撮像角度との差異と一致する変換角度を取得する。そして、変換部24は、取得した変換角度を用いて、位置特定用撮像画像900におけるランドマークLが表された画像範囲を示す座標を、標準の撮像角度で撮像された場合における座標に変換する。当該構成を採用する場合は、変換部24は、撮像ランドマーク情報を複数の変換角度ごとに生成しなくともよいため、変換における処理負荷を低減することができる。
(変形例3)
本変形例の位置特定部25は、撮像ランドマーク情報を用いてトラム1の位置を特定できない走行区間がある場合は、当該区間の前後で撮像ランドマーク情報を用いて特定した位置とトラム1の移動量とに基づいて、当該走行区間内のトラム1の位置を特定する。
より詳細には、位置特定部25は、トラム1の移動距離および移動方向を、例えば、不図示の車輪速センサ等から取得した車輪の回転数と、予め設定された車輪の円周と、不図示の操舵角センサ等から取得した操舵角と、から算出する。トラム1の移動量の算出の手法はこれに限定されるものではない。そして、位置特定部25は、撮像ランドマーク情報を用いて特定した位置と、当該位置からトラム1が移動した距離および移動方向とから、トラム1の走行位置を特定する。
また、トラム1の位置を特定できない走行区間の後に、位置特定部25が再び撮像ランドマーク情報を用いてトラム1の位置を特定できる場合がある。また、このような場合において、移動量から特定したトラム1の走行位置と、再び撮像ランドマーク情報を用いて特定したトラム1の位置に差異が生じている場合がある。この場合、位置特定部25は、撮像ランドマーク情報を用いて特定できた位置を用いて、移動量から特定したトラム1の走行位置の情報を補正しても良い。
(第2の実施形態)
本実施形態では、情報処理装置は、ランドマークの消失や出現等に応じて、ランドマークデータベース201に対して情報の削除または追加を行う。
本実施形態の情報処理システムの全体構成は、図1〜4で説明した第1の実施形態の構成と同様である。また、本実施形態の車載装置および情報処理装置のハードウェア構成は、第1の実施形態と同様である。
図11は、本実施形態にかかる車載装置12および情報処理装置1002の機能的構成の一例を示す図である。本実施形態にかかる情報処理システムS2の車載装置12は、第1の実施形態と同様に、取得部121と、送信部122とを備える。取得部121と、送信部122の機能は、第1の実施形態と同様である。
また、本実施形態の情報処理装置1002は、受信部21と、検出部22と、抽出部23と、変換部24と、位置特定部1025と、出力部26と、データ更新部27と、記憶部1200と、を備える。
受信部21と、検出部22と、抽出部23と、変換部24と、出力部26とは、第1の実施形態と同様の機能を備える。
記憶部1200は、ランドマークデータベース201と、仕様変換情報202と、撮像角度変換情報203と、過去情報204と、を記憶する。ランドマークデータベース201と、仕様変換情報202と、撮像角度変換情報203とは、第1の実施形態と同様である。
過去情報204は、過去に情報処理装置1002が受信した位置特定用撮像画像900に関する情報が時系列に記憶されたものである。本実施形態においては、過去情報204は、位置特定用撮像画像900と、位置特定用撮像画像900の撮像時刻と、位置特定用撮像画像900の撮像時刻におけるトラム1の位置(以下、トラム1の位置という)と、当該位置特定用撮像画像900から抽出された撮像ランドマーク情報と、が対応付けられた情報とする。
過去情報204のトラム1の位置は、位置特定部1025が位置を特定した場合は位置特定部1025が特定した位置が採用され、位置特定部1025が位置を特定しなかった場合は、GPS位置情報が採用されるものとする。また、撮像ランドマーク情報は、変換部24によって標準の仕様の状態に変換された後の撮像ランドマーク情報とする。
過去情報204として保存される情報は、これらに限定されるものではない。また、過去情報204は、情報処理装置1002と接続した外部装置等に記憶されるものとしても良い。
位置特定部1025は、第1の実施形態の機能を備えた上で、記憶部1200に、位置特定用撮像画像900と、位置特定用撮像画像900の撮像時刻と、位置特定用撮像画像900の撮像時刻におけるトラム1の位置と、当該位置特定用撮像画像900から抽出された撮像ランドマーク情報と、を対応付けて、過去情報204として保存する。
データ更新部27は、位置特定用撮像画像900から、当該位置特定用撮像画像900を撮像した位置と同一の位置で撮像された登録用撮像画像901に表されたランドマークLが検出されなくなった場合に、検出されなくなったランドマークLの登録ランドマーク情報を、ランドマークデータベース201から削除する。
より詳細には、データ更新部27は、過去情報204とランドマークデータベース201とを参照し、ランドマークデータベース201に登録された撮像位置情報と登録ランドマーク情報の組み合わせのうち、過去情報204のトラム1の位置と撮像ランドマーク情報の組み合わせとを比較する。単に登録ランドマーク情報と撮像ランドマーク情報とを比較すると、別々の場所に類似するランドマークLを同一のものと誤判断する場合があるため、位置情報とトラム1の位置とが一致する登録ランドマーク情報と撮像ランドマーク情報とを比較する。
このとき、比較に用いる過去情報204は、過去の所定の期間に撮像された位置特定用撮像画像900に対応付けられたものとする。所定の期間は、例えば1ヶ月とするが、これに限定されるものではない。
そして、データ更新部27は、撮像ランドマーク情報のいずれにも一致しない登録ランドマーク情報があった場合に、当該登録ランドマーク情報が示すランドマークLが検出されなくなったものと判断する。この場合、データ更新部27は、当該登録ランドマーク情報を、ランドマークデータベース201から削除する。
ここで、「撮像ランドマーク情報のいずれにも一致しない」とは、ランドマークLが所定の期間に同じ位置(過去情報204のトラム1の位置)で撮像された複数の位置特定用撮像画像900のいずれからも検出されないことをいう。
また、データ更新部27は、撮像装置11が同一の位置から撮像した複数の位置特定用撮像画像900から、記憶部1200に登録されていないランドマークLが検出された場合に、当該ランドマークLの特徴を表す登録ランドマーク情報を記憶部1200に登録(追加)する。
より詳細には、データ更新部27は、過去情報204とランドマークデータベース201とを参照し、ランドマークデータベース201に登録された撮像位置情報と登録ランドマーク情報の組み合わせのうち、過去情報204のトラム1の位置と撮像ランドマーク情報の組み合わせとを比較する。
そして、データ更新部27は、過去情報204のトラム1の位置と同じ位置を示す位置情報と対応付けられた登録ランドマーク情報のいずれにも一致しない撮像ランドマーク情報があった場合に、当該撮像ランドマーク情報が示すランドマークLが、新たに検出されたものと判断する。そして、データ更新部27は、当該撮像ランドマーク情報が抽出された回数が閾値以上である場合に、データ更新部27は、当該撮像ランドマーク情報を、過去情報204のトラム1の位置と同じ位置を示す位置情報と、当該位置情報に対応付けられたランドマークセット番号とに対応付けて、登録ランドマーク情報として、ランドマークデータベース201に登録する。
撮像ランドマーク情報が抽出された回数の閾値は、一次的に設置された構造物や、移動する物体等が登録されることを抑制するために設けられる。閾値の値はトラム1の運行状況や周囲の環境に応じて適宜設定されても良い。
また、データ更新部27は、過去情報204に、ランドマークデータベース201に登録された位置情報と一致しないトラム1の位置に対応付けられた複数の撮像ランドマーク情報が保存されている場合、新たなランドマークセット番号を生成して、ランドマークデータベース201に登録しても良い。ここでいう複数の撮像ランドマーク情報は、同じ位置特定用撮像画像900から、複数の撮像ランドマーク情報が抽出された、ということをいう。
この場合、データ更新部27は、ランドマークデータベース201にまだ登録されていないランドマークセット番号を、新たなランドマークセット番号として生成する。データ更新部27は、当該新たなランドマークセット番号と、過去情報204に保存されたトラム1の位置と、当該トラム1の位置において撮像された位置特定用撮像画像900から抽出された複数の撮像ランドマーク情報と、を対応付けて、ランドマークデータベース201のランドマークセット番号、撮像位置情報、登録ランドマーク情報、として登録する。
また、本実施形態における位置特定処理の流れは、図10で説明した第1の実施形態と同様である。
次に、本実施形態におけるランドマークデータベース201から登録ランドマーク情報を削除する処理について説明する。
図12は、本実施形態にかかる登録ランドマーク情報の削除の処理の流れの一例を示すフローチャートである。
まず、データ更新部27は、過去情報204とランドマークデータベース201とを参照し、所定の期間に同じ位置(過去情報204のトラム1の位置)で撮像された複数の位置特定用撮像画像900のいずれからも検出されなくなったランドマークLの有無を判断する(S21)。
所定の期間に同じ位置で撮像された複数の位置特定用撮像画像900のいずれからも検出されなくなったランドマークLがある場合(S21“Yes”)、ランドマークデータベース201から、検出されなくなったランドマークに対応する登録ランドマーク情報を削除する(S22)。
所定の期間に同じ位置で撮像された複数の位置特定用撮像画像900のいずれからも検出されなくなったランドマークLがない場合(S21“No”)、当該フローチャートの処理は終了する。
次に、本実施形態におけるランドマークデータベース201に対して登録ランドマーク情報を追加する処理について説明する。
図13は、本実施形態にかかる登録ランドマーク情報の追加の処理の流れの一例を示すフローチャートである。
まず、データ更新部27は、過去情報204とランドマークデータベース201とを参照し、登録ランドマーク情報のいずれにも一致しない撮像ランドマーク情報があるか否かを判断する(S121)。ここで、「登録ランドマーク情報のいずれにも一致しない」とは、過去情報204のトラム1の位置と同じ位置を示す位置情報と対応付けられた登録ランドマーク情報のいずれにも一致しない場合と、撮像ランドマーク情報に対応付けられたトラム1の位置が、ランドマークデータベース201に登録された位置情報のいずれとも一致しない場合と、の両方を含む。
登録ランドマーク情報のいずれにも一致しない撮像ランドマーク情報がある場合(S121“Yes”)、データ更新部27は、当該撮像ランドマーク情報が抽出された回数が閾値以上であるか否かを判断する(S122)。
当該撮像ランドマーク情報が抽出された回数が閾値以上である場合(S122“Yes”)、データ更新部27は、当該撮像ランドマーク情報を、登録ランドマーク情報として、ランドマークデータベース201に追加する(S123)。
より詳細には、過去情報204のトラム1の位置と同じ位置を示す位置情報と対応付けられた登録ランドマーク情報のいずれにも一致しない場合、データ更新部27は、既にランドマークデータベース201に登録されているランドマークセット番号と、撮像位置情報と対応付けて、当該撮像ランドマーク情報を、登録ランドマーク情報として追加する。また、撮像ランドマーク情報に対応付けられたトラム1の位置が、ランドマークデータベース201に登録された位置情報のいずれとも一致しない場合、データ更新部27は、新たなランドマークセット番号と、過去情報204に保存されたトラム1の位置と、当該トラム1の位置において撮像された位置特定用撮像画像900から抽出された複数の撮像ランドマーク情報と、を対応付けて、ランドマークデータベース201に追加する。
また、登録ランドマーク情報のいずれにも一致しない撮像ランドマーク情報がない場合(S121“No”)、または、登録ランドマーク情報のいずれにも一致しない撮像ランドマーク情報が抽出された回数が閾値未満である場合(S122“No”)、当該フローチャートの処理は終了する。
図12、図13に示すフローチャートの処理は、例えば、一定期間ごとに定期的に実行されても良い。
このように、本実施形態の情報処理装置1002は、検出されなくなったランドマークLの登録ランドマーク情報を、ランドマークデータベース201から削除するため、ランドマークLが消失等した場合に、ランドマークデータベース201を現実に即した状態に更新することができる。このため、本実施形態の情報処理装置1002によれば、管理者等がランドマークLとして用いられている標識等が撤去されたという情報を収集して、ランドマークデータベース201から登録ランドマーク情報を削除する、という作業の負荷を低減することができる。
さらに、本実施形態の情報処理装置1002は、ランドマークデータベース201に登録されていないランドマークLが検出された場合に、当該ランドマークLの特徴を表す登録ランドマーク情報をランドマークデータベース201に登録する。このため、本実施形態の情報処理装置1002によれば、管理者等が新たに設置された標識や、建設されたビル等の情報を収集して、ランドマークデータベース201に新たに追加する、という作業の負荷を低減することができる。
(第3の実施形態)
本実施形態においては、本実施形態にかかる情報処理システムを、道路を走行するプローブ車両に適用した例を説明する。プローブ車両は、本実施形態における車両の一例である。
本実施形態の情報処理システムは、第1の実施形態と同様に車載装置と情報処理装置2002とを含む。本実施形態の車載装置は、プローブ車両に搭載される。また、プローブ車両は、撮像装置11と、GPS受信機16とを備えるものとする。また、本実施形態の車載装置および情報処理装置のハードウェア構成は、第1の実施形態と同様である。
図14は、実施形態にかかる車載装置1012および情報処理装置2002の機能的構成の一例を示す図である。本実施形態の情報処理システムS3の車載装置1012は、取得部1121と、送信部1122とを備える。
本実施形態の取得部1121は、第1の実施形態の機能を備えた上で、プローブ車両に設置された撮像装置11が向いている方位を取得する。例えば、撮像装置11がプローブ車両の前方正面に設置されている場合は、プローブ車両の向いている方位が撮像装置11が向いている方位となる。このような場合、取得部1121は、GPS位置情報の変化からプローブ車両の進行方向を算出し、当該進行方向をプローブ車両の向いている方位、つまり撮像装置11が向いている方位として取得する。
また、撮像装置11がプローブ車両の後方や、側方、斜め方向等を向いて設置されている場合は、取得部1121は、GPS位置情報から算出されたプローブ車両の向いている方位を算出した上で、撮像装置11が向いている方位との差に応じて変換しても良い。プローブ車両の向いている方位と、撮像装置11が向いている方位との差は、予め、不図示の記憶部等に記憶されていても良い。撮像装置11が向いている方位を求める手法はこれに限定されるものではなく、不図示の加速度センサ等が用いられても良い。
また、本実施形態の送信部1122は、第1の実施形態の機能を備えた上で、取得部1121が取得した、プローブ車両に設置された撮像装置11が向いている方位を示す方位情報を情報処理装置2002に送信する。
また、本実施形態の情報処理装置2002は、受信部1021と、検出部22と、抽出部23と、変換部24と、位置特定部2025と、出力部26と、生成部28と、記憶部2200と、を備える。
検出部22と、抽出部23と、変換部24と、出力部26とは、第1の実施形態と同様の機能を備える。
記憶部2200は、ランドマークデータベース1201と、仕様変換情報202と、撮像角度変換情報203と、を記憶する。仕様変換情報202と、撮像角度変換情報203とは、第1の実施形態と同様である。
本実施形態のランドマークデータベース1201は、第1の実施形態で説明した情報に加えて、方位変換用情報を有する。
図15は、本実施形態にかかるランドマークデータベース1201のデータ構成の一例を示す図である。図15に示すように、ランドマークデータベース1201は、方位変換用情報として、基準方位と、視点番号と、当該視点番号に対応付けられた方位と、方位変換パラメータと、を視点番号ごとに有する。基準方位は、ランドマークデータベース1201への登録用の情報を収集した際に、撮像装置11が向いていた方位である。ランドマークデータベース1201に登録された登録ランドマーク情報は、基準方位を向いた撮像装置11に撮像された登録用撮像画像901から抽出された情報である。
方位変換パラメータは、基準方位を向いた撮像装置11で撮像された位置特定用撮像画像900から抽出された登録ランドマーク情報を、異なる方位を向いた撮像装置11で撮像された場合における登録ランドマーク情報に変換するための情報である。
なお、図15に示す例では、1つのランドマークセット番号に対応付けられる視点番号は2つとしているが、これに限定されるものではない。また、図15では、方位を16方位の“北北西”等の名称で表示したが、方位角を示す数字が登録されても良い。
また、ランドマークデータベース1201のランドマークセット番号、撮像位置情報、登録ランドマーク情報については、第1の実施形態と同様である。また、図15に示すランドマークデータベース1201のデータ構成は一例であり、これに限定されるものではない。例えば、方位変換用情報は、別個のデータベースとして構成されてもよい。
専用レーンELを走行するトラム1とは異なり、プローブ車両に設置された撮像装置11は、様々な視点からランドマークLを撮像する場合がある。例えば、複数のプローブ車両のGPS位置情報が同じであっても、各プローブ車両の撮像装置11が向く方角は異なる場合がある。各プローブ車両の撮像装置11が向く方角の違いは、プローブ車両が走行する道路上の位置が異なる場合や、撮像装置11の設置角度が異なる場合に生じる。
図16は、本実施形態にかかる異なる方位の一例を示す図である。図16に示す基準方位SDは、基準となる視点(基準視点SV)からランドマークL1を撮像した場合における方位である。基準視点SVは、ランドマークデータベース1201への登録用の情報を収集した際のプローブ車両の視点である。また、視点V1は、図15のランドマークデータベース1201の視点番号“1”に相当する視点である。また、視点V2は、視点番号“2”に相当する視点である。そして、方位D1は、視点番号“1”の視点からランドマークL1を撮像する場合における撮像装置11の撮像方向の方位であり、方位D2は、視点番号“2”の視点からランドマークL1を撮像する場合における撮像装置11の撮像方向の方位である。
本実施形態の受信部1021は、第1の実施形態の機能を備えた上で、車載装置1012から、プローブ車両に設置された撮像装置11が向いている方位を示す方位情報を受信する。
生成部28は、ランドマークデータベース1201に登録された登録ランドマーク情報から、受信部1021が受信した方位情報が示す方位を向いて登録用撮像画像901が撮像された場合における登録ランドマーク情報を生成する。例えば、生成部28は、受信部1021が受信した方位情報が示す方位が、ランドマークデータベース1201に登録された基準方位と異なる場合に、各視点ごとの方位のうち、方位情報と一致するものを検索する。そして、生成部28は、受信部1021が受信した方位情報が示す方位と一致する方位に対応付けられた方位変換パラメータを用いて、方位情報が示す方位を向いて撮像された場合における登録ランドマーク情報を生成する。
本実施形態の位置特定部2025は、第1の実施形態の機能を備えた上で、撮像ランドマーク情報と類似する、生成部28に生成された登録ランドマーク情報を含むランドマークセットに対応付けられた撮像位置情報が示す位置を、位置特定用撮像画像900を撮像した時点におけるプローブ車両の位置として特定する。また、位置特定部2025は、受信部1021が受信した方位情報が示す方位が、ランドマークデータベース1201に登録された基準方位と同じ方位である場合は、ランドマークデータベース1201に登録された登録ランドマーク情報を、撮像ランドマーク情報との比較に用いる。
次に、本実施形態における位置特定処理について説明する。
図17は、本実施形態にかかる位置特定処理の流れの一例を示すフローチャートである。
受信部1021は、車載装置1012から、位置特定用撮像画像900と、当該位置特定用撮像画像900の撮像時刻と、当該位置特定用撮像画像900の撮像時刻におけるGPS位置情報と、位置特定用撮像画像900の撮像時刻におけるプローブ車両に設置された撮像装置11が向いていた方位を示す方位情報と、を受信する(S31)。
S2のランドマークデータベース1201の検索の処理から、S5の変換の処理までは、第1の実施形態と同様である。
そして、生成部28は、S2の処理の検索結果に含まれる撮像位置情報に対応付けられたランドマークセットに含まれる登録ランドマーク情報から、受信部1021が受信した方位情報が示す方位と一致する方位に対応付けられた方位変換パラメータを用いて、受信した方位情報に応じた登録ランドマーク情報を生成する(S32)。
そして、位置特定部2025は、S2の処理の検索結果に含まれる撮像位置情報に対応付けられたランドマークセットごとに、生成部28が生成した登録ランドマーク情報と、変換部24が変換した撮像ランドマーク情報とを比較する(S33)。また、位置特定部2025は、S2の処理の検索結果に含まれるランドマークデータベース1201のレコードのうち、受信した方位情報と基準方位が一致するものについては、ランドマークデータベース1201に登録された登録ランドマーク情報をそのまま使用する。
S7の撮像ランドマーク情報と登録ランドマーク情報の過半数が一致するランドマークセットの有無を判断する処理から、S13の撮像角度の変換後の撮像ランドマーク情報を用いた再度の比較の処理までは、第1の実施形態と同様である。
このように、本実施形態の情報処理装置2002は、プローブ車両に設置された撮像装置11が向いている方位を向いて登録用撮像画像901が撮像された場合における登録ランドマーク情報を生成する。このため、本実施形態の情報処理装置2002によれば、プローブ車両に設置された撮像装置11が様々な視点からランドマークLを撮像する場合であっても、プローブ車両の位置を高精度に特定することができる。
また、本実施形態の情報処理装置2002は、撮像装置11が向いている方位に合わせて登録ランドマーク情報を生成するため、方位ごとの登録ランドマーク情報をランドマークデータベース1201に予め登録しておかなくとも良い。このため、本実施形態の情報処理装置2002によれば、ランドマークデータベース1201のデータ容量を削減することができる。
(変形例4)
第3の実施形態では、撮像ランドマーク情報との比較の処理の際に、撮像装置11が向いている方位に合わせて登録ランドマーク情報を生成していたが、本変形例では、予め、方位ごとの登録ランドマーク情報をランドマークデータベース1201に登録する。
また、本変形例では、検出部22がランドマークデータベース1201から、受信部1021が受信したGPS位置情報が示す位置から所定の範囲に含まれる撮像位置情報を検索する際に、さらに、受信部1021が受信した方位情報と一致する方位を検索する。撮像位置情報と方位とで、ランドマークデータベース1201に登録された情報を絞り込むことにより、検索結果に含まれるランドマークセットの数を削減することができる。このため、本実施形態の情報処理装置2002によれば、撮像ランドマーク情報との比較を行う対象の登録ランドマーク情報の数を削減することにより、処理負荷を低減することができる。
以上説明したとおり、第1から第3の実施形態によれば、高精度にトラム1またはプローブ車両の位置を特定することができる。
本実施形態の情報処理装置2,1002,2002で実行される位置特定プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の情報処理装置2,1002,2002で実行される位置特定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置2,1002,2002で実行される位置特定プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の位置特定プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施形態の情報処理装置2,1002,2002で実行される位置特定プログラムは、上述した各部(受信部、検出部、抽出部、変換部、位置特定部、出力部、データ更新部、生成部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から位置特定プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部、検出部、抽出部、変換部、位置特定部、出力部、データ更新部、生成部が主記憶装置上に生成されるようになっている。
また、本実施形態の車載装置12,1012で実行されるプログラムは、ROM等に予め組み込まれて提供される。また、本実施形態の車載装置12,1012で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態の車載装置12,1012で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の車載装置12,1012で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の車載装置12,1012で実行されるプログラムは、上述した各部(取得部、送信部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、送信部が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 トラム
2,1002,2002 情報処理装置
11 撮像装置
12,1012 車載装置
21,1021 受信部
22 検出部
23 抽出部
24 変換部
25,1025,2025 位置特定部
26 出力部
27 データ更新部
28 生成部
121,1121 取得部
122,1122 送信部
200,1200,2200 記憶部
201,1201 ランドマークデータベース
202 仕様変換情報
203 撮像角度変換情報
204 過去情報
900 位置特定用撮像画像
901 登録用撮像画像
A1,A2 探索領域
D1,D2 方位
L,L1,L2 ランドマーク
S1,S2,S3 情報処理システム
SD 基準方位
SV 基準視点
V1,V2 視点

Claims (9)

  1. 車両に搭載された撮像装置によって予め撮像された登録用撮像画像が撮像された際の位置を示す撮像位置情報と、前記登録用撮像画像に表される複数のランドマークの組み合わせであるランドマークセットの識別情報と、前記ランドマークセットに含まれる個々のランドマークに関する情報である登録ランドマーク情報と、を対応付けて記憶する記憶部と、
    前記車両に搭載された車載装置から、前記車両に搭載された前記撮像装置によって撮像された位置特定用撮像画像を受信する受信部と、
    前記位置特定用撮像画像に表される前記ランドマークを検出する検出部と、
    検出された前記ランドマークに関する情報である撮像ランドマーク情報を前記位置特定用撮像画像から抽出する抽出部と、
    前記位置特定用撮像画像を撮像した前記撮像装置の仕様が前記登録用撮像画像を撮像した前記撮像装置の仕様と異なる場合、前記撮像ランドマーク情報を、前記登録用撮像画像を撮像した前記撮像装置で撮像された状態における前記撮像ランドマーク情報に変換する変換部と、
    変換後の前記撮像ランドマーク情報と類似する前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する位置特定部と、
    を備える情報処理装置。
  2. 車両に搭載された撮像装置によって予め撮像された登録用撮像画像が撮像された際の位置を示す撮像位置情報と、前記登録用撮像画像に表される複数のランドマークの組み合わせであるランドマークセットの識別情報と、前記ランドマークセットに含まれる個々のランドマークに関する情報である登録ランドマーク情報と、を対応付けて記憶する記憶部と、
    前記車両に搭載された車載装置から、前記車両に搭載された前記撮像装置によって撮像された位置特定用撮像画像を受信する受信部と、
    前記位置特定用撮像画像に表される前記ランドマークを検出する検出部と、
    検出された前記ランドマークに関する情報である撮像ランドマーク情報を前記位置特定用撮像画像から抽出する抽出部と、
    前記撮像ランドマーク情報と類似する前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する位置特定部と、
    前記位置特定用撮像画像から、当該位置特定用撮像画像を撮像した位置と同一の位置で撮像された前記登録用撮像画像に表された前記ランドマークが検出されなくなった場合に、検出されなくなった前記ランドマークの前記登録ランドマーク情報を、前記記憶部から削除するデータ更新部と、
    を備える情報処理装置。
  3. 前記データ更新部は、前記撮像装置が同一の位置から撮像した複数の前記位置特定用撮像画像から、前記記憶部に登録されていない前記ランドマークが検出された場合に、当該ランドマークの特徴を表す前記登録ランドマーク情報を前記記憶部に登録する、
    請求項2に記載の情報処理装置。
  4. 前記変換部は、さらに、前記撮像ランドマーク情報を、前記位置特定用撮像画像の撮像角度が異なる場合における前記撮像ランドマーク情報に変換する、
    請求項1に記載の情報処理装置。
  5. 前記登録ランドマーク情報は、前記登録用撮像画像に表される前記ランドマークの形状、色、模様、文字の何れかと、前記登録用撮像画像上で前記ランドマークが表される範囲を示す座標と、を含み、
    前記撮像位置情報は、前記位置を示す緯度と経度であり、
    前記撮像ランドマーク情報は、前記位置特定用撮像画像に表される前記ランドマークの形状、色、模様、文字の何れかと、前記位置特定用撮像画像上で前記ランドマークが表される範囲を示す座標と、を含み、
    前記位置特定部は、前記登録ランドマーク情報と前記撮像ランドマーク情報とに含まれる前記ランドマークの形状、色、模様、文字の何れかと、前記座標と、がそれぞれ類似するか否かを判断し、前記撮像ランドマーク情報と類似する前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記緯度と前記経度を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する、
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記位置特定部は、前記ランドマークセットに含まれる複数の前記登録ランドマーク情報のうち、所定の数以上の前記登録ランドマーク情報が前記撮像ランドマーク情報と一致する場合、前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する、
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記車両はプローブ車両であり、
    前記受信部は、さらに、前記プローブ車両に設置された前記撮像装置が向いている方位を示す情報を受信し、
    前記受信部が受信した情報が示す方位が、前記登録用撮像画像を撮像した前記撮像装置が向いていた方位と異なる場合、前記記憶部に記憶された前記登録ランドマーク情報から、前記方位を向いて前記登録用撮像画像が撮像された場合における前記登録ランドマーク情報を生成する生成部、をさらに備え、
    前記位置特定部は、前記撮像ランドマーク情報と類似する、生成された前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する、
    請求項1からのいずれか1項に記載の情報処理装置。
  8. 車載装置と、前記車載装置とネットワークを介して相互に接続された情報処理装置と、を備えた情報処理システムであって、
    車両に搭載された撮像装置によって予め撮像された登録用撮像画像が撮像された際の位置を示す撮像位置情報と、前記登録用撮像画像に表される複数のランドマークの組み合わせであるランドマークセットの識別情報と、前記ランドマークセットに含まれる個々のランドマークに関する情報である登録ランドマーク情報と、を対応付けて記憶する記憶部と、
    前記車両に搭載された前記撮像装置によって撮像された位置特定用撮像画像に表される前記ランドマークを検出する検出部と、
    検出された前記ランドマークに関する情報である撮像ランドマーク情報を、前記位置特定用撮像画像から抽出する抽出部と、
    前記位置特定用撮像画像を撮像した前記撮像装置の仕様が前記登録用撮像画像を撮像した前記撮像装置の仕様と異なる場合、前記撮像ランドマーク情報を、前記登録用撮像画像を撮像した前記撮像装置で撮像された状態における前記撮像ランドマーク情報に変換する変換部と、
    変換後の前記撮像ランドマーク情報と類似する前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する位置特定部と、
    を備える情報処理システム。
  9. 車載装置と、前記車載装置とネットワークを介して相互に接続された情報処理装置と、を備えた情報処理システムであって、
    車両に搭載された撮像装置によって予め撮像された登録用撮像画像が撮像された際の位置を示す撮像位置情報と、前記登録用撮像画像に表される複数のランドマークの組み合わせであるランドマークセットの識別情報と、前記ランドマークセットに含まれる個々のランドマークに関する情報である登録ランドマーク情報と、を対応付けて記憶する記憶部と、
    前記車両に搭載された車載装置から、前記車両に搭載された前記撮像装置によって撮像された位置特定用撮像画像を受信する受信部と、
    前記位置特定用撮像画像に表される前記ランドマークを検出する検出部と、
    検出された前記ランドマークに関する情報である撮像ランドマーク情報を前記位置特定用撮像画像から抽出する抽出部と、
    前記撮像ランドマーク情報と類似する前記登録ランドマーク情報を含む前記ランドマークセットの識別情報に対応付けられた前記撮像位置情報が示す前記位置を、前記位置特定用撮像画像を撮像した時点における前記車両の位置として特定する位置特定部と、
    前記位置特定用撮像画像から、当該位置特定用撮像画像を撮像した位置と同一の位置で撮像された前記登録用撮像画像に表された前記ランドマークが検出されなくなった場合に、検出されなくなった前記ランドマークの前記登録ランドマーク情報を、前記記憶部から削除するデータ更新部と、
    を備える情報処理システム。
JP2017207732A 2017-10-27 2017-10-27 情報処理装置および情報処理システム Active JP6759175B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207732A JP6759175B2 (ja) 2017-10-27 2017-10-27 情報処理装置および情報処理システム
US16/163,680 US11328441B2 (en) 2017-10-27 2018-10-18 Information processing device and information processing system
AU2018253534A AU2018253534B2 (en) 2017-10-27 2018-10-24 Information processing device and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207732A JP6759175B2 (ja) 2017-10-27 2017-10-27 情報処理装置および情報処理システム

Publications (2)

Publication Number Publication Date
JP2019078700A JP2019078700A (ja) 2019-05-23
JP6759175B2 true JP6759175B2 (ja) 2020-09-23

Family

ID=66243106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207732A Active JP6759175B2 (ja) 2017-10-27 2017-10-27 情報処理装置および情報処理システム

Country Status (3)

Country Link
US (1) US11328441B2 (ja)
JP (1) JP6759175B2 (ja)
AU (1) AU2018253534B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7343153B2 (ja) * 2019-08-08 2023-09-12 独立行政法人自動車技術総合機構 列車位置検出装置
WO2021044564A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 前方監視装置及び前方監視装置のキャリブレーション方法
JP7358199B2 (ja) * 2019-10-31 2023-10-10 株式会社東芝 情報処理システム、車載情報処理装置、外部情報処理装置、および情報処理方法
JP7156327B2 (ja) * 2020-03-12 2022-10-19 株式会社村田製作所 電極付き巻線用コアおよびコイル部品
KR102400251B1 (ko) * 2020-06-30 2022-05-24 한국철도기술연구원 무선통신 및 거리측정을 이용한 철도차량의 위치 재설정 시스템 및 방법
KR20220149203A (ko) * 2021-04-30 2022-11-08 현대자동차주식회사 모빌리티 장치 및 그 제어방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749821B2 (ja) * 1999-09-30 2006-03-01 株式会社東芝 歩行者用道案内システムおよび歩行者用道案内方法
JP4037866B2 (ja) * 2002-07-25 2008-01-23 富士通株式会社 移動体の位置推定装置、位置推定方法および位置推定プログラム
WO2004059900A2 (en) * 2002-12-17 2004-07-15 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
JP4277717B2 (ja) 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP2006287435A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp 情報処理装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2007150681A (ja) * 2005-11-28 2007-06-14 Univ Waseda 位置特定システム及び位置特定方法
KR100785784B1 (ko) * 2006-07-27 2007-12-13 한국전자통신연구원 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법
JP4978099B2 (ja) * 2006-08-03 2012-07-18 トヨタ自動車株式会社 自己位置推定装置
JP4897542B2 (ja) 2007-03-30 2012-03-14 三菱電機株式会社 自己位置標定装置、自己位置標定方法および自己位置標定プログラム
JP2009250718A (ja) 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車両位置検出装置及び車両位置検出方法
EP2161195B1 (en) * 2008-09-08 2012-04-18 Thales Avionics, Inc. A system and method for providing a live mapping display in a vehicle
JP5435294B2 (ja) * 2010-11-04 2014-03-05 アイシン・エィ・ダブリュ株式会社 画像処理装置及び画像処理プログラム
JP5421939B2 (ja) * 2011-02-08 2014-02-19 日本電信電話株式会社 色補正装置、色補正方法及び色補正プログラム
GB201202344D0 (en) 2012-02-10 2012-03-28 Isis Innovation Method of locating a sensor and related apparatus
JP5966747B2 (ja) 2012-08-08 2016-08-10 日産自動車株式会社 車両走行制御装置及びその方法
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
WO2014061221A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
JP6225889B2 (ja) 2014-11-19 2017-11-08 株式会社豊田中央研究所 車両位置推定装置及びプログラム
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
KR102614323B1 (ko) * 2015-04-01 2023-12-14 바야비전 리미티드 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
JP6607139B2 (ja) 2016-04-26 2019-11-20 トヨタ自動車株式会社 情報収集システム
JP6585110B2 (ja) 2017-03-07 2019-10-02 株式会社東芝 道路交通管理装置および道路交通管理方法
US10436590B2 (en) * 2017-11-10 2019-10-08 Ankobot (Shanghai) Smart Technologies Co., Ltd. Localization system and method, and robot using the same

Also Published As

Publication number Publication date
US11328441B2 (en) 2022-05-10
US20190130597A1 (en) 2019-05-02
AU2018253534B2 (en) 2019-12-12
AU2018253534A1 (en) 2019-05-16
JP2019078700A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6759175B2 (ja) 情報処理装置および情報処理システム
US9651393B2 (en) Driving support device, driving support method, and recording medium storing driving support program
JP6325806B2 (ja) 車両位置推定システム
CN108627175A (zh) 用于识别车辆位置的系统和方法
JP2019508677A (ja) 地図を使用した車両構成部品の制御
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP4902575B2 (ja) 道路標示認識装置、および道路標示認識方法
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
KR102174729B1 (ko) 랜드마크를 활용한 주행차로 인식 방법 및 시스템
JP2017174197A (ja) 立体物検出方法及び立体物検出装置
JPWO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
JP2010190647A (ja) 車両位置測定装置及び車両位置測定プログラム
JP2019120629A (ja) 位置計算装置、位置計算プログラム及び座標マーカ
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP6965325B2 (ja) 自動検出システムおよび自動検出プログラム
JP6786635B2 (ja) 車両認識装置および車両認識方法
JP2018120303A (ja) 物体検出装置
JP7342499B2 (ja) タグ付与装置
EP4181090A1 (en) Information processing apparatus and program
JP2023053997A (ja) 地図データ収集装置及び地図データ収集用コンピュータプログラム
JP2020169906A (ja) 車両位置決定装置、車両位置決定システムおよび車両位置決定方法
JP2021076883A (ja) データベース生成システムおよびデータベース生成プログラム
JP2019060634A (ja) 車両位置検出システム、及び車両位置検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R150 Certificate of patent or registration of utility model

Ref document number: 6759175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150