JP6780648B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6780648B2
JP6780648B2 JP2017543141A JP2017543141A JP6780648B2 JP 6780648 B2 JP6780648 B2 JP 6780648B2 JP 2017543141 A JP2017543141 A JP 2017543141A JP 2017543141 A JP2017543141 A JP 2017543141A JP 6780648 B2 JP6780648 B2 JP 6780648B2
Authority
JP
Japan
Prior art keywords
self
road surface
unit
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017543141A
Other languages
English (en)
Other versions
JPWO2017057052A1 (ja
Inventor
嵩明 加藤
嵩明 加藤
辰吾 鶴見
辰吾 鶴見
江島　公志
公志 江島
貝野　彰彦
彰彦 貝野
福地　正樹
正樹 福地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017057052A1 publication Critical patent/JPWO2017057052A1/ja
Application granted granted Critical
Publication of JP6780648B2 publication Critical patent/JP6780648B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、自動車などの移動体に搭載して自己位置を推定する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
従来、自動車などの移動体に搭載して自己位置を推定する仕組みとしてGPS(Global Positioning System)が知られている。GPSによれば、所定数の衛星から送信される信号を受信できれば、自己位置を推定することができものの、例えば、高い建物の側やトンネルを走行していたりした場合、該信号を受信できないので自己位置を推定できない。
このような一時的に自己位置を推定できない不都合を解消するためには、ある時点における既知の所在地を基準点として、その後の自己（自動車などの移動体）の動き（移動方向と速度）を継続的に検出すればよい。具体的には、例えば、移動体にカメラを搭載して周囲を連続的に撮像し、その結果得られる時系列の画像における同一被写体の移動に基づき、自己（移動体）の動きを検出する方法が考えられる。
ただし、周囲を撮像した画像に基づいて自己の動きを検出方法では、次の不都合が生じ得る。すなわち、撮像した画像が環境光に起因して白飛びしていたり、画像の大部分の領域が自己とともに移動する移動体（直前の大型自動車等）によって占められてしまったり、大雨などの悪天候により鮮明な画像が得られなかったり、近傍に適切な被写体が無く遠景しか写らなかったりすると、自己の動きの継続的に検出が困難となってしまう。
このような問題に対しては、自己（移動体）の周囲を撮像するのではなく、路面を連続的に撮像して得られる時系列の画像に写っている路面の特徴点をトラッキングすることによって動きを検出する方法案されている（例えば、特許文献１または２参照）。
なお、路面の特徴点をトラッキングすることによって動きを検出する場合には、路面とカメラの距離（路面からのカメラまでの高さ）を正確に測定することが必要となる。特許文献１の記載では、路面に対して２つのレーザポインタで基準マークを照射し、その基準マーク間の距離に基づいて路面とカメラの距離を計測している。特許文献２の記載では、路面に対して正方格子模様の光を照射し、その正方格子の歪みに基づいて路面とカメラの距離を計測している。
特開２０１４−１４９２０９号公報 特開２００７−２７８９５１号公報
特許文献１および２に記載の方法では、路面が完全に平面である場合を仮定したものなので、傾きや凹凸が多数存在し得る実際の路面では、路面とカメラの距離を正確に測定することはできない。したがって、自己の移動方向と速度を継続的に正確に検出することはできない。
本開示はこのような状況に鑑みてなされたものであり、正確且つ継続的に自己の動き（移動方向と速度）を推定できるようにするものである。
本開示の一側面である情報処理装置は、前記路面を撮像する下向きのステレオカメラと、前記下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定部と、前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定部と、推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する第１の自己位置推定部とを備える。
本開示の一側面である情報処理装置は、前記路面にテクスチャパターンを投光する投光部をさらに備えることができ、前記路面推定部は、前記第１のカメラと前記第２のカメラによって同じタイミングで撮像された、前記路面に投影されている前記テクスチャパターンの対となる画像に基づいて、それぞれの画像上の前記特徴点を検出し、前記路面までの距離を推定することができる。
前記投光部は、前記下向きのステレオカメラの撮像範囲を照らす照明部を兼ねることができる。
本開示の一側面である情報処理装置は、前記下向きのステレオカメラの撮像範囲を照らす照明部をさらに備えることができる。
本開示の一側面である情報処理装置は、前記路面を移動する前記移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とをさらに備えることができる。
本開示の一側面である情報処理装置は、前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備えることができる。
前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均することができる。
前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用することができる。
前記補正部は、前記下向きのステレオカメラによって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された前記第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用することができる。
本開示の一側面である情報処理方法は、路面を移動する移動体の底部に配置され、前記路面を撮像する下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定ステップと、前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定ステップと、推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する自己位置推定ステップとを含む。
本開示の一側面であるプログラムは、路面を移動する移動体の底部に配置され、前記路面を撮像する下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定ステップと、前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定ステップと、推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する自己位置推定ステップとを含む処理を情報処理装置のコンピュータに実行させる。
本開示の一側面においては、下向きのステレオカメラによって撮像された路面の画像が取得され、前記下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点が検出され、前記路面までの距離が推定され、前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きが推定され、推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置が推定される。
本開示の一側面によれば、正確且つ継続的に自己の動きを推定することができる。
本開示を適用した情報処理装置の第１の構成例を示すブロック図である。 下向き撮像部を構成するステレオカメラの配置例を示す図である。 下向き撮像部を構成するステレオカメラの他の配置例を示す図である。 特徴点に基づく路面推定と動き推定の概要を示す図である。 図１の情報処理装置による第１の自己位置推定処理を説明するフローチャートである。 ピクセル勾配ベースの路面推定と動き推定の概要を示す図である。 図１の情報処理装置による第２の自己位置推定処理を説明するフローチャートである。 本開示を適用した情報処理装置の第２の構成例を示すブロック図である。 図８の情報処理装置による自己位置推定処理を説明するフローチャートである。 本開示を適用した情報処理装置の第３の構成例を示すブロック図である。 外向き撮像部を構成するカメラの配置例を示す図である。 図１０の補正部による第１の自己位置補正処理を説明するフローチャートである。 図１０の補正部による第２の自己位置補正処理を説明するフローチャートである。 図１０の補正部による第３の自己位置補正処理を説明するフローチャートである。 汎用のコンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
本開示の実施の形態である情報処理装置は、移動体に搭載されて自己位置を推定するものである。なお、実施の形態においては、自動車を移動体の一例として説明するが、該情報処理装置を搭載し得る移動体としては、自動車のみならず、自転車、オートバイなどの乗り物の他、自律的に移動するロボットなどを挙げることができる。
＜本開示の実施の形態である情報処理装置の第１の構成例＞
図１は、本開示の実施の形態である情報処理装置の第１の構成例を示している。
この情報処理装置１０は、下向き撮像部１１、照明部１３、制御部１４、および情報処理部１５から構成される。
下向き撮像部１１は、一対のステレオカメラとしての第１カメラ１２Ｌおよび第２カメラ１２Ｒ（一括してステレオカメラ１２とも称する）を有しており、所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段に出力する。以下、あるタイミングtにおいて第１カメラ１２Ｌにより撮像されたフレーム画像を第１の画像(t)と称し、第２カメラ１２Ｒにより撮像されたフレーム画像を第２の画像(t)と称する。
図２および図３は、下向き撮像部１１が有する一対のステレオカメラ１２を自動車に配置した場合の配置例を示しており、図２のＡおよび図３のＡは自動車の側面を示し、図２のＢおよび図３のＢは自動車の底面を示している。
図２のＡに示されるように、ステレオカメラ１２は、外光の影響を受けることなく路面を撮像範囲とするように下向きに取り付けられる。また、図２のＢに示されるように、ステレオカメラ１２は、自動車の幅方向と平行に所定の間隔（視差）を開けて取り付けられる。なお、ステレオカメラ１２の配置は、図２の配置例に限られるものではなく、外光の影響を受けることなく路面を撮像できる位置に取り付ければよい。例えば、図３に示されるように、前輪タイヤよりも前に取り付けてもよい。あるいは、後輪タイヤよりも後ろや左右のドアミラーに取り付けてもよい。
さらに、下向き撮像部１１に二対以上のステレオカメラ１２を設けてもよい。その場合、図３に示されるように、一対のステレオカメラ１２を自動車の底面前方に、もう一対のステレオカメラを自動車の底面後方に配置する。このように、自動車の底面に間隔を開けてステレオカメラを配置すれば、自動車が高速で走行した場合においても、後述する動き推定を行うことができる。
図１に戻る。照明部１３は、下向き撮像部１１による撮像範囲に照明光を照射する。制御部１４は、下向き撮像部１１および照明部１３を制御する。
情報処理部１５は、路面推定部１６、動き推定部１７、路面環境推定部１８、および自己位置推定部１９を有する。
路面推定部１６は、ステレオカメラ１２により同じタイミングｔに撮像された第１の画像(t)と第２の画像(t)に基づいて路面推定を行う。動き推定部１７は、タイミングｔに撮像された第１の画像(t)（第２の画像(t)でもよい）と１回前のタイミングt-1に撮像された第１の画像(t-1)（第２の画像(t-1)）に基づいて動き推定を行う。いずれも以下に詳述する。
図４は、特徴点に基づく路面推定と動き推定の概要を示している。
路面推定は、同図に示されるように、第１の画像(t)と第２の画像(t)上で同一の特徴点を検出し、三角測量の原理に基づいて路面の特徴点と下向き撮像部１１のステレオカメラ間を結ぶ基線との距離（以下、単に特徴点とカメラの距離と称する）を算出する。
動き推定は、同図に示されるように、第１の画像(t)と第１の画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標の違いに基づいて、自己（移動体）の動きを推定する。なお、動き推定に用いる２画像は、前後して撮像された第１の画像(t)と第１の画像(t-1)に限るものではなく、例えば、第１の画像(t)と第１の画像(t-2)、第１の画像(t)と第１の画像(t-3)などを用いてもよい。
図１に戻る。路面環境推定部１８は、路面推定の結果（特徴点とカメラの距離）に基づいて、路面環境、すなわち、路面の傾き、凹凸、滑り（μ）などを推定する。なお、路面推定の結果は、路面環境推定に用いる他、自動車の上下方向の振動測定に利用することができ、その結果を振動制御に利用してもよい。
自己位置推定部１９は、ある時点における既知の所在地を基準点として、推定された自己の動きを加えることにより、現在の自己位置を推定する。
＜情報処理装置１０による第１の自己位置推定処理＞
図５は、情報処理装置１０による第１の自己位置推定処理を説明するフローチャートである。
この第１の自己位置推定処理は、下向き撮像部１１のステレオカメラ１２による撮像のフレームレートと同じ周期で繰り返し実行される。
また、前提として、既に下向き撮像部１１は、一対のステレオカメラ１２により所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部１５に出力しているものとする。また、自己位置推定部１９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
ステップＳ１において、情報処理部１５の路面推定部１６は、タイミングｔに撮像された第１の画像(t)と第２の画像(t)を取得する。ステップＳ２において、路面推定部１６は、第１の画像(t)と第２の画像(t)から特徴点を検出し、同一特徴点を特定して、両者の視差マッチングに基づき路面推定を行い、特徴点とカメラの距離を算出する。
ステップＳ３において、情報処理部１５の動き推定部１７は、タイミングｔに撮像された第１の画像(t)とそれよりも１回前のタイミングt-1に撮像された第１の画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標差異に基づいて、自己（自動車）の動きを推定する。
ステップＳ４において、路面環境推定部１８は、路面推定の結果（特徴点とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。これと同時に自己位置推定部１９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。以上で、情報処理装置１０による第１の自己位置推定処理説明を終了する。
＜情報処理装置１０による第２の自己位置推定処理＞
路面が平面の三角形の組み合わせであると仮定できる場合、路面推定部１６および動き推定部１７は、ピクセル勾配ベースの手法を用いて路面推定と動き推定を行うことができる。
図６は、ピクセル勾配ベースの手法を用いた路面推定と動き推定の概要を示している。
路面推定は、同図に示されるように、路面に特定領域（同図に示す、複数の三角形を組み合わせた領域）を設定し、第１の画像(t)と第２の画像(t)における特定領域のピクセル勾配に基づいて特定領域の平面形状（各三角形の傾き）を直接推定する。
動き推定は、同図に示されるように、第１の画像(t)と第１画像(t-1)における特定領域の画像勾配に基づいて上で特定領域を検出し、両画像における特定領域のピクセル勾配に基づいて、自己の動きを直接推定する。
図７は、情報処理装置１０による、ピクセル勾配ベースの手法を用いた路面推定と動き推定を採用した第２の自己位置推定処理を説明するフローチャートである。
この第２の自己位置推定処理は、下向き撮像部１１のステレオカメラ１２による撮像のフレームレートと同じ周期で繰り返し実行される。
また、前提として、自動車が走行する路面は平面によって構成されるポリゴンモデルで表現できるものであり、既に下向き撮像部１１は、路面に設定した特定領域を一対のステレオカメラ１２により所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部１５に出力しているものとする。また、自己位置推定部１９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
ステップＳ１１において、情報処理部１５の路面推定部１６は、タイミングｔに撮像された第１の画像(t)と第２の画像(t)を取得する。ステップＳ１２において、路面推定部１６は、第１の画像(t)と第２の画像(t)における特定領域のピクセル勾配に基づき、特定領域の平面形状を直接推定する。
ステップＳ１３において、情報処理部１５の動き推定部１７は、第１の画像(t)とそれよりも１回前のタイミングt-1に撮像された第１の画像(t-1)上における特定領域のピクセル勾配に基づき自己（移動体）の動きを直接推定する。
ステップＳ１４において、路面環境推定部１８は、推定された特定領域の平面形状に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。これと同時に自己位置推定部１９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ１１に戻されて、それ以降が繰り返される。以上で、情報処理装置１０による第２の自己位置推定処理説明を終了する。
＜本開示の実施の形態である情報処理装置の第２の構成例＞
図８は、本開示の実施の形態である情報処理装置の第２の構成例を示している。
この情報処理装置２０は、下向き撮像部２１、照明部２２、投光部２３、制御部２４、および情報処理部２５から構成される。
下向き撮像部２１は、１台のカメラから構成される。このカメラは、外光の影響を受けることなく路面を撮像範囲とするように移動体（自動車など）の底部に下向きに取り付けられる。下向き撮像部２１は、所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段に出力する。以下、あるタイミングtにおいて下向き撮像部２１のカメラにより撮像されたフレーム画像を画像(t)と称する。
照明部２２は、下向き撮像部２１による撮像範囲に照明光を照射する。投光部２３は、下向き撮像部２１による撮像範囲にテクスチャパターン（構造光）を投光する。なお、照明部２２と透光部２３は一体化してもよい。また、テクスチャパターンの照射によって路面の撮像範囲に存在し得る特徴点を撮影するために十分な照度が得られる場合には、照明光の照射を省略してもよい。制御部２４は、下向き撮像部２１、照明部２２、および投光部２３を制御する。
情報処理部２５は、路面推定部２６、動き推定部２７、路面環境推定部２８、および自己位置推定部２９を有する。
路面推定部２６は、テクスチャパターンが照射されている路面が撮像された画像(t)に基づき、路面推定を行う。なお、投光部２３および路面推定部２６の代わりに、路面にレーザ光を照射し、反射して戻って来るまでの時間に基づき、路面までの距離を計測するToF(Time of Flight)センサを用いるようにしてもよい。
動き推定部２７は、タイミングｔに撮像された第１の画像(t)（第２の画像(t)でもよい）と１回前のタイミングt-1に撮像された第１の画像(t-1)（第２の画像(t-1)）における同一特徴点をトラッキングすることにより動き推定を行う。
路面環境推定部２８は、路面推定の結果（路面とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。
自己位置推定部２９は、ある時点における既知の所在地を基準点として、推定された自己の動きを加えることにより、現在の自己位置を推定する。
＜情報処理装置２０による自己位置推定処理＞
図９は、情報処理装置２０による自己位置推定処理を説明するフローチャートである。
この自己位置推定処理は、下向き撮像部２１による撮像のフレームレートと同じ周期で繰り返し実行される。
また、前提として、既に下向き撮像部２１は、テクスチャパターンが照射されている路面を所定のフレームレートで撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部２５に出力しているものとする。また、自己位置推定部２９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
ステップＳ２１において、情報処理部２５の路面推定部２６は、テクスチャパターンが照射されている路面をタイミングｔに撮像した画像(t)を取得する。ステップＳ２２において、路面推定部２６は、画像(t)におけるテクスチャパターンの形状に基づいて路面とカメラの距離を算出する。
ステップＳ２３において、情報処理部２５の動き推定部２７は、タイミングｔに撮像された画像(t)とそれよりも１回前のタイミングt-1に撮像された画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標差異と、ステップＳ２２で算出された路面とカメラの距離とに基づいて、自己（移動体）の動きを推定する。
ステップＳ２４において、路面環境推定部２８は、路面推定の結果（路面とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸、滑りなどを推定する。これと同時に、自己位置推定部２９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ２１に戻されて、それ以降が繰り返される。以上で、情報処理装置２０による自己位置推定処理説明を終了する。
以上に説明した情報処理装置１０および２０によれば、撮像のフレームレートと同じ周期で自己の動きを正確に推定できる。したがって、自己の現在位置も正確な推定が可能となる。
ただし、例えば、雪道や泥道などの特徴点を検出し難い路面を走行している場合や、下向き撮像部１１のフレームレートでは対応できないほど自動車が高速で走行している場合などには、自己の動きを推定できなかったり、推定結果に誤差が生じたりすることが起こり得る。したがって、路面の画像のみを用いていると、このような誤差が蓄積してしまい、自己位置の推定結果が正しい位置からずれてしまうことになる。
＜本開示の実施の形態である情報処理装置の第３の構成例＞
図１０は、推定した自己位置のずれが蓄積することによって自己位置の推定結果が正しい位置からずれてしまう問題を解決できる、本開示の実施の形態である情報処理装置の第３の構成例を示している。
この情報処理装置３０は、図１に示された情報処理装置１０に対して外向き撮像部３１、車速検知部３２、およびGSP処理部３３を追加するとともに、情報処理装置１０の情報処理部１５を情報処理部３４に置換したものである。情報処理装置３０は、下向き撮像部１１からの画像に基づく自己位置の推定結果を、外向き撮像部３１からの画像に基づく自己位置の推定結果などに基づいて補正できる。
置換後の情報処理部３４は、置換前の情報処理部１５にSLAM処理部３５および補正部３６を追加したものである。なお、情報処理装置３０の構成要素のうち、情報処理装置１０の構成要素と共通するものについては同一の符号を付しているので、その説明は省略する。
外向き撮像部３１は、その周囲を撮像可能な向きで移動体に取り付けられた少なくとも１台以上のカメラから構成される。外向き撮像部３１によって得られる画像はSLAM処理部３５に供給される。
図１１は、外向き撮像部３１を構成する１台以上カメラを移動体としての自動車に取り付けた場合の配置例を示している。該カメラには、広角カメラや全周囲カメラなどを採用することができ、自動車の前方や側方、後方など撮像できる向きに取り付けられる。
図１０に戻る。車速検知部３２は、自動車など得られる車速パルスに基づいて移動体の走行速度を検知する。GPS処理部３３は、GPS信号を受信し、受信したGPS信号に基づいて自己位置を特定する。SLAM処理部３５は、外向き撮像部３１からの自動車の周囲が撮像された画像をデータベースに照会することによって自己位置を推定する。該データベースは、SLAM処理部３５自体に内蔵してもよいし、通信網を介して接続可能なサーバに配置してもよい。
補正部３６は、下向き撮像部１１によって撮像された画像に基づく自己位置推定部１９による自己位置の推定結果を、GPS処理部３３によるGPS信号に基づいて特定された自己位置やSLAM処理部３５によって推定される自己位置を用いて補正する。
＜補正部３６による第１の自己位置補正処理＞
次に、図１２は、補正部３６による第１の自己位置補正処理を説明するフローチャートである。
この第１の自己位置補正処理は、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOに基づいて補正するものである。
ステップＳ３１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
ステップＳ３２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
ステップＳ３３において、補正部３６は、次式（１）に従い、ステップＳ３１で取得した第１の自己位置の推定結果wTcGに対して、ステップＳ３２で取得した第２の自己位置の推定結果wTcOを重み付け加算平均することによって補正し、補正済みの自己位置wTcを得る。
wTc＝α・wTcG＋（１−α）・wTcO
・・・（１）
ここで、αは０＜α＜１を満たす値である。なお、αの値はカルマンフィルタなどのように適応的に設定してもよい。
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
以上説明した第１の自己位置補正処理は所定の周期で間歇的に実行すればよい。それにより、路面の画像に基づいて推定された自己位置wTcGの誤差の蓄積を補正することができる。
＜補正部３６による第２の自己位置補正処理＞
次に、図１３は、補正部３６による第２の自己位置補正処理を説明するフローチャートである。
この第２の自己位置補正処理は、自動車の車速ｖtが所定の閾値以上である場合には、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGの代わりに、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを採用するものである。
ステップＳ４１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
ステップＳ４２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
ステップＳ４３において、補正部３６は、車速検知部３２から車速ｖtを取得し、車速ｖtが所定の閾値以上であるか否かを判定する。
車速ｖtが所定の閾値以上である場合、第１の自己位置の推定結果wTcGには誤差が生じ易いと考えられるので、補正部３６は、処理をステップＳ４４に進めて、第２の自己位置の推定結果wTcOを、最終的な自己位置の推定結果wTcとして採用する。
反対に、車速ｖtが所定の閾値以上ではない場合、第１の自己位置の推定結果wTcGには誤差が生じ難いと考えられるので、補正部３６は、処理をステップＳ４５に進めて、第１の自己位置の推定結果wTcGを、最終的な自己位置の推定結果wTcとして採用する。
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
以上説明した第２の自己位置補正処理は継続的に繰り返し実行すればよい。これにより、第１の自己位置の推定結果wTcGには誤差が生じ得ている場合に、第２の自己位置の推定結果wTcOを採用することができる。
＜補正部３６による第３の自己位置補正処理＞
次に、図１４は、補正部３６による第３の自己位置補正処理を説明するフローチャートである。
この第３の自己位置補正処理は、下向き撮像部１１からの画像に基づく第１の自己位置の推定過程において、下向き撮像部１１からの画像上で特定されたランドマーク（実空間におけるZ表が特定された特徴点）の数ｘtが所定の閾値以上である場合には、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGの代わりに、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを採用するものである。
ステップＳ５１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
ステップＳ５２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
ステップＳ５３において、補正部３６は、路面環境推定部１８から、下向き撮像部１１からの画像上で特定されたランドマークの数ｘtを取得し、ランドマークの数ｘtが所定の閾値以上であるか否かを判定する。
ランドマークの数ｘtが所定の閾値以上である場合、第１の自己位置の推定結果wTcGには誤差が生じ難いと考えられるので、補正部３６は、処理をステップＳ５４に進めて、第１の自己位置の推定結果wTcGを、最終的な自己位置の推定結果wTcとして採用する。
反対に、ランドマークの数ｘtが所定の閾値以上ではない場合、第１の自己位置の推定結果wTcGには誤差が生じ易いと考えられるので、補正部３６は、処理をステップＳ５５に進めて、第２の自己位置の推定結果wTcOを、最終的な自己位置の推定結果wTcとして採用する。
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
以上説明した第３の自己位置補正処理は継続的に繰り返し実行すればよい。これにより、第１の自己位置の推定結果wTcGには誤差が生じ得ている場合に、第２の自己位置の推定結果wTcOを採用することができる。
＜まとめ＞
以上に説明したように、情報処理装置１０，２０、および３０によれば、正確且つ継続的に自己の動きを推定することができ、現在の自己位置を推定することが可能となる。
また、情報処理装置３０によれば、仮に推定した自己の動きや自己位置に誤差が生じていたとしても、その誤差を蓄積することなく、補正することができる。
ところで、情報処理装置１０における情報処理部１５、情報処理装置２０における情報処理部２５、および情報処理装置３０における情報処理部３４による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は以下のような構成も取ることができる。
（１）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部と
を備える情報処理装置。
（２）
前記路面までの距離を推定する路面推定部をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記下向き撮像部は、ステレオカメラから構成され、
前記路面推定部は、前記ステレオカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて前記路面までの距離を推定する
前記（２）に記載の情報処理装置。
（４）
前記路面推定部は、ToＦセンサから構成される
前記（２）に記載の情報処理装置。
（５）
前記路面にテクスチャパターンを投光する投光部をさらに備え、
前記路面推定部は、前記下向き撮像部によって撮像された前記路面に投影されている前記テクスチャパターンの画像に基づいて前記路面までの距離を推定する
前記（２）に記載の情報処理装置。
（６）
前記透光部は、前記下向き撮像部の撮像範囲を照らす照明部を兼ねる
前記（５）に記載の情報処理装置。
（７）
前記下向き撮像部の撮像範囲を照らす照明部をさらに備える
前記（１）から（５）のいずれかに記載の情報処理装置。
（８）
前記動き推定部によって推定された前記移動体の動きに基づいて前記移動体の自己位置を推定する第１の自己位置推定部をさらに備える
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
路面を移動する移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、
前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とさらに備える
前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備える
前記（９）に記載の情報処理装置。
（１１）
前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均する
前記（１０）に記載の情報処理装置。
（１２）
前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
前記（１０）に記載の情報処理装置。
（１３）
前記補正部は、前記下向き撮像部によって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
前記（１０）に記載の情報処理装置。
（１４）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の情報処理方法において、
前記動き推定部による、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む情報処理方法。
（１５）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の制御用のプログラムにおいて、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。
１０ 情報処理装置， １１ 下向き撮像部， １２ ステレオカメラ， １３ 照明部， １４ 制御部， １５ 情報処理部， １６ 路面推定部， １７ 動き推定部， １８ 路面環境推定部， １９ 自己位置推定部， ２０ 情報処理装置， ２１ 下向き撮像部， ２２ 照明部， ２３ 投光部， ２４ 制御部， ２５ 情報処理部， ２６ 路面推定部， ２７ 動き推定部， ２８ 路面環境推定部， ２９ 自己位置推定部， ３０ 情報処理装置， ３１ 外向き撮像部， ３２ 車速検知部， ３３ GPS処理部， ３４ 情報処理部， ３５ SLAM処理部， ３６ 補正部， １００ コンピュータ， １０１ CPU

Claims (11)

  1. 路面を移動する移動体の底部に配置され、前記路面を撮像する下向きのステレオカメラと、
    前記下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定部と、
    前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定部と、
    推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する第１の自己位置推定部と
    を備える情報処理装置。
  2. 前記路面にテクスチャパターンを投光する投光部をさらに備え、
    前記路面推定部は、前記第１のカメラと前記第２のカメラによって同じタイミングで撮像された、前記路面に投影されている前記テクスチャパターンの対となる画像に基づいて、それぞれの画像上の前記特徴点を検出し、前記路面までの距離を推定する
    請求項１に記載の情報処理装置。
  3. 前記投光部は、前記下向きのステレオカメラの撮像範囲を照らす照明部を兼ねる
    請求項２に記載の情報処理装置。
  4. 前記下向きのステレオカメラの撮像範囲を照らす照明部をさらに備える
    請求項１または２に記載の情報処理装置。
  5. 前記路面を移動する前記移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、
    前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とをさらに備える
    請求項４に記載の情報処理装置。
  6. 前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備える
    請求項５に記載の情報処理装置。
  7. 前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均する
    請求項６に記載の情報処理装置。
  8. 前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
    請求項６に記載の情報処理装置。
  9. 前記補正部は、前記下向きのステレオカメラによって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
    請求項６に記載の情報処理装置。
  10. 路面を移動する移動体の底部に配置され、前記路面を撮像する下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定ステップと、
    前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定ステップと、
    推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する自己位置推定ステップと
    を含む情報処理方法。
  11. 路面を移動する移動体の底部に配置され、前記路面を撮像する下向きのステレオカメラを構成する第１のカメラと第２のカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて、それぞれの画像上の同一の特徴点を検出し、前記路面までの距離を推定する路面推定ステップと、
    前記第１のカメラによって異なるタイミングで撮像された前記路面の画像上における前記特徴点の座標の違いに基づいて、移動方向と速度により表される前記移動体の動きを推定する動き推定ステップと、
    推定された前記移動体の動きを、既知の基準点または推定済みの自己位置に加えることにより、現在の自己位置を推定する自己位置推定ステップと
    を含む処理を情報処理装置のコンピュータに実行させるプログラム。
JP2017543141A 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム Expired - Fee Related JP6780648B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194553 2015-09-30
JP2015194553 2015-09-30
PCT/JP2016/077425 WO2017057052A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017057052A1 JPWO2017057052A1 (ja) 2018-07-19
JP6780648B2 true JP6780648B2 (ja) 2020-11-04

Family

ID=58427562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543141A Expired - Fee Related JP6780648B2 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10731994B2 (ja)
JP (1) JP6780648B2 (ja)
CN (1) CN108027230B (ja)
WO (1) WO2017057052A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170676B (zh) * 2015-07-14 2018-10-09 深圳市大疆创新科技有限公司 用于确定移动平台的移动的方法、设备以及系统
US10740612B2 (en) * 2017-07-20 2020-08-11 International Business Machines Corporation Location determination
JP6941543B2 (ja) * 2017-11-17 2021-09-29 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7127289B2 (ja) * 2018-02-08 2022-08-30 株式会社デンソー 運転支援装置、プログラム、運転支援方法
US11501461B2 (en) 2018-03-29 2022-11-15 Sony Corporation Controller, control method, and program
JP2021043486A (ja) 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
WO2021117079A1 (ja) * 2019-12-09 2021-06-17 日本電気株式会社 自己位置推定装置、自己位置推定方法及びプログラム
JP2022142515A (ja) * 2021-03-16 2022-09-30 本田技研工業株式会社 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3677974B2 (ja) * 1997-12-09 2005-08-03 アシスト シンコー株式会社 移動体の位置決め装置
US6041274A (en) * 1997-04-21 2000-03-21 Shinko Electric Co., Ltd. Positional deviation detecting device for a mobile body and position correcting apparatus for a working machine mounted on a mobile body
WO2001063209A1 (de) * 2000-02-21 2001-08-30 Siemens Aktiengesellschaft Verfahren und anordnung zur bildung einer gesamtpositionsinformation für ein system
KR100500842B1 (ko) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
GB0503392D0 (en) * 2005-02-18 2005-03-23 King S College London Vehicle location
JP4780614B2 (ja) * 2006-04-10 2011-09-28 アルパイン株式会社 車体挙動測定装置
EP2082188B1 (en) * 2006-10-20 2013-06-05 TomTom Global Content B.V. Computer arrangement for and method of matching location data of different sources
JP6140463B2 (ja) * 2013-01-31 2017-05-31 本田技研工業株式会社 車速算出装置
JP2015138530A (ja) * 2014-01-24 2015-07-30 清水建設株式会社 移動体位置検出システムおよび方法
JP6398217B2 (ja) * 2014-02-24 2018-10-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization

Also Published As

Publication number Publication date
WO2017057052A1 (ja) 2017-04-06
JPWO2017057052A1 (ja) 2018-07-19
CN108027230B (zh) 2020-10-23
CN108027230A (zh) 2018-05-11
US20180266830A1 (en) 2018-09-20
US10731994B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP6780648B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
RU2669652C1 (ru) Устройство оценки собственной позиции и способ оценки собственной позиции
JP5075672B2 (ja) 対象物検出装置及び方法
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US20170017839A1 (en) Object detection apparatus, object detection method, and mobile robot
KR20150088636A (ko) 위치 추정 장치 및 방법
CN109155066A (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
JP6032034B2 (ja) 物体検知装置
JP6499047B2 (ja) 計測装置、方法及びプログラム
WO2015125299A1 (ja) 自己位置算出装置及び自己位置算出方法
US11151729B2 (en) Mobile entity position estimation device and position estimation method
JP7067574B2 (ja) 距離推定装置及び距離推定用コンピュータプログラム
WO2015125296A1 (ja) 自己位置算出装置及び自己位置算出方法
JP6865064B2 (ja) 移動体の位置推定装置及び方法
JP2019056629A (ja) 距離推定装置及び方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
JP6751082B2 (ja) フリースペース検出装置及びフリースペース検出方法
JP2018073275A (ja) 画像認識装置
JP6815935B2 (ja) 位置推定装置
KR101465236B1 (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
JP2009087336A (ja) 障害物検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R151 Written notification of patent or utility model registration

Ref document number: 6780648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees