JP7259749B2 - 情報処理装置、および情報処理方法、プログラム、並びに移動体 - Google Patents

情報処理装置、および情報処理方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JP7259749B2
JP7259749B2 JP2019534073A JP2019534073A JP7259749B2 JP 7259749 B2 JP7259749 B2 JP 7259749B2 JP 2019534073 A JP2019534073 A JP 2019534073A JP 2019534073 A JP2019534073 A JP 2019534073A JP 7259749 B2 JP7259749 B2 JP 7259749B2
Authority
JP
Japan
Prior art keywords
unit
movable area
plane
pixel
normal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019534073A
Other languages
English (en)
Other versions
JPWO2019026714A1 (ja
Inventor
琢人 元山
秀紀 小柳津
泰広 周藤
寿夫 山崎
健太郎 土場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019026714A1 publication Critical patent/JPWO2019026714A1/ja
Application granted granted Critical
Publication of JP7259749B2 publication Critical patent/JP7259749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Input (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理装置、および情報処理方法、プログラム、並びに移動体に関し、特に、移動可能領域を構成する平面を検出できるようにした情報処理装置、および情報処理方法、プログラム、並びに移動体に関する。
移動体の自律移動を実現するためには、自己位置を認識する必要がある。そのためには、まず、自己の周囲の状況を認識して、ローカルマップを生成し、自己位置を推定することになる。
ここで、偏光画像を撮像し、撮像した偏光画像から法線ベクトルを推定し、法線ベクトルとデプスマップを統合して、デプスマップの精度を向上させる技術が提案されている（特許文献１参照）ので、この技術を応用し、偏光画像より得られる法線方向の情報から物体を認識し、ローカルマップの生成に利用することが考えられる。
特開２０１５－１１４３０７号公報
しかしながら、偏光画像より得られる法線方向の情報は、３次元情報ではないため、画像内の物体を認識できても、距離は認識できないので、直接ローカルマップを生成することはできない。
本開示は、このような状況に鑑みてなされたものであり、特に、偏光画像より得られる法線方向の情報に基づいて、移動可能領域を構成する３次元空間における平面を認識できるようにすることで、ローカルマップを生成できるようにするものである。
本開示の一側面の情報処理装置は、複数の偏光方向の偏光画像を撮像する偏光カメラと、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、前記偏光画像より無偏光画像を再構成する再構成部と、前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含み、前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する情報処理装置である。
前記属性設定部には、セマンティックセグメンテーションにより、前記無偏光画像の各画素について、被写体の属性を設定させるようにすることができる。
前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含ませるようにすることができる。
前記環境マッピング部には、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成させるようにすることができる。
前記環境マッピング部には、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成させるようにすることができる。
前記環境マップは、占有格子地図（Occupancy Grid Map）とすることができる。
前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含ませるようにすることができる。
前記移動可能領域上の点までの距離を測定する測距部をさらに含ませるようにすることができ、前記位置特定部には、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定させるようにすることができる。
前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダとすることができる。
前記移動可能領域は、路面とすることができる。
本開示の一側面の情報処理方法は、偏光カメラにより撮像される複数の偏光方向の偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、前記移動可能領域上の点の位置を特定し、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定し、前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力し、前記偏光画像より無偏光画像を再構成し、前記無偏光画像の各画素について、被写体の属性を設定するステップを含み、前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向が、前記移動可能領域を構成する平面の法線方向として検出される情報処理方法である。
本開示の一側面のプログラムは、複数の偏光方向の偏光画像を撮像する偏光カメラと、
前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、前記偏光画像より無偏光画像を再構成する再構成部と、前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含む処理をコンピュータに実行させ、前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出するプログラムである。
本開示の一側面の移動体は、複数の偏光方向の偏光画像を撮像する偏光カメラと、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部と、前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、前記偏光画像より無偏光画像を再構成する再構成部と、前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含み、前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する移動体である。
本開示の一側面においては、複数の偏光方向の偏光画像が撮像され、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向が検出され、前記移動可能領域を構成する平面上の点の位置が特定され、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面が特定され、前記偏光画像における被写体の表面の法線方向が画素単位で検出され、法線マップとして出力され、前記偏光画像より無偏光画像が再構成され、前記無偏光画像の各画素について、被写体の属性が設定され、前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向が、前記移動可能領域を構成する平面の法線方向として検出される。
本開示の一側面によれば、特に、偏光画像より得られる法線方向の情報に基づいて、移動可能領域を構成する平面を認識することが可能となり、ローカルマップを生成させることが可能となる。
本開示の路面を構成する平面を特定する原理を説明する図である。 路面を構成する平面に基づいた環境マップの生成方法を説明する図である。 本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 本開示の環境マップを生成する構成例の詳細なブロック図である。 レーザ測距センサを説明する図である。 レーザ測距センサと偏光カメラとの座標系の変換を説明する図である。 画像内の被写体の表面の法線方向を検出する例を説明する図である。 路面を構成する平面を求める方法を説明する図である。 セマンティックセグメンテーションを説明する図である。 環境マップの生成方法を説明する図である。 環境マップ生成処理を説明するフローチャートである。 環境マッピング処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．ソフトウェアにより実行させる例
＜＜１．本開示の好適な実施の形態＞＞
＜本開示の概要＞
本開示の移動体は、自律移動に必要とされるローカルマップを生成する移動体である。
本開示の移動体１１における路面を構成する３次元空間における平面Ｓを特定し、特定した平面Ｓの情報に基づいて、環境マップを生成する概要について説明する。図１は、例えば、路面１３上を図中右方向である進行方向に向かって移動している移動体１１を示している。図１において、移動体１１の移動方向前方には、路面１３上に障害物１２が存在する。
図１の左部で示されるように、移動体１１は、偏光カメラ２１およびレーザ測距センサ２２を備えている。
偏光カメラ２１は、移動体１１の移動方向である前方を画角Ｚ１で、複数の偏光方向の偏光画像を撮像する。
移動体１１は、偏光カメラ２１により撮像された複数の偏光方向の偏光画像に基づいて、図１の右部で示されるように、路面１３を構成する平面Ｓの法線方向（法線ベクトル）Ｎ（ｎｘ，ｎｙ，ｎｚ）を検出することができる。尚、法線方向が検出できる原理については、特許文献１を参照されたい。
レーザ測距センサ２２は、ToF（Time of Flight）法により、移動体１１の移動方向であって、例えば、路面１３に対してレーザ光を発射したタイミングから、路面１３の点Ｘで反射した反射光を受光するまでの時間を計測することで、路面１３までの距離を測定する。
また、レーザ測距センサ２２により測定される位置は、移動体１１からの方向が予め特定されている路面１３上の位置までの距離であるので、距離が測定されることにより、平面Ｓ上の点Ｘ（ｘ，ｙ，ｚ）の位置が測定されることになる。
平面Ｓの法線方向Ｎ（ｎｘ，ｎｙ，ｎｚ）と、平面Ｓ上の点Ｘ（ｘ，ｙ，ｚ）とから路面１３を構成する平面Ｓを特定することができる。
すなわち、平面Ｓの方程式は、以下の式（１）により定義される。
Figure 0007259749000001
 ・・・（１）
ここで、Ｘは、平面Ｓ上において、レーザ測距センサ２２により測定された平面Ｓ上の座標Ｘであり、Ｎは、平面Ｓの法線ベクトルであり、Tは、転置を表しており、ｄは、係数である。
すなわち、平面Ｓの法線ベクトルＮと、座標位置Ｘとを入力し、上述した式（１）を解くことで、係数ｄを求めることができるので、平面Ｓを特定することができる。
結果として、平面Ｓから構成される路面１３の平面を特定することができる。
＜路面を構成する平面を用いたローカルマップの生成＞
次に、図２を参照して、路面を構成する平面を用いたローカルマップ（後述する環境マップ）の生成について説明する。
例えば、偏光カメラ２１が、図２の左部で示されるように、３次元構造物３２－１，３２－２に左右から挟まれた空間内に路面３１があり、その路面３１上に人３４が存在し、その奥に空３３が見えるような構図となる画角Ｚ１で画像Ｐ１を撮像することを考える。
尚、偏光カメラ２１は、複数の偏光方向の画像を撮像するが、図２の左部の画像Ｐ１は、複数の偏光方向の画像を平均化することで、通常の無偏光画像として再構成した画像である。
画像Ｐ１内の被写体の種別は、後述するディープラーニング等の機械学習からなるセマンティックセグメンテーションにより、画素単位で識別することができる。
したがって、図２の左部で示される画像Ｐ１の場合、図２の中央上段で示されるように、画像Ｐ１内の下部における領域Ｚ３１に属する各画素は、路面３１を表したものであり、領域Ｚ３２－１，Ｚ３２－２に属する画素は、それぞれ左右の３次元構造物３２－１，３２－２を表したものであり、領域Ｚ３３に属する画素は、奥手の上方の空３３を表したものであり、領域Ｚ３４に属する画素は、人３４を表したものであることが、セマンティックセグメンテーションにより分類される。
画像Ｐ１は、２次元画像であるため、各画素の３次元空間における位置については認識できない。
しかしながら、路面３１については、図１における路面１３と同様に、レーザ測距センサ２２を用いて路面３１上の所定の点を測距することで、路面３１を構成する平面Ｓを特定することが可能であるので、画像Ｐ１上の領域Ｚ３１の各画素については、対応する路面３１を構成する平面Ｓにおける座標位置を特定することができる。
一方、３次元構造物３２－１，３２－２、および人３４などの、移動体１１にとっての障害物は、路面３１に立っていると仮定すれば、画像Ｐ１内において、３次元構造物３２－１，３２－２の領域Ｚ３２－１，Ｚ３２－２，および人３４の領域Ｚ３４のそれぞれと、路面３１の領域Ｚ３１との鉛直下方における境界は、３次元構造物３２－１，３２－２、および人３４の、路面３１上の立っている位置そのものと考えることができる。
ここで、図２の中央上段において、方形状のマスで示されるように、画像Ｐ１より路面の領域Ｚ３１と、３次元構造物３２－１，３２－２の領域Ｚ３２－１，Ｚ３２－２，および人３４の領域Ｚ３４のそれぞれとの鉛直下方における境界画素５１を考える。
すなわち、路面３１の領域Ｚ３１と、３次元構造物３２－１，３２－２、および人３４の領域Ｚ３２－１，３２－２，３４との境界に属する各境界画素５１の平面Ｓ上の位置は同一であると考えることができる。
そこで、図２の中央下段で示されるように、同一視線上の、境界画素５１と、平面Ｓ上の交点６１とを対応付けることにより、境界画素５１に属する３次元構造物３２－１，３２－２、および人３４等の障害物の路面を構成する平面Ｓ上の位置を特定できる。
結果として、図２の右部で示されるように、３次元構造物３２－１，３２－２、および人３４が存在することが仮定される、路面３１を構成する平面Ｓ上の位置の、交点６１の群からなる交点群６１－１，６１－２，６２に所定の高さの棒状の物体が存在することを仮定した配置を示すマップを、ローカルマップとして生成することができる。
尚、画像Ｐ１における空３３に属する領域Ｚ３３と路面３１との境界については、境界画素５１が設定されない。空３３は、路面３１に対して立っているものではないため、境界画素５１は設定されない。また、空３３の領域Ｚ３３については、空の色や画像内の配置などから推定することができるので、空３３の領域Ｚ３３の鉛直下方となる路面３１との境界の画素は、境界画素５１には設定させないようにすることができる。
図１，図２で示されるように、本開示においては、偏光カメラ２１を用いて偏光画像を撮像することで、路面１３を構成する平面の法線方向Ｎを検出し、レーザ測距センサ２２により路面１３を構成する平面上の点Ｘを特定し、法線方向Ｎと点Ｘとにより路面１３の平面Ｓを特定することが可能となる。
さらに、複数の偏光画像から無偏光画像を再構成して、画像内の各領域の属性を特定し、このうち、路面を構成する領域と、それ以外の構成との領域の画像内における鉛直下方での境界画素に対応する、路面を構成する平面Ｓ上の位置を特定することで、ローカルマップを生成することが可能となる。
＜本開示の移動体を制御する移動体制御システムの構成例＞
上述した機能を実現させるための移動体１１を制御する移動体制御システムについて説明する。
図３は、本開示の移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図３の移動体制御システム１００は、本技術が適用され得る移動体制御システムの一例であり、他の移動体、例えば、航空機、船舶、ドローン、およびロボットなどを制御するシステムとして適用することもできる。
移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自動運転制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自動運転制御部１１０は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、移動体制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１０が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１０が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。尚、本開示の移動体制御システム１００においては、データ取得部１０２は、撮像装置として、図１の偏光カメラ２１を備えており、また、周囲情報検出センサとして、図１のレーザ測距センサ２２を備えている。
さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、移動体内部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、移動体室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１０は、自律移動又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１０は、運転者の操作に拠らずに自律的に移動する自動運転等を目的とした協調制御を行う。自動運転制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
動作制御部１３５は、移動体の動作の制御を行う。
より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜環境マップを生成する構成例＞
次に、図４を参照して、図３の移動体制御システム１００のうち、環境マップを生成する詳細な構成例について説明する。尚、ここでいう環境マップは、上述した、移動体の周囲の状況の認識に用いるローカルマップである状況認識用マップであり、より具体的には、占有格子地図（Occupancy Grid Map）を含むものである。
環境マップを生成する詳細な構成例は、図４で示されるように、データ取得部１０２、自動運転制御部１１０の検出部１３１における移動体外部情報検出部１４１、および状況分析部１３３の状況認識部１５２より構成される。
データ取得部１０２は、レーザ測距センサ２２、および偏光カメラ２１を備えている。
移動体外部情報検出部１４１は、３次元距離計測部３０１、座標系統合部３０２、法線検出部３０３、路面平面法線検出部３０４、画像再構成部３０５、セマンティックセグメンテーション部３０６、および路面平面算出部３０７を備えている。
状況認識部１５２は、環境マッピング部３２１を備えている。
レーザ測距センサ２２は、赤外光レーザを路面１３に対して投光すると共に、投光した赤外光レーザが路面１３の所定の点により反射されるとき、赤外光レーザの往復時間に基づいて、移動体１１から所定の角度を成して投光される路面１３上の点までの距離を測定し、測定結果を３次元距離計測部３０１に出力する。尚、レーザ測距センサ２２については、図５を参照して詳細を後述する。
偏光カメラ２１は、複数の偏光方向のフィルタを通った、複数の偏光方向の偏光画像を撮像し、法線検出部３０３、および画像再構成部３０５に出力する。
３次元距離計測部３０１は、レーザ測距センサ２２より供給される、移動体１１から所定の角度を成して投光される路面１３上の点までの距離の情報を取得し、路面１３を構成する平面上の３次元点座標の情報を求めて座標系統合部３０２に出力する。
座標系統合部３０２は、３次元点座標を偏光カメラ２１の座標系に変換して、偏光カメラ２１のカメラ座標系に統合し、路面平面算出部３０７に出力する。尚、レーザ測距センサと偏光カメラとの座標系の統合については、図６を参照して詳細を後述する。
法線検出部３０３は、複数の偏光方向の偏光画像に基づいて、偏光画像の画素単位の、被写体の表面の法線方向からなる法線マップを生成して路面平面法線検出部３０４、およびセマンティックセグメンテーション部３０６に出力する。尚、法線検出部３０３の法線検出については、図７を参照して、詳細を後述する。
画像再構成部３０５は、複数の偏光方向の偏光画像の各画素の平均値を求めるようにすることで、無偏光画像を再構成してセマンティックセグメンテーション部３０６に出力する。
セマンティックセグメンテーション部３０６は、法線マップと無偏光画像とに基づいて、各画素が属する被写体の種別をディープラーニングなどの機械学習を用いて推定し、推定結果をセマンティックラベルとして設定し、環境マッピング部３２８に出力する。また、セマンティックセグメンテーション部３０６は、セマンティックラベル毎に分類された画素の情報のうち、路面１３にラベリングされた画素の情報を路面平面法線検出部３０４に出力する。尚、セマンティックセグメンテーションについては、図９を参照して詳細を後述する。
路面平面法線検出部３０４は、法線検出部３０３からの法線マップと、路面１３にラベリングされた画素の情報とを用いて、路面１３を構成する平面の法線方向（路面の法線ベクトル）を求め、路面法線の情報として路面平面算出部３０７に出力する。尚、路面平面法線検出については、図８を参照して、詳細を後述する。
路面平面算出部３０７は、路面法線の情報である、路面平面を構成する平面の法線ベクトルの情報と、平面上の３次元点座標の情報とに基づいて、路面を構成する平面を算出し、環境マッピング部３０８に出力する。
環境マッピング部３２１は、路面１３を構成する平面の情報と、セマンティックラベリングの情報とに基づいて、環境マッピング処理により環境マップを生成する。尚、環境マッピングについては、図１０を参照して詳細を後述する。
＜レーザ測距センサ＞
次に、図５を参照して、レーザ測距センサ２２の詳細について説明する。レーザ測距センサ２２は、図５で示されるように、測距部３５１、投光部３５２、および受光部３５３を備えている。
測距部３５１は、投光部３５２を制御して、所定の角度を成して、路面１３の方向に対して赤外光レーザを投光させる。このとき、測距部３５１は、投光部３５２により赤外光レーザを投光したタイミングの時刻を記憶する。
また、測距部３５１は、受光部３５３を制御して、投光した赤外光レーザの（路面１３に対応する）障害物３６１からの反射光を受光させると共に、赤外光レーザが受光されるタイミングの時刻を記憶する。
そして、測距部３５１は、投光部３５２より赤外光レーザが投光される時刻と、受光部３５３により障害物３６１より反射された反射光が受光される時刻との差分から、障害物３６１までの往復時間を求め、求められた往復時間より障害物３６１までの距離を測距する。
尚、図５においては、レーザ測距センサ２２の測距の原理を説明するものであり、実際には、レーザ測距センサ２２は、移動体１１から所定の角度で路面１３上の所定の点までの距離を測定する。
＜レーザ測距センサと偏光カメラとの座標系の統合＞
次に、図６を参照して、レーザ測距センサ２２と偏光カメラ２１との座標系の統合について説明する。
図６で示されるように、レーザ測距センサ２２により距離が計測される、路面１３上の点Xのレーザ測距センサ２２の座標系の座標XLaser（＝［xl,yl,zl］の転置）と、偏光カメラ２１の座標系の座標Xcam（＝［xc,yc,zc］の転置）との関係は、キャリブレーションにより事前センサ配置情報として知られており、例えば、以下の式（２）として求められている。
Xcam＝RXLaser+T
・・・（２）
ここで、Rは、レーザ測距センサ２２と偏光カメラ２１とのなす角を示す回転行列であり、Tは、レーザ測距センサ２２と偏光カメラ２１との位置関係から求められる並進ベクトルである。
座標系統合部３０２は、上述した式（２）を演算することにより、レーザ測距センサ２２の座標系の情報として測定された路面１３を構成する平面上の点Xの座標を、カメラ座標系に変換して統合する。
＜偏光画像からの法線検出＞
次に、図７を参照して、偏光画像からの法線検出について説明する。
法線検出部３０３は、複数の偏光画像に基づいて、画像内の各画素の属する被写体の表面の法線方向を天頂角θおよび方位角φからなる極座標として求めて、法線マップを生成する。
例えば、図７の画像Ｐ１の場合、法線方向を示す矢印の分布が法線マップ（図８の最左部）とされる。
すなわち、図７においては、画像Ｐ１内のほぼ中央付近から下部の領域が、路面３１の領域Ｚ３１とされ、左右の領域が、３次元構造物３２－１，３２－２の（壁の）領域Ｚ３２－１，Ｚ３２－２とされ、中央上部の領域が空３３の領域Ｚ３３とされ、そして、右側の３次元構造物３２－２の領域Ｚ３２－２の左部であり、かつ、路面３１からなる領域Ｚ３１上に立つ人３４の領域が領域Ｚ３４とされている。
路面３１の領域Ｚ３１上では、路面３１に対して垂直方向である法線方向を示す矢印が分布している。また、画像Ｐ１の左部となる３次元構造物３２－１（の壁）の領域Ｚ３２－１では、壁に対して垂直方向である図中右方向の矢印が分布している。さらに、画像Ｐ１の右部となる３次元構造物３２－２（の壁）の領域Ｚ３２－２では、壁に対して垂直方向である図中左方向の矢印が分布している。
＜路面平面法線検出＞
次に、図８を参照して、路面平面法線検出について説明する。
路面平面法線は、路面を構成する平面の法線であるが、法線マップのうち、セマンティックセグメンテーションにより路面にラベリングされている領域の画素における支配的な法線方向として検出される。
すなわち、例えば、図８の最左部で示されるような法線マップＰ１１である場合を考える。このとき、図８の左から２番目で示されるように、法線マップＰ１１のうち、路面１３にラベリングされる画素の領域が領域Ｚ１１である場合、法線マップの領域Ｚ１１がROI（Region of Interest）領域（関心領域）として抽出される。
次に、図８の左から３番目で示されるように、抽出した領域Ｚ１１の法線のうち、例えば、偏光カメラ２１と正対している法線などの明らかに路面の法線方向ではない法線が除外される。
そして、残された法線のヒストグラムが生成されて、支配的な法線が抽出される。法線の情報は、天頂角θおよび方位角φより構成される極座標からなる。このため、極座標からなる法線の情報が、直交座標系に変換されて、図８の最右部で示されるように、路面を構成する平面Ｓの法線ベクトルＮ［ｎｘ，ｎｙ，ｎｚ］として出力される。
＜セマンティックセグメンテーション＞
次に、図９を参照して、セマンティックセグメンテーションについて説明する。
例えば、図９の左部の法線マップＰ１と無偏光画像Ｐ３１とから、ディープラーニングなどの機械学習により、画像内における各画素について、画像内のいずれの被写体に属するかが推定され、推定結果がセマンティックラベルとして付与される。ただし、ここでは、路面、障害物、および空の最低３種類がセマンティックラベルとして分類できれば良い。
例えば、図９の左部の画像Ｐ１における、鉛直方向と検出された法線ベクトルの内積の絶対値が、所定値よりも大きい領域Ｚ３１については、路面３１としてセマンティックラベリングされるようにし、それ以外の領域Ｚ３２－１，Ｚ３２－２，Ｚ３４については、３次元構造物３２－１，３２－２および人３４をまとめて、障害物としてセマンティックラベリングされるようにしてもよい。
また、輝度レベルが高く、画像上方の領域Ｚ３３は空３３としてセマンティックラベリングされるようにしてもよい。
＜環境マッピング＞
次に、図１０を参照して、環境マッピングについて説明する。
図１０の左部で示される無偏光画像Ｐ１に対して、セマンティックセグメンテーションにより路面３１の領域Ｚ３１、３次元構造物３２－１，３２－２の領域Ｚ３２－１，Ｚ３２－２、空３３の領域Ｚ３３、および人３４の領域Ｚ３４のそれぞれにセマンティックラベルが付されているものとする。ここでは、路面３１の領域Ｚ３１および空３３の領域Ｚ３３以外は、障害物であるものとみなすため、領域Ｚ３２－１，Ｚ３２－２、およびＺ３４は、障害物の領域であるものとする。
この場合、路面３１の領域Ｚ３１と、障害物の領域Ｚ３２－１，Ｚ３２－２、およびＺ３４との鉛直下方の境界の画素（方形状のマス目で示される画素）が、境界画素５１として抽出される。
そして、偏光カメラ２１のカメラ座標系の各境界画素５１の座標が、路面３１を構成する平面Ｓ上の座標に変換される。
すなわち、図１０の中央部で示されるように、偏光カメラ２１が、例えば、無偏光画像Ｐ１を撮像する場合、焦点位置が画像中心（中心画素）Ｐｃであるものとし、偏光カメラ２１の撮像位置を始点としたとき境界画素５１への視線ベクトルは、（ｘｉ，ｙｉ，ｆ）となる。ここで、ｘｉ，ｙｉは、中心画素Ｐｃを原点としたときの偏光カメラ２１の画像Ｄにおける画素位置であり、ｆは、偏光カメラ２１から画像中心（中心画素）Ｐｃを焦点位置としたときの焦点距離である。
このとき、偏光カメラ２１の視点から路面３１を構成する平面Ｓ上の境界画素５１に対応する交点Ｘｐは、以下の式（３）で示される。
Figure 0007259749000002
 ・・・（３）
ここで、ｓは、係数であり、スカラ量である。すなわち、偏光カメラ２１を始点とした交点Ｘｐまでのベクトルは、視線ベクトルＶｅの係数ｓ倍となる。このため、上述した式（１）で定義される、路面を構成する平面Ｓの方程式に、式（３）を代入すると定数ｓが求められ、この定数ｓが求められることで、平面Ｓ上の交点６１の座標が求められる。
このようにして求められた路面３１を構成する平面Ｓ上の、障害物との境界画素５１に、例えば、図１０の右上部で示されるように、所定の高さの障害物が存在することを仮定することで、無偏光画像Ｐ１に対応する路面３１と障害物３２－１，３２－２，３４との３次元分布が求められる。
これらの無偏光画像Ｐ１に対応する路面３１と障害物３２－１，３２－２，３４との３次元分布の情報に基づいて、障害物の領域Ｚ３２－１，Ｚ３２－２およびＺ３４に対応する交点群６１－１，６１－２，６２を平面Ｓ上の上面からみた分布が、環境マップＭとして生成される。
＜環境マップ生成処理＞
次に、図１１のフローチャートを参照して、環境マップ生成処理について説明する。
ステップＳ１１において、偏光カメラ２１は、所定の画角で、例えば、移動体の前方を複数の偏光方向のフィルタを通して、複数の偏光方向の偏光画像を撮像し、法線検出部３０３、および画像再構成部３０５に出力する。
ステップＳ１２において、レーザ測距センサ２２は、図５を参照して説明したように、レーザ光を路面に対して投光すると共に、路面からの反射光を受光して、それぞれの投光時刻と、受光時刻との時刻の差分から、いわゆる、ToF法により路面１３までの距離を測定し、測定結果を３次元距離計測部３０１に出力する。
ステップＳ１３において、３次元距離計測部３０１は、レーザ測距センサ２２の測距結果に基づいて、レーザ光が反射された、路面１３を構成する平面Ｓ上の３次元点座標を、レーザ測距センサ２２の座標系の座標として特定し、座標系統合部３０２に出力する。
ステップＳ１４において、座標系統合部３０２は、図６を参照して説明したように、レーザ測距センサ２２の座標系の路面１３を構成する平面Ｓ上の３次元点座標を、偏光カメラ２１のカメラ系座標に変換して路面平面算出部３０７に出力する。
ステップＳ１５において、画像再構成部３０５は、複数の偏光方向の画像の各画素について平均値を求めることで、無偏光画像を再構成してセマンティックセグメンテーション部３０６に出力する。
ステップＳ１６において、法線検出部３０３は、偏光画像に基づいて、図７を参照して説明したように、各画素について、偏光画像内の被写体の表面の法線方向を検出して、法線マップとして路面平面法線検出部３０４、およびセマンティックセグメンテーション部３０６に出力する。
ステップＳ１７において、セマンティックセグメンテーション部３０６は、図９を参照して説明したように、無偏光画像と、法線マップとに基づいて、無偏光画像の各画素について、画像内の被写体のいずれに属するのかをセマンティックセグメンテーションにより画素単位でラベリングして、画素単位でセマンティックラベルを付して環境マッピング部３２１に出力する。このとき、セマンティックセグメンテーション部３０６は、路面にラベリングされた画素の情報を路面平面法線検出部３０４に出力する。
ステップＳ１８において、路面平面法線検出部３０４は、図８を参照して説明したように、法線マップと路面にラベリングされた画素の情報とから、路面の法線方向を検出して路面平面算出部３０７に出力する。
ステップＳ１９において、路面平面算出部３０７は、路面の法線方向の情報と、路面を構成する平面上の３次元点座標の情報に基づいて、図１を参照して説明したように、路面１３を構成する平面Ｓの方程式を算出し、路面平面の情報として環境マッピング部３２１に出力する。
ステップＳ２０において、環境マッピング部３２１は、路面平面の情報と、セマンティックラベルとに基づいて、環境マッピング処理を実行して、環境マップを生成して出力する。尚、環境マッピング処理については、図１２のフローチャートを参照して、詳細を説明する。
ステップＳ２１において、終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２１において、終了が指示されると、処理が終了する。
すなわち、以上の処理により、レーザ測距センサ２２により測距される路面を構成する平面上の３次元点座標と、偏光カメラ２１により撮像される複数の偏光方向の偏光画像により求められる路面を構成する平面における法線方向とが求められる。これにより、路面を構成する平面上の３次元点座標と、路面を構成する平面における法線方向との情報から路面を構成する平面Ｓを特定することが可能となる。
結果として、特定された路面を構成する平面Ｓの情報を用いることで、環境マッピング処理により環境マップを生成することが可能となる。
＜環境マッピング処理＞
次に、図１２のフローチャートを参照して、環境マッピング部３２１による環境マッピング処理について説明する。
ステップＳ３１において、環境マッピング部３２１は、図１０の左部を参照して説明したように、セグメンテーションラベルに基づいて、無偏光画像より、路面３１の領域Ｚ３１と障害物３２－１，３２－２，３４の領域Ｚ３２－１，Ｚ３２－２，Ｚ３４との境界の境界画素５１を検出する。
ステップＳ３２において、環境マッピング部３２１は、図１０の中央部を参照して説明したように、境界画素５１の無偏光画像上の座標を、対応する路面３１を構成する平面上の交点６１の座標に変換する。
ステップＳ３３において、環境マッピング部３２１は、図１０の右部を参照して説明したように、境界画素５１の平面上の交点６１の座標の情報に基づいて、路面３１を構成する平面上に障害物が存在する位置を示す環境マップを生成して出力する。
以上の処理により、無偏光画像内に含まれる路面と障害物との情報に基づいて、環境マップを生成することが可能となる。
尚、以上においては、レーザ測距センサ２２が路面の１点を測距し、路面を構成する交点が１点である例について説明してきたが、複数の路面上の点を測距して、路面上の複数の交点を用いて、路面を構成する平面を特定するようにしてもよい。
また、移動体１１から路面上の所定の点を測定するにあたっては、レーザ測距センサ３２のみならず、ステレオカメラやミリ波レーダを用いて検出するようにしてもよい。
さらに、以上においては、路面が凹凸のない平面であることが前提とされているが、凹凸のある路面であっても、路面の法線方向は、路面としてラベリングされている範囲の画素単位の法線方向のうち支配的な法線方向が利用されるため、凹凸を含めた平均的な法線方向として扱うことができる。また、路面上の複数の交点を求めて、それらの平均などを利用することもできるので、路面を構成する平均的な平面を求めるようにしてもよい。
また、以上においては、移動体１１の移動方向に対する路面を構成する平面について説明してきたが、移動体が移動しようとする移動可能領域を構成する平面であればよい。
さらに、以上においては、路面の法線方向については、複数の偏光方向の偏光画像より求められる法線マップを用いて、路面の属性が設定された画素の法線方向のうち、支配的な法線方向を求める例について説明してきたが、法線方向が求められればよいので、他の方法で法線方向を求めるようにしてもよい。例えば、既知の地図の情報を用いて法線方向を求めるようにしてもよいし、ステレオカメラを用いて法線方向を求めるようにしてもよい。
＜＜２．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図１３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１３におけるCPU１００１が、図３における自動運転制御部１１０の機能を実現させる。また、図１３における記憶部１００８が、図３における記憶部１０９を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む情報処理装置。
＜２＞ 複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含み、
前記移動可能領域法線検出部は、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する
＜１＞に記載の情報処理装置。
＜３＞ 前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
前記複数の偏光画像より無偏光画像を再構成する再構成部と、
前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とをさらに含み、
前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の、支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
＜２＞に記載の情報処理装置。
＜４＞ 前記属性設定部は、セマンティックセグメンテーションにより、前記無偏光画像の各画素について、被写体の属性を設定する
＜３＞に記載の情報処理装置。
＜５＞ 前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含む
＜３＞に記載の情報処理装置。
＜６＞ 前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成する
＜５＞に記載の情報処理装置。
＜７＞ 前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成する
＜６＞に記載の情報処理装置。
＜８＞ 前記環境マップは、占有格子地図（Occupancy Grid Map）である
＜５＞に記載の情報処理装置。
＜９＞ 前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
＜２＞に記載の情報処理装置。
＜１０＞ 前記移動可能領域上の点までの距離を測定する測距部をさらに含み、
前記位置特定部は、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定する
＜２＞に記載の情報処理装置。
＜１１＞ 前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダである
＜１０＞に記載の情報処理装置。
＜１２＞ 前記移動可能領域は、路面である
＜１＞に記載の情報処理装置。
＜１３＞ 偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、
前記移動可能領域上の点の位置を特定し、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する
ステップを含む情報処理方法。
＜１４＞ 偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む処理をコンピュータに実行させるプログラム。
＜１５＞ 偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と、
前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、
前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部と
を含む移動体。
１１ 移動体， １２ 障害物， ２１ 偏光カメラ， ２２ レーザ測距センサ， ３１ 路面， ３２，３２－１，３２－２ ３次元構造物， ３３ 空， ３４ 人， ５１ 境界画素（画素）， ６１ 交点（点）， ６１－１，６１－２，６２ 交点群， １０２ データ取得部， １１０ 自動運転制御部， １４１ 移動体外部情報検出部， １５２ 状況認識部， ３０１ ３次元距離計測部， ３０２ 座標系統合部， ３０３ 法線検出部， ３０４ 路面平面法線検出部， ３０５ 画像再構成部， ３０６ セマンティックセグメンテーション部， ３２１ 環境マッピング部， ３５１ 測距部， ３５２ 投光部， ３５３ 受光部

Claims (13)

  1. 複数の偏光方向の偏光画像を撮像する偏光カメラと、
    前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
    前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
    前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、
    前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
    前記偏光画像より無偏光画像を再構成する再構成部と、
    前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含み、
    前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
    情報処理装置。
  2. 前記属性設定部は、セマンティックセグメンテーションにより、前記無偏光画像の各画素について被写体の属性を設定する
    請求項１に記載の情報処理装置。
  3. 前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含む
    請求項１に記載の情報処理装置。
  4. 前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成する
    請求項３に記載の情報処理装置。
  5. 前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成する
    請求項４に記載の情報処理装置。
  6. 前記環境マップは、占有格子地図（Occupancy Grid Map）である
    請求項３に記載の情報処理装置。
  7. 前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
    請求項１に記載の情報処理装置。
  8. 前記移動可能領域上の点までの距離を測定する測距部をさらに含み、
    前記位置特定部は、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定する
    請求項１に記載の情報処理装置。
  9. 前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダである
    請求項８に記載の情報処理装置。
  10. 前記移動可能領域は、路面である
    請求項１に記載の情報処理装置。
  11. 偏光カメラにより撮像される複数の偏光方向の偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、
    前記移動可能領域上の点の位置を特定し、
    前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定し、
    前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力し、
    前記偏光画像より無偏光画像を再構成し、
    前記無偏光画像の各画素について、被写体の属性を設定するステップを含み、
    前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向が、前記移動可能領域を構成する平面の法線方向として検出される
    情報処理方法。
  12. 複数の偏光方向の偏光画像を撮像する偏光カメラと、
    前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
    前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
    前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、
    前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
    前記偏光画像より無偏光画像を再構成する再構成部と、
    前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含む処理をコンピュータに実行させ、
    前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
    プログラム。
  13. 複数の偏光方向の偏光画像を撮像する偏光カメラと、
    前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
    前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
    前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とを用いて平面の方程式を解くことにより、移動可能領域を構成する平面を特定する平面特定部と、
    前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、
    前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、
    前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部と、
    前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
    前記偏光画像より無偏光画像を再構成する再構成部と、
    前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とを含み、
    前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
    移動体。
JP2019534073A 2017-08-04 2018-07-25 情報処理装置、および情報処理方法、プログラム、並びに移動体 Active JP7259749B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017151476 2017-08-04
JP2017151476 2017-08-04
PCT/JP2018/027840 WO2019026714A1 (ja) 2017-08-04 2018-07-25 情報処理装置、および情報処理方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2019026714A1 JPWO2019026714A1 (ja) 2020-08-27
JP7259749B2 true JP7259749B2 (ja) 2023-04-18

Family

ID=65233831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534073A Active JP7259749B2 (ja) 2017-08-04 2018-07-25 情報処理装置、および情報処理方法、プログラム、並びに移動体

Country Status (5)

Country Link
US (1) US11373418B2 (ja)
EP (1) EP3663882B1 (ja)
JP (1) JP7259749B2 (ja)
CN (1) CN110959143B (ja)
WO (1) WO2019026714A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
WO2020163742A1 (en) * 2019-02-08 2020-08-13 Photon-X, Inc. Integrated spatial phase imaging
JP2020155047A (ja) * 2019-03-22 2020-09-24 三菱重工エンジニアリング株式会社 位置検出システム、車両、及び、位置検出方法
KR20220020804A (ko) * 2019-06-14 2022-02-21 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021131797A1 (ja) * 2019-12-25 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
CN111595328B (zh) * 2020-06-01 2023-04-25 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
CN112389440B (zh) * 2020-11-07 2021-06-04 吉林大学 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
JP2022173682A (ja) * 2021-05-10 2022-11-22 ソニーグループ株式会社 移動体、移動制御方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264998A (ja) 2006-03-28 2007-10-11 Matsushita Electric Works Ltd 自律移動装置、並びに、自律移動システム
JP2011134226A (ja) 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd 移動ロボットの遠方環境認識装置及び方法
JP2015170127A (ja) 2014-03-06 2015-09-28 トヨタ自動車株式会社 自律移動ロボット、及びその制御方法
JP2017501474A (ja) 2013-12-19 2017-01-12 アクチエボラゲット エレクトロルックス ロボット掃除機およびランドマーク認識方法
WO2017056822A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
JP2011033497A (ja) * 2009-08-03 2011-02-17 Honda Motor Co Ltd 環境認識システム、環境認識方法およびロボット
KR101404924B1 (ko) * 2009-12-25 2014-06-09 가부시키가이샤 리코 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
RU2621826C1 (ru) * 2014-02-24 2017-06-07 Ниссан Мотор Ко., Лтд. Устройство вычисления собственного положения и способ вычисления собственного положения
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
EP3358551B1 (en) * 2015-09-30 2021-10-27 Sony Group Corporation Information processing device, information processing method, and program
WO2018092540A1 (ja) * 2016-11-15 2018-05-24 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264998A (ja) 2006-03-28 2007-10-11 Matsushita Electric Works Ltd 自律移動装置、並びに、自律移動システム
JP2011134226A (ja) 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd 移動ロボットの遠方環境認識装置及び方法
JP2017501474A (ja) 2013-12-19 2017-01-12 アクチエボラゲット エレクトロルックス ロボット掃除機およびランドマーク認識方法
JP2015170127A (ja) 2014-03-06 2015-09-28 トヨタ自動車株式会社 自律移動ロボット、及びその制御方法
WO2017056822A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
CN108028022A (zh) 2015-09-30 2018-05-11 索尼公司 图像处理装置、图像处理方法和车辆控制系统

Also Published As

Publication number Publication date
EP3663882A1 (en) 2020-06-10
US11373418B2 (en) 2022-06-28
WO2019026714A1 (ja) 2019-02-07
JPWO2019026714A1 (ja) 2020-08-27
CN110959143A (zh) 2020-04-03
US20200272834A1 (en) 2020-08-27
EP3663882B1 (en) 2022-06-22
EP3663882A4 (en) 2020-08-12
CN110959143B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7160040B2 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JPWO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
KR20200062193A (ko) 정보 처리 장치, 이동 장치, 정보 처리 방법, 이동 장치 제어 방법, 및 프로그램
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20220292296A1 (en) Information processing device, information processing method, and program
JP2019100942A (ja) 移動体、測位システム、測位プログラム及び測位方法
CA3134088A1 (en) Information processing method, program, and information processing apparatus
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R151 Written notification of patent or utility model registration

Ref document number: 7259749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151