JPWO2019026715A1 - 制御装置、および制御方法、プログラム、並びに移動体 - Google Patents

制御装置、および制御方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JPWO2019026715A1
JPWO2019026715A1 JP2019534074A JP2019534074A JPWO2019026715A1 JP WO2019026715 A1 JPWO2019026715 A1 JP WO2019026715A1 JP 2019534074 A JP2019534074 A JP 2019534074A JP 2019534074 A JP2019534074 A JP 2019534074A JP WO2019026715 A1 JPWO2019026715 A1 JP WO2019026715A1
Authority
JP
Japan
Prior art keywords
light
unit
moving body
distance
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019534074A
Other languages
English (en)
Other versions
JP7103359B2 (ja
Inventor
琢人 元山
琢人 元山
小柳津　秀紀
秀紀 小柳津
周藤　泰広
泰広 周藤
寿夫 山崎
寿夫 山崎
健太郎 土場
健太郎 土場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019026715A1 publication Critical patent/JPWO2019026715A1/ja
Application granted granted Critical
Publication of JP7103359B2 publication Critical patent/JP7103359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本開示は、移動可能領域における障害物を適切に検出できるようにさせることができるようにする制御装置、および制御方法、プログラム、並びに移動体に関する。レーザレンジファインダは、垂直方向に対して所定の角度で、かつ、水平方向を変化させながら、光を投光すると共に、光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、障害物等から光が反射した方向および距離を検出する。偏光画像に基づいて、路面を構成する平面の法線方向が検出される。レーザレンジファインダは、路面を構成する平面の法線方向に対して直交するように、垂直方向に対して所定の角度となるように光を投光する。本開示は、車載システムに適用することができる。

Description

本開示は、制御装置、および制御方法、プログラム、並びに移動体に関し、特に、移動可能領域における障害物を適切に検出できるようにした制御装置、および制御方法、プログラム、並びに移動体に関する。
移動体の自律移動を実現するためには、自己位置を認識する必要がある。そこで、自己の周囲の状況を認識して、自己の周囲のローカルマップを生成し、自己位置を推定する技術が提案されている。
例えば、自己の周囲のローカルマップを生成するにあたって、レーザの投光方向を進行方向に対して、直交する方向に走査させる水平スキャン型のレーザレンジファインダを用いて、障害物の位置と距離とを測定し、ローカルマップを生成する技術が提案されている（特許文献１参照）。
特開２００９−１１０２５０号公報
しかしながら、レーザレンジファインダの投光方向を水平方向に回転させながら、障害物の位置と距離とを測定する際、レーザレンジファインダを搭載する移動体の振動等で、レーザの投光方向が垂直方向に上下に振れるような場合、レーザの投光方向が、路面側に振れると路面を障害物として誤検出してしまうことがある。また、レーザの投光方向が上方に振れると、路面上に障害物が存在してもレーザが投光されず、障害物を検出できない状態になる恐れがある。
本開示は、このような状況に鑑みてなされたものであり、特に、レーザレンジファインダを用いて、適切に障害物を検出できるようにするものである。
本開示の一側面の制御装置は、同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含み、前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する制御装置である。
複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含ませるようにすることができ、前記移動可能領域法線検出部には、前記偏光画像より、移動体の移動可能領域を構成する平面の法線方向を検出させるようにすることができる。
前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、複数の前記偏光画像より無偏光画像を再構成する再構成部と、前記無偏光画像の各画素について、被写体の属性が前記移動可能領域であるか否かを判定する属性設定部とをさらに含ませるようにすることができ、前記移動可能領域法線検出部には、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域として属性が設定された画素の領域で支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出させるようにすることができる。
前記属性設定部には、鉛直方向と検出された法線ベクトルとの内積の絶対値が、所定値よりも大きい、前記無偏光画像の各画素について、被写体の属性を移動可能領域に設定させるようにすることができる。
前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部をさらに含ませるようにすることができる。
前記環境マッピング部には、前記無偏光画像の各画素の属性が、前記移動可能領域であるか否かの情報と、前記光が反射した方向および距離との情報に基づいて、環境マップを生成させるようにすることができる。
前記環境マッピング部には、前記無偏光画像の各画素が前記移動可能領域ではなく、かつ、前記反射光が検出された方向については、当該反射光が検出された距離に至るまでの空間は、フリースペースとして設定し、前記反射光が検出された前記距離の近傍の空間は、障害物が存在する可能性が高いことを示す領域として設定し、前記反射光が検出された前記距離以降の空間は、未知の領域として設定し、前記無偏光画像の各画素が前記移動可能領域であり、前記反射光が検出された方向については、前記反射光が検出された前記距離までの空間は、フリースペースとして設定し、前記反射光が検出された前記距離以降の空間は、未知の領域として設定することにより、前記環境マップを生成させるようにすることができる。
前記環境マップは、占有格子地図（Occupancy Grid Map）とすることができる。
前記物体検出部により距離が検出された位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含ませるようにすることができる。
前記物体検出部は、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）とすることができる。
前記移動可能領域は、路面とすることができる。
本開示の一側面の制御方法は、同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出し、偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する処理を含み、前記光が反射した方向および距離を検出する処理は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する制御方法である。
本開示の一側面のプログラムは、同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含む処理をコンピュータに実行させ、前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御するプログラムである。
本開示の一側面の移動体は、同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部と、前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部と、前記環境マップに基づいて行動計画を生成する計画部と、生成された前記行動計画に基づいて移動体の動作を制御する制御部とを含み、前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する移動体である。
本開示の一側面においては、垂直方向に対して所定の角度で、かつ、水平方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離が検出され、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向が検出され、前記光を投光する前記垂直方向に対する前記所定の角度が、前記法線方向に対して直交するように制御される。
本開示の一側面によれば、特に、レーザレンジファインダを用いて、適切に障害物を検出させることが可能となる。
レーザレンジファインダを用いた障害物の検出方法を説明する図である。 レーザレンジファインダによる障害物の誤検出を説明する図である。 本開示の移動体制御システムによる動作を説明する図である。 本開示の移動体制御システムの好適な実施の形態の構成例を示すブロック図である。 本開示の移動体制御システムにおける環境マップを生成する構成例を説明するブロック図である。 画像内の被写体の表面の法線方向を検出する例を説明する図である。 路面を構成する平面を求める方法を説明する図である。 画像認識を説明する図である。 レーザレンジファインダと偏光カメラとの座標系の変換を説明する図である。 環境マップの生成方法を説明する図である。 環境マップの生成方法を説明する図である。 環境マップ生成処理を説明するフローチャートである。 環境マップ生成処理を説明するタイミングチャートである。 環境マッピング処理を説明するフローチャートである。 第１の応用例を説明する図である。 第２の応用例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．第１の応用例
３．第２の応用例
４．ソフトウェアにより実行させる例
＜＜１．本開示の好適な実施の形態＞＞
＜本開示の概要＞
本開示の移動体は、自律移動に必要とされるローカルマップを生成する移動体である。
まず、図１を参照して、偏光カメラ２１とレーザレンジファインダ２２とを備えた移動体１１における偏光カメラ２１およびレーザレンジファインダ２２による障害物１２を検出する原理を説明する。ここで、図１の上段は、移動体１１を上から見たときの図であり、図１の下段は、移動体１１を側面方向から見たときの図である。
また、図１においては、移動体１１は、例えば、路面１３上を図中右方向である、進行方向に向かって移動している状態を示しており、移動体１１の移動方向前方であって、正面よりやや右側には、路面１３上に障害物１２が存在する。
偏光カメラ２１は、移動体１１の移動方向である前方を画角Ｚ１で、複数の偏光方向の偏光撮像を撮像する。
レーザレンジファインダ２２は、図１の上段で示されるように、例えば、投光方向Ｌ１，Ｌ２，・・・Ｌｎの順序で放射状に変化させつつ、かつ、図１の下段で示されるように、路面１３に対してほぼ平行に赤外光を投光する。
また、レーザレンジファインダ２２は、障害物１２等からの反射光が受光されるときには、赤外光を投光したタイミングと、反射光を受光したタイミングとの差分時間から、いわゆるToF（Time of Flight）法により、障害物１２との距離を測定する。
結果として、レーザレンジファインダ２２は、どの方向に投光したときに障害物１２からの反射光を受光したかを認識することにより、障害物１２の位置（方向）と距離を測定する。
＜誤検出が生じるケース＞
ところで、レーザレンジファインダ２２の投光方向は、原則として路面１３に対して平行に、すなわち、水平方向に対して赤外光を投光して、障害物１２の位置と距離とを測定する。
しかしながら、移動体１１は、移動に伴って振動が発生するため、傾きが生じることがあり、例えば、図２の左上段で示されるように、移動体の前方が沈み込み、投光方向Ｌで投光された赤外光が路面１３上の位置１３ａに投光されることで、移動体１１から位置１３ａまでの距離Ｆ１が測定され、測定された位置１３ａに障害物１２が存在するものと誤検出することがある。
また、移動体１１は、例えば、図２の右上段で示されるように、移動体の後方が沈み込み、投光方向Ｌが路面１３上の障害物１２により赤外光が反射されず、距離Ｆ２は、無限大となるため障害物１２の存在そのものを検出できず、誤検出することがあった。
さらに、図２の中央下段で示されるように、移動体１１の前方に、上り坂のような路面１３’が存在するような場合、投光方向Ｌ上で投光された赤外光が路面１３’の位置１３ｂにおいて反射することで、移動体１１から位置１３ｂまでの距離Ｆ３が測定され、測定された位置１３ｂに障害物１２が存在するものと誤検出することがあった。尚、ここでは、投光方向を、水平方向に対してのみ変化させる場合について説明してきたが、投光方向を水平方向だけでなく、さらに、垂直方向に対して変化させる場合でも、垂直方向の振れ角が小さい場合には同様の誤検出が生じる。
＜誤検出を抑制する原理＞
そこで、本開示の移動体１１においては、図３の左部で示されるように、偏光カメラ２１により撮像される複数の偏光方向の偏光画像から路面１３’の法線方向を示す法線ベクトルＮを求めて、図３の右部で示されるように、法線ベクトルＮと直交する方向に投光方向Ｌを角度Ｒだけ回転させて投光させる。尚、投光方向を水平方向だけでなく、さらに、垂直方向に対して変化させる場合でも、垂直方向の振れ角が小さい場合には、垂直方向の振れ角のうちのいずれかの角度、または、平均角度や中央値となる角度などに対して法線ベクトルＮと直交する方向に投光方向Ｌを角度Ｒだけ回転させて投光させる。
このようにすることで、投光方向Ｌを路面１３’に対して平行に維持することが可能となり、レーザレンジファインダ２２による誤検出を抑制することが可能となる。
結果として、レーザレンジファインダ２２を用いた測距結果に基づいた環境マップの生成が可能となる。
＜本開示の移動体を制御する移動体制御システムの構成例＞
図４は、移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図４の移動体制御システム１００は、本技術が適用され得る移動体制御システムの一例であり、他の移動体、例えば、航空機、船舶、ドローン、およびロボットなどを制御するシステムとして適用することもできる。
移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自動運転制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自動運転制御部１１０は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、移動体制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１０が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１０が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザレンジファインダ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。尚、本開示の移動体制御システム１００においては、データ取得部１０２は、撮像装置として、図１の偏光カメラ２１を備えており、また、周囲情報検出センサとして、図１のレーザレンジファインダ２２を備えている。
さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、移動体内部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、移動体室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１０は、自律移動又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、移動体の衝突警告、又は、移動体のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１０は、運転者の操作に拠らずに自律的に移動する自動運転等を目的とした協調制御を行う。自動運転制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
動作制御部１３５は、移動体の動作の制御を行う。
より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜環境マップを生成する構成例＞
次に、図５を参照して、図４の移動体制御システム１００のうち、環境マップを生成する詳細な構成例について説明する。尚、ここでいう環境マップは、上述した、移動体の周囲の状況の認識に用いるローカルマップである状況認識用マップであり、より具体的には、占有格子地図（Occupancy Grid Map）である。
環境マップを生成する詳細な構成例は、図５で示されるように、データ取得部１０２、自動運転制御部１１０の検出部１３１における移動体外部情報検出部１４１、および状況分析部１３３の状況認識部１５２より構成される。
データ取得部１０２は、偏光カメラ２１、および、レーザレンジファインダ２２を備えている。
移動体外部情報検出部１４１は、法線検出部３０１、路面平面法線検出部３０２、画像再構成部３０３、画像認識部３０４、レーザレンジファインダ最適角度算出部３０５、および画素位置算出部３０６を備えている。
状況認識部１５２は、環境マッピング部３２１を備えている。
レーザレンジファインダ２２は、赤外光レーザを、水平方向に対して角度を変えながら投光すると共に、投光した赤外光レーザが障害物から反射されるとき、赤外光レーザの往復時間に基づいて、いわゆる、ToF（Time of Flight）法により、移動体１１から障害物の方向と距離とを測定し、３次元ポイントクラウドとして画素位置算出部３０６、および環境マッピング部３２１に出力する。
また、レーザレンジファインダ２２は、投光方向の垂直方向の角度を制御する角度制御部２２ａを備えており、レーザレンジファインダ最適角度算出部３０５より供給される最適角度の情報に基づいて、投光方向のうち、垂直方向の角度を制御する。
レーザレンジファインダ２２の投光方向は、レーザレンジファインダ２２の本体そのものを図示せぬ駆動機器により回転させるようにしてもよいし、MEMS（Micro Electro Mechanical Systems）ミラーを制御し、投光方向を変化させるようにしてもよい。また、複数の投光方向を放射状に設定して投光し、２次元アレイ状の受光部で受光し、有効な受光信号のみを選択するようにしてもよい。
偏光カメラ２１は、複数の偏光方向のフィルタを通った、複数の偏光方向の偏光画像を撮像し、法線検出部３０１、および画像再構成部３０３に出力する。
法線検出部３０１は、複数の偏光方向の偏光画像に基づいて、偏光画像の画素単位の、物体の表面の法線方向からなる法線マップを生成して路面平面法線検出部３０２、および画像認識部３０４に出力する。尚、法線検出部３０１の法線検出については、図６を参照して、詳細を後述する。
画像再構成部３０３は、複数の偏光方向の偏光画像を用いて、無偏光画像を再構成して画像認識部３０４に出力する。
画像認識部３０４は、法線マップと無偏光画像とに基づいて、路面の領域に属する画素をディープラーニングなどの機械学習を用いて推定し、推定結果を、路面平面法線検出部３０２、および環境マッピング部３２１に出力する。尚、画像認識については、図８を参照して詳細を後述する。
路面平面法線検出部３０２は、法線検出部３０１からの法線マップと、路面の領域に属する画素の情報とを用いて、３次元空間における路面を構成する平面の法線方向（路面の法線ベクトル）を求め、路面法線の情報としてレーザレンジファインダ最適角度算出部３０５に出力する。尚、路面平面法線検出については、図７を参照して、詳細を後述する。
レーザレンジファインダ最適角度算出部３０５は、路面法線の情報である、路面平面を構成する平面の法線方向の情報に基づいて、路面法線と直交する方向にレーザレンジファインダ２２の投光方向を調整するための最適角度を算出し、レーザレンジファインダ２２に出力する。
画素位置算出部３０６は、レーザレンジファインダ２２の測定結果となるレーザレンジファインダ２２により検出された障害物の３次元点座標を、偏光カメラ２１の座標系に変換して、環境マッピング部３２１に出力する。尚、レーザレンジファインダ２２と偏光カメラ２１との座標系の統合については、図９を参照して詳細を後述する。
環境マッピング部３２１は、レーザレンジファインダ２２より供給される３次元ポイントクラウドの情報と、路面１３に属する画素の情報とに基づいて、環境マッピング処理により環境マップを生成する。尚、環境マッピングについては、図１０を参照して詳細を後述する。
＜偏光画像からの法線検出＞
次に、図６を参照して、偏光画像からの法線検出について説明する。
法線検出部３０１は、複数の偏光画像に基づいて、画像内の各画素の属する被写体の表面の法線方向を天頂角θおよび方位角φからなる極座標として求めて、法線マップを生成する。
例えば、図６の画像Ｐ１の場合、法線方向を示す矢印の分布が法線マップ（図７の最左部）とされる。
すなわち、図６においては、画像Ｐ１内のほぼ中央付近から下部の領域が、路面３４１の領域Ｚ３４１とされ、左右の領域が、３次元構造物３４２−１，３４２−２の（壁の）領域Ｚ３４２−１，Ｚ３４２−２とされ、中央上部の領域が空３４３の領域Ｚ３４３とされ、そして、右側の３次元構造物３４２−２の領域Ｚ３４２−２の左部であり、かつ、路面３４１からなる領域Ｚ３４１上に立つ人３４４の領域が領域Ｚ３４４とされている。
路面３４１の領域Ｚ３４１上では、路面３４１に対して垂直方向である法線方向を示す矢印が分布している。また、画像Ｐ１の左部となる３次元構造物の壁３４２−１の領域Ｚ３４２−１では、壁３４２−１に対して垂直方向である図中右方向の矢印が分布している。さらに、画像Ｐ１の右部となる３次元構造物の壁３４２−２の領域Ｚ３４２−２では、壁３４２−１に対して垂直方向である図中左方向の矢印が分布している。また、画像Ｐ１の空３４３の領域Ｚ３４３では、図中右斜め下方向の矢印が分布している。さらに、画像Ｐ１の右部となる３次元構造物の壁３４２−２の領域Ｚ３４２−２の左側の人３４４の領域Ｚ３４４では、図中左斜め下方向の矢印が分布している。
＜路面平面法線検出＞
次に、図７を参照して、路面平面法線検出について説明する。
路面平面法線検出では、法線マップのうち、画像認識部３０４により供給される路面に属する領域の画素における支配的な法線方向が路面の法線方向として検出される。
すなわち、例えば、図７の最左部で示されるような法線マップＰ１１である場合を考える。このとき、図７の左から２番目で示されるように、法線マップＰ１１のうち、路面１３にラベリングされる画素の領域が領域Ｚ１１である場合、領域Ｚ１１の法線マップの情報がROI（Region of Interest）領域（関心領域）として抽出される。
次に、図７の左から３番目で示されるように、抽出された領域Ｚ１１の法線のうち、例えば、偏光カメラ２１と正対している法線といった明らかに路面の法線方向ではない法線が除外される。
そして、残された法線よりヒストグラムを生成し、支配的な法線が抽出され、天頂角θおよび方位角φからなる法線の情報が、直交座標系に変換されて、図７の最右部で示されるように、路面を構成する平面Ｓの法線ベクトルＮ［ｎｘ，ｎｙ，ｎｚ］として出力される。
＜画像認識＞
次に、図８を参照して、画像認識について説明する。
例えば、図８の左部における法線マップと無偏光画像とからなる画像Ｐ１の各画素が、ディープラーニングなどの機械学習により、路面の領域に属する画素であるか否かが推定され、推定結果が、例えば、図８の路面検出結果Ｐ３１で示されるように、路面３４１に属する領域Ｚ３４１とそれ以外の領域Ｚ３５１の情報として出力される。
例えば、鉛直方向と検出された法線ベクトルとの内積の絶対値が、所定値よりも大きい領域については、路面３４１とみなすようにしてもよい。
＜レーザレンジファインダと偏光カメラとの座標系の統合＞
次に、図９を参照して、レーザレンジファインダ２２と偏光カメラ２１との座標系の統合について説明する。
図９の左部で示されるように、レーザレンジファインダ２２により距離が計測される座標系は、投光方向が変化することにより、以下の式（１）で定義される。
XLaser＝Rl×XLaser_base
・・・（１）
ここで、Rlは、レーザの投光方向が水平方向に回転する角度に応じた回転行列であり、XLaser_baseは、レーザの投光方向が回転する前の基準の座標であり、XLaserは、レーザの投光方向が制御されて回転した後の座標である。
また、座標XLaser（＝［xl,yl,zl］の転置行列）と、偏光カメラ２１の座標系の撮像面Ｄ上の座標Xcam（＝［xc,yc,zc］の転置行列）との関係は、キャリブレーションによる事前配置情報を用いることで、例えば、以下の式（２）として求められている。
Xcam＝Rc2l×XLaser+Tc2l＝Rc2l×Rl×XLaser_base+Tc2l
・・・（２）
ここで、Rc2lは、レーザレンジファインダ２２と偏光カメラ２１との間の予めキャリブレーションにより既知にされている回転を示す回転行列であり、Tc2lは、予め既知にされている並進ベクトルである。
上述した式（２）が演算されることにより、レーザレンジファインダ２２の座標系の情報として測定された路面を構成する平面上の点Xの座標が、カメラ座標系に変換されて統合される。
また、レーザレンジファインダ２２により検出された障害物の位置Xcam（＝［xc,yc,zc］転置）が求められると、図９の右下部で示されるように、撮像面Ｄ内における障害物の撮像面Ｄの中心Pcを基準とした、像面内のxi座標を以下の式（３）として求めることができる。
xi＝ｆ×xc／zc
・・・（３）
ここで、fは、偏光カメラ２１の焦点距離である。
また、同様に、yi座標を以下の式（４）により求めることができる。
yi＝ｆ×yc／zc
・・・（４）
結果として、撮像面Ｄ上の障害物の位置を特定することができる。
すなわち、レーザレンジファインダ２２で検出された３次元の点の座標XLaser（＝[xl,yl,zl]）は、投光方向に基づいて、基準となる座標系の点の座標XLaser_baseに戻された後、偏光カメラ２１の座標系における３次元の点の座標Xcam（＝[xc,yc,zc]）に変換される。さらに、偏光カメラ２１の座標系における３次元の点の座標Xcam（＝[xc,yc,zc]）に対応する撮像面Ｄを中心とした撮像面上の座標（xi，yi）は、式（３），式（４）により、偏光カメラ２１の焦点距離fに基づいて算出される。
＜環境マッピング＞
次に、図１０を参照して、環境マッピングについて説明する。
環境マッピング部３２１が、環境マッピング処理により生成する環境マップは、いわゆる、占有格子地図（Occupancy Grid Map）である。
すなわち、図１０の上段で示されるように、移動体１１の前方に障害物１２が存在する場合、環境マッピング部３２１は、図１０の下段で示されるような環境マップを生成する。尚、図１０の上段は、移動体１１を上方から見た図であり、放射状にレーザレンジファインダ２２が直線で示される投光方向Ｌを、水平方向に変化させながら赤外光を投光し、障害物１２まで位置（方向）と距離の測定を行っていることが示されている。
図１０の下段においては、図１０の上段のレーザレンジファインダ２２の測距結果に基づいて、環境マッピング部３２１により生成される環境マップの例が示されている。図１０の下段で示される環境マップである占有格子地図（Occupancy Grid Map）は、２次元空間を所定のサイズのグリッドで区切り、レイトレーシングの原理により、グリッドで区切られたセル毎にレーザレンジファインダ２２により反射光が受光されて測距結果の有無により、障害物１２による占有確率の分布を示す地図である。
より詳細には、図１０の下段の環境マップにおいては、レーザレンジファインダ２２の測距結果が無い範囲（投光方向外である範囲）のセルについては、白色で示されており、未知であることを示す領域３６２が設定されている。
また、レーザレンジファインダ２２より障害物１２からの反射光の受光が確認されない範囲（投光方向であるが反射光の受光がない範囲）のセルについては、フリースペース（障害物が存在する可能性が低い範囲）であることを示す灰色からなる領域３６１が設定されている。
さらに、レーザレンジファインダ２２により反射光が受光されて測距された範囲のセルについては、障害物１２が存在する可能性が高いことを示す黒色からなる領域３６３が設定されている。
尚、レーザレンジファインダ２２から障害物１２が存在する可能性が高いことを示す領域３６３までの範囲のセルについては、障害物がない（フリースペースである）ことを示す領域３６１に設定され、レーザレンジファインダ２２からみて、領域３６３が設定された範囲より遠方の範囲のセルは、測距結果がないので未知であることを示す領域３６２が設定される。
＜レーザレンジファインダからの投光方向が路面になってしまった場合＞
上述したように、レーザレンジファインダ２２からの投光方向については、路面を構成する平面の法線方向を検出して、法線方向に対して直交する方向に対して赤外光を投光し、測距するように制御することが前提であるが、制御の遅延などにより路面に投光してしまう恐れがある。
そこで、レーザレンジファインダ２２の測距位置が、画像認識部３０４の認識結果として無偏光画像内における路面上であるか否かを判定し、路面であるとみなされたときについては、測距結果が存在しても、路面である測距点までの範囲のセルはフリースペースとして設定し、測距点以降のセルについては、未知であることを示す領域に設定されるようにしてもよい。
すなわち、所定の投光方向のレーザレンジファインダ２２の測距結果に基づいて、測距点が検出されたとみなされた場合であって、図１１の上段で示される路面検出結果Ｐ３１のうち、測距点が点Ｐｉｘ１で示されるように、路面以外の領域Ｚ３５１であるときには、障害物１２が検出されたものとみなす。
そして、図１１の下段左部で示されるように、環境マッピング部３２１は、移動体１１から測距点となる距離Ｚ３１までの範囲に属するセルを、障害物１２が存在しないフリースペース（Free）の領域３６１（図１０）に設定する。また、環境マッピング部３２１は、距離Ｚ３１乃至Ｚ３２の範囲（測距点が検出された近傍の範囲）のセルについては、障害物１２が存在する可能性が高い領域（Occupied）３６３（図１０）に設定する。さらに、環境マッピング部３２１は、距離Ｚ３２以降の範囲のセルについては、未知の領域であることを示す領域（Unknown（Occlusion））３６２（図１０）に設定する。
一方、所定の投光方向のレーザレンジファインダ２２の測距結果に基づいて、測距点が検出されたとみなされた場合であって、図１１の上段で示される路面検出結果Ｐ３１のうち、測距点が点Ｐｉｘ２で示されるように、路面の領域Ｚ３４１であるときには、障害物１２が検出されていないものとみなす。
そして、図１１の下段右部で示されるように、環境マッピング部３２１は、移動体１１から測距点となる距離Ｚ４１までの範囲に属するセルを、障害物１２が存在しないフリースペース（Free）の領域３６１（図１０）に設定する。また、環境マッピング部３２１は、距離Ｚ４１以降の範囲のセルについては、未知であることを示す領域であることを示す領域（Unknown（Occlusion））３６２（図１０）に設定する。
尚、図１１の下段は、左右共に上部に路面上の移動体１１から障害物１２への投光方向が矢印で示されている。また、下部には、移動体１１から投光方向の距離Ｚ（図中のＺ軸方向）に対するセルに設定される障害物１２の占有確率が示されている。
占有確率は、０乃至１の範囲の値であり、フリースペースの領域（Free）３６１（図１０）については、０．５より小さい値で表現され、障害物１２が存在する領域（Occupied）３６３（図１０）については、０．５よりも大きい値で表現され、未知の領域（Unknown（Occlusion））３６２については、０．５とされる。さらに、求まった占有確率マップを、自己位置情報を使って、時間方向にフィルタリングすることで、より精度の高い環境マップを生成しても良い。
このような処理により、レーザレンジファインダ２２の投光方向の制御が遅れるような事態により路面が測距されても、障害物１２が検出されたものとして誤検出されることを防止することが可能となる。
＜環境マップ生成処理＞
次に、図１２のフローチャートを参照して、環境マップ生成処理について説明する。
ステップＳ１１において、偏光カメラ２１は、所定の画角で、例えば、移動体の前方を複数の偏光方向のフィルタを通して、複数の偏光方向の偏光画像を撮像し、法線検出部３０１、および画像再構成部３０３に出力する。
ステップＳ１２において、レーザレンジファインダ２２は、直前の処理でレーザレンジファインダ最適角度算出部３０５より供給される最適角度の情報に基づいて、角度制御部２２ａを制御して、赤外光の垂直方向の投光方向を最適角度に調整するように制御する。
ステップＳ１３において、レーザレンジファインダ２２は、水平方向に投光方向を変化させながら、赤外光を投光し、反射光が受光されるときには、投光したタイミングにおける時刻と、反射光が受光されたタイミングにおける時刻との差分から、赤外光の往復時間を算出し、往復時間から投光した赤外光を反射した障害物までの距離を計測し、投光方向と検出された距離とに対応する情報からなる３次元ポイントクラウドを生成して画素位置算出部３０６および環境マッピング部３２１に供給する。
ステップＳ１４において、画素位置算出部３０６は、図９を参照して説明したように、レーザレンジファインダ２２による投光方向と検出された障害物１２までの距離とに対応する３次元ポイントクラウドの各点の位置を示す、レーザレンジファインダ２２の座標系の座標を、偏光カメラ２１により撮像される撮像面上（画像上）の偏光カメラ２１の座標系の座標に変換し、環境マッピング部３２１に出力する。
ステップＳ１５において、画像再構成部３０３は、複数の偏光方向の画像の各画素について平均値を求めることで、無偏光画像を再構成して画像認識部３０４に出力する。
ステップＳ１６において、法線検出部３０１は、偏光画像に基づいて、図６を参照して説明したように、各画素について、偏光画像内の被写体の表面の法線方向を検出して、法線マップとして画像認識部３０４、および路面平面法線検出部３０２に出力する。
ステップＳ１７において、画像認識部３０４は、図６を参照して説明したように、無偏光画像と、法線マップとに基づいて、無偏光画像の各画素について、画像内の被写体のうち路面に属する画素を認識し、路面に属する画素の情報を路面検出結果として路面平面法線検出部３０２に出力する。
ステップＳ１８において、路面平面法線検出部３０２は、図７を参照して説明したように、法線マップと路面に属する画素の情報である路面検出結果とから、路面の法線方向を検出してレーザレンジファインダ最適角度算出部３０５に出力する。
ステップＳ１９において、レーザレンジファインダ最適角度算出部３０５は、路面の法線方向の情報に基づいて、レーザレンジファインダ２２の投光方向として最適な角度を算出し、レーザレンジファインダ２２に供給する。より詳細には、レーザレンジファインダ最適角度算出部３０５は、レーザレンジファインダ２２の垂直方向の投光方向が、路面の法線方向に対して直交する角度を最適角度として算出する。この処理により、以降の処理で、ステップＳ２２において、レーザレンジファインダ２２の投光方向が最適角度に設定される。
ステップＳ２０において、環境マッピング部３２１は、路面検出結果、３次元ポイントクラウド、および３次元ポイントクラウドの各点と対応する画素位置の情報に基づいて、環境マッピング処理を実行して、環境マップを生成して出力する。尚、環境マッピング処理については、図１３のフローチャートを参照して、詳細を説明する。
ステップＳ２１において、終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２１において、終了が指示されると、処理が終了する。
すなわち、以上の処理により、偏光カメラ２１により撮像される複数の偏光方向の偏光画像により求められる路面を構成する平面における法線方向を求め、レーザレンジファインダ２２の投光方向を、路面を構成する平面における法線方向と直交する角度を最適角度として算出し、レーザレンジファインダ２２の投光方向を調整することで、投光方向が下方向にずれて、路面を障害物として誤検出したり、投光方向が上方向にずれて、前方に障害物１２が存在するにも関わらず、障害物１２を検出できないといった誤検出を抑制することが可能となる。
結果として、高精度に障害物を検出することが可能となるので、後述する環境マッピング処理により高精度な環境マップを生成することが可能となる。
＜環境マッピング処理＞
次に、図１３のフローチャートを参照して、環境マッピング部３２１による環境マッピング処理について説明する。
ステップＳ３１において、環境マッピング部３２１は、未処理の投光方向いずれかを処理対象投光方向に設定する。
ステップＳ３２において、環境マッピング部３２１は、処理対象投光方向において、反射光が受光され、障害物が検出されたものとみなされて、距離が計測されているか否かを判定する。
ステップＳ３２において、処理対象投光方向において、距離が計測されているとみなされる場合、処理は、ステップＳ３３に進む。
ステップＳ３３において、環境マッピング部３２１は、処理対象投光方向において距離が検出された平面上の点に対応する無偏光画像上の画素が、路面検出結果に基づいて、路面に属する画素であるか否かを判定する。
ステップＳ３３において、処理対象投光方向において距離が検出された平面上の点に対応する無偏光画像上の画素が、路面に属する画素ではない場合、処理は、ステップＳ３４に進む。
ステップＳ３４において、環境マッピング部３２１は、路面を構成する平面上に設定されるグリッドのうち、処理対象投光方向に属するレーザレンジファインダ２２から距離が計測される点までのグリッドについては、フリースペースに属する領域として設定し、距離が計測された点の付近のグリッドについては、障害物が存在する可能性が高いことを示す領域に設定し、距離が計測された以降のセルについては、未知であることを示す領域に設定し、処理は、ステップＳ３７に進む。
すなわち、この場合、投光方向における距離が計測された点には障害物１２が存在する可能性が高いものとみなされているので、投光方向上に存在するセルについては、図１１の左下部で示されるように、セルの領域が設定される。
一方、ステップＳ３３において、処理対象投光方向において距離が検出された平面上の点に対応する無偏光画像上の画素が、路面に属する画素である場合、処理は、ステップＳ３５に進む。
ステップＳ３５において、環境マッピング部３２１は、処理対象投光方向に属するグリッドのうち、距離が計測された点までのセルについては、フリースペースに属する領域として設定し、距離が計測された点以降のセルについては、未知であることを示す領域として設定し、処理は、ステップＳ３７に進む。
すなわち、この場合、投光方向における、距離が計測された点は路面であり、障害物が存在する可能性は低いので、投光方向上に存在するセルについては、図１１の右下部で示されるように、セルの領域が設定される。
さらに、ステップＳ３２において、処理対象投光方向において、距離が計測されていない場合、処理は、ステップＳ３６に進む。
ステップＳ３６において、環境マッピング部３２１は、処理対象投光方向に属するセルの全てを、未知であることを示す領域として設定し、処理は、ステップＳ３７に進む。
すなわち、この場合、投光方向においては反射光そのものが受光されておらず、障害物も路面も検出されていないので、投光方向の領域に属するセルについては、全て未知であることを示す領域に設定される。
ステップＳ３７において、環境マッピング部３２１は、未処理の投光方向が存在するか否かを判定し、未処理の投光方向が存在する場合、処理は、ステップＳ３１に戻る。すなわち、未処理の投光方向がなくなるまで、ステップＳ３１乃至Ｓ３７の処理が繰り返される。
そして、全ての投光方向について、属するセルがフリースペース、障害物、および未知の領域のいずれかに設定されて、ステップＳ３７において、未処理の投光方向が存在しないとみなされた場合、処理は、ステップＳ３８に進む。
ステップＳ３８において、環境マッピング部３２１は、全てのセルについて、属する領域の情報から、例えば、図１０の下段で示されるような環境マップを完成させて、出力し、処理を終了する。
以上の処理により、レーザレンジファインダ２２により距離が計測された平面における点が、路面であるか否かに基づいて、障害物であるか否かを判定して、セルの属する領域を設定するようにしたので、路面を検出しているにも関わらず、障害物を検出したかのような誤検出を抑制することが可能となる。
＜環境マップ生成処理のタイミングチャート＞
次に、図１４のタイミングチャートを参照して、環境マップ生成処理について説明する。
すなわち、時刻ｔ１乃至ｔ２において、偏光カメラ２１における図１２のステップＳ１１の処理により、露光がなされ、複数の偏光方向の偏光画像が撮像されると共に、レーザレンジファインダ２２における、図１２のステップＳ１２乃至Ｓ１４の処理により、投光方向毎に障害物の測距がなされる。
時刻ｔ３乃至ｔ４において、法線検出部３０１乃至画像認識部３０４における、図１２のステップＳ１５乃至Ｓ１９の処理により、路面法線が検出されると共に、レーザレンジファインダ２２の最適角度が算出され、さらに、環境マッピング部３２１における、図１２のステップＳ２０の環境マッピング処理により、偏光画像と障害物の測距結果が用いられて、環境マップが生成される。
時刻ｔ５乃至ｔ６においては、時刻ｔ１乃至ｔ２における処理と同様の処理がなされるが、レーザレンジファインダ２２の最適角度の情報に基づいて、投光方向が補正される。
時刻ｔ７乃至ｔ８においては、時刻ｔ３乃至ｔ４と同様の処理がなされ、以降において、同様の処理が繰り返される。
結果として、レーザレンジファインダ２２の投光方向の最適角度が、繰り返し算出されて、補正されることになるので、投光方向が下方向にずれて路面が障害物として検出されてしまったり、投光方向に障害物が存在しないため、障害物があるにも関わらず、検出されないといった誤検出を抑制することが可能となる。
尚、図１３のタイミングチャートにおいては、図１２のステップＳ１１の処理と、ステップＳ１２乃至Ｓ１４の処理とが同一のタイミングで処理され、Ｓ１５乃至Ｓ１９の処理とステップＳ２０の処理とが同一のタイミングで処理されるように説明されているが、図１２のフローチャートにおいては、それらが別のタイミングで処理されるように記載されている。しかしながら、図１２のフローチャートは、便宜上シリーズに処理が進められるように記載されているのみであり、実際には、並列処理がなされるなどして、図１３におけるタイミングチャートに沿った処理がなされる。
また、以上においては、路面が凹凸のない平面であることが前提とされているが、凹凸のある路面であっても、路面の法線方向は、路面としてみなされた範囲の画素単位の法線方向のうち支配的な法線方向が利用されるため、凹凸を含めた平均的な法線方向として扱うことができる。
さらに、以上においては、移動体１１の移動方向に対する路面を構成する平面について説明してきたが、移動体が移動しようとする移動可能領域を構成する平面であれば、必ずしも路面でなくてもよい。
さらに、以上においては、路面の法線方向については、複数の偏光方向の偏光画像より求められる法線マップを用いて、路面の属性が設定された画素の法線方向のうち、支配的な法線方向を求める例について説明してきたが、法線方向が求められればよいので、他の方法で法線方向を求めるようにしてもよい。例えば、既知の地図の情報を用いて法線方向を求めるようにしてもよいし、ステレオカメラを用いて法線方向を求めるようにしてもよい。
＜＜２．第１の応用例＞＞
以上においては、偏光カメラ２１の水平方向の撮像画角およびレーザレンジファインダ２２の水平方向の投光方向の範囲については、正面前方を中心として固定されたものであったが、移動体１１のステアリングの舵角に応じて変化させるようにしてもよい。
すなわち、図１５の左部で示されるように、偏光カメラ２１の水平方向の撮像画角およびレーザレンジファインダ２２の水平方向の投光方向の範囲が、範囲Ｚ１０１で示されるように、前方正面を中心として固定されたものである場合、図中の右方向に移動体１１が移動するとき、道路３７１が図中の下方向（移動方向に対して右方向）に曲がっていると、障害物１２が移動する移動体１１から見て右側の端に存在していると検出範囲外となるため、障害物１２に接近するまで検出することができない。
そこで、図１５の右部で示されるように、移動体１１が道路３７１に沿って曲がる際に、ステアリングの動きに合わせて、範囲Ｚ１０２となるように右方向に回転Ｒ１１だけさせるようにしてもよい。このようにすることで、迅速に障害物を検出することが可能となる。
＜＜３．第２の応用例＞＞
以上においては、レーザレンジファインダ２２は、垂直方向に対して投光方向が１方向のみである例が示されているが、垂直方向に対して複数の投光方向を設定するようにしてもよい。
すなわち、図１６で示されるように、垂直方向に対して投光方向Ｌ１１乃至Ｌ１３となるように３方向を設定するようにしてもよい。図１６の場合、レーザレンジファインダ２２の図示せぬ投光部を垂直方向に３方向設けて、同時に水平方向に回転しながら障害物１２を探索するようにしてもよいし、垂直方向に時分割で３回に分けて、探索するようにしてもよい。
また、垂直方向に対しては、３方向以外の複数の方向を探索するようにしてもよい。
＜＜４．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１７におけるCPU１００１が、図４における自動運転制御部１１０の機能を実現させる。また、図１７における記憶部１００８が、図４における記憶部１０９を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含み、
前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
制御装置。
＜２＞ 複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含み、
前記移動可能領域法線検出部は、前記偏光画像より、移動体の移動可能領域を構成する平面の法線方向を検出する
＜１＞に記載の制御装置。
＜３＞ 前記偏光画像における被写体の表面の法線方向を画素単位で検出する法線方向検出部と、
複数の前記偏光画像より無偏光画像を再構成する再構成部と、
前記無偏光画像の各画素について、被写体の属性が前記移動可能領域であるか否かを判定する属性設定部とをさらに含み、
前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域として属性が設定された画素の領域で支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
＜２＞に記載の制御装置。
＜４＞ 前記属性設定部は、鉛直方向と検出された法線ベクトルとの内積の絶対値が、所定値よりも大きい、前記無偏光画像の各画素について、被写体の属性を移動可能領域に設定する
＜３＞に記載の制御装置。
＜５＞ 前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部をさらに含む
＜３＞に記載の制御装置。
＜６＞ 前記環境マッピング部は、前記無偏光画像の各画素の属性が、前記移動可能領域であるか否かの情報と、前記光が反射した方向および距離との情報に基づいて、環境マップを生成する
＜５＞に記載の制御装置。
＜７＞ 前記環境マッピング部は、
前記無偏光画像の各画素が前記移動可能領域ではなく、かつ、前記反射光が検出された方向については、
当該反射光が検出された距離に至るまでの空間は、フリースペースとして設定し、
前記反射光が検出された前記距離の近傍の空間は、障害物が存在する可能性が高いことを示す領域として設定し、
前記反射光が検出された前記距離以降の空間は、未知の領域として設定し、
前記無偏光画像の各画素が前記移動可能領域であり、前記反射光が検出された方向については、
前記反射光が検出された前記距離までの空間は、フリースペースとして設定し、
前記反射光が検出された前記距離以降の空間は、未知の領域として設定することにより、
前記環境マップを生成する
＜６＞に記載の制御装置。
＜８＞ 前記環境マップは、占有格子地図（Occupancy Grid Map）である
＜５＞に記載の制御装置。
＜９＞ 前記物体検出部により距離が検出された位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
＜２＞に記載の制御装置。
＜１０＞ 前記物体検出部は、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）である
＜１＞に記載の制御装置。
＜１１＞ 前記移動可能領域は、路面である
＜１＞に記載の制御装置。
＜１２＞ 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出し、
偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する処理を含み、
前記光が反射した方向および距離を検出する処理は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
制御方法。
＜１３＞ 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含む処理をコンピュータに実行させ、
前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
プログラム。
＜１４＞ 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部と、
前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部と、
前記環境マップに基づいて行動計画を生成する計画部と、
生成された前記行動計画に基づいて移動体の動作を制御する制御部と
を含み、
前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
移動体。
１１ 移動体， １２ 障害物， ２１ 偏光カメラ， ２２ レーザレンジファインダ， ３１ 路面， ３２，３２−１，３２−２ ３次元構造物， ３３ 空， ３４ 人， ５１ 境界画素（画素）， ６１ 交点（点）， ６１−１，６１−２，６２ 交点群， １０２ データ取得部， １１２ 自動運転制御部， １４１ 移動体外部情報検出部， １５２ 状況認識部， ３０１ 法線検出部， ３０２ 路面平面法線検出部， ３０３ 画像再構成部， ３０４ 画像認識部， ３０５ レーザレンジファインダ最適角度算出部， ３０６ 画素位置算出部 ３２１ 環境マッピング部

Claims (14)

  1. 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
    移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含み、
    前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
    制御装置。
  2. 偏光画像を撮像する偏光カメラをさらに含み、
    前記移動可能領域法線検出部は、前記偏光画像より、移動体の移動可能領域を構成する平面の法線方向を検出する
    請求項１に記載の制御装置。
  3. 前記偏光画像における被写体の表面の法線方向を画素単位で検出する法線方向検出部と、
    複数の前記偏光画像より無偏光画像を再構成する再構成部と、
    前記無偏光画像の各画素について、被写体の属性が前記移動可能領域であるか否かを判定する属性設定部とをさらに含み、
    前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域として属性が設定された画素の領域で支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
    請求項２に記載の制御装置。
  4. 前記属性設定部は、鉛直方向と検出された法線ベクトルとの内積の絶対値が、所定値よりも大きい、前記無偏光画像の各画素について、被写体の属性を移動可能領域に設定する
    請求項３に記載の制御装置。
  5. 前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部をさらに含む
    請求項３に記載の制御装置。
  6. 前記環境マッピング部は、前記無偏光画像の各画素の属性が、前記移動可能領域であるか否かの情報と、前記光が反射した方向および距離との情報に基づいて、環境マップを生成する
    請求項５に記載の制御装置。
  7. 前記環境マッピング部は、
    前記無偏光画像の各画素が前記移動可能領域ではなく、かつ、前記反射光が検出された方向については、
    当該反射光が検出された距離に至るまでの空間は、フリースペースとして設定し、
    前記反射光が検出された前記距離の近傍の空間は、障害物が存在する可能性が高いことを示す領域として設定し、
    前記反射光が検出された前記距離以降の空間は、未知の領域として設定し、
    前記無偏光画像の各画素が前記移動可能領域であり、前記反射光が検出された方向については、
    前記反射光が検出された前記距離までの空間は、フリースペースとして設定し、
    前記反射光が検出された前記距離以降の空間は、未知の領域として設定することにより、
    前記環境マップを生成する
    請求項６に記載の制御装置。
  8. 前記環境マップは、占有格子地図（Occupancy Grid Map）である
    請求項５に記載の制御装置。
  9. 前記物体検出部により距離が検出された位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
    請求項２に記載の制御装置。
  10. 前記物体検出部は、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）である
    請求項１に記載の制御装置。
  11. 前記移動可能領域は、路面である
    請求項１に記載の制御装置。
  12. 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出し、
    偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する処理を含み、
    前記光が反射した方向および距離を検出する処理は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
    制御方法。
  13. 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
    偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部とを含む処理をコンピュータに実行させ、
    前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
    プログラム。
  14. 同一面に沿って方向を変化させながら、光を投光すると共に、前記光の反射光を受光し、投光した時刻と受光した時刻との差分時間に応じて、前記光が反射した方向および距離を検出する物体検出部と、
    偏光画像に基づいて、移動体の移動可能領域を構成する３次元空間における平面の法線方向を検出する移動可能領域法線検出部と、
    前記物体検出部により検出される、前記光が反射した方向および距離の情報に基づいて、環境マップを生成する環境マッピング部と、
    前記環境マップに基づいて行動計画を生成する計画部と、
    生成された前記行動計画に基づいて移動体の動作を制御する制御部と
    を含み、
    前記物体検出部は、前記法線方向に対して直交する面に沿って方向を変化させるように光の投光方向を制御する
    移動体。
JP2019534074A 2017-08-04 2018-07-25 制御装置、および制御方法、プログラム、並びに移動体 Active JP7103359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017151477 2017-08-04
JP2017151477 2017-08-04
PCT/JP2018/027841 WO2019026715A1 (ja) 2017-08-04 2018-07-25 制御装置、および制御方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2019026715A1 true JPWO2019026715A1 (ja) 2020-09-10
JP7103359B2 JP7103359B2 (ja) 2022-07-20

Family

ID=65232641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534074A Active JP7103359B2 (ja) 2017-08-04 2018-07-25 制御装置、および制御方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11427218B2 (ja)
JP (1) JP7103359B2 (ja)
DE (1) DE112018003986T5 (ja)
WO (1) WO2019026715A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6892603B2 (ja) * 2017-12-07 2021-06-23 富士通株式会社 距離計測装置、距離計測方法および距離計測プログラム
JPWO2020039656A1 (ja) * 2018-08-23 2020-08-27 日本精工株式会社 自走装置、自走装置の走行制御方法及び走行制御プログラム
TWI689432B (zh) * 2018-12-26 2020-04-01 財團法人工業技術研究院 車用感測器自動調整方法及其系統
CN113678082B (zh) * 2019-03-25 2024-07-05 索尼集团公司 移动体、移动体的控制方法和程序
CN110189366B (zh) * 2019-04-17 2021-07-06 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN112631266A (zh) * 2019-09-20 2021-04-09 杭州海康机器人技术有限公司 一种移动机器人感知障碍信息的方法、装置
US20220342427A1 (en) * 2019-10-10 2022-10-27 Sony Group Corporation Information processing device, information processing method, and program
WO2021131797A1 (ja) * 2019-12-25 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
JPWO2022201867A1 (ja) * 2021-03-26 2022-09-29
EP4067818A1 (en) * 2021-03-30 2022-10-05 Hexagon Technology Center GmbH Measuring system with panoramic image acquisition functionality
US20230410423A1 (en) * 2022-06-15 2023-12-21 Gm Cruise Holdings Llc Three-dimensional motion grid system for autonomous vehicle perception

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260105A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 移動装置
JP2013222446A (ja) * 2012-04-19 2013-10-28 Toyota Central R&D Labs Inc 障害物検出装置及びそれを備えた移動体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5105596B2 (ja) 2007-10-30 2012-12-26 株式会社Ｉｈｉ 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法
JP2011033497A (ja) * 2009-08-03 2011-02-17 Honda Motor Co Ltd 環境認識システム、環境認識方法およびロボット
US9317754B2 (en) * 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
CN106030680B (zh) * 2014-02-24 2017-09-19 日产自动车株式会社 自身位置计算装置以及自身位置计算方法
CN106687877A (zh) * 2014-07-16 2017-05-17 株式会社理光 系统，机械，控制方法和程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260105A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 移動装置
JP2013222446A (ja) * 2012-04-19 2013-10-28 Toyota Central R&D Labs Inc 障害物検出装置及びそれを備えた移動体

Also Published As

Publication number Publication date
WO2019026715A1 (ja) 2019-02-07
US20200231176A1 (en) 2020-07-23
DE112018003986T5 (de) 2020-04-16
JP7103359B2 (ja) 2022-07-20
US11427218B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
JPWO2019039279A1 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US11915452B2 (en) Information processing device and information processing method
JPWO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
JP2022034086A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220292296A1 (en) Information processing device, information processing method, and program
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
CA3134088A1 (en) Information processing method, program, and information processing apparatus
KR20220009379A (ko) 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20240071122A1 (en) Object recognition method and time-of-flight object recognition circuitry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151