JPWO2019049710A1 - 信号処理装置、および信号処理方法、プログラム、並びに移動体 - Google Patents

信号処理装置、および信号処理方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JPWO2019049710A1
JPWO2019049710A1 JP2019540893A JP2019540893A JPWO2019049710A1 JP WO2019049710 A1 JPWO2019049710 A1 JP WO2019049710A1 JP 2019540893 A JP2019540893 A JP 2019540893A JP 2019540893 A JP2019540893 A JP 2019540893A JP WO2019049710 A1 JPWO2019049710 A1 JP WO2019049710A1
Authority
JP
Japan
Prior art keywords
light
unit
wavelength
signal processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019540893A
Other languages
English (en)
Other versions
JP7371496B2 (ja
Inventor
啓太郎 山本
啓太郎 山本
真一郎 阿部
真一郎 阿部
政彦 豊吉
政彦 豊吉
駿 李
駿 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019049710A1 publication Critical patent/JPWO2019049710A1/ja
Application granted granted Critical
Publication of JP7371496B2 publication Critical patent/JP7371496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/28—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals
    • G02B6/293—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means
    • G02B6/29304—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means operating by diffraction, e.g. grating
    • G02B6/29305—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means operating by diffraction, e.g. grating as bulk element, i.e. free space arrangement external to a light guide
    • G02B6/29311—Diffractive element operating in transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4201—Packages, e.g. shape, construction, internal or external details
    • G02B6/4246—Bidirectionally operating package structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本開示は、自己位置の推定精度を向上させることができるようにする信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。複数の波長の光のいずれかを選択して投光し、所定の反射率よりも高い反射率の物体であるリフレクタからの、投光した光の反射光の受光により、リフレクタを検出する。これにより、他車より投光された光による混信がなくなるので、適切にリフレクタを検出することが可能となり、自己位置の推定精度を向上させることが可能となる。本開示は、車載システムに適用することができる。

Description

本開示は、信号処理装置、および信号処理方法、プログラム、並びに移動体に関し、特に、高精度に自己位置を推定できるようにした信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。
自動運転を実現する上で、自らの周囲の状況を認識し、自己位置を推定する技術が提案されている。
例えば、特徴点の時間変化、またはエッジ投光器を用いた画像から、物体までの距離を算出し、環境マップを作成する技術が提案されている（特許文献１参照）。
また、輝度が周期的に変化する投光器を用いて、その輝度変化と同期する反射光を抽出することで、反射物群を検出し、周囲を認識して自己位置を推定する技術が提案されている（特許文献２参照）。
国際公開番号ＷＯ２０１２／１７２８７０号公報 特開２０１６−１９７０４６号公報
しかしながら、特許文献１のように、画像から特徴点を抽出する場合、暗い夜間においては、特徴点の抽出精度が低下し、結果として自己位置の推定精度が低下する恐れがあった。
また、特許文献１の技術においては、画像内に、リフレクタや光源直視などの高輝度・飽和画素領域が含まれると、特徴点抽出においては精度を低下させる原因となる恐れがあった。
さらに、特許文献２の場合、対向車が同じシステムを用いると、相互の投光器からの直接的な光により誤検出を誘発させる恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、自己位置の推定精度を向上させるものである。
本開示の一側面の信号処理装置は、複数の波長の光を投光する投光部と、所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部とを含む信号処理装置である。
前記複数の波長の光のいずれかを選択し、選択した波長の光を前記投光部より投光させ、前記物体検出部により、前記選択した波長の光の前記物体からの反射光の受光により前記物体を検出させる投光調整部をさらに含ませるようにすることができる。
前記投光部には、光を発する光源と、前記光源により発せられた光のうち、それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された投光フィルタホイールとを含ませるようにすることができ、前記投光調整部には、前記光源より発せられた光のうち、前記選択した波長の光を透過させるように前記投光フィルタホイールを調整させるようにすることができる。
前記投光部には、複数の波長の光を発するLEDを含ませるようにすることができ、前記投光調整部には、前記LEDのうち、前記選択した波長の光を発するLEDが発光するように調整させるようにすることができる。
前記物体検出部は、それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された受光フィルタホイールと、前記受光フィルタホイールのいずれかのフィルタを透過した光を撮像する撮像部とを含ませるようにすることができ、前記投光調整部には、前記選択した波長の光を、前記撮像部が撮像できるように前記受光フィルタホイールを調整させるようにすることができる。
前記物体検出部には、それぞれ所定の波長の光を透過させるBPF（Band Pass Filter）が前段に設けられ、アレイ状に配置された複数の受光素子を含ませるようにすることができ、前記投光調整部には、前記選択した波長の光を透過させるBPFが前段に設けられた前記受光素子で、前記物体を検出できるように調整させるようにすることができる。
前記投光調整部には、他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報を送信させると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報を受信させ、自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させるようにすることができる。
前記投光調整部には、前記他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報と共に、自らの識別子を送信すると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報と共に、前記他の信号処理装置の識別子を受信させ、前記自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの識別子と、前記他の信号処理装置の識別子との大小関係に基づいて、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させるようにすることができる。
前記識別子は、シリアル番号とすることができる。
前記投光調整部には、前記他の信号処理装置より、前記他の信号処理装置における使用波長候補の情報が受信されない場合、前記自らの使用波長候補である波長の光を前記投光部により投光させるようにすることができる。
前記物体には、リフレクタ、ミラー、道路標識、または、路上のセンタラインを含ませるようにすることができる。
前記投光部により投光される光の波長は、近赤外光帯とすることができる。
前記投光部には、複数の波長の光を所定の間隔で投光し、消灯させるようにすることができる。
本開示の一側面の信号処理方法は、複数の波長の光を投光する投光処理と、所定の反射率よりも高い反射率の物体からの、前記投光処理により投光した光の反射光の受光により、前記物体を検出する物体検出処理とを含む信号処理方法である。
本開示の一側面のプログラムは、複数の波長の光を投光する投光部と、所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部とを含む処理をコンピュータに実行させるプログラムである。
本開示の一側面の移動体は、複数の波長の光を投光する投光部と、所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と、前記物体検出部の検出結果に基づいて状況を分析する状況分析部と、前記状況分析部の分析結果に基づいて、行動計画を生成する計画部と、前記行動計画に基づいて、動作を制御する動作制御部とを含む移動体である。
本開示の一側面においては、複数の波長の光が投光され、所定の反射率よりも高い反射率の物体からの、投光した光の反射光の受光により、前記物体が検出される。
本開示の一側面によれば、特に、自己位置の推定精度を向上させることが可能となる。
本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 図１の車両制御システムにおける姿勢を推定する構成を説明する図である。 図２の投光部と受光部との構成例を説明する図である。 投光部による投光するタイミングを説明する図である。 通常画像とリフレクタ画像とを説明する図である。 リフレクタ領域の重心の求め方を説明する図である。 通常画像、コーナ点からなる特徴点画像、リフレクタ領域が抽出された画像、およびリフレクタ領域の重心位置からなる特徴点画像のそれぞれを説明する図である。 推定結果の統合を説明する図である。 姿勢推定処理を説明するフローチャートである。 リフレクタ利用姿勢推定処理を説明するフローチャートである。 明滅波長決定処理を説明するフローチャートである。 画像利用姿勢推定処理を説明するフローチャートである。 GPS,IMU利用姿勢推定処理を説明するフローチャートである。 変形例の動作を説明する図である。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．変形例
３．ソフトウェアにより実行させる例
＜＜１．本開示の好適な実施の形態＞＞
＜本開示の車両制御システムの構成例＞
本開示の移動体は、周囲のリフレクタを高精度に検出し、検出結果に基づいて、自らの姿勢（自己位置、および方向）を認識する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよい。
図１は、本技術が適用され得る移動体制御システムの一例である車両１１に搭載される車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１１を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
尚、本開示においては、データ取得部１０２には、リフレクタを検出するための投光部２２２（図２）、および受光部２２３（図２）も搭載されている。また、ＧＮＳＳ衛星と同様の機能を備えた、ＧＰＳ（Global Positioning System）衛星のＧＰＳ信号を受信すると共に、ＩＭＵ（Inertial Measurement Unit）のデータを取得するGPS,IMUデータ取得部２６１（図２）も搭載されている。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜自らの姿勢を推定する構成例＞
次に、図２を参照して、図１の車両制御システム１００における自らの姿勢を推定する構成例について説明する。
自らの姿勢を推定する構成例は、図１の車両制御システム１００におけるデータ取得部１０２および、自動運転制御部１１２における検出部１３１の車外情報検出部１４１、並びに自己位置推定部１３２により構成される。
また、自らの姿勢を推定する構成であるデータ取得部１０２、車外情報検出部１４１、並びに自己位置推定部１３２は、リフレクタ利用姿勢推定部２０１、画像利用姿勢推定部２０２、GPS,IMU利用姿勢推定部２０３、データ取得状況検出部２０４、および推定結果統合部２０５を備えている。
リフレクタ利用姿勢推定部２０１は、近赤外光帯における所定の波長の光を周囲に投光すると共に、光を投光した範囲を画像として撮像し、撮像された画像内において、リフレクタから反射される光を検出し、検出したリフレクタの位置を利用して、自己の姿勢を推定する。リフレクタ利用姿勢推定部２０１は、推定結果を、リフレクタ利用姿勢推定結果として推定結果統合部２０５に出力する。
ここで、自己の姿勢とは、自己位置、および自己の方向を含む情報である。すなわち、自己位置は、例えば、自己の地球上における位置であり、自己の方向とは、例えば、地球上における自己位置が求められたとき、自己位置において、地球上の東西南北のどの方向を向いているのかを示す情報である。本明細書においては、この自己位置と方向とをまとめて、自己の姿勢、または、単に姿勢と称する。
より詳細には、リフレクタ利用姿勢推定部２０１は、投光調整部２２１、投光部２２２、受光部２２３、リフレクタ領域抽出部２２４、特徴点（重心）抽出部２２５、および姿勢推定部２２６を備えている。
投光調整部２２１は、周囲の他車と通信する際、投光部２２２により投光する光の波長が同一になることで混信による誤検出の発生を防止するため、投光部２２２により投光される光の波長を他車との通信により調整し、調整した波長の光を投光部２２２より投光させる。より詳細には、投光調整部２２１は、周囲の他車との通信により、他車の投光部２２２より、投光しようとする候補となる波長が同一である場合、双方のシリアル番号を比較し、シリアル番号が大きい方が、投光する光の波長を変更することで、同一の波長の光が投光されることにより生じる混信を抑制する。尚、他車との通信は、例えば、通信部１０３を利用した車車間通信などである。
投光部２２２は、投光調整部２２１により調整された所定の波長の光を、所定の時間間隔で、投光と消灯とを繰り返して投光する。尚、以降において、この投光と消灯とを繰り返す時間間隔を１フレームと称する。したがって、１回の投光時間と１回の消灯時間とを合わせた時間を１サイクル（１周期）とした場合、１サイクルは、２フレームとなる。
受光部２２３は、投光調整部２２１により制御され、調整された所定の波長の光を受光できる状態で、投光部２２２により所定の波長の光が投光された範囲について、投光時の画像と、消灯時の画像とを撮像し、リフレクタ領域抽出部２２４に供給する。
尚、投光部２２２および受光部２２３の具体的な構成については、図３を参照して詳細を後述する。
リフレクタ領域抽出部２２４は、投光時の画像と消灯時の画像との差分画像を求めて、輝度値が所定値よりも高い範囲をリフレクタ領域として抽出して特徴点（重心）抽出部２２５に供給する。尚、リフレクタ領域の抽出方法については、図５を参照して、詳細を後述する。
特徴点（重心）抽出部２２５は、検出されたリフレクタ領域の重心位置を特徴点として抽出し、特徴点の情報を姿勢推定部２２６に供給する。尚、特徴点の抽出方法については、図６を参照して、詳細を後述する。
姿勢推定部２２６は、リフレクタ領域の重心位置からなる特徴点の情報に基づいて、例えば、SLAM（Simultaneous Localization And Mapping）等を用いて、自らの姿勢を推定し、リフレクタ利用姿勢推定結果として推定結果統合部２０５に出力する。
画像利用姿勢推定部２０２は、周囲の画像を撮像し、撮像結果である画像の情報を利用して、自己の姿勢を推定し、画像利用姿勢推定結果として推定結果統合部２０５に出力する。
より詳細には、画像利用姿勢推定部２０２は、画像取得部２４１、特徴点抽出部２４２、および姿勢推定部２４３を備えている。画像取得部２４１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる撮像素子を備えた撮像部であり、車両１１の周囲を撮像し、撮像した画像を特徴点抽出部２４２に出力する。
特徴点抽出部２４２は、画像に基づいて、例えば、Harris、SIFT、またはSURF等のコーナ点などからなる特徴点を抽出し、抽出した特徴点の情報を姿勢推定部２４３に出力する。
姿勢推定部２４３は、特徴点抽出部２４２より供給された特徴点の情報に基づいて、例えば、SLAM（Simultaneous Localization And Mapping）等を用いて、自己の姿勢を推定し、画像利用姿勢推定結果として推定結果統合部２０５に出力する。
GPS,IMU利用姿勢推定部２０３は、GPS（Global Positioning System）の衛星からのGPSデータやIMU（Inertial Measurement Unit）（慣性計測装置）の測定結果であるIMUデータを利用して、自己の姿勢を推定し、GPS,IMU利用姿勢推定結果として推定結果統合部２０５に出力する。
GPS,IMU利用姿勢推定部２０３は、GPS,IMUデータ取得部２６１、および姿勢推定部２６２を備えている。GPS,IMUデータ取得部２６１は、GPS衛星より送信される地球上の位置を特定するGPSデータを受信し、受信したGPSデータを姿勢推定部２６２に供給すると共に、ジャイロセンサなどからなる慣性計測装置により計測された計測結果からなるIMUデータを姿勢推定部２６２に供給する。
姿勢推定部２６２は、GPS衛星より送信されてくるGPSデータに基づいて、地球上の位置情報である緯度及び経度を推定し、自己位置および方向を推定し、推定結果統合部２０５に出力する。また、姿勢推定部２６２は、IMUより供給された計測結果からなるIMUデータに基づいて、地球上の位置情報を推定し、姿勢を推定する。
尚、姿勢推定部２６２は、GPSデータが取得できる限り、GPSデータに基づいて、比較的高精度に姿勢推定を実現することが可能であるが、屋内や地下など、GPS衛星からの信号であるGPSデータを受信できない状態があるため、IMTデータによる計測結果と組み合わせて姿勢を推定する。
データ取得状況検出部２０４は、リフレクタ利用姿勢推定部２０１、画像利用姿勢推定部２０２、およびGPS,IMU利用姿勢推定部２０３のデータ取得状況を検出して、検出結果であるデータ取得状況検出結果を推定結果統合部２０５に出力する。
より具体的には、データ取得状況検出部２０４は、リフレクタ利用姿勢推定結果の精度に影響する、例えば、検出しているリフレクタの個数や周囲の明るさの情報、画像利用姿勢推定結果の精度に影響する周囲の明るさの情報、GPS,IMU利用姿勢推定結果の精度に影響するGPSの位置推定に使用しているGPSデータを取得する衛星数や、慣性計測装置のバイアス誤差などに影響を与える温度や振動の程度の情報を、データ取得状況検出結果として推定結果統合部２０５に出力する。
推定結果統合部２０５は、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果を、データ取得状況検出結果に基づいて重み付けして、例えば、ベイズフィルタやEKF(Extended Kalman Filter)等を利用して統合し、姿勢推定結果として出力する。
＜投光部および受光部の構成例＞
次に、図３を参照して、投光部２２２および受光部２２３の構成例について説明する。尚、図３の上段は、左右ともに投光部２２２の構成例を示しており、図３の下段は、左右共に受光部２２３の構成例を示している。
図３の左上部は、投光部２２２の第１の構成例を示しており、光源部２８１およびフィルタホイール２８２より構成されている。尚、図３の左上部においては、左部がフィルタホイール２８２の正面図であり、右部がフィルタホイール２８２および光源部２８１の側面図である。光源部２８１は、近赤外光帯の光を発光し、フィルタホイール２８２のフィルタを介して、所定の波長の光を透過させて、車両１１の前方方向等の周囲に投光する。
すなわち、フィルタホイール２８２は、図３の左上部における左部で示されるように、黒丸で示された回転軸を中心として同心円状に８種類のフィルタｆａ乃至ｆｈを備えている。フィルタｆａ乃至ｆｈは、それぞれ光源部２８１より投光される光のうち、異なる波長の光を透過させる。
このような構成により、投光調整部２２１は、フィルタホイール２８２を、黒丸で示された回転軸を中心として回転させて、光源部２８１の前面の位置のフィルタｆａ乃至ｆｈを切り替えることにより、投光する光の波長を、例えば、800nm乃至1000nmの範囲で切り替える。
尚、図３の左上部においては、フィルタが８枚の構成とされ、８種類の波長の光に切り替えられる構成例が示されているが、８種類以上、または、８種類以下の数のフィルタを用意して切り替えられるようにしてもよい。
図３の右上部は、投光部２２２の第２の構成例を示しており、発する近赤外光帯の波長が異なる光を発するLED（Light Emission Diode）２９１がアレイ状に配置された構成とされている。図中においてＡ乃至Ｄで区分けされたLED２９１ａ乃至２９１ｄは、それぞれ異なる波長の光を発生するLED２９１であり、投光調整部２２１は、これらのいずれか投光しようとする波長のLED２９１を選択して発光させることにより、所定の波長の近赤外光帯の光を投光させる。
尚、図３の右上部の投光部２２２においては、４種類の波長の光を投光させる構成が示されているが、４種類以上、または、４種類以下の波長の異なるLEDを用意して、切り替えられるようにしてもよい。
図３の左下部は、図３の左上部の投光部２２２の第１の構成例に対応する受光部２２３の第１の構成例が示されている。尚、図３の左下部においては、左部がフィルタホイール３１２の正面図であり、右部がフィルタホイール３１２および撮像部３１１の側面図である。フィルタホイール３１２は、図３の左下部における左部で示されるように、黒丸で示された回転軸を中心として同心円状に異なる波長の光を透過させる複数のフィルタｆａ乃至ｆｈが設けられている。撮像部３１１は、フィルタホイール３１２のいずれかのフィルタｆａ乃至ｆｈを介して、車両１１の前方等の周囲の画像を撮像する。
このような構成により、投光調整部２２１は、フィルタホイール３１２を、黒丸で示された回転軸を中心として回転させることにより、フィルタｆａ乃至ｆｈが切り替えて、投光部２２２を制御して投光させる、例えば、800nm乃至1000nmの範囲のいずれかの波長の反射光を透過させて、撮像部３１１により受光して撮像できるように切り替える。
尚、図３の左下部においては、フィルタが８枚の構成とされ、８種類の波長の光に切り替えられる構成例が示されているが、８種類以上、または、８種類以下の数のフィルタを用意して切り替えられるようにしてもよい。
図３の右下部は、図３の右上部の投光部２２２の第２の構成例に対応する受光部２２３の第２の構成例を示しており、所定の波長の光を透過させるBPF（Band Pass Filter）が前面に設けられた、受光素子３３１ａ乃至３３１ｄがアレイ状に配置された撮像素子３３１とされている。
このような構成により、投光調整部２２１は、投光部２２２により投光される光と同一の波長の光を透過させるBPFが前段に設けられた受光素子３３１ａ乃至３３１ｄのいずれかに切り替えて受光できるように制御する。
尚、図３の右下部においては、図中においてＡ乃至Ｄで区分けされた受光素子３３１ａ乃至３３１ｄのそれぞれが、異なる波長の光を透過させるBPFが前面に設けられている。
また、図３の右下部の受光部２２３においては、４種類の波長の光を受光させる構成が示されているが、４種類以上、または、４種類以下の波長の異なる受光素子を用意して、切り替えられるようにしてもよい。
さらに、投光部２２２が、図３の左上部の第１の構成例であり、受光部２２３が、図３の右下部の第２の構成例であってもよく、投光部２２２が、図３の右上部の第２の構成例であり、受光部２２３が、図３の左下部の第１の構成例であってもよい。
また、投光部２２２により投光される光は、近赤外光以外の光でもよく、例えば、人間に対して不可視にしたい場合は近赤外光を用い、夜間等において通常のヘッドライトと共用したい場合、可視光（例えば、波長が400nm乃至800nmとなる光）を用いるようにしてもよい。
さらに、投光部２２２および受光部２２３は、例えば、ヘッドライト内、ダッシュボード上やフロントガラス上部などに設けられている車載カメラと共用するようにしてもよい。
＜投光部および受光部による検出の原理＞
次に、図４を参照して、投光部２２２により投光した光がリフレクタにより反射されて、受光部２２３において反射光として受光される原理について説明する。
例えば、図４の最上段で示されるように、投光部２２２が、例えば、波長800nmの光ＬＳ１を、１フレーム単位で発光および消灯するように投光する場合、受光部２２３は、波長800nmの光ＬＳ１のみしか受光できないので、波長800nm以外の、例えば、図４の中段で示される波長900nmの光ＬＳ２や、図４の最下段で示される波長1000nmの光ＬＳＸについては、受光することができない。このため、他の波長の光による混信の発生が抑制され、確実に、リフレクタにより反射される波長800nmの光ＬＳ１のみを受光することで、自ら投光した光ＬＳ１のみをリフレクタからの反射光として確実に検出することができる。
また、図４の最上段で示されるように、投光部２２２が、波長800nmの光ＬＳ１を、１フレーム毎に発光および消灯するように第１の周期で投光し、図４の中段で示されるように、投光部２２２が、波長900nmの光ＬＳ２を、１フレームごとに消灯および発光するように第２の周期で投光することで、誤検出を低減させることができる。すなわち、図４の最上段における波形と、中段における波形とは、Ｈｉｇｈとなるタイミング（発光するタイミング）とＬｏｗとなるタイミング（消灯するタイミング）とが完全に逆位相となっている。このため、１フレーム分の時間で自ら投光した光ＬＳ１のみをリフレクタからの反射光として確実に検出することができる。
このような原理により、受光部２２３は、受光する光の波長と周期とを確認することにより、自らの投光部２２２から投光した光であることを認識しながら受光することが可能となり、他車から投光される光が存在していたとしても、その混信を抑制し、誤検出を低減させることが可能となる。
＜リフレクタ領域の抽出＞
次に、図５を参照して、リフレクタ領域の抽出方法について説明する。
投光部２２２が所定の波長の光を、例えば、図５の左部で示されるような、車両１１の前方の道路上に投光し、受光部２２３が、画像Ｐ１として撮像する場合、光が投光されているタイミングで、受光部２２３により撮像される画像と、光が投光されていないタイミングで、受光部２２３により撮像される画像との差分画像を求め、更に所定の閾値で二値化した場合の画像が、図５の右部の画像Ｐ２のような画像とされる。
すなわち、画像Ｐ１は、夜間における画像であり、道路画像と車両１１の一部、センタラインおよびサイドライン上のリフレクタ、並びに図中左上部の標識が含まれている。これに対して、画像Ｐ２においては、リフレクタが設けられた領域からの反射光のみが映し出された画像となる。尚、道路標識の反射率も、所定値よりも高い物体であるので、道路上に設けられたリフレクタと共に、標識もリフレクタ同様に投光した光を反射させる。
すなわち、図３を参照して説明した投光部２２２と受光部２２３とを、所定の周期で投光と消灯とを繰り返し、投光時の画像と消灯時の画像との差分画像を、画像Ｐ２として示されるような、反射率の高いリフレクタや標識などの像だけが強い輝度の画像を取得することができる。そこで、リフレクタ領域抽出部２２４は、画像Ｐ２における所定の輝度レベルより高い範囲をリフレクタ領域として抽出する。さらに、リフレクタ領域抽出部２２４は、このようにして求められたリフレクタ領域のうち、領域面積が所定値よりも小さいものを、ノイズとして除去する。結果として、ノイズが除去されたリフレクタ領域を抽出することが可能となる。
＜特徴点（重心位置）の抽出＞
次に、図６を参照して、特徴点抽出部２２５によるリフレクタ領域の重心位置を特徴点として抽出する手法について説明する。
例えば、図５の画像Ｐ２に対応する図６の左部の画像Ｐ２の左下部で示されるようなリフレクタ領域Ａの場合、図６の右部で示される画像ＰＡにおけるリフレクタ領域Ａの重心位置ｇは、以下の式（１）で示されるように求められる。
Figure 2019049710
 ・・・（１）
ここで、式（１）におけるｍp,qは、以下の式（２）で表される。
Figure 2019049710
 ・・・（２）
すなわち、リフレクタ領域Ａを構成する輝度が所定値よりも大きい画素の画素位置の重心位置がリフレクタ領域の重心位置ｇとして求められる。
このように重心位置ｇを求めるようにすることで、画像Ｐ２におけるリフレクタ領域を見てもわかるように、実際のリフレクタの形状とは異なり、変形した状態で撮像されることがあるが、重心位置は大きな変化がないので、高精度にリフレクタの位置関係を再現することが可能となる。
さらに、特徴点抽出部２２５は、リフレクタ領域のうち、処理の面積よりも狭いものについては、ノイズとみなして除去する。
＜画像利用姿勢推定結果およびリフレクタ利用姿勢推定結果＞
ここで、図７を参照して、画像利用姿勢推定結果およびリフレクタ利用姿勢推定結果について説明する。
図７の左上部の画像Ｐ２１で示されるような画像が、画像取得部２４１により撮像される場合を考える。図７の左上部の画像Ｐ２１においては、中央に道路３６１が映し出され、左からサイドライン３６３−１、センタライン３６３−２、およびサイドライン３６３−３が映し出され、各ライン上に左からリフレクタ３６２−１乃至３６２−３が映し出され、道路３６１の脇に樹木３６４が映し出されている。
特徴点抽出部２４２は、画像Ｐ２１より例えば、図７の左下部の画像Ｐ２２で示されるようなコーナ点からなる特徴点情報を抽出する。姿勢推定部２４３は、抽出されたコーナ点からなる特徴点情報である画像Ｐ２２に基づいて、物体を認識し、認識した物体の配置から自己位置と方向からなる姿勢を画像利用姿勢推定結果として推定する。
これに対して、リフレクタ領域抽出部２２４は、図７の右上部の画像Ｐ２３で示されるようにリフレクタ領域を抽出する。すなわち、図７の右上部の画像Ｐ２３においては、画像Ｐ２１におけるリフレクタ３６２−１乃至３６２−３に対応する位置に、リフレクタ領域３７１−１乃至３７１−３が抽出されている。
尚、図７の左上部の画像Ｐ２１において、サイドライン３６３−１、センタライン３６３−２、およびサイドライン３６３−３には、リフレクタ３６２−１乃至３６２−３以外にもリフレクタが映し出されているが、符号は付されていない。また、リフレクタ３６２−１乃至３６２−３以外のリフレクタは、サイドライン３６３−１、センタライン３６３−２、およびサイドライン３６３−３上のそれぞれにおいて、ほぼ等間隔に配置されている。
また、図７の右上部で示される画像Ｐ２３内においては、リフレクタ領域３７１−１乃至３７１−３を除くリフレクタ領域が、図７の左上部の画像Ｐ２１における、リフレクタ３６２−１乃至３６２−３として符号が付されていないリフレクタと対応する位置に抽出されている。
特徴点抽出部２２５は、図７の右上部の画像Ｐ２３のリフレクタ領域３７１の情報に基づいて、各リフレクタ領域の重心位置３８１を求めて、例えば、図７の右下部の画像Ｐ２４のようなリフレクタ領域の位置を示す特徴点からなる特徴点情報を生成する。画像Ｐ２４においては、リフレクタ領域３７１−１乃至３７１−３に対応する重心位置３８１−１乃至３８１−３に符号が付されているが、符号が付されていない重心位置についても十字マークとして記載されている。
姿勢推定部２４３は、リフレクタ領域の重心位置からなる特徴点情報である画像Ｐ２４に基づいて、自己位置と方向とからなる姿勢をリフレクタ利用姿勢推定結果として推定する。
画像Ｐ２１内の物体を認識して自己位置と方向を推定する場合、画像Ｐ２２で示されるコーナ点からなる特徴点情報に基づいて、物体が認識されて自己位置と方向が、画像利用姿勢推定結果として推定される。ところで、画像利用姿勢推定結果は、画像Ｐ２１を取得するにあたって、周囲が十分な明るさを備えた明所であるときは、認識可能な物体も多いので、高い精度で姿勢を推定することが可能である。しかしながら、暗所においては画像Ｐ２１において特徴点であるコーナ点の抽出が難しくなり、画像Ｐ２２で示されるような特徴点が抽出し難い状態となるため、画像利用姿勢推定結果は、姿勢推定における精度が低下する恐れがある。
これに対して、リフレクタ領域を特徴点情報とした画像Ｐ２３における、各リフレクタ領域の重心位置からなる特徴点情報とする画像Ｐ２４を用いた場合に得られるリフレクタ利用姿勢推定結果は、暗所においても高精度に認識することが可能である。しかしながら、リフレクタ利用姿勢推定結果は、明所においては、例えば、画像Ｐ２１に基づいた特徴点情報である画像Ｐ２２ほどの情報量はないため、画像利用姿勢推定結果より高精度であるとは言えない。
＜姿勢推定結果の統合＞
次に、推定結果統合部２０５による、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果の統合方法について説明する。
リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果は、受光部２２３、画像取得部２４１、およびGPS,IMUデータ取得部２６１のそれぞれのデータ取得状況に応じて、姿勢推定に係る精度が変化する。
そこで、推定結果統合部２０５は、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果を、データ取得状況検出部２０４より供給されてくる、受光部２２３、画像取得部２４１、およびGPS,IMUデータ取得部２６１におけるデータ取得状況に応じて、重みを付して、例えば、ベイズフィルタ、およびEKF(Extended Kalman Filter)等を用いて統合する。
ここで、姿勢推定結果の統合について、自己位置の変化である軌跡の例を用いて説明する。例えば、車両１１の現実の軌跡が、図８の細線からなる軌跡４０１で示されるように、円を描くようなものであり、データ取得状況がいずれも良好で、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果の３種類の推定結果を均等に利用する場合を考えるものとする。
この場合、例えば、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果が図中の黒丸からなるプロット４０２で表され、リフレクタ利用姿勢推定結果が図中の白丸からなるプロット４０３で表されるとき、プロット４０２，４０３の結果を、ベイズフィルタ、およびEKF(Extended Kalman Filter)等を用いて統合したときの結果が、統合軌跡４０４で示される。
すなわち、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果のプロット４０２と、リフレクタ利用姿勢推定結果のプロット４０３とが利用されて統合された統合軌跡４０４は、現実の軌跡４０１に近い軌跡として推定される。
また、データ取得状況において、周囲の照度の情報が取得できるような場合、暗時となる夜間など、安定してコーナ点となる特徴点が取得できない状況になった時には、画像利用姿勢推定結果の重みを小さくする、または、リフレクタ利用姿勢推定結果の重みを大きくするようにしてもよい。このようにすると、統合軌跡４０４は、リフレクタ利用姿勢推定結果のプロット４０３に近い軌道に変化する。
さらに、十分な照度が確保された日中などは、物体として認識できる情報量の多い画像を用いた画像利用姿勢推定結果の重みを大きくする、または、リフレクタ利用姿勢推定結果の重みを小さくするようにしてもよい。
尚、図８においては、各プロットは、フレーム単位（図４の波形におけるＨｉｇｈまたはＬｏｗの期間）で推定される自己位置をプロットしたものである。
また、GPSデータについて、受信中の衛星の数が少ない場合、GPSの精度は低いが、IMUの位置計測の結果を用いたデータにより、ある程度の精度が補償されていると考えることができる。
しかしながら、GPS衛星からのGPSデータの受信が途絶えてから、IMUデータのみで位置計測が継続している時間が長いと、温度や振動の程度によりIMUのバイアス誤差が積み重なり、精度が低下してくる可能性がある。
そこで、GPSの衛星からのデータが途絶えて、IMUのデータのみで姿勢推定している状態が継続しているときには、バイアス誤差に影響を与える温度や振動の程度に応じて、GPS,IMU利用姿勢推定結果の重みを小さくするようにしてもよい。
尚、自己位置を推定するにあたっては、自転車、人物などに付帯されるリフレクタなど、動被写体のリフレクタについては、累積的に蓄積されると自己位置の推定に悪影響を与える可能性が高いので、RANSAC（Random Sample Consensus）等を用いて除去することが望ましい。
＜図２の姿勢を推定する構成例による姿勢推定処理＞
次に、図９のフローチャートを参照して、図２の車両１１の姿勢、すなわち、自己位置と方向を推定する構成例による、姿勢推定処理について説明する。
ステップＳ１１において、リフレクタ利用姿勢推定部２０１は、リフレクタ利用姿勢推定処理を実行し、リフレクタを利用して自己の姿勢を推定し、リフレクタ利用姿勢推定結果として、推定結果統合部２０５に出力する。尚、リフレクタ利用姿勢推定処理については、図１０のフローチャートを参照して、詳細を後述する。
ステップＳ１２において、画像利用姿勢推定部２０２は、画像利用姿勢推定処理を実行し、画像を利用して自己の姿勢を推定し、画像利用姿勢推定結果として、推定結果統合部２０５に出力する。尚、画像利用姿勢推定処理については、図１２のフローチャートを参照して、詳細を後述する。
ステップＳ１３において、GPS,IMU利用姿勢推定部２０３は、GPS,IMU利用姿勢推定処理を実行し、GPS,IMUのデータを利用して自己の姿勢を推定し、GPS,IMU利用姿勢推定結果として、推定結果統合部２０５に出力する。尚、GPS,IMU利用姿勢推定処理については、図１３のフローチャートを参照して、詳細を後述する。
ステップＳ１４において、データ取得状況検出部２０４は、受光部２２３、画像取得部２４１、およびGPS,IMUデータ取得部２６１における、それぞれのデータ取得状況を検出し、検出結果を推定結果統合部２０５に供給する。
すなわち、ここでいうデータ取得状況とは、受光部２２３、および画像取得部２４１の検出精度に影響する、周辺の照度の情報や、GPS,IMUデータ取得部２６１の検出精度に影響する、GPSデータが取得できる衛星数や、IMUデータのバイアス誤差に影響する温度や振動レベルなどである。
ステップＳ１５において、推定結果統合部２０５は、図８を参照して説明したように、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果のそれぞれに対して、データ取得状況に応じた重みを付して、ベイズフィルタ、およびEKF(Extended Kalman Filter)等を用いて統合し、統合結果を姿勢推定結果として出力する。
ステップＳ１６において、入力部１０１が操作されて、ユーザにより終了が指示されたか否かが判定され、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、終了が指示されるまで、ステップＳ１１乃至Ｓ１６の処理が繰り返される。そして、ステップＳ１６において、終了が指示されたとみなされた場合、処理は、終了する。
以上の処理により、リフレクタ利用姿勢推定結果、画像利用姿勢推定結果、およびGPS,IMU利用姿勢推定結果が、それぞれに求められ、それぞれの精度に影響するデータ取得状況に応じて、重み付けされて統合され、統合結果が姿勢推定結果として出力される。結果として、３種類の推定方法で求められた姿勢推定結果が、データ取得状況に応じて重み付けされた上で統合されて姿勢が推定されるので、高い精度で姿勢推定を実現することが可能となる。
＜リフレクタ利用姿勢推定処理＞
次に、図１０のフローチャートを参照して、図２のリフレクタ利用姿勢推定部２０１によるリフレクタ利用姿勢推定処理について説明する。
ステップＳ３１において、投光調整部２２１は、明滅波長決定処理を実行し、投光部２２２により明滅させて（発光および消灯を交互に繰り返させて）投光する光の波長を決定する。尚、明滅波長決定処理については、図１１のフローチャートを参照して、詳細を後述する。
ステップＳ３２において、投光調整部２２１は、ステップＳ３１の処理で決定した明滅波長で投光部２２２を所定期間、例えば、１フレーム分だけ発光させる。より詳細には、投光調整部２２１は、例えば、投光部２２２が、図３の左上部の構成である場合、フィルタホイール２８２を必要に応じて回転させて、フィルタｆａ乃至ｆｈのうち、決定した波長の光を透過さえるフィルタを、光源部２８１からの光が透過するようにさせて、光源部２８１を発光させる。
また、投光部２２２が、図３の右上部の構成である場合、投光調整部２２１は、LED２９１ａ乃至２９１ｄのうち、決定した明滅波長の光を発光するLED２９１を特定して発光させる。
ステップＳ３３において、投光調整部２２１は、決定した明滅波長の光からなる画像を撮像できる状態に受光部２２３を調整する。投光調整部２２１は、投光部２２２が投光しているタイミングにおいて、受光部２２３を制御して、所定時間だけ受光させ、受光された光に応じた画像を撮像させ、リフレクタ領域抽出部２２４に出力させる。尚、以降においては、投光部２２２が投光中に撮像された画像を投光画像と称する。
より詳細には、受光部２２３が、図３の左下部の構成である場合、投光調整部２２１は、フィルタｆａ乃至ｆｈのうち、投光部２２２より投光する光の波長として決定した波長の光を透過させるフィルタを、撮像部３１１の前段の位置するように、フィルタホイール３１２を回転させて、投光部２２２により投光しているタイミングに、撮像部３１１により所定時間だけ画像を撮像するように制御する。
また、受光部２２３が、図３の右下部の構成である場合、投光調整部２２１は、受光素子３３１ａ乃至３３１ｄのうち、決定した明滅波長の光を透過させるBPFを備えた受光素子を特定して受光させる。
ステップＳ３４において、投光調整部２２１は、投光部２２２を所定期間、例えば、１フレーム分だけ消灯させる。
ステップＳ３５において、投光調整部２２１は、受光部２２３を制御して、投光部２２２が消灯したタイミングにおける画像を撮像させ、リフレクタ領域抽出部２２４に出力させる。尚、以降においては、投光部２２２が消灯中に撮像された画像を消灯画像と称する。
ステップＳ３６において、リフレクタ領域抽出部２２４は、投光画像と消灯画像との、それぞれの同一位置の画素間の差分を求め、求められた画素間の差分値からなる差分画像を求める。
ステップＳ３７において、リフレクタ領域抽出部２２４は、差分画像において、所定の輝度値よりも高い画素をリフレクタ領域候補として抽出する。
ステップＳ３８において、リフレクタ領域抽出部２２４は、リフレクタ領域候補となる画素のそれぞれについて、隣接する画素のうち、リフレクタ領域候補となる画素の数を求めて、所定数よりも少ない画素については、リフレクタ領域ではなく、何らかのノイズであるものとみなし、リフレクタ領域候補から外す。リフレクタ領域抽出部２２４は、全てのリフレクタ領域候補となる画素について、同様の処理を行った後、残ったリフレクタ領域候補を、リフレクタ領域であるものとみなして、求められたリフレクタ領域の情報を特徴点抽出部２２５に出力する。すなわち、この処理により、個々のリフレクタ領域は、差分画像における、所定輝度以上であって、かつ、所定の面積よりも広い領域となる。
ステップＳ３９において、特徴点抽出部２２５は、リフレクタ領域の情報より、リフレクタ領域の重心位置からなる特徴点を抽出し、特徴点情報として姿勢推定部２２６に出力する。
ステップＳ４０において、姿勢推定部２２６は、リフレクタ領域の重心位置からなる特徴点情報に基づいて、例えば、SLAM等により自己の姿勢を推定し、推定結果をリフレクタ利用姿勢推定結果として、推定結果統合部２０５に出力する。
以上の処理により、周囲のリフレクタを用いることにより、車両１１の自己位置および方向からなる姿勢を推定することが可能となる。リフレクタは、夜間においても高精度で検出できるので、暗時において、特に、高精度で自己位置および方向からなる姿勢を推定することが可能となる。
尚、以上においては、リフレクタを用いた姿勢推定処理について説明してきたが、投光した光を所定の反射率よりも高い反射率で反射可能なものであれば、リフレクタ以外の物体であってもよく、例えば、ミラー、道路標識、路上のライン（白線、黄色線等）でもよい。特に、再帰性反射材を含むミラー、道路標識、路上のライン（白線、黄色線等）などでは、より高い反射率で反射される。また、投光する光の波長についても、その他の波長でもよく、例えば、人間に対して不可視にしたい場合は近赤外光を用い、夜間等において通常のヘッドライトと投光部２２２とを共用したい場合、可視光を用いるようにしてもよい。
＜明滅波長決定処理＞
次に、図１１のフローチャートを参照して、明滅波長決定処理について説明する。
ステップＳ５１において、投光調整部２２１は、使用候補波長Ｔ１をランダムに設定する。
ステップＳ５２において、投光調整部２２１は、使用候補波長Ｔ１と自らを識別するシリアル番号Ｓ１を、無線等の所定の周波数帯域の信号により周囲に発信する。
ステップＳ５３において、投光調整部２２１は、他車の投光調整部２２１より使用候補波長Ｔ２および識別子であるシリアル番号Ｓ２が送信されてきたか否かを判定する。すなわち、図２を参照して説明した構成を備えた他車が付近に存在する場合、自らと同様に、使用候補波長Ｔ２とシリアル番号Ｓ２とが送信されてくることになるので、その有無が確認される。
ステップＳ５３において、例えば、他車の投光調整部２２１より使用候補波長Ｔ２および識別子であるシリアル番号Ｓ２が送信されてきた場合、処理は、ステップＳ５４に進む。
ステップＳ５４において、投光調整部２２１は、自らの使用候補波長Ｔ１と、他車から送信されてきた使用候補波長Ｔ２とが同一であるか否かを判定する。ステップＳ５４において、自らの使用候補波長Ｔ１と、他車から送信されてきた使用候補波長Ｔ２とが同一である場合、リフレクタ利用姿勢推定処理において、混信による誤判定の可能性があるものとみなされ、処理は、ステップＳ５５に進む。
ステップＳ５５において、投光調整部２２１は、自らのシリアル番号Ｓ１が、他車から送信されてきたシリアル番号Ｓ２よりも大きいか否かを判定する。ステップＳ５５において、自らのシリアル番号Ｓ１が、他車から送信されてきたシリアル番号Ｓ２よりも大きい場合、処理は、ステップＳ５６に進む。
ステップＳ５６において、投光調整部２２１は、自らの使用候補波長Ｔ１が、設定可能最大波長であるか否かを判定する。ステップＳ５６において、自らの使用候補波長Ｔ１が設定可能最大波長ではない場合、処理は、ステップＳ５７に進む。
ステップＳ５７において、投光調整部２２１は、使用候補波長Ｔ１を１ステップ上げた使用候補波長（Ｔ１＋１）とし、明滅波長Ｂ１に設定する。すなわち、使用可能な波長は、最小波長から最大波長まで波長に応じた順番に番号付けされており、使用候補波長が最大波長でなければ、さらに、１ステップ分だけ長い波長、すなわち、ランダムに設定された使用候補波長Ｔ１よりも、波長に応じた順番が１番上の使用候補波長（Ｔ１＋１）が明滅波長に設定される。
一方、ステップＳ５６において、自らの使用候補波長Ｔ１が設定可能最大波長である場合、処理は、ステップＳ５８に進む。
ステップＳ５８において、投光調整部２２１は、使用候補波長Ｔ１の可能最小値を、明滅波長Ｂ１に設定する。すなわち、最大波長である場合については、１ステップ分だけ長い波長、すなわち、波長に応じた順番が１番上の使用候補波長を設定することができないので、明滅波長は最小波長に設定される。
また、ステップＳ５３において、他車から使用候補波長Ｔ２およびシリアル番号Ｓ２が送信されてこない場合、周囲に混信の可能性のある他車が存在しないとみなされるので、処理は、ステップＳ５９に進む。
ステップＳ５９において、投光調整部２２１は、ランダムに設定された使用候補波長Ｔ１をそのまま明滅波長Ｂ１に設定する。
また、ステップＳ５４において、使用候補波長Ｔ１，Ｔ２が同一ではない場合、混信の発生はないとみなされるので、やはり、処理は、ステップＳ５９に進む。さらに、ステップＳ５５において、シリアル番号Ｓ１が、シリアル番号Ｓ２よりも大きくない場合、混信の可能性があるが、他車は、自らのシリアル番号よりも大きなシリアル番号であるので、他車が波長を変更するため、自らが波長を変更する必要がないとみなされ、処理は、ステップＳ５９に進む。
すなわち、ステップＳ５４において、自らの使用候補波長Ｔ１と、他車から送信されてきた使用候補波長Ｔ２とが同一である場合、リフレクタ利用姿勢推定処理において、混信による誤判定を発生させる可能性があるので、処理は、ステップＳ５５に進む。
そして、ステップＳ５５において、シリアル番号Ｓ１がシリアル番号Ｓ２よりも大きいか否かが判定されて、使用候補波長を自車か他車かのいずれが変更するかが判定される。尚、この例においては、シリアル番号が大きい方が使用候補波長を変更する場合について説明されているが、シリアル番号が小さい方でもよいし、その他の条件でいずれの使用候補波長を変更するかを決めるようにしてもよい。
さらに、ステップＳ５３乃至Ｓ５５のいずれの条件にも一致しない場合、ランダムに設定された使用候補波長Ｔ１が、そのまま明滅波長Ｂ１に設定される。
そして、ステップＳ５６において、使用候補波長Ｔ１が可能最大波長であるか否かが判定され、最大値ではない場合、ステップＳ５７において、使用候補波長Ｔ１を１ステップだけ上げた、使用候補波長（Ｔ１＋１）が、明滅波長Ｂ１に設定される。すなわち、使用候補波長は、設定可能な波長として、最小値から昇順に使用可能な波長が並べられて番号が付されているので、使用候補波長Ｔ１を変更させるため１ステップだけ波長の長い（１番だけ大きな番号が付された）使用候補波長（Ｔ１＋１）に変更されて、明滅波長Ｂ１に設定される。
さらに、ステップＳ５６において、使用候補波長Ｔ１が可能最大波長である場合、ステップＳ５８において、使用候補波長Ｔ１の可能最小値が、明滅波長Ｂ１に設定される。すなわち、１ステップ上げて使用候補波長Ｔ１を変更することができないので、使用候補波長の最小値が明滅波長に設定される。
以上の処理により、自らの投光部２２２より投光される光と同一の波長の光が、自車の周囲で、他車の投光部２２２より投光されることがないので、他車の投光部２２２より投光された光による混信に起因する誤判定を抑制することが可能となる。
結果として、リフレクタ利用姿勢推定処理において、他車より投光された同一波長の光による誤検出を抑制することが可能となり、リフレクタ利用姿勢推定結果の精度を向上させることが可能となる。
＜画像利用姿勢推定処理＞
次に、図１２のフローチャートを参照して、画像利用姿勢推定部２０２による画像利用姿勢推定処理について説明する。
ステップＳ７１において、画像取得部２４１は、車両１１の周囲を撮像し、撮像した画像を特徴点抽出部２４２に出力する。
ステップＳ７２において、特徴点抽出部２４２は、撮像された画像内における、特徴点として、例えば、コーナ点を抽出し、特徴点情報として姿勢推定部２４３に出力する。
ステップＳ７３において、姿勢推定部２４３は、特徴点抽出部２４２より供給された特徴点の情報に基づいて、例えば、SLAM等を用いて、自己の姿勢を推定し、画像利用姿勢推定結果として推定結果統合部２０５に出力する。
以上の処理により、画像に基づいて、自己の姿勢を推定することが可能となる。結果として、照度の高い日中など、明るい環境下の画像内に多く含まれる物体の識別情報に基づいて、自己の姿勢が推定されるので、推定精度を向上させることが可能となる。
＜GPS,IMU利用姿勢推定処理＞
次に、図１３のフローチャートを参照して、GPS,IMU利用姿勢推定部２０３における、GPS,IMU利用姿勢推定処理について説明する。
ステップＳ９１において、GPS,IMUデータ取得部２６１は、GPSの衛星からのGPSデータ、および、ジャイロ等の慣性測定装置により取得されるIMUデータを取得し、姿勢推定部２６２に出力する。
ステップＳ９２において、姿勢推定部２６２は、GPSの衛星からのGPSデータ、および、ジャイロ等の慣性測定装置によりなるIMUより取得されるIMUデータに基づいて、自己の姿勢を推定する。
以上の処理により、基本的には、GPS衛星からのGPSデータに基づいて、姿勢が推定され、GPS衛星からのGPSデータが取得できない環境において、IMUデータに基づいて姿勢が推定される。もちろん、常に、GPSの衛星データにより推定された姿勢と、IMUのデータに基づいて推定される姿勢とを組み合わせるようにして、姿勢を推定するようにしてもよい。
＜＜２．変形例＞＞
以上においては、１個の投光部２２２と１個の受光部２２３とによりリフレクタ利用姿勢推定部２０１が構成される例について説明してきたが、投光部２２２と受光部２２３とを複数に設けるようにして、それぞれ異なる波長の光を投光すると共に、タイミングをずらして投光および受光するようにしてもよい。
すなわち、例えば、３組の投光部２２２と受光部２２３とを設けて、それぞれ波長が800nmの光ＬＳ１１、810nmの光ＬＳ１２、および820nmの光ＬＳ１３の３種類の波長の光源を構成し、対応する受光部２２３を３種類構成する。このとき、例えば、図１４で示されるように、投光するタイミングを時間間隔ｄずつずらして投光することで、波長が800nmの光ＬＳ１１、810nmの光ＬＳ１２、および820nmの光ＬＳ１３の順番に、時間間隔ｄずつずらしてそれぞれの波長の光を投光および受光させるようにすることで、リフレクタからの反射光を識別して受光することができる。ここで時間間隔ｄを調整することにより、受光部２２３における撮像部３１１のフレームレートを変更させることなく、１フレーム未満の時間でもリフレクタからの反射光を、自らが投光した光の反射光であることを識別して検出することが可能となる。すなわち、図１４の場合、１フレーム分の時間よりも短い時間２ｄで、自らが投光した光のリフレクタによる反射を認識して受光することが可能となる。
結果として、より高速にリフレクタ利用姿勢推定処理を実現することが可能となる。尚、図１４は、上から800nmの光ＬＳ１１、810nmの光ＬＳ１２、および820nmの光ＬＳ１３のそれぞれの発光と消灯のタイミングを示す波形図である。
＜＜３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図１５は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１５におけるCPU１００１が、図１における自動運転制御部１１２の機能を実現させる。また、図１５における記憶部１００８が、図１における記憶部１１１を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 複数の波長の光を投光する投光部と、
所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と
を含む信号処理装置。
＜２＞ 前記複数の波長の光のいずれかを選択し、選択した波長の光を前記投光部より投光させ、前記物体検出部により、前記選択した波長の光の前記物体からの反射光の受光により前記物体を検出させる投光調整部をさらに含む
＜１＞に記載の信号処理装置。
＜３＞ 前記投光部は、
光を発する光源と、
前記光源により発せられた光のうち、それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された投光フィルタホイールとを含み、
前記投光調整部は、前記光源より発せられた光のうち、前記選択した波長の光を透過させるように前記投光フィルタホイールを調整する
＜２＞に記載の信号処理装置。
＜４＞ 前記投光部は、
複数の波長の光を発するLEDを含み、
前記投光調整部は、前記LEDのうち、前記選択した波長の光を発するLEDが発光するように調整する
＜２＞に記載の信号処理装置。
＜５＞ 前記物体検出部は、
それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された受光フィルタホイールと、
前記受光フィルタホイールのいずれかのフィルタを透過した光を撮像する撮像部とを含み、
前記投光調整部は、前記選択した波長の光を、前記撮像部が撮像できるように前記受光フィルタホイールを調整する
＜２＞に記載の信号処理装置。
＜６＞ 前記物体検出部は、
それぞれ所定の波長の光を透過させるBPF（Band Pass Filter）が前段に設けられ、アレイ状に配置された複数の受光素子を含み、
前記投光調整部は、前記選択した波長の光を透過させるBPFが前段に設けられた前記受光素子で、前記物体を検出できるように調整する
＜２＞に記載の信号処理装置。
＜７＞ 前記投光調整部は、他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報を送信すると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報を受信し、自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させる
＜２＞に記載の信号処理装置。
＜８＞ 前記投光調整部は、前記他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報と共に、自らの識別子を送信すると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報と共に、前記他の信号処理装置の識別子を受信し、前記自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの識別子と、前記他の信号処理装置の識別子との大小関係に基づいて、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させる
＜７＞に記載の信号処理装置。
＜９＞ 前記識別子は、シリアル番号である
＜８＞に記載の信号処理装置。
＜１０＞ 前記投光調整部は、前記他の信号処理装置より、前記他の信号処理装置における使用波長候補の情報が受信されない場合、前記自らの使用波長候補である波長の光を前記投光部により投光させる
＜７＞に記載の信号処理装置。
＜１１＞ 前記物体は、リフレクタ、ミラー、道路標識、または、路上のセンタラインを含む
＜１＞乃至＜１０＞のいずれかに記載の信号処理装置。
＜１２＞ 前記投光部により投光される光の波長は、近赤外光帯である
＜１＞乃至＜１１＞のいずれかに記載の信号処理装置。
＜１３＞ 前記投光部は、複数の波長の光を所定の間隔で投光し、消灯する
＜１＞乃至＜１２＞のいずれかに記載の信号処理装置。
＜１４＞ 複数の波長の光を投光する投光処理と、
所定の反射率よりも高い反射率の物体からの、前記投光処理により投光した光の反射光の受光により、前記物体を検出する物体検出処理と
を含む信号処理方法。
＜１５＞ 複数の波長の光を投光する投光部と、
所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と
を含む処理をコンピュータに実行させるプログラム。
＜１６＞ 複数の波長の光を投光する投光部と、
所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と、
前記物体検出部の検出結果に基づいて状況を分析する状況分析部と、
前記状況分析部の分析結果に基づいて、行動計画を生成する計画部と、
前記行動計画に基づいて、動作を制御する動作制御部と
を含む移動体。
１１ 車両， １０２ データ取得部， １１２ 自動運転制御部， １４１ 外部情報検出部， ２０１ リフレクタ利用姿勢推定部， ２０２ 画像利用姿勢推定部部， ２０３ GPS,IMU利用姿勢推定部， ２０４ データ取得状況検出部， ２０５ 推定結果統合部， ２２１ 投光調整部， ２２２ 投光部， ２２３ 受光部， ２２４ リフレクタ領域抽出部， ２２５ 特徴点抽出部， ２２６ 姿勢推定部， ２４１ 画像取得部， ２４２ 特徴点抽出部， ２４３ 姿勢推定部， ２６１ GPS,IMUデータ取得部， ２６２ 姿勢推定部， ２８１ 光源部， ２８２ フィルタホイール， ２９１，２９１ａ乃至２９１ｄ LED， ３１１ 撮像部， ３１２ フィルタホイール， ３３１ 撮像素子， ３３１ａ乃至３３１ｈ 受光素子

Claims (16)

  1. 複数の波長の光を投光する投光部と、
    所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と
    を含む信号処理装置。
  2. 前記複数の波長の光のいずれかを選択し、選択した波長の光を前記投光部より投光させ、前記物体検出部により、前記選択した波長の光の前記物体からの反射光の受光により前記物体を検出させる投光調整部をさらに含む
    請求項１に記載の信号処理装置。
  3. 前記投光部は、
    光を発する光源と、
    前記光源により発せられた光のうち、それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された投光フィルタホイールとを含み、
    前記投光調整部は、前記光源より発せられた光のうち、前記選択した波長の光を透過させるように前記投光フィルタホイールを調整する
    請求項２に記載の信号処理装置。
  4. 前記投光部は、
    複数の波長の光を発するLEDを含み、
    前記投光調整部は、前記LEDのうち、前記選択した波長の光を発するLEDが発光するように調整する
    請求項２に記載の信号処理装置。
  5. 前記物体検出部は、
    それぞれ所定の波長の光を透過させる複数のフィルタがホイール状に配置された受光フィルタホイールと、
    前記受光フィルタホイールのいずれかのフィルタを透過した光を撮像する撮像部とを含み、
    前記投光調整部は、前記選択した波長の光を、前記撮像部が撮像できるように前記受光フィルタホイールを調整する
    請求項２に記載の信号処理装置。
  6. 前記物体検出部は、
    それぞれ所定の波長の光を透過させるBPF（Band Pass Filter）が前段に設けられ、アレイ状に配置された複数の受光素子を含み、
    前記投光調整部は、前記選択した波長の光を透過させるBPFが前段に設けられた前記受光素子で、前記物体を検出できるように調整する
    請求項２に記載の信号処理装置。
  7. 前記投光調整部は、他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報を送信すると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報を受信し、自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させる
    請求項２に記載の信号処理装置。
  8. 前記投光調整部は、前記他の信号処理装置に対して、前記投光部により投光させる光に使用する波長の候補である使用波長候補の情報と共に、自らの識別子を送信すると共に、前記他の信号処理装置より送信される、前記他の信号処理装置における使用波長候補の情報と共に、前記他の信号処理装置の識別子を受信し、前記自らの使用波長候補と、前記他の信号処理装置における使用波長候補とが一致する場合、前記自らの識別子と、前記他の信号処理装置の識別子との大小関係に基づいて、前記自らの使用波長候補を変更した波長の光を前記投光部により投光させる
    請求項７に記載の信号処理装置。
  9. 前記識別子は、シリアル番号である
    請求項８に記載の信号処理装置。
  10. 前記投光調整部は、前記他の信号処理装置より、前記他の信号処理装置における使用波長候補の情報が受信されない場合、前記自らの使用波長候補である波長の光を前記投光部により投光させる
    請求項７に記載の信号処理装置。
  11. 前記物体は、リフレクタ、ミラー、道路標識、または、路上のセンタラインを含む
    請求項１に記載の信号処理装置。
  12. 前記投光部により投光される光の波長は、近赤外光帯である
    請求項１に記載の信号処理装置。
  13. 前記投光部は、複数の波長の光を所定の間隔で投光し、消灯する
    請求項１に記載の信号処理装置。
  14. 複数の波長の光を投光する投光処理と、
    所定の反射率よりも高い反射率の物体からの、前記投光処理により投光した光の反射光の受光により、前記物体を検出する物体検出処理と
    を含む信号処理方法。
  15. 複数の波長の光を投光する投光部と、
    所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と
    を含む処理をコンピュータに実行させるプログラム。
  16. 複数の波長の光を投光する投光部と、
    所定の反射率よりも高い反射率の物体からの、前記投光部から投光した光の反射光の受光により、前記物体を検出する物体検出部と、
    前記物体検出部の検出結果に基づいて状況を分析する状況分析部と、
    前記状況分析部の分析結果に基づいて、行動計画を生成する計画部と、
    前記行動計画に基づいて、動作を制御する動作制御部と
    を含む移動体。
JP2019540893A 2017-09-11 2018-08-28 信号処理装置、および信号処理方法、プログラム、並びに移動体 Active JP7371496B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017173962 2017-09-11
JP2017173962 2017-09-11
PCT/JP2018/031660 WO2019049710A1 (ja) 2017-09-11 2018-08-28 信号処理装置、および信号処理方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2019049710A1 true JPWO2019049710A1 (ja) 2020-12-03
JP7371496B2 JP7371496B2 (ja) 2023-10-31

Family

ID=65634750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540893A Active JP7371496B2 (ja) 2017-09-11 2018-08-28 信号処理装置、および信号処理方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11386565B2 (ja)
JP (1) JP7371496B2 (ja)
DE (1) DE112018005039T5 (ja)
WO (1) WO2019049710A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137792A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10148577A (ja) * 1996-11-18 1998-06-02 Omron Corp 光学式センサ装置とその調整方法
JP2001253309A (ja) * 2000-01-18 2001-09-18 Daimlerchrysler Ag 車両における視界を改善するための装置
JP2010164521A (ja) * 2009-01-19 2010-07-29 Sumitomo Electric Ind Ltd 路面状況判別装置
JP2016095258A (ja) * 2014-11-17 2016-05-26 横河電機株式会社 光学装置および測定装置
JP2017039463A (ja) * 2015-08-21 2017-02-23 トヨタ自動車株式会社 対象物検出装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043247A (ja) * 2003-07-23 2005-02-17 Nissan Motor Co Ltd 先行車両検出装置
JP2008037361A (ja) 2006-08-09 2008-02-21 Toyota Motor Corp 障害物認識装置
JP2008234521A (ja) * 2007-03-23 2008-10-02 Sharp Corp 光通信装置
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US8704889B2 (en) * 2010-03-16 2014-04-22 Hi-Tech Solutions Ltd. Method and apparatus for acquiring images of car license plates
CN103931172A (zh) * 2011-06-10 2014-07-16 菲力尔系统公司 使用热成像智能监控大街的系统及方法
EP2722646B1 (en) 2011-06-14 2021-06-09 Nissan Motor Co., Ltd. Distance measurement device and environment map generation apparatus
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
JP6596889B2 (ja) 2015-04-03 2019-10-30 日産自動車株式会社 物体検出装置
JP6631228B2 (ja) * 2015-12-16 2020-01-15 株式会社デンソー 周辺監視装置
US10482340B2 (en) * 2016-12-06 2019-11-19 Samsung Electronics Co., Ltd. System and method for object recognition and ranging by deformation of projected shapes in a multimodal vision and sensing system for autonomous devices
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10148577A (ja) * 1996-11-18 1998-06-02 Omron Corp 光学式センサ装置とその調整方法
JP2001253309A (ja) * 2000-01-18 2001-09-18 Daimlerchrysler Ag 車両における視界を改善するための装置
JP2010164521A (ja) * 2009-01-19 2010-07-29 Sumitomo Electric Ind Ltd 路面状況判別装置
JP2016095258A (ja) * 2014-11-17 2016-05-26 横河電機株式会社 光学装置および測定装置
JP2017039463A (ja) * 2015-08-21 2017-02-23 トヨタ自動車株式会社 対象物検出装置

Also Published As

Publication number Publication date
DE112018005039T5 (de) 2020-07-23
JP7371496B2 (ja) 2023-10-31
WO2019049710A1 (ja) 2019-03-14
US11386565B2 (en) 2022-07-12
US20210065387A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11328444B2 (en) Signal processing apparatus, signal processing method, program, mobile object, and signal processing system
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP7200946B2 (ja) 情報処理装置、制御システム、情報処理方法及びプログラム
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP2022034086A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7371496B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11417023B2 (en) Image processing device, image processing method, and program
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R151 Written notification of patent or utility model registration

Ref document number: 7371496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151