JP7371679B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7371679B2
JP7371679B2 JP2021501847A JP2021501847A JP7371679B2 JP 7371679 B2 JP7371679 B2 JP 7371679B2 JP 2021501847 A JP2021501847 A JP 2021501847A JP 2021501847 A JP2021501847 A JP 2021501847A JP 7371679 B2 JP7371679 B2 JP 7371679B2
Authority
JP
Japan
Prior art keywords
image
information processing
processing device
unit
past
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021501847A
Other languages
English (en)
Other versions
JPWO2020170835A1 (ja
Inventor
和憲 神尾
敏之 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020170835A1 publication Critical patent/JPWO2020170835A1/ja
Application granted granted Critical
Publication of JP7371679B2 publication Critical patent/JP7371679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、移動体の自動運転に利用される画像処理に関する。
自動車等の移動体に関する技術として、ＡＤＡＳシステム（Advanced Driver Assistance System）等、障害物を事前に検知し回避するための技術が知られている。移動体は、このような技術を利用して自動運転を行う。
自動運転に関して、自動運転を行う車両が走行している位置を測定するために、地理的特徴量でマッチングを行う技術が知られている（例えば、特許文献１）。また、疑似路面情報との相関性に基づいて、自動運転を行うか、あるいはマニュアル運転準備要求の通知の実行を行うかを制御する技術が知られている（例えば、特許文献２）。
特開２０１５－１５５９０３号公報 特開２０１８－７７７７１号公報
従来技術によれば、予め取得した地理的特徴量等のデータに基づき自動運転中に自己位置を推定することで、自動運転の安全性を向上させることができる。
しかしながら、従来技術には改善の余地がある。例えば、種々のデータに基づいて自己位置を推定しようとしても、現時点の環境（天候や照度等）が過去と大きく異なっている場合には、状況の変化に対応できず、それらの情報を自動運転に活かせない場合がある。
そこで、本開示では、環境の変化による画質劣化を低減した画像を得ることのできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定する推定部と、前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する生成部と、を備える。
本開示の実施形態に係る情報処理の概要を示す図である。 本開示の実施形態に係る情報処理を説明する図（１）である。 本開示の実施形態に係る情報処理を説明する図（２）である。 本開示の実施形態に係る情報処理を説明する図（３）である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る画像データテーブルの一例を示す図である。 本開示の実施形態に係る照合処理を説明する図（１）である。 本開示の実施形態に係る照合処理を説明する図（２）である。 本開示の実施形態に係る生成処理を説明する図（１）である。 本開示の実施形態に係る生成処理を説明する図（２）である。 本開示の実施形態に係る生成処理を説明する図（３）である。 本開示の実施形態に係る処理の流れを示すフローチャート（１）である。 本開示の実施形態に係る処理の流れを示すフローチャート（２）である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．実施形態に係る情報処理の一例
１－２．実施形態に係る情報処理装置の構成
１－３．実施形態に係る情報処理の手順
１－４．実施形態に係る変形例
１－４－１．地図データ等の利用
１－４－２．自動運転以外の事例への応用
２．その他の実施形態
２－１．移動体の構成
２－２．その他
３．本開示に係る情報処理装置の効果
４．ハードウェア構成
（１．実施形態）
［１－１．実施形態に係る情報処理の一例］
図１は、本開示の実施形態に係る情報処理の一例を示す図である。具体的には、図１には、本開示に係る情報処理の流れを示したブロック図を示す。
本開示の実施形態に係る情報処理は、例えば、自動運転を行う所定の移動体が、適切な走行位置を決定したり、衝突等を防止するために周囲の物体を認識したりする場合に適用される。実施形態では、所定の移動体として、自動車を例に挙げる。また、実施形態に係る情報処理は、自動車に搭載される情報処理装置１００（図１での図示は省略する）によって実行される。
情報処理装置１００は、センサによって周囲の状況を観測し、観測結果に基づいて周囲の物体を認識する。実施形態では、情報処理装置１００は、イメージセンサを備えたカメラを用いて、周囲を撮影して画像を取得する。そして、情報処理装置１００は、取得した画像に対して画像認識処理を行うことで、自動運転を行うための情報を得る。
ところで、走行中の自動車は、画像認識を適切に行うことのできる画像を必ずしも撮影することができるとは限らない。例えば、走行中の自動車によって撮影される画像は、環境による影響を受けやすい。具体的には、環境による影響とは、逆光やヘイズ（霧や霞）によるコントラストの低下であったり、雨や雪等の天候もしくはカメラレンズの汚れによる視界の妨げであったりする。また、環境による影響には、夜間やトンネル内の走行中の撮影時に生じる光量の不足も含まれる。すなわち、走行中の自動車によって撮影される画像は、撮影環境の影響を強く受ける。
なお、撮影環境の影響を回避するために、過去の走行データや運転データを利用する従来技術も知られている。しかし、過去のデータが得られた環境と、実際の走行時の環境が異なれば、過去のデータをそのまま活用して自動運転を行うことにもリスクが生じうる。すなわち、安全な自動運転を実現するためには、実際の走行中に撮影される画像であって、かつ、環境による影響を極力排除した画像を得なければならないという課題が存在する。
そこで、本開示に係る情報処理装置１００は、以下に説明する処理により、上記課題を解決する。具体的には、情報処理装置１００は、環境による影響を受けた画像等のノイズを含む画像に対して、環境劣化補償という処理を行い、画像を補正する。例えば、環境劣化補償では、同じ対象が撮影された画像であって劣化の少ない画像の画素情報を用いて、環境により劣化した画像に対して補正を行い、ノイズが除去された画像を生成することができる。すなわち、環境劣化補償を行うためには、補正対象となる画像に対応した画像（以下、「照合画像」と称する）として、補正対象となる画像と略同一の対象が撮影された画像（略同一の撮影位置や角度や画角で撮影された画像）であって劣化の少ない画像が必要となる。
この点に関して、本開示に係る情報処理装置１００は、自動運転中に撮影した所定の画像と、予め蓄積されていた過去に撮影した複数画像との照合結果に基づいて、自動運転において次のタイミングで撮影される画像に対応した位置で過去に撮影された画像である画像を照合画像と推定する。そして、情報処理装置１００は、実際に次のタイミングで画像が撮影された場合に、照合画像に基づいて、当該撮影された画像を補正し、劣化の少ない新たな画像を生成する。
すなわち、情報処理装置１００は、過去の走行時に蓄積していた劣化の少ない画像に基づいて、現時点において撮影された画像を補正しながら、自動運転のための画像認識処理を行う。このため、情報処理装置１００は、過去のデータではなく現時点の画像でありながら、ノイズの影響を排除した画像に基づいて画像認識処理を行うことができるため、環境の変化に影響されない安定した自動運転を実現することができる。なお、情報処理装置１００は、必ずしも情報処理装置１００自身が撮影することを要せず、例えば外部の撮影装置等によって撮影された画像を取得して、上記の処理を行ってもよい。
以下、図１乃至図４を用いて、本開示に係る情報処理装置１００が実行する情報処理の一例について説明する。なお、以下の説明では、情報処理装置１００が移動体である自動車に搭載されている、あるいは、自動車自体が情報処理装置１００として機能するものとする。すなわち、以下の説明において、情報処理装置１００は、自動車（移動体）と読み替えることもできる。
図１に示す例において、情報処理装置１００は、過去に走行した際に撮影し、取得した複数の過去画像（蓄積画像セット）を有するものとする。なお、蓄積画像セットとは、過去の走行時に撮影された一連の動画と読み替えてもよい。例えば、図１の例では、情報処理装置１００は、毎日定期的に同じ道を走行しており、その過程において、蓄積画像セットを取得しているものとする。
まず、情報処理装置１００は、自動運転による走行中、カメラを用いて周囲を撮影し、画像を取得する（ステップＳ１）。以下では、このように実際の走行に際して撮影される画像を「入力画像」と称する。図１の例では、情報処理装置１００は、入力画像として、画像Ｐ０１を取得する。
図１の例では、画像Ｐ０１は、例えば霧等の影響を受け、劣化した画像であるものとする。劣化した画像とは、例えば、通常の画像と比較して透過率が低かったり、ぶれが生じていたりして鮮明でない画像をいう。あるいは、劣化した画像とは、逆光の影響等で一部に極めて強い高度を有する画像であったり、夜間に撮影された影響で画像全体の明るさが確保できていなかったりする画像をいう。例えば、劣化した画像を自動運転に利用すると、対象物の認識等の精度が下がるため、自動運転における事故等のリスクが高まる。
このため、情報処理装置１００は、劣化した画像Ｐ０１を補正するための処理を行う。具体的には、情報処理装置１００は、ステップＳ１において取得した画像Ｐ０１を画像劣化補償の処理部に送る（ステップＳ２）。また、情報処理装置１００は、蓄積画像セットの中から、画像Ｐ０１に対応する照合画像である画像Ｐ０２を特定し、画像劣化補償の処理部に送る（ステップＳ３）。なお、画像Ｐ０２の特定処理についての詳細は後述する。
画像Ｐ０２は、画像Ｐ０１と略同一の撮影位置や角度や画角で撮影された画像であって、画像Ｐ０１と比較して劣化の少ない画像である。情報処理装置１００は、画像Ｐ０２が含む画素情報に基づいて、画像Ｐ０１に対して環境劣化補償の処理を行う（ステップＳ４）。環境劣化補償の詳細な処理については後述する。情報処理装置１００は、環境劣化補償を行い、画像Ｐ０１から霧等の環境の影響を取り除いた画像（以下、「復元画像」と称する）である画像Ｐ０３を生成する。
その後、情報処理装置１００は、復元画像である画像Ｐ０３を照合の処理部に送る（ステップＳ５）。また、情報処理装置１００は、画像Ｐ０３を利用して自動運転の制御を行う（ステップＳ６）。情報処理装置１００は、画像Ｐ０１よりも鮮明な画像である画像Ｐ０３を用いることで、より安全性の高い自動運転制御を行うことができる。
情報処理装置１００は、ステップＳ０５において取得した画像Ｐ０３に基づいて、次のタイミングで情報処理装置１００に取得される画像と、蓄積画像セットとの照合を行う（ステップＳ７）。次のタイミングで情報処理装置１００に取得される画像とは、情報処理装置１００の走行中に撮影される画像である。図１の例では、次のタイミングで情報処理装置１００に取得される画像とは、画像Ｐ０１の次に情報処理装置１００に取得される画像である。画像が取得される次のタイミングは、例えば、情報処理装置１００のカメラの仕様によって決定される。具体的には、画像が取得される次のタイミングは、動画撮影におけるフレームレート等に基づいて決定される。例えば、フレームレートが３０ｆｐｓ（frame per second）である場合、画像が取得される次のタイミングは３０分の１秒後となる。
情報処理装置１００は、ステップＳ７において照合した情報に基づいて、画像Ｐ０１の次に取得される画像に対する照合画像の候補となりうる画像（以下、「候補画像」と称する）を蓄積画像セットの中から推定する（ステップＳ８）。例えば、情報処理装置１００は、フレームレートが３０ｆｐｓである場合、画像Ｐ０２を含む蓄積画像セットにおいて、画像Ｐ０２の３０分の１秒後に撮影された画像を候補画像として推定する。
この点について、図２を用いて説明する。図２は、本開示の実施形態に係る情報処理を説明する図（１）である。図２では、蓄積画像セットと、情報処理装置１００によって撮影される画像とが照合される様子を概念的に示す。
図２の例において、蓄積画像セットは、撮影画像が得られる前に取得され蓄積された一連の動画である。また、撮影画像は、情報処理装置１００が走行する際に取得し続ける動画である。すなわち、蓄積画像セット及び撮影画像は、同じ道を走行する情報処理装置１００によって、異なるタイミングで得られる動画である。
図１に示した処理によって、情報処理装置１００は、画像Ｐ１１と画像Ｐ１５とが対応するペアであると照合したものとする。この後、情報処理装置１００は、撮影画像として画像Ｐ１２を取得することになるが、その前に、画像Ｐ１２と対応すると予測される画像Ｐ１６を推定する。
例えば、情報処理装置１００は、蓄積画像セットが得られた際の走行速度と、画像Ｐ１１が取得された際の走行速度とに基づき、次に撮影されると予測される画像Ｐ１２に対応する候補画像を推定する。具体的には、情報処理装置１００は、蓄積画像セットが得られた際の走行速度と、画像Ｐ１１が取得された際の走行速度とが同じ場合、画像Ｐ１２が得られた際の次の画像である画像Ｐ１６を、画像Ｐ１１の次に撮影されると予測される画像Ｐ１２に対応する候補画像として推定する。あるいは、情報処理装置１００は、蓄積画像セットが得られた際の走行速度と、画像Ｐ１１が取得された際の走行速度とが異なる場合、異なる速度分だけずれた候補画像を画像Ｐ１２に対応する画像として推定する。
図２に示した処理は、自動運転が継続される間は継続されるため、情報処理装置１００は、画像Ｐ１２と画像Ｐ１６とを対応させたのち、次のタイミングで取得される画像である画像Ｐ１３に対応する候補画像を推定する。具体的には、情報処理装置１００は、画像Ｐ１３に対応する画像として画像Ｐ１７を推定する。このようにして、情報処理装置１００は、過去に撮影された複数画像と、現時点で撮影される画像とを次々に対応させていく。また、情報処理装置１００は、対応した画像のペアを用いて、順次、環境劣化補償を行う。
この点について、図３を用いて説明する。図３は、本開示の実施形態に係る情報処理を説明する図（２）である。図３は、環境劣化補償及び照合処理が繰り返し行われる状況をブロック図として示すものである。
情報処理装置１００は、ある時間（ｔ）において、撮影画像Ｐ２１を取得する。撮影画像Ｐ２１は、時間（ｔ）に取得された画像であるため、撮影画像（ｔ）とも表される。
情報処理装置１００は、可能であれば、撮影画像（ｔ）に環境劣化補償を行う（ステップＳ１１）。なお、撮影画像（ｔ）が本開示の情報処理における最先の画像である場合、環境劣化補償を行うための照合画像が存在しないため、情報処理装置１００は、ステップＳ１１をスキップする。
その後、情報処理装置１００は、撮影画像（ｔ）と、撮影画像（ｔ）に対応する画像である候補画像（ｔ）を照合する（ステップＳ１２）。情報処理装置１００は、この照合に関する情報（例えば、候補画像（ｔ）や、候補画像（ｔ）の付近の画像に関する情報）に識別情報（照合ＩＤ（ｔ））を付与し、次の処理部に送る。
情報処理装置１００は、時間（ｔ＋１）において、次に撮影される画像と照合される候補となる画像を推定する（ステップＳ１３）。情報処理装置１００は、走行速度やどの道を走行しているかといった位置情報等の自己動きデータを取得し、取得したデータに基づいて、次の候補となる画像を推定する。情報処理装置１００は、この推定に関する情報（例えば、候補画像（ｔ＋１）を特定するための識別情報等）を示す推定ＩＤ（ｔ＋１）を発行し、記憶部１２０に問い合わせる。
情報処理装置１００は、記憶部１２０から、候補画像（ｔ＋１）を取り出す。そして、情報処理装置１００は、時間（ｔ＋１）において得られた撮影画像Ｐ２２に対して、候補画像（ｔ＋１）に基づいて環境劣化補償を行う（ステップＳ１４）。さらに、情報処理装置１００は、環境劣化補償後に生成された画像に対して照合処理を行う（ステップＳ１５）。情報処理装置１００は、照合ＩＤ（ｔ＋１）を発行し、ステップＳ１３以下の処理を繰り返す。
これにより、情報処理装置１００は、現時点の走行時に撮影される画像であり、かつ、環境劣化の少ない画像を用いて自動運転を継続することができるため、安全性の高い自動運転制御を行うことができる。
次に、図４を用いて、自動運転制御を含めた情報処理の流れを示す。図４は、本開示の実施形態に係る情報処理を説明する図（３）である。図４には、自動運転制御を含めた情報処理全体の流れをブロック図として示す。
図４に示すように、情報処理装置１００は、自動運転中に撮影画像Ｐ２１を取得する。このとき、情報処理装置１００は、撮影画像Ｐ２１として、可視画像のみならず、デプスセンサ等を用いてデプスデータを取得してもよい。情報処理装置１００は、図１乃至図３で説明したように、取得した撮影画像Ｐ２１に対して環境劣化補償を行う（ステップＳ２１）。情報処理装置１００は、撮影画像Ｐ２１に対応する照合画像の推定処理において、自己動きデータを利用してもよい。
その後、情報処理装置１００は、環境劣化補償を経て生成した復元画像を照合処理に送る（ステップＳ２２）。このとき、情報処理装置１００は、ＧＰＳ（Global Positioning System）データを取得し、照合処理に利用してもよい。
その後、情報処理装置１００は、復元画像と照合画像とを比較し、より鮮明な画像を選択して、蓄積画像の更新を行ってもよい（ステップＳ２３）。情報処理装置１００は、選択した画像を蓄積し、次の撮影画像の環境劣化補償に備える。
また、情報処理装置１００は、環境劣化補償を経て生成した復元画像を、異常検知を行う処理部に送る。情報処理装置１００は、復元画像に対する画像認識処理を行い、異常検知を行う（ステップＳ２４）。また、情報処理装置１００は、復元画像を、障害物検知を行う処理部に送り、障害物検知を行う（ステップＳ２５）。
また、情報処理装置１００は、過去の走行位置等の走行データが記憶された記憶部を参照し、過去の走行位置を取得する（ステップＳ２６）。例えば、情報処理装置１００は、現時点で走行中の道において、過去に採用した走行位置や走行速度等、過去の運転履歴を取得する。そして、情報処理装置１００は、ステップＳ２５における障害物検知に関する情報や、過去の走行位置等の情報に基づいて、自動運転における走行位置を決定する（ステップＳ２７）。
その後、情報処理装置１００は、現時点で走行した走行位置が適切であった場合、かかる情報に基づいて、推奨走行位置を更新する（ステップＳ２８）。情報処理装置１００は、更新した情報を記憶部に記憶し、将来の自動運転に備える。
このように、情報処理装置１００は、過去通った経路において撮影した劣化の少ない画像を用いて、環境影響を補正する画像処理を行う。これにより、情報処理装置１００は、環境の変化に影響されない安定した自動運転を可能とする。
以下、上記の情報処理を実行する情報処理装置１００の構成や、照合及び環境劣化補償の処理の詳細について、図５を用いて詳細に説明する。
［１－２．実施形態に係る情報処理装置の構成］
図５を用いて、情報処理装置１００の構成について説明する。図５は、本開示の実施形態に係る情報処理装置１００の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、検知部１４０と、入力部１５０と、出力部１６０とを有する。なお、図５に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置１００の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ＵＳＢ（Universal Serial Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインターフェイスであってもよい。また、通信部１１０は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部１１０は、無線ＬＡＮ方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部１１０は、情報処理装置１００の通信手段或いは送信手段として機能する。例えば、通信部１１０は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、他の情報処理端末等との間で情報の送受信を行う。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、各種データを記憶する。
例えば、記憶部１２０は、自動運転における画像認識処理のために、検出対象となる物体を学習した学習器（画像認識モデル）や、検出した物体に関するデータ等を記憶する。また、記憶部１２０は、自動運転を実行するための地図データ等を記憶してもよい。
また、記憶部１２０は、情報処理装置１００による自動運転によって制御される車両に関する情報を記憶してもよい。例えば、記憶部１２０は、車体の大きさ、重量、車種等の情報を記憶する。
また、記憶部１２０は、過去に走行した際に撮影した画像を蓄積するデータテーブルである画像データテーブル１２１を有する。図６に、実施形態に係る画像データテーブル１２１の一例を示す。図６は、本開示の実施形態に係る画像データテーブル１２１の一例を示す図である。図６に示した例では、画像データテーブル１２１は、「画像ＩＤ」、「画像データ」、「ＧＰＳデータ」、「走行速度」、「更新日時」、「天候」、「パラメータ」といった項目を有する。
「画像ＩＤ」は、画像を識別するための識別情報を示す。「画像データ」は、画像を構成する画素データを示す。なお、図６の例では、画像データを「Ａ３１」といった概念で示しているが、実際には、画像データの項目には、画像を構成する画素（ピクセル）の数や、画素ごとの色情報等の具体的な情報が記憶される。
「ＧＰＳデータ」は、画像が取得された際の、情報処理装置１００（自動車）の位置を示したＧＰＳデータを示す。「走行速度」は、画像が取得された際の、情報処理装置１００（自動車）の走行速度を示す。「更新日時」は、画像が撮影された位置における最新の画像への更新日時を示す。「天候」は、画像が取得された際の天候を示す。
「パラメータ」は、画像が取得された際の各種パラメータを示す。パラメータは、例えば、画像が撮影された際の露光時間や、雨等を除去するフィルタ処理が行われていたか否か、あるいはＮＲ（Noise Reduction）処理の強度等の各数値や設定値等が含まれる。
すなわち、図６に示した例では、画像ＩＤが「Ｐ３１」である画像は、画像データが「Ａ３１」であり、当該画像が撮影された際のＧＰＳデータが「Ｂ３１」であり、走行速度が「３０ｋｍ／ｈ」であり、更新日時が「Ｄ３１」であり、天候が「雨」であり、パラメータが「Ｅ３１」であることを示している。
図５に戻って説明を続ける。検知部１４０は、情報処理装置１００に関する各種情報を検知する。具体的には、検知部１４０は、情報処理装置１００の周囲の環境や、情報処理装置１００の所在する位置情報や、情報処理装置１００と接続されている機器に関する情報等を検知する。検知部１４０は、各種の情報を検知するセンサと読み替えてもよい。実施形態に係る検知部１４０は、撮像部１４１と、測定部１４２とを有する。
撮像部１４１は、情報処理装置１００の周囲を撮像する機能を有するセンサであり、いわゆるカメラである。例えば、撮像部１４１は、ステレオカメラや単眼カメラ、レンズレスカメラ等によって実現される。
測定部１４２は、情報処理装置１００及び情報処理装置１００が搭載される車両の情報を測定するセンサである。
例えば、測定部１４２は、情報処理装置１００及び情報処理装置１００が搭載される車両の挙動を検知する。例えば、測定部１４２は、車両の加速度を検知する加速度センサや、挙動を検知するジャイロセンサ、ＩＭＵ（Inertial Measurement Unit）等である。
また、測定部１４２は、情報処理装置１００が搭載された自動車の挙動を測定してもよい。例えば、測定部１４２は、自動車のブレーキ、アクセル、ステアリングの操作量を測定する。例えば、測定部１４２は、自動車のブレーキ、アクセル、ステアリングの各々に搭載されたセンサ等を利用して、ブレーキやアクセルに対して加えられた力（圧力等）に応じた量を測定する。また、測定部１４２は、自動車の速度や加速度、加速及び減速量、ヨーレート情報等を測定してもよい。測定部１４２は、これら自動車の挙動に関する情報について、上記したセンサ等に限らず、様々な既知の技術によって測定してもよい。
また、測定部１４２は、情報処理装置１００の周囲にある物体との距離を測定するためのセンサを含んでもよい。例えば、測定部１４２は、情報処理装置１００の周辺環境の三次元的な構造を読み取るＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）であってもよい。ＬｉＤＡＲは、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。また、測定部１４２は、ミリ波レーダを使った測距システムであってもよい。また、測定部１４２は、デプスデータを取得するためのデプスセンサを含んでもよい。
また、測定部１４２は、情報処理装置１００の周囲の音を収集するマイクロフォンや、情報処理装置１００の周囲の照度を検知する照度センサや、情報処理装置１００の周囲の湿度を検知する湿度センサや、情報処理装置１００の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
入力部１５０は、情報処理装置１００を利用するユーザ等から各種操作を受け付けるための処理部である。入力部１５０は、例えば、キーボードやタッチパネル等を介して、各種情報の入力を受け付ける。
出力部１６０は、各種情報を出力するための処理部である。出力部１６０は、例えばディスプレイやスピーカー等である。例えば、出力部１６０は、撮像部１４１によって撮像された画像を表示したり、画像内で検出された物体を矩形として表示したりする。
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
図５に示すように、制御部１３０は、取得部１３１と、推定部１３２と、生成部１３３と、自動運転部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、情報処理装置１００が搭載された移動体が備えるセンサ（撮像部１４１）によって撮影された画像を取得する。
例えば、取得部１３１は、センサとして、ステレオカメラによって撮影された画像を取得する。この場合、取得部１３１は、例えばステレオ測距によって測定された、物体までの距離を取得する。なお、取得部１３１は、センサとして、単眼カメラによって撮影された画像を取得してもよい。この場合、取得部１３１は、例えばレーザ等を用いた測距センサ（測定部１４２）によって測定された、物体までの距離を取得する。すなわち、取得部１３１は、撮影画像として、可視画像のみならず、デプスデータを含む画像データを取得してもよい。
取得部１３１は、取得した情報を、適宜、記憶部１２０に格納する。また、取得部１３１は、記憶部１２０内から、適宜、処理に要する情報を取得してもよい。また、取得部１３１は、検知部１４０や入力部１５０を介して処理に要する情報を取得してもよいし、ネットワークＮを介して、外部装置から情報を取得してもよい。すなわち、取得部１３１は、必ずしも情報処理装置１００が撮影した画像を取得するのではなく、外部装置が撮影した画像や、予め記憶部１２０に記憶された画像等を取得してもよい。
推定部１３２は、取得部１３１によって取得された撮影画像と、過去に撮影された複数画像との照合結果に基づいて、撮影画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像である画像（照合画像）を推定する。
また、推定部１３２は、後述する生成部１３３によって復元画像が生成されたのち、さらに、当該復元画像と過去に撮影された複数画像との照合を行い、復元画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定する。すなわち、推定部１３２は、自動運転が継続する間、復元画像と過去に撮影された画像との照合を繰り返し行い、順次、環境劣化補償を行うための照合画像を推定する。
例えば、推定部１３２は、センサを備えた移動体によって撮影される画像に対応した照合画像を推定する。すなわち、推定部１３２は、移動体の移動に応じて継続的に撮影される画像の各々に対して照合画像を推定する。
具体的には、推定部１３２は、撮影画像を撮影した移動体の走行速度に基づいて、過去に撮影された複数画像の中から照合画像を推定する。例えば、推定部１３２は、図２に示したように、過去に動画が撮影された際の走行速度と現時点の走行速度との関係から、次に新たに撮影される画像に対応する照合画像を推定する。
あるいは、推定部１３２は、移動体の位置情報に基づいて、新たに撮影される画像に対応した位置で過去に撮影された画像である照合画像を推定してもよい。例えば、推定部１３２は、過去に画像が撮影された際のＧＰＳデータと現時点のＧＰＳデータとを比較して、次に移動体が撮影すると想定される位置において、過去に撮影された画像を照合画像として推定する。
なお、推定部１３２は、照合画像として必ずしも１枚のみ画像を推定しなくてもよく、複数枚の画像を照合画像の候補画像として推定してもよい。例えば、推定部１３２は、走行速度や位置情報に基づいて照合画像を推定する場合、走行速度や位置情報の精度によっては、１枚の画像のみを照合画像として推定することが難しい場合がある。この場合、推定部１３２は、走行速度や位置情報に基づいて複数枚の候補画像を抽出し、抽出した画像の中から候補画像を推定してもよい。あるいは、後述する生成部１３３は、環境劣化補償を行うタイミングで、抽出された複数枚の候補画像のうち、新たに撮影された画像と最も対応する画像をさらに抽出し、抽出した１枚の画像に基づいて環境劣化補償を行ってもよい。
ここで、図７を用いて、推定部１３２が実行する照合処理の詳細について説明する。図７は、本開示の実施形態に係る照合処理を説明する図（１）である。
推定部１３２は、生成部１３３によって生成された復元画像（環境劣化補償画像）を現在フレームとして取得する。また、推定部１３２は、蓄積画像の中から照合フレームを取得する。なお、照合フレームは、ＧＰＳデータ等に基づき、現在フレームに近い位置で撮影されたと想定される複数のフレームを含んでもよい。
推定部１３２は、ブロックマッチング法を用いて、現在フレームと照合フレームとの差分を算出する（ステップＳ３１）。そして、推定部１３２は、ブロックごとの誤差（差分）から、互いのフレームの類似度を算出する。例えば、推定部１３２は、下記式（１）を用いて、現在フレームと照合フレームとを比較する。
Figure 0007371679000001
上記式（１）において、「Ｅ」は、現在フレームと照合フレームとの誤差（差分）を示す。「Ｂｌｏｃｋ」は、画像の比較対象部分を示す。例えば、Ｂｌｏｃｋは、数ピクセル×数ピクセルの矩形である。「Ｃ」及び「Ｒ」は、ピクセルごとの色情報を示す。すなわち、式（１）によれば、現在フレームと照合フレームとがどのくらい相違するかといった誤差評価値を出力することができる。これに基づき、推定部１３２は、フレーム同士の類似度を算出する（ステップＳ３２）。
そして、推定部１３２は、算出した類似度に基づいて現在フレームに対応する照合フレームを決定する（ステップＳ３３）。例えば、推定部１３２は、候補画像のうち最も類似度の高いフレームを照合フレームとして決定する。そして、推定部１３２は、決定した照合フレームを特定するための情報として照合ＩＤを発行する（ステップＳ３４）。
なお、フレームの類似度の算出手法については、上記の手法に限らず、種々の既知の技術が利用されてもよい。
次に、図８を用いて、推定部１３２が実行する照合処理の他の例について説明する。図８は、本開示の実施形態に係る照合処理を説明する図（２）である。図８に示す処理では、画像内に含まれる構造物等の静止物と画像内で動きのある動体との判定処理を行うことで、より過去に蓄積された画像と現時点の画像との照合精度を向上させることができる。
図８に示す例では、推定部１３２は、照合フレームと撮影画像（ｔ）に加え、撮影画像（ｔ－１）と、自己動きデータを取得する。撮影画像（ｔ－１）は、撮影画像（ｔ）の１つ前のタイミングで撮影された画像である。
推定部１３２は、撮影画像（ｔ）と撮影画像（ｔ－１）との差分に基づいて、画像内の動きベクトルを算出する（ステップＳ４１）。そして、推定部１３２は、算出した動きベクトルに基づいて、画像内の静止構造物の判定を行う（ステップＳ４２）。これにより、推定部１３２は、画像内において、静止構造物と動体とを区別した処理を行うことができる。
その後、推定部１３２は、図７のステップＳ３１と同様、撮影画像（ｔ）と照合フレームとのマッチングを行う際に、構造物ありの尤度を踏まえたマッチングを行うことができる（ステップＳ４３）。これにより、推定部１３２は、撮影画像（ｔ）に歩行者や動物等の動体が含まれていたとしても、それらの影響を抑制できるので、同じ位置で撮影された過去の画像との照合を精度高く行うことができる。
続けて、推定部１３２は、図７のステップＳ３２及びステップＳ３３と同様、フレーム類似度算出（ステップＳ４４）、及び、照合フレームの決定（ステップＳ４５）を行う。また、推定部１３２は、図７のステップＳ３４と同様、照合ＩＤを発行する（ステップＳ４６）。
また、推定部１３２は、照合フレームを蓄積画像として新たに登録してもよい（ステップＳ４７）。例えば、推定部１３２は、照合フレームとして推定した画像を、今後の蓄積画像として利用するため、記憶部１２０に登録する。このとき、推定部１３２は、ステップＳ４２において得られた静止構造物に関する情報を取得し、かかる情報に基づいて、照合フレームから動体を排除した画像データを蓄積するようにしてもよい。これにより、推定部１３２は、動体の影響が抑制された画像を蓄積画像として記憶することができるので、今後の処理における照合及び環境劣化補償の精度を向上させることができる。
図５に戻って説明を続ける。生成部１３３は、新たに画像が取得された場合に、照合画像に基づいて、新たに取得された画像を補正した画像である復元画像を生成する。なお、生成部１３３は、情報処理装置１００による撮影によって新たな画像を取得してもよいし、他の撮像装置（カメラ等）によって撮影された画像を、ネットワークＮ等を介して取得してもよい。
また、生成部１３３は、復元画像の次のタイミングで画像が取得された場合には、当該復元画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該復元画像の次のタイミングで取得された画像を補正する。すなわち、推定部１３２は、自動運転が継続する間、復元画像の生成を繰り返し行うことにより、安全性の高い自動運転を行うための画像を供給し続ける。
具体的には、生成部１３３は、新たに撮影された画像と照合画像との差分に基づいて環境劣化補償を行うことにより、新たに撮影された画像を補正する。環境劣化補償については、種々の既知の技術が適用されてもよい。
例えば、生成部１３３は、照合画像に含まれる自然環境の境界に基づいて、新たに撮影された画像を補正することにより復元画像を生成してもよい。この点について、図９を用いて説明する。図９は、本開示の実施形態に係る生成処理を説明する図（１）である。
図９の例では、生成部１３３は、新たに撮影された画像として、霧や霞の影響等で不鮮明な画像Ｐ４１を取得する。また、生成部１３３は、照合画像として、画像Ｐ４１と同じ対象が撮像された画像である画像Ｐ４２を記憶部１２０から取得する（ステップＳ４８）。
生成部１３３は、画像Ｐ４２を解析し、空と地面との境界２０や、道路を示す曲線２１等を抽出する。そして、生成部１３３は、解析した画像Ｐ４２と、画像Ｐ４１とを比較検証し、復元画像である画像Ｐ４３を生成する（ステップＳ４９）。例えば、生成部１３３は、画像Ｐ４１では不鮮明である空の境界や道路を示す曲線等の情報を画像Ｐ４２から取得し、取得した情報を画像Ｐ４１に反映させて、画像Ｐ４３を生成する。これにより、生成部１３３は、空や道路が不鮮明な画像Ｐ４１に代えて、空や道路の境界が鮮明な画像Ｐ４３を生成できるので、自動運転の安全性を向上させることができる。
その後、推定部１３２により、画像Ｐ４３に基づいて、次に撮影されると想定される画像に対応する照合画像を推定するための照合処理が行われる（ステップＳ５０）。かかる照合処理によって発行された照合ＩＤに基づいて、次の照合画像が記憶部１２０から選択される。
環境劣化補償には、環境劣化を生じさせる要因に応じて、種々の異なる処理が含まれてもよい。例えば、生成部１３３は、新たに撮影された画像に比べて照合画像の透過率が高い場合に、当該照合画像に基づいて、新たに撮影された画像に対してヘイズ除去を実行して復元画像を生成する。
この点について、図１０を用いて説明する。図１０は、本開示の実施形態に係る生成処理を説明する図（２）である。
ヘイズ除去を行う場合、生成部１３３は、ＲＧＢ画像Ｉ（撮影画像）とは別に、画像内の透過率を示す透過率マップｔを生成する。そして、生成部１３３は、ＲＧＢ画像Ｉに対して透過率補正を行う（ステップＳ５１）。続けて、生成部１３３は、補正した透過率に基づいて、元のＲＧＢ画像Ｉに対してヘイズ除去を行う（ステップＳ５２）。これにより、生成部１３３は、ヘイズが除去された画像Ｊを生成することができる。
また、生成部１３３は、霧や霞等のヘイズのみならず、雨粒やレンズの汚れに起因するノイズ成分等を除去する処理を行ってもよい。例えば、生成部１３３は、照合画像及び当該照合画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、新たに撮影された画像に対してノイズ除去を実行して復元画像を生成してもよい。
この点について、図１１を用いて説明する。図１１は、本開示の実施形態に係る生成処理を説明する図（３）である。
ノイズ除去を行う場合、例えば生成部１３３は、一連の動画から複数枚の画像を抽出し、抽出した複数画像に基づいて補正処理を行う。これは、ある所定時間において連続的に撮影された複数の画像を加算することにより、動きの激しい箇所（ノイズとなりうる箇所）の影響が抑制され、鮮明な画像が得られることに基づく。
まず、生成部１３３は、図１１に示すように、既知の技術を利用して、複数の画像から動きベクトル及び動きベクトル信頼度を算出する。
生成部１３３は、動きベクトルに基づいて、画像に対して動き補償を行う（ステップＳ６１）。その後、生成部１３３は、複数画像におけるノイズ量やボケ量、折り返り量、動きベクトル信頼度、巡回履歴等の特徴量を用いて、過去フレームと現在フレームの加算比率を制御する（ステップＳ６２）。そして、生成部１３３は、動き補償に関する情報、加算比率、可視画像の各々の情報に基づいて、複数の画像を加算して、ノイズの影響を除去した可視画像を得る（ステップＳ６３）。なお、生成部１３３は、複数の画像を加算した画像をフレームメモリに格納し、次の処理に利用してもよい（ステップＳ６４）。
このように、生成部１３３は、照合画像及び照合画像の前後に撮影された画像から動きベクトル等を算出することにより、画像において特定される静止物体に関する情報に基づき、画像に対してノイズ除去を実行して復元画像を生成する。これにより、生成部１３３は、様々な要因により生じた環境劣化に対して頑健なノイズ除去を行うことができる。
また、生成部１３３は、動きベクトルを利用して建物等の静止構造物を判定し、判定結果に基づいて、蓄積する画像を選択してもよい。例えば、生成部１３３は、より動体の少ない画像を選択して、記憶部１２０に蓄積するようにしてもよい。このように、生成部１３３は、照合画像と復元画像との画素情報を比較し、記憶部１２０にいずれの画像を蓄積するかを選択する。例えば、生成部１３３は、よりＳＮ比の小さい画像や、画像内のコントラストが高い画像等、ノイズがより少ない画像を選択して、画像データテーブル１２１に蓄積される画像を更新する。これにより、生成部１３３は、処理が進むにつれ、よりノイズの影響の少ない鮮明な画像を記憶部１２０に蓄積していくことができる。
自動運転部１３４は、生成部１３３よりも後段の処理を実行する。例えば、自動運転部１３４は、生成部１３３によって生成された復元画像に対して画像認識処理を行い、移動体による自動運転を制御する。例えば、自動運転部１３４は、画像認識処理の結果、移動体と対象物とが衝突する可能性がある場合や、移動体が走行する路面に障害が発生している場合、移動体の回避行動を制御したり（ステア操作やブレーキ操作）、移動体のユーザに対して警告を発したりする。
［１－３．実施形態に係る情報処理の手順］
次に、図１２及び図１３を用いて、実施形態に係る情報処理の手順について説明する。図１２は、本開示の実施形態に係る処理の流れを示すフローチャート（１）である。
図１２に示すように、情報処理装置１００は、カメラ４０等のセンサを介して、走行時に画像を取得する（ステップＳ１０１）。そして、情報処理装置１００は、取得した画像を蓄積画像セットとして記憶部１２０に格納する（ステップＳ１０２）。
図１２に示すように、情報処理装置１００は、走行時に画像を取得し、蓄積することで、次に同じ経路を走行する際に、実施形態に係る情報処理を実行することができる。例えば、情報処理装置１００は、目的地までの往路時にリアカメラで対向車線を記録し、復路での自動運転において、実施形態に係る情報処理を実行してもよい。
続いて、図１３について説明する。図１３は、本開示の実施形態に係る処理の流れを示すフローチャート（１）である。
情報処理装置１００は、ユーザの操作等に従い、自動運転を開始する（ステップＳ２０１）。情報処理装置１００は、自動運転による走行時に画像を取得する（ステップＳ２０２）。
情報処理装置１００は、取得した画像を補正するための補正画像が特定されているか否かを判定する（ステップＳ２０３）。例えば、ある経路において自動運転を開始した最初のフレームでは、候補画像が特定されていないと想定される。このように、候補画像が特定されていない場合（ステップＳ２０３；Ｎｏ）、情報処理装置１００は、例えばＧＰＳデータ等の位置情報を用いて、候補画像を特定する（ステップＳ２０４）。
一方、候補画像が特定されている場合（ステップＳ２０３；Ｙｅｓ）、情報処理装置１００は、候補画像に基づいて環境劣化補償を行い、復元画像を生成する（ステップＳ２０５）。なお、情報処理装置１００は、候補画像が複数存在する場合には、候補画像の中から選択した照合画像に基づいて環境劣化補償を行う。
その後、情報処理装置１００は、蓄積画像と復元画像とを照合する（ステップＳ２０６）。そして、情報処理装置１００は、照合結果に基づいて、次の候補画像を推定する（ステップＳ２０７）。
続いて、情報処理装置１００は、自動運転に関して異常がないか否かを判定する（ステップＳ２０８）。異常がない場合（ステップＳ２０８；Ｙｅｓ）、情報処理装置１００は、自動運転の制御を継続する（ステップＳ２０９）。そして、情報処理装置１００は、自動運転中の操作及び走行履歴を記憶する。
一方、自動運転に関して異常があると判定した場合（ステップＳ２０８；Ｎｏ）、情報処理装置１００は、異常に対する回避処理を実行する（ステップＳ２１１）。
その後、情報処理装置１００は、自動運転が終了したか否かを判定する（ステップＳ２１２）。自動運転が終了していない場合（ステップＳ２１２；Ｎｏ）、情報処理装置１００は、画像を取得する処理を継続する（ステップＳ２０２）。一方、ユーザの操作や、目的地に到達した等の理由によって自動運転が終了した場合（ステップＳ２１２；Ｙｅｓ）、情報処理装置１００は、一連の処理を終了する。
［１－４．実施形態に係る変形例］
実施形態に係る情報処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１００の他の実施形態について説明する。
［１－４－１．地図データ等の利用］
上記実施形態では、情報処理装置１００は、移動体の走行速度等に基づいて、次のタイミングで撮影される画像に対応する照合画像を推定することを示した。ここで、情報処理装置１００は、走行速度のみならず、異なる情報を用いて照合画像を推定してもよい。
例えば、情報処理装置１００は、地図データに基づいて照合画像を推定してもよい。一般に、自動運転を行う移動体は、移動体の空間位置を把握するための地図データを備える。このため、移動体は、次に移動体が走行する位置や、カーブを曲がる位置等、未来の走行位置の予測を行いつつ走行を行う。情報処理装置１００は、このような将来に走行する位置を地図データに基づいて判定し、判定結果に基づいて、次のタイミングで撮影される画像に対応する照合画像を推定してもよい。
［１－４－２．自動運転以外の事例への応用］
本開示に係る情報処理は、自動運転時の環境劣化補償以外の種々の事例に応用されてもよい。例えば、本開示に係る情報処理は、画像診断における環境劣化補償に応用されてもよい。
例えば、ある画像に対する診断を行う状況下において、数秒前まで撮像を行っていた対象の画質が劣化する場合がある。一例として、施術者が電子メスを術野に使用した場合、煙等が発生し、数秒前まで撮像を行っていた対象にボケが発生したり、煙の影響で透過率が低下したりした画像しか得られなくなる場合がある。
このような場合、本開示に係る情報処理を実行し、環境劣化補償を行うことができる。具体的には、情報処理装置１００は、数秒前まで撮像していた環境の影響を受けていない画像に基づいて、煙の影響を受けた画像に対して環境劣化補償を行う。これにより、情報処理装置１００は、現時点の画像であって、煙の影響が除去された鮮明な画像を得ることができる。
（２．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
［２－１．移動体の構成］
上記実施形態では、情報処理装置１００が移動体に搭載される例を示したが、情報処理装置１００は、自動運転を行う自律型移動体（自動車）そのものによって実現されてもよい。この場合、情報処理装置１００は、図５に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図５に示した構成に含まれてもよい。
例えば、移動体は、自動運転制御部、検出部、自己位置推定部、状況分析部、計画部、動作制御部を有する。また、移動体は、入力部、データ取得部、車両通信部、車内機器、出力制御部、出力部、駆動系制御部、駆動系システム、ボディ系制御部、ボディ系システム、車両記憶部、及び、自動運転制御部を備えてもよい。
入力部は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、情報処理装置１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、情報処理装置１００の各部に供給する。
データ取得部は、移動体の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体の各部に供給する。
例えば、データ取得部は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
車両通信部は、車内機器、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動体の各部から供給されるデータを送信したり、受信したデータを移動体の各部に供給したりする。なお、車両通信部がサポートする通信プロトコルは、特に限定されるものではなく、また、車両通信部が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、車両通信部は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器と無線通信を行う。また、例えば、車両通信部は、接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器と有線通信を行う。
さらに、例えば、車両通信部は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、車両通信部は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、車両通信部は、車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、車両通信部は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部に供給することにより、出力部からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部は、データ取得部の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部に供給する。また、例えば、出力制御部は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部に供給する。
出力部は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部は、各種の制御信号を生成し、駆動系システムに供給することにより、駆動系システムの制御を行う。また、駆動系制御部は、必要に応じて、駆動系システム以外の各部に制御信号を供給し、駆動系システムの制御状態の通知等を行う。
駆動系システムは、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システムは、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部は、各種の制御信号を生成し、ボディ系システムに供給することにより、ボディ系システムの制御を行う。また、ボディ系制御部は、必要に応じて、ボディ系システム以外の各部に制御信号を供給し、ボディ系システムの制御状態の通知等を行う。
ボディ系システムは、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システムは、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
車両記憶部は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。車両記憶部は、移動体の各部が用いる各種プログラムやデータ等を記憶する。例えば、車両記憶部は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部は、検出部、自己位置推定部、状況分析部、計画部、及び、動作制御部を備える。
検出部は、自動運転の制御に必要な各種の情報の検出を行う。検出部は、車外情報検出部、車内情報検出部、及び、車両状態検出部を備える。
車外情報検出部は、移動体の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部は、検出処理の結果を示すデータを自己位置推定部、状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部、並びに、動作制御部の緊急事態回避部等に供給する。
車内情報検出部は、移動体の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。
車両状態検出部は、移動体の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。
自己位置推定部は、車外情報検出部、及び、状況分析部の状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部は、推定処理の結果を示すデータを状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部等に供給する。また、自己位置推定部は、自己位置推定用マップを車両記憶部に記憶させる。
状況分析部は、自車及び周囲の状況の分析処理を行う。状況分析部は、マップ解析部、交通ルール認識部、状況認識部、及び、状況予測部を備える。
マップ解析部は、自己位置推定部及び車外情報検出部等の移動体の各部からのデータ又は信号を必要に応じて用いながら、車両記憶部に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部は、構築したマップを、交通ルール認識部、状況認識部、状況予測部、並びに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。
交通ルール認識部は、自己位置推定部、車外情報検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部は、認識処理の結果を示すデータを状況予測部等に供給する。
状況認識部は、自己位置推定部、車外情報検出部、車内情報検出部、車両状態検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部及び状況予測部等に供給する。また、状況認識部は、状況認識用マップを車両記憶部に記憶させる。
状況予測部は、マップ解析部、交通ルール認識部及び状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部は、予測処理の結果を示すデータを、交通ルール認識部及び状況認識部からのデータとともに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。
ルート計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部は、計画したルートを示すデータを行動計画部等に供給する。
行動計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、ルート計画部により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部は、計画した自車の行動を示すデータを動作計画部等に供給する。
動作計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、行動計画部により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部は、加速、減速、及び、走行軌道等の計画を行う。動作計画部は、計画した自車の動作を示すデータを、動作制御部の加減速制御部及び方向制御部等に供給する。
動作制御部は、自車の動作の制御を行う。動作制御部は、緊急事態回避部、加減速制御部、及び、方向制御部を備える。
緊急事態回避部は、車外情報検出部、車内情報検出部、及び、車両状態検出部の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部は、計画した自車の動作を示すデータを加減速制御部及び方向制御部等に供給する。
加減速制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。
方向制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部は、動作計画部又は緊急事態回避部により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。
［２－２．その他］
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動車を例に挙げたが、本開示の情報処理は、自動車以外の移動体にも適用可能である。例えば、移動体は、自動二輪車や自動三輪車等の小型車両や、バスやトラック等の大型車両、あるいは、ロボットやドローン等の自律型移動体であってもよい。また、情報処理装置１００は、必ずしも移動体と一体ではなく、移動体からネットワークＮを介して情報を取得し、取得した情報に基づいて除去範囲を決定するクラウドサーバ等であってもよい。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
（３．本開示に係る情報処理装置の効果）
上述してきたように、本開示に係る情報処理装置（実施形態では情報処理装置１００）は、推定部（実施形態では推定部１３２）と、生成部（実施形態では生成部１３３）とを有する。推定部は、第１画像（実施形態では撮影画像）と過去に撮影された複数画像との照合結果に基づいて、第１画像の次のタイミングで撮影される第２画像（実施形態では、撮影画像の次に撮影される撮影画像）に対応した位置で過去に撮影された画像である第３画像（実施形態では照合画像もしくは候補画像）を推定する。生成部は、第２画像が取得された場合に、第３画像に基づいて第２画像を補正した画像である第４画像（実施形態では復元画像）を推定する。
このように、本開示に係る情報処理装置は、次に取得される画像と照合される画像を推定するとともに、推定した画像に基づいて次に取得される画像（第２画像）を補正する。これにより、情報処理装置は、環境の変化に影響されない画像を得ることができる。
また、推定部は、第４画像が生成されたのち、第４画像と過去に撮影された複数画像との照合を行い、第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定する。生成部は、第４画像の次のタイミングで画像が取得された場合には、第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、第４画像の次のタイミングで取得された画像を補正する。これにより、情報処理装置は、継続的に劣化の少ない画像を取得することができるので、自動運転等の継続する処理において画像を安定的に取得することができる。
また、推定部は、センサを備えた移動体によって撮影される第２画像に対応した第３画像を推定する。これにより、情報処理装置は、自動運転等、移動体によって撮影される画像を利用する処理において、環境の変化に影響されない画像を得ることができる。
また、推定部は、第１画像を撮影した移動体の走行速度に基づいて、過去に撮影された複数画像の中から第３画像を推定する。これにより、情報処理装置は、次に撮影される画像に対応する第３画像を高精度に推定することができる。
また、推定部は、移動体の位置情報に基づいて、第２画像に対応した位置で過去に撮影された画像である第３画像を推定する。これにより、情報処理装置は、照合結果が得られない場合であっても、過去に撮影された画像の中から現時点の画像に対応する画像を推定することができる。
また、生成部は、第３画像に含まれる自然環境の境界に基づいて、第２画像を補正することにより第４画像を生成する。これにより、情報処理装置は、自動運転等の境界を利用する処理において有用な第４画像を得ることができる。
また、生成部は、第２画像に比べて第３画像の透過率が高い場合に、第３画像に基づいて第２画像に対してヘイズ除去を実行して第４画像を生成する。これにより、情報処理装置は、霧や霞の影響が除去された鮮明な第４画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第３画像及び第３画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、第２画像に対してノイズ除去を実行して第４画像を生成する。これにより、情報処理装置は、逆光や夜間など光量の影響で発生したノイズや、レンズの汚れ等で発生するノイズが除去された鮮明な第４画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第３画像及び第３画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、第２画像に対してノイズ除去を実行して第４画像を生成する。これにより、情報処理装置は、撮影された画像から動体の影響を除去した第４画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第３画像と第４画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する。これにより、情報処理装置は、より鮮明な画像を記憶部に蓄積できるので、その後の環境劣化補償処理の効果を高めることができる。
（４．ハードウェア構成）
上述してきた各実施形態に係る情報処理装置１００等の情報機器は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１００を例に挙げて説明する。図１４は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定する推定部と、
前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する生成部と
を備えた情報処理装置。
（２）
前記推定部は、
前記第４画像が生成されたのち、当該第４画像と過去に撮影された複数画像との照合を行い、当該第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定し、
前記生成部は、
前記第４画像の次のタイミングで画像が取得された場合には、当該第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該第４画像の次のタイミングで取得された画像を補正する
前記（１）に記載の情報処理装置。
（３）
前記推定部は、
センサを備えた移動体によって撮影される前記第２画像に対応した前記第３画像を推定する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記推定部は、
前記第１画像を撮影した前記移動体の走行速度に基づいて、過去に撮影された複数画像の中から前記第３画像を推定する
前記（３）に記載の情報処理装置。
（５）
前記推定部は、
前記移動体の位置情報に基づいて、前記第２画像に対応した位置で過去に撮影された画像である第３画像を推定する
前記（３）又は（４）に記載の情報処理装置。
（６）
前記生成部は、
前記第３画像に含まれる自然環境の境界に基づいて、前記第２画像を補正することにより前記第４画像を生成する
前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記生成部は、
前記第２画像に比べて前記第３画像の透過率が高い場合に、当該第３画像に基づいて当該第２画像に対してヘイズ除去を実行して前記第４画像を生成する
前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記生成部は、
前記第３画像及び当該第３画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、前記第２画像に対してノイズ除去を実行して前記第４画像を生成する
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
前記生成部は、
前記第３画像及び当該第３画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、前記第２画像に対してノイズ除去を実行して前記第４画像を生成する
前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記生成部は、
前記第３画像と前記第４画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する
前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
コンピュータが、
第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定し、
前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する
情報処理方法。
（１２）
コンピュータを、
第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定する推定部と、
前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する生成部と、
として機能させるための情報処理プログラム。
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 生成部
１３４ 自動運転部
１４０ 検知部
１４１ 撮像部
１４２ 測定部
１５０ 入力部
１６０ 出力部

Claims (12)

  1. 第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定する推定部と、
    前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する生成部と
    を備えた情報処理装置。
  2. 前記推定部は、
    前記第４画像が生成されたのち、当該第４画像と過去に撮影された複数画像との照合を行い、当該第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定し、
    前記生成部は、
    前記第４画像の次のタイミングで画像が取得された場合には、当該第４画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該第４画像の次のタイミングで取得された画像を補正する
    請求項１に記載の情報処理装置。
  3. 前記推定部は、
    センサを備えた移動体によって撮影される前記第２画像に対応した前記第３画像を推定する
    請求項１に記載の情報処理装置。
  4. 前記推定部は、
    前記第１画像を撮影した前記移動体の走行速度に基づいて、過去に撮影された複数画像の中から前記第３画像を推定する
    請求項３に記載の情報処理装置。
  5. 前記推定部は、
    前記移動体の位置情報に基づいて、前記第２画像に対応した位置で過去に撮影された画像である第３画像を推定する
    請求項３に記載の情報処理装置。
  6. 前記生成部は、
    前記第３画像に含まれる自然環境の境界に基づいて、前記第２画像を補正することにより前記第４画像を生成する
    請求項１に記載の情報処理装置。
  7. 前記生成部は、
    前記第２画像に比べて前記第３画像の透過率が高い場合に、当該第３画像に基づいて当該第２画像に対してヘイズ除去を実行して前記第４画像を生成する
    請求項１に記載の情報処理装置。
  8. 前記生成部は、
    前記第３画像及び当該第３画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、前記第２画像に対してノイズ除去を実行して前記第４画像を生成する
    請求項１に記載の情報処理装置。
  9. 前記生成部は、
    前記第３画像及び当該第３画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、前記第２画像に対してノイズ除去を実行して前記第４画像を生成する
    請求項１に記載の情報処理装置。
  10. 前記生成部は、
    前記第３画像と前記第４画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する
    請求項１に記載の情報処理装置。
  11. コンピュータが、
    第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定し、
    前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する
    情報処理方法。
  12. コンピュータを、
    第１画像と過去に撮影された複数画像との照合結果に基づいて、前記第１画像の次のタイミングで撮影される第２画像に対応した位置で過去に撮影された画像である第３画像を推定する推定部と、
    前記第２画像が取得された場合に、前記第３画像に基づいて当該第２画像を補正した画像である第４画像を生成する生成部と、
    として機能させるための情報処理プログラム。
JP2021501847A 2019-02-18 2020-02-06 情報処理装置、情報処理方法及び情報処理プログラム Active JP7371679B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019026914 2019-02-18
JP2019026914 2019-02-18
PCT/JP2020/004542 WO2020170835A1 (ja) 2019-02-18 2020-02-06 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2020170835A1 JPWO2020170835A1 (ja) 2021-12-23
JP7371679B2 true JP7371679B2 (ja) 2023-10-31

Family

ID=72144540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021501847A Active JP7371679B2 (ja) 2019-02-18 2020-02-06 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20220114768A1 (ja)
JP (1) JP7371679B2 (ja)
CN (1) CN113424243B (ja)
WO (1) WO2020170835A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244688A (ja) 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2006298256A (ja) 2005-04-22 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2006311299A (ja) 2005-04-28 2006-11-09 Aisin Aw Co Ltd 駐車区画監視装置
JP2010026713A (ja) 2008-07-17 2010-02-04 Toyohashi Univ Of Technology 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム
JP2013055410A (ja) 2011-09-01 2013-03-21 Denso Corp 車両周辺画像表示制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444004B2 (en) * 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
JP4774807B2 (ja) * 2005-05-26 2011-09-14 アイシン・エィ・ダブリュ株式会社 画像修正装置、地物認識装置及び地物認識方法
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
EP2517175A4 (en) * 2009-12-25 2018-01-10 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
WO2012140976A1 (ja) * 2011-04-13 2012-10-18 日産自動車株式会社 走行支援装置及びその雨滴検出方法
JP2012244333A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法、並びにプログラム
US9740943B2 (en) * 2011-12-19 2017-08-22 Nissan Motor Co., Ltd. Three-dimensional object detection device
EP2879109B1 (en) * 2012-07-27 2022-02-09 Clarion Co., Ltd. Vehicle-mounted surrounding environment recognition device
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
JP6407596B2 (ja) * 2014-07-15 2018-10-17 株式会社デンソーテン 画像処理装置、及び、運転支援システム
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
JP6720415B2 (ja) * 2016-12-06 2020-07-08 ニッサン ノース アメリカ，インク 自律走行車のための帯域幅制約画像処理
WO2018172849A1 (en) * 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
WO2019133374A1 (en) * 2017-12-29 2019-07-04 Walmart Apollo, Llc System and method for determining autonomous vehicle location using incremental image analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244688A (ja) 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2006298256A (ja) 2005-04-22 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2006311299A (ja) 2005-04-28 2006-11-09 Aisin Aw Co Ltd 駐車区画監視装置
JP2010026713A (ja) 2008-07-17 2010-02-04 Toyohashi Univ Of Technology 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム
JP2013055410A (ja) 2011-09-01 2013-03-21 Denso Corp 車両周辺画像表示制御装置

Also Published As

Publication number Publication date
WO2020170835A1 (ja) 2020-08-27
CN113424243A (zh) 2021-09-21
JPWO2020170835A1 (ja) 2021-12-23
US20220114768A1 (en) 2022-04-14
CN113424243B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
US11531354B2 (en) Image processing apparatus and image processing method
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11501461B2 (en) Controller, control method, and program
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
CN114026436B (zh) 图像处理装置、图像处理方法和程序
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN112567427B (zh) 图像处理装置、图像处理方法和程序
US11386565B2 (en) Signal processing apparatus and signal processing method, program, and moving body
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R151 Written notification of patent or utility model registration

Ref document number: 7371679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151