JPWO2020036043A1 - 情報処理装置と情報処理方法とプログラム - Google Patents

情報処理装置と情報処理方法とプログラム Download PDF

Info

Publication number
JPWO2020036043A1
JPWO2020036043A1 JP2020537392A JP2020537392A JPWO2020036043A1 JP WO2020036043 A1 JPWO2020036043 A1 JP WO2020036043A1 JP 2020537392 A JP2020537392 A JP 2020537392A JP 2020537392 A JP2020537392 A JP 2020537392A JP WO2020036043 A1 JPWO2020036043 A1 JP WO2020036043A1
Authority
JP
Japan
Prior art keywords
unit
thinning
image
information processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020537392A
Other languages
English (en)
Other versions
JP7409309B2 (ja
Inventor
卓 青木
卓 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020036043A1 publication Critical patent/JPWO2020036043A1/ja
Application granted granted Critical
Publication of JP7409309B2 publication Critical patent/JP7409309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

動き検出部３１は、ローリングシャッター動作を行う撮像部２０と被写体との相対位置関係の変化を検出する。間引き設定部３２は、動き検出部３１の検出結果に応じて撮像部２０のライン間引き動作の間引き量を設定する。認識処理部３７-1は、間引き設定部３２で設定された間引き量に応じた認識器３７２-xを用いて、撮像部２０で取得された画像の被写体認識を行う。相対位置関係の変化は、撮像部２０が搭載された移動体の動き、撮像シーン、撮像部２０で取得された画像等に基づき検出する。ローリングシャッター動作時にライン間引きが行われて、動き検出部３１の検出結果に応じて間引き量が設定されるので、歪みの少ない被写体画像を得られる。

Description

この技術は、情報処理装置と情報処理方法とプログラムに関し、歪みの少ない被写体画像を得られるようにする。
従来、動物体を撮像する際にフレームレートを高めることで視認性を向上させることが行われている。例えば特許文献１では、撮像領域を注目領域と注目領域を除く通常領域に区分して、注目領域は通常領域よりもフレームレートを高く、間引き率を低く設定することで、注目領域の視認性を通常領域よりも向上させることが行われている。
特開２０１６−１３１３６５号公報
ところで、撮像装置でローリングシャッター動作が行われる場合、２次元状に配列されている画素では、ライン単位で時系列的に露光と蓄積電荷の読み出し等が行われることから、撮像装置と被写体の位置関係が時間の経過に伴い変化する場合に被写体画像の歪み（いわゆるローリングシャッター歪み）を生じる。ローリングシャッター歪みは、例えば特許文献１のようにフレームレートを高くしても、撮像装置と被写体の位置関係の変化が大きければ顕著となる。
そこで、この技術では撮像装置と被写体の位置関係が時間の経過に伴い変化する場合でも、歪みの少ない被写体画像を得ることできる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
この技術の第１の側面は、
撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
を備える情報処理装置にある。
この技術において、動き検出部は、ローリングシャッター動作を行う撮像部と被写体との相対位置関係の変化を検出する。動き検出部は、撮像部が搭載された移動体の動き、撮像シーン、撮像部で取得された画像等に基づき相対位置関係の変化を検出する。例えば移動体が車両である場合は車速と操舵角、あるいは移動体に設けられた慣性計測部の計測結果に基づき相対位置関係の変化を検出する。
間引き設定部は、動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする。また、間引き設定部は、動き検出部で検出される相対位置関係の変化が撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う。さらに、間引き設定部は、動き検出部で検出される相対位置関係の変化が撮像部の光軸の方向の移動によって生じる変化である場合、撮像部の光軸方向の移動によって生じる相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする。
また、動き検出部の検出結果に応じて撮像部におけるラインの読み出し順序方向を設定する読み出し設定部を設ける。読み出し設定部は、動き検出部で検出される相対位置関係の変化が撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする。
また、撮像部で取得された画像の被写体認識を行う認識処理部を設ける。認識処理部は、予め生成された辞書を用いた認識器を間引き量に応じて有しており、間引き設定部で設定された間引き量あるいは領域毎に設定された間引き量に応じた認識器を用いて認識処理を行う。また、認識処理部は、間引き設定部で設定された間引き量と読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて認識処理を行う
さらに、撮像部で取得された画像を用いて対応点探索を行う画像処理部を備え、画像処理部は、間引き設定部で設定された間引き量に応じて探索範囲を調整する、あるいは間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する。
この技術の第２の側面は、
撮像部と被写体との相対位置関係の変化を動き検出部で検出することと、
前記動き検出部の検出結果に応じて前記撮像部におけるライン間引き動作の間引き量を間引き設定部で設定すること
を備える情報処理方法にある。
この技術の第３の側面は、
撮像部の制御をコンピュータで実行させるプログラムであって、
前記撮像部と被写体との相対位置関係の変化を検出する手順と、
前記相対位置関係の変化に応じて前記撮像部のライン間引き動作の間引き量を設定する手順と
を前記コンピュータで実行させるプログラム。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術によれば、撮像部と被写体との相対位置関係の変化に応じて撮像部のライン間引き動作の間引き量が設定される。このため、歪みの少ない被写体画像を得られるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作例を示した図である。 被写体に対して撮像部が前進する場合を例示した図である。 被写体に対して撮像部が後退する場合を例示した図である。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 被写体までの距離とローリングシャッター歪みの関係を説明するための図である。 第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 第４の実施の形態の構成を例示した図である。 デプスマップを取得する場合の信頼度を説明するための図である。 ＳＬＡＭの信頼度を説明するための図である。 シーンの推定結果と間引き量の関係を例示している。 撮像画に動物体が含まれた場合を例示している。 車両制御システムの概略的な機能の構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．第１の実施の形態の構成
１−２．第１の実施の形態の動作
２．第２の実施の形態
２−１．第２の実施の形態の構成
２−２．第２の実施の形態の動作
３．第３の実施の形態
３−１．第３の実施の形態の構成
３−２．第３の実施の形態の動作
４．第４の実施の形態
４−１．第４の実施の形態の構成
４−２．第４の実施の形態の動作
５．変形例
６．応用例
＜１．第１の実施の形態＞
＜１−１．第１の実施の形態の構成＞
図１は，第１の実施の形態の構成を例示している。撮像システム１０は、撮像部２０と信号処理部３０-1を有している。
撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-1へ出力する。また、イメージセンサ２２は、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。なお、間引き量は間引き率であってもよく、以下の説明では、間引き量として説明を行う。
信号処理部３０-1は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-1は、動き検出部３１、間引き設定部３２、補間処理部３６、認識処理部３７-1を有している。
動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲを用いて、式（１）に基づき間引き量Ｄｔを算出する。なお、「ｋａ」「ｋｂ」は、予め設定されている係数である。間引き設定部３２は、設定した間引き量を示す間引き設定信号を認識処理部３７-1へ出力する。
Ｄｔ＝ｋａ×ＶＳ＋ｋｂ×ＶＲ ・・・（１）
補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-1へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
認識処理部３７-1は、認識器切替部３７１-1と複数の認識器３７２-1〜認識器３７２-nを有している。認識器３７２-1〜３７２-nは、間引き量毎に設けられている。例えば認識器３７２-1は間引き量Ｄｔ-1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-nは間引き量Ｄｔ-nで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。認識器切替部３７１は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１は、処理領域の間引き量に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１は、切り替え後の認識器３７２-xに画像信号を供給して、間引き量に応じた辞書を用いて処理領域の被写体を認識して、認識結果を信号処理部３０-1から出力する。
＜１−２．第１の実施の形態の動作＞
図２は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で信号処理部３０-1は動き検出処理を行う。信号処理部３０-1は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-1は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ２に進む。
ステップＳＴ２で信号処理部３０-1は間引き量を設定する。信号処理部３０-1は、ステップＳＴ１で検出された動きに基づき、例えば上述の式（１）に基づき間引き量を設定してステップＳＴ３に進む。
ステップＳＴ３で信号処理部３０-1は撮像制御を行う。信号処理部３０-1はステップＳＴ２で設定された間引き量を示す間引き設定信号を生成して撮像部２０へ出力することで、ステップＳＴ２で設定された間引き量のライン間引きが行われた間引き画像の画像信号を撮像部２０で生成させてステップＳＴ４に進む。
ステップＳＴ４で信号処理部３０-1は補間処理を行う。信号処理部３０-1は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ５に進む。
ステップＳＴ５で信号処理部３０-1は認識器の切り替えを行う。信号処理部３０-1は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ２で設定された間引き量に応じた認識器に切り替えてステップＳＴ６に進む。
ステップＳＴ６で信号処理部３０-1は認識処理を行う。信号処理部３０-1はステップＳＴ４で生成された補間画像の画像信号を用いて、ステップＳＴ５で切り替えられた認識器によって被写体の認識処理を行う。
図３は、第１の実施の形態の動作例を示している。なお、被写体は例えば路上に表示された「ＳＴＯＰ」マークであり、撮像部２０は車両に搭載されて前進している。また、各ラインの露光期間を期間ｔp、読み出しライン順序方向を上側から下方向、撮像画における被写体の先端をライン位置Ｍa，後端をライン位置Ｍbとする。
図３の（ａ）は間引きを行わない場合に撮像部２０で取得された画像を例示している。この場合、ライン順に読み出しが行われることから、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。したがって、図３の（ｂ）に示すように、ライン位置Ｍaとライン位置Ｍbとの間隔は時間差ｔdaの期間中の車両の移動速度に応じて広くなる。すなわち、被写体は、図３の（ａ）に示すように伸張された状態となる。
図３の（ｃ）は間引きを行った場合に撮像部２０で取得された間引き画像を例示している。ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。また、ライン間引き読み出しを行っていることから、最初のラインの読み出しから最後のラインの読み出しまでに要する時間は短くなり、ライン位置Ｍaとライン位置Ｍbの間隔の時間差は、図３の（ｄ）に示すように、間引きを行っていない場合の時間差ｔdaよりも短い時間差ｔdbとなる。このため、図３の（ｃ）に示す間引き画像に対して補間処理を行うことにより得られた補間画像では、間引きを行っていない場合に比べて図３の（ｅ）に示すように被写体の歪みが少なくなる。また、車両の前進速度が速くなるに伴い間引き量を大きくすれば、被写体の歪みを少なくできる。
さらに、間引きを行って得られた撮像画に対して補間処理が行われて、補間画像を用いて間引き量に応じた認識器によって被写体の認識処理が行われるので、精度よく被写体を認識できるようになる。
このように、第１の実施の形態によれば、撮像部と被写体との相対位置変化に応じて間引き量が設定されて、ローリングシャッター歪みの少ない撮像画が取得される。さらに取得された撮像画における間引き量に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
＜２．第２の実施の形態＞
ところで、ローリングシャッター動作を行い取得された撮像画では、撮像部２０で用いられているイメージセンサのライン方向に対して直交する方向の被写体の動きに応じて、被写体が伸張あるいは圧縮される。図４は、被写体に対して撮像部が前進する場合を例示した図であり、図５は、被写体に対して撮像部が後退する場合を例示した図である。なお、被写体は例えば路上に表示された「ＳＴＯＰ」マークであり、撮像部２０は車両に搭載されている。また、図４，図５では、各ラインの露光期間を期間ｔp、読み出しライン順序方向を上側から下方向、撮像画における被写体の先端をライン位置Ｍa，後端をライン位置Ｍbとする。また、図４は、被写体に対して車両が前進しており、撮像画における被写体の動きが読み出しライン順序方向である場合を示している。また、図５は、被写体に対して車両が後退しており、撮像画における被写体の動きが読み出しライン順序方向に対して逆方向である場合を示している。
図４の（ａ）（ｂ）と図５の（ａ）（ｂ）は、車両が停止している場合の画像を例示している。車両が停止していることから、時間が経過してもライン位置Ｍa，Ｍbは一定である。また、ローリングシャッター動作により、ライン位置Ｍbとライン位置Ｍbの露光期間の開始タイミングは時間差ｔdを有している。
図４の（ｃ）（ｄ）は、車両が前進した場合を例示している。この場合、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。したがって、図４の（ｄ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd1は停止しているときよりも車両の移動速度に応じて大きくなる。すなわち、被写体は図４の（ｃ）に示すように伸張された状態となる。
図４の（ｅ）（ｆ）は、車両が高速で前進した場合を例示している。この場合にも、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。また、車両が高速であることから移動量は大きくなる。したがって、図４の（ｆ）に示すように、ライン位置Ｍaとライン位置Ｍbは、露光期間となる前に、撮像範囲が外れてしまい、図４の（ｅ）に示すように、被写体が表示されなくなってしまう。
図５の（ｃ）（ｄ）は、車両が後退した場合を例示している。この場合、ライン位置Ｍa，Ｍbは、時間経過と共に奥側（撮像画における水平線のライン位置の方向）に移動する。したがって、図５の（ｄ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd2は停止しているときよりも車両の移動速度に応じて小さくなる。すなわち、被写体は図５の（ｃ）に示すように圧縮された状態となる。
図５の（ｅ）（ｆ）は、車両が高速で後退した場合を例示している。この場合にも、ライン位置Ｍa，Ｍbは、時間経過と共に奥側（撮像画における水平線のライン位置の方向）に移動する。また、車両が高速であることから移動量は大きくなる。したがって、図５の（ｆ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd3は時間差ｔd2よりもさらに小さくなる。すなわち、被写体は、図５の（ｅ）に示すように、図５の（ｃ）に示す場合よりもさらに圧縮された状態となる。
このように、ラインの読み出し順序方向に被写体が高速に移動すると被写体が撮像画に映り込まなくなってしまうが、読み出し順序方向に対して被写体の動きが逆方向である場合は、被写体が高速に移動して撮像画に映り込まなくなってしまうことがない。
そこで、第２の実施の形態では、撮像部２０のイメージセンサからライン単位で信号を読み出す場合、動き検出結果に応じてラインの読み出し順序方向を上側から下方向にあるいは下側から上方向に設定して、間引き画像からの被写体の抜けを防止する。
＜２−１．第２の実施の形態の構成＞
図６は，第２の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-2を有している。
撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-2へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの読み出し順序方向信号で示された方向として、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
信号処理部３０-2は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-2は、動き検出部３１、間引き設定部３２、読み出し設定部３５、補間処理部３６、認識処理部３７-2を有している。
動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲを用いて上述の式（１）に基づき間引き量Ｄｔを算出する。間引き設定部３２は、設定した間引き量を示す間引き設定信号を認識処理部３７-2へ出力する。
読み出し設定部３５は、動き検出部３１で検出された動きに応じて、撮像部２０におけるラインの読み出し順序方向を設定する。読み出し設定部３５は、撮像部２０が前進していると判別した場合、読み出し順序方向を下側から上方向に設定する。また、読み出し設定部３５は、撮像部２０が後退していると判別した場合、読み出し順序方向を上側から下方向に設定する。読み出し設定部３５は、設定した読み出し順序方向を示す順序方向設定信号を生成して撮像部２０と認識処理部３７-2へ出力する。
補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-2へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
認識処理部３７-2は、認識器切替部３７１-2と複数の認識器３７２-d1〜３７２-dn，３７２-u1〜３７２-unを有している。なお、認識器３７２-d1〜３７２-dnは、ラインの読み出し順序方向が上側から下方向であるときの間引き量に応じて設けられた認識器であり、認識器３７２-u1〜３７２-unは、読み出し順序方向が下側から上方向であるときの間引き量に応じて設けられた認識器である。例えば認識器３７２-d1は、読み出し順序方向が上側から下方向であるときの間引き量Ｄｔ-d1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-unは、読み出し順序方向が下側から上方向であるときの間引き量Ｄｔ-unで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。
認識器切替部３７１-2は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１-2は、処理領域の間引き量と読み出し設定部３５で設定された読み出し順序方向に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１-2は、切り替え後の認識器３７２-xに画像信号を供給して処理領域の被写体の認識処理を行い、認識結果を信号処理部３０-2から出力する。
＜２−２．第２の実施の形態の動作＞
図７は、第２の実施の形態の動作を示すフローチャートを例示している。ステップＳＴ１１で信号処理部３０-2は動き検出処理を行う。信号処理部３０-2は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-2は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ１２に進む。
ステップＳＴ１２で信号処理部３０-2は間引き量を設定する。信号処理部３０-2は、ステップＳＴ１１で検出された動きに基づき、例えば上述の式（１）に基づき間引き量を設定してステップＳＴ１３に進む。
ステップＳＴ１３で信号処理部３０-2は読み出し順序方向を設定する。信号処理部３０-2は、ステップＳＴ１１で検出された動きに基づき、ラインの読み出し順序方向を上側から下方向または下側から上方向のいずれかに設定してステップＳＴ１４に進む。
ステップＳＴ１４で信号処理部３０-2は撮像制御を行う。信号処理部３０-2は、ステップＳＴ２で設定された間引き量を示す間引き設定信号と、ステップＳＴ１３で設定された読み出し順序方向を示す順序方向設定信号を生成する。信号処理部３０-2は、生成した間引き設定信号と順序方向設定信号を撮像部２０へ出力することで、ステップＳＴ１３で設定された読み出し順序方向かつステップＳＴ１２で設定された間引き量のライン間引きが行われた間引き画像の画像信号を生成させてステップＳＴ１５に進む。
ステップＳＴ１５で信号処理部３０-2は補間処理を行う。信号処理部３０-2は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ１６に進む。
ステップＳＴ１６で信号処理部３０-2は認識器の切り替えを行う。信号処理部３０-2は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ１２で設定された間引き量とステップＳＴ１３で設定された読み出し順序方向に応じた認識器に切り替えてステップＳＴ１７に進む。
ステップＳＴ１７で信号処理部３０-2は認識処理を行う。信号処理部３０-2はステップＳＴ１５で生成された補間画像の画像信号を用いて、ステップＳＴ１６で切り替えられた認識器で被写体認識処理を行う。
このように、第２の実施の形態によれば、撮像部と被写体との相対位置変化に応じて間引き量やラインの読み出し順序方向が設定されて、ローリングシャッター歪みが少なく被写体の抜けを防止した撮像画が取得される。さらに取得された撮像画における間引き量および読み出し順序方向に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
＜３．第３の実施の形態＞
ローリングシャッター動作を行い取得された撮像画では、被写体の動きや被写体までの距離によって歪みの程度が異なる。図８は、被写体までの距離とローリングシャッター歪みの関係を説明するための図である。図８の（ａ）に示すように例えば撮像領域内の被写体が静止している場合、撮像部が直進したときにおける撮像領域内の被写体の移動速度は、被写体までの距離が短くなるに伴い速くなる。したがって、図８の（ｂ）に示すように、近距離の被写体ではローリングシャッター動作の歪み量（ＲＳ歪み量）が多く、遠距離の被写体ではＲＳ歪み量が少ない。例えば、撮像システムが車両に搭載されている場合、撮像領域の下側領域に位置する路面などは上側領域の被写体に比べてＲＳ歪み量が多い。また、撮像部に回転方向の動きを生じると、図８の（ｃ）に示すように、撮像画のいずれの場所でもＲＳ歪み量は等しい。
そこで、第３の実施の形態では、領域毎に間引き量を設定することで精度よく被写体を認識できるようにする。
＜３−１．第３の実施の形態の構成＞
図９は第３の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-3を有している。
撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-1へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの順序方向設定信号に基づく方向として、後述する領域間引き設定部３４からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
信号処理部３０-3は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-3は、動き検出部３１、領域歪み量推定部３３、領域間引き設定部３４、読み出し設定部３５、補間処理部３６、認識処理部３７-3を有している。
動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を領域歪み量推定部３３へ出力する。
領域歪み量推定部３３は、動き検出部３１で検出された動きに基づき、ＲＳ歪み量を領域毎に推定する。領域歪み量推定部３３は、例えば所定ライン数で領域分けを行い領域毎にＲＳ歪み量を推定する。領域のＲＳ歪み量は、領域内のライン毎に推定した歪み量の統計量、例えば平均値や中央値あるいは最大値等を用いる。また、領域歪み量推定部３３は、ライン毎に推定した歪み量に基づき領域分割を行ってもよい。例えばライン毎に推定した歪み量の最大値を利用して、隣接するラインの最大値との差が閾値を超える場合、２つのライン間を領域の境界としてもよい。領域歪み量推定部３３は、領域毎の歪み量推定結果を領域間引き設定部３４へ出力する。
領域間引き設定部３４は、領域毎の歪み量に応じて間引き量を領域毎に設定する。領域間引き設定部３４は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲと直進時のローリングシャッター歪み傾向を示すマップを用いて、式（２）に基づき領域間引き量ＤＡｔを算出する。なお、「ｋａ」「ｋｂ」は、予め設定されている係数である。「ＫＳmap」は直進時のローリングシャッター歪み傾向を示すマップに基づく該当領域の係数である。領域間引き設定部３４は、領域毎に設定した領域間引き量を示す領域間引き設定信号を撮像部２０と認識処理部３７-3へ出力する。
ＤＡｔ＝（ｋａ×ＶＳ×ＫＳmap）＋（ｋｂ×ＶＲp）・・・（２）
読み出し設定部３５は、動き検出部３１で検出された動きに応じて、撮像部２０における読み出し順序方向を設定する。読み出し設定部３５は、撮像部２０が前進していると判別した場合、ラインの読み出し順序方向を下側から上方向に設定する。また、読み出し設定部３５は、撮像部２０が後退していると判別した場合、ラインの読み出し順序方向を上側から下方向に設定する。読み出し設定部３５は、設定した読み出し順序方向を示す順序方向設定信号を生成して撮像部２０と認識処理部３７-3へ出力する。
補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-3へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、領域間引き設定部３４で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
認識処理部３７-3は、認識器切替部３７１-3と複数の認識器３７２-d1〜３７２-dn，３７２-u1〜３７２-unを有している。なお、認識器３７２-d1〜３７２-dnは、読み出し順序方向が上側から下方向であるときの領域間引き量に応じて設けられた認識器であり、認識器３７２-u1〜３７２-unは、読み出し順序方向が下側から上方向であるときの領域間引き量に応じて設けられた認識器である。例えば認識器３７２-ｄ1は、読み出し順序方向が上側から下方向であるときの領域間引き量ＤＡｔ-d1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-uｎは、読み出し順序方向が下側から上方向であるときの領域間引き量ＤＡｔ-unで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。
認識器切替部３７１-3は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１-3は、領域間引き設定部で設定された領域毎の間引き量に基づき処理領域の間引き量を判別して、判別した間引き量と読み出し設定部３５で設定された読み出し順序方向に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１-3は、切り替え後の認識器３７２-xに画像信号を供給して処理領域の被写体の認識処理を行い、認識結果を信号処理部３０-3から出力する。
＜３−２．第３の実施の形態の動作＞
図１０は、第３の実施の形態の動作を示すフローチャートを例示している。ステップＳＴ２１で信号処理部３０-3は動き検出処理を行う。信号処理部３０-3は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-3は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ２２に進む。
ステップＳＴ２２で信号処理部３０-3は読み出し順序方向を設定する。信号処理部３０-3は、ステップＳＴ２１で検出された動きに基づき、ラインの読み出し順序方向を上側から下方向または下側から上方向のいずれかに設定してステップＳＴ２３に進む。
ステップＳＴ２３で信号処理部３０-3は領域毎にＲＳ歪み量を推定する。信号処理部３０-3は、ステップＳＴ１１で検出された動きに基づき、領域毎のＲＳ歪み量を推定してステップＳＴ２４に進む。
ステップＳＴ２４で信号処理部３０-3は間引き量を設定する。信号処理部３０-3は、ステップＳＴ２３で推定した領域毎のＲＳ歪み量に基づき間引き量を設定してステップＳＴ１２５に進む。
ステップＳＴ２５で信号処理部３０-3は撮像制御を行う。信号処理部３０-3は、ステップＳＴ２４で設定された間引き量を示す間引き設定信号と、ステップＳＴ２２で設定された読み出し順序方向を示す順序方向設定信号を生成する。信号処理部３０-3は、生成した間引き設定信号と順序方向設定信号を撮像部２０へ出力することで、ステップＳＴ２２で設定された読み出し順序方向かつステップＳＴ２４で設定された間引き量のライン間引きが行われた間引き画像の画像信号を生成させてステップＳＴ２６に進む。
ステップＳＴ２６で信号処理部３０-3は補間処理を行う。信号処理部３０-3は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ２７に進む。
ステップＳＴ２７で信号処理部３０-3は認識器の切り替えを行う。信号処理部３０-3は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ２２で設定された読み出し順序方向とステップＳＴ２４で設定された間引き量に応じた認識器に切り替えてステップＳＴ２８に進む。
ステップＳＴ２８で信号処理部３０-3は認識処理を行う。信号処理部３０-3はステップＳＴ２６で生成された補間画像の画像信号を用いて、ステップＳＴ２７で切り替えられた認識器で被写体認識処理を行う。
このように、第３の実施の形態によれば、撮像部と被写体との相対位置変化に応じて読み出し順序方向や領域毎の間引き量が設定されて、ローリングシャッター歪みが少なく被写体の抜けを防止した撮像画が取得される。さらに取得された撮像画における間引き量および読み出し順序方向に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
＜４．第４の実施の形態＞
ところで、上述の実施の形態では撮像部で取得された画像に基づき被写体認識を行う場合について説明したが、デプスマップの生成やＳＬＡＭ（Simultaneous Localization and Mapping）等で行われる対応点探索において、ローリングシャッター歪みを考慮した処理を行うようにしてもよい。
＜４−１．第４の実施の形態の構成＞
図１１は，第４の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-4を有している。
撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-4へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの読み出し順序方向設定信号に基づく方向として、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
信号処理部３０-4は、撮像部２０で生成された画像信号に基づき画像処理を行う。信号処理部３０-4は、動き検出部３１、間引き設定部３２、補間処理部３６、画像処理部３８を有している。
動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が移動体例えば車両に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、設定した間引き量を示す間引き設定信号を画像処理部３８へ出力する。
補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-4へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
画像処理部３８は、補間処理後の画像信号を用いて対応点探索を行い、ステレオマッチングによってデプスマップの生成あるいはＳＬＡＭの処理を行う。画像処理部３８は、対応点探索において、間引き設定部３２で生成された間引き設定信号に基づきサーチ範囲や信頼度を設定する。例えばサーチ範囲の設定では、ローリングシャッター歪みが大きくなるに伴い探索範囲を広くする。また、ローリングシャッター歪みはライン方向に歪みを生ずることから、探索範囲はライン方向を広く設定してもよい。また、ローリングシャッター歪みを生じるとマッチング精度が低下する。したがって、対応点の信頼度を利用して、ＳＬＡＭあるいはデプスマップの生成を行うようにする。
＜４−２．第４の実施の形態の動作＞
第４の実施の形態では、図２に示すフローチャートのステップＳＴ１乃至ステップＳＴ４の処理を行い、その後に画像処理を行う。画像処理では対応点探索を行い、対応点探索における探索範囲や信頼度をＲＳ歪み量に応じて調整する。
探索範囲の設定では、例えばローリングシャッター歪みによって、被写体が伸張される場合には対応点を検出できるように探索範囲をして、被写体が圧縮される場合には対応点を効率よく検出できるように探索範囲を狭くする。また、ＲＳ歪み量が多くなるに伴いマッチング精度が低下することから、信頼度は、ＲＳ歪み量が多くなるに伴い低くする。
図１２は、デプスマップを取得する場合の信頼度を説明するための図である。図１２の（ａ）は左視点画像であり、図１２の（ｂ）は左視点画像に対応するローリングシャッター歪度マップを示している。なお、ローリングシャッター歪度マップにおいて、斜線の無い領域はＲＳ歪み量の少ない領域、太い斜線線のハッチング領域はＲＳ歪み量が多い領域、細い斜線のハッチング領域はＲＳ歪み量が多くもなく少なくもない領域であることを示している。また、図１２の（ｃ）は右視点画像であり、図１２の（ｄ）は右視点画像に対応するローリングシャッター歪度マップを示している。ここで、左視点の撮像部で取得される画像にレンズ歪みを生じる場合、ステップＳＴ３１では、左視点の撮像部で用いられているレンズに応じた補正係数用いて左視点画像とローリングシャッター歪度マップのレンズ歪み補正処理を行う。また、右視点の撮像部で取得される画像にレンズ歪みを生じる場合、ステップＳＴ３２では、右視点の撮像部で用いられているレンズに応じた補正係数用いて右視点画像とローリングシャッター歪度マップのレンズ歪み補正処理を行う。なお、図１２の（ｅ）はレンズ歪み補正処理後の左視点画像、図１２の（ｆ）はレンズ歪み補正処理後の左視点画像に対応するローリングシャッター歪度マップを示している。また、図１２の（ｇ）はレンズ歪み補正処理後の右視点画像、図１２の（ｈ）はレンズ歪み補正処理後の右視点画像に対応するローリングシャッター歪度マップを示している。
ステップＳＴ３３のステレオマッチング処理では、図１２の（ｅ）に示すレンズ歪み補正処理後の左視点画像と図１２の（ｇ）に示すレンズ歪み補正処理後の右視点画像を用いてマッチング処理を行い、例えば左視点画像の各画素位置のデプスを示す図１２の（ｉ）に示すデプスマップを生成する。なお、デプスマップでは、輝度が低くなるに伴い距離が離れていることを示している。ステップＳＴ３４の信頼度処理では、図１２の（ｆ）のローリングシャッター歪度マップを、デプスマップの信頼度として利用する。図１２の（ｊ）は信頼度を示しており、横線の無い領域は信頼度の高い領域、太い横線のハッチング領域は信頼度が低い領域、細い縦線のハッチング領域は信頼度が高くも低くもない領域であることを示している。その後、信頼度に基づき後段の処理では例えば信頼度の低い領域のデプスを無効とする。また、信頼度の低い領域のデプスは、信頼度の低くない領域のデプスを用いて時間的あるいは空間的な補間処理を行ってもよい。
図１３は、ＳＬＡＭの信頼度を説明するための図である。図１３の（ａ）はレンズ歪み補正処理後の時刻Ｔの撮像画であり、図１３の（ｂ）は撮像画に対応するローリングシャッター歪度マップを示している。また、図１３の（ｃ）はレンズ歪み補正処理後の時刻Ｔ−１の撮像画であり、図１３の（ｄ）は撮像画に対応するローリングシャッター歪度マップを示している。なお、レンズ歪み補正処理後の撮像画やローリングシャッター歪度マップは、デプスマップを取得する場合と同様な処理を行えばよい。
ＳＡＬＭでは、ステップＳＴ４１でレンズ歪み補正処理後の時刻Ｔと時刻Ｔ−１の撮像画を用いて特徴点ペアを抽出する。なお、図１３の（ｅ）（ｆ）では、特徴点ペアＦＰを構成する特徴点が３個の場合を例示しており、特徴点ペアを示す三角形の頂点が特徴点である。ステップＳＴ４２，４３で特徴点ペア毎に時刻Ｔ，Ｔ−１における信頼度の算出を行う。さらに、ＳＡＬＭでは、ステップＳＴ４４で時刻Ｔと時刻Ｔ−１の特徴点ペアに基づき特徴点ペア毎に移動量を抽出する。ここで、時刻Ｔにおける信頼度は、特徴点ペア毎に算出する。例えば特徴点ペアＦＰの時刻Ｔにおける信頼度ＲＰ(T)は、式（３）に基づき特徴点ペアＦＰを構成するＮ個の特徴点ｐi（ｉ＝１〜N）の歪度Ｄｐiを用いて算出する。なお、歪度Ｄｐiは、時刻Ｔのローリングシャッター歪度マップにおける特徴点ｐiの位置のローリングシャッター歪度であり、ローリングシャッター歪度マップの歪度は、歪みがない場合に歪度＝「１」で歪みが多くなるに伴い歪度が「０」に近くなるとする。
Figure 2020036043
時刻Ｔ−１における信頼度は、時刻Ｔ−１のローリングシャッター歪度マップを用いて、時刻Ｔにおける信頼度と同様に算出する。
その後、ＳＡＬＭでは、ステップＳＴ４５で信頼度処理を行い、ＳＬＡＭにおける移動量ＬＶ(T,T-1)を、式（４）に基づきＭ個の特徴点ペアＦＰj（j＝1〜M）の移動量Ｌjと時刻Ｔにおける信頼度ＲＰ(T)jと時刻Ｔ−１における信頼度ＲＰ(T-1)jに基づいて算出する。
Figure 2020036043
このように、第４の実施の形態によれば、ローリングシャッター歪みを用いてデプスマップの生成やＳＬＡＭの処理が行われるので、ローリングシャッター歪みを用いていない場合に比べて、精度よくデプスマップの生成やＳＬＡＭの処理を行うことができる。
＜５．変形例＞
上述の実施の形態では、動き検出のために車速や操舵角を利用したが、慣性計測部（ＩＭＵ：inertial measurement unit）を用いて加速度や角速度を検出して撮像部の動きを検出してもよい。
また、動き検出結果に基づき間引き量を設定しているが、間引き量は、撮像シーンに応じて設定してもよい。例えば画像情報あるいは地図情報と自己位置情報（自己位置の向きを含む）を用いれば、撮像部でどのようなシーンが撮像されるか推定できる。
図１４は、シーンの推定結果と間引き量の関係を例示している。図１４の（ａ）は、画像情報あるいは地図情報等によって前方が開けたシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから図１４の（ｂ）に示すように、間引き量を多くする。また、奥側の被写体（例えば空等）は、撮像部と被写体との相対位置関係の変化が小さく、ＲＳ歪み量が少ないことから間引き量を少なくする。また、中間位置の被写体（例えば山等）は、撮像部と被写体との相対位置関係の変化が大きくも小さくもないことから、間引き量を中間とする。
図１４の（ｃ）は、画像情報あるいは地図情報等によって建物が多い市街地のシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから、図１４の（ｄ）に示すように間引き量を多くする。また、中央部や上部の被写体（例えば前方の建物等）は、撮像部と被写体との相対位置関係の変化が大きくもなく小さくもないことから、間引き量を中間とする。
図１４の（ｅ）は、画像情報あるいは地図情報等によって上り坂のシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから、図１４の（ｆ）に示すように間引き量を多くする。また、上部の被写体（例えば遠方の道路等）は、撮像部と被写体との相対位置関係の変化が小さいことから、間引き量を小さくする。また、中央部の被写体（例えば前方の登り坂部分等）は、撮像部と被写体との相対位置関係の変化が大きくもなく小さくもないことから、間引き量を中間とする。
また、撮像範囲に動物体が含まれて、動物体の動きによってローリングシャッター歪みが大きくなる場合がある。したがって、撮像部で取得された時間方向の複数の撮像画に基づき動物体の検出を行い、動物体の動きが大きい領域では間引き量を多くしてもよい。
図１５は、撮像画に動物体が含まれた場合を例示している。なお、図１５では、動物体が自動車である。図１５の（ａ）は、市街地のシーンで動物体（例えば自動車）ＯＢｍが含まれた撮像画を例示している。
動物体は例えば水平方向に移動しており、ブロック単位で動き検出を行った場合の検出結果は、図１５の（ｂ）に示すように、動物体を含むクロスハッチングで示す領域ＢＫmが、動きの大きい領域と検出される。また、信号処理部３０-4は、図１５の（ｃ）に示すように、動きの大きい領域ＢＫmを含むライン領域の間引き量を大きくする。このような処理を行えば、被写体が静止している場合に限らず、被写体が動物体である場合にも被写体の動きに応じて間引き量を調整して、精度よく認識処理を行うことができるようになる。
＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１６は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
以上説明した車両制御システム１００において、本実施の形態で示した撮像部２０はデータ取得部１０２、信号処理部３０-1（３０-2，３０-3，３０-4）は車外情報検出部１４１に相当する。撮像部２０と信号処理部３０-1（３０-2，３０-3，３０-4）を車両制御システム１００に設けた場合、車両制御システム１００を設けた車両と車外の物体との相対位置関係の変化に応じて撮像部２０の間引き量が設定されて撮像が行われるので、ローリングシャッター歪みの少ない撮像画を取得できるようになる。また、間引き量に応じた認識器に切り替えて被写体認識が行われるので、認識器の切り替えを行うことなく被写体認識を行う場合に比べて精度よく被写体を認識できるようになる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
を備える情報処理装置。
（２） 前記間引き設定部は、前記動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする（１）に記載の情報処理装置。
（３） 前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う（２）に記載の情報処理装置。
（４） 前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸の方向の移動によって生じる変化である場合、前記撮像部の光軸方向の移動によって生じる前記相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする（２）または（３）に記載の情報処理装置。
（５） 前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備える（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記読み出し設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、前記撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする（５）に記載の情報処理装置。
（７） 前記動き検出部は、前記撮像部が搭載された移動体の動きに基づき前記相対位置関係の変化を検出する（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記移動体は車両であり、車速と操舵角に基づき前記相対位置関係の変化を検出する（７）に記載の情報処理装置。
（９） 前記動き検出部は、前記撮像部が搭載された移動体に設けられた慣性計測部の計測結果に基づき前記相対位置関係の変化を検出する（７）に記載の情報処理装置。
（１０） 前記動き検出部は、撮像シーンに基づき前記相対位置関係の変化を検出する（１）に記載の情報処理装置。
（１１） 前記動き検出部は、前記撮像部で取得された画像に基づいて前記相対位置関係の変化を検出する（１）に記載の情報処理装置。
（１２） 前記間引き設定部で設定された間引き量に応じた認識器を用いて、前記撮像部で取得された画像の被写体認識を行う認識処理部をさらに備える（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記認識処理部は、前記間引き量に応じて予め生成された辞書を用いて被写体認識を行う（１２）に記載の情報処理装置。
（１４） 前記認識処理部は、前記間引き設定部で領域毎に設定された間引き量に応じた認識器を用いる（１２）に記載の情報処理装置。
（１５） 前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備え、
前記認識処理部は、前記間引き設定部で設定された間引き量と前記読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて前記被写体認識を行う（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記撮像部で取得された画像を用いて対応点探索を行う画像処理部をさらに備え、
前記画像処理部は、前記間引き設定部で設定された間引き量に応じて探索範囲を調整する（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記画像処理部は、前記間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する（１６）に記載の情報処理装置。
（１８） ローリングシャッター動作を行う前記撮像部をさらに備える（１）乃至（１７）のいずれかに記載の情報処理装置。
この技術の情報処理装置と情報処理方法とプログラムでは、撮像部と被写体との相対位置関係の変化に応じて撮像部のライン間引き動作の間引き量が設定される。このため、歪みの少ない被写体画像を得られるようになる。したがって、移動体に搭載される装置等に適している。
１０・・・撮像システム
２０・・・撮像部
２１・・・撮像レンズ
２２・・・イメージセンサ
３０-1，３０-2，３０-3，３０-4・・・信号処理部
３１・・・動き検出部
３２・・・間引き設定部
３３・・・領域歪み量推定部
３４・・・領域間引き設定部
３５・・・読み出し設定部
３６・・・補間処理部
３７-1，３７-2，３７-3，３７-4・・・認識処理部
３８・・・ 画像処理部
３７１-1，３７１-2，３７１-3・・・認識器切替部
３７２-1〜３７２-n，３７２-d1〜３７２-dn，３７２-u1〜３７２-un・・・認識器

Claims (20)

  1. 撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
    前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
    を備える情報処理装置。
  2. 前記間引き設定部は、前記動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする
    請求項１に記載の情報処理装置。
  3. 前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う
    請求項２に記載の情報処理装置。
  4. 前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸の方向の移動によって生じる変化である場合、前記撮像部の光軸方向の移動によって生じる前記相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする
    請求項２に記載の情報処理装置。
  5. 前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備える
    請求項１に記載の情報処理装置。
  6. 前記読み出し設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、前記撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする
    請求項５に記載の情報処理装置。
  7. 前記動き検出部は、前記撮像部が搭載された移動体の動きに基づき前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  8. 前記移動体は車両であり、車速と操舵角に基づき前記相対位置関係の変化を検出する
    請求項７に記載の情報処理装置。
  9. 前記動き検出部は、前記撮像部が搭載された移動体に設けられた慣性計測部の計測結果に基づき前記相対位置関係の変化を検出する
    請求項７に記載の情報処理装置。
  10. 前記動き検出部は、撮像シーンに基づき前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  11. 前記動き検出部は、前記撮像部で取得された画像に基づいて前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  12. 前記間引き設定部で設定された間引き量に応じた認識器を用いて、前記撮像部で取得された画像の被写体認識を行う認識処理部をさらに備える
    請求項１に記載の情報処理装置。
  13. 前記認識処理部は、前記間引き量に応じて予め生成された辞書を用いて被写体認識を行う
    請求項１２に記載の情報処理装置。
  14. 前記認識処理部は、前記間引き設定部で領域毎に設定された間引き量に応じた認識器を用いる
    請求項１２に記載の情報処理装置。
  15. 前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備え、
    前記認識処理部は、前記間引き設定部で設定された間引き量と前記読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて前記被写体認識を行う
    請求項１２に記載の情報処理装置。
  16. 前記撮像部で取得された画像を用いて対応点探索を行う画像処理部をさらに備え、
    前記画像処理部は、前記間引き設定部で設定された間引き量に応じて探索範囲を調整する
    請求項１に記載の情報処理装置。
  17. 前記画像処理部は、前記間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する
    請求項１６に記載の情報処理装置。
  18. ローリングシャッター動作を行う前記撮像部をさらに備える
    請求項１に記載の情報処理装置。
  19. 撮像部と被写体との相対位置関係の変化を動き検出部で検出することと、
    前記動き検出部の検出結果に応じて前記撮像部におけるライン間引き動作の間引き量を間引き設定部で設定すること
    を備える情報処理方法。
  20. 撮像部の制御をコンピュータで実行させるプログラムであって、
    前記撮像部と被写体との相対位置関係の変化を検出する手順と、
    前記相対位置関係の変化に応じて前記撮像部のライン間引き動作の間引き量を設定する手順と
    を前記コンピュータで実行させるプログラム。
JP2020537392A 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム Active JP7409309B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018153171 2018-08-16
JP2018153171 2018-08-16
PCT/JP2019/028784 WO2020036043A1 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム

Publications (2)

Publication Number Publication Date
JPWO2020036043A1 true JPWO2020036043A1 (ja) 2021-09-24
JP7409309B2 JP7409309B2 (ja) 2024-01-09

Family

ID=69525391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537392A Active JP7409309B2 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム

Country Status (6)

Country Link
US (1) US11563905B2 (ja)
EP (1) EP3840359A4 (ja)
JP (1) JP7409309B2 (ja)
KR (1) KR102645368B1 (ja)
CN (1) CN112567726B (ja)
WO (1) WO2020036043A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137313A1 (ja) * 2018-12-28 2020-07-02
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP5281424B2 (ja) * 2008-03-18 2013-09-04 株式会社ゼンリン 路面標示地図生成方法
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP6358214B2 (ja) 2015-09-18 2018-07-18 株式会社ニコン 撮像装置
EP3451651B1 (en) 2016-04-27 2022-06-08 Sony Group Corporation Imaging control device, imaging control method, and imaging apparatus
JP6758950B2 (ja) * 2016-06-27 2020-09-23 キヤノン株式会社 撮像装置、その制御方法とプログラム
JP6740756B2 (ja) * 2016-07-04 2020-08-19 株式会社ニコン 撮像装置および自動車
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Also Published As

Publication number Publication date
JP7409309B2 (ja) 2024-01-09
WO2020036043A1 (ja) 2020-02-20
CN112567726A (zh) 2021-03-26
US20210227155A1 (en) 2021-07-22
KR102645368B1 (ko) 2024-03-11
KR20210043571A (ko) 2021-04-21
CN112567726B (zh) 2023-12-05
EP3840359A4 (en) 2021-12-15
EP3840359A1 (en) 2021-06-23
US11563905B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7188394B2 (ja) 画像処理装置及び画像処理方法
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR20210056336A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
JPWO2020129369A1 (ja) キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JPWO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20220277556A1 (en) Information processing device, information processing method, and program
CN114424265A (zh) 信号处理设备、信号处理方法、程序和移动设备
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US20220165066A1 (en) Information processing apparatus, information processing method, and program
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
US20220148283A1 (en) Information processing apparatus, information processing method, and program
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R151 Written notification of patent or utility model registration

Ref document number: 7409309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151