JP7140091B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム Download PDFInfo
- Publication number
- JP7140091B2 JP7140091B2 JP2019195549A JP2019195549A JP7140091B2 JP 7140091 B2 JP7140091 B2 JP 7140091B2 JP 2019195549 A JP2019195549 A JP 2019195549A JP 2019195549 A JP2019195549 A JP 2019195549A JP 7140091 B2 JP7140091 B2 JP 7140091B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reflected light
- resolution
- processing
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 254
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Description
この明細書による開示は、画像処理の技術に関する。
例えば特許文献1には、距離測定が可能な距離センサの一種として、LiDAR(Light Detection and Ranging)が開示されている。特許文献1に開示のLiDARは、走査ミラーを用いて照射光を走査し、周囲の物体によって反射された反射光を検出することで、当該物体までの距離を測定する。
距離センサでは、個々のセンシング点の間隔を狭くし、密なデータを取得できることが望ましい。しかし、特許文献1のような走査型のLiDARでは、特に走査方向と直交する方向について、例えば受光素子の配置に起因して、センシング点の間隔を狭めることが難しかった。その結果、密度の低い、言い換えれば、解像度の低い検出データしか取得できないおそれがあった。
本開示は、解像度の高い検出データを取得可能な画像処理装置等の提供を目的とする。
上記目的を達成するため、開示された一つの態様は、光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得する画像取得部(41)と、反射光画像及び背景光画像のうちの一方である第1画像を複数準備し、複数の第1画像に対してサブピクセルマッチング処理を行うマッチング処理部(43)と、反射光画像及び背景光画像のうちの他方である第2画像であって、サブピクセルマッチング処理の対象とされた第1画像にそれぞれ紐づく第2画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する超解像処理部(44)と、を備える画像処理装置とされる。
また開示された一つの態様は、少なくとも1つのプロセッサ(31)にて実行される処理に、光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得すること(S102,S112)、反射光画像及び背景光画像のうちの一方である第1画像を複数準備し、複数の第1画像に対してサブピクセルマッチング処理を行うこと(S103)、反射光画像及び背景光画像のうちの他方である第2画像であって、サブピクセルマッチング処理の対象とされた第1画像にそれぞれ紐づく第2画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第2画像に対する超解像処理を行い、高解像画像(IHR)を生成すること(S113~S118)、を含む画像処理方法とされる。
また開示された一つの態様は、少なくとも1つのプロセッサ(31)に、光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得し(S102,S112)、反射光画像及び背景光画像のうちの一方である第1画像を複数準備し、複数の第1画像に対してサブピクセルマッチング処理を行い(S103)、反射光画像及び背景光画像のうちの他方である第2画像であって、サブピクセルマッチング処理の対象とされた第1画像にそれぞれ紐づく第2画像を複数準備し、サブピクセルマッチング処理によって得られる位置合わせ情報を用いて複数の第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する(S113~S118)、ことを含む処理を実行させる画像処理プログラムとされる。
また開示された一つの態様は、光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像(ImL)を生成する測距センサ(10)と、反射光画像及び背景光画像のうちの一方である第1画像を複数準備し、複数の第1画像に対してサブピクセルマッチング処理を行うマッチング処理部(43)と、反射光画像及び背景光画像のうちの他方である第2画像であって、サブピクセルマッチング処理の対象とされた第1画像にそれぞれ紐づく第2画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する超解像処理部(44)と、を備える画像処理システムとされる。
これらの態様では、互いに紐づく反射光画像及び背景光画像のうちの一方に対してサブピクセルマッチング処理が行われ、超解像処理に必要な位置合わせ情報が準備される。そして、こうした位置合わせ情報を用いて、反射光画像及び背景光画像のうちの他方に対する超解像処理が実施され、高解像画像が生成される。以上のように、超解像処理の実施による高解像化によれば、解像度の高い検出データの取得が可能になる。
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
図1に示す本開示の1実施形態による画像処理ECU(Electronic Control Unit)30は、移動体としての車両Aにおいて用いられる。図1及び図2に示すように、画像処理ECU30は、測距センサ10等の自律センサと共にセンサパッケージ100を構成している。さらに、センサパッケージ100は、自動運転ECU50及び電源装置60等と共に自動運転システム110を構成可能である。
自動運転システム110は、例えばドライバーレスでの車両Aの自律走行を可能にするシステムパッケージである。自動運転システム110にて中核をなす自動運転ECU50は、プロセッサ、RAM(Random Access Memory)、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む高速演算装置である。
自動運転ECU50は、センサパッケージ100からの提供情報に基づき、車両Aの周囲の走行環境を認識する。加えて自動運転ECU50は、車載ネットワーク90から取得する車両情報に基づき、車両Aの走行状態を把握する。自動運転ECU50は、提供情報及び車両情報を参照し、車両Aの将来の走行経路を生成する。自動運転ECU50は、車両Aの走行系のECUと連携し、走行経路に沿って車両Aを自動走行させる。尚、自動運転システム110は、無人運転を可能にする完全な自動運転機能ではなく、運転者の運転支援を行う高度運転支援機能を提供可能なシステムであってもよい。
以上の自動運転システム110において、画像処理ECU30は、画像処理装置として、測距センサ10より出力されるセンサ画像ImSを処理する。こうした画像処理ECU30を含むことで、センサパッケージ100は、画像処理システムの機能を有する。以下、センサパッケージ100に含まれる測距センサ10及び画像処理ECU30の詳細を順に説明する。
測距センサ10は、一例として、SPAD(Single Photon Avalanche Diode) LiDARである。測距センサ10は、移動体である車両Aの前端部又は車両Aのルーフ等に配置されており、車両Aと一体的に移動する。測距センサ10の測定範囲は、例えば車両Aの周辺のうち少なくとも前方範囲を含むように設定されている。
測距センサ10は、発光部11、受光部12及び制御ユニット13等を含む構成である。発光部11は、光源から発光された光ビームを、可動光学部材(例えばポリゴンミラー)を用いて走査することにより、測定範囲へ向けて照射する。光源は、例えば半導体レーザ(Laser diode)であり、制御ユニット13からの電気信号に応じて、乗員及び外界の人間から視認不能な可視外領域(例えば、近赤外域)の光ビームを、パルス状に照射する。
受光部12は、集光レンズ及び受光素子12aを有している。集光レンズは、測定範囲内の物体によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子12aに入射させる。受光素子12aは、光電変換により光を電気信号に変換する素子である。受光素子12aは、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたCMOSセンサとされている。受光素子12aの各波長域に対する感度は、光学フィルタによって調整されてよい。受光素子12aは、1次元方向又は2次元方向にアレイ状に配列された複数の受光画素を有している。個々の受光画素は、SPADを用いた構成であり、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしている。
制御ユニット13は、発光部11及び受光部12を制御する。制御ユニット13は、例えば受光素子12aと共通の基板上に配置されている。制御ユニット13は、例えばマイクロコントローラ又はFPGA(Field-Programmable Gate Array)等の広義のプロセッサを主体に構成されている。制御ユニット13は、走査制御機能、反射光測定機能及び背景光測定機能を実現している。
走査制御機能は、発光部11による光ビームの走査を制御する機能である。制御ユニット13は、測距センサ10に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット13は、光ビームの照射に同期させて、可動光学部材を動作させる。
反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット13は、受光素子12aの出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット13は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間(Time of Flight)を測定する。
以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像ImRが生成される。制御ユニット13は、ローリングシャッター方式で反射光を測定し、反射光画像ImRを生成する。詳記すると、制御ユニット13は、例えば水平方向への光ビームの走査に合わせて、測定範囲に対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット13は、行毎に順次生成した画素情報を縦方向に合成し、1つの反射光画像ImRを生成する。
反射光画像ImRは、発光部11からの光照射に応じた反射光を受光素子12aが検出(感知)することにより得られる距離情報を含む画像データである。反射光画像ImRの各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、言い換えれば、測距センサ10から測定範囲にある物体の反射点までの距離を示す距離値である。加えて反射光画像ImRの各画素には、反射光の強度を示す値が含まれている。即ち、反射光画像ImRは、反射光の輝度分布を表す画像データとなる。
背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲から受光素子12aへ入射する入射光を意味する。入射光には、自然光、外界の表示等から入射する表示光等が含まれる。制御ユニット13は、反射光画像ImRと同様に、ローリングシャッター方式で背景光を測定し、背景光画像ImLを生成する。背景光画像ImLは、光照射前での背景光の輝度分布を表す画像データであり、反射光画像ImRと同一の受光素子12aにより検出される背景光の輝度情報を含んでいる。即ち、背景光画像ImLにおいて2次元状に並ぶ各画素の値は、測定範囲の対応する箇所における背景光の強度を示す輝度値である。
反射光画像ImR及び背景光画像ImLは、共通の受光素子12aにより感知され、当該受光素子12aを含む共通の光学系から取得される。故に、反射光画像ImRの座標系と背景光画像ImLの座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像ImRと背景光画像ImLとの間にて、測定タイミングのずれも殆どない(例えば1ns未満)。故に、連続的に取得された一組の反射光画像ImRと背景光画像ImLとは、同期もとれているとみなし得る。加えて、反射光画像ImR及び背景光画像ImLは、個々の画素同士の対応を一義的に取ることが可能となっている。反射光画像ImR及び背景光画像ImLは、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の3チャンネルのデータを含む一体的な画像データとして、画像処理ECU30へ逐次出力される。尚、互いに紐づく反射光画像ImR及び背景光画像ImLは、以下の説明において、「センサ画像ImS」と記載することがある。
画像処理ECU30は、処理部31、RAM32、記憶部33、入出力インターフェース34及びこれらを接続するバス等を備えた演算回路を主体として含む電子制御装置である。処理部31は、RAM32と結合された演算処理のためのハードウェアである。処理部31は、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA等の演算コアを少なくとも1つ含んでいる。処理部31は、他の専用機能を備えたIPコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたASIC(Application Specific Integrated Circuit)であってよい。処理部31は、RAM32へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部33は、不揮発性の記憶媒体を含む構成である。記憶部33には、処理部31によって実行される種々のプログラム(画像処理プログラム等)が格納されている。
画像処理ECU30は、測距センサ10の画像情報を処理し、いわゆる複数フレーム超解像技術を用いて、測距センサ10から入力される入力画像よりも解像度の高い出力画像、即ち高解像画像を生成する。画像処理ECU30は、記憶部33に記憶された画像処理プログラムを処理部31によって実行し、画像取得部41、車両情報取得部42、マッチング処理部43、超解像処理部44、及び出力部45等の機能部を備える。これら機能部のうちで、マッチング処理部43、超解像処理部44及び超解像処理部44は、画像処理を実行する画像処理ブロックである。
画像取得部41は、反射光画像ImR及び背景光画像ImLを互いに紐付けて、測距センサ10より取得する。反射光画像ImR及び背景光画像ImLは共に、車両Aに設けられた受光素子12aの検出に基づく画像データである。画像取得部41は、画像データのバッファ機能を有しており、反射光画像ImR及び背景光画像ImLのそれぞれについて、数フレーム分の画像データを一時的に記憶可能である。画像取得部41は、マッチング処理部43及び超解像処理部44にて必要とされるフレーム分のセンサ画像ImSを、逐次提供可能である。一例として、画像取得部41は、最新(例えば、時刻t+1)の反射光画像ImR及び背景光画像ImLに加えて、1フレーム前(例えば、時刻t)の反射光画像ImR及び背景光画像ImLを、マッチング処理部43及び超解像処理部44に提供する。
車両情報取得部42は、車載ネットワーク90に出力された車両情報を、自動運転ECU50を介して取得する。車両情報取得部42は、例えば車速等の車両Aの移動状態を特定する車両情報を取得する。車両情報取得部42は、車両Aの移動状態に適した画像処理が実施されているように、画像取得部41、マッチング処理部43及び超解像処理部44に、取得した車両情報を逐次提供する。
図1~図4に示すマッチング処理部43は、反射光画像ImR及び背景光画像ImLのうちの一方である第1画像を複数準備し、複数の第1画像に対してサブピクセルマッチング処理を実施する。サブピクセルマッチング処理は、フレーム間の対応付けを行う処理である。本実施形態では、背景光画像ImLが第1画像とされる。マッチング処理部43は、時系列に連続する複数フレームの背景光画像ImL(時刻t,t+1,t+2・・・)を重ね合わせた場合に、個々の背景光画像ImLに共通して写る被写対象POをぴったり一致させることが可能な位置合わせ情報を生成する。
具体的に、マッチング処理部43は、位置合わせ情報として、変形量(m)を算出する。こうした変形量(m)は、言い換えれば、画像を重ね合わせる際のずれを補正するための移動量である。変形量(m)は、一般的にホモグラフィー行列と呼ばれる形式で与えられる。ホモグラフィー行列は、3×3の画像変換行列であり、画像の回転、平行移動、拡大縮小などの変換を行うことができる。一例として、時刻tの背景光画像ImLを基準とする場合、マッチング処理部43は、時刻t+1,t+2の各背景光画像ImLを時刻tの背景光画像ImLに一致させる2つの変形量(m1),(m2)を算出する(図3参照)。
マッチング処理部43は、複数の背景光画像ImLにおける個々の画素の輝度値の差分から、変形量(m)を推定する。マッチング処理部43は、ブロックマッチング等を用いて、各画素の輝度値の差分の二乗和が最小となるように、画素単位での変形量(整数値)をまず求める。次に、マッチング処理部43は、上記の変形量の整数値を前提とした範囲で、関数近似を利用して、背景光画像ImLの1画素の単位よりも小さい小数点精度での変形量を算出する。マッチング処理部43は、パラボラフィッティング又は等角直線フィッティング等を用いて、サブピクセルオーダーの変形量を取得する。
超解像処理部44は、反射光画像ImR及び背景光画像ImLのうちの他方である第2画像であって、サブピクセルマッチング処理の対象とされた第1画像にそれぞれ紐づく第2画像を複数準備する。本実施形態では、反射光画像ImRが第2画像とされ、サブピクセルマッチング処理の対象とされた背景光画像ImLと同時刻に撮影された反射光画像ImRが準備される。超解像処理部44は、背景光画像ImLのサブピクセルマッチング処理にて得られた変形量(m)を用いて、複数の反射光画像ImRに対する超解像処理を行い、反射光画像ImRの高解像画像(以下、「高解像反射光画像IHR」)を生成する。
超解像処理部44は、再構成法による超解像処理を実施する。超解像処理部44は、特定(時刻t)の反射光画像ImRを、バイキュービック法等の補間技術を用いてアップコンバートし、仮の高解像反射光画像IHRを生成する。次に、超解像処理部44は、高解像反射光画像IHRへの関数の適用により、高解像反射光画像IHRを反射光画像ImRと同じ解像度までダウンコンバートした第1比較画像ImE1及び第2比較画像ImE2を生成する。
第1比較画像ImE1は、時刻tに撮影された反射光画像ImRと比較される画像である。第1比較画像ImE1は、仮の高解像反射光画像IHRを縮小してなる。第2比較画像ImE2は、時刻t+1に撮影された反射光画像ImRと比較される画像である。第2比較画像ImE2は、高解像反射光画像IHRを縮小しつつ、サブピクセルマッチング処理にて得られた変形量(m)を適用することにより生成される。
以上のように、仮の高解像反射光画像IHRから各比較画像ImE1,ImE2を生成する処理は、実際の被写対象POを受光素子12aで撮影する行程を数学的にシミュレートする内容である。そのため、高解像反射光画像IHRに適用される関数には、測距センサ10の撮影時に反射光画像ImRに生じるぼけ方の態様を反映させるPSF(Point Spread Function)関数が含まれる。
詳記すると、反射光画像ImRのぼけ方の態様は、発光部11から照射される光ビームの広がり形状に関連している。光ビームの広がりが大きければ、特定画素にて検出されるべき光が、その周囲の多数の画素よっても検出されるようになり、反射光画像ImRのぼけが増加する。反対に、光ビームの広がりが小さければ、反射光画像ImRのぼけも減少する。こうした測距センサ10の構造的な光学特性を超解像処理に忠実に反映させるため、超解像処理部44は、光ビームの広がり形状を示すビーム形状情報を用いて、高解像反射光画像IHRに適用するPSF関数を決定する。ビーム形状情報は、測距センサ10から提供される情報であってもよく、記憶部33から読み出される情報であってもよい。
超解像処理部44は、数学的に生成した第1比較画像ImE1及び第2比較画像ImE2と、実際の各反射光画像ImRとの誤差を算出する。超解像処理部44は、画像間で生じている誤差を補償するように、仮設定した高解像反射光画像IHRの距離値を更新するための更新量を算出する。超解像処理部44は、算出した更新量を現在の高解像反射光画像IHRに適用し、高解像反射光画像IHRを正しい状態に近づけていく。超解像処理部44は、誤差計算と高解像反射光画像IHRの更新とを複数回(数回~数十回)繰り返すことにより、高解像反射光画像IHRを完成させる。超解像処理部44は、生成した高解像反射光画像IHRを、出力部45に提供する。
ここまで説明した超解像処理は、以下の数式(1)を最小化する演算によって実施可能である。
上記の数式(1)において、fは、処理中の高解像反射光画像IHRである。gは、上述のPSF関数である。Dは、縮小変形関数であって、サブピクセルマッチング処置にて得られた変形量に基づく関数である。d_spad(t)は、時刻tにおける反射光画像ImRの距離値である。Eは、画像のエッジを抽出する関数であり、一例としてラプラシアンフィルタ等が用いられる。ラプラシアンフィルタは、画像中の平坦部における距離値を一定に保つ効果を発揮する。αは、拘束パラメータである。
出力部45は、超解像処理部44にて生成された高解像反射光画像IHRを用いて、自動運転ECU50への提供情報を生成する。具体的に、出力部45は、高解像反射光画像IHRから特定する被写対象POまでの距離及び被写対象POのサイズ等の情報を、自動運転ECU50へ向けて逐次出力可能である。
さらに、画像取得部41、マッチング処理部43及び超解像処理部44は、車両Aの移動状態を示す車両情報(移動体情報)に基づき、サブピクセルマッチング処理及び超解像処理の内容を変更する。こうした制御により、画像処理ECU30より出力される提供情報の遅延及び精度が、車両Aの走行状態に最適化される。
具体的に、車両Aの走行速度が閾値を超えている場合、マッチング処理部43及び超解像処理部44は、それぞれサブピクセルマッチング処理及び超解像処理を一時的に中断する。この場合、出力部45には、高解像反射光画像IHRに替えて、最新の反射光画像ImRがそのまま提供される。以上によれば、車両Aが高速で走行しているシーン等では、自動運転ECU50への提供情報の遅延が最小限に抑えられる。
さらに、超解像処理部44は、車両情報に基づき、超解像処理における繰り返し演算の繰り返し回数を変更する。具体的に、超解像処理部44は、車両Aの走行速度が高くなるほど、繰り返し演算の回数を少なくする。その結果、自動運転ECU50への提供情報に生じる遅延は、走行速度が高くなるに従って、段階的に低減される。反対に、超解像処理部44は、車両Aの走行速度が低くなるほど、繰り返し演算の回数を多くする。その結果、提供情報の精度は、走行速度が低くなるに従って、段階的に向上する。
また、マッチング処理部43及び超解像処理部44は、サブピクセルマッチング処理及び超解像処理に用いる各画像のフレーム数を、車両情報に基づき変更する。具体的に、車両Aの走行速度が高くなるほど、処理対象とされる画像フレーム数は、少なくされる。その結果、提供情報に生じる遅延も、走行速度が高くなるに従って、段階的に低減される。反対に、車両Aの走行速度が低くなるほど、処理対象とされる画像フレーム数は、多くされる。その結果、提供情報の精度は、走行速度が低くなるに従って、段階的に向上する。
次に、ここまで説明したサブピクセルマッチング処理及び超解像処理を実現する画像処理方法の詳細を、図5に示すフローチャートに基づき、図1~図4を参照しつつ、以下説明する。図5に示す画像処理は、自動運転システム110の起動後、初期処理等を完了させた画像処理ECU30によって開始される。画像処理ECU30は、自動運転システム110の停止まで、図5に示すフローチャートの各ステップを繰り返し実施する。図5に示す各ステップのうち、S101~S103はマッチング処理部43にて実施され、S111~S120は超解像処理部44にて実施される。
マッチング処理部43は、S101にて、車両情報取得部42にて取得される車両情報に基づき、サブピクセルマッチング処理の実施内容を設定し、S102に進む。同様に、超解像処理部44は、S111にて、車両情報取得部42にて取得される車両情報に基づき、超解像処理の実施内容を設定し、S112に進む。
ここで、S101及びS111にて設定される各処理の実施内容は、互いに拘束されており、別々の内容にはならない。S101及びS111では、具体的に、各処理の実施の有無及び各処理にて対象とする画像フレームの数を、一体的に決定する。加えて、S111では、超解像処理における反復演算の繰り返し回数を決定する。尚、車両情報に基づきサブピクセルマッチング処理及び超解像処理を不実施とした場合、マッチング処理部43及び超解像処理部44は、S101及びS111をそれぞれ繰り返し、各処理の開始を待機する。
マッチング処理部43は、S102にて、画像取得部41と連携し、複数フレーム分の背景光画像ImLを準備して、S103に進む。同様に、超解像処理部44は、S112にて、画像取得部41と連携し、複数フレーム分の反射光画像ImRを準備して、S113に進む。S102及びS112では、同一時刻に撮影された背景光画像ImL及び反射光画像ImRが、S101及びS111にて設定されたフレーム数だけ準備される。
マッチング処理部43は、S103にて、複数の背景光画像ImLに対するサブピクセルマッチング処理を行い、フレーム数に応じた数の変形量(m)を生成する。変形量(m)は、処理対象である複数の背景光画像ImLのうちで、最も過去(例えば、時刻t)に撮影された背景光画像ImLを基準とした値とされる。マッチング処理部43は、位置合わせ情報として生成した変形量(m)を超解像処理部44に提供し(S116参照)、S101に戻る。
一方、超解像処理部44は、S113にて、サブピクセルマッチング処理にて基準とされる背景光画像ImLと同時刻(時刻t)の反射光画像ImRをアップコンバートする。S113では、入力された反射光画像ImRよりも高解像度な初期の高解像反射光画像IHRを準備して、S114及びS116に進む。S114では、高解像反射光画像IHRをダウンコンバートして、第1比較画像ImE1を生成し、S115に進む。S114の縮小処理には、ビーム形状情報が使用される。S115では、第1比較画像ImE1と時刻tの反射光画像ImRとを比較し、これらの画像間に生じた距離値の誤差を計算して、S118に進む。
S116では、S114の処理と併行し、高解像反射光画像IHRをダウンコンバートして、第2比較画像ImE2を生成し、S117に進む。S116では、縮小処理に加えて、変形処理も実施する。S116の変形処理には、S103にて算出される変形量(m)が使用される。S117では、第2比較画像ImE2と時刻t+1の反射光画像ImRとを比較し、これらの画像間に生じた距離値の誤差を計算して、S118に進む。
S118では、S115及びS117にて算出された各誤差を用いて、現在の高解像反射光画像IHRに適用する更新量を算出する。S118では、算出した更新量を高解像反射光画像IHRに反映し、S119に進む。
S119では、反復演算の繰り返し回数がS111にて設定した規定回数に到達したか否かを判定する。S119にて、設定済みの繰り返し回数に未達である判定した場合、S114及びS116に戻り、高解像反射光画像IHRを更新し、高画質化する処理を継続する。一方で、S119にて、設定済みの繰り返し回数に到達したと判定した場合、S120に進む。S120では、直前のS118で更新量を反映した高解像反射光画像IHRを、超解像処理による出力画像として出力部45に提供し、S111に戻る。
ここまで説明した本実施形態では、互いに紐づく反射光画像ImR及び背景光画像ImLのうちの一方に対してサブピクセルマッチング処理が行われ、超解像処理に必要な位置合わせ情報が準備される。そして、こうした位置合わせ情報を用いて、反射光画像ImR及び背景光画像ImLのうちの他方に対する超解像処理が実施され、高解像反射光画像IHR等が生成される。以上のように、超解像処理の実施による高解像化によれば、解像度の高い検出データの取得が可能になる。
加えて本実施形態では、複数の背景光画像ImLに対してサブピクセルマッチング処理が実施され、その位置合わせ情報を用いた高解像処理により、反射光画像ImRが高解像化される。輝度情報を含む背景光画像ImLには、例えば物体表面のテクスチャの状態が記録されている。故に、背景光画像ImLは、反射光画像ImRよりもサブピクセルマッチングにて得られる位置合わせ情報の精度が確保され易い。そのため、複数の背景光画像ImLから取得する位置合わせ情報を用いた超解像処理では、単に複数の反射光画像ImRを用いた超解像処理と比較して、復元される高解像反射光画像IHRの高画質化が可能になる。
ここで一般に、走査型のLiDARによる検出データでは、ある位置のセンシング点と、その次のセンシング点との間に隙間が空き易く、密な検出データの取得は困難となる。特に、走査方向と直交する方向は、光源及び受光素子12aの配置によってセンシング点の間隔が決定されるため、解像度は、いっそう低くなり易い。
しかし、本実施形態の画像処理ECU30は、走査型の測距センサ10にて撮影された複数の背景光画像ImL間でサブピクセルマッチング処理を行い、各画像間での対応関係を計算することで、反射光画像ImRへの超解像処理の適用を可能にしている。以上のように、ソフトウェア的に解像度を向上させる処理は、ハードウェア的な制約で高解像化が困難な走査型の測距センサ10の検出データに適用されることで、当該検出データの有益性を顕著に高めることができる。
さらに本実施形態では、発光部11より照射される光ビームの広がり形状を示すビーム形状情報が、超解像処理にて用いられる。具体的には、仮設定した高解像反射光画像IHRから第1比較画像ImE1及び第2比較画像ImE2を生成する際に、ビーム形状情報が用いられる。以上によれば、測距センサ10固有のハードウェア情報が超解像処理に有効に利用される。したがって、超解像処理部44は、繰り返し演算を通じて、高解像反射光画像IHRの正確性を効率的に高めていくことができる。
加えて本実施形態のマッチング処理部43及び超解像処理部44は、車両Aの移動の状態を示す車両情報に基づき、サブピクセルマッチング処理及び超解像処理の各内容を変更する。画像処理ECU30の演算処理能力には上限があるため、高解像反射光画像IHRに基づく提供情報では、遅延及び精度が互いにトレードオフとなる。故に、車両Aの移動状態に応じて各処理の内容を変更すれば、画像処理ECU30は、提供情報の遅延及び精度を、各移動状態で許容され得る範囲内に適切に調整することができる。
また本実施形態のマッチング処理部43及び超解像処理部44は、車両情報に基づき、それぞれサブピクセルマッチング処理及び超解像処理を中断できる。以上によれば、例えば高速で走行するシーンのように低遅延が要求される場合にて、画像処理ECU30は、測距センサ10による最新の検出データを迅速に自動運転ECU50等に提供できる。
さらに本実施形態の超解像処理部44は、車両情報に基づき、超解像処理における繰り返し演算の繰り返し回数を変更できる。加えて本実施形態のマッチング処理部43及び超解像処理部44は、サブピクセルマッチング処理及び超解像処理に用いる各画像のフレーム数を、車両情報に基づき変更できる。こうした制御によれば、例えば市街地を走行している場合等、比較的遅延が許容され得るシーンにおいて、画像処理ECU30は、高画質な高解像反射光画像IHRに基づく精度の高い提供情報を、自動運転ECU50等に提供できる。その結果、自動運転ECU50は、歩行者等の検出サイズの小さい周辺物体を適確に認識可能となる。一方で、車両Aが比較的高速で走行するシーンにて、画像処理ECU30は、提供情報の遅延量と精度とをバランスさせることができる。以上によれば、画像処理ECU30は、演算処理能力に制限があったとしても、自動運転ECU50の制御に好適な情報の提供を継続できる。
尚、上記実施形態では、処理部31が「プロセッサ」に相当し、画像処理ECU30が「画像処理装置」に相当し、センサパッケージ100が「画像処理システム」に相当する。また、背景光画像ImLが「第1画像」に相当し、反射光画像ImRが「第2画像」に相当し、高解像反射光画像IHRが「高解像画像」に相当する。さらに、車両Aが「移動体」に相当し、車両情報が「移動体情報」に相当する。
<他の実施形態>
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態の変形例1のマッチング処理部43は、複数の反射光画像ImRに対してサブピクセルマッチング処理を実施する。そして、超解像処理部44は、反射光画像ImRのサブピクセルマッチング処理にて得られる位置合わせ情報を用いた超解像処理により、背景光画像ImLの高解像画像(高解像背景光画像)を生成する。こうした変形例1では、例えば暗所で撮影された輝度変化の少ない背景光画像ImLを、反射光画像ImRから抽出した位置合わせ情報を用いて、高解像化可能である。
以上の変形例1のように、背景光画像ImLに対して超解像処理を行う場合、超解像処理部44は、仮の高解像背景光画像から第1,第2比較画像を生成するダウンコンバートの処理にて、上述のPSF関数を使用しない。超解像処理部44は、PSF関数をとは異なる関数を用いて、撮影時の背景光画像ImLのぼけやにじみを再現した第1,第2比較画像を生成する。
上記実施形態の変形例2では、車両情報に基づく超解像処理等の内容変更の詳細が異なっている。変形例2の画像処理ECU30は、超解像処理の中断、繰り返し演算の回数の変更、及び超解像処理に用いる画像のフレーム数変更のうちで、1つ又は2つのみを実施する。尚、車両情報に基づく超解像処理等の内容変更は、実施されなくてもよい。また、車両情報は、車速に限定されず、適宜変更されてよい。
上記実施形態の変形例3では、例えば倉庫等で使用される資材運搬用の自走式ロボットに測距センサ10が搭載されている。こうした変形例3のように、測距センサ10を搭載する移動体は、車両に限定されない。さらに、変形例4の測距センサ10は、非移動体である静止構造物に設置されており、予め決定された測定範囲の画像データを出力する。以上のような変形例3,4でも、画像処理ECU30は、測距センサ10より出力される反射光画像ImR又は背景光画像ImLを高解像化可能である。
上記実施形態の変形例5の測距センサ10は、ポリゴンミラー等の可動光学部材を備えない非走査側のライダ装置である。こうしたライダ装置では、反射光画像ImR及び背景光画像ImLは、グローバルシャッター方式で撮像されてもよい。さらに、測距センサ10にて撮影される反射光画像ImR及び背景光画像ImLのフレームレート及び解像度は、適宜変更されてよい。加えて、反射光画像ImR及び背景光画像ImLの解像度に関連して、超解像処理により生成される高解像反射光画像IHRの解像度も、適宜変更されてよい。
上記実施形態の変形例6において、測距センサ10は、例えば外界カメラと一体型とされたセンサユニットを構成している。また変形例7では、測距センサ10及び画像処理ECU30を一体型とした、センサパッケージユニットが構成されている。さらに、変形例8では、画像処理ECU30及び自動運転ECU50の各機能が、1つの統合制御ECUに纏めて実装されている。また変形例9では、サブピクセルマッチング処理及び超解像処理の少なくとも一部が、ネットワーク上に設けられたコンピュータによって実行される。こうした変形例9では、超解像処理によって生成された高解像反射光画像IHRが、ネットワークを通じて、車両Aの自動運転ECU50に提供される。
上記実施形態の変形例10では、複数の測距センサ10が画像処理ECU30に画像データを逐次出力する。画像処理ECU30は、個々の測距センサ10の画像データに対して、個別に超解像処理等を実行する。測距センサ10の測定範囲は、車両Aの前方範囲に限定されず、側方範囲や後方範囲であってもよい。
上記実施形態の変形例11では、測距センサ10に加えて、例えばカメラ装置、レーダ装置及びソナー装置等の自律センサが画像処理ECU30に電気的に接続されている。画像処理ECU30の出力部45は、超解像処理部44によって生成された高解像反射光画像IHRを、各自律センサの検出データと融合させて、走行環境認識のための提供情報を生成可能である。
上記実施形態において、画像処理ECU30により提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
さらに、上記の画像処理方法を実現可能な画像処理プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ECU30の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ECU30のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウェア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
10 測距センサ、12a 受光素子、30 画像処理ECU(画像処理装置)、31 処理部(プロセッサ)、41 画像取得部、43 マッチング処理部、44 超解像処理部、100 センサパッケージ(画像処理システム)、A 車両(移動体)、ImL 背景光画像、ImR 反射光画像、IHR 高解像反射光画像(高解像画像)
Claims (8)
- 光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得する画像取得部(41)と、
前記反射光画像及び前記背景光画像のうちの一方である第1画像を複数準備し、複数の前記第1画像に対してサブピクセルマッチング処理を行うマッチング処理部(43)と、
前記反射光画像及び前記背景光画像のうちの他方である第2画像であって、前記サブピクセルマッチング処理の対象とされた前記第1画像にそれぞれ紐づく前記第2画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する超解像処理部(44)と、
を備える画像処理装置。 - 前記マッチング処理部は、複数の前記背景光画像に対して前記サブピクセルマッチング処理を実施し、
前記超解像処理部は、前記背景光画像の前記サブピクセルマッチング処理にて得られる前記位置合わせ情報を用いた前記超解像処理により、前記反射光画像の前記高解像画像を生成する請求項1に記載の画像処理装置。 - 前記超解像処理部は、
前記受光素子にて前記反射光として検出される光ビームの広がり形状を示すビーム形状情報を前記超解像処理に用いて、前記高解像画像を生成する請求項2に記載の画像処理装置。 - 前記画像取得部は、移動体(A)に設けられる前記受光素子の検出に基づく前記反射光画像及び前記背景光画像を取得し、
前記超解像処理部は、前記移動体の状態を示す移動体情報に基づき、前記超解像処理の内容を変更する請求項1~3のいずれか一項に記載の画像処理装置。 - 前記超解像処理部は、
前記超解像処理を中断すること、
前記超解像処理における繰り返し演算の回数を変更すること、
前記超解像処理に用いる前記第1画像の数を変更すること、
の少なくとも1つを、前記移動体情報に基づき実施する請求項4に記載の画像処理装置。 - 少なくとも1つのプロセッサ(31)にて実行される処理に、
光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得すること(S102,S112)、
前記反射光画像及び前記背景光画像のうちの一方である第1画像を複数準備し、複数の前記第1画像に対してサブピクセルマッチング処理を行うこと(S103)、
前記反射光画像及び前記背景光画像のうちの他方である第2画像であって、前記サブピクセルマッチング処理の対象とされた前記第1画像にそれぞれ紐づく前記第2画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第2画像に対する超解像処理を行い、高解像画像(IHR)を生成すること(S113~S118)、
を含む画像処理方法。 - 少なくとも1つのプロセッサ(31)に、
光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像(ImL)を、互いに紐づけて取得し(S102,S112)、
前記反射光画像及び前記背景光画像のうちの一方である第1画像を複数準備し、複数の前記第1画像に対してサブピクセルマッチング処理を行い(S103)、
前記反射光画像及び前記背景光画像のうちの他方である第2画像であって、前記サブピクセルマッチング処理の対象とされた前記第1画像にそれぞれ紐づく前記第2画像を複数準備し、前記サブピクセルマッチング処理によって得られる位置合わせ情報を用いて複数の前記第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する(S113~S118)、
ことを含む処理を実行させる画像処理プログラム。 - 光照射に応じた反射光を受光素子(12a)が検出することにより得られる距離情報を含む反射光画像(ImR)、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像(ImL)を生成する測距センサ(10)と、
前記反射光画像及び前記背景光画像のうちの一方である第1画像を複数準備し、複数の前記第1画像に対してサブピクセルマッチング処理を行うマッチング処理部(43)と、
前記反射光画像及び前記背景光画像のうちの他方である第2画像であって、前記サブピクセルマッチング処理の対象とされた前記第1画像にそれぞれ紐づく前記第2画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第2画像に対する超解像処理を行い、高解像画像(IHR)を生成する超解像処理部(44)と、
を備える画像処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195549A JP7140091B2 (ja) | 2019-10-28 | 2019-10-28 | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
CN202080074520.0A CN114600150A (zh) | 2019-10-28 | 2020-09-01 | 图像处理装置、图像处理方法、图像处理程序以及图像处理系统 |
PCT/JP2020/033069 WO2021084892A1 (ja) | 2019-10-28 | 2020-09-01 | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
US17/660,582 US20220245766A1 (en) | 2019-10-28 | 2022-04-25 | Image processing device, image processing method, image processing program, and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195549A JP7140091B2 (ja) | 2019-10-28 | 2019-10-28 | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068389A JP2021068389A (ja) | 2021-04-30 |
JP7140091B2 true JP7140091B2 (ja) | 2022-09-21 |
Family
ID=75638718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019195549A Active JP7140091B2 (ja) | 2019-10-28 | 2019-10-28 | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220245766A1 (ja) |
JP (1) | JP7140091B2 (ja) |
CN (1) | CN114600150A (ja) |
WO (1) | WO2021084892A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016516977A (ja) | 2013-02-21 | 2016-06-09 | アイシス・イノベーション・リミテッドIsis Innovation Limited | 環境の3dモデルの生成 |
JP2017223648A (ja) | 2016-03-16 | 2017-12-21 | アナログ ディヴァイスィズ インク | 飛行時間型深度イメージングの際の消費電力の低減 |
US20180232947A1 (en) | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
-
2019
- 2019-10-28 JP JP2019195549A patent/JP7140091B2/ja active Active
-
2020
- 2020-09-01 WO PCT/JP2020/033069 patent/WO2021084892A1/ja active Application Filing
- 2020-09-01 CN CN202080074520.0A patent/CN114600150A/zh active Pending
-
2022
- 2022-04-25 US US17/660,582 patent/US20220245766A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016516977A (ja) | 2013-02-21 | 2016-06-09 | アイシス・イノベーション・リミテッドIsis Innovation Limited | 環境の3dモデルの生成 |
JP2017223648A (ja) | 2016-03-16 | 2017-12-21 | アナログ ディヴァイスィズ インク | 飛行時間型深度イメージングの際の消費電力の低減 |
US20180232947A1 (en) | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
Non-Patent Citations (1)
Title |
---|
寒澤佑介 外 3 名,"動画像のフレーム合成による低解像度車両認識技術に関する研究",電気学会論文誌 C,日本,(社)電気学会 The Institute of Electrical Engine,2008年07月01日,Volume 128, Number 7,Pages 1096-1101,DOI:10.1541/ieejeiss.128.1096 |
Also Published As
Publication number | Publication date |
---|---|
JP2021068389A (ja) | 2021-04-30 |
US20220245766A1 (en) | 2022-08-04 |
WO2021084892A1 (ja) | 2021-05-06 |
CN114600150A (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3438776B1 (en) | Method, apparatus and computer program for a vehicle | |
CN108020825B (zh) | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 | |
CN111742241B (zh) | 光测距装置 | |
EP3015882B1 (en) | Distance measuring device | |
EP3293698B1 (en) | Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein | |
US10228452B2 (en) | Method of error correction for 3D imaging device | |
TWI624170B (zh) | 影像掃描系統及其方法 | |
US10255682B2 (en) | Image detection system using differences in illumination conditions | |
US20140253679A1 (en) | Depth measurement quality enhancement | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
CN104729422A (zh) | 用于校正激光测量装置的方法及其系统 | |
US20160275359A1 (en) | Information processing apparatus, information processing method, and computer readable medium storing a program | |
US10721455B2 (en) | Three dimensional outline information sensing system and sensing method | |
JP2008249431A (ja) | 3次元画像補正方法及びその装置 | |
JPWO2017038659A1 (ja) | 運動検出装置及びそれを用いた三次元形状測定装置 | |
JP2014130086A (ja) | 距離画像センサ、処理装置、プログラム | |
JP7140091B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム | |
JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
JP7206855B2 (ja) | 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法 | |
US20220244394A1 (en) | Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system | |
JP6369897B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
US11736816B2 (en) | Image sensor circuitry for reducing effects of laser speckles | |
JP7259660B2 (ja) | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム | |
CN110751731B (zh) | 一种用于结构光的3d重建方法和系统 | |
JP6299319B2 (ja) | 自己位置算出装置及び自己位置算出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |