WO2020090330A1 - 画像処理装置、カメラ、移動体および画像処理方法 - Google Patents
画像処理装置、カメラ、移動体および画像処理方法 Download PDFInfo
- Publication number
- WO2020090330A1 WO2020090330A1 PCT/JP2019/038806 JP2019038806W WO2020090330A1 WO 2020090330 A1 WO2020090330 A1 WO 2020090330A1 JP 2019038806 W JP2019038806 W JP 2019038806W WO 2020090330 A1 WO2020090330 A1 WO 2020090330A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- singular value
- value decomposition
- low rank
- rank approximation
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 95
- 239000011159 matrix material Substances 0.000 claims description 71
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 36
- 238000007906 compression Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000010426 asphalt Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Definitions
- the imaging unit 11 is an in-vehicle camera mounted on the moving body 1.
- the imaging unit 11 acquires an image obtained by imaging the periphery of the moving body 1.
- a plurality of imaging units 11 may be mounted on the moving body 1. For example, when four vehicle-mounted cameras are mounted on the moving body 1, for example, a position where a peripheral region in front of the moving body 1 and at least a part of a front side surface of the moving body 1 can be photographed, Of the rear side of the mobile body 1 and at least a part of the rear side surface of the mobile body 1, a peripheral area on the left side of the mobile body 1, and at least a part of the left side surface of the mobile body 1 can be captured.
- A is a left singular value matrix that is an m ⁇ m orthogonal matrix
- B is an m ⁇ n diagonal matrix
- C is a right singular value that is an n ⁇ n orthogonal matrix. It is a matrix.
- the diagonal matrix B (first diagonal matrix) is a matrix in which the diagonal component has a positive value or 0 and the non-diagonal component has 0.
- the diagonal components of the diagonal matrix B are arranged in descending order from the largest value. Of the diagonal elements of the diagonal matrix B, the number of non-zero elements is called rank k.
- FIG. 4F shows an original captured image when a vehicle is present 1 m behind and an image in which the compression rate of the feature amount obtained by low rank approximation by singular value decomposition is 80% for the captured image. There is.
- An image in which the compression ratio of the feature amount is 80% has a rank of 174 in the width direction and a rank of 158 in the height direction.
- the matrix corresponding to the original captured image has a size of W (width): 1280 ⁇ H (height): 960 ⁇ C (color): 3 (R, G, B). Is a matrix in which a value is assigned to each element of the three-dimensional matrix of.
- the matrix corresponding to the image in which the compression rate of the feature amount is 80% shown in FIGS. 4A to 4F and FIGS. 5 to 5F is conceptually the matrix whose size corresponds to the original captured image. Is a sparse matrix in which only the elements of W: 180 ⁇ H: 160 ⁇ C: 3 have values and the other elements are 0.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
画像処理装置１０は、画像を取得するインターフェイス１２と、取得された画像である取得画像に対して特異値分解による低ランク近似を行い、特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサ１３とを備える。
Description
本出願は、２０１８年１０月２９日に日本国に特許出願された特願２０１８－２０３１９３の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本開示は、画像処理装置、カメラ、移動体および画像処理方法に関する。
特許文献１には、機械学習により生成されたモデルを用いて、撮影画像から注目物体を検出する技術が開示されている。
一態様の画像処理装置は、画像を取得するインターフェイスと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
一態様のカメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された画像を取得するインターフェイスと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
一態様の移動体は、前記移動体の周辺を撮像するカメラを備え、前記カメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された画像を取得するインターフェイスと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
一態様の画像処理方法は、画像処理装置における画像処理方法であって、
画像を取得するステップと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に基づき物体認識を行うステップと、を含む。
画像を取得するステップと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に基づき物体認識を行うステップと、を含む。
画像に含まれる物体の物体認識を行う場合、物体認識の精度低下を抑制しつつ、処理負荷を低減することが有益である。本開示の一態様によれば、物体認識の精度低下を抑制しつつ、処理負荷を低減することができる。
以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は
、同一または同等の構成要素を示している。
、同一または同等の構成要素を示している。
図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、画像に含まれる物体を認識する物体認識を行う。画像処理装置１０は、例えば、図１に示すように、移動体１に搭載される。画像処理装置１０が移動体１に搭載される場合、画像処理装置１０は、移動体１の周辺を撮像した画像に対して、その画像に含まれる人、他の移動体などの物体の物体認識を行う。以下では、画像処理装置１０は、移動体１に搭載されるものとして説明する。
本開示における移動体１は、例えば、車両である。車両には、自動車および産業車両を含むが、これに限られず、鉄道車両、生活車両、および、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
図１に示す画像処理装置１０は、インターフェイス１２と、プロセッサ１３と、メモリ１４とを備える。移動体１には、移動体１の周辺を撮像した画像を取得する撮像部１１が搭載されている。画像処理装置１０および撮像部１１は、移動体１に搭載されたカメラ１Ａを構成する。まず、撮像部１１について説明する。
撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した画像を取得する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影することができる。
撮像部１１は、少なくとも撮像光学系１１ａと、撮像素子１１ｂとを備える。
撮像光学系１１ａは、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１１ａが備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズであってもよい。撮像光学系１１ａは、被写体像を撮像素子１１ｂの受光面に結像させる。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１１ｂの受光面上には、複数の画素が配列されている。撮像素子１１ｂは、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に撮像した画像を出力してもよい。また、撮像部１１は、撮像した画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
次に、画像処理装置１０が備える構成について説明する。
インターフェイス１２は、有線または無線を介して、移動体１が備える各種構成と通信を行う。例えば、インターフェイス１２は、撮像部１１が撮像した画像を取得し、プロセッサ１３に出力する。
プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、インターフェイス１２が取得した画像である取得画像を用いて物体認識を行う。プロセッサ１３による物体認識の詳細は後述する。
メモリ１４は、例えば、一次記憶装置または二次記憶装置などを含む。メモリ１４は、画像処理装置１０の動作に必要な種々の情報およびプログラムを記憶する。
次に、プロセッサ１３による物体認識について説明する。
プロセッサ１３は、インターフェイス１２が取得した取得画像に対して、数学的な処理を行い、処理後の画像に対して物体認識を行う。具体的には、プロセッサ１３は、取得画像に対して、特異値分解による低ランク近似を行い、低ランク近似後の画像に対して物体認識を行う。
プロセッサ１３は、取得画像に対応する行列Ｍを生成する。取得画像に対応する行列Ｍとは、取得画像を行列で表現したものである。通常、画像は、行方向と列方向とに配列された複数の画素からなる。プロセッサ１３は、例えば、取得画像の各画素の輝度値などを、各画素の位置に対応する要素とする行列Ｍを生成する。そして、プロセッサ１３は、生成した行列Ｍの特異値分解を行う。特異値分解は、一般的な数学的処理であり、詳細な説明は省略するが、任意のｍ×ｎの行列Ｍを、以下の式（１）に示すように、３つの行列Ａ，Ｂ，Ｃに分解する処理である。
Ｍ＝ＡＢＣ ・・・式（１）
Ｍ＝ＡＢＣ ・・・式（１）
式（１）において、Ａは、ｍ×ｍの直交行列である左特異値行列であり、Ｂは、ｍ×ｎの対角行列であり、Ｃはｎ×ｎの直交行列である右特異値行列である。対角行列Ｂ（第１の対角行列）は、対角成分が正の値または０であり、非対角成分が０である行列である。対角行列Ｂの対角成分は、値の大きなものから降順に並ぶ。対角行列Ｂの対角成分のうち、ゼロでない成分の数をランクｋと称する。
プロセッサ１３は、上述した特異値分解を行った後、低ランク近似を行う。具体的には、プロセッサ１３は、対角行列Ｂのランクをｋ－ｌに下げた対角行列Ｂ’（第２の対角行列）を生成する。ここで、プロセッサ１３は、対角行列Ｂのゼロでないｋ個の対角成分のうち、値の小さな成分から順にｌ個の対角成分をゼロとすることで、対角行列Ｂ’を生成する。すなわち、プロセッサ１３は、対角行列Ｂのランクを下げた対角行列Ｂ’を生成する。そして、プロセッサ１３は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる行列Ｍ’に対応する画像を、低ランク近似後の画像として生成する。
次に、プロセッサ１３は、行列Ｍ’に対応する画像を用いて、物体認識を行う。以下では、取得画像について算出された行列Ｍ’に対応する画像を、特異値分解による低ランク近似後の画像と称する。
上述したように、特異値分解による低ランク近似後の行列Ｍ’は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる。対角行列Ｂ’は、対角行列Ｂよりも、値がゼロである対角成分の数が多い。このような対角行列Ｂ’のスパース性により、プロセッサ１３は、物体認識の処理負荷の低減を図ることができる。例えば、プロセッサ１３は、任意の値ｘ×０＝０あるいは任意の値ｘ＋０＝ｘといった計算結果が自明な計算を省略することで、処理負荷を低減することができる。
また、対角行列Ｂ’は、対角行列Ｂの対角成分のうち、値の小さな対角成分から順に所定の数の対角成分をゼロとすることで得られる。そのため、特異値分解による低ランク近似後の画像では、取得画像のうち特徴に乏しい部分が優先的に圧縮される。したがって、特異値分解による低ランク近似後の画像においても、物体認識に必要な特徴的な部分は残るので、物体認識の精度低下は抑制される。
一般に、物体認識の精度を上げるには、解像度の高い画像を用いることが考えられる。しかしながら、解像度の高い画像を用いると、処理負荷が増大し、物体認識に要する時間も長くなってしまう。また、物体認識の処理負荷を下げるには、画像の解像度を下げることが考えられる。しかしながら、画像の解像度を下げると、物体認識に必要な特徴的な部分の解像度も下がるため、物体認識の精度が低下してしまう。一方、本実施形態においては、特異値分解による低ランク近似を行うことで、物体認識の精度の低下を抑制しつつ、処理負荷を低減することができる。
プロセッサ１３は、物体認識に必要とされる画像の特徴量に応じて、対角行列Ｂ’のランクを決定する。すなわち、プロセッサ１３は、特異値分解による低ランク近似後の画像における所望の特徴量に応じて、対角行列Ｂ’のランクを決定する。例えば、プロセッサ１３は、対角行列Ｂ’のランクを所定値ずつ変化させながら、各ランクにおける、特異値分解による低ランク近似後の画像の特徴量を求め、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係から、所望の特徴量に応じた対角行列Ｂ’のランクを決定する。ここで、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係は画像ごとに異なる。そのため、画像ごとに、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係を求めるための演算を行う必要があるが、このような演算を行ったとしても、取得画像自体を用いて物体認識を行うよりは、プロセッサ１３の処理負荷を低減することができる。なお、特徴量とは、物体のエッジのような、物体認識に必要な特徴的な部分の量を意味し、例えば、空間周波数を用いて表すことができる。
また、プロセッサ１３は、画像のエリアに応じて、所望の特徴量を決定してもよい。
例えば、移動体１の前方を撮像した画像では、画像の上部には、空などの移動体１の走行に影響の小さい物体が含まれることが多く、画像の中部には、他の移動体１あるいは歩行者などの、移動体１の走行に影響の大きい物体が含まれることが多い。すなわち、移動体１の前方を撮像した画像の上部には、物体認識の必要性が低い物体が含まれ、画像の中部には、物体認識の必要性が高い物体が含まれることが多い。また、移動体１の前方を撮像した画像の下部には、画像の中部に存在していた、距離情報を取得済みで移動体の走行に伴って相対的に移動体１に近づいてきた物体が含まれることが多い。このように、１つの画像の中でも、物体認識を優先的に行うべきエリアが存在する。したがって、プロセッサ１３は、取得画像のエリアに応じて、所望の特徴量を決定し、その決定した所望の特徴量に応じて、エリアごとに、対角行列Ｂ’のランクを決定してもよい。例えば、プロセッサ１３は、図２に示すように、取得画像２の中部２ｂにおける所望の特徴量を高くし、取得画像２の上部２ａにおける所望の特徴を低くし、取得画像２の下部２ｃにおける所望の特徴量を、上部２ａの特徴量と中部２ｂの特徴量との間の値としてもよい。
また、プロセッサ１３は、移動体１の挙動に応じて、所望の特徴量を決定してもよい。例えば、プロセッサ１３は、移動体１が高速で移動している場合には、所望の特徴量を高くし、移動体１が低速で移動している場合には、所望の特徴量を低くしてもよい。
また、プロセッサ１３は、撮像部１１が撮像を行うフレームレートが可変である場合、移動体１の挙動に応じて、フレームレートと所望の特徴量とを決定してもよい。例えば、移動体１が高速で移動している場合、移動体１は高速道路を走行していると考えられる。移動体１が高速道路を走行している場合、移動体１の単位時間当たりの移動量が大きいため、撮像部１１の撮像間隔が長くなり過ぎないことが望ましい。また、移動体１の単位時間当たりの移動量が大きいため、物体認識に要する時間を短くすることが望ましい。したがって、プロセッサ１３は、例えば、移動体１が高速道路を走行している場合、撮像部１１のフレームレートを高くするとともに、所望の特徴量を低くする。
また、例えば、移動体１が低速で移動している場合、移動体１は市街地を走行していると考えられる。移動体１が市街地を走行している場合、移動体１の単位時間当たりの移動量は小さいが、歩行者の飛び出しなどが起きる可能性が高く、高い物体認識の精度が求められることが多い。したがって、プロセッサ１３は、例えば、移動体１が低速で移動している場合、撮像部１１のフレームレートを低くするとともに、所望の特徴量を高くする。こうすることで、プロセッサ１３は、移動体１が移動する状況に適した物体認識を行うことができる。
プロセッサ１３は、上述したように、特異値分解による低ランク近似後の画像を用いて物体認識を行う。具体的には、プロセッサ１３は、学習により生成されたモデルに、特異値分解による低ランク近似後の画像を入力して、物体認識を行う。物体認識を行うためのモデルは、例えば、ニューラルネットワークを用いた学習により生成される。モデルの学習には、特異値分解による低ランク近似が施されていない画像を用いることができる。
次に、実際の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により特徴量を圧縮した画像を例示する。以下では、撮像画像はカラー画像であるとする。そして、そのカラー画像を３階テンソルとみなし、カラー画像に対して、タッカー分解（Tucker Decomposition）／高次特異値分解（ＨＯＳＶＤ：Higher Order Singular Value Decomposition）による低ランク近似を施した例を示す。タッカー分解／高次特異値分解とは行列（２階テンソル）における特異値分解をテンソルに拡張した手法である。
図３Ａ，３Ｂは、オリジナルの撮像画像、および、撮像画像に対して、特異値分解による低ランク近似により情報量を圧縮した画像を示す図である。図３Ａには、オリジナルの撮像画像、および、特徴量の圧縮率が９５％，９０％，８０％である画像を示している。図３Ｂには、特徴量の圧縮率が７５％，７０％，６０％，５０％である画像を示している。特徴量の圧縮率は、撮像画像に対応する行列の特異値分解により得られる対角行列Ｂの特異値（非ゼロの対角成分）を規格化して定義される。
図３Ａ，３Ｂに示すように、オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。特徴量の圧縮率が９５％である画像の幅方向のランクは５６９であり、高さ方向のランクは４９４である。特徴量の圧縮率が９０％である画像の幅方向のランクは３７１であり、高さ方向のランクは３３３である。特徴量の圧縮率が８０％である画像の幅方向のランクは２０２であり、高さ方向のランクは１８６である。特徴量の圧縮率が７５％である画像の幅方向のランクは１５６であり、高さ方向のランクは１４５である。特徴量の圧縮率が７０％である画像の幅方向のランクは１２２であり、高さ方向のランクは１１４である。特徴量の圧縮率が６０％である画像の幅方向のランクは７３であり、高さ方向のランクは６９である。特徴量の圧縮率が５０％である画像の幅方向のランクは４１であり、高さ方向のランクは３８である。
図３Ａ，３Ｂに示すように、特異値分解による低ランク近似を行うことで、オリジナルの撮像画像に対して、例えば、空あるいは車両のボンネットなどの特徴の乏しい部分の像が粗くなっている。一方、特異値分解による低ランク近似後の画像でも、車両のエッジ、路面に描かれた文字及び線などの特徴的な部分は、認識可能となっている。したがって、撮像画像に対して、特異値分解による低ランク近似を行い、ランクを数分の一から数十分の一に下げても、特徴の乏しい部分から圧縮が行われ、物体認識に必要な特徴的な部分は保持されていることが分かる。したがって、物体認識の精度低下を抑制することができるとともに、特異値分解による低ランク近似後の画像に対応する行列のスパース性により、処理負荷を低減し、物体認識の速度を向上することができる。
次に、特異値分解による低ランク近似を行った画像を用いた物体認識の結果の一例について説明する。
図４Ａ～図４Ｆは、後方に車両が存在する場合の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。図４Ａ～図４Ｆにおいては、タッカー分解／高次特異値分解による低ランク近似により、情報量をオリジナルの撮像画像の８０％に圧縮した例を示している。オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。
図４Ａにおいては、１７ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８１であり、高さ方向のランクは１６３である。
図４Ｂにおいては、１２ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８０であり、高さ方向のランクは１６２である。
図４Ｃにおいては、８ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７９であり、高さ方向のランクは１６１である。
図４Ｄにおいては、５ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７８であり、高さ方向のランクは１５９である。
図４Ｅにおいては、３ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７５であり、高さ方向のランクは１５７である。
図４Ｆにおいては、１ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７４であり、高さ方向のランクは１５８である。
図５Ａ～図５Ｆは、後方に人が存在する場合の、実際の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。図５Ａ～図５Ｆにおいては、タッカー分解／高次特異値分解による低ランク近似により、情報量を撮像画像の８０％に圧縮した例を示している。オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。
図５Ａにおいては、１７ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８７であり、高さ方向のランクは１６８である。
図５Ｂにおいては、１２ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８５であり、高さ方向のランクは１６７である。
図５Ｃにおいては、８ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８５であり、高さ方向のランクは１６７である。
図５Ｄにおいては、５ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８３であり、高さ方向のランクは１６４である。
図５Ｅにおいては、３ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８６であり、高さ方向のランクは１６７である。
図５Ｆにおいては、１ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１９４であり、高さ方向のランクは１７４である。
図４Ａ～図４Ｆおよび図５～図５Ｆに示すように、物体認識の対象が車両である場合にも、人である場合にも、特異値分解による低ランク近似により、幅方向および高さ方向にランクを１５％程度まで下げても、オリジナルの撮像画像を用いたのと同程度の物体認識の精度が得られた。
ここで、オリジナルの撮像画像に対応する行列は、概念的に言うと、Ｗ（幅）：１２８０×Ｈ（高さ）：９６０×Ｃ（色）：３（Ｒ，Ｇ，Ｂ）の大きさの立体行列の各要素に値が割り当てられている行列である。一方、図４Ａ～図４Ｆおよび図５～図５Ｆに示す、特徴量の圧縮率が８０％である画像に対応する行列は、概念的に言うと、大きさはオリジナルの撮像画像に対応する行列の大きさと同じで、Ｗ：１８０×Ｈ：１６０×Ｃ：３の要素だけが値を持ち、他の要素は０である、疎な行列である。このような疎な行列に対応する画像を用いた画像認識では、０をかける、あるいは、０を足すといった計算結果が明らかな計算を省略することができるので、物体認識の処理負荷を低減することができる。また、図４Ａ～図４Ｆおよび図５～図５Ｆに示すように、空、あるいは、車両のボンネットなどの特徴の乏しい部分が優先的に圧縮されるので、物体認識の精度の低下を抑制することができる。
次に、本実施形態に係る画像処理装置１０における画像処理方法について、図６に示すフローチャートを参照して説明する。画像処理装置１０は、図６に示すフローを、例えば、所定の時間間隔で繰り返す。
インターフェイス１２は、撮像部１１が撮像した画像を取得する（ステップＳ１１）。
プロセッサ１３は、インターフェイス１２が取得した取得画像に対して、特異値分解による低ランク近似を行う（ステップＳ１２）。
次に、プロセッサ１３は、特異値分解による低ランク近似後の画像に対して物体認識を行う（ステップＳ１３）。
特異値分解による低ランク近似後の画像により、プロセッサ１３は、画像上で特徴量が大きい領域あるいは特徴量が小さい領域を検出するといった画像解析を行うこともできる。また、細かい模様が存在するアスファルト路面は、特異値分解による低ランク近似後の画像でもその特徴量が保持されるので、プロセッサ１３は、移動体１が走行するアスファルト路面などを検出することができる。また、プロセッサ１３は、水面、湖面、芝生、田畑などアスファルト路面でない領域を検出することもできる。
また、特異値分解による低ランク近似後の画像では、太陽光および屋外照明光など強い光が照射される方向の壁面は、特徴量が小さくなり、低ランク近似により優先的に圧縮される。そのため、プロセッサ１３は、日当たりおよび光の照射方向などを検出することもできる。また、プロセッサ１３は、行列の次元を上げて、動画像から切り出した静止画をバッチ処理することで、移動物体および静止物体を検出することもできる。
このように、本実施形態においては、画像処理装置１０は、画像を取得するインターフェイス１２と、取得された画像である取得画像に対して、特異値分解による低ランク近似を行い、特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサ１３と、を備える。
取得画像に対する低ランク近似を行うことで、特異値分解による低ランク近似後の画像に対応する行列では、より多くの要素がゼロとなる。そのため、０をかけるあるいは０を足すといった結果が自明な計算を省略することができるので、物体認識の処理負荷を低減することができる。また、特異値分解による低ランク近似では、特徴の乏しい部分が優先的に圧縮され、特徴的な部分は残るので、物体認識の精度低下を抑制することができる。
本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
１ 移動体
１Ａ カメラ
１０ 画像処理装置
１１ 撮像部
１１ａ 撮像光学系
１１ｂ 撮像素子
１２ インターフェイス
１３ プロセッサ
１４ メモリ
１Ａ カメラ
１０ 画像処理装置
１１ 撮像部
１１ａ 撮像光学系
１１ｂ 撮像素子
１２ インターフェイス
１３ プロセッサ
１４ メモリ
Claims (9)
- 画像を取得するインターフェイスと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える、画像処理装置。 - 前記プロセッサは、
特異値分解により、前記取得画像に対応する行列を、左特異値行列と、第１の対角行列と、右特異値行列とに分解し、前記左特異値行列と、前記第１の対角行列のランクを下げた第２の対角行列と、前記右特異値行列との内積により得られる行列に対応する画像を、前記特異値分解による低ランク近似後の画像とし、
前記特異値分解による低ランク近似後の画像における所望の特徴量に応じて、前記第２の対角行列のランクを決定する、請求項１に記載の画像処理装置。 - 前記プロセッサは、前記取得画像のエリアに応じて、前記所望の特徴量を異ならせる、請求項２に記載の画像処理装置。
- 前記取得画像は、移動体に搭載されたカメラにより撮像され、
前記プロセッサは、前記移動体の挙動に応じて、前記所望の特徴量を異ならせる、請求項２または３に記載の画像処理装置。 - 前記プロセッサは、学習により生成されたモデルに前記特異値分解による低ランク近似後の画像を入力して、前記物体認識を行う、請求項１から４のいずれか一項に記載の画像処理装置。
- 前記モデルの学習に用いられる学習データは、前記特異値分解による低ランク近似が施されていない画像である、請求項５に記載の画像処理装置。
- 撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された画像を取得するインターフェイスと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備えるカメラ。 - 移動体であって、
前記移動体の周辺を撮像するカメラを備え、
前記カメラは、
撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された画像を取得するインターフェイスと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える移動体。 - 画像処理装置における画像処理方法であって、
画像を取得するステップと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に基づき物体認識を行うステップと、を含む画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/288,730 US11675875B2 (en) | 2018-10-29 | 2019-10-01 | Image processing apparatus, camera, mobile body, and image processing method |
| CN201980069372.0A CN112912922A (zh) | 2018-10-29 | 2019-10-01 | 图像处理装置、摄像头、移动体以及图像处理方法 |
| EP19877927.4A EP3876187A4 (en) | 2018-10-29 | 2019-10-01 | Image processing device, camera, mobile body, and image processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203193A JP7034050B2 (ja) | 2018-10-29 | 2018-10-29 | 画像処理装置、カメラ、移動体および画像処理方法 |
| JP2018-203193 | 2018-10-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020090330A1 true WO2020090330A1 (ja) | 2020-05-07 |
Family
ID=70462251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/038806 WO2020090330A1 (ja) | 2018-10-29 | 2019-10-01 | 画像処理装置、カメラ、移動体および画像処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11675875B2 (ja) |
| EP (1) | EP3876187A4 (ja) |
| JP (1) | JP7034050B2 (ja) |
| CN (1) | CN112912922A (ja) |
| WO (1) | WO2020090330A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7380435B2 (ja) * | 2020-06-10 | 2023-11-15 | 株式会社Ｊｖｃケンウッド | 映像処理装置、及び映像処理システム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015073191A (ja) | 2013-10-02 | 2015-04-16 | キヤノン株式会社 | 画像処理システムおよびその制御方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2667711B1 (fr) * | 1990-10-09 | 1992-11-27 | Thomson Csf | Procede de reconnaissance d'objets dans des images et son application au suivi d'objets dans des sequences d'images. |
| US6807536B2 (en) | 2000-11-16 | 2004-10-19 | Microsoft Corporation | Methods and systems for computing singular value decompositions of matrices and low rank approximations of matrices |
| CN101964050B (zh) * | 2010-09-06 | 2012-09-05 | 中国海洋大学 | 一种基于模型定阶和信号消噪的模态参数识别方法 |
| CN106612435A (zh) * | 2016-01-16 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于svd-dwt-dct的联合图像压缩方法 |
| US9697177B1 (en) * | 2016-10-13 | 2017-07-04 | Sas Institute Inc. | Analytic system for selecting a decomposition description of sensor data |
| CN108068697A (zh) * | 2016-11-11 | 2018-05-25 | 法乐第(北京)网络科技有限公司 | 基于汽车的摄像系统、方法及汽车 |
| US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
| EP3438922B1 (en) * | 2017-07-27 | 2019-11-20 | Siemens Healthcare GmbH | Method for processing at least one x-ray image |
| CN107403124A (zh) * | 2017-07-31 | 2017-11-28 | 苏州经贸职业技术学院 | 一种基于视觉图像的条形码检测识别方法 |
| CN107680116B (zh) * | 2017-08-18 | 2020-07-28 | 河南理工大学 | 一种监测视频图像中运动目标的方法 |
| US20190087729A1 (en) * | 2017-09-18 | 2019-03-21 | Intel Corporation | Convolutional neural network tuning systems and methods |
| US10271823B2 (en) * | 2017-10-02 | 2019-04-30 | General Electric Company | Extracting a cardiac-cycle signal from echocardiogram data |
| CN108509983A (zh) * | 2018-03-13 | 2018-09-07 | 范大昭 | 基于奇异值分解的影像匹配提纯方法 |
-
2018
- 2018-10-29 JP JP2018203193A patent/JP7034050B2/ja active Active
-
2019
- 2019-10-01 EP EP19877927.4A patent/EP3876187A4/en active Pending
- 2019-10-01 US US17/288,730 patent/US11675875B2/en active Active
- 2019-10-01 WO PCT/JP2019/038806 patent/WO2020090330A1/ja unknown
- 2019-10-01 CN CN201980069372.0A patent/CN112912922A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015073191A (ja) | 2013-10-02 | 2015-04-16 | キヤノン株式会社 | 画像処理システムおよびその制御方法 |
Non-Patent Citations (2)
| Title |
|---|
| MORIGAKI, J. ET. AL.: "Applying higher order singular value decomposition to image classification.", IEICE, PROCESSING OF THE 19TH DATA ENGINEERING WORKSHOP, 7 April 2008 (2008-04-07), pages 1 - 6, XP009527034 * |
| See also references of EP3876187A4 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3876187A1 (en) | 2021-09-08 |
| JP7034050B2 (ja) | 2022-03-11 |
| JP2020071532A (ja) | 2020-05-07 |
| EP3876187A4 (en) | 2022-06-29 |
| US11675875B2 (en) | 2023-06-13 |
| CN112912922A (zh) | 2021-06-04 |
| US20210397879A1 (en) | 2021-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2022203095B2 (en) | Real-time HDR video for vehicle control | |
| US7283679B2 (en) | Image processor and method thereof | |
| DE112020002697T5 (de) | Modellerstellung einer fahrzeugumgebung mit kameras | |
| JP6456499B2 (ja) | 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 | |
| CN112172797B (zh) | 泊车控制方法、装置、设备和存储介质 | |
| WO2020090330A1 (ja) | 画像処理装置、カメラ、移動体および画像処理方法 | |
| US20200402206A1 (en) | Image processing device, image processing method, and program | |
| JP7023212B2 (ja) | 画像処理装置、撮像装置、移動体および画像処理方法 | |
| US11681047B2 (en) | Ground surface imaging combining LiDAR and camera data | |
| JP7088807B2 (ja) | 画像処理装置、カメラ、移動体および画像処理方法 | |
| JP6561688B2 (ja) | 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム | |
| JP2023178691A (ja) | 画像処理装置、制御方法、及びプログラム | |
| CN108073884A (zh) | 一种用于车道线检测的图像预处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19877927 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2019877927 Country of ref document: EP Effective date: 20210531 |