JP7190583B2

JP7190583B2 - 車両特徴の取得方法及び装置

Info

Publication number: JP7190583B2
Application number: JP2021542238A
Authority: JP
Inventors: 歓田; 駿胡; 帥程
Original assignee: Neusoft Reach Automotive Technology Shenyang Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date: 2018-09-27
Filing date: 2019-04-26
Publication date: 2022-12-15
Anticipated expiration: 2039-04-26
Also published as: CN109389064B; CN109389064A; JP2022501756A; US20220004784A1; EP3859593A1; US12002269B2; WO2020062856A1; EP3859593A4

Description

関連出願

本出願は、２０１８年０９月２７日にて中国特許庁に提出され、出願番号が２０１８１１１３２３２５.Ｘ号であり、出願の名称が「車両特徴の取得方法及び装置」である中国特許出願の優先権を主張して、その全ての内容は本出願に援用される。

本発明は、自動車分野に関し、特に車両特徴の取得方法及び装置に関する。

従来技術において、ターゲット画像を分析し認識することで、ターゲット画像におけるターゲット対象を取得し、ターゲット対象の特徴を取得し、これによって、ターゲット対象の特徴に基づき後続の分析を行うことができる。例えば、ターゲット画像における道路上の車両、建物及び歩行者などのターゲット対象を認識することで、これらのターゲット対象の色、形状、サイズ及び位置などの特徴を取得し、これらの特徴に基づき道路状況を確定できる。

一般的に、ターゲット画像におけるターゲット対象は、平面領域として体現され、ターゲット画像における車両及び歩行者は、それぞれ矩形枠内の領域として体現され、当該領域のサイズがターゲット対象のサイズに関連付けられ、ターゲット画像の撮影パラメータにも関連付けられ、当該領域における画素点の色がターゲット対象の色に関連付けられる。

ただし、実際の応用において、車両の、ターゲット画像における平面領域のみを確定することは、一般的に完全ではない。

上記の技術問題を解决するために、本出願の実施例は、車両特徴の取得方法及び装置を提供し、処理対象画像における車両に対して領域を区画し、区画により得られた領域から領域特徴を取得するため、適切な車両特徴を取得できる。

本出願の実施例は車両特徴の取得方法を提供し、前記方法は、
車両が含まれる処理対象画像を取得するステップと、
前記処理対象画像を認識することで、前記車両の特徴要素を取得するステップであって、前記特徴要素が側面要素及び車端部の要素を含み、前記車端部が車頭又は車尾であるステップと、
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定するステップと、
前記側面領域に基づき側面の領域特徴を取得し、前記車端部の領域に基づき車端部の領域特徴を取得するステップとを含む。

好ましくは、前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定する前記ステップは、
前記処理対象画像から、前記車両が所在する車両領域を確定するステップと、
前記側面要素に近接する車端部の要素と、前記車端部の要素に近接する側面要素との前記処理対象画像における位置に基づき、前記側面領域と前記車端部の領域との境目を確定するステップと、
前記境目、及び前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両領域から、前記側面領域及び前記車端部の領域を確定するステップとを含む。

好ましくは、前記方法はさらに、
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と、前記車両を撮影することで、前記処理対象画像を取得するための画像撮影装置との相対位置を確定するステップを含む。

好ましくは、前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と画像撮影装置との相対位置を確定する前記ステップは、
前記車端部の領域及び前記側面領域における、前記画像撮影装置に向かう領域をターゲット領域に確定するステップと、
前記ターゲット領域の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するステップとを含む。

好ましくは、前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像取得装置との相対位置を確定する前記ステップは、
前記車端部の領域と前記側面領域との境目、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するステップを含む。

好ましくは、前記側面の領域特徴は、前記側面領域の頂点、前記側面領域の中心点又は前記側面領域の辺の中間点の前記処理対象画像における位置を含み、前記車端部の領域特徴は、前記車端部の領域の頂点、前記車端部の領域の中心点又は前記車端部の領域の辺の中間点の前記処理対象画像における位置を含む。

好ましくは、前記処理対象画像を認識することで、前記車両の特徴要素を取得する前記ステップは、
前記処理対象画像で認識することで、前記車両が所在する車両領域を確定するステップと、
前記処理対象画像から前記車両領域により形成された車両画像を切り取るステップと、
前記車両画像を認識することで、前記車両の特徴要素を確定するステップとを含む。

好ましくは、前記車頭の要素はフロントランプ、フロントウィンドウ、バンパ及びフロントナンバープレートのうちの１つまたは複数を含み、前記車尾の要素はリアランプ、リアウインドウ及びリアナンバープレートのうちの１つまたは複数を含み、前記側面要素は車輪、サイドウィンドウ、バックミラー及びドアのうちの１つまたは複数を含む。

本出願の実施例は車両特徴の取得装置を提供し、前記装置は、
車両が含まれる処理対象画像を取得するための画像取得ユニットと、
前記処理対象画像を認識することで、前記車両の特徴要素を取得するための画像認識ユニットあって、前記特徴要素は側面要素及び車端部の要素を含み、前記車端部は車頭又は車尾である画像認識ユニットと、
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定するための領域確定ユニットと、
前記側面領域に基づき側面の領域特徴を取得し、前記車端部の領域に基づき車端部の領域特徴を取得するための特徴取得ユニットとを含む。

好ましくは、前記領域確定ユニットは、
前記処理対象画像から、前記車両が所在する車両領域を確定するための車両領域確定ユニットと、
前記側面要素に近接する車端部の要素と、前記車端部の要素に近接する側面要素との前記処理対象画像での位置に基づき、前記側面領域と前記車端部の領域との境目を確定するための境目確定ユニットと、
前記境目、及び前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両領域から、前記側面領域及び前記車端部の領域を確定するための領域確定サブユニットとを含む。

好ましくは、前記装置はさらに、
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と、前記車両を撮影することで、前記処理対象画像を取得するための画像撮影装置との相対位置を確定するための相対位置確定ユニットを含む。

好ましくは、前記相対位置確定ユニットは、
前記車端部の領域及び前記側面領域における、画像撮影装置に向かう領域をターゲット領域に確定するためのターゲット領域確定ユニットと、
前記ターゲット領域の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するための相対位置確定サブユニットとを含む。

好ましくは、前記相対位置確定ユニットは具体的には、
前記車端部の領域と前記側面領域との境目、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定する。

好ましくは、前記画像認識ユニットは、
前記処理対象画像で認識することで、前記車両が所在する車両領域を確定するための車両領域認識ユニットと、
前記処理対象画像から前記車両領域により形成された車両画像を切り取るための車両画像取得ユニットと、
前記車両画像を認識することで、前記車両での特徴要素を確定するための特徴要素認識ユニットとを含む。

本出願の実施例において、車両が含まれる処理対象画像を取得し、処理対象画像を認識することで、車両での特徴要素を取得し、特徴要素は車両の側面要素及び車端部の要素であってもよく、車端部は車頭又は車尾であってもよく、車両の側面要素と車端部の要素との、処理対象画像における位置に基づき、車両の側面領域及び車端部の領域を確定でき、さらに、側面領域に基づき側面の領域特徴を取得し、車端部の領域に基づき車端部の領域特徴を取得できる。従って、本出願の実施において、まず、処理対象画像における車両に対して領域を区画し、そして、区画により得られた領域から領域特徴を取得し、従来技術において、車両の、処理対象画像での平面領域のみを確定することに比べて、より適切な車両特徴を取得できる。

本発明の実施例の技術案をより明らかに説明するために、以下は実施例の説明に必要な図面を簡単に紹介し、明らかに、以下の説明の図面は本出願に記載のいくつかの実施例に過ぎず、当業者にとって、これらの図面に基づいて他の図面を取得できる。

従来技術においてターゲット画像により特徴を取得する概略図である。本出願の実施例が提供する車両特徴の取得方法のフローチャートである。本出願の実施例が提供する特徴要素認識過程の概略図である。本出願の実施例が提供する領域確定過程の概略図である。本出願の実施例が提供する車両特徴の取得装置の構成ブロック図である。

発明者は研究により、従来技術において、ターゲット画像を分析し認識することで、ターゲット画像におけるターゲット対象を取得し、ターゲット対象の特徴を取得し、これによって、ターゲット対象の特徴に基づき後続の分析を行うことができることを見つけた。例えば、ターゲット画像における道路上の車両、建物及び歩行者などのターゲット対象を認識することで、これらのターゲット対象の色、形状、サイズ及び位置などの特徴を取得し、これらの特徴に基づき道路状況を確定できる。

一般的に、ターゲット画像におけるターゲット対象は、平面領域として体現され、図１は従来技術においてターゲット画像により特徴を取得する概略図であり、ターゲット画像における車両及び歩行者は、それぞれ矩形枠内の領域として体現される。車両を例として、車両領域のサイズが車両のサイズに関連付けられ、車両の撮影パラメータにも関連付けられ、車両領域における画素点の色が車両の色に関連付けられる。

ただし、実際の応用において、車両の、ターゲット画像における平面領域のみを確定することは、一般的に完全ではない。なぜならば、実際の操作において、車両は一定の三次元特徴を有するが、平面領域は、車両の配置形状及び画像撮影装置との距離などのような車両の三次元特徴をよく体現できないからである。

例えば、車両の車頭、車尾又は側面はいずれも画像撮影装置に真向かいしていない場合、車両の、ターゲット画像における平面領域により車両と画像撮影装置との距離を算出すれば、一般的に正確ではなく、ここで、画像撮影装置は車両を撮影することでターゲット画像を取得するための装置である。図１は、従来技術において、ターゲット画像により特徴を取得する概略図であり、ターゲット画像において、左下隅にある車両と画像撮影装置との距離が近いのは左側車尾であり、車両の画像における領域中心に基づき、車両と画像撮影装置との距離を算出すれば、算出された距離は、車両内部と画像撮影装置との距離であり、そのため、算出された距離は、車両と画像撮影装置との実際距離より大きく、算出された結果に基づき運転支援を行うと、ひどい結果を招致する恐れがある。

これに基づき、本発明の実施例において、車両が含まれる処理対象画像を取得し、処理対象画像を認識することで、車両における特徴要素を取得し、特徴要素は車両の側面要素及び車端部の要素であってもよく、車端部は車頭又は車尾であってもよく、車両の側面要素と車端部の要素との、処理対象画像における位置に基づき、車両の側面領域及び車端部の領域を確定でき、さらに、側面領域に基づき側面の領域特徴を取得し、車端部の領域に基づき車端部の領域特徴を取得できる。従って、本出願の実施例において、まず、処理対象画像における車両に対して領域を区画し、そして、区画により得られた領域から領域特徴を取得し、従来技術において、車両の処理対象画像における位置のみを確定することに比べて、より適切な車両特徴を取得できる。

以下は、図面を結合し、実施例により本発明の実施例における車両特徴の取得方法の具体的な実現形態を詳細に説明する。

図２は、本出願の実施例が提供する車両特徴の取得方法のフローチャートであり、当該方法は以下のステップを含む。
Ｓ１０１：処理対象画像を取得する。

本出願の実施例において、ターゲット画像を処理対象画像とする。なお、処理対象画像は、車両が含まれる画像であり、画像撮影装置により撮影を行うことができ、画像撮影装置はカメラ、ビデオカメラ、ウェブカメラなどであってもよい。

処理対象画像には、車両のみが含まれてもよいし、車両以外の他のターゲット対象が含まれてもよく、処理対象画像には１つの車両が含まれてもよいし、複数の車両が含まれてもよい。

Ｓ１０２：処理対象画像を認識することで、車両の特徴要素を取得する。

本出願の実施例において、車両の特徴要素は、側面要素及び車端部の要素であってもよく、車端部は車頭又は車尾であってもよい。車頭の要素は車頭位置を補助認識するための要素であってもよく、例えばフロントランプ、フロントウィンドウ、バンパ及びフロントナンバープレートなどのうちの１つまたは複数を含み、車尾の要素は車尾位置を補助認識するための要素であってもよく、例えばリアランプ、リアウインドウ及びリアナンバープレートなどのうちの１つまたは複数を含み、側面要素は側面位置を補助認識するための要素であってもよく、例えば車輪、サイドウィンドウ、バックミラー及びドアなどのうちの１つまたは複数を含む。

処理対象画像を認識することで、車両の特徴要素を取得するステップは、具体的には、処理対象画像を分割し、処理対象画像における各画素点のカテゴリラベルを取得し、処理対象画像の分割画像において、同一の特徴要素の画素点のカテゴリラベルが同様であり、カテゴリラベルに基づき車両の特徴要素を取得する。処理対象画像を分割することは、事前訓練により得られた深層学習ニューラルネットワークにより行われてもよく、具体的には、赤い楕円形の領域をランプ領域として認識し、四角形の大面積の灰色領域を車窓領域として認識し、白い放射線状を有する円形の領域を車輪として認識する。

分割後の画像を便利に処理するために、処理対象画像を分割した後、異なるカテゴリラベルに対して異なる色をプリセットし、分割画像を形成することができ、例えば、ランプ領域のカテゴリラベルに対応する色は赤、車窓領域のカテゴリラベルに対応する色は青などであってもよい。

処理対象画像に車両以外の他のターゲット対象が含まれる場合、画像分割の正確性を向上させるために、処理対象画像において特徴要素に対する認識を、処理対象画像を認識することで、車両が所在する車両領域を確定するステップ、及び処理対象画像から車両領域を切り取り、ターゲット画像を形成し、ターゲット画像を認識することで、車両領域における特徴要素を確定するステップという２つのステップに分けることができる。

具体的には、事前訓練により得られた第１深層学習ニューラルネットワークにより処理対象画像を認識することで、第１分割画像を取得し、第１分割画像における各画素点はカテゴリラベルを有し、同じターゲット対象の画素点のカテゴリラベルは同様であり、これによってカテゴリラベルに基づき処理対象画像における車両領域を認識する。事前訓練による得られた第２深層学習ニューラルネットワークによりターゲット画像を認識し、第２分割画像を取得し、第２分割画像における各画素点はカテゴリラベルを有し、同一特徴要素のカテゴリラベルは同様であり、カテゴリラベルに基づき車両領域における特徴要素を認識できる。

例えば、図３は、本出願が提供する特徴要素認識過程の概略図であり、図３（ａ）は例示的な処理対象画像であり、第１深層学習ニューラルネットワークにより処理対象画像を分割し、図３（ｂ）に示す第１分割画像を取得し、なお、矩形枠における領域は車両が所在する車両領域である。第１分割画像における矩形枠領域を拡大し、図３（ｃ）に示す車両分割画像を取得し、車両分割画像に基づき、処理対象画像を切り取り、図３（ｄ）に示す車両画像を取得する。第２深層学習ニューラルネットワークにより車両画像を分割し、図３（ｅ）に示す第２分割画像を取得し、なお、２つの円形領域は車両のランプであり、１つの矩形領域は車両の車窓であり、無論、本出願の実施例において、さらにタイヤ又はバックミラーなどの他の要素を認識できる。

Ｓ１０３：側面要素と車端部の要素との処理対象画像における位置に基づき、車両の側面領域及び車端部の領域を確定する。

本出願の実施例において、処理対象画像における車両は少なくとも側面要素及び車端部の要素を含み、直接的に側面要素及び車端部の要素に基づき、車両の側面領域及び車端部の領域を確定できる。

例えば、図３（ｅ）に示す第２分割画像を参照し、車尾の要素は例えばリアランプ、リアウインドウなどであり、側面要素は例えば車輪、バックミラーなどであり、側面要素における車輪は後側車輪であると確定でき、これによって、処理対象画像における車尾の領域は車両が所在する矩形領域を含み、側面領域は車尾の領域の左縁及び後縁であると確定できる。

本出願の実施例において、車両の側面領域及び車端部の領域を確定する前に、まず、車両が所在する車両領域、及び側面領域と車端部の領域との境目を確定し、境目に基づき、車両領域から側面領域及び車端部の領域を確定してもよい。

具体的には、側面要素に近接する車端部の要素と、車端部の要素に近接する側面要素との処理対象画像における位置に基づき、側面領域と車端部の領域との境目を確定できる。例えば、図４は、本出願の実施例が提供する領域確定過程の概略図であり、図４（ａ）に示す処理対象画像を参照して、画像分割により図４（ｂ）に示す車両領域（灰色矩形枠）を取得し、処理対象画像に対して画像分割を行うことで、図４（ｃ）に示す特徴要素を取得して、右側にある２つの楕円領域（黒い線からなる楕円領域）はランプであり、右側にある四辺形領域（黒い線からなる四辺形領域）はフロントウィンドウであり、左側にある２つの楕円領域（白い細線からなる楕円領域）は車輪であり、不規則な形状の領域（白い細線からなる不規則な領域）はサイドウィンドウである。

分析から分かるように、車端部は車頭であり、車頭の要素に近接する側面要素は処理対象画像における右車輪、及び処理対象画像におけるサイドウィンドウの右縁であり、側面要素に近接する車頭の要素はフロントウィンドウの左縁、及び車頭の左側ランプであるから、処理対象画像における右側車輪、サイドウィンドウの右側縁、フロントウィンドウの左側縁及び車頭の左側ランプに基づき、車頭の領域と側面領域との境目を確定できる。

無論、車頭の領域と側面領域との境目の確定方式は複数あり、例えばフロントウィンドウの左縁及びサイドウィンドウの右縁に基づき確定してもよいし、右車輪の右縁及び左側ランプの左縁に基づき確定してもよい。境目は垂直であってもよいし、傾斜であってもよい。本出願の実施例において、例示として、車頭の領域と側面領域との境目として、右車輪の右縁を通過する垂直の直線を作り出し、図４（ｄ）に示す灰色線を参照すればよい。

側面領域と車端部の領域との境目を確定した後、確定した境目、及び側面要素と車端部の要素との処理対象画像における位置に基づき、車両領域から側面領域及び車端部の領域を確定する。なお、側面領域及び車端部の領域は境目の両側にあり、側面領域及び車端部の領域は矩形領域であってもよいし、平行四辺形領域であってもよく、さらに、領域を表現できる他の形状であってもよい。

境目の確定方式から類推して、車両領域における側面領域及び車端部の領域の確定方式も複数あり、例えば右車輪の右縁を通過する垂直直線を車頭の領域と側面領域との境目とすれば、図４（ｅ）を参照し、車輪と地面との接触点を通過する水平線を車頭の領域の下縁とし、境目を車頭の領域の左縁とし、ルーフが所在する水平線を車頭の領域の上縁とし、車両領域の右縁を車頭の領域の右縁とし、４本の縁線は車頭の領域を形成し（右側にある白い粗線からなる矩形枠）、同じように、境目を側面領域の右縁とし、車両領域の左縁を側面領域の左縁とし、車輪と地面との２つの接触点の接続線の方向を側面領域の上縁と下縁との方向とし、上縁の右端点が車頭の領域の左上端点（即ち、ルーフが所在する水平線と境目との交差点）と重なり、下縁の右端点が車頭の領域の左下端点（即ち、車輪と地面との接触点）と重なり、４本の縁線は側面領域を形成する（左側にある白い粗線からなる平行四辺形枠）。

データを便利に記憶するために、側面領域と車端部の領域とは、６つの頂点の処理対象画像における座標で示し、境目の確定方式は複数あるから、側面領域と車端部の領域との確定方式も複数あってもよく、そのため、複数組の頂点座標値を取得でき、複数組の頂点座標値に対して加重平均を行うことで、側面領域と車端部の領域を示すための加重頂点座標値を取得し、側面領域と車端部の領域との正確性を向上させる。

Ｓ１０４：側面領域に基づき側面の領域特徴を取得し、車端部の領域に基づき車端部の領域特徴を取得する。

本出願の実施例において、側面の領域特徴は、側面領域の頂点、側面領域の中心点または側面領域の辺の中間点などの特徴点の、処理対象画像における位置であってもよく、車端部の領域特徴は車端部の領域の頂点、車端部の領域の中心点または車端部の領域の辺の中間点などの特徴点の、処理対象画像における位置を含み、例えば、車頭の領域特徴は車頭の領域の頂点、車頭の領域の中心点または車頭の領域の辺の中間点などの特徴点の、処理対象画像における位置であってもよい。なお、処理対象画像における特徴点の位置は、処理対象画像における特徴点の座標で示す。

側面の領域特徴及び車端部の領域特徴を取得した後、側面領域の頂点及び車端部の領域特徴の頂点に基づき、車両の３次元特徴領域を取得でき、車両の３次元特徴領域は車頭の領域、車尾の領域、両辺の側面領域、ルーフ領域、車両底部領域を含む。

本出願の実施例が提供する車両特徴の取得方法において、まず、車両が含まれる処理対象画像を取得し、処理対象画像を認識することで、車両の特徴要素を取得し、特徴要素は車両の側面要素及び車端部の要素であってもよく、車端部は車頭又は車尾であってもよく、そして、車両の側面要素と車端部の要素との、処理対象画像における位置に基づき、車両の側面領域及び車端部の領域を確定でき、さらに、側面領域に基づき側面の領域特徴を取得し、車端部の領域に基づき車端部の領域特徴を取得する。従って、まず、処理対象画像における車両に対して領域を区画し、そして、区画により得られた領域から領域特徴を取得し、従来技術において、処理対象画像における車両の位置のみを確定することに比べて、より適切な車両特徴を取得できる。

実際の操作において、車両特徴により相応的に分析することで、関連結果を得るために、車両特徴を取得し、例示として、本出願の実施例は車端部の領域特徴及び側面の領域特徴を取得した後、車端部の領域特徴、側面の領域特徴、及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定することができる。

画像撮影装置は車両を撮影することで、処理対象画像を取得するための装置であり、処理対象画像の撮影パラメータは、画像撮影装置が車両に対して撮影する際の焦点距離、広角、位置、回転角などのパラメータを指す。光学イメージング原理に基づき、処理対象画像における特徴点の位置、及び処理対象画像の撮影パラメータに基づき、特徴点と画像撮影装置との相対位置を確定し、処理対象画像における車端部の領域特徴及び側面の領域特徴は、車両の三次元特徴を適切に反映できるから、これに基づき、車両と画像撮影装置との相対位置を取得できる。

可能な実現形態として、車端部の領域特徴、側面の領域特徴、及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定することは、具体的には、車端部の領域及び側面領域における、画像撮影装置に向かう領域をターゲット領域に確定し、ターゲット領域の領域特徴、及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定する。

具体的には、車端部の領域と側面領域との面積及び／又は形状に基づき、画像撮影装置に向かうターゲット領域を確定し、例えば、面積が大きい領域を画像撮影装置に向かうターゲット領域として確定するか、または矩形形状の領域を、画像撮影装置に向かうターゲット領域として確定する。

図４（ｅ）を参照し、車頭の領域の面積が側面領域の面積より大きいと、車頭の領域が画像撮影装置に向かうと見なすことができるため、車頭の領域がターゲット領域であると確定できる。車頭の領域の形状が矩形であり、側面領域の形状が平行四辺形であると、車頭の領域が画像撮影装置に向かうと見なすことができるため、車頭の領域がターゲット領域であると確定できる。

ターゲット領域の領域特徴は、ターゲット領域の頂点、ターゲット領域の中心点またはターゲット領域の辺の中間点などの特徴点の、処理対象画像における位置であってもよく、ターゲット領域の領域特徴及び処理対象画像の撮影パラメータに基づき、これらの特徴点と画像撮影装置との相対位置を確定でき、これに基づき、車両と画像撮影装置との相対位置を取得できる。

図４（ｅ）に示す車両を例として、ターゲット領域は車頭の領域であり、この際、処理対象画像における車頭の領域の中心点の位置、及び処理対象画像の撮影パラメータに基づき、車頭の領域の中心点と画像撮影装置との相対位置を確定できる。

他の可能な実現形態として、車端部の領域特徴、側面の領域特徴、及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定することは、具体的には、車端部の領域と側面領域との境目、及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定する。

具体的には、境目の中間点を確定し、境目の中間点及び処理対象画像の撮影パラメータに基づき、車両と画像撮影装置との相対位置を確定できる。なぜならば、車端部の領域と側面領域との境目は、一般的に画像撮影装置に最も近いから、得られた車両と画像撮影装置との相対位置は比較的に正確である。

本出願の実施例が提供する車両特徴の取得方法に基づき、本出願の実施例はさらに車両特徴の取得装置を提供し、図５は、本出願の実施例が提供する車両特徴の取得装置の構成ブロック図であり、当該装置は、
車両が含まれる処理対象画像を取得するための画像取得ユニット１１０と、
前記処理対象画像を認識することで、前記車両の特徴要素を取得するための画像認識ユニット１２０であって、前記特徴要素が側面要素及び車端部の要素を含み、前記車端部が車頭又は車尾である画像認識ユニット１２０と、
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定するための領域確定ユニット１３０と、
前記側面領域に基づき前記側面の領域特徴を取得し、前記車端部の領域に基づき前記車端部の領域特徴を取得するための特徴取得ユニット１４０とを含む。

好ましくは、前記領域確定ユニットは、
前記処理対象画像から、前記車両が所在する車両領域を確定するための車両領域確定ユニットと、
前記側面要素に近接する車端部の要素と、前記車端部の要素に近接する側面要素との前記処理対象画像における位置に基づき、側面領域と車端部の領域との境目を確定するための境目確定ユニットと、
前記境目、及び前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両領域から側面領域及び車端部の領域を確定するための領域確定サブユニットとを含む。

好ましくは、前記装置はさらに、
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と画像撮影装置との相対位置を確定するための相対位置確定ユニットを含む。

好ましくは、前記相対位置確定ユニットは、
前記車端部の領域及び前記側面領域における、前記車両を撮影することで処理対象画像を取得するための画像撮影装置に向かう領域をターゲット領域に確定するためのターゲット領域確定ユニットと、
ターゲット領域の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するための相対位置確定サブユニットとを含む。

好ましくは、前記相対位置確定ユニットは具体的には、
前記車端部の領域と前記側面領域との境目、及び前記処理対象画像の撮影パラメータに基づき、前記車両と画像撮影装置との相対位置を確定する。

好ましくは、前記側面の領域特徴は、前記側面領域の頂点、前記側面領域の中心点又は前記側面領域の辺の中間点の、前記処理対象画像における位置を含み、前記車端部の領域特徴は、前記車端部の領域の頂点、前記車端部の領域の中心点又は前記車端部の領域の辺の中間点の、前記処理対象画像における位置を含む。

本出願の実施例が提供する車両特徴の取得装置において、まず、車両が含まれる処理対象画像を取得し、処理対象画像を認識することで、車両の特徴要素を取得し、特徴要素は車両の側面要素及び車端部の要素であってもよく、車端部は車頭又は車尾であってもよく、そして、車両の側面要素と車端部の要素との、処理対象画像における位置に基づき、車両の側面領域及び車端部の領域を確定でき、さらに、側面領域に基づき側面の領域特徴を取得し、車端部の領域に基づき車端部の領域特徴を取得する。従って、まず、処理対象画像における車両に対して領域を区画し、そして、区画により得られた領域から領域特徴を取得し、従来技術において、処理対象画像における車両の位置のみを確定することに比べて、より適切な車両特徴を取得できる。

本発明の実施例に言及された「第１……」などの名称における「第１」は、順序の第１ではなく、ただ名称を標識するためのものである。当該規則は同じように「第２」などにも適用される。

以上の実施形態に対する説明から分かるように、上記の実施例方法の全て又は一部のステップは、ソフトウェアと汎用ハードウェアプラットフォームとの組み合わせという方式で実現できる。このような理解に基づき、本発明の技術案はソフトウェア製品という形態で体現され、当該コンピュータソフトウェア製品は、読み取り専用メモリ（英語：ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ）／ＲＡＭ、磁気ディスク、光ディスクなどの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバー、またはルータなどのようなネットワーク通信機器であってもよい）に本発明の各実施例または実施例のある部分に記載の方法を実行させるための若干の命令を含む。

本明細書の各実施例に対して漸進方式で説明し、各実施例の間の同様または類似の部分について、互いに参照すればよく、各実施例は主に他の実施例との相違点を説明する。特に、方法実施例及び機器実施例にとって、基本的にシステム実施例に類似するから、その説明が簡単であり、関連するところは、システム実施例の一部の説明を参照すればよい。以上に記載の機器及びシステムの実施例は、ただ例示的なものにすぎず、分離部材として説明されたモジュールは、物理的に分離されたものでも、分離されていないものであってもよい。モジュールとして表示された部材は、物理的なモジュールであっても、そうでなくてもよい。即ち、一つの箇所に配置されてもよく、複数のネットワークユニットに分布されもよい。実際の必要に応じてその中の一部又は全部のモジュールを選択して本実例案の目的を実現できる。当業者は進歩性に値する労働を払わず、理解、且つ実施することができる。

以上は本発明の好適な実施形態であり、本発明の保護範囲を限定しない。当業者にとって、本発明から逸脱しない前提で、若干の改善及び修飾を行ってもよく、これらの改善及び修飾も本発明の保護範囲に該当する。

Claims

車両特徴の取得方法であって、
車両が含まれる処理対象画像を取得するステップと、
前記処理対象画像を認識することで、前記車両の特徴要素を取得するステップであって、前記特徴要素は側面要素及び車端部の要素を含み、前記車端部は車頭又は車尾であるステップと、
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定するステップと、
前記側面領域に基づき側面の領域特徴を取得し、前記車端部の領域に基づき車端部の領域特徴を取得するステップと、を含み、
前記車両の特徴要素を取得するステップは、前記処理対象画像を分割し、前記処理対象画像における各画素点のカテゴリラベルを取得し、同一のカテゴリラベルを具備する画素点が同一の特徴要素に属するようにすることと、前記処理対象画像における各画素点のカテゴリラベルに基づき前記車両における特徴要素を取得することを含み、
前記側面領域及び前記車端部の領域は、前記側面要素及び前記車端部の要素に基づいて定められる、前記側面領域と前記車端部の領域とを区画する境目と、前記車両が所在する車両領域と、に基づいて確定され、
前記側面の領域特徴及び前記車端部の領域特徴は、車両の３次元特徴領域を特徴付けるために用いられることを特徴とする方法。
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定する前記ステップは、
前記処理対象画像から、前記車両が所在する車両領域を確定するステップと、
前記側面要素に近接する車端部の要素と、前記車端部の要素に近接する側面要素との前記処理対象画像における位置に基づき、前記側面領域と前記車端部の領域との境目を確定するステップと、
前記境目、及び前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両領域から、前記側面領域及び前記車端部の領域を確定するステップと、を含むことを特徴とする請求項１に記載の方法。
前記方法はさらに、
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と、前記車両を撮影することで前記処理対象画像を取得するための画像撮影装置との相対位置を確定するステップを含むことを特徴とする請求項１に記載の方法。
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と画像撮影装置との相対位置を確定する前記ステップは、
前記車端部の領域及び前記側面領域における、前記画像撮影装置に向かう領域をターゲット領域に確定するステップと、
前記ターゲット領域の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するステップとを含むことを特徴とする請求項３に記載の方法。
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定する前記ステップは、
前記車端部の領域と前記側面領域との境目、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するステップを含むことを特徴とする請求項３に記載の方法。
前記側面の領域特徴は、前記側面領域の頂点、前記側面領域の中心点又は前記側面領域の辺の中間点の前記処理対象画像における位置を含み、前記車端部の領域特徴は、前記車端部の領域の頂点、前記車端部の領域の中心点又は前記車端部の領域の辺の中間点の前記処理対象画像における位置を含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
前記処理対象画像を認識することで、前記車両の特徴要素を取得する前記ステップは、
前記処理対象画像で認識することで、前記車両が所在する車両領域を確定するステップと、
前記処理対象画像から前記車両領域により形成された車両画像を切り取るステップと、
前記車両画像を認識することで、前記車両の特徴要素を確定するステップとを含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
前記車頭の要素は、フロントランプ、フロントウィンドウ、バンパ及びフロントナンバープレートのうちの１つまたは複数を含み、前記車尾の要素は、リアランプ、リアウインドウ及びリアナンバープレートのうちの１つまたは複数を含み、前記側面要素は、車輪、サイドウィンドウ、バックミラー及びドアのうちの１つまたは複数を含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
車両特徴の取得装置であって、
車両が含まれる処理対象画像を取得するための画像取得ユニットと、
前記処理対象画像を認識することで、前記車両の特徴要素を取得するための画像認識ユニットあって、前記特徴要素は側面要素及び車端部の要素を含み、前記車端部は車頭又は車尾である、画像認識ユニットと、
前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両の側面領域と車端部の領域とを確定するための領域確定ユニットと、
前記側面領域に基づき側面の領域特徴を取得し、前記車端部の領域に基づき車端部の領域特徴を取得するための特徴取得ユニットとを含み、
前記画像認識ユニットは、前記処理対象画像を分割し、前記処理対象画像における各画素点のカテゴリラベルを取得し、同一のカテゴリラベルを具備する画素点が同一の特徴要素に属するようにするがことでき、かつ前記処理対象画像における各画素点のカテゴリラベルに基づき前記車両における特徴要素を取得することができ、
前記側面領域及び前記車端部の領域は、前記側面要素及び前記車端部の要素に基づいて定められる、前記側面領域と前記車端部の領域とを区画する境目と、前記車両が所在する車両領域と、に基づいて確定され、
前記側面の領域特徴及び前記車端部の領域特徴は、車両の３次元特徴領域を特徴付けるために用いられることを特徴とする装置。
前記領域確定ユニットは、
前記処理対象画像から、前記車両が所在する車両領域を確定するための車両領域確定ユニットと、
前記側面要素に近接する車端部の要素と、前記車端部の要素に近接する側面要素との前記処理対象画像における位置に基づき、前記側面領域と前記車端部の領域との境目を確定するための境目確定ユニットと、
前記境目、及び前記側面要素と前記車端部の要素との前記処理対象画像における位置に基づき、前記車両領域から、前記側面領域及び前記車端部の領域を確定するための領域確定サブユニットとを含むことを特徴とする請求項９に記載の装置。
前記装置はさらに、
前記車端部の領域特徴、前記側面の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と、前記車両を撮影することで前記処理対象画像を取得するための画像撮影装置との相対位置を確定するための相対位置確定ユニットを含むことを特徴とする請求項９に記載の装置。
前記相対位置確定ユニットは、
前記車端部の領域及び前記側面領域における、前記画像撮影装置に向かう領域をターゲット領域に確定するためのターゲット領域確定ユニットと、
前記ターゲット領域の領域特徴、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定するための相対位置確定サブユニットとを含むことを特徴とする請求項１１に記載の装置。
前記相対位置確定ユニットは具体的には、
前記車端部の領域と前記側面領域との境目、及び前記処理対象画像の撮影パラメータに基づき、前記車両と前記画像撮影装置との相対位置を確定することを特徴とする請求項１１に記載の装置。
前記側面の領域特徴は、前記側面領域の頂点、前記側面領域の中心点又は前記側面領域の辺の中間点の前記処理対象画像における位置を含み、前記車端部の領域特徴は、前記車端部の領域の頂点、前記車端部の領域の中心点又は前記車端部の領域の辺の中間点の前記処理対象画像における位置を含むことを特徴とする請求項９～１３のいずれか１項に記載の装置。
前記画像認識ユニットは、
前記処理対象画像で認識することで、前記車両が所在する車両領域を確定するための車両領域認識ユニットと、
前記処理対象画像から前記車両領域により形成された車両画像を切り取るための車両画像取得ユニットと、
前記車両画像を認識することで、前記車両の特徴要素を確定するための特徴要素認識ユニットとを含むことを特徴とする請求項９～１３のいずれか１項に記載の装置。
前記車頭の要素は、フロントランプ、フロントウィンドウ、バンパ及びフロントナンバープレートのうちの１つまたは複数を含み、前記車尾の要素は、リアランプ、リアウインドウ及びリアナンバープレートのうちの１つまたは複数を含み、前記側面要素は、車輪、サイドウィンドウ、バックミラー及びドアのうちの１つまたは複数を含むことを特徴とする請求項９～１３のいずれか１項に記載の装置。