WO2017169226A1 - 車種識別装置、車種識別システムおよび車種識別方法 - Google Patents

車種識別装置、車種識別システムおよび車種識別方法 Download PDF

Info

Publication number
WO2017169226A1
WO2017169226A1 PCT/JP2017/005488 JP2017005488W WO2017169226A1 WO 2017169226 A1 WO2017169226 A1 WO 2017169226A1 JP 2017005488 W JP2017005488 W JP 2017005488W WO 2017169226 A1 WO2017169226 A1 WO 2017169226A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
vehicle type
type identification
rule
Prior art date
Application number
PCT/JP2017/005488
Other languages
English (en)
French (fr)
Inventor
大介 上田
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to EP17773774.9A priority Critical patent/EP3438851A4/en
Priority to US16/088,546 priority patent/US20190114494A1/en
Priority to CN201780020732.9A priority patent/CN108885636A/zh
Priority to JP2018508543A priority patent/JP6906144B2/ja
Publication of WO2017169226A1 publication Critical patent/WO2017169226A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Definitions

  • a vehicle recognition device that processes a captured image of a vehicle imaged by an imaging device such as a camera and discriminates the vehicle name of the vehicle is known (see Patent Document 1).
  • Patent Document 1 includes a feature amount extraction unit that extracts a feature amount of a front grille of a vehicle from a captured image, and a feature amount storage unit that stores a feature amount of a front grill corresponding to each vehicle type of the vehicle.
  • the vehicle name of the vehicle in which the feature value of the extraction means and the feature quantity of the feature value storage means are collated and the similarity is maximum and exceeds a predetermined threshold is captured in the captured image.
  • a vehicle recognizing device for discriminating the above is disclosed.
  • Patent Document 1 describes that the license plate of the vehicle, the left and right headlamps, the left and right fog lamps, the front spoiler, and the emblem relative positional relationship, and the feature amount of the front grille including these outer shapes are described. Yes.
  • searching for the target vehicle type because it is determined by the characteristics of the front grill in general, if only the front grille is captured, the other parts are similar to the target vehicle type, but other parts include images that are not similar to the target vehicle type. There is a problem that the candidate images are extracted and the work becomes difficult.
  • This disclosure is intended to provide a vehicle type identification device, a vehicle type identification system, and a vehicle type identification method capable of extracting a target vehicle with high accuracy by narrowing down to a specific partial area.
  • a vehicle type identification device of the present disclosure is a vehicle type identification device that identifies a vehicle type of the vehicle based on a vehicle image of a vehicle imaged by an imaging device, and the vehicle type identification device includes a processor and a storage device.
  • the vehicle image and a score indicating the certainty that the vehicle in the vehicle image is a specific vehicle type are recorded, and the processor specifies the vehicle type.
  • the first vehicle image list that satisfies the search condition is extracted using the first rule based on the search condition and the score, and the first vehicle image list is displayed.
  • the vehicle type identification system includes a display that displays the vehicle type identification device, the imaging device for imaging a vehicle, the vehicle image, the first vehicle image list, and the second vehicle image list.
  • An apparatus that displays the vehicle type identification device, the imaging device for imaging a vehicle, the vehicle image, the first vehicle image list, and the second vehicle image list.
  • the vehicle type identification method of the present disclosure is a vehicle type identification method for identifying a vehicle type of the vehicle based on a vehicle image of the vehicle imaged by an imaging device, the vehicle image being an image of the vehicle, and the vehicle image
  • a step of recording a score indicating the certainty that the vehicle in the vehicle is a specific vehicle type a step of acquiring a search condition that is information for specifying the vehicle type, and the search condition and the score , Extracting a first vehicle image list that satisfies the search condition using a first rule, displaying the first vehicle image list on a display device, and specifying at least a part of the vehicle image Based on the step of obtaining the part specifying information, the step of generating a second rule based on the part specifying information, the search condition and the score, A extracting a second vehicle image list that applies to the search condition using a second rule that serial generated, a.
  • FIG. 1 is a block diagram of a vehicle type identification system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a list table illustrating an example of a vehicle image DB according to the vehicle type identification system of the present disclosure.
  • FIG. 3 is a diagram illustrating a list table illustrating an example of a score DB according to the vehicle type identification system of the present disclosure.
  • FIG. 4 is a flowchart illustrating an example of a procedure for creating a vehicle image DB according to the vehicle type identification system of the present disclosure.
  • FIG. 5A is a conceptual diagram illustrating an example of a partial region assigned in the vehicle type identification system of the present disclosure.
  • FIG. 5B is a conceptual diagram illustrating an example of a partial region assigned in the vehicle type identification system of the present disclosure.
  • FIG. 6 is a flowchart illustrating an example of a search procedure according to the vehicle type identification system of the present disclosure.
  • FIG. 7 is a conceptual diagram illustrating an example of a list and a vehicle image displayed according to the first rule of the vehicle type identification system of the present disclosure.
  • FIG. 8 is a conceptual diagram illustrating an example of a reference image displayed in the vehicle type identification system according to the present disclosure.
  • FIG. 9 is a conceptual diagram illustrating an example of a list and vehicle images displayed according to the second rule of the vehicle type identification system of the present disclosure.
  • FIG. 10A is a diagram showing an outline of the narrowing-down procedure, and is a diagram of vehicle images corresponding to the first vehicle image list L1 similar to FIG. FIG.
  • this embodiment specifically discloses a vehicle type identification device, a vehicle type identification system, and a vehicle type identification method according to the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
  • the accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the claimed subject matter.
  • FIG. 1 is a block diagram showing a hardware configuration for realizing the vehicle type identification system of the present disclosure.
  • the hardware configuration for realizing the vehicle type identification system 1 includes an imaging device 2, a display device 3, a vehicle type identification device 4, and a bus 5 that connects them.
  • the vehicle type identification device 4 includes an input device 6, a storage device 7, and a processor 8.
  • the input device 6 of the vehicle type identification device 4 is an operation unit that operates the vehicle type identification device 4 with an input device such as a keyboard or a mouse.
  • the input device 6 is used when a user inputs various commands to the vehicle type identification device 4 and changes or updates information in a database (DB).
  • DB database
  • the storage device 7 of the vehicle type identification device 4 is, for example, a RAM, a ROM, a hard disk or the like.
  • the storage device 7 stores various programs and various data for realizing each function of the vehicle type identification system 1, and a vehicle basic DB, a vehicle image DB, a score DB, and the like, which are used for vehicle type identification processing, which will be described later. .
  • a list of the vehicle image DB and the score DB stored in the storage device 7 will be described with reference to FIGS.
  • FIG. 2 shows an example of a vehicle image DB stored in the storage device 7.
  • vehicle image DB “image time” of the date of the image taken by the image pickup device 2 corresponding to “image name” and “image name”, which are the numbers of vehicle images taken by the image pickup device 2 and used as keys of the database.
  • Imaging device ID "which is the number of the imaging device 2 assigned to each imaging device 2 that has captured each vehicle image is registered.
  • a “number plate” of a vehicle imaged as vehicle information, “number plate coordinates (X, Y)” for extracting a front image and specifying a partial region R, and the like are also registered.
  • FIG. 3 shows an example of the score DB stored in the storage device 7.
  • the score DB an “image name” corresponding to the vehicle image DB and a “partial region No” of each partial region R are automatically generated.
  • a score for each vehicle type is defined in each partial region R.
  • the score is a value indicating the certainty that the partial area is a partial area of a specific vehicle type.
  • the score is calculated by applying the feature amount automatically calculated in each partial region R to a score calculation model defined in advance for each partial region R for each vehicle type and registered in the vehicle basic DB.
  • the automatically calculated feature quantity for example, HOG (Histograms of Oriented Gradients) feature quantity or dense SIFT (Scale-Invariant Feature Transform) feature quantity may be cited.
  • FIG. 4 is a flowchart showing an example of creating a score DB. The procedure for creating the score DB will be described with reference to FIG.
  • the processor 8 calculates a score by applying the calculated feature amount for each partial region R to a score calculation model that is defined in advance for each partial region R for each vehicle type and registered in the vehicle basic DB. (ST104).
  • the processor 8 registers the calculated score (for example, 0.86) as the score of the vehicle type A of the partial region R0 of the image img00001, and sequentially calculates the score value calculated for each image and each partial region as the vehicle type score. It is registered in the score DB stored in the storage device 7 (ST105).
  • the processor 8 of the vehicle type identification device 4 is a CPU or the like, reads various programs from the storage device 7, acquires search conditions, extracts a vehicle image list, calculates feature values in the partial region R of the vehicle, and performs data processing. To control the entire vehicle type identification system 1.
  • FIG. 6 is a flowchart showing an example of searching for a vehicle type.
  • the user inputs search conditions to the input device 6.
  • the search conditions are, for example, a vehicle type, an imaging device ID, a shooting time range, and the like.
  • the search condition can be said to be information for specifying a target vehicle image. For example, if the user wants to search for a vehicle image “an image obtained by imaging the vehicle type AAA and taken by an imaging device near the A intersection at around ** month, day, day,” enter search conditions. It is sufficient to express such a condition by using.
  • the search condition includes at least a vehicle type. A part of the search condition may be a wild card.
  • the processor 8 acquires the search condition (ST201).
  • the processor 8 sets a score calculation rule, which is a rule composed of the partial area R and the weight of each partial area (R0, R1,...) (ST203).
  • the calculation rule set in ST203 is a rule (first rule) used for primary narrowing based on the vehicle type in the search condition.
  • the first rule is preferably a universal rule.
  • the processor 8 reads the score of the vehicle image in the search target image list from the score DB (ST204).
  • the processor 8 calculates a discrimination score according to the score of the vehicle image read in ST204 and the calculation rule (ST205).
  • the discrimination score is a score calculated by applying the score of the vehicle image to the calculation rule.
  • ST205 a discrimination score is calculated for each vehicle image for all vehicle types that can be search conditions.
  • the first rule is a rule that weights the entire partial region R equally. Therefore, the discrimination score for the vehicle type “A” of img00001 is (0.86 + 0.01 + 0.77 + 0.45 + 0.23 + 0. 65) divided by 6.
  • the processor 8 performs vehicle type discrimination for discriminating which vehicle type the vehicle image is based on the discrimination score (ST206).
  • Various rules can be considered for causing the processor 8 to discriminate which vehicle type the vehicle image is based on the discrimination score. For example, you may make the processor 8 discriminate
  • the processor 8 updates the display target image list based on the vehicle type discrimination result (ST207). If the vehicle type determined for the vehicle image is the search target vehicle type, the processor 8 adds the vehicle image to the display target image list.
  • the display target image list is a list including information including information existing in the vehicle image DB such as the date and time when the vehicle image was captured and the imaging device ID that captured the vehicle image.
  • the processor 8 displays a display target image list and a plurality of vehicle images corresponding to the display target image list on the display device 3 (ST208) (see FIG. 7).
  • the first vehicle image list L1 is displayed on the display device 3 as an example of the display target image list.
  • a plurality of vehicle images corresponding to the first vehicle image list L1 are displayed on the display device 3 as an example of a plurality of vehicle images corresponding to the display target image list.
  • the processor 8 displays a reference image (for example, catalog image: see FIG. 8) of the search target vehicle type (ST209).
  • a reference image for example, catalog image: see FIG. 8 of the search target vehicle type (ST209).
  • the user compares the reference image with a plurality of vehicle images corresponding to the first vehicle image list L1
  • the user can clearly select a vehicle image that feels different from the reference image among the vehicle images displayed in ST208. It ’s different from the target model. ”
  • the user can determine that the vehicle image that feels close to the reference image is “it seems to be the target vehicle type”.
  • the reference image functions as a guideline for selecting a target vehicle type.
  • Search can be performed automatically. If the user's skill is high, the target vehicle type can be determined without referring to the reference image, so that the reference image may not be displayed on the display device 3.
  • a user who has visually recognized a plurality of displayed vehicle images includes a vehicle image including a vehicle that is likely to be a target vehicle type, and a vehicle image including a vehicle that is different from the target vehicle type. Recognize that both are included.
  • the user performs the following operation in order to increase the ratio of vehicle images including a vehicle that is likely to be the target vehicle type among the plurality of displayed vehicle images.
  • the user designates the vicinity of the headlamp as the specific partial region R0 using the input device 6 from among a plurality of partial regions R (see FIG. 5A) divided in advance in a vehicle image including a vehicle that is likely to be the target vehicle type. (Refer to the hatched portion in FIG. 5B).
  • the designation is performed by clicking a part of the vehicle image.
  • designated should just specify a partial area
  • the processor 8 acquires the user's designation as narrowing-down information that identifies at least a partial region R of the vehicle image (YES in ST210).
  • the processor 8 updates the search target image list (first vehicle image list L1) to the display target image list (ST211).
  • the population to be searched in later processing is narrowed down from the search target image list that is the population extracted in the latest ST202.
  • the processor 8 updates the score calculation rule as the second rule based on the narrowing down information (ST212).
  • the second rule based on the narrowing down information.
  • (1) only the specific partial region R in which the part specified by the refinement information exists can be set as the partial region R used in the second rule (calculation rule). This means that the first rule is changed so that the weight of the specific partial region R is 1 and the other partial regions are 0.
  • (2) The weight of the specific partial region R is increased more than other partial regions (for example, the weight of the specific partial region R0 is 0.5, and the weights of the other partial regions R1, R2,. Or the weight of the specific partial region R0 is 1 and the weights of the other partial regions R1, R2,.
  • the first rule set in ST203 is a rule for calculating a universally obtained score regardless of the location of the partial area.
  • the second rule set in ST212 is a rule for calculating a score by imparting bias to the score of the specific partial region R.
  • the processor 8 generates the second rule, calculates the discrimination score of ST205, performs vehicle type discrimination using the discrimination score based on the second rule (ST206), the second vehicle image list L2 and the second vehicle
  • the vehicle image corresponding to L2 is displayed on the display device 3 in the image list (ST208) (see FIG. 9). With reference to the display result, the user can identify the vehicle image in which the target vehicle type is captured, and can find the target vehicle type at an early stage.
  • FIG. 10A is the same as FIG. 7 and is displayed as a vehicle image corresponding to the first vehicle image list L1 of the user.
  • FIG. 10B corresponds to FIG. 5B and shows that a specific partial region (for example, R0) is designated by the user and further refined search is performed.
  • FIG. 10C is a display of a refinement search result corresponding to FIG. 9, and the vehicle image is refined. If it is determined that there are many vehicle images searched in the search result, it is possible to specify another specific partial area (for example, R2) and perform the search again.
  • another specific partial area for example, R2
  • the vehicle type identification device 4 of the present embodiment is the vehicle type identification device 4 that identifies the vehicle type of the vehicle based on the vehicle image of the vehicle imaged by the imaging device 2, and the vehicle type identification device 4 is a processor. 8 and a storage device 7, and the storage device 7 is recorded with a vehicle image that is an image of the vehicle and a score that indicates the certainty that the vehicle is a specific vehicle type.
  • the score is defined for each of the plurality of partial regions R in the vehicle image, and the second rule is the score of at least one partial region (for example, R0).
  • This is a rule for increasing the weight of the first rule compared to the first rule. Thereby, it can narrow down by the partial area R with the characteristic of a vehicle model, and narrowing down with more accuracy is attained.
  • the second rule uses the score of only at least one partial area. As a result, the comparison is easy in the characteristic partial region R of the vehicle type, and an efficient search is possible.
  • the first rule is a rule using a score obtained by equally weighting all the partial regions R of the front image in the vehicle image
  • the second rule is In this rule, the score weight of at least one partial region R included in the front image is made larger than the score weight of other partial regions R included in the front image.
  • the score is calculated based on the feature amount of each partial region R. Thereby, the difference in the score in each partial region R is obtained, and narrowing down of the partial regions R becomes easy.
  • the processor 8 uses the first vehicle image list L1 or the second vehicle image as the reference image obtained by imaging the same type of vehicle as the vehicle image that meets the search condition.
  • the information is displayed on the display device 3 together with the vehicle image list L2.
  • the vehicle type identification system 1 of the present embodiment includes the vehicle type identification device 4, the imaging device 2 for imaging the vehicle, the vehicle image, the first vehicle image list L1, and the second vehicle image list L2. And a display device 3 for displaying. Thereby, it is possible to construct a system that can narrow down to a specific partial area and extract a target vehicle with high accuracy.
  • the vehicle type identification method of the present embodiment is a vehicle type identification method for identifying the vehicle type of the vehicle based on the vehicle image of the vehicle imaged by the imaging device 2, and includes a vehicle image that is an image of the vehicle imaged and A step of recording a score indicating the certainty that the vehicle is a specific vehicle type, a step of acquiring a search condition that is information for specifying the vehicle type, a first condition based on the search condition and the score, A step of extracting a first vehicle image list L1 that satisfies a search condition using a rule; a step of displaying the first vehicle image list L1 on the display device 3; and part specifying information for specifying at least a part of the vehicle image.
  • a extracting a second vehicle image list L2 is true search conditions, a.
  • the vehicle type identification device, the vehicle type identification system, and the vehicle type identification method of the present disclosure are useful for applications in which a target vehicle can be found early from a large number of vehicle images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

特定の部分領域に絞り込んで目的の車両を精度良く抽出できる車種識別装置、車種識別システムおよび車種識別方法を提供するために、車種識別システムは、撮像装置と、表示装置と、車種識別装置と、それらを接続するバスとを含み、車種識別装置は、入力装置と、記憶装置と、プロセッサとを有する。ユーザは、入力装置で検索を行い、プロセッサは当該検索条件から、第1のルールで第1の車両画像リストと車両画像と参照画像とを表示装置に表示させる。ユーザは参照画像を参照して、目的の車種の特徴を調べ、特徴のある部分領域を特定する。プロセッサは、特定された部分領域の部分特定情報を取得して、第2のルールに基づき検索し、第2の車両画像リストと車両画像を表示装置に表示させる。

Description

車種識別装置、車種識別システムおよび車種識別方法
 本開示は、車両をカメラ等で撮像した撮像画像に基づいて車両を識別する車種識別装置、車種識別システムおよび車種識別方法に関する。
 カメラ等の撮像装置で撮像した車両の撮像画像を処理し、その車両の車名を判別する車両認識装置が知られている(特許文献1参照)。
 特許文献1には、撮像画像から車両のフロントグリルの特徴量を抽出する特徴量抽出手段と、車両の車種毎に対応したフロントグリルの特徴量を記憶する特徴量記憶手段とを備え、特徴量抽出手段の特徴量と特徴量記憶手段の特徴量とを照合し、その類似度が最大で且つ予め定めた閾値を超えている車名を撮像画像に撮像されている車両の車名であることを判別する車両認識装置が開示されている。
特許第5338255号公報
 特許文献1には、車両のナンバープレート、左右のヘッドランプ、左右のフォッグランプ、フロントスポイラー、およびエンブレムの相対位置関係、およびこれらの外形形状を含むフロントグリルの特徴量を抽出することが記載されている。しかしながら、目的の車種を検索する場合、フロントグリル全般の特徴で判定するため、フロントグリルのみを捉えれば目的の車種に似ているもののその他の部分は目的の車種に似ていない画像を含む、多くの候補画像が抽出され作業が大変になるという課題がある。
 本開示は、特定の部分領域に絞り込んで目的の車両を精度良く抽出できる車種識別装置、車種識別システムおよび車種識別方法を提供することを目的とする。
 本開示の車種識別装置は、撮像装置により撮像された車両の車両画像に基づいて前記車両の車種を識別する車種識別装置であって、当該車種識別装置は、プロセッサと、記憶装置と、を有し、前記記憶装置には、前記車両画像と、前記車両画像中の前記車両が特定の車種であることの確からしさを示すスコアと、が記録されており、前記プロセッサは、車種を特定するための情報を含む検索条件を取得し、前記検索条件および前記スコアに基づき、第1のルールを用いて前記検索条件に当てはまる第1の車両画像リストを抽出し、前記第1の車両画像リストを表示装置に表示し、前記車両画像の少なくとも一部分を特定する部分特定情報を取得し、前記部分特定情報に基づいて第2のルールを生成し、前記検索条件および前記スコアに基づき、前記生成した第2のルールを用いて前記検索条件に当てはまる第2の車両画像リストを抽出する。
 本開示の車種識別システムは、前記車種識別装置と、車両を撮像するための前記撮像装置と、前記車両画像、前記第1の車両画像リストと、前記第2の車両画像リストとを表示する表示装置と、を備える。
 本開示の車種識別方法は、撮像装置により撮像された車両の車両画像に基づいて前記車両の車種を識別する車種識別方法であって、車両が撮像された画像である車両画像と、前記車両画像中の前記車両が特定の車種であることの確からしさを示すスコアと、を記録するステップと、車種を特定するための情報である検索条件を取得するステップと、前記検索条件および前記スコアに基づき、第1のルールを用いて前記検索条件に当てはまる第1の車両画像リストを抽出するステップと、前記第1の車両画像リストを表示装置に表示するステップと、前記車両画像の少なくとも一部分を特定する部分特定情報を取得するステップと、前記部分特定情報に基づいて第2のルールを生成するステップと、前記検索条件および前記スコアに基づき、前記生成した第2のルールを用いて前記検索条件に当てはまる第2の車両画像リストを抽出するステップと、を有する。
 本開示によれば、部分特定情報による第2のルールに基づいて検索を絞り込むことで候補の車両画像を少なくすることができ、検索効率が向上し、目的の車両を早期に発見しやすくなる車種識別装置、車種識別システムおよび車種識別方法を提供できる。
図1は、本開示の一実施形態に係る車種識別システムのブロック図である。 図2は、本開示の車種識別システムに係る車両画像DBの一例を示すリスト表を示す図である。 図3は、本開示の車種識別システムに係るスコアDBの一例を示すリスト表を示す図である。 図4は、本開示の車種識別システムに係る車両画像DBの作成手順の一例を示すフローチャートである。 図5Aは、本開示の車種識別システムで割り当てられる部分領域の一例を示す概念図である。 図5Bは、本開示の車種識別システムで割り当てられる部分領域の一例を示す概念図である。 図6は、本開示の車種識別システムに係る検索手順の一例を示すフローチャートである。 図7は、本開示の車種識別システムの第1のルールにより表示されるリストと車両画像の一例を示す概念図である。 図8は、本開示の車種識別システムで表示される参照画像の一例を示す概念図である。 図9は、本開示の車種識別システムの第2のルールにより表示されるリストと車両画像の一例を示す概念図である。 図10Aは、絞込み手順の概要を示す図であり、図7と同様の第1の車両画像リストL1に対応する車両画像の図である。 図10Bは、絞込み手順の概要を示す図であり、図5Bに対応しユーザにより特定部分領域を指定して、更に絞り込み検索を行うことを示す図である。 図10Cは、絞込み手順の概要を示す図であり、図9に対応する絞り込み検索結果の表示の図である。
 以下、適宜図面を参照しながら、本開示に係る車種識別装置、車種識別システムおよび車種識別方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
 以下、本開示を実施するための好適な本実施形態について、図面を参照して詳細に説明する。
 <構成>
 図1から図5を用いて車種識別システムの一例の構成を説明する。
 図1は、本開示の車種識別システムを実現するためのハードウェア構成を示すブロック図である。
 本開示に係る車種識別装置、車種識別システムおよび車種識別方法は、撮像装置により撮像された車両の画像に車両が特定の車種であることの確からしさを示すスコアが記録されたデータベースを参照し、かつ、ユーザによる車両の部分領域の指定を受け付けることで、目的の車種を識別する装置、システムおよび方法である。
 本開示で述べる車両とは、道路交通法で定める、普通自動車を主に指す。本開示は、フロント部に特徴のある車両に対しても広く適用可能である。車種とは、車両の種類を特定する情報である。車種を示す情報の例としては型式が挙げられる。また、車種を示す情報として年式、一般的に知られている車名(通称名)、車両の製造メーカ名、グレード、等を利用してもよい。型式を用いずに車両の種類を特定する表現とは、例えば「AA社のYY年式のZZZ(通称名)」という表現である。車種識別とは車両が撮像された画像である車両画像から車種を特定することである。
 図1に示すように、本開示に係る車種識別システム1を実現するためのハードウェア構成は、撮像装置2と、表示装置3と、車種識別装置4と、それらを接続するバス5とを含む。車種識別装置4は、入力装置6と、記憶装置7と、プロセッサ8とを有する。
 撮像装置2は、撮像画像を撮像するCCDカメラ等である。撮像装置2は、主に交通状態の把握やスピード違反車を取り締まるために道路上に配置される。撮像装置2は、走行する車両を略正面(略前方)から撮像する。尚、撮像装置2は、駐車場や施設の入出ゲートの近傍に設置されていても良い。撮像装置2で車両が撮像された画像である車両画像は、記憶装置7の車両画像DBに登録される。なお、撮像装置2は、車両を略正面から撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
 表示装置3は、モニタ(ディスプレイ)等である。表示装置3は、検索結果の基づくリストや車両画像を表示する表示画面を有する。表示装置3は、表示画面を指等で操作可能なタッチパネルでも良い。
 車種識別装置4の入力装置6は、例えば、キーボードやマウス等の入力デバイスで車種識別装置4を操作する操作部である。入力装置6は、ユーザが車種識別装置4に各種の命令を入力したり、データベース(DB)の情報を変更または更新したりするのに使用される。
 車種識別装置4の記憶装置7は、例えばRAM、ROM、ハードディスク等である。記憶装置7は、車種識別システム1の各機能を実現するための各種プログラムおよび各種データ、ならびに、車種識別処理に用いられ、後述する車両基本DB、車両画像DB、スコアDB等を格納している。
 図2、図3に基づいて、記憶装置7に格納されている車両画像DBおよびスコアDBのリストを説明する。
 図2は、記憶装置7に格納されている車両画像DBの一例を示す。車両画像DBには、撮像装置2が撮像しデータベースのキーとなる車両画像の番号である「画像名」、「画像名」に対応して撮像装置2が撮像した年月日時刻の「撮影時刻」、各車両画像を撮影した各撮像装置2に付与されている撮像装置2の番号である「撮像装置ID」が登録される。また、車両情報として撮像された車両の「ナンバープレート」、フロント画像を抽出し部分領域Rを特定するための「ナンバープレート座標(X,Y)」、等も登録されている。
 図3は、記憶装置7に格納されているスコアDBの一例を示す。スコアDBでは、車両画像DBに対応する「画像名」、各部分領域Rの「部分領域No」が自動生成される。スコアDBでは、各部分領域Rにおいて、各車種に対するスコアが定義されている。スコアとは、当該部分領域が特定の車種の部分領域であることの確からしさを示す値である。スコアは、各部分領域Rにおいて自動的に算出された特徴量を、予め車種毎の部分領域R毎に定義され車両基本DBに登録されているスコア算出モデルにあてはめることで、算出される。自動的に算出される特徴量の一例としては、例えば、HOG(Histograms of Oriented Gradients)特徴量、またはdense SIFT(Scale-Invariant Feature Transform)特徴量などが挙げられる。
 本実施形態では、「車種Aスコア」、「車種Bスコア」、「車種Cスコア」等が各車両画像の部分領域R毎に算出された結果を一例として示している(車種Aスコアとは当該部分領域がA車種の部分領域であることの確からしさを示す値である)。
 図4は、スコアDBを作成する一例を示すフローチャートである。図4に基づいてスコアDBの作成手順を説明する。
 プロセッサ8は、記憶装置7に格納されている車両画像DBに記載の画像名に基づいて記憶装置7から車両画像を1枚抽出する(ST101)。次に、プロセッサ8は、車両画像(例えばimg00001)から、例えば、車両画像DBに登録されているナンバープレート位置(例えばX1,Y1)に基づいてフロント画像を抽出し(ST102)、抽出したフロント画像を分割することで車両画像に部分領域Rを設定する。本実施形態では、図5Aに示されるように、フロント画像を6つの部分領域Rに分割している(図5A、R0~R5参照)。全部分領域Rは、車両画像内のフロント画像内で指定され、ナバープレートを中心として車両の左右外側および左右のヘッドランプを含む領域である。そして、プロセッサ8は、フロント画像における部分領域R毎の特徴量を、例えばdense SIFTを用いて算出する(ST103)。
 次に、プロセッサ8は、当該算出された部分領域R毎の特徴量を、予め車種毎の部分領域R毎に定義され車両基本DBに登録されているスコア算出モデルにあてはめることで、スコアを算出する(ST104)。
 そして、プロセッサ8は、算出されたスコア(例えば0.86)を、画像img00001の部分領域R0の車種Aのスコアとして登録し、順次、画像毎、部分領域毎に算出したスコア値を車種スコアとして記憶装置7に格納されているスコアDBに登録する(ST105)。
 車種識別装置4のプロセッサ8は、CPU等であり、記憶装置7から各種プログラムを読み出し、検索条件を取得して車両画像リストを抽出し、車両の部分領域Rにおける特徴量の演算やデータ処理を行い、車種識別システム1全体を制御する。
 <動作>
 図6から図10Cに基づいて、本開示の車種識別装置4の具体的な動作について説明する。以下の説明においてはユーザが特定の車両画像を、それまでに撮像した車両画像から検索する流れと併せて車種識別装置4の具体的な動作を説明する。
 図6は、車種を検索する一例を示すフローチャートである。
 ユーザは、入力装置6に検索条件を入力する。検索条件とは、例えば、車種、撮像装置ID、撮影時刻の範囲等である。検索条件は、目的の車両画像を特定するための情報ということができる。例えばユーザが「AAAという車種を撮像した画像であって、○月○日の○時ごろにA交差点付近の撮像装置によって撮影された画像」という車両画像を検索したい場合は、検索条件の入力を用いてそのような条件を表現すれば良い。本実施の形態において検索条件は車種を少なくとも含む。検索条件の一部はワイルドカードであってもよい。プロセッサ8は当該検索条件を取得する(ST201)。
 プロセッサ8は、検索条件に基づき検索対象画像リストを抽出(ST202)する。検索対象画像リストとは記憶装置7に記録された車両画像を、検索条件に基づいて絞り込んだ結果得られるリストである。ここでの絞り込みは検索条件のうちでも、撮像装置ID、撮影時刻の範囲などの形式的な条件に基づいて行われる。
 プロセッサ8は、部分領域Rと部分領域毎(R0、R1、・・)の重みからなるルールであるスコア算出ルールを設定する(ST203)。ST203で設定される算出ルールは、検索条件における車種に基づく1次的な絞込みに用いられるルール(第1のルール)である。第1のルールは普遍的なルールであることが望ましい。例えば、第1のルールは、全部分領域Rに対して均等に重みを持たせるルールとすることができる。全部分領域Rに対して均等に重みを持たせるルールを数式的に表現すればスコア=(R0+R2+R3+R4+R5)/6)となる。
 次に、プロセッサ8は、スコアDBから検索対象画像リスト内の車両画像のスコアを読み出す(ST204)。
 プロセッサ8は、ST204で読み出した車両画像のスコア、算出ルールに応じて判別スコアを算出する(ST205)。判別スコアとは、車両画像のスコアを算出ルールにあてはめて算出されるスコアである。ST205においては、検索条件となりうる全ての車種について車両画像毎に判別スコアが算出される。本実施の形態では第1のルールは全部分領域Rに対して均等に重みを持たせるルールなので、img00001の車種「A」についての判別スコアは(0.86+0.01+0.77+0.45+0.23+0.65)を6で割った値となる。
 そして、プロセッサ8は、判別スコアに基づいて車両画像がどの車種の画像かを判別する車種判別を行う(ST206)。プロセッサ8に判別スコアに基づいて車両画像がどの車種の画像かを判別させるためのルールは様々なものが考えられる。例えば、プロセッサ8に、判別スコアの最も高い車種が「A」である車両画像はA車種の画像であると判別させてもよい。また、プロセッサ8に、判別スコアが所定の値を超える車種が「A」である車両画像はA車種の画像であると判別させてもよい。なお、プロセッサ8に、判別スコアが所定値未満であれば「どの車種の画像でもない」と判別させてもよい。
 次に、プロセッサ8は、車種判別の結果に基づき表示対象画像リストを更新する(ST207)。プロセッサ8は、車両画像に対して判別された車種が、検索対象車種ならば当該車両画像を表示対象画像リストに追加する。表示対象画像リストは車両画像が撮像された日時、車両画像を撮像した撮像装置IDなど車両画像DBに存在する情報を含む情報からなるリストである。
 そして、プロセッサ8は、表示対象画像リストと、表示対象画像リストに対応する複数の車両画像を表示装置3に表示する(ST208)(図7参照)。本実施の形態では表示対象画像リストの一例として第1の車両画像リストL1を表示装置3に表示する。本実施の形態では、表示対象画像リストに対応する複数の車両画像の一例として第1の車両画像リストL1に対応する複数の車両画像を表示装置3に表示する。
 更に、プロセッサ8は検索対象車種の参照用画像(例えばカタログ画像:図8参照)を表示する(ST209)。ユーザが参照画像と第1の車両画像リストL1に対応する複数の車両画像とを比較することにより、ユーザはST208で表示された車両画像のうちでも明らかに参照画像と相違を感じる車両画像を「目的の車種とは違う」と判断できる。また、ユーザは参照画像に近いと感じる車両画像を「目的の車種らしい」と判断することができる。参照画像は、目的の車種を選定するためのガイドラインとして機能する。ユーザ(操作者)の技量によっては細かな車種の相違に気づかない場合もあり、また、初心者でも目的の車種を探すことが容易に可能となるため、参照画像を表示することでよりユーザが効率的に検索を行うことができる。なお、ユーザの技量が高い場合は参照画像を参照せずとも、目的の車種を判別することができるので、参照画像を表示装置3に表示しないことも可能である。
 以上のように、表示された複数の車両画像を視認したユーザは、表示された複数の車両画像は、目的の車種らしい車両を含む車両画像と、目的の車種とは違う車両を含む車両画像との双方を含むことを認識する。次にユーザは、表示される複数の車両画像における目的の車種らしい車両を含む車両画像が含まれる割合を高めるために、次の作業を行う。
 まず、ユーザは目的の車種らしい車両を含む車両画像と、目的の車種とは違う車両を含む車両画像との違いが車両画像中のどの箇所に表れているのかを認識する。例えば「ヘッドランプの形状が目的の車種とは異なる車両を含む車両画像が、目的の車種とは違う車両を含む車両画像に多く含まれる」とユーザが感じたとする。これは換言すれば、目的の車種らしい車両を含む車両画像と、目的の車種とは違う車両を含む車両画像との違いはヘッドランプの箇所に表れているとユーザが認識したことになる。
 次にユーザは、目的の車種らしい車両を含む車両画像において予め分割された複数の部分領域R(図5A参照)の中から、入力装置6を用いて、ヘッドランプ近辺を特定部分領域R0として指定する(図5B斜線部分参照)。当該指定は、車両画像の一部分をクリックするなどして行われる。また、当該指定は、部分領域を特定するものであればよい。例えば車両画像以外の画像の一部分を指定してもよい。また、キーボード操作による文字入力、音声操作などで部分領域を特定することで画像の一部分を指定してもよい。また、車両画像が分割されていることをユーザに明示する必要は無いが、図5Bに示すようにグリッドを用いて明示した場合はユーザにとっての使用性が向上する。
 プロセッサ8は、ユーザの指定を、車両画像の少なくとも一部分領域Rを特定する絞り込み情報として取得する(ST210がYES)。
 また、プロセッサ8は、検索対象画像リスト(第1の車両画像リストL1)を表示対象画像リストに更新(ST211)する。これにより、後の処理で検索対象となる母集団が、直近のST202で抽出された母集団である検索対象画像リストよりも絞り込まれる。なお、本開示において、検索対象画像リストを表示対象画像リストに更新することは必須ではない。本実施の形態のように検索対象画像リストを表示対象画像リストに更新することによれば、表示結果を2段階でフィルタリングできるため表示件数を削減することができるという利点がある。しかし、後述するように定める第2のルールに基づいて、第1のルールと同様の母集団(またはその他の母集団)に対して車種判別を行うようにしても、第1のルールよりも精度の良い判別結果を得ることができるという利点がある。
 そして、プロセッサ8は、絞り込み情報に基づいてスコア算出ルールを第2のルールとして更新する(ST212)。絞り込み情報に基づいて第2のルールを定める方法は様々なものが挙げられる。例えば(1)絞り込み情報で指定された部位が存在する特定部分領域Rのみを、第2のルール(算出ルール)で用いる部分領域Rに設定することができる。これは第1のルールを、特定部分領域Rの重みを1として、他の部分領域を0とするように変更したものを第2のルールとすることを意味する。また、(2)特定部分領域Rの重みを、他の部分領域よりも増す(例えば、特定部分領域R0の重みを0.5、その他の部分領域R1、R2・・の重みを0.1とするまたは特定部分領域R0の重みを1、その他の部分領域R1、R2・・の重みを0とする)ことも考えられる。そのほかには、特定部分領域Rのスコアの重みを、第1のルールに比べて大きくすることも考えられる。
 ST203で設定された第1のルールは、部分領域の場所によらず普遍的に得られるスコアを算出するルールである。それに対して、ST212で設定される第2のルールは、特定部分領域Rのスコアに偏りをもたせることでスコアを算出するルールである。
 プロセッサ8は、第2のルールを生成してST205の判別スコアを算出して、第2のルールに基づく判別スコアで車種判別を行い(ST206)、第2の車両画像リストL2と第2の車両画像リストにL2に対応する車両画像を表示装置3に表示する(ST208)(図9参照)。表示結果を参照して、ユーザは目的の車種が撮像されている車両画像の特定を行い、目的の車種を早期に発見できる。
 ST210において、絞り込み情報を取得できなかった場合(ST210がNO)、ST213に進み、ユーザが別の検索(例えば、同車種の別の撮像装置2や撮像時刻、他の車種等)を続行する場合(ST213がYES)ST201の検索条件受付に戻り、検索終了の場合(ST213がNO)はプログラムが終了する。
 上述の絞り込み手順の概要を、図10A,B,Cに示す。図10Aは、図7と同様であり、ユーザの第1の車両画像リストL1に対応する車両画像として表示される。図10Bは、図5Bに対応しユーザにより特定部分領域(例えばR0)を指定して、更に絞り込み検索を行うことを示している。図10Cは、図9に対応する絞り込み検索結果の表示であり、車両画像が絞り込まれる。尚、絞り込み検索結果において検索された車両画像が多いと判断した場合は、更に別の特定部分領域(例えばR2)を指定して、再度絞り込み検索を行うことも可能である。
 以上により、本実施形態の車種識別装置4は、撮像装置2により撮像された車両の車両画像に基づいて前記車両の車種を識別する車種識別装置4であって、当該車種識別装置4は、プロセッサ8と、記憶装置7と、を有し、記憶装置7には、車両が撮像された画像である車両画像と、車両が特定の車種であることの確からしさを示すスコアと、が記録されており、プロセッサ8は、車種を特定するための情報である検索条件を取得し、検索条件およびスコアに基づき、第1のルールを用いて検索条件に当てはまる第1の車両画像リストL1を抽出し、第1の車両画像リストL1を表示装置3に表示し、車両画像の少なくとも一部分を特定する部分特定情報を取得し、部分特定情報に基づいて第2のルールを生成し、検索条件およびスコアに基づき、生成した第2のルールを用いて検索条件に当てはまる第2の車両画像リストL2を抽出する。
 これにより、部分特定情報による第2のルールに基づいて検索を絞り込むことで検索効率が向上し、目的の車両を早期に発見できる。
 以上により、本実施形態の車種識別装置4は、スコアが、車両画像内の複数の部分領域Rの各々に定義されており、第2のルールが、少なくとも一つの部分領域(例えばR0)のスコアの重みを、第1のルールに比べて大きくするルールである。これにより、車種の特徴ある部分領域Rで絞り込みができ、より精度のある絞り込みが可能となる。
 以上により、本実施形態の車種識別装置4は、第2のルールが、少なくとも一つの部分領域のみのスコアを用いる。これにより、車種の特徴ある部分領域Rで比較が容易となり、効率の良い検索が可能となる。
 以上により、本実施形態の車種識別装置4は、第1のルールが、車両画像内のフロント画像の全部分領域Rを均等に重み付けして得られるスコアを用いるルールであり、第2のルールが、フロント画像に含まれる少なくとも一つの部分領域Rのスコアの重みを、フロント画像に含まれる他の部分領域Rのスコアの重みに比べて大きくするルールである。これにより、車種の特徴のある部分領域Rでの絞り込み検索ができ、目的の車種の早期発見に繋げることが可能となる。
 以上により、本実施形態の車種識別装置4は、スコアが、各部分領域Rの特徴量に基づき算出される。これにより、各部分領域Rでのスコアの相違が得られ、部分領域Rの絞り込みが容易となる。
 以上により、本実施形態の車種識別装置4は、特徴量が、dense SIFT(Scale-Invariant Feature Transform)により算出される数値である。これにより、特徴量の算出が容易となる。
 以上により、本実施形態の車種識別装置4は、プロセッサ8が、第2のルールを用いて、第1の車両画像リストL1を、より車両画像数の少ない第2の車両画像リストL2に絞り込む。これにより、検索される車両画像がより絞り込まれ、目的の車種を早期に発見できる。
 以上により、本実施形態の車種識別装置4は、プロセッサ8が、検索条件に当てはまる車両画像の車両と同種の車両を撮像して得られる参照画像を、第1の車両画像リストL1または第2の車両画像リストL2とともに表示装置3に表示する。これにより、車両の部分領域Rにおける特徴が不慣れな人でも見つけやすくなり、絞り込みが容易となる。
 以上により、本実施形態の車種識別システム1は、車種識別装置4と、車両を撮像するための撮像装置2と、車両画像、第1の車両画像リストL1と、第2の車両画像リストL2とを表示する表示装置3と、を備える。これにより、特定の部分領域に絞り込んで目的の車両を精度良く抽出できるシステムを構築できる。
 以上により、本実施形態の車種識別方法は、撮像装置2により撮像された車両の車両画像に基づいて車両の車種を識別する車種識別方法であって、車両が撮像された画像である車両画像と、車両が特定の車種であることの確からしさを示すスコアと、を記録するステップと、車種を特定するための情報である検索条件を取得するステップと、検索条件およびスコアに基づき、第1のルールを用いて検索条件に当てはまる第1の車両画像リストL1を抽出するステップと、第1の車両画像リストL1を表示装置3に表示するステップと、車両画像の少なくとも一部分を特定する部分特定情報を取得するステップと、部分特定情報に基づいて第2のルールを生成するステップと、検索条件およびスコアに基づき、生成した第2のルールを用いて検索条件に当てはまる第2の車両画像リストL2を抽出するステップと、を有する。
 これにより、部分特定情報による第2のルールに基づいて検索を絞り込むことで候補の車両画像を少なくすることができ、検索効率が向上し、目的の車両を早期に発見できる。
 以上、図面を参照して本開示に係る車種識別装置、車種識別システムおよび車種識別方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
 本開示の車種識別装置、車種識別システムおよび車種識別方法は、多数の車両画像の中から目的の車両を早期に発見できる用途に有用である。
 1 車種識別システム
 2 撮像装置
 3 表示装置
 4 車種識別装置
 5 バス
 6 入力装置
 7 記憶装置
 8 プロセッサ
 L1 第1の車両画像リスト
 L2 第2の車両画像リスト
 R 部分領域

Claims (10)

  1.  撮像装置により撮像された車両の車両画像に基づいて前記車両の車種を識別する車種識別装置であって、
     当該車種識別装置は、プロセッサと、記憶装置と、を有し、
     前記記憶装置には、前記車両画像と、前記車両画像中の前記車両が特定の車種であることの確からしさを示すスコアと、が記録されており、
     前記プロセッサは、
      車種を特定するための情報を含む検索条件を取得し、
      前記検索条件および前記スコアに基づき、第1のルールを用いて前記検索条件に当てはまる第1の車両画像リストを抽出し、
      前記第1の車両画像リストを表示装置に表示し、
      前記車両画像の少なくとも一部分を特定する部分特定情報を取得し、
      前記部分特定情報に基づいて第2のルールを生成し、
      前記検索条件および前記スコアに基づき、前記生成した第2のルールを用いて前記検索条件に当てはまる第2の車両画像リストを抽出する、
     車種識別装置。
  2.  請求項1に記載の車種識別装置であって、
     前記スコアが、前記車両画像内の複数の部分領域の各々に定義されており、
     前記第2のルールが、少なくとも一つの部分領域のスコアの重みを、前記第1のルールに比べて大きくするルールである、車種識別装置。
  3.  請求項2に記載の車種識別装置であって、
     前記第2のルールが、前記少なくとも一つの部分領域のみのスコアを用いる、車種識別装置。
  4.  請求項2に記載の車種識別装置であって、
     前記第1のルールが、前記車両画像内のフロント画像の全部分領域を均等に重み付けして得られるスコアを用いるルールであり、
     前記第2のルールが、前記フロント画像に含まれる少なくとも一つの部分領域のスコアの重みを、前記フロント画像に含まれる他の部分領域のスコアの重みに比べて大きくするルールである、車種識別装置。
  5.  請求項2に記載の車種識別装置であって、
     前記スコアが、各部分領域の特徴量に基づき算出される、車種識別装置。
  6.  請求項5に記載の車種識別装置であって、
     前記特徴量が、dense SIFT(Scale-Invariant Feature Transform)により
    算出される数値である、車種識別装置。
  7.  請求項1に記載の車種識別装置であって、
     前記プロセッサが、前記第2のルールを用いて、前記第1の車両画像リストを、より車両画像数の少ない前記第2の車両画像リストに絞り込む、車種識別装置。
  8.  請求項1に記載の車種識別装置であって、
     前記プロセッサが、前記検索条件に当てはまる車両画像の車両と同種の車両を撮像して得られる参照画像を、前記第1の車両画像リストまたは前記第2の車両画像リストとともに前記表示装置に表示する、車種識別装置。
  9.  請求項1に記載の車種識別装置と、
     車両を撮像するための前記撮像装置と、
     前記車両画像、前記第1の車両画像リストと、前記第2の車両画像リストとを表示する表示装置と、
     を備えた車種識別システム。
  10.  撮像装置により撮像された車両の車両画像に基づいて前記車両の車種を識別する車種識別方法であって、
     車種識別方法は、
     車両が撮像された画像である車両画像と、前記車両画像中の前記車両が特定の車種であることの確からしさを示すスコアと、を記録し、
     車種を特定するための情報である検索条件を取得し、
     前記検索条件および前記スコアに基づき、第1のルールを用いて前記検索条件に当てはまる第1の車両画像リストを抽出し、
     前記第1の車両画像リストを表示装置に表示し、
     前記車両画像の少なくとも一部分を特定する部分特定情報を取得し、
     前記部分特定情報に基づいて第2のルールを生成し、
     前記検索条件および前記スコアに基づき、前記生成した第2のルールを用いて前記検索条件に当てはまる第2の車両画像リストを抽出する、
     車種識別方法。
PCT/JP2017/005488 2016-03-29 2017-02-15 車種識別装置、車種識別システムおよび車種識別方法 WO2017169226A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17773774.9A EP3438851A4 (en) 2016-03-29 2017-02-15 VEHICLE MODEL IDENTIFICATION DEVICE, VEHICLE MODEL IDENTIFICATION SYSTEM, AND VEHICLE MODEL IDENTIFICATION METHOD
US16/088,546 US20190114494A1 (en) 2016-03-29 2017-02-15 Vehicle model identification device, vehicle model identification system, and vehicle model identification method
CN201780020732.9A CN108885636A (zh) 2016-03-29 2017-02-15 车型识别装置、车型识别系统以及车型识别方法
JP2018508543A JP6906144B2 (ja) 2016-03-29 2017-02-15 車種識別装置、車種識別システム、車種識別方法および車種識別プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-065192 2016-03-29
JP2016065192 2016-03-29

Publications (1)

Publication Number Publication Date
WO2017169226A1 true WO2017169226A1 (ja) 2017-10-05

Family

ID=59963042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005488 WO2017169226A1 (ja) 2016-03-29 2017-02-15 車種識別装置、車種識別システムおよび車種識別方法

Country Status (5)

Country Link
US (1) US20190114494A1 (ja)
EP (1) EP3438851A4 (ja)
JP (1) JP6906144B2 (ja)
CN (1) CN108885636A (ja)
WO (1) WO2017169226A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
CN111178292A (zh) * 2019-12-31 2020-05-19 东软集团(北京)有限公司 一种车型识别方法、装置及设备
JP2020144722A (ja) * 2019-03-08 2020-09-10 オムロン株式会社 車種判定装置、車種判定方法、および車種判定プログラム
CN111861680A (zh) * 2020-08-06 2020-10-30 南京三百云信息科技有限公司 基于配置的车型确定方法、装置以及电子终端

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10640060B2 (en) * 2016-03-17 2020-05-05 Innova Electronics Corporation Vehicle repair shop pre-inspection and post-inspection verification system
JP6791200B2 (ja) * 2018-05-11 2020-11-25 トヨタ自動車株式会社 捜索支援システム、捜索支援装置、及び、捜索支援方法
CN111222409A (zh) * 2019-11-26 2020-06-02 北京迈格威科技有限公司 车辆品牌的标注方法、装置及系统
US20210241208A1 (en) * 2020-01-31 2021-08-05 Capital One Services, Llc Method and system for identifying and onboarding a vehicle into inventory
CN115039157A (zh) * 2020-02-07 2022-09-09 三菱电机楼宇解决方案株式会社 停车车辆搜索系统
US11429664B1 (en) * 2022-03-21 2022-08-30 Verkada Inc. Hyperzoom attribute analytics on the edge

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213284A (ja) * 1998-01-28 1999-08-06 Mitsubishi Electric Corp 車種判別装置
JP2007299144A (ja) * 2006-04-28 2007-11-15 Mitsubishi Heavy Ind Ltd ロゴ判別装置および方法ならびにプログラム
JP2010102466A (ja) * 2008-10-23 2010-05-06 Omron Corp 車両認識装置
JP2014002534A (ja) * 2012-06-18 2014-01-09 Toshiba Corp 車種判別装置及び車種判別方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7920716B2 (en) * 2003-12-25 2011-04-05 Fujitsu Limited Vehicle search system and vehicle search method
US20050267657A1 (en) * 2004-05-04 2005-12-01 Devdhar Prashant P Method for vehicle classification
JP4715664B2 (ja) * 2006-07-27 2011-07-06 株式会社日立製作所 車両検索システム
US8392432B2 (en) * 2010-04-12 2013-03-05 Microsoft Corporation Make and model classifier
EP2601617A4 (en) * 2010-08-05 2017-12-06 Hi-Tech Solutions Ltd. Method and system for collecting information relating to identity parameters of a vehicle
CN102567380A (zh) * 2010-12-28 2012-07-11 沈阳聚德视频技术有限公司 在视频图像中检索车辆信息的方法
US9466000B2 (en) * 2011-05-19 2016-10-11 The Regents Of The University Of California Dynamic Bayesian Networks for vehicle classification in video
JP5423755B2 (ja) * 2011-09-28 2014-02-19 富士通株式会社 特定部位抽出プログラム
JP5974448B2 (ja) * 2011-10-25 2016-08-23 富士通株式会社 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム
CN105320705B (zh) * 2014-08-05 2018-09-14 北京大学 相似车辆的检索方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213284A (ja) * 1998-01-28 1999-08-06 Mitsubishi Electric Corp 車種判別装置
JP2007299144A (ja) * 2006-04-28 2007-11-15 Mitsubishi Heavy Ind Ltd ロゴ判別装置および方法ならびにプログラム
JP2010102466A (ja) * 2008-10-23 2010-05-06 Omron Corp 車両認識装置
JP2014002534A (ja) * 2012-06-18 2014-01-09 Toshiba Corp 車種判別装置及び車種判別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3438851A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
JP2020144722A (ja) * 2019-03-08 2020-09-10 オムロン株式会社 車種判定装置、車種判定方法、および車種判定プログラム
JP7525247B2 (ja) 2019-03-08 2024-07-30 オムロン株式会社 車種判定装置、車種判定方法、および車種判定プログラム
CN111178292A (zh) * 2019-12-31 2020-05-19 东软集团(北京)有限公司 一种车型识别方法、装置及设备
CN111861680A (zh) * 2020-08-06 2020-10-30 南京三百云信息科技有限公司 基于配置的车型确定方法、装置以及电子终端
CN111861680B (zh) * 2020-08-06 2024-03-29 南京三百云信息科技有限公司 基于配置的车型确定方法、装置以及电子终端

Also Published As

Publication number Publication date
JPWO2017169226A1 (ja) 2019-02-07
EP3438851A1 (en) 2019-02-06
CN108885636A (zh) 2018-11-23
US20190114494A1 (en) 2019-04-18
JP6906144B2 (ja) 2021-07-21
EP3438851A4 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
WO2017169226A1 (ja) 車種識別装置、車種識別システムおよび車種識別方法
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
JP4947185B2 (ja) 車両検索システムおよび車両検索方法
JP2022093550A (ja) 情報処理装置、情報処理方法及びプログラム
KR101834778B1 (ko) 교통 표지판 인식장치 및 방법
JP4721830B2 (ja) 画像検索方法及び装置
US20180268252A1 (en) Vehicle model identification device, vehicle model identification system comprising same, and vehicle model identification method
JP5103955B2 (ja) 画像検索方法、装置およびプログラム
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
CN111222409A (zh) 车辆品牌的标注方法、装置及系统
JP2013092905A (ja) 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム
CN110008362A (zh) 一种案件归类方法及装置
JP2014115961A (ja) 情報処理装置、車両識別方法、及び車両識別プログラム
JP5004082B2 (ja) 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置
JP2005209177A (ja) 車両検索システムおよび車両検索方法
JP2898562B2 (ja) ナンバープレート決定方法
US11651582B2 (en) Individual identification system
JP5327241B2 (ja) 物体識別装置
CN113657378B (zh) 车辆跟踪方法、车辆跟踪系统和计算设备
CN114724128A (zh) 一种车牌识别方法、装置、设备和介质
US20230147924A1 (en) Image processing system, imaging system, image processing method, and non-transitory computer-readable medium
KR102259740B1 (ko) 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법
JP6539720B1 (ja) 画像処理装置
JP2008176625A (ja) 文字認識結果の管理装置およびその方法並びにコンピュータプログラム
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508543

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017773774

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017773774

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773774

Country of ref document: EP

Kind code of ref document: A1