WO2018220824A1 - 画像識別装置 - Google Patents

画像識別装置 Download PDF

Info

Publication number
WO2018220824A1
WO2018220824A1 PCT/JP2017/020623 JP2017020623W WO2018220824A1 WO 2018220824 A1 WO2018220824 A1 WO 2018220824A1 JP 2017020623 W JP2017020623 W JP 2017020623W WO 2018220824 A1 WO2018220824 A1 WO 2018220824A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
feature point
size
identification
Prior art date
Application number
PCT/JP2017/020623
Other languages
English (en)
French (fr)
Inventor
堅也 杉原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/020623 priority Critical patent/WO2018220824A1/ja
Publication of WO2018220824A1 publication Critical patent/WO2018220824A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • an identifier that identifies an object to be identified from an image captured by an imaging device such as a camera or an optical sensor is known.
  • an imaging device such as a camera or an optical sensor.
  • a technique for performing image identification with high accuracy in a classifier there is a machine learning technique, and a neural network or a support vector machine is widely used.
  • Image identification by machine learning consists of two stages of learning processing and identification processing.
  • the classifier learns both the input image and a teacher signal indicating what the image is, and generates a learned model.
  • the discriminator discriminates the discrimination target using the generated learned model for the input image.
  • the generated learned model can be used any number of times. Note that in some machine learning methods such as a support vector machine, a learning process and an identification process may be performed using a feature amount extracted from the image instead of the image.
  • the size of the image area that is input to the learned model or the size of the image area that is used to extract the feature amount that is input to the learned model is important. . That is, it is preferable in terms of identification accuracy that the discriminator performs the discrimination processing by cutting out the target region to be subjected to the discrimination processing from the image with a size suitable for the discrimination target.
  • the size of the identification target image that is, the number of pixels occupied by the identification target varies from image to image. Therefore, when the target area cut out from the image by the classifier is significantly different from the size on the image to be identified, the classification accuracy is deteriorated.
  • the discriminator cuts out a plurality of sizes that can assume the target region for the same location in the image, and statistically processes the output (certainty factor) of the learned model for the plurality of target regions. , Improving identification accuracy.
  • the identification unit needs to perform identification processing on all of the plurality of target regions at the same location. For this reason, the amount of calculation, the calculation time, and the hardware cost in the identification process increase.
  • Feature point extractor 11 extracts feature points from the image.
  • the feature point is, for example, an edge or a corner, and is a point that becomes a candidate coordinate where an identification target exists in the image.
  • the feature point extractor 11 extracts all the feature points.
  • an existing method can be used. For example, a method capable of calculating at high speed for an ORB feature amount or an AGAST feature amount is known.
  • the discriminator 14 discriminates the discrimination target by machine learning for the target area calculated by the target area calculator 13 in the image.
  • the classifier 14 performs the above identification for each target area.
  • an image identification method by the classifier 14 an existing method can be used.
  • Data indicating the discrimination result by the discriminator 14 is output to the outside and displayed by, for example, a display device.
  • the classifier 14 performs in advance a learning process that is necessary in the identification process using machine learning. Examples of machine learning methods that can be implemented by the classifier 14 include those using a neural network such as a multi-layer perceptron or a convolutional neural network, a support vector machine, or a random forest.
  • the classifier 14 only needs to be able to perform image identification, and other machine learning methods may be used. Further, when the classifier 14 performs image identification on the target region, feature quantity extraction such as HOG (Histograms of Oriented Gradients) may be performed before the input to the learned model.
  • HOG Hemograms of Oriented Gradients
  • the size calculation unit 131 calculates the size (number of pixels) of the identification target on the image from the distance calculated by the distance calculator 12 and the actual size of the identification target. Examples of the size include an area occupied by the identification target, a height, or a width. When a plurality of feature points are extracted by the feature point extractor 11, the size is calculated for each feature point. In addition, when there are a plurality of identification targets, the size calculation unit 131 calculates the size for each identification target.
  • the fixed distance is set based on the size calculated by the size calculator 131.
  • the target region extracted by the second target region extraction unit 133 corresponds to a case where a plurality of feature points exist in one identification target. Therefore, the fixed distance is set to a distance at which the identification target can include a plurality of feature points.
  • the fixed distance may be set to a plurality of different distances based on the positional relationship (angle, etc.) of feature points that can exist in one identification target. For example, when the identification target is an object that is long in the oblique direction, it is appropriate to set a long distance as the constant distance in the oblique direction. In addition, when the identification target is an object close to a circle, it is appropriate to set the distance as the fixed distance based on the radius.
  • the size calculation unit 131 calculates the size according to the following equation (1).
  • Expression (1) shows a case where the size is the height or width occupied by the identification target.
  • the first target area extraction unit 132 extracts, from the image, a rectangular area that includes the position of the feature point to be processed and has a size based on the size calculated by the size calculation unit 131 as the target area (Step S1). ST402).
  • the first target region extraction unit 132 uses, as the target region, a rectangular region having the same size as the size calculated by the size calculation unit 131 centered on the position of the feature point to be processed from the image. Extract.
  • the first target region extraction unit 132 extracts the target region for each identification target.
  • FIG. 5 shows an operation example of the first target region extraction unit 132.
  • FIG. 5 shows a case where two feature points p1 and p2 exist in the image and two identification objects t1 and t2 exist. Also, the size of the identification target t1 on the image is At1, and the size of the identification target t2 on the image is At2. Further, it is assumed that the identification target t1 and the identification target t2 have different actual sizes. In this case, for example, the first target area extraction unit 132 sets the rectangular area having the same size as the size At1 around the position of the feature point p1 and the position of the feature point p2 from the image with respect to the identification target t1.
  • the first target region extraction unit 132 has shown the case where the center of the rectangular region is the position of the feature points p1 and p2.
  • the present invention is not limited to this. That is, the part where the feature points are easily extracted differs depending on the identification target. For example, in the case of the whole body of a person, the color difference between the upper body and the lower body is easily extracted. Therefore, in this case, most of the objects to be identified can be accommodated in the rectangular area when the center of the rectangular area is slightly above the feature point.
  • the second target area extraction unit 133 has shown the case where the center of the rectangular area is the position of the midpoint of the line segment connecting the feature point p3 and the feature point p4.
  • the present invention is not limited to this. That is, the part where the feature points are easily extracted differs depending on the identification target. For example, in the case of the whole body of a person, the color difference between the upper body and the lower body is easily extracted. Therefore, in this case, most of the objects to be identified can be accommodated in the rectangular area by setting the center of the rectangular area slightly above the middle point.
  • the data memory 53 stores various data handled by the image identification device 1.
  • a RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Programmable EPROM), or the like is nonvolatile or volatile.
  • a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and the like are applicable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像から特徴点を抽出する特徴点抽出器（１１）と、特徴点抽出器（１１）により抽出された特徴点と、画像を撮像した撮像装置との間の距離を算出する距離算出器（１２）と、特徴点抽出器（１１）により抽出された特徴点、距離算出器（１２）により算出された距離、及び識別対象の実サイズから、画像のうちの識別処理の対象とする対象領域を算出する対象領域算出器（１３）と、画像のうちの対象領域算出器（１３）により算出された対象領域に対し、識別対象の識別を行う識別器（１４）とを備えた。

Description

画像識別装置
　この発明は、画像から識別対象を識別する画像識別装置に関する。
　従来から、カメラ又は光学センサ等の撮像装置により撮像された画像に対し、識別対象の識別を行う識別器が知られている。識別器において高精度に画像識別を行う手法としては機械学習技術があり、ニューラルネット又はサポートベクターマシーン等が広く利用されている。
　機械学習による画像識別は、学習処理及び識別処理の２段階の処理から成っている。学習処理では、識別器は、入力された画像及び当該画像が何であるかを示す教師信号の双方を学習し、学習済みモデルを生成する。識別処理では、識別器は、入力された画像に対し、生成した学習済みモデルを用いて、識別対象の識別を行う。識別器では、一度学習処理を行えば、生成した学習済みモデルを何度でも使用できる。なお、サポートベクターマシーン等の一部の機械学習方式では、画像に代えて当該画像から抽出された特徴量を用いて、学習処理及び識別処理を行うこともある。
　識別器が、比較的広域を映した画像から識別対象を識別する場合、学習済みモデルに入力する画像領域、又は学習済みモデルに入力する特徴量の抽出を行う画像領域の大きさが重要となる。すなわち、識別器は、上記画像から識別処理の対象とする対象領域を識別対象に適したサイズで切出して識別処理を行うことが、識別精度の面で好ましい。しかしながら、識別対象の画像上でのサイズ、すなわち識別対象が占める画素数は、画像毎に異なる。そのため、識別器により上記画像から切出された対象領域が識別対象の画像上でのサイズと大きく異なる場合、識別精度の劣化を招く。
　一方、特許文献１では、識別器が、画像内の同一箇所に対して対象領域を想定し得る複数サイズで切出し、複数の対象領域に対する学習済みモデルの出力（確信度）を統計処理することで、識別精度を向上させている。しかしながら、この方法では、識別部が、同一箇所の複数の対象領域全てに対して識別処理を行う必要がある。そのため、識別処理での演算量、計算時間及びハードウェアコストが増大する。
特開２０１６－１１０２３２号公報
　上述したように、識別器が、比較的広域を映した画像から識別対象を識別する場合、識別対象に適したサイズで対象領域を切出して識別処理を行うことが、識別精度の面で好ましい。しかしながら、識別対象の画像上でのサイズは画像毎に異なり、識別器が切出した対象領域のサイズが適切でない場合には、識別精度が劣化するという課題があった。
　また、識別精度を補うために、識別器が、画像内の同一箇所に対して複数サイズの対象領域を切出す方法もある。しかしながら、この方法では、識別器が、同一箇所の複数の対象領域全てに対して識別処理を行う必要がある。そのため、識別処理での演算量、計算時間及びハードウェアコストが増大するという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、識別対象の画像上でのサイズに応じた対象領域を設定可能な画像識別装置を提供することを目的としている。
　この発明に係る画像識別装置は、画像から特徴点を抽出する特徴点抽出器と、特徴点抽出器により抽出された特徴点と、画像を撮像した撮像装置との間の距離を算出する距離算出器と、特徴点抽出器により抽出された特徴点、距離算出器により算出された距離、及び識別対象の実サイズから、画像のうちの識別処理の対象とする対象領域を算出する対象領域算出器と、画像のうちの対象領域算出器により算出された対象領域に対し、識別対象の識別を行う識別器とを備えたことを特徴とする。
　この発明によれば、上記のように構成したので、識別対象の画像上でのサイズに応じた対象領域を設定可能となる。
この発明の実施の形態１に係る画像識別装置の構成例を示す図である。 この発明の実施の形態１における対象領域算出器の構成例を示す図である。 この発明の実施の形態１に係る画像識別装置の動作例を示すフローチャートである。 この発明の実施の形態１における対象領域算出器の動作例を示すフローチャートである。 この発明の実施の形態１における第１対象領域抽出部の動作例を示す図である。 この発明の実施の形態１における第２対象領域抽出部の動作例を示す図である。 この発明の実施の形態１に係る画像識別装置のハードウェア構成例を示す図である。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１はこの発明の実施の形態１に係る画像識別装置１の構成例を示す図である。
　画像識別装置１は、入力された画像から識別対象を識別する。画像は、カメラ又は光学センサ等の撮像装置により撮像された画像であり、風景画像、航空画像又は衛星画像等のように比較的広域を映した画像である。この画像識別装置１は、図１に示すように、特徴点抽出器１１、距離算出器１２、対象領域算出器１３及び識別器１４を備えている。
　特徴点抽出器１１は、上記画像から特徴点を抽出する。特徴点は、例えばエッジ又はコーナ等であり、上記画像において識別対象が存在する候補座標となる点である。上記画像に複数の特徴点が存在する場合には、特徴点抽出器１１は、全ての特徴点を抽出する。特徴点抽出器１１による特徴点の抽出方法としては既存手法を用いることができ、例えばＯＲＢ特徴量又はＡＧＡＳＴ特徴量に対しては高速に算出可能な手法が知られている。
　距離算出器１２は、特徴点抽出器１１により抽出された特徴点と、上記画像を撮像した撮像装置との間の距離を算出する。特徴点抽出器１１により複数の特徴点が抽出された場合には、距離算出器１２は、特徴点毎に、上記距離を算出する。距離算出器１２による距離の算出方法としては既存手法を用いることができる。
　例えば、距離算出器１２は、撮像装置の構成及び許容される計算時間に応じ、三角測量又はＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）により上記画像から上記距離を算出してもよい。また、距離算出器１２は、撮像装置の近くに設置された測距装置（赤外線深度センサ又はレーザセンサ等）を用いて、上記距離を算出してもよい。また、識別対象が存在し得る位置が特徴的な場所（建物等）又は地形等であるという事前情報がある場合には、距離算出器１２は、ＧＰＳ等で得られる現在位置及び上記事前情報から、上記距離を算出してもよい。
　対象領域算出器１３は、特徴点抽出器１１により抽出された特徴点、距離算出器１２により算出された距離、及び識別対象の実サイズから、上記画像のうちの識別処理の対象とする対象領域を算出する。特徴点抽出器１１により複数の特徴点が抽出された場合には、対象領域算出器１３は、特徴点毎に、上記対象領域を算出する。また、識別対象が複数存在する場合には、対象領域算出器１３は、識別対象毎に、上記対象領域を算出する。また、識別対象の実サイズは、事前に設定される。対象領域算出器１３の構成例については後述する。
　識別器１４は、上記画像のうちの対象領域算出器１３により算出された対象領域に対し、機械学習により、識別対象の識別を行う。対象領域算出器１３により複数の対象領域が算出された場合には、識別器１４は、対象領域毎に、上記識別を行う。識別器１４による画像識別方法としては既存手法を用いることができる。識別器１４による識別結果を示すデータは外部に出力され、例えば表示装置により表示される。
　なお、識別器１４では、機械学習を用いた識別処理において必要になる学習処理を、予め実施する。識別器１４で実施可能な機械学習方式としては、例えば、マルチレイヤーパーセプトロン又は畳み込みニューラルネットワーク等のニューラルネットワークを用いたもの、サポートベクターマシーン又はランダムフォレスト等がある。また、識別器１４は、画像識別を行えればよく、その他の機械学習方式を用いてもよい。また、識別器１４が対象領域に対する画像識別を行うにあたり、学習済みモデルへの入力の前段にＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等の特徴量抽出を行ってもよい。
　次に、対象領域算出器１３の構成例について、図２を参照しながら説明する。
　対象領域算出器１３は、図２に示すように、サイズ算出部１３１、第１対象領域抽出部１３２及び第２対象領域抽出部１３３を有している。
　サイズ算出部１３１は、距離算出器１２により算出された距離、及び識別対象の実サイズから、当該識別対象の上記画像上でのサイズ（画素数）を算出する。サイズとしては、例えば、識別対象が占める面積、高さ又は幅等が挙げられる。特徴点抽出器１１により複数の特徴点が抽出された場合には、特徴点毎に、上記サイズを算出する。また、識別対象が複数存在する場合には、サイズ算出部１３１は、識別対象毎に、上記サイズを算出する。
　第１対象領域抽出部１３２は、上記画像から、特徴点抽出器１１により抽出された特徴点の位置を含み、サイズ算出部１３１により算出されたサイズに基づくサイズの矩形領域を、上記対象領域として抽出する。特徴点抽出器１１により複数の特徴点が抽出された場合には、第１対象領域抽出部１３２は、特徴点毎に、上記対象領域を抽出する。また、識別対象が複数存在する場合には、第１対象領域抽出部１３２は、識別対象毎に、上記対象領域を抽出する。
　第２対象領域抽出部１３３は、上記画像から、特徴点抽出器１１により抽出された処理対象の特徴点と当該特徴点から一定距離内に存在する既定数の特徴点との中心の位置を含み、サイズ算出部１３１により算出されたサイズに基づくサイズの矩形領域を、上記対象領域として抽出する。第２対象領域抽出部１３３は、処理対象の特徴点と当該特徴点から一定距離内に存在する既定数の特徴点との組が複数組存在する場合には、組毎に、上記対象領域を抽出する。また、識別対象が複数存在する場合には、第２対象領域抽出部１３３は、識別対象毎に、上記対象領域を抽出する。なお、第２対象領域抽出部１３３は必須の構成ではなく、対象領域算出器１３から取除いてもよい。
　また、上記一定距離は、サイズ算出部１３１により算出されたサイズに基づいて設定される。ここで、第２対象領域抽出部１３３により抽出される対象領域は、１つの識別対象に複数の特徴点が存在する場合に対応する。よって、上記一定距離は、識別対象が複数の特徴点を含み得る距離に設定される。
　また、上記一定距離は、１つの識別対象に存在し得る特徴点の位置関係（角度等）に基づいて、異なる複数の距離を設定してもよい。例えば、識別対象が斜め方向に長い物体である場合には、斜め方向に対しては長い距離を上記一定距離として設定することが適切である。また、識別対象が円形に近い物体である場合には、その半径を基準として距離を上記一定距離として設定することが適切である。
　次に、上記のように構成された画像識別装置１の動作例について、図３を参照しながら説明する。
　画像識別装置１の動作例では、図３に示すように、まず、特徴点抽出器１１は、画像識別装置１に入力された画像から特徴点を抽出する（ステップＳＴ３０１）。特徴点抽出器１１は、上記画像に複数の特徴点が存在する場合には、その特徴点を全て抽出する。
　次いで、距離算出器１２は、特徴点抽出器１１により抽出された特徴点と、上記画像を撮像した撮像装置との間の距離を算出する（ステップＳＴ３０２）。特徴点抽出器１１により複数の特徴点が抽出された場合には、距離算出器１２は、特徴点毎に、上記距離を算出する。
　次いで、対象領域算出器１３は、特徴点抽出器１１により抽出された特徴点、距離算出器１２により算出された距離、及び識別対象の実サイズから、上記画像のうちの対象領域を算出する（ステップＳＴ３０３）。特徴点抽出器１１により複数の特徴点が抽出された場合には、対象領域算出器１３は、特徴点毎に、上記対象領域を算出する。また、識別対象が複数存在する場合には、対象領域算出器１３は、識別対象毎に、上記対象領域を算出する。対象領域算出器１３の動作例については後述する。
　次いで、識別器１４は、上記画像のうちの対象領域算出器１３により算出された対象領域に対し、識別対象の識別を行う（ステップＳＴ３０４）。対象領域算出器１３により複数の対象領域が算出された場合には、識別器１４は、対象領域毎に、上記識別を行う。
　次に、対象領域算出器１３の動作例について、図４を参照しながら説明する。図４では、特徴点抽出器１１により複数の特徴点が抽出された場合を示している。
　対象領域算出器１３の動作例では、図４に示すように、まず、サイズ算出部１３１は、距離算出器１２により算出された処理対象の特徴点と上記画像を撮像した撮像装置との間の距離、及び識別対象の実サイズから、当該識別対象の上記画像上でのサイズを算出する（ステップＳＴ４０１）。識別対象が複数存在する場合には、サイズ算出部１３１は、識別対象毎に、上記サイズを算出する。
　ここで、サイズ算出部１３１は、下式（１）に従い、上記サイズを算出する。式（１）では、サイズが、識別対象が占める高さ又は幅である場合を示している。式（１）において、空間分解能は、１画素あたりの視野の角度を表し、撮像装置毎の特性に基づく値である。すなわち、空間分解能は、使用される撮像装置に応じて決定される。
サイズ＝実サイズ（ｍ）／（距離（ｋｍ）×空間分解能（ｍｒａｄ））　　　　　（１）
　次いで、第１対象領域抽出部１３２は、上記画像から、処理対象の特徴点の位置を含み、サイズ算出部１３１により算出されたサイズに基づくサイズの矩形領域を、上記対象領域として抽出する（ステップＳＴ４０２）。この際、第１対象領域抽出部１３２は、例えば、上記画像から、処理対象の特徴点の位置を中心とし、サイズ算出部１３１により算出されたサイズと同一サイズの矩形領域を、上記対象領域として抽出する。識別対象が複数存在する場合には、第１対象領域抽出部１３２は、識別対象毎に、上記対象領域を抽出する。
　また、第２対象領域抽出部１３３は、上記画像から、特徴点抽出器１１により抽出された処理対象の特徴点と当該特徴点から一定距離内に存在する既定数の特徴点との中心の位置を含み、サイズ算出部１３１により算出されたサイズに基づくサイズの矩形領域を、上記対象領域として抽出する（ステップＳＴ４０３）。上記既定数が１の場合、第２対象領域抽出部１３３は、例えば、上記画像から、特徴点抽出器１１により抽出された処理対象の特徴点と当該特徴点から一定距離内に存在する１つの特徴点とを結ぶ線分の中点の位置を含み、サイズ算出部１３１により算出されたサイズと同一サイズの矩形領域を、上記対象領域として抽出する。処理対象の特徴点と当該特徴点から一定距離内に存在する１つの特徴点との組が複数組存在する場合には、組毎に、上記対象領域を抽出する。また、識別対象が複数存在する場合には、第２対象領域抽出部１３３は、識別対象毎に、上記対象領域を抽出する。
　次いで、対象領域算出器１３は、全ての特徴点に対して上記処理を行ったかを判定する（ステップＳＴ４０４）。このステップＳＴ４０４において、対象領域算出器１３は、上記処理を行っていない特徴点があると判定した場合には、シーケンスはステップＳＴ４０１に戻り、該当する次の特徴点を処理対象として上記処理を行う。一方、ステップＳＴ４０４において、対象領域算出器１３は、全ての特徴点に対して上記処理を行ったと判定した場合には、シーケンスは終了する。
　図５では、第１対象領域抽出部１３２の動作例を示している。図５では、画像内に２つの特徴点ｐ１、ｐ２が存在し、２つの識別対象ｔ１、ｔ２が存在している場合を示している。また、識別対象ｔ１の画像上でのサイズをＡｔ１とし、識別対象ｔ２の画像上でのサイズをＡｔ２とする。また、識別対象ｔ１と識別対象ｔ２は実サイズが異なるものとする。
　この場合、第１対象領域抽出部１３２は、例えば、識別対象ｔ１に対し、画像から、特徴点ｐ１の位置を中心としたサイズＡｔ１と同一サイズの矩形領域と、特徴点ｐ２の位置を中心としたサイズＡｔ１と同一サイズの矩形領域とを、対象領域ｒ１１，ｒ１２として抽出する。また、第１対象領域抽出部１３２は、識別対象ｔ２に対し、画像から、特徴点ｐ１の位置を中心としたサイズＡｔ２と同一サイズの矩形領域と、特徴点ｐ２の位置を中心としたサイズＡｔ２と同一サイズの矩形領域とを、対象領域ｒ２１，ｒ２２として抽出する。
　なお上記では、第１対象領域抽出部１３２は、矩形領域のサイズを、サイズＡｔ１、Ａｔ２と同一サイズとした場合を示した。一方、矩形領域のサイズを、サイズＡｔ１，Ａｔ２よりも少し大きくし（例えば数％大きくし）、対象領域内に識別対象の大部分が収まるようにした方が、識別器１４で良好な性能を示せる。
　また、矩形領域の幅と高さの比率は、識別対象に応じて決定する。例えば、人の全身を識別対象とする場合には、幅よりも高さの方が大きい矩形領域とし、例えばその比率を１：３とする。
　また上記では、第１対象領域抽出部１３２は、矩形領域の中心を特徴点ｐ１，ｐ２の位置とした場合を示したが、これに限らない。すなわち、識別対象によって特徴点が抽出され易い箇所は異なり、例えば人の全身であれば上半身と下半身の服の色の違いが抽出され易い。よって、この場合には、矩形領域の中心を、特徴点よりも少し上方とした方が識別対象の大部分を矩形領域内に収めることができる。
　図６では、第２対象領域抽出部１３３の動作例を示している。図６では、画像内に２つの特徴点ｐ３、ｐ４が存在し、２つの識別対象ｔ３、ｔ４が存在している場合を示している。また、識別対象ｔ３の画像上でのサイズ（幅）をＡｔ３とし、識別対象ｔ４の画像上でのサイズ（幅）をＡｔ４とする。また、識別対象ｔ３と識別対象ｔ４は実サイズが異なるものとする。また、識別対象ｔ３における一定距離Ｗｔ３は識別対象ｔ３の画像上でのサイズＡｔ３と同一の長さであり、識別対象ｔ４における一定距離Ｗｔ４は識別対象ｔ４の画像上でのサイズＡｔ４と同一の長さであるとする。また、特徴点ｐ３と特徴点ｐ４との間の距離は、Ｗｔ３より短く且つＷｔ４より長いとする。
　この場合、第２対象領域抽出部１３３は、例えば、識別対象ｔ３に対し、特徴点ｐ３と特徴点ｐ４とを結ぶ線分の中点の位置を中心としたサイズＡｔ３と同一サイズの矩形領域を、対象領域ｒ３１として抽出する。一方、特徴点ｐ３と特徴点ｐ４との間の距離は一定距離Ｗｔ４より長いため、第２対象領域抽出部１３３は、識別対象ｔ４に対しては対象領域を抽出しない。
　また上記では、第２対象領域抽出部１３３は、矩形領域のサイズを、サイズＡｔ３と同一サイズとした場合を示した。一方、矩形領域のサイズを、サイズＡｔ３よりも少し大きくし（例えば数％大きくし）、対象領域内に識別対象の大部分が収まるようにした方が、識別器１４で良好な性能を示せる。
　また、矩形領域の幅と高さの比率は、識別対象に応じて決定する。例えば、人の全身を識別対象とする場合には、幅よりも高さの方が大きい矩形領域とし、例えばその比率を１：３とする。
　また上記では、第２対象領域抽出部１３３は、矩形領域の中心を特徴点ｐ３と特徴点ｐ４とを結ぶ線分の中点の位置とした場合を示したが、これに限らない。すなわち、識別対象によって特徴点が抽出され易い箇所は異なり、例えば人の全身であれば上半身と下半身の服の色の違いが抽出され易い。よって、この場合には、矩形領域の中心を、上記中点よりも少し上方とした方が識別対象の大部分を矩形領域内に収めることができる。
　また上記では、第２対象領域抽出部１３３は、特徴点ｐ３と特徴点ｐ４の２つの特徴点を用いて、対象領域を抽出する場合を示した。しかしながら、これに限らず、第２対象領域抽出部１３３は、３つ以上の特徴点を用いて、対象領域を抽出してもよい。この場合、第２対象領域抽出部１３３は、例えば特徴点ｐ３から一定距離内に存在する２つ以上の特徴点を選び、特徴点ｐ３と選択した２つ以上の特徴点との中心の位置を用いて、対象領域を抽出してもよい。
　以上のように、この実施の形態１によれば、画像から特徴点を抽出する特徴点抽出器１１と、特徴点抽出器１１により抽出された特徴点と、画像を撮像した撮像装置との間の距離を算出する距離算出器１２と、特徴点抽出器１１により抽出された特徴点、距離算出器１２により算出された距離、及び識別対象の実サイズから、画像のうちの識別処理の対象とする対象領域を算出する対象領域算出器１３と、画像のうちの対象領域算出器１３により算出された対象領域に対し、識別対象の識別を行う識別器１４とを備えたので、識別対象の画像上でのサイズに応じた対象領域を設定可能となる。その結果、特徴点と撮像装置との間の距離に基づいて、対象領域を適切に設定でき、識別器１４の識別精度を向上させることができる。また、不必要に多くの対象領域を設定することを抑制でき、識別器１４における処理回数を低減できるため、計算時間及び演算量を小さくできる。更に、演算量が小さくされることで、ハードウェアのコスト及びサイズを小さくできる。
　最後に、図７を参照して、実施の形態１に係る画像識別装置１のハードウェア構成例を説明する。
　画像識別装置１における特徴点抽出器１１、距離算出器１２、対象領域算出器１３及び識別器１４の各機能は、処理回路により実現される。図７に示すように、処理回路は、プログラムメモリ５２に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）５１である。
　特徴点抽出器１１、距離算出器１２、対象領域算出器１３及び識別器１４の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、プログラムメモリ５２に格納される。処理回路は、プログラムメモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像識別装置１は、処理回路により実行されるときに、例えば図３，４に示した各ステップが結果的に実行されることになるプログラムを格納するためのプログラムメモリ５２を備える。また、これらのプログラムは、特徴点抽出器１１、距離算出器１２、対象領域算出器１３及び識別器１４の手順や方法をコンピュータに実行させるものであるともいえる。
　なお、データメモリ５３は、画像識別装置１で扱われる各種データを記憶する。
　プログラムメモリ５２及びデータメモリ５３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係る画像識別装置は、識別対象の画像上でのサイズに応じた対象領域を設定可能となり、画像から識別対象を識別する画像識別装置等に用いるのに適している。
　１　画像識別装置、１１　特徴点抽出器、１２　距離算出器、１３　対象領域算出器、１４　識別器、５１　ＣＰＵ、５２　プログラムメモリ、５３　データメモリ、１３１　サイズ算出部、１３２　第１対象領域抽出部、１３３　第２対象領域抽出部。

Claims (3)

  1. 　画像から特徴点を抽出する特徴点抽出器と、
    　前記特徴点抽出器により抽出された特徴点と、前記画像を撮像した撮像装置との間の距離を算出する距離算出器と、
    　前記特徴点抽出器により抽出された特徴点、前記距離算出器により算出された距離、及び識別対象の実サイズから、前記画像のうちの識別処理の対象とする対象領域を算出する対象領域算出器と、
    　前記画像のうちの前記対象領域算出器により算出された対象領域に対し、前記識別対象の識別を行う識別器と
    　を備えた画像識別装置。
  2. 　前記対象領域算出器は、
    　前記距離算出器により算出された距離、及び前記識別対象の実サイズから、当該識別対象の前記画像上でのサイズを算出するサイズ算出部と、
    　前記画像から、前記特徴点抽出器により抽出された特徴点の位置を含み、前記サイズ算出部により算出されたサイズに基づくサイズの矩形領域を、前記対象領域として抽出する第１対象領域抽出部とを有する
    　ことを特徴とする請求項１記載の画像識別装置。
  3. 　前記特徴点抽出器は、前記画像から複数の特徴点を抽出し、
    　前記対象領域算出器は、
    　前記画像から、前記特徴点抽出器により抽出された処理対象の特徴点と当該特徴点から一定距離内に存在する既定数の特徴点との中心の位置を含み、前記サイズ算出部により算出されたサイズに基づくサイズの矩形領域を、前記対象領域として抽出する第２対象領域抽出部を有する
    　ことを特徴とする請求項２記載の画像識別装置。
PCT/JP2017/020623 2017-06-02 2017-06-02 画像識別装置 WO2018220824A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020623 WO2018220824A1 (ja) 2017-06-02 2017-06-02 画像識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020623 WO2018220824A1 (ja) 2017-06-02 2017-06-02 画像識別装置

Publications (1)

Publication Number Publication Date
WO2018220824A1 true WO2018220824A1 (ja) 2018-12-06

Family

ID=64455292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020623 WO2018220824A1 (ja) 2017-06-02 2017-06-02 画像識別装置

Country Status (1)

Country Link
WO (1) WO2018220824A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
WO2020166002A1 (ja) * 2019-02-14 2020-08-20 三菱電機株式会社 搭乗者状態検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2009223527A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2009223527A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166002A1 (ja) * 2019-02-14 2020-08-20 三菱電機株式会社 搭乗者状態検出装置
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111461017B (zh) * 2020-04-01 2024-01-19 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法

Similar Documents

Publication Publication Date Title
US10782399B2 (en) Object detecting method and apparatus using light detection and ranging (LIDAR) sensor and radar sensor
CN107358149B (zh) 一种人体姿态检测方法和装置
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
CN108256404B (zh) 行人检测方法和装置
CN111399492A (zh) 一种机器人及其障碍物感知方法和装置
US10275682B2 (en) Information processing apparatus, information processing method, and storage medium
JP2015082326A5 (ja)
US11468666B2 (en) Reading support system and moving body
KR102303779B1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
CN112734827B (zh) 一种目标检测方法、装置、电子设备和存储介质
JP7255173B2 (ja) 人検出装置および人検出方法
CN111383261A (zh) 移动机器人、及其位姿估计方法和位姿估计装置
CN114187579A (zh) 自动驾驶的目标检测方法、装置和计算机可读存储介质
US20220237886A1 (en) Reading system, moving body, reading method, and storage medium
WO2018220824A1 (ja) 画像識別装置
CN112784725A (zh) 行人防撞预警方法、设备、存储介质及堆高机
CN115546681A (zh) 一种基于事件和帧的异步特征跟踪方法和系统
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN112148817B (zh) 一种基于全景图的slam优化方法、装置和系统
JP2013532451A (ja) 倉庫内の物体の位置を特定するための方法及び装置
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备
KR20210087494A (ko) 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17911913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17911913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP