JP6323077B2 - Image processing apparatus, vehicle detection method, and vehicle detection program - Google Patents
Image processing apparatus, vehicle detection method, and vehicle detection program Download PDFInfo
- Publication number
- JP6323077B2 JP6323077B2 JP2014044530A JP2014044530A JP6323077B2 JP 6323077 B2 JP6323077 B2 JP 6323077B2 JP 2014044530 A JP2014044530 A JP 2014044530A JP 2014044530 A JP2014044530 A JP 2014044530A JP 6323077 B2 JP6323077 B2 JP 6323077B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- pixel
- vehicle
- image
- vehicle detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 105
- 238000000034 method Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
この発明は、駐車場等の駐車スペースに車両が駐車されているかどうかを検出する技術に関する。 The present invention relates to a technique for detecting whether a vehicle is parked in a parking space such as a parking lot.
従来、駐車場を撮像した撮像画像を処理し、撮像されている車両を検出することにより、駐車場に駐車されている車両の台数や、車両が駐車されていない駐車スペース（空きスペース）の位置等を管理している。 Conventionally, the number of vehicles parked in the parking lot and the position of the parking space (empty space) where the vehicle is not parked by processing the picked-up image of the parking lot and detecting the picked-up vehicle Etc. are managed.
例えば、駐車場を撮像した撮像画像を処理してエッジ画像を生成し、駐車スペース毎に、車両の有無を検出するものがある（特許文献１参照）。この特許文献１では、影を車両として誤検出するのを防止するため、エッジ量の大小によって、車両と影とを識別している。 For example, there is an apparatus that generates an edge image by processing a captured image obtained by imaging a parking lot, and detects the presence or absence of a vehicle for each parking space (see Patent Document 1). In Patent Document 1, in order to prevent a shadow from being erroneously detected as a vehicle, the vehicle and the shadow are identified based on the magnitude of the edge amount.
しかしながら、一般的な駐車場は、駐車スペースが隣接しているので、各駐車スペースに対して撮像画像上に設定する車両の有無を判定する判定領域も隣接する。このため、車両の有無を検出する対象の駐車スペース（検出対象の駐車スペース）が空きスペースであっても、撮像装置（カメラ）のアングルによっては、撮像画像上において、隣接している駐車スペースに駐車されている車両の一部が、この検出対象の駐車スペースに対して設定している判定領域に写り込むことがある。そして、この判定領域に写り込んだ隣接する駐車スペースに駐車されている車両の一部によって、検出対象の駐車スペースに車両があると誤検出することがあった。 However, since a general parking lot is adjacent to a parking space, a determination region for determining the presence or absence of a vehicle to be set on a captured image is adjacent to each parking space. For this reason, even if the target parking space (detection target parking space) for detecting the presence or absence of a vehicle is an empty space, depending on the angle of the imaging device (camera), the adjacent parking space on the captured image A part of the parked vehicle may be reflected in the determination area set for the detection target parking space. In some cases, a part of a vehicle parked in an adjacent parking space reflected in the determination area erroneously detects that there is a vehicle in the detection target parking space.
この発明の目的は、撮像画像上の車両検出領域内に位置する車両の有無を精度よく検出することができる技術を提供することにある。 The objective of this invention is providing the technique which can detect the presence or absence of the vehicle located in the vehicle detection area on a captured image with a sufficient precision.
この発明の画像処理装置は、上記目的を達するために以下のように構成している。 In order to achieve the above object, the image processing apparatus of the present invention is configured as follows.
画像入力部には、車両の有無を検出する車両検出領域が撮像された撮像画像が入力される。ここで言う車両検出領域は、車両を駐車する駐車スペースである。撮像画像は、複数の駐車スペースを撮像している。 The captured image obtained by capturing the vehicle detection area for detecting the presence or absence of the vehicle is input to the image input unit. The vehicle detection area referred to here is a parking space where the vehicle is parked. The captured image captures a plurality of parking spaces.
エッジ強度検出部は、画像入力部に入力された撮像画像の画素毎に、撮像画像上における第１の方向のエッジ強度、および撮像画像上における第１の方向に直交する第２の方向のエッジ強度を検出する。また、エッジ画素判定部は、画像入力部に入力された撮像画像の画素毎に、その画素について検出された第１の方向のエッジ強度、および第２の方向のエッジ強度に基づき、当該画素がエッジ画素であるかどうかを判定する。エッジ画素とは、撮像画像上において、輝度値がある程度以上大きく変化している画素である。 The edge strength detection unit includes, for each pixel of the captured image input to the image input unit, the edge strength in the first direction on the captured image and the edge in the second direction orthogonal to the first direction on the captured image. Detect intensity. In addition, the edge pixel determination unit determines , for each pixel of the captured image input to the image input unit, based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel. It is determined whether the pixel is an edge pixel. An edge pixel is a pixel whose luminance value changes greatly to some extent on a captured image.
また、エッジ方向検出部は、エッジ画素判定部により判定されたエッジ画素について、その画素について検出された第１の方向のエッジ強度、および第２の方向のエッジ強度に基づき、エッジの方向を検出する。エッジの方向とは、撮像画像上において、輝度値が変化している方向である。 The edge direction detection unit detects the edge direction of the edge pixel determined by the edge pixel determination unit based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel. To do. The direction of the edge is the direction in which the luminance value changes on the captured image.
そして、車両検出部は、エッジ方向検出部が検出したエッジの方向が予め定めた選択範囲であるエッジ画素を用いて、車両検出領域に対して車両の有無を検出する。 And a vehicle detection part detects the presence or absence of a vehicle with respect to a vehicle detection area | region using the edge pixel whose edge direction which the edge direction detection part detected is a predetermined selection range.
例えば、選択範囲は、撮像画像上における車両検出領域内に位置する車両の幅方向を基準方向にし、この基準方向を中心にして設定される。 For example, the selection range is set with the width direction of the vehicle located in the vehicle detection area on the captured image as the reference direction and the reference direction as the center.
この場合、エッジの方向が、車両の幅方向でないエッジ画素（例えば、車両の前後方向にかかるエッジ画素や、車両検出領域である駐車スペースの区切りとして路面等にペイントされている白線にかかるエッジ画素）については、車両の有無の検出に用いない。すなわち、撮像画像上において、隣接している車両検出領域に位置する車両（隣接する駐車スペースに駐車されている車両）の一部が、この検出対象領域に対して設定している判定領域に写り込んでいても、車両の有無を検出する際に用いられるエッジ画素を抑えられる。 In this case, an edge pixel whose edge direction is not the width direction of the vehicle (for example, an edge pixel applied in the front-rear direction of the vehicle, or an edge pixel applied to a white line painted on a road surface or the like as a partition of a parking space as a vehicle detection area) ) Is not used to detect the presence or absence of a vehicle. That is, on the captured image, a part of a vehicle (a vehicle parked in an adjacent parking space) located in an adjacent vehicle detection area is reflected in a determination area set for the detection target area. However, the edge pixels used when detecting the presence or absence of the vehicle can be suppressed.
したがって、撮像画像上の車両検出領域内に位置する車両の有無を精度よく検出することができる。 Therefore, it is possible to accurately detect the presence or absence of a vehicle located in the vehicle detection area on the captured image.
また、エッジ画素判定部は、車両検出領域に対して、撮像画像上に設定されている判定領域内に位置する画素について、その画素がエッジ画素であるかどうかを判定する、構成とするのが好ましい。すなわち、車両の有無の検出に利用しない画素について、エッジ画素であるかどうかの判定を行わない構成とすることで、処理負荷を低減することができる。 Further, the edge pixel determination unit is configured to determine whether or not the pixel is an edge pixel with respect to the pixel located in the determination region set on the captured image with respect to the vehicle detection region. preferable. That is, it is possible to reduce the processing load by adopting a configuration in which it is not determined whether a pixel that is not used for detecting the presence or absence of a vehicle is an edge pixel.
また、車両検出部は、画像入力部に入力された撮像画像上の車両検出領域に対する車両の有無の検出を、この車両検出領域に対して撮像画像上に設定されている判定領域内に位置する、エッジ方向検出部が検出したエッジの方向が選択範囲であるエッジ画素の個数等を用いて行えばよい。 In addition, the vehicle detection unit is located within a determination region set on the captured image for the vehicle detection region with respect to the vehicle detection region on the captured image input to the image input unit. The number of edge pixels whose edge direction is detected by the edge direction detection unit may be used.
また、上記の構成は、車両の有無の検出に用いるエッジの方向を設定するとしたが、逆に車両の有無の検出に用いないエッジの方向を設定する構成としてもよい。 Further, in the above configuration, the edge direction used for detecting the presence / absence of the vehicle is set, but conversely, the direction of the edge not used for detecting the presence / absence of the vehicle may be set.
さらに、車両の有無を検出する車両検出領域が撮像された撮像画像が入力される画像入力部と、前記画像入力部に入力された撮像画像を予め定めた角度回転させる撮像画像回転部と、前記撮像画像回転部が回転させた撮像画像について、予め定めた方向のエッジ画素を検出するエッジ画素検出部と、前記エッジ画素検出部が検出した予め定めた方向のエッジ画素を用いて、前記車両検出領域内における車両の有無を検出する車両検出部と、を備える構成にしてもよい。このように構成すれば、エッジの方向を検出する処理を不要にでき、処理負荷を低減することができる。 Furthermore, an image input unit to which a captured image obtained by capturing a vehicle detection region for detecting the presence or absence of a vehicle is input, a captured image rotation unit that rotates a captured image input to the image input unit by a predetermined angle, and Using the edge pixel detection unit for detecting edge pixels in a predetermined direction and the edge pixels in the predetermined direction detected by the edge pixel detection unit for the captured image rotated by the captured image rotation unit, the vehicle detection And a vehicle detection unit that detects the presence or absence of a vehicle in the region. With this configuration, the processing for detecting the direction of the edge can be eliminated, and the processing load can be reduced.
この発明によれば、車両検出領域内に位置する車両の有無を精度よく検出することができる。 According to this invention, it is possible to accurately detect the presence or absence of a vehicle located in the vehicle detection area.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図１は、この例にかかる画像処理装置の主要部の構成を示す図である。画像処理装置１は、画像入力部２と、画像処理部３と、出力部４と、を備えている。この画像処理装置１は、駐車場内に設けられている駐車スペース（この発明で言う、車両検出領域に相当する。）毎に、車両が駐車されているかどうかを検出する。 FIG. 1 is a diagram showing a configuration of a main part of the image processing apparatus according to this example. The image processing apparatus 1 includes an image input unit 2, an image processing unit 3, and an output unit 4. This image processing device 1 detects whether or not a vehicle is parked for each parking space (corresponding to a vehicle detection area in the present invention) provided in a parking lot.
画像入力部２には、撮像装置１０が接続されている。撮像装置１０は、静止画像を撮像するディジタルスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。撮像装置１０としてディジタルスチルカメラを用いる場合には、画像処理装置１が撮像装置１０に対して撮像を指示するレリーズ信号を入力し、撮像された画像を処理対象フレーム画像として、後述する車両検出処理を行う。また、撮像装置１０としてビデオカメラを用いる場合には、フレームレートが数フレーム／ｓｅｃ程度（高いフレームレートを必要としない。）のものであればよい。画像処理装置１は、ビデオカメラが撮像した動画像にかかるフレーム画像の全てに対して後述する車両検出処理を行う必要はなく、入力されたいずれかのフレーム画像を処理対象フレーム画像として選択し、後述する車両検出処理を行えばよい。撮像装置１０は、駐車場内に設けられている複数の駐車スペースが撮像エリア内に収まるように設置されている。 An imaging device 10 is connected to the image input unit 2. The imaging device 10 may be a digital still camera that captures still images or a video camera that captures moving images. When a digital still camera is used as the imaging apparatus 10, the image processing apparatus 1 inputs a release signal that instructs the imaging apparatus 10 to perform imaging, and the captured image is used as a processing target frame image to be described later. I do. In addition, when a video camera is used as the imaging device 10, the frame rate may be about several frames / sec (a high frame rate is not required). The image processing apparatus 1 does not need to perform vehicle detection processing to be described later on all the frame images of the moving image captured by the video camera, selects any input frame image as a processing target frame image, What is necessary is just to perform the vehicle detection process mentioned later. The imaging device 10 is installed so that a plurality of parking spaces provided in the parking lot can be accommodated in the imaging area.
画像処理部３は、画像入力部２に入力された撮像画像(処理対象フレーム画像)を処理し、この処理対象フレーム画像に撮像されている駐車スペース毎に、車両の有無を検出する車両検出処理等を行う。この画像処理部３は、後述する車両検出処理等を実行するコンピュータを備え、このコンピュータが、この発明で言う画像処理方法を実行する。また、この発明にかかる画像処理プログラムグラムは、画像処理部３が備えるコンピュータにインストールされる。 The image processing unit 3 processes the captured image (processing target frame image) input to the image input unit 2, and detects the presence or absence of a vehicle for each parking space captured in the processing target frame image. Etc. The image processing unit 3 includes a computer that executes vehicle detection processing and the like, which will be described later, and this computer executes the image processing method referred to in the present invention. The image processing program gram according to the present invention is installed in a computer included in the image processing unit 3.
出力部４は、画像処理部３が駐車スペース毎に検出した車両の有無を上位装置（不図示）に出力する。この上位装置は、その時点における駐車車両の台数の管理や、空いている駐車スペースの管理、駐車場の利用状況の管理等を行う。 The output unit 4 outputs the presence or absence of a vehicle detected by the image processing unit 3 for each parking space to a host device (not shown). This host device performs management of the number of parked vehicles at that time, management of vacant parking spaces, management of parking lot usage, and the like.
図２は、画像処理部の機能構成を示すブロック図である。画像処理部３は、エッジ強度検出機能部３１と、エッジ画素判定機能部３２と、エッジ方向検出機能部３３と、エッジ画素選択機能部３４と、車両検出機能部３５と、を備えている。 FIG. 2 is a block diagram illustrating a functional configuration of the image processing unit. The image processing unit 3 includes an edge intensity detection function unit 31, an edge pixel determination function unit 32, an edge direction detection function unit 33, an edge pixel selection function unit 34, and a vehicle detection function unit 35.
エッジ強度検出機能部３１は、画像入力部２に入力された撮像画像の画素について、この撮像画像上における垂直方向のエッジ強度Ｅｙ、および撮像画像上における水平方向のエッジ強度Ｅｘを検出する。 The edge strength detection function unit 31 detects the edge strength Ey in the vertical direction on the captured image and the edge strength Ex in the horizontal direction on the captured image for the pixels of the captured image input to the image input unit 2.
この例では、図３（Ａ）示すｓｏｂｅｌフィルタ（ソーベルフィルタ）を用いて、撮像画像上における垂直方向のエッジ強度Ｅｙを検出する。また、図３（Ｂ）示すｓｏｂｅｌフィルタを用いて、撮像画像上における水平方向のエッジ強度Ｅｘを検出する。例えば、図４に示す画素Ｘが、撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを検出する画素である。この画素Ｘの撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘは、この画素Ｘを中心とする３×３の９画素のうち、画素Ｘを除く８画素の画素値（Ｌ１〜Ｌ８）を用いた、以下に示す演算によって検出する。 In this example, the edge intensity Ey in the vertical direction on the captured image is detected using a sobel filter (Sobel filter) shown in FIG. Further, the edge intensity Ex in the horizontal direction on the captured image is detected using the sobel filter shown in FIG. For example, the pixel X shown in FIG. 4 is a pixel that detects the edge intensity Ey in the vertical direction and the edge intensity Ex in the horizontal direction on the captured image. The vertical edge intensity Ey and the horizontal edge intensity Ex on the captured image of the pixel X are pixel values of 8 pixels excluding the pixel X out of 9 × 3 pixels centering on the pixel X ( Detection is performed by the following calculation using L1 to L8).
Ｅｙ＝（Ｌ３−Ｌ１）＋２×（Ｌ５−Ｌ４）＋（Ｌ８−Ｌ６）
Ｅｘ＝（Ｌ６−Ｌ１）＋２×（Ｌ７−Ｌ２）＋（Ｌ８−Ｌ３）
図４に示す画素Ｘは、撮像画像上の任意の画素である。すなわち、撮像画像の任意の画素について、撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘの検出が行える。
Ey = (L3-L1) + 2 × (L5-L4) + (L8-L6)
Ex = (L6-L1) + 2 × (L7-L2) + (L8-L3)
A pixel X shown in FIG. 4 is an arbitrary pixel on the captured image. That is, for any pixel of the captured image, the vertical edge strength Ey and the horizontal edge strength Ex on the captured image can be detected.
エッジ画素判定機能部３２は、エッジ強度検出機能部３１が撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを検出した画素毎に、その画素のエッジ強度Ｅを算出し、ここで算出したエッジ強度Ｅが予め定めた値以上であれば、エッジ画素であると判定し、反対に、ここで算出したエッジ強度Ｅが予め定めた値未満であれば、エッジ画素でないと判定する。エッジ強度Ｅは、その画素について検出した垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを用いて、
Ｅ＝（Ｅｙ2＋Ｅｘ2）1/2
により算出できる。
The edge pixel determination function unit 32 calculates the edge strength E of each pixel for which the edge strength detection function unit 31 has detected the edge strength Ey in the vertical direction and the edge strength Ex in the horizontal direction on the captured image. If the calculated edge strength E is greater than or equal to a predetermined value, it is determined that the pixel is an edge pixel. Conversely, if the calculated edge strength E is less than a predetermined value, it is determined that the pixel is not an edge pixel. To do. The edge strength E is obtained by using the vertical edge strength Ey and the horizontal edge strength Ex detected for the pixel,
E = (Ey 2 + Ex 2 ) 1/2
Can be calculated.
エッジ方向検出部機能部は、エッジ画素判定機能部３２においてエッジ画素と判定された画素について、撮像画像上におけるエッジの方向を検出する。エッジの方向は、その画素について検出された、撮像画像上における垂直方向のエッジ強度Ｅｙにかかるベクトルと、水平方向のエッジ強度Ｅｘにかかるベクトルとの和である合成ベクトルの向きである。また、撮像画像上における水平方向と、エッジ方向とが、なす角度θは、
θ＝ａｒｃｔａｎ（Ｅｙ／Ｅｘ）
により算出される。
The edge direction detection unit function unit detects the direction of the edge on the captured image for the pixel determined as the edge pixel by the edge pixel determination function unit 32. The direction of the edge is the direction of the combined vector, which is the sum of the vector related to the vertical edge strength Ey and the vector related to the horizontal edge strength Ex detected for the pixel. In addition, the angle θ formed by the horizontal direction on the captured image and the edge direction is
θ = arctan (Ey / Ex)
Is calculated by
エッジ画素選択機能部３４は、エッジ画素判定機能部３２においてエッジ画素と判定された画素群に対して、エッジ方向検出機能部３３が検出したエッジの方向が予め定めた範囲であるエッジ画素を選択し、抽出することによって、判定用画素群を作る。言い換えれば、エッジ画素判定機能部３２においてエッジ画素と判定された画素群から、エッジ方向検出機能部３３が検出したエッジの方向が予め定めた範囲でないエッジ画素を取り除いた判定用画素群を作る。 The edge pixel selection function unit 34 selects an edge pixel whose edge direction detected by the edge direction detection function unit 33 is within a predetermined range for the pixel group determined as the edge pixel by the edge pixel determination function unit 32. Then, a pixel group for determination is created by extraction. In other words, a determination pixel group is created by removing edge pixels whose edge directions detected by the edge direction detection function unit 33 are not in a predetermined range from the pixel groups determined by the edge pixel determination function unit 32 as edge pixels.
ここで、エッジ画素選択機能部３４に対して、予め定めているエッジの方向の範囲について図５を参照して説明する。画像入力部２に入力される撮像画像に対して基準ラインを定めている。この基準ラインは、ここでは、撮像画像上に撮像される車両の幅方向に合わせたラインである。エッジ画素選択機能部３４は、エッジ方向検出機能部３３が検出したエッジの方向（撮像画像上における垂直方向のエッジ強度Ｅｙにかかるベクトルと、水平方向のエッジ強度Ｅｘにかかるベクトルとの和である合成ベクトルの向き）と、この基準ラインとのなす角度（鋭角）が−α°〜＋α°（αは、５°〜１０°程度）の範囲であるエッジ画素を選択する。 Here, a predetermined range of edge directions for the edge pixel selection function unit 34 will be described with reference to FIG. A reference line is defined for the captured image input to the image input unit 2. Here, the reference line is a line matched with the width direction of the vehicle imaged on the captured image. The edge pixel selection function unit 34 is the sum of the edge direction detected by the edge direction detection function unit 33 (a vector related to the vertical edge strength Ey on the captured image and a vector related to the horizontal edge strength Ex). An edge pixel in which an angle (acute angle) between the direction of the combined vector and the reference line is in a range of −α ° to + α ° (α is about 5 ° to 10 °) is selected.
車両検出機能部３５は、駐車スペース毎に、その駐車スペースに定められている判定領域内に存在する、エッジの方向が予め定めた範囲であるエッジ画素（エッジ画素選択機能部３４が選択した画素）の総数によって、車両の有無を判定する。 For each parking space, the vehicle detection function unit 35 includes an edge pixel (a pixel selected by the edge pixel selection function unit 34) that exists in a determination region defined in the parking space and whose edge direction is a predetermined range. ) To determine the presence or absence of a vehicle.
以下、この例にかかる画像処理装置１の動作について説明する。 Hereinafter, the operation of the image processing apparatus 1 according to this example will be described.
図６は、画像入力部に入力された処理対象フレーム画像を示す図である。この処理対象フレーム画像は、画像入力部に入力された撮像画像（撮像装置１０が撮像した撮像画像）であって、駐車スペース毎に駐車されている車両があるかどうかを検出する処理を行う対象の撮像画像である。 FIG. 6 is a diagram illustrating a processing target frame image input to the image input unit. This processing target frame image is a captured image (captured image captured by the imaging device 10) input to the image input unit, and a target for performing processing for detecting whether there is a parked vehicle for each parking space. It is a picked-up image.
図６に示すように、この処理対象フレーム画像には、駐車スペースＡ〜Ｅが撮像されている。各駐車スペースＡ〜Ｅは、白線によって区切られている。図６に示す処理対象フレーム画像においては、駐車スペースＣに車両が駐車されており、他の駐車スペースＡ、Ｂ、Ｄ、Ｅに車両が駐車されていない。また、駐車スペースＡ〜Ｅ毎に、その駐車スペースに駐車されている車両（駐車車両）の有無を判定する判定領域（図６において白枠で示す矩形領域）が設定されている。この判定領域を示す白枠は、説明のために図示しているだけであり、撮像画像に撮像されているわけではない。 As shown in FIG. 6, parking spaces A to E are captured in this processing target frame image. The parking spaces A to E are separated by white lines. In the processing target frame image shown in FIG. 6, the vehicle is parked in the parking space C, and the vehicle is not parked in the other parking spaces A, B, D, and E. Moreover, the determination area | region (rectangular area shown with a white frame in FIG. 6) which determines the presence or absence of the vehicle (parked vehicle) parked in the parking space is set for every parking space AE. The white frame indicating the determination area is only illustrated for the sake of explanation, and is not captured in the captured image.
図７は、車両検出処理を示すフローチャートである。画像処理部３は、エッジ強度検出機能部３１において、処理対象フレーム画像の各画素について、撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを検出する（ｓ１）。ｓ１では、図３に示したｓｏｂｅｌフィルタを用いて、画素毎に、撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを検出する。 FIG. 7 is a flowchart showing the vehicle detection process. The image processing unit 3 detects the edge strength Ey in the vertical direction and the edge strength Ex in the horizontal direction on the captured image for each pixel of the processing target frame image in the edge strength detection function unit 31 (s1). In s1, the edge intensity Ey in the vertical direction and the edge intensity Ex in the horizontal direction on the captured image are detected for each pixel using the sobel filter shown in FIG.
画像処理部３は、エッジ画素判定機能部３２において、処理対象フレーム画像の各画素について、その画素がエッジ画素であるかどうかを判定する（ｓ２）。ｓ２では、画素毎に、エッジ強度Ｅ（Ｅ＝（Ｅｙ2＋Ｅｘ2）1/2）を算出し、ここで算出したエッジ強度Ｅが予め定めた値以上であれば、エッジ画素であると判定する。また、算出したエッジ強度Ｅが予め定めた値未満であれば、エッジ画素でないと判定する。 In the edge pixel determination function unit 32, the image processing unit 3 determines whether each pixel of the processing target frame image is an edge pixel (s2). In s2, the edge intensity E (E = (Ey 2 + Ex 2 ) 1/2 ) is calculated for each pixel, and if the calculated edge intensity E is equal to or greater than a predetermined value, it is determined that the pixel is an edge pixel. To do. If the calculated edge strength E is less than a predetermined value, it is determined that the pixel is not an edge pixel.
図８は、ｓ２における判定結果に基づくエッジ画像を示す図である。このエッジ画像は、ｓ２でエッジ画素と判定された画素を白、エッジ画素でないと判定された画素を黒とした二値画像である。また、図８も、図６と同様に、判定領域を示す白枠を説明のために図示している。また、画像処理部３は、図７に示すエッジ画像を生成する機能を有している必要はない。画像処理部３は、図８に示すエッジ画像を外部に出力する構成を必要としない。 FIG. 8 is a diagram illustrating an edge image based on the determination result in s2. This edge image is a binary image in which pixels determined as edge pixels in s2 are white and pixels determined not to be edge pixels are black. In addition, FIG. 8 also shows a white frame indicating the determination area for the purpose of explanation, as in FIG. Further, the image processing unit 3 does not need to have a function of generating the edge image shown in FIG. The image processing unit 3 does not require a configuration for outputting the edge image shown in FIG. 8 to the outside.
画像処理部３は、エッジ方向検出機能部３３において、ｓ２でエッジ画素であると判定した画素毎に、エッジの方向を検出する（ｓ３）。ｓ２では、その画素について、ｓ１で検出された撮像画像上における垂直方向のエッジ強度Ｅｙにかかるベクトルと、水平方向のエッジ強度Ｅｘにかかるベクトルとの和である合成ベクトルの向きを、エッジの方向として検出する。ｓ３では、ｓ２でエッジ画素でないと判定された画素について、エッジの方向を検出する必要はない。 The image processing unit 3 detects the edge direction for each pixel determined to be an edge pixel in s2 in the edge direction detection function unit 33 (s3). In s2, for the pixel, the direction of the combined vector, which is the sum of the vector related to the vertical edge strength Ey and the vector related to the horizontal edge strength Ex on the captured image detected in s1, is set as the edge direction. Detect as. In s3, it is not necessary to detect the edge direction for the pixel determined not to be an edge pixel in s2.
画像処理部３は、エッジ画素選択機能部３４において、ｓ２でエッジ画素であると判定した画素群から、ｓ３で検出したエッジの方向が予め定めた範囲内であるエッジ画素を選択し、抽出することで、判定用画素群を作る（ｓ４）。 The image processing unit 3 selects and extracts an edge pixel whose edge direction detected in s3 is within a predetermined range from the pixel group determined to be the edge pixel in s2 in the edge pixel selection function unit 34. Thus, a determination pixel group is created (s4).
図６に示す処理対象フレーム画像では、駐車スペースに駐車されている車両の幅方向は、撮像画像上における水平方向に略一致している。このため、この例では、図５に示した基準ラインを、撮像画像上における水平方向のラインとし、ｓ４で抽出するエッジ画素のエッジの方向の範囲を定めている。 In the processing target frame image shown in FIG. 6, the width direction of the vehicle parked in the parking space substantially matches the horizontal direction on the captured image. For this reason, in this example, the reference line shown in FIG. 5 is a horizontal line on the captured image, and the range of the edge direction of the edge pixel extracted in s4 is defined.
図９は、ｓ９で抽出したエッジの方向が予め定めた範囲内であるエッジ画素を白、その他の画素を黒とした二値画像（ここでは、車両検出用画像と言う。）である。また、図９も、図６、図８と同様に、判定領域を示す枠を説明のために図示している。また、画像処理部３は、図９に示す車両検出用画像を生成する機能を有している必要はない。画像処理部３は、図９に示す車両検出用画像を外部に出力する構成を必要としない。 FIG. 9 is a binary image (herein referred to as a vehicle detection image) in which the edge pixels extracted in s9 are within a predetermined range and the edge pixels are white and the other pixels are black. In addition, FIG. 9 also illustrates a frame indicating a determination area for the purpose of explanation, as in FIGS. 6 and 8. Further, the image processing unit 3 does not need to have a function of generating the vehicle detection image shown in FIG. The image processing unit 3 does not require a configuration for outputting the vehicle detection image shown in FIG. 9 to the outside.
画像処理部３は、車両検出機能部３５において、駐車スペースＡ〜Ｅ毎に、その駐車スペースＡ〜Ｅに駐車されている車両があるかどうかを判定する（ｓ５）。ｓ５では、判定対象の駐車スペースに対して設定されている判定領域内に位置する、ｓ４で抽出されたエッジ画素（エッジの方向が予め定めた方向の範囲内であるエッジ画素）の個数を計数し、ここで計数した値（エッジの方向が予め定めた方向の範囲内であるエッジ画素の総数）が予め定めた値以上であれば車両有りと判定し、予め定めた値未満であれば車両なしと判定する。 The image processing unit 3 determines whether there is a vehicle parked in the parking spaces A to E for each of the parking spaces A to E in the vehicle detection function unit 35 (s5). In s5, the number of edge pixels extracted in s4 (edge pixels whose edge directions are within a predetermined direction range) located in the determination region set for the determination target parking space is counted. If the value counted here (the total number of edge pixels whose edge direction is within the range of the predetermined direction) is greater than or equal to a predetermined value, it is determined that there is a vehicle, and if it is less than the predetermined value, the vehicle Judged as none.
図８と、図９とを対比することで明らかなように、この例にかかる画像処理装置１は、駐車スペースＡ〜Ｅの区切りとして路面等にペイントされている白線や、車両側面のボディ（ドアを含む）やタイヤ等によって生じるエッジ画素の影響を抑えた車両の検出が行える。例えば、図８に示すエッジ画像では、駐車スペースＤの判定領域内に、駐車スペースＣに駐車されている車両のタイヤや、白線等によって生じたエッジ画素が多く含まれている。このため、駐車スペースＤの判定領域内に位置するエッジ画素の個数を計数して車両の有無を検出すると、駐車スペースＣに駐車されている車両のタイヤや、白線等によって生じたエッジ画素の影響を受けて、車両を誤検出する可能性がある。これに対して、図９に示す車両検出用画像では、エッジの方向が予め定めた範囲内であるエッジ画素を選択し、抽出しているので、駐車スペースＤの判定領域内に、駐車スペースＣに駐車されている車両のタイヤや、白線等によって生じたエッジ画素が殆ど含まれていない。したがって、駐車スペースＤの判定領域内に位置するエッジ画素（上述のｓ４で選択、抽出されたエッジ画素）の個数を計数して車両の有無を検出すると、駐車スペースＣに駐車されている車両のタイヤや、白線等によって生じたエッジ画素の影響が抑えられ、車両の検出精度を向上できる。 As is clear by comparing FIG. 8 with FIG. 9, the image processing apparatus 1 according to this example includes a white line painted on the road surface or the like as a partition of the parking spaces A to E, a body ( The vehicle can be detected while suppressing the influence of edge pixels caused by tires and the like. For example, in the edge image illustrated in FIG. 8, the determination area of the parking space D includes many edge pixels generated by tires of vehicles parked in the parking space C, white lines, and the like. For this reason, when the number of edge pixels located in the determination area of the parking space D is counted to detect the presence or absence of the vehicle, the influence of the edge pixels caused by the tires of the vehicle parked in the parking space C, white lines, etc. There is a possibility of erroneous detection of the vehicle. On the other hand, in the vehicle detection image shown in FIG. 9, since the edge pixel whose edge direction is within a predetermined range is selected and extracted, the parking space C is included in the determination area of the parking space D. The edge pixels generated by the tires of the vehicle parked in the vehicle, white lines, etc. are hardly included. Therefore, when the number of edge pixels (edge pixels selected and extracted in s4 described above) located in the determination area of the parking space D is counted to detect the presence or absence of the vehicle, the vehicle parked in the parking space C is detected. The influence of edge pixels caused by tires, white lines, etc. can be suppressed, and vehicle detection accuracy can be improved.
また、上記の車両検出処理において処理対象とする画素は、各駐車スペースＡ〜Ｅに対応付けられている判定領域内に位置する画素に限定してもよい。すなわち、画像入力部２に入力された撮像画像（処理対象フレーム画像）にかかる全ての画素を上述のｓ１の処理対象にしなくてもよい。このようにすれば、画像処理部３の処理負荷を一層低減することができ、処理速度の向上が図れるとともに、画像処理装置１本体のコストダウンが図れる。 Moreover, you may limit the pixel made into a process target in said vehicle detection process to the pixel located in the determination area matched with each parking space AE. That is, it is not necessary to set all the pixels related to the captured image (processing target frame image) input to the image input unit 2 as the processing target of s1 described above. In this way, the processing load on the image processing unit 3 can be further reduced, the processing speed can be improved, and the cost of the main body of the image processing apparatus 1 can be reduced.
また、上記の例では、エッジ強度、およびエッジの方向を検出するために、ｓｏｂｅｌフィルタを用いるとしたが、公知のｐｒｅｗｉｔｔ（プレウィット）フィルタ等を用いてもよい。 In the above example, the sobel filter is used to detect the edge strength and the edge direction. However, a known prewitt filter or the like may be used.
次に、別の例にかかる画像処理装置について説明する。この例にかかる画像処理装置１も、図１に示した構成である。上記の例では、図３に示したｓｏｂｅｌフィルタを用いて検出した、撮像画像上における垂直方向のエッジ強度Ｅｙ、および水平方向のエッジ強度Ｅｘを用いて、エッジの方向を検出するとしたが、この例では、図１０に示す４種類のｓｏｂｅｌフィルタによって、エッジの方向を検出する点で相違する。また、図７に示したｓ３、およびｓ４にかかる処理が、上記の例と異なる。 Next, an image processing apparatus according to another example will be described. The image processing apparatus 1 according to this example also has the configuration shown in FIG. In the above example, the edge direction is detected using the vertical edge intensity Ey and the horizontal edge intensity Ex on the captured image detected using the sobel filter shown in FIG. The example is different in that the edge direction is detected by the four types of sobel filters shown in FIG. Also, the processing relating to s3 and s4 shown in FIG. 7 is different from the above example.
図１０（Ａ）は、撮像画像上における垂直方向のエッジ強度Ｅｙを検出するｓｏｂｅｌフィルタであり、図１０（Ｂ）は、撮像画像上における垂直方向に対して時計周りに４５°回転させた向きのエッジ強度Ｅ45を検出するｓｏｂｅｌフィルタであり、図１０（Ｃ）は、撮像画像上における水平方向のエッジ強度Ｅｘを検出するｓｏｂｅｌフィルタであり、図１０（Ｄ）は、撮像画像上における垂直方向に対して時計周りに１３５°回転させた向きのエッジ強度Ｅ135を検出するｓｏｂｅｌフィルタである。 FIG. 10A is a sobel filter that detects edge intensity Ey in the vertical direction on the captured image, and FIG. 10B shows a direction rotated clockwise by 45 ° with respect to the vertical direction on the captured image. FIG. 10C is a sobel filter that detects the edge intensity Ex in the horizontal direction on the captured image, and FIG. 10D is a vertical direction on the captured image. Is a sobel filter that detects edge intensity E135 in a direction rotated clockwise by 135 ° with respect to.
この例にかかるエッジ方向検出機能部３３は、図７に示したｓ３にかかる処理が、図１０に示す４種類のｓｏｂｅｌフィルタで検出されたエッジ強度の絶対値が最大であるｓｏｂｅｌフィルタの角度と、エッジ強度の値が正であったか、負であったかによって、その画素のエッジの向きを決定する、処理である。すなわち、この例では、検出されるエッジの向きは、８種類である。 The edge direction detection function unit 33 according to this example is configured so that the processing according to s3 illustrated in FIG. 7 is performed using the angle of the sobel filter that has the maximum absolute value of the edge strength detected by the four types of sobel filters illustrated in FIG. In this process, the edge direction of the pixel is determined depending on whether the edge strength value is positive or negative. That is, in this example, there are eight types of detected edge directions.
また、この例にかかるエッジ画素選択機能部３４は、図７に示したｓ４にかかる処理が、図１０に示す４種類のｓｏｂｅｌフィルタのうち、予め定めた特定のｓｏｂｅｌフィルタで検出されたエッジ強度の絶対値が最大であったエッジ画素を選択し、他のｓｏｂｅｌフィルタで検出されたエッジ強度の絶対値が最大であったエッジ画素を選択しない、処理である。この特定のｓｏｂｅｌフィルタは、撮像画像上において、この撮像画像上に撮像される車両の幅方向に合わせたライン（図５に示した基準ライン）と、なす角度が最小になる角度のフィルタである。 In addition, the edge pixel selection function unit 34 according to this example is configured so that the processing according to s4 illustrated in FIG. 7 is detected by a predetermined specific sobel filter among the four types of sobel filters illustrated in FIG. The edge pixel having the maximum absolute value of is selected, and the edge pixel having the maximum absolute value of the edge intensity detected by another sobel filter is not selected. This specific sobel filter is a filter having an angle that minimizes an angle formed with a line (reference line shown in FIG. 5) that matches the width direction of the vehicle imaged on the captured image on the captured image. .
この例にかかる画像処理装置１は、エッジ画素毎に、エッジの方向を検出する処理（ｓ３にかかる処理）や、エッジ画素を選択、抽出する処理（ｓ４にかかる処理）の負荷を低減することができる。 The image processing apparatus 1 according to this example reduces the load of processing for detecting the edge direction (processing according to s3) and processing for selecting and extracting edge pixels (processing according to s4) for each edge pixel. Can do.
また、別の例にかかる画像処理装置について説明する。この例にかかる画像処理装置１も図１に示す構成であるが、画像処理部３の機能構成が上記の例と異なる。 An image processing apparatus according to another example will be described. The image processing apparatus 1 according to this example also has the configuration shown in FIG. 1, but the functional configuration of the image processing unit 3 is different from the above example.
図１１は、この例にかかる画像処理装置の画像処理部の機能構成を示す図である。この例にかかる画像処理装置１の画像処理部３は、画像回転機能部４１と、エッジ画素検出機能部４２と、車両検出機能部４３と、を備えている。 FIG. 11 is a diagram illustrating a functional configuration of the image processing unit of the image processing apparatus according to this example. The image processing unit 3 of the image processing apparatus 1 according to this example includes an image rotation function unit 41, an edge pixel detection function unit 42, and a vehicle detection function unit 43.
画像回転機能部４１は、画像入力部２に入力された撮像画像を、予め定めた角度回転させた回転画像を生成する。撮像画像の回転角度は、生成した回転画像上における水平方向が、この回転画像に撮像されている車両の幅方向になる角度である。 The image rotation function unit 41 generates a rotated image obtained by rotating the captured image input to the image input unit 2 by a predetermined angle. The rotation angle of the captured image is an angle in which the horizontal direction on the generated rotation image is the width direction of the vehicle imaged in the rotation image.
エッジ画素検出機能部４２は、図３（Ｂ）や、図１０（Ｃ）に示した水平方向のｓｏｂｅｌフィルタを用いて、回転画像の画素について水平方向のエッジ強度Ｅｘを算出し、この算出した水平方向のエッジ強度Ｅｘが予め定めた値以上であれば、エッジ画素と判定する。なお、エッジ画素検出機能部４２は、回転画像の画素について算出した水平方向のエッジ強度Ｅｘが予め定めた値未満であれば、エッジ画素でないと判定する。 The edge pixel detection function unit 42 calculates the horizontal edge intensity Ex for the pixels of the rotated image using the horizontal sobel filter shown in FIG. 3B or FIG. If the edge intensity Ex in the horizontal direction is equal to or greater than a predetermined value, it is determined as an edge pixel. The edge pixel detection function unit 42 determines that the pixel is not an edge pixel if the horizontal edge intensity Ex calculated for the pixel of the rotated image is less than a predetermined value.
車両検出機能部３５は、駐車スペース毎に、その駐車スペースに定められている判定領域内に存在する、エッジ画素（エッジ画素検出機能部４２が検出したエッジ画素）の総数によって、車両の有無を判定する。 The vehicle detection function unit 35 determines the presence / absence of a vehicle for each parking space based on the total number of edge pixels (edge pixels detected by the edge pixel detection function unit 42) present in the determination region defined in the parking space. judge.
この例にかかる画像処理装置１の画像処理部３における車両検出処理にかかる動作について説明する。図１２は、この例にかかる車両検出処理を示すフローチャートである。 The operation | movement concerning the vehicle detection process in the image processing part 3 of the image processing apparatus 1 concerning this example is demonstrated. FIG. 12 is a flowchart showing a vehicle detection process according to this example.
画像処理部３は、画像回転機能部４１において、処理対象フレーム画像を予め定めた角度回転させた回転画像を生成する（ｓ１１）。ｓ１１では、例えば画像入力部２に入力された処理フレーム画像が、図１３に示す撮像画像である場合、図１４に示すように、生成した回転画像上における水平方向を、この回転画像に撮像されている車両（駐車スペースに駐車されている車両）の幅方向に合わせる。回転角度は、撮像装置１０のアングルによって決まる。 In the image rotation function unit 41, the image processing unit 3 generates a rotated image obtained by rotating the processing target frame image by a predetermined angle (s11). In s11, for example, when the processing frame image input to the image input unit 2 is the captured image illustrated in FIG. 13, the horizontal direction on the generated rotated image is captured in the rotated image as illustrated in FIG. Align with the width direction of the vehicle (vehicle parked in the parking space). The rotation angle is determined by the angle of the imaging device 10.
画像処理部３は、エッジ画素検出機能部４２において、ｓ１１で生成した回転画像の各画素について、回転画像上における水平方向のエッジ強度Ｅｘを検出する（ｓ１２）。ｓ１２では、図３（Ｂ）や、図１０（Ｃ）に示した水平方向のｓｏｂｅｌフィルタを用いて、画素毎に、回転画像上における水平方向のエッジ強度Ｅｘを検出する。また、画像処理部３は、回転画像の画素毎に、エッジ画素検出機能部４２において、ｓ１２で検出した回転画像上における水平方向のエッジ強度Ｅｘに基づき、その画素がエッジ画素であるかどうかを判定する（ｓ１３）。ｓ１２では、画素毎に、水平方向のエッジ強度Ｅｘが予め定めた値以上であれば、エッジ画素であると判定する。また、水平方向のエッジ強度Ｅｘが予め定めた値未満であれば、エッジ画素でないと判定する。 The image processing unit 3 detects, in the edge pixel detection function unit 42, the horizontal edge intensity Ex on the rotated image for each pixel of the rotated image generated in s11 (s12). In s12, the horizontal edge intensity Ex on the rotated image is detected for each pixel using the horizontal sobel filter shown in FIGS. 3B and 10C. Further, the image processing unit 3 determines, for each pixel of the rotated image, whether or not the pixel is an edge pixel based on the horizontal edge intensity Ex on the rotated image detected in s12 by the edge pixel detection function unit 42. Determine (s13). In s12, if the horizontal edge intensity Ex is greater than or equal to a predetermined value for each pixel, it is determined that the pixel is an edge pixel. If the horizontal edge intensity Ex is less than a predetermined value, it is determined that the pixel is not an edge pixel.
ｓ１３でエッジ画素と判定される画素は、回転画像上におけるエッジの方向が、略水平方向である画素である。したがって、ｓ１３でエッジ画素と判定された画素を白、エッジ画素でないと判定された画素を黒とした二値画像は、図９に示した車両検出用画像と同等の画像になる。 The pixels determined as edge pixels in s13 are pixels whose edge direction on the rotated image is substantially horizontal. Therefore, the binary image in which the pixel determined as the edge pixel in s13 is white and the pixel determined not to be the edge pixel is black is an image equivalent to the vehicle detection image shown in FIG.
画像処理部３は、車両検出機能部３５において、駐車スペース毎に、その駐車スペースに駐車されている車両があるかどうかを判定する（ｓ１４）。ｓ１４では、判定対象の駐車スペースに対して設定されている判定領域内に位置する、ｓ１３でエッジ画素と判定された画素の個数を計数し、ここで計数した値が予め定めた値以上であれば車両有りと判定し、予め定めた値未満であれば車両なしと判定する。 The image processing unit 3 determines whether there is a vehicle parked in the parking space for each parking space in the vehicle detection function unit 35 (s14). In s14, the number of pixels determined to be edge pixels in s13 that are located within the determination area set for the determination target parking space is counted, and the counted value is equal to or greater than a predetermined value. If it is less than a predetermined value, it is determined that there is no vehicle.
したがって、この例にかかる画像処理装置１も、上記した例にかかるものと同様に、車両有無にかかる検出精度を向上できる。また、エッジ画素について、エッジの方向を検出する処理が不要になるので、処理負荷を低減できる。 Therefore, the image processing apparatus 1 according to this example can also improve the detection accuracy according to the presence or absence of the vehicle, similar to the above-described example. In addition, since it is not necessary to detect the edge direction for edge pixels, the processing load can be reduced.
なお、ｓ１２では、駐車スペースに対応付けられている判定領域内に位置する画素に限定してもよい。 In s12, you may limit to the pixel located in the determination area matched with the parking space.
また、図１５に示す撮像画像が画像入力部２に入力される場合もある。具体的には、車両の影にかかるエッジ画素のエッジの方向が、撮像されている車両の幅方向になることがある。この場合には、判定領域内に位置する影の影響によって、車両を誤検出する可能性があるので、図３（Ａ）や、図１０（Ａ）に示した垂直方向のｓｏｂｅｌフィルタを用いて算出した垂直方向のエッジ強度Ｅｙが、正、または負である一方のエッジ画素については、エッジの方向が予め定めた範囲内であっても選択しない構成にしてもよい。 In addition, the captured image illustrated in FIG. 15 may be input to the image input unit 2. Specifically, the direction of the edge of the edge pixel in the shadow of the vehicle may be the width direction of the vehicle being imaged. In this case, there is a possibility that the vehicle is erroneously detected due to the influence of the shadow located in the determination region, so the vertical sobel filter shown in FIG. 3 (A) or FIG. 10 (A) is used. For one edge pixel in which the calculated vertical edge strength Ey is positive or negative, even if the edge direction is within a predetermined range, no selection may be made.
具体的には、図１５に示す撮像画像のエッジ画像を図１６に示す。図１６にも、図１５と同様に、判定領域を示している。 Specifically, FIG. 16 shows an edge image of the captured image shown in FIG. FIG. 16 also shows the determination area, as in FIG.
ここで、上述したエッジ画素選択機能部３４を、検出したエッジの方向が予め定めた方向であっても、垂直方向のｓｏｂｅｌフィルタを用いて算出した垂直方向のエッジ強度Ｅｙが、正であったエッジ画素を選択しない（負であったエッジ画素を選択する）構成にすると、図１６におけるエッジの方向が略垂直方向であるエッジ画素であっても、図１６において上から下への明るさの変化が暗から明であるエッジ画素（判定領域内に位置する影によるエッジ画素）が選択されない。 Here, even if the edge direction detected by the edge pixel selection function unit 34 described above is a predetermined direction, the vertical edge strength Ey calculated using the vertical sobel filter was positive. If the configuration is such that the edge pixel is not selected (the edge pixel that was negative is selected), even if the edge pixel in FIG. 16 has an edge direction that is substantially vertical, the brightness from top to bottom in FIG. Edge pixels whose change is dark to bright (edge pixels due to shadows located in the determination region) are not selected.
一方、車両には、図１６において上から下への明るさの変化が暗から明であるエッジ画素と、図１６において上から下への明るさの変化が明から暗であるエッジ画素が混在しているので、判定領域内において、その一部のエッジ画素が選択されないだけであり、車両にかかるエッジ画素がある程度選択される。 On the other hand, in the vehicle, edge pixels whose brightness change from top to bottom in FIG. 16 is from dark to light and edge pixels whose brightness change from top to bottom in FIG. 16 are from light to dark are mixed. Therefore, only a part of the edge pixels are not selected in the determination region, and the edge pixels applied to the vehicle are selected to some extent.
したがって、図１７に示す車両検出用画像が生成できる。図１７にも、図１５、および図１６と同様に、判定領域を示している。 Therefore, the vehicle detection image shown in FIG. 17 can be generated. FIG. 17 also shows the determination area, as in FIGS. 15 and 16.
このように、上述したエッジ画素選択機能部３４を、水平方向のｓｏｂｅｌフィルタを用いて算出した水平方向のエッジ強度Ｅｘが、正、または負である一方のエッジ画素については、エッジの方向が予め定めた範囲内であっても選択しない構成にすることで、影の影響による車両の誤検出も抑えられる。 As described above, the edge direction of the edge pixel Ex is positive or negative when the edge pixel selection function unit 34 described above uses the horizontal sobel filter to calculate the edge direction. By adopting a configuration in which the vehicle is not selected even within the defined range, vehicle misdetection due to the influence of shadows can be suppressed.
１−画像処理装置
２−画像入力部
３−画像処理部
４−出力部
１０−撮像装置
３１−エッジ強度検出機能部
３２−エッジ画素判定機能部
３３−エッジ方向検出機能部
３４−エッジ画素選択機能部
３５−車両検出機能部
４１−画像回転機能部
４２−エッジ画素検出機能部
４３−車両検出機能部
1-image processing device 2-image input unit 3-image processing unit 4-output unit 10-imaging device 31-edge intensity detection function unit 32-edge pixel determination function unit 33-edge direction detection function unit 34-edge pixel selection function Unit 35-vehicle detection function unit 41-image rotation function unit 42-edge pixel detection function unit 43-vehicle detection function unit
Claims (7)
前記画像入力部に入力された撮像画像の画素毎に、撮像画像上における第１の方向のエッジ強度、および撮像画像上における前記第１の方向に直交する第２の方向のエッジ強度を検出するエッジ強度検出部と、
前記画像入力部に入力された撮像画像の画素毎に、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、当該画素がエッジ画素であるかどうかを判定するエッジ画素判定部と、
前記エッジ画素判定部により判定されたエッジ画素について、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、エッジの方向を検出するエッジ方向検出部と、
前記エッジ方向検出部が検出したエッジの方向が予め定めた選択範囲であるエッジ画素を用いて、前記車両検出領域に対して車両の有無を検出する車両検出部と、を備えた画像処理装置。 An image input unit to which a captured image obtained by capturing a vehicle detection region for detecting the presence or absence of a vehicle is input;
For each pixel of the captured image input to the image input unit, the edge strength in the first direction on the captured image and the edge strength in the second direction orthogonal to the first direction on the captured image are detected. An edge strength detector;
Whether each pixel of the captured image input to the image input unit is an edge pixel based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel An edge pixel determination unit for determining whether or not
An edge direction detection unit that detects an edge direction of the edge pixel determined by the edge pixel determination unit based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel. When,
An image processing apparatus comprising: a vehicle detection unit that detects the presence or absence of a vehicle with respect to the vehicle detection region using edge pixels whose edge direction detected by the edge direction detection unit is a predetermined selection range.
前記画像入力部に入力された撮像画像の画素毎に、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、当該画素がエッジ画素であるかどうかを判定するエッジ画素判定ステップと、
前記エッジ画素判定ステップにおいて判定されたエッジ画素について、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、エッジの方向を検出するエッジ方向検出ステップと、
前記エッジ方向検出ステップが検出したエッジの方向が予め定めた選択範囲であるエッジ画素を用いて、前記車両検出領域に対して車両の有無を検出する車両検出ステップと、を備える車両検出方法。 The edge strength in the first direction on the picked-up image and the first direction on the picked-up image for each pixel of the picked- up image that is input to the image input unit and in which the vehicle detection area for detecting the presence or absence of the vehicle is picked up An edge strength detection step of detecting an edge strength in a second direction orthogonal to
Whether each pixel of the captured image input to the image input unit is an edge pixel based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel An edge pixel determination step for determining whether or not;
Edge direction detection step for detecting the edge direction of the edge pixel determined in the edge pixel determination step based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel. When,
A vehicle detection method comprising: a vehicle detection step of detecting the presence / absence of a vehicle in the vehicle detection region using an edge pixel whose edge direction detected by the edge direction detection step is a predetermined selection range.
前記画像入力部に入力された撮像画像の画素毎に、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、当該画素がエッジ画素であるかどうかを判定するエッジ画素判定ステップと、
前記エッジ画素判定ステップにおいて判定されたエッジ画素について、その画素について検出された前記第１の方向のエッジ強度、および前記第２の方向のエッジ強度に基づき、エッジの方向を検出するエッジ方向検出ステップと、
前記エッジ方向検出ステップが検出したエッジの方向が予め定めた選択範囲であるエッジ画素を用いて、前記車両検出領域に対して車両の有無を検出する車両検出ステップと、をコンピュータに実行させる車両検出プログラム。 The edge strength in the first direction on the picked-up image and the first direction on the picked-up image for each pixel of the picked- up image that is input to the image input unit and in which the vehicle detection area for detecting the presence or absence of the vehicle is picked up An edge strength detection step of detecting an edge strength in a second direction orthogonal to
Whether each pixel of the captured image input to the image input unit is an edge pixel based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel An edge pixel determination step for determining whether or not;
Edge direction detection step for detecting the edge direction of the edge pixel determined in the edge pixel determination step based on the edge strength in the first direction and the edge strength in the second direction detected for the pixel. When,
Vehicle detection that causes a computer to execute a vehicle detection step of detecting the presence or absence of a vehicle in the vehicle detection region using an edge pixel whose edge direction detected by the edge direction detection step is a predetermined selection range. program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014044530A JP6323077B2 (en) | 2014-03-07 | 2014-03-07 | Image processing apparatus, vehicle detection method, and vehicle detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014044530A JP6323077B2 (en) | 2014-03-07 | 2014-03-07 | Image processing apparatus, vehicle detection method, and vehicle detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015170137A JP2015170137A (en) | 2015-09-28 |
| JP6323077B2 true JP6323077B2 (en) | 2018-05-16 |
Family
ID=54202823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014044530A Active JP6323077B2 (en) | 2014-03-07 | 2014-03-07 | Image processing apparatus, vehicle detection method, and vehicle detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6323077B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7089355B2 (en) * | 2017-11-13 | 2022-06-22 | キヤノン株式会社 | Image processing device, control method and program of image processing device |
| JP6810723B2 (en) * | 2018-07-19 | 2021-01-06 | ヤフー株式会社 | Information processing equipment, information processing methods, and programs |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324954A (en) * | 1991-11-28 | 1993-12-10 | Nec Corp | Device for counting the number of parked cars |
| JPH0883390A (en) * | 1994-09-13 | 1996-03-26 | Omron Corp | Vehicle recognizing device |
| JP3112400B2 (en) * | 1995-08-30 | 2000-11-27 | シャープ株式会社 | Apparatus and method for recognizing empty space in parking lot |
| JP3893981B2 (en) * | 2002-01-11 | 2007-03-14 | オムロン株式会社 | Vehicle recognition method and traffic flow measuring apparatus using this method |
-
2014
- 2014-03-07 JP JP2014044530A patent/JP6323077B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015170137A (en) | 2015-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189285B (en) | Multi-frame image fusion method and device | |
| US10943141B2 (en) | Object detection device and object detection method | |
| JP7122364B2 (en) | Deposit detection device, deposit detection method | |
| US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
| JP7230507B2 (en) | Deposit detection device | |
| JP6720694B2 (en) | Image processing program, image processing method, and image processing apparatus | |
| WO2014002692A1 (en) | Stereo camera | |
| EP3477548A1 (en) | Method and image capturing device for detecting fog in a scene | |
| JP6809613B2 (en) | Image foreground detection device, detection method and electronic equipment | |
| US9161029B1 (en) | Systems and methods for detecting defective pixels in a video sequence | |
| EP4000040A1 (en) | Method, computer program product and computer readable medium for generating a mask for a camera stream | |
| US10025999B2 (en) | Brightness range based obstacle detection apparatus and method | |
| CN109102026A (en) | A kind of vehicle image detection method, apparatus and system | |
| JP2013258596A (en) | Image pick-up device | |
| JP6323077B2 (en) | Image processing apparatus, vehicle detection method, and vehicle detection program | |
| JP5610106B1 (en) | Foreign matter information detection device and foreign matter information detection method for imaging apparatus | |
| JP2019091169A (en) | Image processor, method of controlling image processor, and program | |
| US20210089818A1 (en) | Deposit detection device and deposit detection method | |
| US10965877B2 (en) | Image generating method and electronic apparatus | |
| JP6313999B2 (en) | Object detection device and object detection system | |
| CN106683113B (en) | Feature point tracking method and device | |
| JP7205234B2 (en) | Attached matter detection device and attached matter detection method | |
| KR101559338B1 (en) | System for testing camera module centering and method for testing camera module centering using the same | |
| JP2020109595A (en) | Attachment detection device and attachment detection method | |
| US20210090297A1 (en) | Adhered substance detection apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180326 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6323077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |