WO2020158286A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020158286A1
WO2020158286A1 PCT/JP2019/051249 JP2019051249W WO2020158286A1 WO 2020158286 A1 WO2020158286 A1 WO 2020158286A1 JP 2019051249 W JP2019051249 W JP 2019051249W WO 2020158286 A1 WO2020158286 A1 WO 2020158286A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
image processing
area
state
Prior art date
Application number
PCT/JP2019/051249
Other languages
English (en)
French (fr)
Inventor
悠修 古賀
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020158286A1 publication Critical patent/WO2020158286A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation

Definitions

  • the present invention relates to an image processing technique for acquiring object information from an image obtained by imaging an object such as a plant.
  • the leaf color value which is a numerical value of the leaf color
  • the leaf color value is used as an index for determining the growth state of the plant.
  • Patent Document 1 discloses a method of correcting the influence of the illumination spectrum at the time of imaging in order to accurately measure the leaf color value of rice using an image obtained by imaging rice.
  • the present invention provides an image processing device and an image processing method that are effective for specifying the state of an object using a captured image of the object.
  • An image processing apparatus uses a first acquisition unit that acquires first information indicating an edge direction of an object from an image generated by imaging an object, and the first information, It is characterized by having a specifying means for specifying at least one of a first area in which the object is in a specific state and a second area in which the object is not in a specific state.
  • an image processing method uses a step of acquiring first information indicating an edge direction of the object from an image generated by imaging the object, and using the first information, Identifying at least one of a first region in which the object is in a particular state and a second region in which the object is not in a particular state.
  • FIG. 6 is a flowchart showing a process of calculating an edge direction feature amount according to the embodiment.
  • FIG. 3 is a diagram showing a differential filter used for the edge image generation processing in FIG. 2.
  • FIG. 3 is a diagram showing an example of a measurement image, a solid/collapsed area, and a non-silvered/non-cold area in Example 1.
  • 9 is a flowchart showing processing performed in the plant information acquisition system according to the second embodiment.
  • FIG. 10 is a diagram showing a relationship between a flat/collapse region area and a threshold value in Example 3; The flowchart which shows the process performed in the plant information acquisition system which is Example 4.
  • FIG. 16 is a diagram showing a process for determining a solid/falling area in the fourth embodiment. The figure which shows the structure of the plant information acquisition system of an Example.
  • an edge direction feature amount (first information) as information indicating an edge direction is acquired (calculated) from an image (hereinafter referred to as a measurement image) generated by imaging a plant as an object. ..
  • a measurement image generated by imaging a plant as an object. ..
  • slid/lodging state at least one of the first region and the second region in which the plant is in the absent/according state is extracted (specified) from the measurement image.
  • An image area as the first or second area is used as an information acquisition area, and a leaf color value (second information), which is plant information serving as an index for determining the growth state of a plant, is acquired from the image information of the information acquisition area ( Can be measured).
  • the flowchart of FIG. 2 shows a process of calculating the edge direction feature amount.
  • the calculation of the edge direction feature amount is executed by four processes of an edge emphasis process (S111), a binarization process (S112), an edge image generation process (S113), and an edge direction calculation process (S114).
  • S means a step.
  • a monochrome image I(x, y) obtained by imaging a plant is used as the measurement image as an input image for which the edge direction feature amount is calculated.
  • I indicates the brightness value of each pixel of the monochrome image.
  • an image calculated by the weighted sum of the band images may be used as the monochrome image I(x, y).
  • the image generated by imaging the plant is an RGB image
  • the monochrome image I(x, y) a representative band image of the multi-band images may be used.
  • a G band image that well reflects the green color of the plant leaf may be used as the monochrome image I(x, y).
  • an edge enhanced image I enhance (x, y) in which the edges of the monochrome image I(x, y) are enhanced is generated.
  • the edge enhanced image edge enhanced image I enhance (x, y) is generated by the following equations (1) and (2).
  • I mean (x, y) is a smoothed image obtained by smoothing the monochrome image I(x, y) using the smoothing filter H mean , in other words, a local image including each pixel (x, y).
  • the average luminance value of the pixels in the area is shown.
  • the symbol * means convolution integral. That is, the expression (2) means that the brightness value I of each pixel (x, y) of the monochrome image I(x, y) is divided by the average brightness value.
  • FIG. 3A and 3B show examples of the smoothing filter H mean .
  • the binarized image I binary (x, y) is generated from the edge-enhanced image I enhance (x, y) obtained by the edge enhancement process using the following formula (3). To do.
  • edges of the edge-enhanced image I enhance (x, y) can be further enhanced, and in the subsequent edge image generation processing (S113), the edges to be detected are more appropriate. Can be detected.
  • the binarized image I binary (x, y) obtained by the binarization process is differentiated in at least two directions to generate differential images in at least two directions.
  • the differential images G x (x, y) and G y (x, y) in the x and y directions will be described as an example.
  • the differential images G x (x, y) and G y (x, y) are generated using the following equations (4) and (5).
  • H x is a differential filter in the x direction and H y is a differential filter in the y direction.
  • the symbol * means convolution integral.
  • FIG. 4A to 4C show examples of the y-direction differential filter H y .
  • the y-direction differential filter H y the Prewitt filter shown in FIG. 4A may be used, or the Sobel filter shown in FIG. 4B may be used. Further, a differential filter as shown in FIG. 4(c) may be used. As shown in FIG. 4C, if the filter size of the differential filter is increased, the gradation of the edge direction feature amount calculated in the edge direction calculation process (S114) can be increased.
  • the x-direction differential filter H x a filter obtained by transposing the y-direction differential filter H y may be used.
  • the edge direction feature amount ⁇ (x, y) is calculated using the following equation (6).
  • the edge direction feature amount ⁇ (x, y) is a feature amount that changes in the range of ⁇ 90° ⁇ (x, y) ⁇ 90°.
  • the differential images G x (x, y) and G y (x, y) in the x direction and the y direction are given as examples.
  • the two directions to be differentiated are not limited to the x direction and the y direction as long as they are orthogonal to each other.
  • the calculation method of the edge direction feature amount ⁇ (x, y) in this embodiment is such that even if the monochrome image I(x, y) has a luminance distribution or the contrast of the monochrome image I(x, y) is low, the edge Is almost certainly detected, and the edge direction feature amount ⁇ (x, y) of the detected edge can be accurately calculated.
  • the edge/feature amount ⁇ (x, y) calculated in this way is used to determine the sill/sleeping state of the imaged plant.
  • the edge direction feature amount ⁇ (x, y) has a feature that it is unlikely to depend on the brightness or color of the plant in the image. For this reason, it is possible to determine the dull/accelerated state of the plant independently of the brightness and color of the plant.
  • an information acquisition region for determining a stubborn/accelerated state of a plant using the edge direction feature value and acquiring a leaf color value from a measurement image using information on the squeezed/accelerated state is selected ( The plant information acquisition system to be set) will be described.
  • FIG. 11 shows the configuration of the plant information acquisition system 100 according to the first embodiment.
  • a plant information acquisition system (imaging system) 100 includes an imaging device 1 that images a plant (paddy rice) to generate a measurement image, and a personal computer (PC) as a pixel processing device that acquires the measurement image from the imaging device 1. )2 and.
  • imaging system includes an imaging device 1 that images a plant (paddy rice) to generate a measurement image, and a personal computer (PC) as a pixel processing device that acquires the measurement image from the imaging device 1. )2 and.
  • PC personal computer
  • the flowchart of FIG. 1 shows the processing (image processing method) performed by the PC 2 in this embodiment.
  • the PC 2 performs an edge direction feature amount calculation process (S110), a smooth/accelerated state determination process (S120), and a non-cervical/non-accelerated region (information acquisition region) extraction process (S130) according to a built-in computer program. To do.
  • the PC 2 functions as first information acquisition means and area acquisition means.
  • the PC 2 calculates the edge direction feature amount ⁇ (x, y) by performing the process described using the flowchart of FIG.
  • FIG. 5 shows the determination result of the rice paddy/falling state using the edge direction feature amount ⁇ (x, y).
  • the three measurement images in the upper row are grayscale images generated from RGB images generated by imaging rice in the same region from the same point at different times (t1, t2, t3). In the measurement image at the time t2, part of the paddy rice is turbulent in the wind, the brightness value of the quiescent paddy rice is high, and the measured leaf color value is low.
  • the PC 2 calculates the edge direction feature amount ⁇ (x, y) for these measurement images by the edge direction feature amount calculation process (S110).
  • the PC 2 determines the edge direction feature amount ⁇ ( By using the difference of (x, y), it is determined whether or not the plant in the measurement image is in a stable/accelerated state. Specifically, the determination is made using the following determination formula (7).
  • ⁇ threshold is a threshold value (predetermined value) that is compared with the edge direction feature amount ⁇ (x, y) in order to determine whether the state is the solid/falling state or the non-solid/non-falling state.
  • the edge direction feature amount ⁇ (x, y) has a value near 0 in the non-quick/non-yielding state
  • the absolute value of the edge direction feature amount ⁇ (x, y) has a value in the non-quick/prone state. The fact that the size becomes large is used to determine whether the user is in a good/prone state or a non-good/non-prone state.
  • the three images in the middle of FIG. 5 are images showing the regions determined to be in the laid/laid state among the above-mentioned three measurement images, and the region in the laid/laid state is 1 (white), Others are represented by 0 (black). From these images, it can be seen that the area in the prone/prone state is appropriately determined using the edge direction feature amount.
  • the three images in the lower part of FIG. 5 are images showing the regions determined to be in the non-quick/non-collapsed state among the three measurement images described above, and the regions in the non-quick/non-collapsed state. Is represented by 1 (white), and the others are represented by 0 (black).
  • the threshold value ⁇ threshold 20° is set.
  • the PC 2 extracts the non-silver/non-yielding region shown in the lower part of FIG. 5 from the measurement image in the non-silver/non-yielding region extraction processing (S130).
  • the PC 2 may display the extracted non-silver/non-collapsed area on a monitor or output it to a printer.
  • the flowchart of FIG. 6 shows the processing performed by the PC 2 in this embodiment.
  • the PC 2 performs an edge direction feature amount calculation process (S210), a smooth/accelerated state determination process (S220), a non-quick/non-accumulated region extraction process (S230), and a plant information acquisition process (S240).
  • S210 to S230 are the same as S110 to S130 described in the first embodiment.
  • the PC 2 functions as a first information acquisition unit (first acquisition unit), a region identification unit (identification unit), and a second information acquisition unit.
  • the PC 2 measures the leaf color value as the plant information (object information) from the extracted image information of the non-silver/non-laid area.
  • a non-silent/non-yielding region that does not include a solid/yield state paddy rice that is not suitable for obtaining plant information is extracted, and the plant information is acquired using the image information of this non-silver/non-yielding region. Therefore, accurate plant information can be obtained.
  • the flowchart of FIG. 7 shows the processing performed by the PC 2 in this embodiment.
  • the PC 2 performs an edge direction feature amount calculation process (S310) and a squeeze/falling state determination process (S320).
  • S310 and S320 are the same as S110 and S120 described in the first embodiment.
  • the PC 2 performs a smooth/accelerated region extraction process (S330), a smooth/accelerated region area calculation process (S340), a threshold determination process (S350), and a plant information acquisition process (S360).
  • S360 is the same as S240 described in the second embodiment.
  • the PC 2 functions as a first information acquisition unit, a region identification unit, an image determination unit, and a second information acquisition unit (second acquisition unit).
  • the PC 2 extracts the squeeze/acceleration area shown in the middle part of FIG. 5 from the measurement image.
  • the PC 2 calculates the area of the squeeze/acceleration area extracted by the simulation/acceleration area extraction process (S330). Specifically, the PC 2 counts the area of the blue/collapse region by the number of pixels.
  • FIG. 8 shows the result of calculating the number of pixels in the solid/collapsed area at the times t1, t2, and t3 shown in FIG.
  • the PC 2 determines whether or not the area of the rough/collapsed area is equal to or larger than the threshold N threshold . If the area of the auspicious/accelerated region is greater than or equal to the threshold N threshold , the measurement image is obtained by imaging the avid/accelerated plant, and is suitable as a measurement image for obtaining plant information. It is determined that the image does not exist. In FIG. 8, since the area of the solid/accelerated region of the measurement image at time t2 is equal to or larger than the threshold N threshold, it is determined that this measurement image is not suitable as an image for obtaining plant information.
  • the PC 2 determines that the measurement image is an image suitable for obtaining the plant information, and acquires the plant information using the measurement image.
  • a process (S360) is performed.
  • the area of the solid/accelerated region of the measurement images at times t1 and t3 is smaller than the threshold N threshold , it is determined that these measurement images are suitable as images for obtaining plant information.
  • the threshold value N threshold can be selected according to the total number of pixels of the measurement image, the vegetation cover ratio of the plant (the ratio of the plant covering a predetermined area), and the like.
  • the plant information can be measured stably and accurately by not using the measurement image that is not suitable for obtaining the plant information as the measurement image for obtaining the plant information.
  • the area of the non-smooth/non-collapsed area may be represented by the actual area instead of the number of pixels. Further, instead of determining whether the measurement image is suitable for obtaining plant information by determining whether the area of the solid/accelerated area is smaller than a threshold value, whether the area of the non-ceramic/non-accumulated area is larger than the threshold value is determined. It may be determined whether or not the measurement image is suitable for obtaining the plant information.
  • the flowchart of FIG. 9 shows the processing performed by the PC 2 in this embodiment.
  • the PC 2 obtains a measurement image (hereinafter referred to as a t1 image and a t2 image) generated by capturing the same region from the same point at different times t1 and t2, respectively, as a t1 image input process (S411). And t2 image input processing (S412).
  • the PC 2 then performs edge direction feature amount calculation processing (S421, S422), squeeze/acceleration state determination processing (S431, S432), and squeeze/acceleration area extraction processing (S441,) for each of the t1 image and the t2 image.
  • S442 is performed.
  • S411 to S432 are the same as S110 to S120 described in the first embodiment
  • S411 and S442 are the same as S330 described in the third embodiment.
  • the PC 2 performs a difference calculation process (S450) and a squeeze/fallover determination process (S460).
  • the PC 2 functions as a first information acquisition unit, a region identification unit, and an object determination unit.
  • the difference calculation process (S450) will be described with reference to FIG.
  • the PC 2 calculates the difference between the images of the solid/accelerated regions at the times t1 and t2 shown in FIG. 5, as shown in FIG. 10, to generate a difference image. Specifically, the image of the dynamic/falling area at time t1 is subtracted from the image of the dynamic/falling area at time t2.
  • the area in the quivering state at time t2 is +1 (white), and the areas in the quivering/accumulating state or the non-quenching/non-clining state at times t1 and t2 are 0 (gray),
  • the area in the dull state at time t1 is represented by -1 (black).
  • the PC 2 multiplies the image obtained by adding 2 to the difference image by the image of the dynamic/accelerated region at the time t1, so that the time t1 shown in the lower part of FIG. To generate a squeeze/fallover determination image.
  • the image obtained by adding 2 to the difference image is multiplied by the image of the dynamic/accelerated region at time t2 to generate the dynamic/accelerated determination image at time t2.
  • the image of the non-accurate/non-accelerated area may be multiplied by the image obtained by adding 2 to the difference image to generate the dynamic/acceleration determination image.
  • the PC 2 determines whether or not the plant is in the wind or lodged at each time by comparing the swollen/lodging determination images at the times t1 and t2. Specifically, in each of the mesh/acceleration determination images, the area of +3 (white) indicates that it is in the mesh state at the time t2, and the area of +2 (ash) is in the lodging state in which the plant is constantly collapsed. Indicates that. Further, the area of +1 (gray) indicates that it is in a dull state at time t1. Further, the region of 0 (black) indicates that the time is at a time t1 or t2 in a non-quiet/non-laid-down state.
  • the present embodiment by using the measurement image generated by imaging the same region from the same point at different times, it is determined whether the plant is in the wind or lying. be able to.
  • the measurement images generated by imaging at different times may be multiple images, and the more measurement images are used, the more reliable the determination result can be.
  • paddy rice was taken as an example of the plant to be imaged, but wheat or other plants may be the image to be captured, and objects other than the plant may be the image to be captured.
  • the leaf color value is given as an example of the plant information, but plant information different from the leaf color value may be acquired.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • Imaging device 2 Personal computer

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】物体の撮像画像を用いて該物体の状態を特定する。 【解決手段】画像処理装置2は、物体の撮像により生成された画像から該物体のエッジ方向を示す第1の情報を取得し、第1の情報を用いて、画像のうち物体が特定の状態にある第1の領域および物体が特定の状態にない第2の領域のうち少なくとも一方を特定する。

Description

画像処理装置および画像処理方法
 本発明は、植物等の物体を撮像して得られた画像から物体の情報を取得する画像処理技術に関する。
 水稲等の植物の栽培において、植物の生育状態を判断する指標として、葉の色を数値化した値である葉色値が用いられている。葉色値の測定方法には、葉色カラースケールを用いる方法と葉緑素計を用いる方法とがある。
 これらの測定方法において、植物を撮像して得られた画像を用いることが提案されている。特許文献1には、水稲を撮像して得られた画像を用いて水稲の葉色値を正確に測定するために、撮像時の照明スペクトルの影響を補正する方法が開示されている。
特開2002-168771号公報
 しかしながら、特許文献1にて開示されたような方法を用いても、水稲が風で靡いてたり倒伏したりしていると、葉色値を正確に測定することができない場合がある。これは、風で靡いていたり倒伏したりしている水稲とそうではない水稲とでは、照明光のあたり方が異なるために、葉色値が異なる値として測定されてしまうからである。また、測定した葉色値から水稲が風で靡いている又は倒伏しているかを判別しようとしても、生育不良等の理由で部分的に葉色値が異なる場合との区別が難しい。
 本発明は、物体の撮像画像を用いて該物体の状態を特定するのに有効な画像処理装置および画像処理方法を提供する。
 本発明の一側面としての画像処理装置は、物体の撮像により生成された画像から該物体のエッジ方向を示す第1の情報を取得する第1の取得手段と、第1の情報を用いて、画像のうち物体が特定の状態にある第1の領域および物体が特定の状態にない第2の領域のうち少なくとも一方を特定する特定手段とを有することを特徴とする。
 また、本発明の他の一側面としての画像処理方法は、物体の撮像により生成された画像から該物体のエッジ方向を示す第1の情報を取得するステップと、第1の情報を用いて、画像のうち物体が特定の状態にある第1の領域および物体が特定の状態にない第2の領域のうち少なくとも一方を特定するステップとを有することを特徴とする。
 なお、コンピュータに上記画像処理方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
 本発明によれば、物体の撮像画像のうち該物体の状態に応じた領域を特定することができる。
本発明の実施例である植物情報取得システムにおいて行われる処理を示すフローチャート。 実施例におけるエッジ方向特徴量を計算する処理を示すフローチャート。 図2におけるエッジ強調処理に使用される平滑化フィルタを示す図。 図2におけるエッジ画像生成処理に使用される微分フィルタを示す図。 実施例1における測定用画像、靡き/倒伏領域および非靡き/非倒伏領域の例を示す図。 実施例2である植物情報取得システムにおいて行われる処理を示すフローチャート。 実施例3である植物情報取得システムにおいて行われる処理を示すフローチャート。 実施例3における靡き/倒伏領域面積と閾値との関係を示す図。 実施例4である植物情報取得システムにおいて行われる処理を示すフローチャート。 実施例4における靡き/倒伏領域判定のための処理を示す図。 実施例の植物情報取得システムの構成を示す図。
 以下、本発明の実施例について図面を参照しながら説明する。
 本発明の実施例では、物体としての植物の撮像により生成された画像(以下、測定用画像という)からエッジ方向を示す情報としてのエッジ方向特徴量(第1の情報)を取得(計算)する。次に、該エッジ方向特徴量を用いて植物が風に靡いている又は倒伏している特定の状態(以下、靡き/倒伏状態という)にあるか否かを判定する。そして、測定用画像のうち植物が靡き/倒伏状態にある第1の領域および靡き/倒伏状態にない第2の領域のうち少なくとも一方を抽出(特定)する。第1または第2の領域としての画像領域を情報取得領域とし、該情報取得領域の画像情報から植物の生育状態を判断する指標となる植物情報である葉色値(第2の情報)を取得(測定)することが可能である。
 まず、エッジ方向特徴量について説明する。図2のフローチャートは、エッジ方向特徴量を計算する処理を示す。エッジ方向特徴量の計算は、エッジ強調処理(S111)、二値化処理(S112)、エッジ画像生成処理(S113)およびエッジ方向計算処理(S114)の4つの処理により実行される。Sはステップを意味する。
 前提として、エッジ方向特徴量を計算する対象となる入力画像としての測定用画像は、植物の撮像により得られるモノクロ画像I(x, y)を使用する。Iはモノクロ画像の各画素の輝度値を示す。植物の撮像により生成された画像がマルチバンド画像である場合は、モノクロ画像I(x, y)として、各バンド画像の重み付き和で計算された画像を用いるとよい。例えば、植物の撮像により生成された画像がRGB画像である場合には、Rバンド画像、Gバンド画像およびBバンド画像の重み付き和で計算されたグレースケール画像を用いるとよい。また、モノクロ画像I(x, y)として、マルチバンド画像のうち代表的なバンド画像を用いてもよい。例えば、植物の葉を撮像することで生成された画像がRGB画像である場合には、植物の葉の緑色をよく反映するGバンド画像をモノクロ画像I(x, y)として用いてもよい。なお、画像の横と縦の画素数をそれぞれNx, Nyとするとき、x=1, ...,Nxおよびy=1, ...,Nyとする。
 エッジ強調処理(S111)では、モノクロ画像I(x, y)のエッジを強調したエッジ強調画像Ienhance(x, y)を生成する。具体的には、下記の式(1)および(2)により、エッジ強調画像エッジ強調画像Ienhance(x, y)を生成する。
Figure JPOXMLDOC01-appb-M000001
ここで、Imean(x, y)はモノクロ画像I(x, y)を平滑化フィルタHmeanを用いて平滑化した平滑化画像であり、言い換えれば、各画素(x, y)を含む局所領域内の画素の平均輝度値を示す。記号*は畳み込み積分を意味する。すなわち、式(2)は、モノクロ画像I(x, y)の各画素(x, y)の輝度値Iを上記平均輝度値で除算することを意味する。
 図3(a),(b)は、平滑化フィルタHmeanの例を示す。図3(a)はフィルタサイズn=3とした場合の平滑化フィルタを、図3(b)はフィルタサイズn=5とした場合の平滑化フィルタを示している。
 上記エッジ強調処理(S111)を行うと、局所的な輝度差が小さい領域においてもエッジを強調することができる。この結果、後のエッジ画像生成処理(S113)において、検出すべきエッジを適切に検出することができる。
 二値化処理(S112)では、下記の式(3)を用いて、エッジ強調処理により得られたエッジ強調画像Ienhance(x, y)から二値化画像Ibinary(x, y)を生成する。
Figure JPOXMLDOC01-appb-M000002
 この二値化処理(S112)を行うと、エッジ強調画像Ienhance(x, y)のエッジをさらに強調することができ、後のエッジ画像生成処理(S113)において、検出すべきエッジをより適切に検出することができる。
 エッジ画像生成処理(S113)では、二値化処理により得られた二値化画像Ibinary(x, y)を少なくとも2方向に微分して該少なくとも2方向の微分画像を生成する。ここでは、x方向とy方向の微分画像Gx(x, y),Gy(x, y)を例として説明する。微分画像Gx(x, y),Gy(x, y)は下記の式(4)および(5)を用いて生成する。
Figure JPOXMLDOC01-appb-M000003
ここで、Hxはx方向微分フィルタであり、Hyはy方向微分フィルタである。記号*は畳み込み積分を意味する。
 図4(a)~(c)は、y方向微分フィルタHyの例を示す。y方向微分フィルタHyとしては、図4(a)に示すPrewittフィルタを用いてもよいし、図4(b)に示すSobelフィルタを用いてもよい。また、図4(c)に示すような微分フィルタを用いてもよい。図4(c)に示すように、微分フィルタのフィルタサイズを大きくすると、エッジ方向計算処理(S114)において計算されるエッジ方向特徴量の階調を大きくすることができる。なお、x方向微分フィルタHxとしては、y方向微分フィルタHyを転置したフィルタを用いればよい。
 エッジ方向計算処理(S114)では、下記の式(6)を用いてエッジ方向特徴量θ(x, y)を計算する。
Figure JPOXMLDOC01-appb-M000004
ここで、エッジ方向特徴量θ(x, y)は、-90°≦ θ(x, y) ≦90°の範囲で変化する特徴量である。なお、エッジ画像生成処理(S113)とエッジ方向計算処理(S114)の説明では、x方向とy方向の微分画像Gx(x, y),Gy(x, y)を例に挙げたが、微分する2方向が互いに直交していればx方向とy方向に限られない。
 本実施例におけるエッジ方向特徴量θ(x, y)の計算方法は、モノクロ画像I(x, y)に輝度分布がある場合やモノクロ画像I(x, y)のコントラストが低い場合でも、エッジをほぼ確実に検出し、検出エッジのエッジ方向特徴量θ(x, y)を正確に計算できるという特徴を有する。
 そして、本実施例では、こうして計算されたエッジ方向特徴量θ(x, y)を用いて、撮像された植物の靡き/倒伏状態を判定する。エッジ方向特徴量θ(x, y)は、画像内の植物の輝度や色に依存しにくいという特徴を有する。このため、植物の輝度や色とは独立して、植物の靡き/倒伏状態を判定することができる。
 本実施例によれば、生育不良等の理由で葉色値が異なる水稲と、靡き/倒伏状態にあるために葉色値が異なる水稲とを良好に区別することができる。
 以下、具体的な実施例として、エッジ方向特徴量を用いて植物の靡き/倒伏状態を判定し、靡き/倒伏状態の情報を用いて測定用画像から葉色値を取得する情報取得領域を選択(設定)する植物情報取得システムについて説明する。
 図11は、実施例1である植物情報取得システム100の構成を示している。植物情報取得システム(撮像システム)100は、植物(水稲)を撮像して測定用画像を生成する撮像装置1と、該撮像装置1から測定用画像を取得する画素処理装置としてのパーソナルコンピュータ(PC)2とにより構成されている。
 図1のフローチャートは、本実施例においてPC2が行う処理(画像処理方法)を示している。PC2は、内蔵されたコンピュータプログラムに従って、エッジ方向特徴量計算処理(S110)と、靡き/倒伏状態判定処理(S120)と、非靡き/非倒伏領域(情報取得領域)抽出処理(S130)とを行う。PC2は、第1の情報取得手段および領域取得手段として機能する。
 PC2は、エッジ方向特徴量計算処理(S110)において、図2のフローチャートを用いて説明した処理を行ってエッジ方向特徴量θ(x, y)を計算する。
 図5は、エッジ方向特徴量θ(x, y)を用いた水稲の靡き/倒伏状態の判定結果を示している。上段の3つの測定用画像は、同一地点から同一領域の水稲を互いに異なる時刻(t1,t2,t3)にて撮像することで生成されたRGB画像から生成されたグレースケール画像である。時刻t2の測定用画像において水稲の一部が風に靡いており、靡いている水稲の輝度値は高く、測定される葉色値は低くなっている。PC2は、これらの測定用画像に対して、エッジ方向特徴量計算処理(S110)によりエッジ方向特徴量θ(x, y)を計算する。
 次にPC2は、靡き/倒伏状態判定処理(S120)において、特定の状態としての靡き/倒伏状態にある植物とそうではない(非靡き/非倒伏)状態の植物とのエッジ方向特徴量θ(x, y)の違いを利用して、測定用画像内の植物が靡き/倒伏状態か否かを判定する。具体的には、下記の判定式(7)を用いて判定する。
Figure JPOXMLDOC01-appb-M000005
ここで、θthresholdは靡き/倒伏状態か非靡き/非倒伏状態かを判定するためにエッジ方向特徴量θ(x, y)と比較される閾値(所定値)である。本実施例では、非靡き/非倒伏状態ではエッジ方向特徴量θ(x, y)が0付近の値となり、靡き/倒伏状態になるにつれてエッジ方向特徴量θ(x, y)の絶対値が大きくなることを利用して靡き/倒伏状態か非靡き/非倒伏状態かを判定する。
 図5の中段の3つの画像は、上述した3つの測定用画像のうち靡き/倒伏状態にあると判定された領域を示す画像であり、靡き/倒伏状態にある領域を1(白)、それ以外を0(黒)で表現している。これらの画像から、エッジ方向特徴量を用いて靡き/倒伏状態の領域を適切に判定することが分かる。また、図5の下段の3つの画像は、上述した3つの測定用画像のうち非靡き/非倒伏状態にあると判定された領域を示した画像であり、非靡き/非倒伏状態にある領域を1(白)、それ以外を0(黒)で表現している。
 本実施例では、平滑化フィルタのサイズn=7とし、微分フィルタとして図4(c)に示したフィルタを使用している。また、閾値θthreshold=20°としている。閾値θthresholdは撮像する植物の種類や検出したい靡き/倒伏状態の程度に応じて選択することができる。水稲の場合は、閾値θthreshold=20°~30°に設定するとよい。
 さらにPC2は、非靡き/非倒伏領域抽出処理(S130)において、測定用画像から図5の下段に示した非靡き/非倒伏領域を抽出する。PC2は、抽出した非靡き/非倒伏領域をモニタに表示したりプリンタに出力したりしてもよい。
 本実施例によれば、測定用画像内の植物が風に靡いたり倒伏したりしていても、正確な植物情報を取得可能な画像領域を抽出することができる。
 次に実施例2について説明する。図6のフローチャートは、本実施例においてPC2が行う処理を示している。PC2は、エッジ方向特徴量計算処理(S210)と、靡き/倒伏状態判定処理(S220)と、非靡き/非倒伏領域抽出処理(S230)と、植物情報取得処理(S240)とを行う。S210~S230は、実施例1で説明したS110~S130と同じである。PC2は、第1の情報取得手段(第1の取得手段)、領域特定手段(特定手段)および第2の情報取得手段として機能する。
 植物情報取得処理(S240)では、PC2は、抽出された非靡き/非倒伏領域の画像情報から植物情報(物体情報)としての葉色値を測定する。
 本実施例では、植物情報の取得に適さない靡き/倒伏状態の水稲が含まれない非靡き/非倒伏領域を抽出し、この非靡き/非倒伏領域の画像情報を用いて植物情報を取得するので、正確な植物情報を得ることができる。
 なお、測定用画像から靡き/倒伏領域を抽出し、抽出された靡き/倒伏領域内の画像情報から植物情報を取得してもよい。
 次に実施例3について説明する。図7のフローチャートは、本実施例においてPC2が行う処理を示している。PC2は、エッジ方向特徴量計算処理(S310)と、靡き/倒伏状態判定処理(S320)とを行う。S310,S320は、実施例1で説明したS110,S120と同じである。さらにPC2は、靡き/倒伏領域抽出処理(S330)と、靡き/倒伏領域面積計算処理(S340)と、閾値判定処理(S350)と、植物情報取得処理(S360)とを行う。S360は、実施例2で説明したS240と同じである。PC2は、第1の情報取得手段、領域特定手段、画像判定手段および第2の情報取得手段(第2の取得手段)として機能する。
 靡き/倒伏領域抽出処理(S330)では、PC2は、測定用画像から図5の中段に示した靡き/倒伏領域を抽出する。
 次に靡き/倒伏領域面積計算処理(S340)では、PC2は、靡き/倒伏領域抽出処理(S330)により抽出された靡き/倒伏領域の面積を計算する。具体的には、PC2は、靡き/倒伏領域の面積をその画素数によりカウントする。図5に示した時刻t1,t2およびt3での靡き/倒伏領域の画素数を計算した結果を図8に示す。
 続いて閾値判定処理(S350)では、PC2は、靡き/倒伏領域の面積が閾値Nthreshold以上か否かを判定する。靡き/倒伏領域の面積が閾値Nthreshold以上である場合は、測定用画像が靡き/倒伏状態の植物を撮像して得られたものであり、植物情報を取得するための測定用画像としては適さない画像であると判定する。図8においては、時刻t2の測定用画像の靡き/倒伏領域の面積が閾値Nthreshold以上であるので、この測定用画像は植物情報を取得するための画像としては適さないと判定される。
 一方、靡き/倒伏領域の面積が閾値Nthresholdより小さい場合は、PC2は、測定用画像が植物情報を取得するために適した画像であると判定し、該測定用画像を用いて植物情報取得処理(S360)を行う。図8においては、時刻t1,t3の測定用画像の靡き/倒伏領域の面積が閾値Nthresholdより小さいので、これらの測定用画像は植物情報を取得するための画像として適すると判定される。
 閾値Nthresholdは、測定用画像の総画素数、植物の植被率(所定の面積を植物が覆っている割合)等に応じて選択することができる。
 本実施例によれば、植物情報の取得に適さない測定用画像を植物情報を取得する測定用画像として用いないことにより、植物情報を安定的に、かつ正確に測定することができる。
 なお、非靡き/非倒伏領域の面積を、その画素数ではなく、実際の面積で表してもよい。また、靡き/倒伏領域の面積が閾値より小さいか否かで測定用画像が植物情報の取得に適しているか否かを判定する代わりに、非靡き/非倒伏領域の面積が閾値より大きいか否かで測定用画像が植物情報の取得に適しているか否かを判定してもよい。
 次に実施例4について説明する。図9のフローチャートは、本実施例においてPC2が行う処理を示している。PC2は、同一地点から同一領域を互いに異なる時刻t1,t2で撮像することにより生成された測定用画像(以下それぞれ、t1画像およびt2画像という)を取得する処理として、t1画像入力処理(S411)とt2画像入力処理(S412)とを行う。そしてPC2は、t1画像およびt2画像のそれぞれに対して、エッジ方向特徴量計算処理(S421,S422)と、靡き/倒伏状態判定処理(S431,S432)と、靡き/倒伏領域抽出処理(S441,S442)とを行う。S411~S432は実施例1で説明したS110~S120と同じであり、S411,S442は実施例3で説明したS330と同じである。
 さらにPC2は、差分計算処理(S450)と、靡き・倒伏判定処理(S460)とを行う。PC2は、第1の情報取得手段、領域特定手段および物体判定手段として機能する。
 差分計算処理(S450)について、図10を用いて説明する。この差分計算処理では、PC2は、図10に示すように図5に示した時刻t1,t2での靡き/倒伏領域の画像の差分を計算して差分画像を生成する。具体的には、時刻t2での靡き/倒伏領域の画像から時刻t1での靡き/倒伏領域の画像を差し引く。
 図10に示す差分画像では、時刻t2で靡き状態にある領域を+1(白)で、時刻t1,t2で共に靡き/倒伏状態または非靡き/非倒伏状態にある領域を0(灰)で、時刻t1で靡き状態にある領域を-1(黒)で表現している。
 次に靡き・倒伏判定処理(S460)では、PC2は、差分画像に2を加えた画像に対して、時刻t1での靡き/倒伏領域の画像を乗じることで、図10の下段に示す時刻t1における靡き・倒伏判定画像を生成する。同様に、差分画像に2を加えた画像に対して、時刻t2での靡き/倒伏領域の画像を乗じて時刻t2における靡き・倒伏判定画像を生成する。
 なお、靡き・倒伏判定処理において、差分画像に2を加えた画像に対して非靡き/非倒伏領域の画像を乗じて靡き・倒伏判定画像を生成してもよい。
 そして、PC2は、これら時刻t1,t2における靡き・倒伏判定画像を比較することで、各時刻において植物が風に靡いている又は倒伏している状態か否かを判定する。具体的には、各靡き・倒伏判定画像において、+3(白)の領域は時刻t2において靡き状態にあることを示し、+2(灰)の領域は恒常的に植物が倒れている倒伏状態にあることを示す。また、+1(灰)の領域は時刻t1において靡き状態にあることを示す。さらに0(黒)の領域は、時刻t1,t2において非靡き/非倒伏状態にあることを示す。
 本実施例によれば、同一地点から同一領域を互いに異なる時刻で撮像することで生成された測定用画像を用いることで、植物が風に靡いている状態か倒伏している状態かを判定することができる。
 なお、互いに異なる時刻での撮像により生成された測定用画像は複数の画像であればよく、多くの測定用画像を用いるほど判定結果の信頼性を向上させることができる。
 上記各実施例では、撮像対象の植物として水稲を例として挙げたが、小麦その他の植物を撮像対象としてもよく、さらに植物以外の物体を撮像対象としてもよい。また、植物情報として葉色値を例として挙げたが、葉色値とは異なる植物情報を取得してもよい。
(その他の実施例)
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
 1 撮像装置
 2 パーソナルコンピュータ
 

Claims (13)

  1.  物体の撮像により生成された画像から前記物体のエッジ方向を示す第1の情報を取得する第1の取得手段と、
     前記第1の情報を用いて、前記画像のうち前記物体が特定の状態にある第1の領域および前記物体が前記特定の状態にない第2の領域のうち少なくとも一方を特定する特定手段とを有することを特徴とする画像処理装置。
  2.  前記第1の取得手段は、
     前記画像を少なくとも2方向に微分して微分画像を生成する処理と、
     前記微分画像から前記エッジ方向を求める処理とを行うことにより、前記第1の情報を取得することを特徴とする請求項1に記載の画像処理装置。
  3.  前記第1の取得手段は、
     前記画像の各画素の輝度値を前記各画素を含む局所領域内の画素の平均輝度値で除算してエッジ強調画像を生成する処理と、
     前記エッジ強調画像から二値化画像を生成する処理と、
     前記二値化画像を少なくとも2方向に微分して前記微分画像を生成する処理とを行うことを特徴とする請求項2に記載の画像処理装置。
  4.  前記特定手段は、前記第1の情報と所定値とを比較して前記第1および第2の領域のうち少なくとも一方を特定することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
  5.  前記物体は植物であることを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
  6.  前記特定の状態は、前記物体が風に靡いている状態および倒伏している状態のうち少なくとも一方であることを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
  7.  前記第1または第2の領域において、前記物体の情報として前記第1の情報とは異なる第2の情報を取得する第2の取得手段を有することを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
  8.  前記物体は植物であり、
     前記第2の情報は、前記植物の葉色値であることを特徴とする請求項7に記載の画像処理装置。
  9.  前記第1または第2の領域の面積に応じて、前記画像から前記第2の情報を取得するか否かを判定する画像判定手段を有することを特徴とする請求項7または8に記載の画像処理装置。
  10.  互いに異なる時刻での前記物体の撮像により生成された複数の画像を用いて、それぞれの前記時刻において前記物体が前記特定の状態にあるか否かを判定する物体判定手段を有することを特徴とする請求項1から9のいずれか一項に記載の画像処理装置。
  11. 請求項1から10のいずれか一項に記載の画像処理装置と、前記画像を取得する撮像装置とを備えることを特徴とする撮像システム。
  12.  物体の撮像により生成された画像から前記物体のエッジ方向を示す第1の情報を取得するステップと、
     前記第1の情報を用いて、前記画像のうち前記物体が特定の状態にある第1の領域および前記物体が前記特定の状態にない第2の領域のうち少なくとも一方を特定するステップとを有することを特徴とする画像処理方法。
  13.  コンピュータに、請求項12に記載の画像処理方法に従う処理を実行させることを特徴とするコンピュータプログラム。
PCT/JP2019/051249 2019-01-30 2019-12-26 画像処理装置および画像処理方法 WO2020158286A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-013960 2019-01-30
JP2019013960A JP2020122692A (ja) 2019-01-30 2019-01-30 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2020158286A1 true WO2020158286A1 (ja) 2020-08-06

Family

ID=71840550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051249 WO2020158286A1 (ja) 2019-01-30 2019-12-26 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP2020122692A (ja)
WO (1) WO2020158286A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
JP2004264257A (ja) * 2003-03-04 2004-09-24 Toyota Motor Corp 土壌状態判定方法
JP2008077460A (ja) * 2006-09-22 2008-04-03 Fujifilm Corp 画像評価装置およびそのプログラム
JP2014102805A (ja) * 2012-11-22 2014-06-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
CN108169138A (zh) * 2017-12-18 2018-06-15 扬州大学 一种利用热红外图像的水稻倒伏监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
JP2004264257A (ja) * 2003-03-04 2004-09-24 Toyota Motor Corp 土壌状態判定方法
JP2008077460A (ja) * 2006-09-22 2008-04-03 Fujifilm Corp 画像評価装置およびそのプログラム
JP2014102805A (ja) * 2012-11-22 2014-06-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
CN108169138A (zh) * 2017-12-18 2018-06-15 扬州大学 一种利用热红外图像的水稻倒伏监测方法

Also Published As

Publication number Publication date
JP2020122692A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
TWI462054B (zh) Estimation Method of Image Vagueness and Evaluation Method of Image Quality
JP2010045613A (ja) 画像識別方法および撮像装置
JP2006066478A (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
WO2016170656A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TW201351343A (zh) 影像合成裝置及用於影像合成之電腦程式
JP2007172512A (ja) 画像品質定量評価方法及びその装置並びに画像品質定量評価値を計算するプログラム
CN111866501B (zh) 一种摄像模组检测方法、装置、电子设备及介质
US20220414827A1 (en) Training apparatus, training method, and medium
JP2016526182A (ja) レンズ装着平面性の即時調整方法及び装置
WO2018078806A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4801697B2 (ja) 画像形成方法,画像形成装置、及びコンピュータプログラム
WO2020158286A1 (ja) 画像処理装置および画像処理方法
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US20230224581A1 (en) Evaluation method for image stabilization effect of imaging apparatus, evaluation device, and program storage medium
JP6603709B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Hu et al. Jpeg ringing artifact visibility evaluation
JP2008123329A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2020021314A (ja) 画像処理装置及び画像処理方法
JP2005326323A (ja) 画質検査装置
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
CN109934215B (zh) 一种身份证识别方法
US10958899B2 (en) Evaluation of dynamic ranges of imaging devices
JP4089780B2 (ja) カラー画像の処理方法
US20220020129A1 (en) Image matching apparatus, image matching method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912321

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912321

Country of ref document: EP

Kind code of ref document: A1