JP7315958B2 - Crop imaging device and crop imaging method - Google Patents
Crop imaging device and crop imaging method Download PDFInfo
- Publication number
- JP7315958B2 JP7315958B2 JP2020008993A JP2020008993A JP7315958B2 JP 7315958 B2 JP7315958 B2 JP 7315958B2 JP 2020008993 A JP2020008993 A JP 2020008993A JP 2020008993 A JP2020008993 A JP 2020008993A JP 7315958 B2 JP7315958 B2 JP 7315958B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- crop
- photographing
- image
- fixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、野菜や果実といった作物をカメラで撮影する技術に関する。 The present invention relates to a technique for photographing crops such as vegetables and fruits with a camera.
作物を撮影し、画像解析により生育状態等の情報を取得する技術が知られている（例えば、特許文献１を参照）。
There is known a technique of photographing crops and acquiring information such as the growth state by image analysis (see
上記の技術では、一般に温室の天井や壁面、あるいは三脚等に固定したカメラにより、継続して撮影を行う方法が採用される。例えば、トマトの場合、花芽の部分を継続的に撮影し、最終的に実の成長過程が撮影される。しかしながら、成長が進むに従って、茎や枝が伸びるので、被写体がカメラの撮影範囲から外れる場合がある。また、葉が茂ってゆき、被写体が葉に隠れる場合がある。 The above technique generally employs a method of continuously photographing with a camera fixed to the ceiling or wall of a greenhouse, or to a tripod or the like. For example, in the case of tomato, the flower bud portion is continuously photographed, and finally the growth process of the fruit is photographed. However, as the tree grows, its stems and branches grow, and the subject may move out of the imaging range of the camera. In addition, the leaves may grow thick and the subject may be hidden by the leaves.
このような背景において、本発明は、成長する作物の花芽や実を継続して確実に撮影できる技術の提供を目的とする。 In view of this background, it is an object of the present invention to provide a technique capable of continuously and reliably photographing flower buds and fruits of growing crops.
本発明は、作物の茎または枝に固定される固定部と、前記固定部に回転が可能な状態で固定されたカメラと、前記固定部を前記作物の成長をガイドするガイド部材に束縛させる束縛部とを備える作物の撮影装置である。 The present invention comprises: a fixing part fixed to the stem or branch of a crop; a camera fixed to the fixing part in a rotatable state; and a crop imaging device.
本発明において、前記カメラが前記作物の成長に従って、前記ガイド部材に沿って移動する態様は好ましい。本発明において、前記カメラを前記固定部に対して回転させる駆動部を備える態様は好ましい。本発明において、前記カメラが撮影した画像に基づき、前記カメラを前記作物の特定の部分に向ける制御を前記駆動部に対して行う制御部を備える態様は好ましい。 In the present invention, it is preferable that the camera moves along the guide member as the crop grows. In the present invention, it is preferable to include a driving section that rotates the camera with respect to the fixed section. In the present invention, it is preferable to include a control section that controls the drive section to direct the camera to a specific portion of the crop based on the image captured by the camera.
本発明において、カメラによる作物の特定の部分の撮影を、カメラの位置を変更して複数回行う制御を行う制御部を備える態様は好ましい。本発明において、異なる複数のカメラの位置から作物の特定の部分の撮影を行うことで、前記作物の前記特定の部分のステレオ写真画像を得る態様は好ましい。 In the present invention, it is preferable to include a control unit that performs control to change the position of the camera to photograph a specific portion of the crop a plurality of times. In the present invention, it is preferable to obtain a stereo photographic image of the specific portion of the crop by photographing the specific portion of the crop from a plurality of different camera positions.
本発明において、カメラが撮影した画像からバイトマークを検出する画像処理部を備える態様は好ましい。本発明において、カメラが撮影した画像から特定の色彩を検出する画像処理部を備える態様は好ましい。本発明において、カメラが波長フィルタを備える態様は好ましい。 In the present invention, it is preferable to include an image processing section that detects a bite mark from an image captured by a camera. In the present invention, it is preferable to include an image processing section that detects a specific color from the image captured by the camera. In the present invention, it is preferable that the camera has a wavelength filter.
本発明において、固定部から離れる方向で、且つ、互いに逆方向に延在する第１の腕部および第２の腕部と、前記第１の腕部に回転可能な状態で固定され、カメラを保持する第１の長手形状部材と、前記第２の腕部に回転可能な状態で固定され、前記カメラの動作制御を行う回路を備えた回路基板を保持する第２の長手形状部材とを備える態様は好ましい。 In the present invention, a first arm portion and a second arm portion extending in directions away from the fixed portion and in directions opposite to each other; a first elongated member for holding; and a second elongated member for holding a circuit board rotatably fixed to the second arm and having a circuit for controlling the operation of the camera. Aspects are preferred.
本発明において、カメラが撮影した画像の解析結果に基づく報知を行う報知手段を備える態様は好ましい。ここで、報知手段が発光デバイスである態様は好ましい。本発明において、温度センサおよび／または湿度センサを備える態様は好ましい。本発明において、コード化ターゲットを備える態様は好ましい。 In the present invention, it is preferable to have a notification means for performing notification based on the analysis result of the image photographed by the camera. Here, it is preferable that the notification means is a light emitting device. In the present invention, a preferred embodiment includes a temperature sensor and/or a humidity sensor. In the present invention, the embodiment with the coded target is preferred.
本発明は、作物の茎または枝にカメラを固定すると共に前記カメラを前記作物の成長方向をガイドするガイド部材に束縛させた状態で前記作物の特定の部分の撮影を行い、前記作物の前記茎または枝の成長と共に前記カメラが前記ガイド部材に沿って移動する作物の撮影方法として把握することもできる。 According to the present invention, a camera is fixed to the stem or branch of a crop, and a specific portion of the crop is photographed while the camera is bound by a guide member that guides the growth direction of the crop. Alternatively, it can be understood as a method of photographing crops in which the camera moves along the guide member as the branches grow.
上記方法の発明において、前記作物が野菜または果物であり、前記作物の前記特定の部分は前記野菜の実または前記果物の実の部分である態様は好ましい。 In the invention of the method described above, it is preferable that the crop is a vegetable or a fruit, and the specific portion of the crop is the fruit portion of the vegetable or the fruit.
本発明によれば、成長する作物の花芽や実を継続して確実に撮影できる技術が得られる。 According to the present invention, it is possible to obtain a technique capable of continuously and reliably photographing flower buds and fruits of growing crops.
１．第１の実施形態
（概要）
作物の茎や枝に固定可能なクリップと、カメラを複合化した撮影装置（以下、クリップカメラ）を用意する。クリップカメラは、クリップ部分を作物の茎や枝に固定することで、カメラを当該作物の茎や枝の部分に固定することができる。また、クリップカメラには、作物の成長をガイドするガイド部材である誘引ワイヤを通す孔が設けられており、そこに誘引ワイヤを通すことで、クリップカメラは誘引ワイヤに束縛される。
1. First embodiment (outline)
Prepare a clip that can be fixed to the stems and branches of crops and an imaging device that combines a camera (hereinafter referred to as a clip camera). The clip camera can be fixed to the stem or branch of the crop by fixing the clip portion to the stem or branch of the crop. Moreover, the clip camera is provided with a hole through which an attracting wire, which is a guide member for guiding the growth of crops, is passed. By passing the attracting wire through the hole, the clip camera is bound by the attracting wire.
作物に固定されたクリップカメラは、作物の成長に従って茎および誘引ワイヤに沿って移動する。花芽や実の近くにカメラを位置させることで、葉が茂っても花芽や実を確実に撮影することができる。また、茎や枝が成長し、花芽や実の位置が動いても、カメラも花芽や実に追従して移動するので、確実に花芽や実の撮影が行える。また、茎の成長方向を制御するために、誘引ワイヤの方向を変えても、当該カメラが誘引ワイヤに束縛されているので、当該カメラがその動きに追従し、花芽や実が当該カメラの視野から外れる問題が抑制される。 A clip camera fixed to the crop moves along the stem and the attracting wire as the crop grows. By positioning the camera near the flower buds and fruits, it is possible to reliably photograph the flower buds and fruits even when the leaves are thick. Also, even if the stems and branches grow and the positions of the flower buds and fruits move, the camera moves to follow the flower buds and fruits, so that the flower buds and fruits can be photographed reliably. In addition, even if the direction of the attracting wire is changed in order to control the growth direction of the stem, since the camera is bound by the attracting wire, the camera follows the movement, and the flower buds and fruits are visible in the field of view of the camera. The problem of deviating from is suppressed.
（クリップカメラ）
図１には、クリップカメラ１００を正面から見た状態が示されている。クリップカメラ１００は、クリップ１１０、カメラ１５０、回路基板１３８が一体化された構造を有している。カメラ１５０と回路基板１３８は、クリップ１１０に対して、回転させる（動かす）ことが可能とされている。
(clip camera)
FIG. 1 shows the
クリップ１１０は、作物の茎や枝に固定することが可能な機能を持ち、市販されている園芸用クリップと同様な構造を有している。クリップ１１０は、可動部１２０と可動部１３０を備える。可動部１２０と可動部１３０は、軸部１４０により、相対的に回転が可能な状態で結合されている。
The
可動部１２０は、摘み部１２１、腕部１２２、湾曲部１２３を備える。湾曲部１２３は、半円環形状を有している。可動部１３０は、可動部１２０を左右で反転させた略形状を有し、摘み部１３１、腕部１３２、湾曲部１３３を備える。湾曲部１３３は、半円環形状を有している。
The
湾曲部１２３と１３３によって、円環境に閉じた形状の把持部１４１が構成されている。把持部１４１によって、作物の茎や枝を掴む（挟む）ことで、クリップ１１０（クリップカメラ１００）が作物に固定される。
The
摘み部１２１と１３１を指で挟み、両者の離間距離を狭めると、軸部１４０を回転中心として、可動部１２０と１３０が相対的に回転し、湾曲部１２３と湾曲部１３３が離れる。この結果、湾曲部１２３と１３３によって、円環境に閉じた形状の把持部１４１が開く。
When the
湾曲部１２３と１３３には、ピンチリング（Ｃ型のリングばね）１４２によって、その距離を狭めようとする付勢力（弾性力）が作用している。そのため、摘み部１２１と１３１を指で摘み、把持部１４１を開いた状態とし、その後に指を離すと、ピンチリング１４２の弾性力により、湾曲部１２３と湾曲部１３３が近づき、把持部１４１が閉じようとする。この原理により、把持部１４１により作物の茎や枝を挟んで掴んだ状態が得られる。こうして、クリップ１１０（クリップカメラ１００）を当該茎や枝に固定することができる。
A pinch ring (C-shaped ring spring) 142 acts on the
可動部１２０における湾曲部１２３の根元部分には、誘引ワイヤ（例えば、図２の符号２０１）を通す孔１２４が設けられている。可動部１２０には、孔１２４につながる切欠き部１２５が形成されている。切欠き部１２５を介して、誘引ワイヤを孔１２４通すことができる。
A root portion of the curved portion 123 in the
可動部１３０の彎曲部１３３の根元部分には、誘引ワイヤを通す孔１３４が設けられている。孔１２４と同様に、孔１３４に誘引ワイヤを誘導するための図示しない切欠き部が可動部１３０に形成されている。
A root portion of the
孔１２４および孔１３４に誘引ワイヤを通した状態で把持部１４１を閉じると、図１の視点から見て、切欠き部１２５が湾曲部１３３の根本部分と重なり、更に可動部１３０に形成された孔１３４に繋がる図示しない切欠き部が湾曲部１２３の根本部分と重なることで、誘引ワイヤが孔１２４および孔１３４から外れなくなる。
When the grasping portion 141 is closed with the guide wire passed through the
また、孔１２４，１３４に誘引ワイヤを通した状態において、把持部１４１を開くと、切欠き部１２５、および可動部１３０に形成された孔１３４に繋がる切欠き部を介して、誘引ワイヤを孔１２４および孔１３４から外すことができる。
Further, when the grasping portion 141 is opened while the attracting wire is passed through the
なお、誘引ワイヤは、クリップ１１０が誘引ワイヤに対して、誘引ワイヤの延長方向に沿って移動可能となるように、緩く嵌った状態で孔１２４と１３４に係合する。このため、クリップカメラ１００は、誘引ワイヤに沿って動かすことができる。
It should be noted that the attracting wire engages
クリップ１１０は、可動部１２０と一体となった腕部１２２を有する。腕部１２２の先端には、軸部１２６を介して、長手形状の部材であるカメラ保持用腕部１２７が腕部１２２に対して回転自在な状態で連結されている。カメラ保持用腕部１２７の先端には、ボールジョイント１２８を介してカメラ１５０が向きを自在に変更可能な状態で連結されている。
The
また、クリップ１１０は、可動部１３０と一体となった腕部１３２を有する。腕部１３２には、軸部１３６を介して、長手形状の部材である回路基板保持用腕部１３７が腕部１３２に対して回転自在な状態で連結されている。回路基板保持用腕部１３７の先端には、回路基板１３８が一体的に設けられている。
The
回路基板１３８には、カメラ１５０との間で通信および電源の供給を行うケーブル１５１を接続するため第１のコネクタ１５２、外部との間で通信および電源の供給を受けるケーブル１５３を接続するため第２のコネクタ１５４、更にカメラ１５０の撮影動作の制御およびカメラ１５０が撮影した画像を記憶および処理する集積回路１５５が配置されている。
The
カメラ１５０は、通常の可視光帯域の画像を撮影する市販のカメラユニットである。カメラ１５０として特定波長の画像撮影する形態のものや赤外線カメラを用いることもできる。
回路基板１３８には、報知手段である発光素子（ＬＥＤランプ）１５６が配置されている。発光素子１５６は、例えばカメラ１５０により観察している対象物の成長状態や異常等が検出された場合に発光し、その旨をユーザに報知する。
A light-emitting element (LED lamp) 156 as a notification means is arranged on the
回路基板１３８には、センサ１５７が配置されている。センサ１５７としては、温度センサ、湿度センサ、光センサ、特定の物質を検出するセンサ（例えば、特定の匂いを検出する匂いセンサ）の一または複数を挙げることができる。センサ１３８の検出データは、集積回路１５５のメモリ領域に記憶、あるいはケーブル１５３を介して、外部に出力される。
A
クリップカメラ１００は、把持部１４１で茎や枝を掴んだ状態において、カメラ保持用腕部１２７の腕部１２２に対する回転角度位置、および回路基板保持用腕部１３７の腕部１３２に対する回転角度位置を調整することで、重量バランスを調整することができる。これにより、クリップカメラ１００を安定した状態で作物に取り付けることができる。
With the
（クリップカメラの利用方法）
ここでは、温室栽培されるトマトの実を画像で観察する場合を説明する。なお、対象となる作物はトマトに限定されず、茄子、キュウリ等の野菜、ぶどうやイチゴ等の果物であってもよい。
(How to use clip camera)
Here, a case of observing tomatoes grown in a greenhouse as images will be described. The target crops are not limited to tomatoes, but may be vegetables such as eggplants and cucumbers, and fruits such as grapes and strawberries.
図２には、トマトの苗木２００が示されている。図２は温室の中であり、この温室は、上方から床（地面）に向って誘引ワイヤ２０１が垂らされている。トマトの苗木２００は、誘引ワイヤ２０１により、鉛直上方に成長が誘引（誘導）される。
A
誘引ワイヤ２０１は、園芸用に市販されているものが利用される。誘引ワイヤ２０１として、例えば、被覆された針金等の金属線、布糸、麻ひも、ビニールひも、各種ロープ等を利用することができる。
As the attracting
また、温室の天井部分には、ケーブル１５３を接続可能で、クリップカメラ１００への電源供給、クリップカメラ１００からのデータの受け付け、クリップカメラ１００への制御信号の供給を行うための回線設備が設けられている。この回路設備は、例えば各種の有線ＬＡＮ回線の規格を利用することができる。
Further, in the ceiling portion of the greenhouse, a line facility is provided to which a cable 153 can be connected to supply power to the
まず、観察の対象とする部分を特定する。この場合、観察の対象とするトマトの実２０２の部分（または実が成長すると予想される部分）を観察対象部分として特定する。次に、上記観察対象部分をカメラ１５０が撮影できるように、当該トマトの苗木の茎の部分を定め、そこにクリップカメラ１００を装着する。クリップカメラ１００のトマトの苗木の茎の部分への装着は、把持部１４１によって茎を掴むことで行なわれる。また、適切な撮影画像が得られるように、カメラ１５０の向きの調整が行なわれる。例えば、トマトの実が成長すると予想されるトラス（房）の部分をカメラ１５０が捉えるように、クリップカメラ１００のトマトの苗木２００への装着およびカメラ１５０の向きの調整が行なわれる。
First, a portion to be observed is specified. In this case, the portion of the
また、孔１２４および１３４に誘引ワイヤ２０１を通す。孔１２４および１３４に誘引ワイヤ２０１を通すことで、クリップカメラ１００の移動が誘引ワイヤ２０１の延在方向に規制される。
Also, the attracting
また、把持部１４１で茎や枝を掴んだ状態において、カメラ保持用腕部１２７の腕部１２２に対する回転角度位置、および回路基板保持用腕部１３７の腕部１３２に対する回転角度位置を調整し、クリップカメラ１００が安定した状態でトマトの苗木２００に固定されるように、クリップカメラ１００の重量バランスを調整する。
Further, in a state in which the stem or branch is gripped by the grip portion 141, the rotational angle position of the camera holding
ここで、クリップカメラ１００の把持部１４１はトマトの苗木２００の茎２０３を掴んでおり、これによりクリップカメラ１００は、茎２０３に固定されている。この状態において、苗木２００が成長すると、その成長に従って、クリップカメラ１００は移動する。この際、この移動は、トマトの実２０２の移動に追従し、且つ、誘引ワイヤ２０１の延在方向に沿ったものとなる。このため、トマトの苗木２００が成長してもカメラ１５０とトマトの実２０２の位置関係が変化し難く、継続してカメラ１５０によるトマトの実２０２の撮影が可能となる。
Here, the grip part 141 of the
（優位性）
茎が成長し、トマトの実２０２の位置が上方に移動しても、クリップカメラ１００は茎に固定されているので、クリップカメラ１００はトマトの実２０２と一緒に上方に移動する。このため、長期間にわたる画像撮影が可能となる。
(Superiority)
Even if the stem grows and the position of the
また、トマトの実２０２に近接した位置からの撮影となるので、成長する葉の影響を避けることができ、また背景のピントがぼけるので、画像解析が行い易い画像が得られる。
In addition, since the image is taken from a position close to the
また、茎の成長の方向を制御することを目的に、誘引ワイヤ２０１の方向を例えば、斜め方向に傾ける場合があるが、そのような場合に、誘引ワイヤ２０１に沿ってクリップカメラ１００が動くので、撮影対象となるトマトの実２０２がカメラ１５０の撮影範囲から外れる問題が緩和される。
Also, for the purpose of controlling the direction of stem growth, the direction of the attracting
また、腕部１２２と１３２は、把持部１４１から離れる方向で、且つ、互いに逆方向に延在し、カメラ保持用腕部１２７が腕部１２２の先端に回転可能な状態で固定され、回路基板保持用腕部１３７が腕部１３２の先端に回転可能な状態で固定されている。
この構造によれば、カメラ保持用腕部１２７と回路基板保持用腕部１３７を回転させることで、重量バランスを調整することができる。また、カメラ１５０の位置の調整が容易に行える。
According to this structure, the weight balance can be adjusted by rotating the camera holding
２．第２の実施形態
この例では、第１の実施形態において、カメラ１５０の基部（ボールジョイント１２８の部分）および軸部１２６の部分に、カメラ１５０の向きを調整する駆動部を組み込む。ここで、駆動部はカメラ１５０の向き、およびカメラ保持用腕部１２７を腕部１２２に対して回転させるモータを備える。この場合、上記駆動部を制御する制御部を用意する。この制御部は、集積回路１５５またはケーブル１５３の接続先の制御用ＰＣ等を利用して構成する。
2. Second Embodiment In this example, a drive unit for adjusting the orientation of the
図３は、本実施形態を実現するためのブロック図である。図３には、駆動部３００と制御部３１０、画像解析部３２０、発光素子１５６が示されている。駆動部３００は、カメラ１５０の向きの変更およびカメラ保持用腕部１２７を腕部１２２に対して回転させるためのモータ、ギア機構、モータの駆動回路を含んでいる。駆動部３００は、軸部１２６およびカメラ保持用腕部１２７の先端の部分に設けられている。駆動部３００の作用により、カメラ１５０を任意の要求する方向に向けることができる。
FIG. 3 is a block diagram for realizing this embodiment. FIG. 3 shows the
制御部３１０は、後述する画像解析部３２０の画像解析の結果に基づき、カメラ１５０の向きの変更を指示する制御信号を生成し、それを駆動部３００に送る。画像解析部３２０は、カメラ１５０が写した画像を解析する。画像解析部３２０は、集積回路１５５またはケーブル１５３の接続先の制御用ＰＣ等を利用して構成される。
The control unit 310 generates a control signal instructing a change in the direction of the
以下、画像解析部３２０で行なわれる処理について説明する。画像解析部３２０は、カメラ１５０が写した画像のデータを受け付ける。画像解析部３２０は、受け付けた画像データの中から、画像認識ソフトウェアを利用して、トマトの実の画像を抽出し、更に画面中におけるその位置を算出する。
Processing performed by the
画面中には、予め定めたターゲット補足範囲が定められている。画像解析部３２０は、上記のターゲット補足範囲から当該トマトの実の画像が外れた場合に、その旨を制御部３１０に送る。画面中における対象画像の位置とカメラ１５０の光軸の向きの関係は予め取得されている。この事前データに基づき、当該ターゲット補足範囲内にトマトの実の画像が入るように、カメラ１５０の光軸の変更を指示する制御信号が制御部３１０で生成され、それが駆動部３００に送られる。
A predetermined target capture range is defined in the screen. When the image of the tomato is out of the target supplementary range, the
発光素子１５６は、ユーザへの報知手段の一例であり、上記の動作時およびその後の一定時間点滅し、カメラ１５０の駆動制御の有無をユーザ（例えば、当該作物の生産者）に報知する。報知手段として、無線信号を発する信号発生手段を利用することもできる。
The light-emitting
上記の動作により、何らかの理由により、トマトの実の画像が画面から外れそうになっても、カメラ１５０の光軸の向きの制御が行なわれ、カメラ１５０が観察対象であるトマトの実を捉えることができる。
Due to the above operation, even if for some reason the image of the tomato fruit is about to fall off the screen, the direction of the optical axis of the
３．第３の実施形態
カメラ１５０による画像観察により、バイトマーク（蜂による噛み跡）を検出する技術に本発明を利用することができる。この場合、定期的に花の部分の撮影を行い、画像からバイトマークを検出する。バイトマークを検出することで、受粉のタイミングが検出できる。また、バイトマークの濃さ（色彩）を判定することで、花粉の量や受粉の程度を知ることができる。バイトマークの画像認識に係る処理は、集積回路１５５またはケーブル１５３の接続先の演算装置（例えば、データ処理用ＰＣ）で行なわれる。
3. Third Embodiment The present invention can be applied to a technology for detecting bite marks (bite marks by bees) by observing images with the
以下、処理の一例を説明する。この例では、図２の符号２０２の部分が、まだ花の状態である段階で、カメラ１５０により、当該トマトの花の部分を撮影する。そして、撮影した画像に対して、特定の色彩を強調する色画像処理を行う。ここでは、トマトの花の雄蕊に付いたバイトマークの画像からの検出に適した色画像処理の内容を予め調べておく。具体的には、当該バイトマークの色を強調する色を予め調べておき、その色が強調される色画像処理を行う。
An example of processing will be described below. In this example, the flower portion of the tomato is photographed by the
バイトマークを検出したら、その旨がケーブル１５３を介して、回線に送られ、例えばデータサーバに記憶される。なお、バイトマークの検出情報をユーザの端末に送信してもよい。また、バイトマークを検出したら、発光素子１５６を点滅させる。この点滅をユーザが視認することで、バイトマークの付いた個体をユーザが把握することができる。
When a byte mark is detected, it is sent to the line via cable 153 and stored, for example, in a data server. Note that the byte mark detection information may be transmitted to the user's terminal. Also, when the byte mark is detected, the
時間差をおいて撮影を複数回（２回以上）行う形態も有効である。これは、時間によって太陽光の当たり具合に違いがあり、色彩の感じが変わる問題を緩和するためである。 It is also effective to take multiple shots (twice or more) with a time lag. This is to alleviate the problem of color changes due to differences in sunlight depending on the time of day.
また、カメラ１５０の位置および向きを変更し、つまり撮影の視点を変更し、複数回の撮像を行い、その際に得られた複数の画像を対象にバイトマークの検出を行ってもよい。撮影の視点を変えることで、第１の視点から見えなかったバイトマークが第２の視点からは見える可能性が生じ、バイトマークを見逃す確率が減少する。
Alternatively, the position and orientation of the
カメラ１５０の位置および向きの制御、および撮影タイミングの制御は、集積回路１５５またはケーブル１５３の接続先の演算装置（例えば、データ処理用ＰＣ）で行なわれる。カメラ１５０の位置および向きの変更は、カメラ保持用腕部１２７の腕部１２２に対する回転、およびカメラ保持用腕部１２７に対するカメラ１５０の回転によって行われる。
Control of the position and orientation of the
４．第４の実施形態
第３の実施形態と同様の原理に基づき、トマトの色合いの判定を行うことも可能である。この場合、図２の状態において、トマトの実２０２を定期的に撮影する。この場合、時間軸上で得られる複数の画像に基づき、実の色が青（緑）から赤に変色するタイミングを判定する。この色の判定は、集積回路１５５またはケーブル１５３の接続先の演算装置（例えば、データ処理用ＰＣ）で行なわれる。
4. Fourth Embodiment Based on the same principle as in the third embodiment, it is also possible to determine the color tone of tomatoes. In this case, in the state of FIG. 2, the
本実施形態において、視点（カメラ位置）を変更しての撮影を行う形態は有効である。実の色が変わる判定では、閾値を用いて色の判定を行う処理が行なわれるが、その結果は、光の当たり具合の影響を受ける。撮影の視点を変えた画像を用いることで、この影響による誤差を低減できる。視点の変更に係る処理および制御は、集積回路１５５またはケーブル１５３の接続先の演算装置（例えば、データ処理用ＰＣ）で行なわれる。
In the present embodiment, it is effective to change the viewpoint (camera position) and perform shooting. In determining whether the actual color changes, a process of determining the color using a threshold value is performed, but the result is affected by the degree of lighting. By using an image captured from a different viewpoint, errors due to this effect can be reduced. The processing and control related to the change of the viewpoint are performed by the
色に検出に係る処理の対象としては、トマトに限定されず、成長時に変色する野菜や果物（例えば、リンゴ、ぶどう、イチゴ、柑橘類）を挙げることができる。また、この色が変わる判定情報を利用して収穫時期の予想を行う処理も可能である。 Targets for processing related to color detection are not limited to tomatoes, and include vegetables and fruits that change color during growth (eg, apples, grapes, strawberries, and citrus fruits). It is also possible to perform a process of predicting the harvest time using the determination information that changes the color.
５．第５の実施形態
第３の実施形態や第４の実施形態において特定の波長帯域の光を透過する波長フィルタを介して、カメラ１５０による撮影を行ってもよい。波長フィルタを用いることで、特定の色情報を効率よく検出することができる。この場合、カメラ１５０のレンズ部分に波長フィルタを装着したものを用いる。
5. Fifth Embodiment In the third embodiment and the fourth embodiment, the
６．第６の実施形態
カメラ１５０の位置を変更し、２つ以上の視点から同一の被写体を撮影することで、ステレオ写真画像を得ることができる。例えば、図２のトマトの実２０２を異なる２つ以上の視点（カメラ位置）から撮影することで、トマトの実２０２のステレオ写真画像を得ることができる。そして、このステレオ写真画像に基づき、被写体であるトマトの実２０２の三次元情報（例えば、三次元モデル）を得ることができる。
6. Sixth Embodiment A stereo photographic image can be obtained by changing the position of the
ステレオ写真画像の撮影では、各画像の撮影時におけるカメラの外部標定要素（位置と姿勢）の情報が必要となる。この例の場合、カメラ１５０の駆動部が回転角を検出するエンコーダを備え、その検出値を用いてステレオ写真画像を構成する２以上の画像に係るカメラ１５０の外部標定要素を算出する。また、ステレオ写真画像を得るための動作制御は、集積回路１５５で行なわれる。
When taking stereoscopic photographic images, information on the exterior orientation parameters (position and orientation) of the camera at the time each image was taken is required. In this example, the drive unit of the
ステレオ写真画像を得ることで、例えば雄蕊におけるバイトマークの位置を三次元的に把握できるデータが得られる。 By obtaining stereoscopic photographic images, for example, it is possible to obtain data with which the positions of bite marks on the stamens can be grasped three-dimensionally.
７．第７の実施形態
以下、カメラ１５０によりトマトの実２０２を撮影し、その撮影画像を解析することで、トマトの実２０２の収穫時期を判定し、その判定結果を発光素子１５６の発光によりユーザに報知する場合の例を説明する。
7. Seventh Embodiment Hereinafter, the harvest time of the
図３に制御ブロック図を示す。この例では、カメラ１５０によりトマトの実２０２を撮影し、画像解析部３２０において画像解析により、トマトの実２０２の赤の色合いを評価し、収穫に適した状態か否かを判定する。具体的には、赤のスペクトルを画像解析から検出し、そのピーク強度と鋭さを予め定めた閾値を利用して判定し、収穫に適した状態か否かを判定する。
FIG. 3 shows a control block diagram. In this example, the
収穫時期と判定されると、発光素子１５６を点滅表示させる駆動信号が制御部３１０から発光素子１５６に送られ、発光素子１５６が点滅発光（連続パルス発光）する。この発光素子１５６の点滅発光を視認することで、ユーザ（農作業者や生産者）は、トマトの実２０２の収穫時期を認識することができる。
When it is determined that it is time to harvest, a drive signal for blinking the
上記の判定の条件にセンサ１５７が検出した温度や湿度の情報を加えてもよい。また、判定の結果をケーブル１５３や無線により外部に出力する形態も可能である。
Information on the temperature and humidity detected by the
８．第８の実施形態
クリップカメラ１００にコード化ターゲットを配置する形態も可能である。図１には、コード化ターゲットとして細かい矩形模様の組み合わせでコードを構成した場合のコード化ターゲット１３９が示されている。コード化ターゲットとしては、バーコード、２次元バーコード、文字表示、画像として識別可能な図形や色の組み合わせを用いたものを挙げることができる。
8. Eighth Embodiment A configuration in which a coded target is arranged on the
例えばトマトの栽培の場合、農場では、トマトの苗は多数あり、また一つの苗に複数のトラス（房）が形成される。よって、トラス毎や実毎に個別に各種の観察や計測を行う場合、観察対象（計測対象）を個別に識別する必要がある。この識別のために、クリップカメラ１００にコード化ターゲットを取り付ける（あるいはコード化ターゲットの表示を備えさせる）。
For example, in the case of tomato cultivation, there are many tomato seedlings in a farm, and one seedling forms a plurality of trusses. Therefore, when performing various observations and measurements individually for each truss or for each real, it is necessary to individually identify an observation target (measurement target). For this identification,
９．第９の実施形態
図４には、回路基板１３８上にカメラ１５０の電源となるバッテリー１６１を備え、カメラ１５０が無線通信装置である無線ＬＡＮ装置１６２を備えた構成が示されている。この場合、ケーブル１５１を介して、バッテリー１６１からカメラ１５０に電源電力が供給され、カメラ１５０が撮影した画像のデータは、無線ＬＡＮ装置１６２を介して、外部（例えば、無線ＬＡＮを介して通信が可能なサーバやコンピュータ）に送信される。
9. Ninth Embodiment FIG. 4 shows a configuration in which a
また、回路基板１３８上には、バッテリー１６１からの電力の供給の有無を制御するタイマー回路１６３が配置されている。タイマー回路１６３は、市販のタイマー用のＩＣを利用している。タイマー回路１６３により、バッテリー１６１は、例えば１日に１回、２時間に１回、４時間に１回、昼間は２時間に１回で夜は４時間に１回といった予め定めた間隔でカメラ１５０、集積回路１５５、発光素子１５６およびセンサ１５７に電源電力を供給する。タイマー機能を用いることで、バッテリー１６１の消費を抑えることができ、カメラ１５０等のより長時間にわたる動作が可能となる。
A timer circuit 163 for controlling whether power is supplied from the
１０．第１０の実施形態
図１の構成において、カメラ１５０として撮影機能以外の各種の演算や信号の処理が可能な集積回路を備えたもの（例えば、ＡＩ機能を有するカメラ）を用いることも可能である。この場合、カメラ１５０は、各種の画像処理やカメラ１５５の向きの制御に係る処理が可能な集積回路を備える。この場合、集積回路１５５を備えない構成も可能である。
10. Tenth Embodiment In the configuration of FIG. 1, it is also possible to use a
また、画像に係る処理、およびカメラ１５０の向きの調整に係る演算が、カメラ１５０が備える集積回路で行なわれ、カメラ１５０を動かすモータの駆動信号の生成が集積回路１５５で行なわれる形態も可能である。
Further, it is also possible to adopt a configuration in which the integrated circuit included in the
この場合、図３の画像解析部３２０と制御部３１０がカメラ１５０に含まれ、駆動部３００の機能が集積回路１５５で実現される。
In this case, the
１１．第１１の実施形態
図１の構成において、図３の画像解析部３２０の処理が外部のサーバやコンピュータで行なわれ、図３の制御部３１０、駆動部３００の処理が集積回路１５５で行なわれる形態も可能である。
11. Eleventh Embodiment In the configuration of FIG. 1, the processing of the
（その他）
電源としてバッテリーや太陽電池を用いてもよい。また、回路基板１３８と外部との通信手段として無線を用いてもよい。無線は、各種の無線通信規格を用いることができる。クリップカメラ１００を枝に固定する形態も可能である。
(others)
A battery or a solar cell may be used as the power source. Also, wireless communication may be used as communication means between the
作物の成長をガイドするガイド部材としては、例示した誘引ワイヤの他に、ネット（例えば、格子状のネット）、棒状の部材（例えば、木材、竹、金属製の棒）、電源電力や電気信号を伝送するケーブル等を利用することもできる。誘引ワイヤ（ガイド部材）の延在方向は、上下方向に限定されず、斜め方向や水平方向であってよい。 As a guide member for guiding the growth of crops, in addition to the exemplified attracting wire, there are nets (for example, grid-like nets), rod-like members (for example, wood, bamboo, and metal rods), power sources, and electric signals. It is also possible to use a cable or the like that transmits the The extending direction of the attracting wire (guide member) is not limited to the vertical direction, and may be an oblique direction or a horizontal direction.
（むすび）
本明細書には、作物の茎２０３または枝に固定される固定部である把持部１４１と、前記把持部１４１に回転が可能な状態で固定されたカメラ１５０と、前記把持部１４１を前記作物の成長方向を誘引する誘引ワイヤ２０１に束縛させる束縛部である孔１２４，１３４とを備えるクリップカメラ１００が開示されている。
(Conclusion)
In this specification, a grip portion 141 that is a fixed portion fixed to the
クリップカメラ１００において、カメラ１５０は、作物の成長に従って、誘引ワイヤ２０１に沿って移動する。ここで、カメラ１５０を把持部１４１に対してモータ等で回転させる駆動部３００を備える構成も可能である。また、カメラ１５０が撮影した画像に基づき、カメラ１５０を作物の特定の部分（例えば、実であるトマトの実２０２）に向ける制御を駆動部３００に対して行う制御部３１０を備える構成も可能である。
In
また、本明細書には、作物であるトマトの苗木２００の茎２０３または枝にカメラ１５０を固定すると共に前記カメラ１５０を前記作物の成長方向を誘引する誘引ワイヤ２０１に束縛させた状態で前記作物の特定の部分（例えば、トマトの実２０２）の撮影を行い、前記作物の前記茎２０３または枝の成長と共に前記カメラ１５０が前記誘引ワイヤ２０１に沿って移動する作物の撮影方法が開示されている。
In addition, in this specification, the
１００…クリップカメラ、１１０…クリップ、１２０…可動部、１２１…掴み部、１２２…腕部、１２３…湾曲部、１２４…孔、１２５…切欠き部、１２６…軸部、１２７…カメラ保持用腕部、１２８…ボールジョイント、１３０…可動部、１３１…掴み部、１３２…腕部、１３３…湾曲部、１３４…孔、１３６…軸部、１３７…回路基板保持用腕部、１３８…回路基板、１３９…コード化ターゲット、１４０…軸部、１４１…把持部、１４２…ピンチリング（Ｃ型のリングばね）、１５０…カメラ、１５１…ケーブル、１５２…コネクタ、１５３…ケーブル、１５４…コネクタ、１５５…集積回路、１５６…発光素子、１５７…センサ、１６１…バッテリー、１６２…無線ＬＡＮ装置、２００…トマトの苗木、２０１…誘引ワイヤ、２０２…トマトの実、２０３…茎。
DESCRIPTION OF
Claims (16)
前記固定部に回転が可能な状態で固定されたカメラと、
前記固定部を前記作物の成長をガイドするガイド部材に束縛させる束縛部と
を備える作物の撮影装置。 a fixing part fixed to a stem or branch of a crop;
a camera rotatably fixed to the fixing part;
and a binding section that binds the fixed section to a guide member that guides the growth of the crop.
前記第１の腕部に回転可能な状態で固定され、カメラを保持する第１の長手形状部材と、
前記第２の腕部に回転可能な状態で固定され、前記カメラの動作制御を行う回路を備えた回路基板を保持する第２の長手形状部材と
を備える請求項１～９のいずれか一項に記載の作物の撮影装置。 a first arm and a second arm extending in directions away from the fixed portion and in directions opposite to each other;
a first elongated member rotatably secured to the first arm and carrying a camera;
a second elongated member rotatably fixed to the second arm and holding a circuit board having a circuit for controlling the operation of the camera; 10. The crop photographing device according to .
前記作物の前記茎または枝の成長と共に前記カメラが前記ガイド部材に沿って移動する作物の撮影方法。 photographing a specific portion of the crop with a camera fixed to the stem or branch of the crop and bound by a guide member that guides the growth direction of the crop;
A method of photographing crops, wherein the camera moves along the guide member as the stems or branches of the crops grow.
前記作物の前記特定の部分は前記野菜の実または前記果物の実の部分である請求項１５に記載の作物の撮影方法。 the crop is a vegetable or fruit,
16. The method of photographing crops according to claim 15, wherein said specific portion of said crop is a portion of said vegetable or said fruit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020008993A JP7315958B2 (en) | 2020-01-23 | 2020-01-23 | Crop imaging device and crop imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020008993A JP7315958B2 (en) | 2020-01-23 | 2020-01-23 | Crop imaging device and crop imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021114916A JP2021114916A (en) | 2021-08-10 |
| JP7315958B2 true JP7315958B2 (en) | 2023-07-27 |
Family
ID=77173162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020008993A Active JP7315958B2 (en) | 2020-01-23 | 2020-01-23 | Crop imaging device and crop imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7315958B2 (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086865A (en) | 1999-09-22 | 2001-04-03 | Nireco Corp | Inspection device for appearance of water melon |
| JP2011072204A (en) | 2009-09-29 | 2011-04-14 | Tokai Bussan Kk | Method for feeding pollen to bee for pollination |
| JP2013150584A (en) | 2012-01-26 | 2013-08-08 | Nikon Corp | Pollination apparatus, plant cultivation system, and plant-cultivation plant |
| JP2015133971A (en) | 2015-02-19 | 2015-07-27 | 株式会社ニコン | Plant cultivation plant |
| JP2015202056A (en) | 2014-04-10 | 2015-11-16 | 協和株式会社 | Growth observation system of field crop |
| JP2016099282A (en) | 2014-11-25 | 2016-05-30 | シャープ株式会社 | Measurement device, network system, measurement method and program |
| JP2016154510A (en) | 2015-02-26 | 2016-09-01 | 日本電気株式会社 | Information processor, growth state determination method, and program |
| JP2017042133A (en) | 2015-08-28 | 2017-03-02 | 株式会社日立製作所 | Plant growth rate calculation system and plant growth rate calculation method |
| JP2018117539A (en) | 2017-01-23 | 2018-08-02 | ヤンマー株式会社 | Carbon dioxide fertilization device |
| KR101959728B1 (en) | 2017-11-06 | 2019-03-20 | 대한민국 | Automatic growth amount measuring device using crops driven rope with color coordinate code |
| JP2019150015A (en) | 2018-03-02 | 2019-09-12 | コリア・インスティテュート・オブ・サイエンス・アンド・テクノロジー | Crop activity index based protected horticulture combination environmental control system and method |
-
2020
- 2020-01-23 JP JP2020008993A patent/JP7315958B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086865A (en) | 1999-09-22 | 2001-04-03 | Nireco Corp | Inspection device for appearance of water melon |
| JP2011072204A (en) | 2009-09-29 | 2011-04-14 | Tokai Bussan Kk | Method for feeding pollen to bee for pollination |
| JP2013150584A (en) | 2012-01-26 | 2013-08-08 | Nikon Corp | Pollination apparatus, plant cultivation system, and plant-cultivation plant |
| JP2015202056A (en) | 2014-04-10 | 2015-11-16 | 協和株式会社 | Growth observation system of field crop |
| JP2016099282A (en) | 2014-11-25 | 2016-05-30 | シャープ株式会社 | Measurement device, network system, measurement method and program |
| JP2015133971A (en) | 2015-02-19 | 2015-07-27 | 株式会社ニコン | Plant cultivation plant |
| JP2016154510A (en) | 2015-02-26 | 2016-09-01 | 日本電気株式会社 | Information processor, growth state determination method, and program |
| JP2017042133A (en) | 2015-08-28 | 2017-03-02 | 株式会社日立製作所 | Plant growth rate calculation system and plant growth rate calculation method |
| JP2018117539A (en) | 2017-01-23 | 2018-08-02 | ヤンマー株式会社 | Carbon dioxide fertilization device |
| KR101959728B1 (en) | 2017-11-06 | 2019-03-20 | 대한민국 | Automatic growth amount measuring device using crops driven rope with color coordinate code |
| JP2019150015A (en) | 2018-03-02 | 2019-09-12 | コリア・インスティテュート・オブ・サイエンス・アンド・テクノロジー | Crop activity index based protected horticulture combination environmental control system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021114916A (en) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3337307B1 (en) | A self-guided blossom picking device | |
| KR102301658B1 (en) | Apparatus for growing plant and control method of the same | |
| JP6049767B2 (en) | Cultivation system, cultivation program, and cultivation method | |
| Kitamura et al. | Recognition and cutting system of sweet pepper for picking robot in greenhouse horticulture | |
| JP6276100B2 (en) | Crop growth observation system | |
| JP2019524112A (en) | Mold control based on ultraviolet rays | |
| CN104855180A (en) | Internet-based intelligent planting device, system and method | |
| US10874062B2 (en) | Moisture content observation device, moisture content observation method, and cultivation device | |
| CN105830813A (en) | Automatic flower planting device | |
| KR20200063500A (en) | A Smart Farm mushroom cultivation system of module type | |
| JP6971453B2 (en) | Seedling data generation system, seedling discrimination system, seedling data generation program, seedling discrimination program, seedling data generation device, seedling discrimination device | |
| ES2947222T3 (en) | Automated fruit picking and sorting procedure and mechanical equipment implementing the procedure | |
| US20220250246A1 (en) | Growing system and method | |
| WO2020075480A1 (en) | Measurement device, measurement method, and program | |
| JP7315958B2 (en) | Crop imaging device and crop imaging method | |
| KR101726944B1 (en) | Apparatus and method for collecting growth information of crop | |
| WO2022091092A1 (en) | System and method for indoor crop management | |
| JP6338184B2 (en) | Environmental control system for plant cultivation | |
| JP2018201350A (en) | Animal management system and plant management system | |
| JP7130203B2 (en) | plant cultivation system | |
| Hemming | Automation and robotics in the protected environment, current developments and challenges for the future | |
| CN115135135A (en) | Plant growth monitoring system and method | |
| CN111503553A (en) | Illumination system for plant growth and development | |
| TWM483503U (en) | Farm remote managing system | |
| CN108381560A (en) | A kind of intelligent miniature planting machines people |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230707 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7315958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |