JP4402915B2 - Grain sorting device - Google Patents
Grain sorting device Download PDFInfo
- Publication number
- JP4402915B2 JP4402915B2 JP2003284902A JP2003284902A JP4402915B2 JP 4402915 B2 JP4402915 B2 JP 4402915B2 JP 2003284902 A JP2003284902 A JP 2003284902A JP 2003284902 A JP2003284902 A JP 2003284902A JP 4402915 B2 JP4402915 B2 JP 4402915B2
- Authority
- JP
- Japan
- Prior art keywords
- grain
- image
- processing step
- sorting
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/009—Sorting of fruit
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Sorting Of Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、米類、麦類、大豆類、トウモロコシ等の穀粒、その他の穀粒や種子、または、薬剤や加工原料等の粒状体を色彩判別により選別する技術に関する。 The present invention relates to a technique for selecting grains such as rice, wheat, soybeans, and corn, other grains and seeds, or granules such as drugs and processing raw materials by color discrimination.
従来、撮像手段と、情報処理手段と、選別手段とを具備し、撮像手段にて穀粒に係る画像データを取得する撮像処理を行い、情報処理手段にて穀粒に係る画像データに基づいて色彩画像を作成する色彩画像作成処理と、穀粒に係る画像データに基づいて二値化された画像を作成する二値化画像作成処理と、色彩画像と二値化画像とに基づいて生成された判定用画像により各穀粒の良否を判定する判定処理とを行い、選別手段にて該判定処理の結果に基づいて穀粒を選別する穀粒選別装置の技術は公知となっている。例えば特許文献1に記載の如くである。特許文献1に記載の穀粒選別装置は、その選別の対象となる穀粒が米であり、ライスセンター、カントリエレベータ等において良品米から、被害米や死米や石、ガラス、樹脂、陶磁器等を選別・除去するものである(以下、被害米、死米、石、ガラス、樹脂、陶磁器等、良品米から選別除去されるべきものを総称して「異物等」と呼ぶこととする)。このような穀粒選別装置は、穀粒を搬送する搬送手段と、該搬送手段の中途部に設けられた撮像手段と、該撮像手段にて取得した画像データに基づいて情報処理を行う情報処理手段と、該情報処理手段にて処理された情報に基づいて選別を行う選別手段とを具備している。そして、搬送手段(ベルトコンベヤやシュート等)で搬送される穀粒に係る画像データを撮像手段(カメラやラインセンサ、種々の光センサ等)により取得し、情報処理手段(コンピュータ等の電子計算機)にて該画像データに基づいて色彩画像作成処理、二値化画像作成処理、判定処理の順に処理を行い各穀粒(一粒ずつ)の良否を判定し、該判定結果に基づいて搬送手段の中途部かつ撮像手段よりも下流側に設けられた選別手段(空気銃等)により異物等を良品米から選別・除去する。
2. Description of the Related Art Conventionally, an imaging unit, an information processing unit, and a selection unit are provided, and an imaging process for obtaining image data related to a grain is performed by the imaging unit, and based on the image data related to the grain by the information processing unit. Generated based on a color image creation process for creating a color image, a binarized image creation process for creating a binarized image based on image data relating to the grain, and a color image and a binarized image A technology of a grain sorting device that performs a judgment process for judging the quality of each grain using the judgment image and sorts the grain based on the result of the judgment process by a sorting unit is known. For example, as described in
しかし、従来は画像データに基づいて色彩画像を作成する色彩画像作成処理と、画像データに基づいて二値化された画像を作成する二値化画像作成処理とを直列的に行っていた(色彩画像作成処理が終了した後に二値化画像作成処理を行っていた)ため、撮像手段にて画像データを取得してから判定処理の結果が出るまでに要する時間(遅延時間)が長くなるといった問題があった。すなわち、遅延時間Tと、搬送手段上における穀粒の移動速度Vと、撮像手段と選別手段との間の距離Lとの間には、一般的にはL≧V×Tの関係が成立する。従って、遅延時間が長くなったり、穀粒の移動速度Vが上昇したりすると撮像手段と選別手段との間の距離Lを大きくする必要がある。そして、距離Lが大きくなると穀粒選別装置の大型化(長尺化)の原因となるとともに、選別手段による選別精度の低下の原因となる(良品米から異物等のみを精度良く除去することが困難となり、選別後の良品米に異物等が混入していたり、逆に選別除去した異物等に良品米が混入する)。 However, conventionally, a color image creation process for creating a color image based on image data and a binarized image creation process for creating a binarized image based on image data have been performed in series (color Since the binarized image creation process was performed after the image creation process was completed), the time (delay time) required from the acquisition of the image data by the imaging means until the result of the determination process is increased. was there. That is, a relationship of L ≧ V × T is generally established between the delay time T, the moving speed V of the grain on the conveying means, and the distance L between the imaging means and the sorting means. . Accordingly, when the delay time becomes long or the moving speed V of the grain increases, it is necessary to increase the distance L between the imaging means and the sorting means. And if distance L becomes large, while it will cause the enlargement (lengthening) of a grain sorting device, it will cause the fall of the sorting precision by a sorting means (only foreign substances etc. can be accurately removed from good quality rice. It becomes difficult, and foreign matter etc. are mixed in the non-defective rice after sorting, or conversely, the non-defective rice is mixed in the foreign matter etc. sorted and removed).
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem to be solved by the present invention is as described above. Next, means for solving the problem will be described.
撮像手段(3)と、情報処理手段(4)と、選別手段(5)とを具備し、該情報処理手段(4)は、前記撮像手段(3)により穀粒に係る画像データを取得する撮像処理工程(100)と、穀粒に係る画像データに基づいて色彩画像を作成する色彩画像作成処理工程(110)と、穀粒に係る画像データに基づいて二値化画像を作成する二値化画像作成処理工程(120)を具備し、前記情報処理手段(4)が、前記色彩画像作成処理工程(110)により作成した色彩画像と、前記二値化画像作成処理工程(120)により作成した二値化画像と、に基づいて判定用画像を作成し、該判定用画像に基づいて各穀粒の良否を判定する判定処理工程(130)を具備し、該判定処理工程(130)は、前記二値化画像作成処理工程(120)により処理した二値化画像に基づいて、情報処理手段(4)が、各穀粒に対応する穀粒領域にラベルを割り付けるラベリング処理工程(140)と、前記色彩画像作成処理工程(110)で処理した色彩画像と、ラベルが割り付けられた後の二値化画像とに基づいて、前記情報処理手段(4)が、色彩画像から各穀粒に対応する単粒画像を切り出す切出処理工程(150)と、該切り出した単粒画像に基づいて、前記情報処理手段(4)が、各穀粒の良否を判定する認識処理工程(160)から構成し、該判定処理工程(130)の結果に基づいて穀粒を選別する選別処理工程(170)を具備し前記情報処理手段(4)における、色彩画像作成処理工程(110)と、二値化画像作成処理工程(120)とを並列的に配置し、前記情報処理手段(4)は撮像処理工程(100)を行った後に、該画像データを、該色彩画像作成処理工程(110)と二値化画像作成処理工程(120)とに並行して送信し、同時進行で処理を行い、続いて判定処理工程(130)と選別処理工程(170)の順に処理を行うように構成した穀粒選別装置である。An imaging means (3), an information processing means (4), and a sorting means (5) are provided, and the information processing means (4) acquires image data relating to the grain by the imaging means (3). Imaging processing step (100), color image creation processing step (110) for creating a color image based on image data relating to the grain, and binary for creating a binarized image based on the image data relating to the grain And the information processing means (4) creates the color image created by the color image creation processing step (110) and the binarized image creation processing step (120). A determination processing step (130) for generating a determination image based on the binarized image and determining the quality of each grain based on the determination image, the determination processing step (130) In the binarized image creation processing step (120) On the basis of the binarized image processed, the information processing means (4) performs a labeling process step (140) for assigning a label to a grain region corresponding to each grain, and the color image creation process step (110). Based on the processed color image and the binarized image after the label is assigned, the information processing means (4) cuts out a single grain image corresponding to each grain from the color image ( 150) and the recognition processing step (160) for determining the quality of each grain based on the cut-out single grain image, and the result of the determination processing step (130). A processing step (170) for selecting a grain based on the color image creation processing step (110) and the binarized image creation processing step (120) in the information processing means (4) in parallel. Placed in the information processing hand In (4), after performing the imaging processing step (100), the image data is transmitted in parallel to the color image creation processing step (110) and the binarized image creation processing step (120). It is the grain sorter constituted so that processing may be performed in order, and processing may be subsequently performed in the order of the determination processing step (130) and the sorting processing step (170).
本発明の効果として、以下に示すような効果を奏する。 As effects of the present invention, the following effects can be obtained.
本発明は、請求項に記載の如く、撮像手段(3)と、情報処理手段(4)と、選別手段(5)とを具備し、該情報処理手段(4)は、前記撮像手段(3)により穀粒に係る画像データを取得する撮像処理工程(100)と、穀粒に係る画像データに基づいて色彩画像を作成する色彩画像作成処理工程(110)と、穀粒に係る画像データに基づいて二値化画像を作成する二値化画像作成処理工程(120)を具備し、前記情報処理手段(4)が、前記色彩画像作成処理工程(110)により作成した色彩画像と、前記二値化画像作成処理工程(120)により作成した二値化画像と、に基づいて判定用画像を作成し、該判定用画像に基づいて各穀粒の良否を判定する判定処理工程(130)を具備し、該判定処理工程(130)は、前記二値化画像作成処理工程(120)により処理した二値化画像に基づいて、情報処理手段(4)が、各穀粒に対応する穀粒領域にラベルを割り付けるラベリング処理工程(140)と、前記色彩画像作成処理工程(110)で処理した色彩画像と、ラベルが割り付けられた後の二値化画像とに基づいて、前記情報処理手段(4)が、色彩画像から各穀粒に対応する単粒画像を切り出す切出処理工程(150)と、該切り出した単粒画像に基づいて、前記情報処理手段(4)が、各穀粒の良否を判定する認識処理工程(160)から構成し、該判定処理工程(130)の結果に基づいて穀粒を選別する選別処理工程(170)を具備し前記情報処理手段(4)における、色彩画像作成処理工程(110)と、二値化画像作成処理工程(120)とを並列的に配置し、前記情報処理手段(4)は撮像処理工程(100)を行った後に、該画像データを、該色彩画像作成処理工程(110)と二値化画像作成処理工程(120)とに並行して送信し、同時進行で処理を行い、続いて判定処理工程(130)と選別処理工程(170)の順に処理を行うように構成した穀粒選別装置であるので、撮像処理の開始から判定処理の終了までに要する時間(すなわち、遅延時間)を短縮し、撮像手段と選別手段との間の距離を短くして穀粒選別装置を小型化することが可能であるとともに、選別手段による選別精度を向上させることが可能である。 The present invention comprises an image pickup means (3), an information processing means (4), and a selection means (5) as described in the claims, and the information processing means (4) is connected to the image pickup means (3). ) To obtain the image data related to the grain, the color image creation processing step (110) to create the color image based on the image data related to the grain, and the image data related to the grain. A binarized image creating process (120) for creating a binarized image based on the color image created by the information processing means (4) in the color image creating process (110); A determination processing step (130) for generating a determination image based on the binarized image generated by the binarized image generation processing step (120) and determining the quality of each grain based on the determination image. The determination processing step (130) includes the binary Based on the binarized image processed in the image creation processing step (120), the information processing means (4) assigns a label to the grain region corresponding to each grain, and the color image Based on the color image processed in the creation processing step (110) and the binarized image after the label is assigned, the information processing means (4) uses the single image corresponding to each grain from the color image. The information processing means (4) comprises a recognition processing step (160) for determining the quality of each grain based on the cut-out single grain image and the cut-out processing step (150) for cutting out the grain. A color image creation processing step (110) and a binarized image creation processing step in the information processing means (4), comprising a sorting processing step (170) for sorting the grains based on the result of the processing step (130). (120) Arranged in a row, the information processing means (4) performs the imaging process (100), and then converts the image data into the color image creation process (110) and the binarized image creation process (120). The grain sorting device configured to perform the processing in the order of the determination processing step (130) and the sorting processing step (170) . It is possible to reduce the time required from the start to the end of the judgment process (that is, the delay time), shorten the distance between the imaging means and the sorting means, and reduce the size of the grain sorting apparatus, and the sorting. It is possible to improve the sorting accuracy by means.
次に、発明の実施の形態を説明する。 Next, embodiments of the invention will be described.
図1は本発明の穀粒選別装置の実施の一形態を示す模式図である。 FIG. 1 is a schematic view showing an embodiment of the grain sorting apparatus of the present invention.
図2は本発明の穀粒選別装置の実施の一形態を示すフローチャート図である。 FIG. 2 is a flowchart showing one embodiment of the grain sorting apparatus of the present invention.
図3は従来の穀粒選別装置の実施の一形態を示すフローチャート図である。 FIG. 3 is a flowchart showing one embodiment of a conventional grain sorting apparatus .
図4は穀粒流量計測装置の模式図、図5は精選機の模式図である。 FIG. 4 is a schematic diagram of a grain flow rate measuring device, and FIG. 5 is a schematic diagram of a fine selector.
以下では、図1および図2を用いて、本発明の穀粒選別装置および穀粒選別装置の実施の一形態である穀粒選別装置1について詳細説明を行う。
Hereinafter, with reference to FIG. 1 and FIG. 2, the
なお、本実施例の穀粒選別装置1においては、選別の対象となる穀粒は米であるがこれに限定されず、穀粒その他の粒体(粒状物の集合体)の表面の色彩を利用して選別を行う用途に広く適用可能である。
In the
また、本発明は撮像手段の分解能等に応じて、穀粒等よりも小径の粒体に対しても適用可能である。さらに、従来の穀粒選別装置も基本的な装置構成は穀粒選別装置1と略同じである。
In addition, the present invention can also be applied to grains having a diameter smaller than that of grains and the like, depending on the resolution of the imaging means. Further, the basic grain configuration of the conventional grain sorting apparatus is substantially the same as the
穀粒選別装置1は、主に搬送手段2、撮像手段3、情報処理手段4、選別手段5等で構成される。
The
搬送手段2は選別の対象となる穀粒(粒体)を撮像手段3から選別手段5に向けて搬送するためのものであり、本実施例ではタンク11、フィーダ12、シュート13等で構成される。
The
タンク11は搬送手段2の最上流部を構成し、選別前の穀粒が貯溜される容器である。該タンク11の内部形状は略擂鉢状であり、上面には穀粒投入口11aが形成されている。選別前の穀粒は穀粒投入口11aからタンク11内に投入される。また、タンク11の下部には開口部11bが形成され、タンク11内に貯溜された穀粒は、該開口部11bから排出可能である。
The tank 11 constitutes the most upstream part of the transport means 2 and is a container in which grains before sorting are stored. The internal shape of the tank 11 is substantially bowl-shaped, and a
フィーダ12は、単位時間当たりの排出量を略一定に保持しつつ、タンク11内に貯溜された穀粒をタンク11からシュート13に排出するものである。本実施例におけるフィーダ12は電磁式であり、フィーダ基部12a上に板バネを介してフィーダトラフ12bが設けられている。フィーダトラフ12bは上面および四方の側面のうちの一面が開口した略直方体の箱であり、タンク11の開口部11bの下方に位置する。該フィーダトラフ12bの開口した側面はシュート13の上流端と対向し、フィーダ基部12aに設けられた電磁石により、フィーダトラフ12bがフィーダ基部12aに対して振動することにより穀粒をシュート13に排出する。また、フィーダ12は、穀粒を振動させつつ搬送手段2の下流に向けて一定量ずつ搬送することにより穀粒同士が上下に重なったまま撮像手段3を通過するのを防止し、情報処理手段4における判定処理の精度を向上させる。
The
シュート13は側壁を有する斜面である。フィーダ12によりタンク11から排出された穀粒は、該シュート13上を滑落する。
The
撮像手段3は搬送手段2により搬送されている穀粒に係る画像データを取得するためのものであり、搬送手段2の中途部に配置される。なお、撮像手段3の具体例としてはCCDカメラその他のカメラ類、ラインセンサあるいは光センサ等が挙げられるが、画像データを取得可能であれば良く、該具体例に限定されない。また、本実施例では撮像手段3が上面撮像手段3aと下面撮像手段3bの計二個の撮像手段からなり、それぞれ撮像手段3を通過する穀粒の上面および下面に係る画像情報を取得可能としているが、これに限定されず、選別される穀粒(粒体)の種類や用途に応じて片面のみ画像データを取得しても良く、あるいは三個以上の撮像手段を設けても良い。
The imaging means 3 is for acquiring image data relating to the grains being conveyed by the
情報処理手段4は撮像手段3にて取得した穀粒に係る画像データに基づいて、各穀粒(穀粒の一粒一粒)についての良否の判定(良品米であるかまたは異物等であるかの判断)を行い、該判定の結果に基づいて選別手段5を作動させる(異物等を良品米から選別除去する)ものであり、コンピュータその他の電子計算機で構成される。該情報処理手段4は、前記各穀粒の良否の判定を行うためのプログラムを格納している。情報処理手段4は撮像手段3および選別手段5と接続されており、撮像手段3から画像データを取得可能であるとともに、選別手段5を作動させるための信号を送信可能である。 Based on the image data relating to the grains acquired by the imaging means 3, the information processing means 4 determines whether each grain (one grain of each grain) is non-defective rice or foreign matter. And the sorting means 5 is operated based on the result of the judgment (selecting and removing foreign substances and the like from non-defective rice), and is constituted by a computer or other electronic computer. The information processing means 4 stores a program for determining the quality of each grain. The information processing means 4 is connected to the imaging means 3 and the sorting means 5, can acquire image data from the imaging means 3, and can transmit a signal for operating the sorting means 5.
選別手段5は情報処理手段4により行われた、各穀粒についての良否の判定結果に基づいて、良品米から異物等を選別・除去するものであり、搬送手段2の下流部に配置される。本実施例における選別手段5は空気銃であり、圧縮空気を噴き付けることによりシュート13を滑落してきた穀粒を良品米と異物等とに選別し、それぞれ良品回収部14と不良品回収部15とに分けて回収する。
The sorting unit 5 sorts and removes foreign substances and the like from the non-defective rice based on the quality determination result for each grain, which is performed by the
以下では図1、図2および図3を用いて本発明の穀粒選別装置と従来の穀粒選別装置とを比較しつつ詳細説明する。本発明の穀粒選別装置および従来の穀粒選別装置は、いずれも撮像処理、色彩画像作成処理、二値化画像作成処理、判定処理、選別処理を行うという点では同じである。 Hereinafter, the grain sorting device of the present invention and a conventional grain sorting device will be described in detail using FIG. 1, FIG. 2, and FIG. The grain sorting device of the present invention and the conventional grain sorting device are all the same in that they perform imaging processing, color image creation processing, binarized image creation processing, determination processing, and sorting processing.
「撮像処理」とは、情報処理手段4が、撮像手段3により搬送手段2上を搬送される(流下される)穀粒に係る画像データを取得することをいう。このとき画像データの形式等は特に限定されない。なお、撮像処理を行う工程を以後「撮像処理工程」と呼ぶこととする。
“Imaging processing” means that the information processing means 4 acquires image data relating to the grains that are conveyed (flowed down) on the conveying
「色彩画像作成処理」とは、情報処理手段4が、撮像手段3により取得した画像データを表示手段(液晶画面やCRT等)に表示可能な形式に変換することをいう。ここで、表示手段に表示可能な形式に変換された画像データを「色彩画像」とする。言い換えれば、色彩画像作成処理とは、画像データに基づいて色彩画像を作成することをいう。色彩画像は、該色彩画像の元となる画像データが取得された時刻に係る情報を有するとともに、該色彩画像を構成する各画素は、搬送手段2上の位置情報としても機能する。従って、色彩画像のある画素は、ある時刻、撮像手段3と対面する搬送手段2上のある位置にあったもの(良品米、異物等または背景)の色彩を表している。色彩画像は、穀粒や異物等の種類、大きさ、分布等に応じて、通常のカラー画像(カラー画像を撮像可能なカメラにより撮像された生画像)としても、通常のカラー画像に適宜色調補正をかけたものとしても良く、限定されない。なお、色彩画像作成処理を行う工程を以後「色彩画像作成処理工程」と呼ぶこととする。
“Color image creation processing” means that the information processing means 4 converts the image data acquired by the imaging means 3 into a format that can be displayed on the display means (liquid crystal screen, CRT, etc.). Here, the image data converted into a format that can be displayed on the display means is referred to as a “color image”. In other words, the color image creation process refers to creating a color image based on image data. The color image has information related to the time when the image data that is the source of the color image is acquired, and each pixel constituting the color image also functions as position information on the
「二値化画像作成処理」とは、情報処理手段4が、撮像手段3により取得した画像データを表示手段(液晶画面やCRT等)に表示可能、かつ画像の明るさについて、例えば所定の閾値よりも明るい領域を白色、閾値よりも暗い領域を黒色として表示する形式に変換することをいう。ここで、表示手段に表示可能、かつ所定の閾値よりも明るい領域を白色、閾値よりも暗い領域を黒色として表示する形式に変換された画像データを「二値化画像」とする。言い換えれば、二値化画像作成処理とは、画像データに基づいて二値化画像を作成することをいう。このとき、二値化画像において黒色で表示される領域は背景(良品米または異物のいずれでもない)に対応しており、以後「背景領域」と呼ぶ。また、二値化画像において白色で表示される領域は良品米(または異物等)に対応しており、以後「穀粒領域」と呼ぶ。
二値化画像は、該二値化画像の元となる画像データが取得された時刻に係る情報を有するとともに、該二値化画像を構成する各画素は、搬送手段2上の位置情報としても機能する。従って、二値化画像のある画素は、ある時刻において撮像手段3と対面する搬送手段2上のある位置が背景領域または穀粒領域のいずれであるかを表している。なお、本実施例では白色と黒色の二色で表示するが、それ以外の二色を用いて表示しても良く、限定されない。また、前記画像の明るさの閾値は、穀粒や異物等の種類、大きさ、分布等、あるいは投光手段(ランプ)等の光量、撮像時の背景色等に応じて適宜選択する必要がある。また、二値化画像作成処理を行う工程を以後「二値化画像作成処理工程」と呼ぶこととする。
“Binarized image creation processing” means that the information processing means 4 can display the image data acquired by the imaging means 3 on the display means (liquid crystal screen, CRT, etc.), and the brightness of the image, for example, a predetermined threshold value. This means that the area brighter than the threshold is displayed in white and the area darker than the threshold is displayed in black. Here, the image data converted into a format that can be displayed on the display unit and displayed as white in an area brighter than a predetermined threshold and black in an area darker than the threshold is referred to as a “binarized image”. In other words, the binarized image creation process refers to creating a binarized image based on image data. At this time, an area displayed in black in the binarized image corresponds to a background (not a non-defective rice or a foreign object), and is hereinafter referred to as a “background area”. In addition, an area displayed in white in the binarized image corresponds to non-defective rice (or foreign matter or the like), and is hereinafter referred to as a “grain area”.
The binarized image has information related to the time at which the image data that is the source of the binarized image is acquired. Function. Accordingly, a certain pixel of the binarized image indicates whether a certain position on the conveying
「判定処理」とは、情報処理手段4が、前記色彩画像作成処理により作成された色彩画像と、前記二値化画像作成処理により作成された二値化画像と、に基づいて判定用画像を作成し、該判定用画像に基づいて各穀粒の良否を判定することをいう。なお、判定処理を行う工程を以後「判定処理工程」と呼ぶこととする。本実施例の場合、判定処理はさらに、ラベリング処理と、切出処理と、認識処理とで構成される。 The “determination process” means that the information processing means 4 determines an image for determination based on the color image created by the color image creation process and the binarized image created by the binarized image creation process. It means creating and determining the quality of each grain based on the image for determination. The process for performing the determination process is hereinafter referred to as “determination process process”. In the case of the present embodiment, the determination process further includes a labeling process, a cutting process, and a recognition process.
「ラベリング処理」とは、情報処理手段4が、二値化画像に基づいて各穀粒(または異物等)に対応する穀粒領域にラベルを割り付けることをいう。ここで、ラベルとは、個々の穀粒領域を識別するために割り付けられる情報(番号や記号等)である。なお、ラベリング処理を行う工程を以後「ラベリング処理工程」と呼ぶこととする。
The “labeling process” means that the
「切出処理」とは、情報処理手段4が、色彩画像およびラベルが割り付けられた後の二値化画像に基づいて、色彩画像から各穀粒に対応する単粒画像を切り出すことをいう。すなわち、同時刻に取得された画像データに基づく色彩画像と二値化画像とを用意し、該二値化画像の穀粒領域を構成する画素と対応する(同じ位置の)色彩画像上の画素を取り出すことにより、一粒の穀粒(または異物)に対応する色彩画像を取り出す(切り出す)ことが可能である。このようにして切り出された一粒の穀粒(または異物)に対応する色彩画像を「単粒画像」と呼ぶこととする。このとき、米等、粒の縦横の長さの比が明確な対象物に対しては画像の回転処理を行い、対象とする角度を統一して(個々の穀粒に係る単粒画像の姿勢を揃えて)認識処理に用いるデータの高度化を行うことも可能である。なお、切出処理を行う工程を以後「切出処理工程」と呼ぶこととする。 “Cutout process” means that the information processing means 4 cuts out a single grain image corresponding to each grain from the color image based on the binarized image after the color image and the label are assigned. That is, a color image and a binarized image based on the image data acquired at the same time are prepared, and a pixel on the color image (at the same position) corresponding to a pixel constituting the grain region of the binarized image It is possible to take out (cut out) a color image corresponding to one grain (or foreign matter). A color image corresponding to one grain (or foreign matter) cut out in this way is referred to as a “single grain image”. At this time, image rotation processing is performed on an object such as rice that has a clear ratio of length to width, and the target angle is unified (the posture of a single grain image relating to each grain) It is also possible to upgrade the data used in the recognition process. The process for performing the cutting process is hereinafter referred to as “cutting process process”.
「認識処理」とは、情報処理手段4が、単粒画像に基づいて各穀粒の良否を判定することをいう。より厳密には、認識処理とは単粒画像に係る色彩の情報に基づいて、該単粒画像が良品米を表したものか、異物等を表したものかを判断することをいう。このとき、情報処理手段4には予め良品米や種々の異物等の色彩の情報が格納されており、これらと単粒画像に係る色彩の情報とを比較(テンプレートマッチング)して、当該単粒画像が良品米または異物等のいずれかを判定する。従って、判定処理における判定用画像は、本実施例においては単粒画像のことを指す。なお、認識処理を行う工程を以後「認識処理工程」と呼ぶこととする。 The “recognition process” means that the information processing means 4 determines the quality of each grain based on the single grain image. More precisely, the recognition processing means determining whether the single grain image represents non-defective rice or foreign matter based on color information relating to the single grain image. At this time, the information processing means 4 stores color information such as non-defective rice and various foreign matters in advance, and compares them with color information related to the single-grain image (template matching), so that the single grain Whether the image is non-defective rice or foreign matter is determined. Therefore, the image for determination in the determination process indicates a single grain image in this embodiment. Hereinafter, the process of performing the recognition process will be referred to as “recognition process process”.
「選別処理」とは、情報処理手段4が、判定処理における判定の結果(本実施例では認識処理における判定の結果)に基づいて選別手段5を作動させ、良品米から異物等を選別することをいう。穀粒は選別処理の結果、良品米は良品回収部14、異物等は不良品回収部15に回収される。
“Selection process” means that the information processing means 4 operates the selection means 5 based on the result of determination in the determination process (in this embodiment, the result of determination in the recognition process) to select foreign substances from non-defective rice. Say. As a result of the sorting process of the grains, the non-defective rice is collected by the non-defective
図3に示す如く、従来の穀粒選別装置は、撮像処理工程100、色彩画像作成処理工程110、二値化画像処理工程120、判定処理工程130(本実施例においては、ラベリング処理工程140、切出処理工程150、認識処理工程160が直列的に配列されたもの)、選別処理170が全て直列的に配列されている。すなわち、情報処理手段4は、撮像処理工程100→色彩画像作成処理工程110→二値化画像処理工程120→判定処理工程130→選別処理工程170の順に(撮像処理工程100→色彩画像作成処理工程110→二値化画像処理工程120→ラベリング処理工程140→切出処理工程150→認識処理工程160→選別処理170の順に)作業を行う。
As shown in FIG. 3, the conventional grain sorting apparatus includes an
一方、図2に示す如く、本発明の穀粒選別装置は、色彩画像作成処理工程110と二値化画像処理工程120とが並列的に配置される。すなわち、情報処理手段4は撮像処理工程100を行った後、色彩画像作成処理工程110と二値化画像処理工程120とを並行して(同時進行で)行い、続いて判定処理工程130→選別処理170の順に作業を行う。
On the other hand, as shown in FIG. 2, in the grain sorting apparatus of the present invention, the color image
このように構成することにより、撮像処理工程100の開始から判定処理工程130の終了までに要する時間(すなわち、遅延時間T)を短縮し、撮像手段と選別手段との間の距離Lを短くして穀粒選別装置を小型化することが可能であるとともに、選別手段による選別精度を向上させることが可能である。
With this configuration, the time required from the start of the
なお、色彩画像作成処理工程110と二値化画像処理工程120とを並行して行うためには、高度な情報処理能力が情報処理手段4に求められる場合がある。このような場合には、情報処理手段4としてニューラルネットワーク等を用いても良い。
Note that in order to perform the color image
以下では、図4を用いて穀粒流量計測装置20について詳細説明する。この穀粒流量計測装置20は、例えば、前記タンク11の上方に設けて投入する穀粒の量を検知したり、シュート13下流側工程に設けて、出荷する穀粒の量を検出したりする。穀粒流量計測装置20は、穀粒の流量(単位時間当たりの流下量)を計測するための装置であり、主に搬送筒21、計測窓22、カメラ23、制御手段24、表示手段25等で構成される。
Below, the grain flow rate measuring apparatus 20 is demonstrated in detail using FIG. The grain flow rate measuring device 20 detects, for example, the amount of grain to be provided by being provided above the tank 11 or detected in the downstream process of the
搬送筒21は上部にて主搬送部21cと副搬送部21dの二股に分岐し、下部にて再び合流する筒状の部材である。搬送筒21の上端開口部21aは漏斗状に形成され、穀粒等を搬送筒21内に容易に流入可能としている。主搬送部21cおよび副搬送部21dはいずれも筒状の部材であり、上端および下端にて互いに合流し、下端開口部21bから穀粒を排出するように形成されている。主搬送部21cは副搬送部21dよりも内径が大きく、上端開口部21aから搬送筒21内に流入した穀粒の大部分は主搬送部21cを通過する。副搬送部21dには上端開口部21aから搬送筒21内に流入した穀粒の一部が通過する。このとき、主搬送部21cを通過する穀粒の流量と副搬送部21dを通過する穀粒の流量との比は、主搬送部21cの断面積と副搬送部21dの断面積との比に略一致する。
The
計測窓22は副搬送部21dの中途部に穿設された孔であり、該計測窓22にはカメラ23が取り付けられる。カメラ23により、副搬送部21dを通過する穀粒に係る画像データを取得することが可能である。
The
制御手段24はコンピュータやその他の電子計算機であり、カメラ23により取得した画像データを二値化して、二値化画像を作成する。そして、該二値化画像に基づいて穀粒の個数を算出することにより、副搬送部21dを通過する穀粒の流量を算出する。従って、既知の値である主搬送部21cを通過する穀粒の流量と副搬送部21dを通過する穀粒の流量との比に基づいて、搬送筒21を通過する穀粒の流量を算出することが可能である。
The control means 24 is a computer or other electronic computer, and binarizes the image data acquired by the
表示手段25は液晶画面やCRT等で構成され、制御手段24にて算出した穀粒の流量等を表示するものである。 The display means 25 is composed of a liquid crystal screen, a CRT, or the like, and displays the grain flow rate calculated by the control means 24.
搬送筒に流入する穀粒の流量が大きいとき、画像データに基づいて流量を計測しようとすると、穀粒同士の重なりが多く、精度良く計測することが困難である。また、このような問題を解決するために、穀粒同士が重ならないように幅の広い斜面に薄く広げて流下させるという方法もあるが、装置が大型化したり、斜面のどの部位にも均一に穀粒を流下させるのが困難であるという問題があった。本実施例の穀粒流量計測装置20の場合、これらの問題を解消し、容易かつ精度良く穀粒の流量を計測することが可能である。 When the flow rate of the grain flowing into the transport cylinder is large, when trying to measure the flow rate based on the image data, there is much overlap between the grains, and it is difficult to measure with high accuracy. In addition, in order to solve such problems, there is a method of spreading and flowing down on a wide slope so that the grains do not overlap each other, but the device becomes larger or even on any part of the slope There was a problem that it was difficult to let down the grain. In the case of the grain flow rate measuring device 20 of the present embodiment, these problems can be solved and the grain flow rate can be measured easily and accurately.
以下では、図5に示す精選機30について詳細説明する。精選機30は乾燥後の籾(および枝梗付着粒、未熟粒、脱ぷ米等の混合物)を選別し、籾から枝梗付着粒や脱ぷ米等を除去するための装置である。精選機30は主に、第一インデント31、第二インデント32、第三インデント33からなるインデントシリンダ型選別機と、原料ホッパー34、および選別状態監視部35等で構成される。但し、選別機はインデント型に限定するものではなく、揺動選別型等であってもよく限定するもではない。また、本実施例では選別対象を米としているが、麦や大豆等の穀粒にも適用可能である。
Below, the refiner | selector 30 shown in FIG. 5 is demonstrated in detail. The refiner 30 is a device for selecting the dried rice cake (and a mixture of the rice cake attached grains, immature grains, crushed rice, etc.) and removing the edible leaf attached grains, crushed rice and the like from the cocoon. The refiner 30 is mainly composed of an indent cylinder type sorter comprising a
原料ホッパー34は乾燥後の籾等(籾、および枝梗付着粒、未熟粒、脱ぷ米等の混合物)が搬送されて一時的に貯溜される容器であり、搬送手段(シュート等)を介して第一インデント31内に該籾等を投入する。
The
第一インデント31は主に略円筒形状の胴体部31aと、回転軸31bと、樋31cとで構成され、胴体部31aの内周面には籾が嵌入する凹部が多数形成されている。第一インデント31は回転軸31bを中心として精選機30の筐体(図示せず)に回転可能に軸支されている。また、第一インデント31内の空間には、回転軸31aの下方に樋31bが設けられている。そして、第一インデント31の回転軸31aの長手方向は水平面に対して傾斜しており、回転軸31aの上端側から第一インデント31内に原料ホッパー34からの籾が投入される。
The
第一インデント31内に投入された籾等は、その大部分が胴体部31aの凹部に嵌入し、胴体部31aの回転により第一インデント31内の空間の所定上部までは遠心力により嵌入してその後自重により落下する。このとき、第一インデント31の回転数と籾等の重量と籾の飛距離との間には相関関係がある。そのため、所定の回転数で第一インデント31を回転駆動することにより、重量が所定の範囲にある籾および脱ぷ米が樋31c内に回収される。該樋31cの長手方向は回転軸31bの長手方向と略平行となるように配置されていることから、樋31cも回転軸31bと同様に傾斜しており、または、スクリューコンベア等を配置して搬送するようにしており、樋31cに回収された籾等は、樋31cの傾斜に沿って回転軸31aの下端側まで移動し、搬送手段(シュート等)を介して第二インデント32内に投入される。また、樋31cに回収されなかった枝梗付着粒や未熟粒等は胴体部31aの内周面に沿って回転軸31aの下端側まで移動し、搬送手段(シュート等)を介して第三インデント33内に投入される。
Most of the hooks or the like thrown into the
第二インデント32は第一インデント31と略同じ構成であり、主に略円筒形状の胴体部32aと、回転軸32bと、樋32cとで構成され、胴体部32aの内周面には籾が嵌入する凹部が多数形成されている。第二インデント32は回転軸32bを中心として精選機30の筐体(図示せず)に回転可能に軸支されている。また、第二インデント32内の空間には、回転軸32aの下方に樋32bが設けられている。そして、第二インデント32の回転軸32aの長手方向は水平面に対して傾斜しており、回転軸32aの上端側から第二インデント32内に第一インデント31の樋31cからの籾および脱ぷ米との混合物が投入される。
The
第二インデント32内に投入された籾と脱ぷ米との混合物は胴体部32aの凹部に嵌入し、胴体部32aの回転により第二インデント32内の空間の所定上部までは遠心力により嵌入してその後自重により落下する。このとき、第二インデント31の回転数と籾と脱ぷ米との混合物の重量と籾と脱ぷ米との混合物の飛距離との間には相関関係がある。そのため、所定の回転数で第二インデント32を回転駆動することにより、重量が所定の範囲にある脱ぷ米が樋32c内に回収される。該樋32cの長手方向は回転軸32bの長手方向と略平行となるように配置されていることから、樋32cも回転軸32bと同様に傾斜しており、または、スクリューコンベア等を配置して搬送するようにしており、樋32cに回収された脱ぷ米は、樋32cの傾斜に沿って回転軸32aの下端側まで移動し、搬送手段(シュート等)を介して外部にて脱ぷ米回収容器41に回収される。また、樋32cに回収されなかった籾は胴体部31aの内周面に沿って回転軸32aの下端側まで移動し、搬送手段(シュート等)を介して外部にて精選籾回収容器42に回収される。
The mixture of rice bran and crushed rice put into the
第三インデント33は第一インデント31と略同じ構成であり、主に略円筒形状の胴体部33aと、回転軸33bと、樋33cとで構成され、胴体部33aの内周面には籾が嵌入する凹部が多数形成されている。第三インデント33は回転軸33bを中心として精選機30の筐体(図示せず)に回転可能に軸支されている。また、第三インデント33内の空間には、回転軸33aの下方に樋33bが設けられている。そして、第三インデント33の回転軸33aの長手方向は水平面に対して傾斜しており、回転軸33aの上端側から第三インデント33内に第一インデント31の胴体部31a内周面からの枝梗付着粒や未熟粒および一部混入した籾が投入される。
The
第三インデント33内に投入された枝梗付着粒と未熟粒と一部混入した籾との混合物のうち、未熟粒と一部混入した籾は胴体部33aの凹部に嵌入し、胴体部33aの回転により第三インデント33内の空間の所定上部までは遠心力により嵌入してその後自重により落下する。このとき、第三インデント33の回転数と未熟粒と一部混入した籾との混合物の重量と未熟粒と一部混入した籾との混合物の飛距離との間には相関関係がある。そのため、所定の回転数で第三インデント33を回転駆動することにより、重量が所定の範囲にある籾が樋33c内に回収される。該樋33cの長手方向は回転軸33bの長手方向と略平行となるように配置されていることから、樋33cも回転軸33bと同様に傾斜しており、または、スクリューコンベア等を配置して搬送するようにしており、樋33cに回収された籾は、樋33cの傾斜に沿って回転軸33aの下端側まで移動し、搬送手段(シュート等)を介して外部にて精選籾回収容器42に回収される。また、樋33cに回収されなかった枝梗付着粒や未熟粒は胴体部33aの内周面に沿って回転軸33aの下端側まで移動し、搬送手段(シュート等)を介して外部にて枝梗付着粒回収容器43に回収される。
Of the mixture of shoots attached to the
以上の如く、精選機30により、精選された籾と、脱ぷ米と、枝梗付着粒および未熟粒とが選別される。 As described above, the refiner 30 sorts the carefully selected rice cakes, the crushed rice, the branch leaf attached grains, and the immature grains.
本実施例の精選機30は、上記に加えて、選別状態監視部35を具備している。選別状態監視部35は、主にサンプル皿36、カメラ37、制御手段38、表示手段39等で構成される。
In addition to the above, the selection machine 30 of the present embodiment includes a selection
サンプル皿36は皿状の部材であり、(1)原料ホッパー34と第一インデント31とを接続する搬送手段の中途部、(2)第一インデント31の樋31cと第二インデント32とを接続する搬送手段の中途部、(3)第一インデント31の胴体部31aと第三インデント33とを接続する搬送手段の中途部、(4)第二インデント32の樋32cと脱ぷ米回収容器41とを接続する搬送手段の中途部、(5)第二インデント32の胴体部32aおよび第三インデント33の樋33cと精選籾回収容器42とを接続する搬送手段の中途部、(6)第三インデント33の胴体部33aと枝梗付着粒回収容器43とを接続する搬送手段の中途部、の計六ヶ所からそれぞれ当該搬送手段にて搬送されている穀粒の一部を任意にサンプルとして回収することが可能である。サンプル皿36には該サンプル皿36を振動させる振動手段(電磁石等)が設けられており、サンプル皿36上に回収された穀粒のサンプルを薄く広げて穀粒同士が上下方向に重ならないようにすることが可能である。また画像データ取得後の穀粒のサンプルは第三インデント33の胴体部33aと枝梗付着粒回収容器43とを接続する搬送手段の中途部に戻される。
The
カメラ37はサンプル皿36上の穀粒のサンプルに係る画像データを取得するものであり、該画像データは制御手段38に送信される。制御手段38はコンピュータやその他の電子計算機で構成され、カメラ37により取得した穀粒のサンプルに係る画像データに基づいて籾、脱ぷ米、未熟粒、枝梗付着粒の判定およびそれらの比率を算出する。なお、該画像データの判定方法については、前記穀粒選別装置1等で用いられる手法(二値化、切出、テンプレートマッチング等)を用いても良く、他の手法を用いても良い。なお、本実施例の制御手段38は第一インデント31、第二インデント32、第三インデント33のそれぞれの回転数制御等、精選機30全体を制御・統括する手段を兼ねているが、これらを別体として、制御手段38を穀粒のサンプルの判定に特化した制御手段としても良い。表示手段39は制御手段38における判定結果や算出結果等を表示するものであり、具体例としては液晶画面やCRT等である。なお、該表示手段39は一個でも複数個でもよく、精選機30の筐体側面に設けられたタッチパネルや、精選機30から離れた位置にある集中管理室等のモニター等でも良い。
The
従来、各インデントでの選別状況は作業者が実際に精選機の側まで行き、搬送手段中途部よりサンプルを取り出して目視で判定していた。しかし、判定する作業者により判定結果にばらつきが生じたり、判定結果を記録し、統計的に処理するのが面倒であった。 Conventionally, the sorting situation at each indent has been judged visually by the operator actually going to the side of the finer, taking out a sample from the middle of the conveying means. However, the determination results vary depending on the operator, and it is troublesome to record the determination results and statistically process them.
以上の如く精選機30を構成することにより、作業者は精選機の側に行かなくても穀粒のサンプルを取り出して判定することが可能であるとともに、該判定データを統計的に処理してリアルタイムで表示したり、データを蓄積することが容易である。また、判定結果に作業者間のばらつきが生じることがなく、データの信頼性が向上し、また、選別装置を選別状態に合わせて調節することができる。例えば、インデントの回転数や角度を変更して、選別性能を向上することができる。この調整はモータやシリンダ等のアクチュエータを用いて自動的に調整することができる。 By configuring the finer 30 as described above, the operator can take out and determine a grain sample without going to the finer, and statistically process the determination data. It is easy to display in real time and accumulate data. In addition, there is no variation among workers in the determination result, data reliability is improved, and the sorting device can be adjusted according to the sorting state. For example, the sorting performance can be improved by changing the rotation speed and angle of the indent. This adjustment can be automatically performed using an actuator such as a motor or a cylinder.
1 穀粒選別装置
3 撮像手段
4 情報処理手段
5 選別手段
DESCRIPTION OF
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003284902A JP4402915B2 (en) | 2003-08-01 | 2003-08-01 | Grain sorting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003284902A JP4402915B2 (en) | 2003-08-01 | 2003-08-01 | Grain sorting device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005055245A JP2005055245A (en) | 2005-03-03 |
JP4402915B2 true JP4402915B2 (en) | 2010-01-20 |
Family
ID=34364706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003284902A Expired - Fee Related JP4402915B2 (en) | 2003-08-01 | 2003-08-01 | Grain sorting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4402915B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4528509B2 (en) * | 2003-09-17 | 2010-08-18 | セイレイ工業株式会社 | Grain sorting device |
JP4658703B2 (en) * | 2005-06-15 | 2011-03-23 | 有限会社新選技研 | Piece inspection device and piece inspection method |
WO2007068056A1 (en) * | 2005-12-14 | 2007-06-21 | Grains Research And Development Corporation | Stain assessment for cereal grains |
US8355900B2 (en) | 2008-10-03 | 2013-01-15 | Honda Motor Co. Ltd. | Method and apparatus for analyzing panicle structure |
WO2019199102A1 (en) * | 2018-04-13 | 2019-10-17 | 백성기 | Scattering-type garlic sorting apparatus |
CN110610183A (en) * | 2018-06-15 | 2019-12-24 | 佛山市顺德区美的电热电器制造有限公司 | Grain evaluation method, grain evaluation device, and storage medium |
CN110538802A (en) * | 2019-09-02 | 2019-12-06 | 星光印刷(苏州)有限公司 | Material sorting system for flexible automatic production |
CN110721930B (en) * | 2019-11-14 | 2021-06-29 | 无锡慧动利信息科技有限公司 | Needle cylinder detection method and device |
CN111112104B (en) * | 2019-12-20 | 2022-03-08 | 苏州市美益添生物科技有限公司 | A transfer apparatus for detecting food therapy granule state |
CN116686003A (en) * | 2020-12-24 | 2023-09-01 | 株式会社佐竹 | Method for identifying sorted objects, sorting method, sorting device, and identification device |
JP2024021833A (en) * | 2022-08-04 | 2024-02-16 | 株式会社サタケ | Method for labeling granular material in optical sorter |
CN116309760B (en) * | 2023-05-26 | 2023-09-19 | 安徽高哲信息技术有限公司 | Cereal image alignment method and cereal detection equipment |
-
2003
- 2003-08-01 JP JP2003284902A patent/JP4402915B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005055245A (en) | 2005-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5917927A (en) | Grain inspection and analysis apparatus and method | |
JP4402915B2 (en) | Grain sorting device | |
US5733592A (en) | Method for cleaning and sorting bulk material | |
JP6152845B2 (en) | Optical granular material sorter | |
JP4915129B2 (en) | Color sorter | |
US5699724A (en) | Cleaning and sorting bulk material | |
US20090050540A1 (en) | Optical grain sorter | |
JP5846348B2 (en) | Optical sorter | |
US20020170367A1 (en) | Control feedback system and method for bulk material industrial processes using automated object or particle analysis | |
US20080217217A1 (en) | Device and system for use in imaging particulate matter | |
EP0658262B1 (en) | Method and device for automatic evaluation of cereal grains and other granular products | |
US6885904B2 (en) | Control feedback system and method for bulk material industrial processes using automated object or particle analysis | |
US11650189B2 (en) | Grain separation automation and processing equipment and possible materials of identification, classification and quantification of the same; application of process and use of equipment | |
JPS61107139A (en) | Apparatus for measuring grade of grain of rice | |
RU2424859C1 (en) | Device to sort objects to visual attributes | |
EP3962668A1 (en) | Automated grains inspection | |
JP2003024874A (en) | Device for adjusting sensitivity of particle color sorter | |
KR102198917B1 (en) | Grain grading system and method | |
JPH09108640A (en) | Grain sorter | |
JP2858736B2 (en) | Grain sorter | |
JP7354869B2 (en) | Cap inspection device and capsule inspection method | |
JP2000157935A (en) | Method of inspecting parts and device therefor | |
JP7428966B2 (en) | color sorter | |
JP7318397B2 (en) | Paddy discriminator | |
JP3180841B2 (en) | Rice Grain Classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091030 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |