JP6127188B1 - Counting method and counting device - Google Patents
Counting method and counting device Download PDFInfo
- Publication number
- JP6127188B1 JP6127188B1 JP2016154068A JP2016154068A JP6127188B1 JP 6127188 B1 JP6127188 B1 JP 6127188B1 JP 2016154068 A JP2016154068 A JP 2016154068A JP 2016154068 A JP2016154068 A JP 2016154068A JP 6127188 B1 JP6127188 B1 JP 6127188B1
- Authority
- JP
- Japan
- Prior art keywords
- counting
- image
- shape model
- photographing
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】様々な状況で計数対象物の数を簡単に計数することができる。【解決手段】計数対象物Ｅの集合体を撮影した撮影画像から計数対象物Ｅの数を計数する計数方法であって、撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、前記撮影画像に写し出された計数対象物Ｅの数を計数する計数処理工程と、を有し、前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドＧを撮影画像に重ねて入出力部２１に表示させ、前記計数処理工程は、撮影時の撮影ガイドＧのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う。【選択図】図６The number of objects to be counted can be easily counted in various situations. A counting method for counting the number of counting objects E from a photographed image obtained by photographing a collection of counting objects E, an image photographing support step for supporting photographing of the photographed image using a photographing unit; A counting processing step for counting the number of counting objects E projected on the photographed image, and the image photographing support step captures the photographing guide G whose size can be changed by a user operation. The counting process step generates a first shape model from the photographed image based on the size and position of the photographing guide G at the time of photographing, and generates the first shape. A first matching process is performed on the captured image using a model. [Selection] Figure 6
Description
本発明は、計数方法および計数装置に関する。 The present invention relates to a counting method and a counting device.
鉄鋼業などでは、製造された鋼材（例えば、棒鋼）の本数を計数することが行われている。例えば、鋼材は運搬や貯蔵に際して、同一サイズのものを予定本数分だけ束ねて、ベルトや針金で結束されるのが一般的である。しかし、一束中の鋼材本数が多い場合、鋼材本数を予定通りの本数にすることは容易でなく、多少の増減がある場合が少なくない。また、そもそも予定本数を定めずに鋼材を束ねる場合、一束中の鋼材本数は不明である。
その為、生産や出荷の工程管理という観点から、一束中の鋼材の本数を正確に計数することが必要になる。
In the steel industry and the like, the number of manufactured steel materials (for example, steel bars) is counted. For example, in general, steel materials are bundled by a predetermined number of the same size when transported or stored, and are bound by a belt or a wire. However, when the number of steel materials in a bundle is large, it is not easy to make the number of steel materials as planned, and there are many cases where there is a slight increase or decrease. Moreover, when bundling steel materials in the first place without setting the planned number, the number of steel materials in one bundle is unknown.
Therefore, it is necessary to accurately count the number of steel materials in a bundle from the viewpoint of production and shipment process management.
そこで、従来より、鋼材の端面を撮影した画像を画像解析することによって、鋼材の本数を計数する技術が開発されている（例えば、特許文献１参照）。
特許文献１に記載の技術は、鋼材束断面の正面中央付近の所定位置に設置された二次元撮像手段により照明された該断面全体の画像を撮影し、鋼材単体の断面形状の面積を含む特性値を解析することで鋼材の本数を計数するものである。
Therefore, conventionally, a technique for counting the number of steel materials by analyzing an image obtained by photographing an end face of the steel material has been developed (see, for example, Patent Document 1).
The technique described in Patent Document 1 captures an image of the entire cross section illuminated by a two-dimensional imaging means installed at a predetermined position near the front center of the cross section of the steel bundle, and includes a characteristic including the area of the cross sectional shape of the single steel material The number of steel materials is counted by analyzing the value.
しかしながら、特許文献１に記載の技術は、特性値が予め設定した標準値に概ね合致するか否かを判定しているので、鋼材が貯蔵される環境によっては鋼材の本数を計数することが難しい場合があった。
つまり、鋼材と撮影手段との距離や鋼材自体のサイズ（例えば、外径）によって鋼材単体の断面形状の面積は変化するので、撮影時に厳密な設定が必要になり、ユーザにとって利便性がよいものとは言えない場合があった。なお、このような課題は、鋼材に限った話ではなく、色々な物の数を計数する場合に広く問題になる。
However, since the technique described in Patent Document 1 determines whether or not the characteristic value substantially matches a preset standard value, it is difficult to count the number of steel materials depending on the environment in which the steel materials are stored. There was a case.
In other words, since the area of the cross-sectional shape of the single steel material changes depending on the distance between the steel material and the photographing means and the size of the steel material itself (for example, the outer diameter), strict setting is required at the time of photographing, which is convenient for the user. There were cases where it could not be said. In addition, such a subject becomes a problem not only when talking about steel materials but when counting the number of various things.
このような観点から、本発明は、様々な状況で計数対象物の数を簡単に計数することができる計数方法および計数装置を提供する。 From such a viewpoint, the present invention provides a counting method and a counting apparatus that can easily count the number of counting objects in various situations.
前記課題を解決するため、本発明に係る計数方法は、計数対象物の集合体を撮影した撮影画像から当該計数対象物の数を計数する計数方法であって、撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、前記撮影画像に写し出された前記計数対象物の数を計数する計数処理工程と、を有する。前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドを撮影画像に重ねて表示部に表示させ、前記計数処理工程は、撮影時の前記撮影ガイドのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う。 In order to solve the above problems, a counting method according to the present invention is a counting method for counting the number of counting objects from a photographed image obtained by photographing a collection of counting objects, and photographing the photographed image using a photographing unit. An image photographing support step for supporting the image, and a counting processing step for counting the number of the counting objects projected on the photographed image. In the image photographing support step, a photographing guide whose size can be changed by a user operation is displayed on the display unit so as to overlap the photographed image, and the counting processing step is based on the size and position of the photographing guide at the time of photographing. Then, a first shape model is generated from the captured image, and a first matching process is performed on the captured image using the generated first shape model.
本発明に係る計数方法においては、撮影時に撮影ガイドのサイズを計数対象物に合わせることで、計数対象物の撮影画像における大きさを特定することが可能である。そして、撮影時の撮影ガイドのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物までの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像に対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物までの距離や計数対象物自体の大きさに関わらず、計数対象物の数を計数することができる。 In the counting method according to the present invention, it is possible to specify the size of the counting object in the captured image by matching the size of the imaging guide with the counting object during shooting. Then, by generating a shape model based on the size of the shooting guide at the time of shooting, this shape model takes into account the distance to the counting object and the size of the counting object itself. Therefore, by performing the matching process using the shape model generated for the captured image, the number of counting objects can be counted regardless of the distance to the counting object and the size of the counting object itself.
また、本発明に係る計数方法は、前記撮影画像から前記第一のマッチング処理を行う範囲を特定する撮影画像編集工程をさらに有するのがよい。
これにより、マッチング処理を行う範囲が限定されるので、マッチング処理の処理量を削減できる。
The counting method according to the present invention preferably further includes a captured image editing step for specifying a range in which the first matching process is performed from the captured image.
Thereby, since the range which performs a matching process is limited, the processing amount of a matching process can be reduced.
また、本発明に係る計数方法は、前記計数処理工程で、前記撮影時の撮影ガイドのサイズに基づく第二の形状モデルを用いて前記撮影画像の一部の範囲に対して第二のマッチング処理を行い、前記第二のマッチング処理の結果に基づき前記第一の形状モデルを生成する位置を特定するのがよい。
これにより、撮影時に撮影ガイドの位置を計数対象物に正確に合わせなくても、撮影画像に対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。
In the counting method according to the present invention, in the counting process step, a second matching process is performed on a partial range of the captured image using a second shape model based on the size of the shooting guide at the time of shooting. It is preferable to specify the position where the first shape model is generated based on the result of the second matching process.
Accordingly, it is possible to generate an optimal shape model for performing matching processing on a captured image without accurately aligning the position of the shooting guide with the counting object at the time of shooting.
また、本発明に係る計数方法は、前記計数処理工程で、前記撮影時の撮影ガイドのサイズとは異なる大きさの第三の形状モデルを用いて前記撮影画像の一部の範囲に対して第三のマッチング処理を行い、前記第三のマッチング処理の結果に基づき前記第一の形状モデルを生成するサイズを特定するのがよい。
これにより、撮影時に撮影ガイドのサイズを計数対象物に正確に合わせなくても、撮影画像に対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。
In the counting method according to the present invention, in the counting process step, a third shape model having a size different from the size of the shooting guide at the time of shooting is used for a partial range of the shot image. It is preferable to perform a third matching process and specify a size for generating the first shape model based on a result of the third matching process.
This makes it possible to generate an optimal shape model for performing matching processing on a captured image without accurately matching the size of the shooting guide to the counting object at the time of shooting.
また、本発明に係る計数方法は、前記第一のマッチング処理の結果を前記撮影画像に重ねて前記表示部に表示させ、ユーザの操作により当該第一のマッチング処理の結果を編集するマッチング結果編集工程をさらに有するのがよい。
これにより、マッチング処理に間違いがあった場合でも、マッチング処理の結果を簡単に修正することができる。
In the counting method according to the present invention, the result of the first matching process is displayed on the display unit so as to be superimposed on the captured image, and the result of the first matching process is edited by a user operation. It is good to have a process further.
Thereby, even if there is an error in the matching process, the result of the matching process can be easily corrected.
また、本発明に係る計数装置は、前述した計数方法を制御部に実行させることを特徴とする計数装置である。
本発明に係る計数装置においては、撮影時に撮影ガイドのサイズを計数対象物に合わせることで、計数対象物の撮影画像における大きさを特定することが可能である。そして、撮影時の撮影ガイドのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物までの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像に対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物までの距離や計数対象物自体の大きさに関わらず、計数対象物の数を計数することができる。
Moreover, the counting device according to the present invention is a counting device characterized by causing a control unit to execute the counting method described above.
In the counting device according to the present invention, it is possible to specify the size of the counting object in the captured image by matching the size of the imaging guide with the counting object during imaging. Then, by generating a shape model based on the size of the shooting guide at the time of shooting, this shape model takes into account the distance to the counting object and the size of the counting object itself. Therefore, by performing the matching process using the shape model generated for the captured image, the number of counting objects can be counted regardless of the distance to the counting object and the size of the counting object itself.
本発明によれば、様々な状況で計数対象物の数を簡単に計数することができる。 According to the present invention, the number of objects to be counted can be easily counted in various situations.
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown so that the invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. In each drawing, common components and similar components are denoted by the same reference numerals, and redundant description thereof is omitted.
≪実施形態に係る計数システムの構成≫
図１を参照して、実施形態に係る計数システム１の構成について説明する。以下では、本発明に関連する機能の説明を行うことにし、関連しない機能については説明を省略する。
計数システム１は、計数対象物Ｅを数えるシステムであり、ここでは、計数対象物Ｅとして棒鋼を想定して説明する。なお、計数対象物Ｅは、特定方向から見た場合の形状が同様になるものであればよく、例えば、鋼管、Ｈ鋼、Ｌ鋼などの棒鋼以外の長尺物であってもよい。計数対象物Ｅは、一束にまとめられており集合体Ｄをなしている。計数システム１は、主に、ユーザ端末２と、計数装置３とを備えて構成される。
<< Configuration of Counting System According to Embodiment >>
With reference to FIG. 1, the structure of the counting system 1 which concerns on embodiment is demonstrated. In the following, functions related to the present invention will be described, and descriptions of functions not related will be omitted.
The counting system 1 is a system that counts the counting object E. Here, the counting object 1 will be described assuming a steel bar as the counting object E. In addition, the count object E should just be a thing when the shape when it sees from a specific direction is the same, for example, may be elongate objects other than steel bars, such as a steel pipe, H steel, and L steel. The counting objects E are bundled together and form an assembly D. The counting system 1 mainly includes a user terminal 2 and a counting device 3.
ユーザ端末２は、ユーザによって操作される装置であり、ここでのユーザは、棒鋼の生産や出荷などを行う作業現場で作業を行う作業員を想定する。ユーザとしての作業員は、例えば、ユーザ端末２を用いて、在庫管理として定期的または出荷時に計数対象物Ｅの本数を計数する。
ユーザ端末２は、少なくとも入出力機能と、撮影機能と、通信機能と、情報処理機能とを備えた装置であり、例えば、多機能型携帯電話機（スマートフォン:Smartphone）、モバイル端末、ノート型ＰＣ（Personal Computer）などであってよい。ここでは、ユーザ端末２として多機能型携帯電話機を想定して図示および以降の説明を行う。
The user terminal 2 is a device operated by a user, and the user here is assumed to be a worker who performs work at a work site where bar steel is produced or shipped. A worker as a user counts the number of counting objects E using the user terminal 2 periodically or at the time of shipment as inventory management.
The user terminal 2 is an apparatus having at least an input / output function, a photographing function, a communication function, and an information processing function. For example, the user terminal 2 is a multi-function mobile phone (smart phone), a mobile terminal, a notebook PC ( Personal Computer). Here, the illustration and the following description will be made assuming a multi-function mobile phone as the user terminal 2.
ユーザ端末２は、ユーザの操作によって撮影した計数対象物Ｅの撮影画像を計数装置３に対して送信する。また、ユーザ端末２は、計数装置３から送信された撮影画像の画像解析結果（例えば、計数対象物Ｅの計数結果）を受信し、受信した画像解析結果をユーザに対して表示する。なお、計数装置３における画像解析処理を容易にするために、ユーザの操作によって撮影画像の編集が行われてもよい。その場合、ユーザ端末２は、編集後の撮影画像を計数装置３に対して送信する。 The user terminal 2 transmits a captured image of the counting object E photographed by a user operation to the counting device 3. In addition, the user terminal 2 receives the image analysis result of the captured image (for example, the count result of the counting object E) transmitted from the counting device 3, and displays the received image analysis result for the user. In order to facilitate the image analysis processing in the counting device 3, the captured image may be edited by a user operation. In that case, the user terminal 2 transmits the edited captured image to the counting device 3.
計数装置３は、少なくとも通信機能と、情報処理機能とを備えた装置であり、例えば、アプリケーションサーバである。ここでの計数装置３は、ネットワークＮＷ上に配置されたサーバを想定しているが、計数装置３が配置される場所はネットワークＮＷ上に特に限定されるものではない。計数装置３は、例えば、作業現場に配置されてもよく、その場合、ユーザ端末２と計数装置３とは、例えば、無線ＬＡＮ（Local Area Network）を介して情報を送受信する。
計数装置３は、計数対象物Ｅを撮影した撮影画像を画像解析（例えば、形状モデルマッチング）して計数対象物Ｅの本数を計数し、計数結果をユーザ端末２に応答する。
The counting device 3 is a device having at least a communication function and an information processing function, and is, for example, an application server. Here, the counting device 3 is assumed to be a server arranged on the network NW, but the place where the counting device 3 is arranged is not particularly limited on the network NW. The counting device 3 may be arranged at a work site, for example. In that case, the user terminal 2 and the counting device 3 transmit and receive information via, for example, a wireless LAN (Local Area Network).
The counting device 3 performs image analysis (for example, shape model matching) on a captured image obtained by capturing the counting object E, counts the number of the counting objects E, and responds to the user terminal 2 with the counting result.
＜ユーザ端末の構成＞
図２を参照して、ユーザ端末２のより詳細な構成について説明する。ユーザ端末２は、入出力部２１と、撮影部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。
入出力部２１は、例えば、タッチディスプレイであり、ユーザによる入力操作が行われる。また、入出力部２１は、ユーザ端末２内の処理結果や計数装置３からの応答結果などを表示する。
<Configuration of user terminal>
A more detailed configuration of the user terminal 2 will be described with reference to FIG. The user terminal 2 includes an input / output unit 21, a photographing unit 22, a communication unit 23, a storage unit 24, and a control unit 25.
The input / output unit 21 is, for example, a touch display, and an input operation by a user is performed. Further, the input / output unit 21 displays a processing result in the user terminal 2 and a response result from the counting device 3.
撮影部２２は、例えば、焦点の調整可能なＣＣＤ（Charge Coupled Device）カメラであり、ユーザによる撮影操作により計数対象物Ｅの撮影画像を生成する。
通信部２３は、例えば、Ｗｉ−Ｆｉユニットであり、周囲に設置される図示しないアクセスポイントを介して計数装置３との間で通信を行う。
The photographing unit 22 is, for example, a CCD (Charge Coupled Device) camera with adjustable focus, and generates a photographed image of the counting object E by a photographing operation by a user.
The communication unit 23 is, for example, a Wi-Fi unit, and performs communication with the counting device 3 via an access point (not shown) installed around the communication unit 23.
記憶部２４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶媒体から構成される。記憶部２４には、撮影部２２によって撮影された撮影画像Ｐ、後述する撮影ガイドＧのサイズ、計数装置３によって撮影画像Ｐを画像解析（ここでは、形状モデルを用いたマッチング処理）された後のマッチング結果画像Ｑなどが記憶される。 The storage unit 24 includes a storage medium such as a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), and a flash memory. In the storage unit 24, after the captured image P captured by the capturing unit 22, the size of a capturing guide G to be described later, and the captured image P are subjected to image analysis (here, matching processing using a shape model) by the counting device 3. The matching result image Q is stored.
制御部２５は、ＣＰＵ（Central Processing Unit）によるプログラムの実行処理や、専用回路等により実現される。制御部２５がプログラムによって実現される場合、そのプログラムをコンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。
制御部２５は、画像撮影支援部２５ａと、撮影画像編集部２５ｂと、撮影画像送信部２５ｃと、マッチング結果画像受信部２５ｄと、マッチング結果編集部２５ｅと、画像切替処理部２５ｆとを備える。ここでは、各機能の処理の概要を説明する。
The control unit 25 is realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, or the like. When the control unit 25 is realized by a program, the program can be provided by being stored in a computer-readable recording medium (eg, CD-ROM). The program can also be provided through a network such as the Internet.
The control unit 25 includes an image capturing support unit 25a, a captured image editing unit 25b, a captured image transmitting unit 25c, a matching result image receiving unit 25d, a matching result editing unit 25e, and an image switching processing unit 25f. Here, an overview of processing of each function will be described.
画像撮影支援部２５ａは、撮影部２２による計数対象物Ｅの撮影を支援する。
撮影画像編集部２５ｂは、ユーザによる撮影画像Ｐの編集を行う機能を提供する。
撮影画像送信部２５ｃは、通信部２３を介して撮影画像Ｐを計数装置３に対して送信する。なお、撮影画像編集部２５ｂによって撮影画像Ｐの編集が行われた場合には、編集後の撮影画像Ｐを計数装置３に対して送信する。
マッチング結果画像受信部２５ｄは、通信部２３を介してマッチング結果画像Ｑを計数装置３から受信する。
マッチング結果編集部２５ｅは、ユーザによるマッチング結果画像Ｑの編集を行う機能を提供する。
画像切替処理部２５ｆは、撮影画像Ｐとマッチング結果画像Ｑとの表示の切り替えを行う機能を提供する。
The image photographing support unit 25a supports the photographing of the counting object E by the photographing unit 22.
The captured image editing unit 25b provides a function of editing the captured image P by the user.
The captured image transmission unit 25 c transmits the captured image P to the counting device 3 via the communication unit 23. Note that when the captured image P is edited by the captured image editing unit 25b, the edited captured image P is transmitted to the counting device 3.
The matching result image receiving unit 25 d receives the matching result image Q from the counting device 3 via the communication unit 23.
The matching result editing unit 25e provides a function of editing the matching result image Q by the user.
The image switching processing unit 25f provides a function of switching display between the captured image P and the matching result image Q.
＜計数装置の構成＞
図３を参照して、計数装置３のより詳細な構成について説明する。計数装置３は、通信部３１と、記憶部３２と、制御部３３とを備える。
通信部３１は、例えば、通信インターフェースであり、通信回線を介してユーザ端末２との間で通信を行う。
<Configuration of counting device>
A more detailed configuration of the counting device 3 will be described with reference to FIG. The counting device 3 includes a communication unit 31, a storage unit 32, and a control unit 33.
The communication unit 31 is a communication interface, for example, and performs communication with the user terminal 2 via a communication line.
記憶部３２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶媒体から構成される。記憶部３２には、ユーザ端末２から受信した撮影画像Ｐおよび撮影ガイドＧのサイズ、撮影画像Ｐを画像解析（ここでは、形状モデルを用いたマッチング処理）した後のマッチング結果画像Ｑなどが記憶される。 The storage unit 32 includes a storage medium such as a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), and a flash memory. The storage unit 32 stores the size of the captured image P and the captured guide G received from the user terminal 2, the matching result image Q after image analysis (here, matching processing using a shape model) of the captured image P, and the like. Is done.
制御部３３は、ＣＰＵ（Central Processing Unit）によるプログラムの実行処理や、専用回路等により実現される。制御部３３がプログラムによって実現される場合、そのプログラムをコンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。
制御部３３は、撮影画像受信部３３ａと、計数処理部３３ｂと、マッチング結果画像作成部３３ｅと、マッチング結果画像送信部３３ｆとを備える。また、計数処理部３３ｂは、形状モデル生成部３３ｃと、マッチング処理部３３ｄとを有する。ここでは、各機能の処理の概要を説明する。
The control unit 33 is realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, or the like. When the control unit 33 is realized by a program, the program can be provided by being stored in a computer-readable recording medium (eg, CD-ROM). The program can also be provided through a network such as the Internet.
The control unit 33 includes a captured image reception unit 33a, a count processing unit 33b, a matching result image creation unit 33e, and a matching result image transmission unit 33f. The count processing unit 33b includes a shape model generation unit 33c and a matching processing unit 33d. Here, an overview of processing of each function will be described.
撮影画像受信部３３ａは、通信部３１を介して撮影画像Ｐをユーザ端末２から受信する。なお、撮影画像編集部２５ｂ（図２参照）によって撮影画像Ｐの編集が行われた場合には、編集後の撮影画像Ｐをユーザ端末２から受信する。
計数処理部３３ｂは、撮影画像Ｐに写し出された計数対象物Ｅの数を計数する。
形状モデル生成部３３ｃは、計数対象物Ｅの数を計数するために行うマッチング処理に用いる形状モデルを生成する。ここでの形状モデルは、「第一の形状モデル」である。形状モデル生成部３３ｃは、撮影画像Ｐから形状モデルを生成する。
The captured image receiving unit 33 a receives the captured image P from the user terminal 2 via the communication unit 31. When the captured image P is edited by the captured image editing unit 25b (see FIG. 2), the edited captured image P is received from the user terminal 2.
The counting processing unit 33b counts the number of counting objects E projected on the captured image P.
The shape model generation unit 33c generates a shape model used for matching processing performed to count the number of counting objects E. The shape model here is a “first shape model”. The shape model generation unit 33 c generates a shape model from the captured image P.
マッチング処理部３３ｄは、形状モデルを用いて撮影画像Ｐに対してマッチング処理を行う。ここでのマッチング処理は、「第一のマッチング処理」である。マッチング処理部３３ｄは、例えば、形状モデルの形状や面積比などに基づいて、形状モデルに適合する物を撮影画像Ｐから識別する。そして、マッチング処理部３３ｄは、適合具合に基づいて識別した物にスコアを付けて、スコアにより分類を行う。
マッチング結果画像作成部３３ｅは、マッチング処理部３３ｄによるマッチング処理の結果に基づいてマッチング結果画像Ｑを作成する。マッチング結果画像作成部３３ｅは、例えば、マッチング処理のスコアにより分類された物体を識別可能に画像の加工を行う。
マッチング結果画像送信部３３ｆは、通信部３１を介してマッチング結果画像Ｑをユーザ端末２に対して送信する。
The matching processing unit 33d performs a matching process on the captured image P using the shape model. The matching process here is a “first matching process”. The matching processing unit 33d identifies an object that matches the shape model from the captured image P based on the shape and area ratio of the shape model, for example. And the matching process part 33d attaches a score to the thing identified based on the fit condition, and classifies with a score.
The matching result image creation unit 33e creates a matching result image Q based on the result of the matching process by the matching processing unit 33d. For example, the matching result image creation unit 33e processes the image so that the objects classified by the score of the matching process can be identified.
The matching result image transmission unit 33 f transmits the matching result image Q to the user terminal 2 via the communication unit 31.
≪実施形態に係る計数方法≫
＜全体処理＞
図４および図５（適宜、図１ないし図３参照）を参照して、実施形態に係る計数システム１による計数方法を説明する。図４および図５は、計数システム１による計数方法を示すフローチャートである。
図４および図５の処理は、例えば、ユーザによりユーザ端末２に格納される図示しないアプリケーションの起動操作がなされることにより開始する。このアプリケーションが起動されることで、撮影部２２は画像の撮影を開始し、画像撮影支援部２５ａは、一束にまとめられた計数対象物Ｅ（ここでは、棒鋼）の端面を撮影するようにユーザに対して指示を行う。
<< Counting Method According to Embodiment >>
<Overall processing>
A counting method by the counting system 1 according to the embodiment will be described with reference to FIGS. 4 and 5 (see FIGS. 1 to 3 as appropriate). 4 and 5 are flowcharts showing a counting method by the counting system 1.
The processing in FIGS. 4 and 5 is started when, for example, an operation for starting an application (not shown) stored in the user terminal 2 is performed by the user. When this application is activated, the image capturing unit 22 starts image capturing, and the image capturing support unit 25a captures the end faces of the counting objects E (here, bar steel) collected in a bundle. Give instructions to the user.
ユーザは、ユーザ端末２の指示に従って入出力部２１に計数対象物Ｅの束全体が表示されるように（撮影部２２の撮影範囲に計数対象物Ｅ全体を収めるように）、撮影部２２の位置を調整する（ステップＳ１）。例えば、ユーザは、ユーザ端末２を計数対象物Ｅに近づけたり、遠ざけたりして撮影部２２の位置を調整する。なお、撮影部２２の位置を動かさずに、撮影部２２の倍率を上げたり下げたりしてもよい。これにより、画像撮影支援部２５ａは、図６（ａ）に示すように、計数対象物Ｅを映し出した撮影画面６０を入出力部２１に表示する。 The user follows the instruction from the user terminal 2 so that the entire bundle of counting objects E is displayed on the input / output unit 21 (so that the entire counting object E is within the shooting range of the shooting unit 22). The position is adjusted (step S1). For example, the user adjusts the position of the photographing unit 22 by moving the user terminal 2 close to or away from the counting object E. Note that the magnification of the photographing unit 22 may be increased or decreased without moving the position of the photographing unit 22. As a result, the image photographing support unit 25a displays the photographing screen 60 on which the counting object E is displayed on the input / output unit 21 as illustrated in FIG.
この撮影画面６０の中央には、撮影画像に重ねて撮影ガイドＧ（ここでは、リング状の図形）が表示されている。この撮影ガイドＧは、撮影の基準になるものであり、ユーザの操作によりサイズを変更可能である。撮影ガイドＧのサイズや位置は、マッチング処理に用いる形状モデルの生成に利用される。詳細は後述する。
また、この撮影画面６０の右上部には、撮影ボタン６１が表示されている。この撮影ボタン６１は、ユーザに操作されるものであって、ユーザにより押下されることで、画像撮影支援部２５ａは、押下時の撮影画像を記憶部２４に格納する（以下では、撮影ボタン６１を押下された時の撮影画像を、特に「撮影画像Ｐ」と表記する場合がある）。
また、この撮影画面６０の左下部には、拡大ボタン６２および縮小ボタン６３が上下方向に並べて表示されている。これらの拡大ボタン６２および縮小ボタン６３は、ユーザに操作されるものであって、拡大ボタン６２を押下されることにより撮影ガイドＧのサイズは大きくなる。一方、縮小ボタン６３を押下されることにより撮影ガイドＧのサイズは小さくなる。
In the center of the shooting screen 60, a shooting guide G (here, a ring-shaped figure) is displayed so as to overlap the shot image. The shooting guide G is a reference for shooting, and the size can be changed by a user operation. The size and position of the shooting guide G are used to generate a shape model used for matching processing. Details will be described later.
A shooting button 61 is displayed in the upper right part of the shooting screen 60. The shooting button 61 is operated by the user, and when pressed by the user, the image shooting support unit 25a stores the shot image at the time of pressing in the storage unit 24 (hereinafter, the shooting button 61). The photographed image when the button is pressed may be referred to as “captured image P” in particular).
In addition, an enlargement button 62 and a reduction button 63 are displayed side by side in the vertical direction in the lower left portion of the photographing screen 60. The enlargement button 62 and the reduction button 63 are operated by the user, and when the enlargement button 62 is pressed, the size of the photographing guide G increases. On the other hand, when the reduction button 63 is pressed, the size of the photographing guide G is reduced.
続いて、ユーザは、撮影ガイドＧと一本の計数対象物Ｅとのサイズが合っているか否かを確認する（図４のステップＳ２）。ステップＳ２で比較対象になる計数対象物Ｅは、任意のものであってよい。本実施形態では、図６（ａ）に示すように撮影ガイドＧを撮影画面６０の中央に表示しているので、ユーザが計数対象物Ｅの束全体を画面に収めようとすると自然に中央付近に位置する計数対象物Ｅが比較対象になる。撮影ガイドＧと計数対象物Ｅとのサイズが合っているとは、撮影ガイドＧ内に計数対象物Ｅが収容されている状態を意味しているが、厳密である必要はない。 Subsequently, the user confirms whether or not the size of the photographing guide G and one counting object E match (step S2 in FIG. 4). The counting object E to be compared in step S2 may be arbitrary. In the present embodiment, as shown in FIG. 6A, the shooting guide G is displayed at the center of the shooting screen 60. Therefore, when the user attempts to put the entire bundle of counting objects E on the screen, the vicinity of the center naturally occurs. The counting object E located at is a comparison object. The fact that the size of the photographing guide G and the counting object E is the same means that the counting object E is accommodated in the photographing guide G, but it is not necessary to be exact.
撮影ガイドＧと計数対象物Ｅとのサイズが合っていない場合（ステップＳ２で“Ｎｏ”）に、ユーザは、撮影ガイドＧのサイズを計数対象物Ｅのサイズに調整する。具体的には、撮影ガイドＧが大きい場合（ステップＳ３で“Ｙｅｓ”）に、ユーザは縮小ボタン６３を押下する（ステップＳ４）。これにより、画像撮影支援部２５ａは、撮影ガイドＧのサイズを小さくする。なお、縮小の程度は特に限定されず、例えば、一回の縮小ボタン６３の押下により０．９倍程度の大きさになるようにする。そして、ユーザは、撮影ガイドＧと計数対象物Ｅとのサイズが合っているか否かを再度確認する（ステップＳ２）。 When the size of the shooting guide G and the counting object E do not match (“No” in step S2), the user adjusts the size of the shooting guide G to the size of the counting object E. Specifically, when the shooting guide G is large (“Yes” in step S3), the user presses the reduction button 63 (step S4). Thereby, the image capturing support unit 25a reduces the size of the shooting guide G. The degree of reduction is not particularly limited. For example, the size is reduced to about 0.9 times by pressing the reduction button 63 once. Then, the user confirms again whether or not the size of the photographing guide G and the counting target object E match (step S2).
また、ユーザは、撮影ガイドＧのサイズが小さい場合（ステップＳ３で“Ｎｏ”）に、ユーザは拡大ボタン６２を押下する（ステップＳ５）。これにより、画像撮影支援部２５ａは、撮影ガイドＧのサイズを大きくする。なお、拡大の程度は特に限定されず、例えば、一回の拡大ボタン６２の押下により１．１倍程度の大きさになるようにする。そして、ユーザは、撮影ガイドＧと計数対象物Ｅとのサイズが合っているか否かを再度確認する（ステップＳ２）。
ステップＳ２〜Ｓ５の操作によって、撮影ガイドＧのサイズと位置は、撮影画像Ｐ内の任意の計数対象物Ｅに対して合わせられる。ステップＳ２〜Ｓ５の工程は、「画像撮影支援工程」である。なお、外径の小さい計数対象物Ｅに撮影ガイドＧのサイズを合わせた場合を図６（ｂ）に例示する。
In addition, when the size of the photographing guide G is small (“No” in Step S3), the user presses the enlarge button 62 (Step S5). As a result, the image shooting support unit 25a increases the size of the shooting guide G. The degree of enlargement is not particularly limited. For example, the enlargement is about 1.1 times by pressing the enlargement button 62 once. Then, the user confirms again whether or not the size of the photographing guide G and the counting target object E match (step S2).
The size and position of the photographing guide G are adjusted to an arbitrary counting object E in the photographed image P by the operations in steps S2 to S5. Steps S2 to S5 are “image shooting support steps”. In addition, the case where the size of the imaging | photography guide G is match | combined with the count object E with a small outer diameter is illustrated in FIG.6 (b).
そして、撮影ガイドＧと計数対象物Ｅとのサイズが合った時点で（ステップＳ２で“Ｙｅｓ”）、ユーザは、撮影ボタン６１を押下する（ステップＳ６）。これにより、画像撮影支援部２５ａは、撮影ボタン６１を押下された時点の撮影画像を記憶部２４に保存する。また、画像撮影支援部２５ａは、撮影時の撮影ガイドＧのサイズ（例えば、外径）を記憶部２４に保存する。 Then, when the size of the shooting guide G matches the size of the counting object E (“Yes” in step S2), the user presses the shooting button 61 (step S6). As a result, the image capturing support unit 25 a stores the captured image at the time when the capturing button 61 is pressed in the storage unit 24. Further, the image photographing support unit 25 a stores the size (for example, the outer diameter) of the photographing guide G at the time of photographing in the storage unit 24.
続いて、撮影した撮影画像Ｐに同じ外径の計数対象物ＥS（図６（ｂ）参照）の束が隣接して写っている場合（ステップＳ７で“Ｙｅｓ”）に、ユーザは、計数対象物Ｅの周辺をなぞって、計数を行う計数対象物Ｅが写っている領域７０（図６（ｃ）参照）を抽出する（ステップＳ８）。この操作は、複数束の計数対象物Ｅが同一空間に隣接して保管されている場合を想定したものであり、例えば、図示しないメニュー画面から撮影画像Ｐの編集モードにモードを切り替えて行われる。これにより、撮影画像編集部２５ｂは、撮影画像Ｐから抽出された領域７０を新たな撮影画像Ｐとして記憶部２４内に保存する。なお、隣接して写っていない場合（ステップＳ７で“Ｎｏ”）に、ユーザは、領域７０の抽出を行わなくてよい。ステップＳ８の工程は、「撮影画像編集工程」である。 Subsequently, when a bundle of counting objects E S (see FIG. 6B) having the same outer diameter appears adjacent to the captured image P (“Yes” in step S7), the user counts By tracing the periphery of the object E, the area 70 (see FIG. 6C) where the counting object E to be counted is shown is extracted (step S8). This operation assumes a case where a plurality of bundles of counting objects E are stored adjacent to each other in the same space. For example, the operation is performed by switching the mode from the menu screen (not shown) to the editing mode of the captured image P. . Thereby, the captured image editing unit 25b stores the area 70 extracted from the captured image P in the storage unit 24 as a new captured image P. In addition, when it does not appear adjacently ("No" in step S7), the user does not have to extract the region 70. The process of step S8 is a “photographed image editing process”.
続いて、ユーザは、送信ボタン７１（図６（ｃ）参照）を押下する（ステップＳ９）。これにより、撮影画像送信部２５ｃは、記憶部２４に保存された撮影画像Ｐおよび撮影ガイドＧのサイズ（例えば、外径）を計数装置３に対して送信する（ステップＳ１０）。
次に、計数装置３は、撮影画像Ｐから計数対象物Ｅの本数を計数する計数処理を行う（ステップＳ１１）。なお、ステップＳ１１の計数処理の詳細は後述するが、撮影ガイドＧのサイズおよび位置に基づいて撮影画像Ｐから形状モデルを生成し、生成した形状モデルを用いてマッチング処理を行う。ステップＳ１１の工程は、「計数処理工程」である。
Subsequently, the user presses the transmission button 71 (see FIG. 6C) (step S9). Thereby, the captured image transmission unit 25c transmits the size (for example, the outer diameter) of the captured image P and the imaging guide G stored in the storage unit 24 to the counting device 3 (step S10).
Next, the counting device 3 performs a counting process of counting the number of counting objects E from the captured image P (step S11). Although details of the counting process in step S11 will be described later, a shape model is generated from the captured image P based on the size and position of the shooting guide G, and matching processing is performed using the generated shape model. The process of step S11 is a “counting process process”.
次に、計数装置３のマッチング結果画像送信部３３ｆは、計数結果本数およびマッチング結果画像Ｑをユーザ端末２に対して送信し、ユーザ端末２のマッチング結果画像受信部２５ｄはこれらの情報を受信する（ステップＳ１２）。そして、マッチング結果編集部２５ｅは、受信したマッチング結果画像Ｑを結果表示画面８０として入出力部２１に表示する（図７参照）。なお、図７に示す結果表示画面８０は、ステップＳ８で計数対象物Ｅの領域７０（図６（ｃ）参照）を抽出していない場合を示している。 Next, the matching result image transmitting unit 33f of the counting device 3 transmits the number of counting results and the matching result image Q to the user terminal 2, and the matching result image receiving unit 25d of the user terminal 2 receives these pieces of information. (Step S12). Then, the matching result editing unit 25e displays the received matching result image Q on the input / output unit 21 as a result display screen 80 (see FIG. 7). The result display screen 80 shown in FIG. 7 shows a case where the area 70 (see FIG. 6C) of the counting object E is not extracted in step S8.
図７に示すように、結果表示画面８０では、形状モデルとの適合具合に基づいて、計数対象物Ｅを判別可能に分けて表示されている。ここでは、適合具合の高い計数対象物Ｅを白抜きした領域Ｍｎで表示しており、適合具合が中くらいの計数対象物Ｅを斜線の領域Ｍｍで表示しており、適合度が低い計数対象物Ｅを黒色の領域Ｍｌで表示している。
なお、適合具体に基づいて計数対象物Ｅを色分けするようにしてもよい。この場合、色分けすることでより見やすいので好適である。例えば、適合具合が高い計数対象物Ｅの端面を青色で塗りつぶし、適合具合が中くらいの計数対象物Ｅの端面を黄色で塗りつぶし、適合具合が低い計数対象物Ｅの端面を赤色で塗りつぶしてもよい。
As shown in FIG. 7, on the result display screen 80, the counting object E is displayed so as to be discriminable based on the degree of conformity with the shape model. Here, the counting object E having a high degree of conformity is displayed in a white area Mn, and the counting object E having a medium degree of conformity is displayed in a hatched area Mm. The object E is indicated by a black area Ml.
The counting object E may be color-coded based on the matching details. In this case, it is preferable because the colors are easier to see. For example, the end surface of the counting object E having a high degree of matching is painted in blue, the end surface of the counting object E having a medium level of matching is painted in yellow, and the end surface of the counting object E having a low degree of matching is painted in red Good.
また、結果表示画面８０の左上部には、計数結果本数を表示する領域８１が表示されている。この領域８１に表示される計数結果本数は、適合具合の高い計数対象物Ｅ、適合具合の中くらいの計数対象物Ｅ、適合具合の低い計数対象物Ｅの合計本数である。
また、結果表示画面８０の右上部には、確定ボタン８２が表示されている。この確定ボタン８２は、ユーザに操作されるものであって、ユーザに押下されることにより押下時の領域８１に表示される計数結果本数を、撮影した計数対象物Ｅの正式な計数結果として確定する。一方、領域８１に表示される計数結果本数に誤りがある場合に、ユーザは、計数結果の内容を修正する。ユーザは、例えば、図示しないメニュー画面から計数結果の編集モードにモードを切り替えて計数結果の内容を編集する。
An area 81 for displaying the number of counting results is displayed on the upper left portion of the result display screen 80. The number of counting results displayed in this area 81 is the total number of counting objects E with a high degree of matching, counting objects E with a medium level of matching, and counting objects E with a low degree of matching.
A confirmation button 82 is displayed in the upper right part of the result display screen 80. This confirmation button 82 is operated by the user, and when the user presses the confirmation button 82, the count result number displayed in the area 81 at the time of pressing is determined as the official counting result of the counted counting object E. To do. On the other hand, when there is an error in the number of count results displayed in the area 81, the user corrects the content of the count results. For example, the user switches the mode from a menu screen (not shown) to a count result editing mode and edits the content of the count result.
計数結果に誤検出がある場合について、図５および図８（ａ）を参照して説明する。ここでの誤検出とは、計数を行ってはいけない物体（例えば、隣接する計数対象物ＥS（図６（ｂ）参照）やそもそも計数対象物Ｅでない物体）を計数した場合である。ユーザは、結果表示画面８０を見て誤検出がある場合に（ステップＳ１３で“Ｙｅｓ”）、図８（ａ）に示す削除ボタン８３を押す（ステップＳ１４）。続けて、ユーザは、誤検出されている領域を指でタップまたはなでることで結果表示画面８０から計数対象物Ｅの適合具合を示す情報（例えば、領域Ｍｌ，Ｍｍ，Ｍｎ）を削除する（ステップＳ１５）。これにより、領域８１に表示される計数結果本数は削除された分だけ減少する。 A case where there is an erroneous detection in the counting result will be described with reference to FIG. 5 and FIG. The erroneous detection here is a case where an object that should not be counted (for example, an adjacent counting object E S (see FIG. 6B) or an object that is not the counting object E in the first place) is counted. When there is a false detection by looking at the result display screen 80 (“Yes” in step S13), the user presses the delete button 83 shown in FIG. 8A (step S14). Subsequently, the user deletes information (for example, regions Ml, Mm, Mn) indicating the suitability of the counting object E from the result display screen 80 by tapping or stroking the erroneously detected region with a finger (step S1). S15). As a result, the number of counting results displayed in the area 81 is reduced by the amount deleted.
計数結果に未検出がある場合について、図５および図８（ｂ）を参照して説明する。ここでの未検出とは、計数を行うべき物体（ここでは、計数対象物Ｅ）を計数していない場合である。ユーザは、結果表示画面８０を見て未検出がある場合に（ステップＳ１６で“Ｙｅｓ”）、図８（ｂ）に示す追加ボタン８４を押す（ステップＳ１７）。続いて、ユーザは、未検出の計数対象物Ｅを指でタップすることで結果表示画面８０に適合を示す情報（図示せず）を追加する（ステップＳ１８）。これにより、領域８１に表示される計数結果本数は追加された分だけ増加する。 A case where the count result is not detected will be described with reference to FIGS. 5 and 8B. Here, “undetected” refers to the case where the object to be counted (here, the counting object E) is not counted. When there is no detection in the result display screen 80 (“Yes” in step S16), the user presses the add button 84 shown in FIG. 8B (step S17). Subsequently, the user adds information (not shown) indicating conformity to the result display screen 80 by tapping the undetected counting object E with a finger (step S18). As a result, the number of counting results displayed in the area 81 increases by the added amount.
計数結果を確認しにくい場合について、図５および図８（ａ）〜（ｃ）を参照して説明する。ユーザは、結果表示画面８０を見て確認しにくい場所がある場合に（ステップＳ１９で“Ｙｅｓ”）、図８（ａ）や図８（ｂ）に示す切替ボタン８５を押す（ステップＳ２０）。これにより、図８（ｃ）に示すように、撮影画像Ｐを表示する画面に切り替わる。そして、図８（ｃ）に示す切替ボタン８５を再度押すことにより、図８（ａ）や図８（ｂ）に示す結果表示画面８０に切り替わる。このようにして、ユーザは、マッチング結果画像Ｑと撮影画像Ｐとを入出力部２１に交互に表示させて計数結果の確認を行うことも可能である（ステップＳ２１）。なお、ステップＳ１３〜Ｓ２１の工程は、「マッチング結果編集工程」である。 The case where it is difficult to confirm the counting result will be described with reference to FIGS. 5 and 8A to 8C. When there is a place where it is difficult to confirm by looking at the result display screen 80 (“Yes” in step S19), the user presses the switching button 85 shown in FIGS. 8A and 8B (step S20). Thereby, as shown in FIG.8 (c), it switches to the screen which displays the picked-up image P. FIG. Then, by pressing the switching button 85 shown in FIG. 8C again, the result display screen 80 shown in FIGS. 8A and 8B is displayed. In this way, the user can check the counting result by alternately displaying the matching result image Q and the captured image P on the input / output unit 21 (step S21). Note that the process of steps S13 to S21 is a “matching result editing process”.
そして、ユーザは、計数結果が合っている場合（ステップＳ２２で“Ｙｅｓ”）に確定ボタン８２を押す（ステップＳ２３）。一方、計数結果が合っていない場合（ステップＳ２２で“Ｎｏ”）に、誤検出や未検出の確認を再度行う。 Then, when the counting result is correct (“Yes” in step S22), the user presses the confirmation button 82 (step S23). On the other hand, when the counting result does not match (“No” in step S22), the erroneous detection or the non-detection is confirmed again.
＜計数処理＞
図９を参照して、図４のステップＳ１１に示す計数処理について説明する。
最初に、図３に示す計数装置３の形状モデル生成部３３ｃは、形状モデルマッチング用画像の取得処理を行う（ステップＳ３１）。ステップＳ３１の詳細は後述するが、形状モデル生成部３３ｃは、マッチング用画像Ｐｄ（図１１参照）を撮影画像Ｐから取得する。続いて、形状モデル生成部３３ｃは、ステップＳ３１で取得したマッチング用画像Ｐｄを基にして、形状モデル（第一の形状モデル）を生成する（ステップＳ３２）。なお、形状モデルの生成方法は特に限定されず、種々の方法を用いることができる。
<Counting process>
With reference to FIG. 9, the counting process shown in step S11 of FIG. 4 will be described.
First, the shape model generation unit 33c of the counting device 3 shown in FIG. 3 performs a shape model matching image acquisition process (step S31). Although the details of step S31 will be described later, the shape model generation unit 33c acquires the matching image Pd (see FIG. 11) from the captured image P. Subsequently, the shape model generation unit 33c generates a shape model (first shape model) based on the matching image Pd acquired in step S31 (step S32). Note that the method for generating the shape model is not particularly limited, and various methods can be used.
続いて、計数装置３のマッチング処理部３３ｄは、ステップＳ３２で生成した形状モデルを用いて、撮影画像Ｐに対して形状モデルマッチングを行う（ステップＳ３３）。また、マッチング結果画像作成部３３ｅは、マッチング結果に基づいて、マッチング結果画像Ｑを作成する（ステップＳ３４）。そして、マッチング結果画像送信部３３ｆは、計数結果本数およびマッチング結果画像Ｑをユーザ端末２に対して送信する（ステップＳ３５）。 Subsequently, the matching processing unit 33d of the counting device 3 performs shape model matching on the captured image P using the shape model generated in step S32 (step S33). The matching result image creation unit 33e creates a matching result image Q based on the matching result (step S34). Then, the matching result image transmission unit 33f transmits the count result number and the matching result image Q to the user terminal 2 (step S35).
＜形状モデルマッチング用画像の取得処理＞
図１０および図１１を参照して、図９に示すステップＳ３１の処理について説明する。前記説明した通り、ユーザは手動で撮影ガイドＧに計数対象物Ｅを合わせて撮影を行うので、撮影ガイドＧと計数対象物Ｅとの位置がずれたり、サイズが合っていなかったりする場合も想定される。撮影ガイドＧと計数対象物Ｅとの位置がずれたり、サイズが異なるままの状態で撮影ガイドＧを基準として画像を取得し、取得した画像から形状モデルを生成した場合、その形状モデルを用いたマッチング処理で正確な解析を行えない虞がある。その為、ここでは、形状モデルを生成する基になる画像を取得するための正確な位置、およびサイズを特定し、特定した情報に基づいて形状モデルを生成する基になる画像を取得する。これにより、図９のステップＳ３２において、最適な形状モデルを生成することが可能になる。
<Acquisition processing of shape model matching image>
With reference to FIG. 10 and FIG. 11, the process of step S31 shown in FIG. 9 will be described. As described above, since the user manually shoots the counting object E with the shooting guide G, it is assumed that the positions of the shooting guide G and the counting object E may be misaligned or the size may not match. Is done. When an image is acquired based on the shooting guide G in a state where the positions of the shooting guide G and the counting object E are shifted or different in size, and a shape model is generated from the acquired image, the shape model is used. There is a possibility that accurate analysis cannot be performed by the matching process. Therefore, here, an accurate position and size for acquiring an image serving as a basis for generating a shape model is specified, and an image serving as a basis for generating a shape model is acquired based on the specified information. As a result, an optimal shape model can be generated in step S32 of FIG.
最初に、計数装置３の形状モデル生成部３３ｃ（図３参照）は、撮影画像Ｐの中心部画像Ｐｃ（図１１（ａ）参照）を抽出する（ステップＳ４１）。ステップＳ４１で抽出する中心部画像Ｐｃの範囲は、図１１（ａ）に示すように、撮影ガイドＧの周辺を含んだものである。抽出する中心部画像Ｐｃの範囲は、具体的には、撮影時における撮影ガイドＧとマッチング処理の基準となる計数対象物Ｅとの位置ずれが予測される最大量よりも大きく、基準となる計数対象物Ｅに隣接する計数対象物Ｅの全体が写らない程度であるのがよい。 First, the shape model generation unit 33c (see FIG. 3) of the counting device 3 extracts the center image Pc (see FIG. 11A) of the captured image P (step S41). The range of the central image Pc extracted in step S41 includes the periphery of the photographing guide G as shown in FIG. Specifically, the range of the central image Pc to be extracted is larger than the maximum amount that the positional deviation between the photographing guide G and the counting object E that is the reference of the matching process at the time of photographing is predicted, and the reference count. It is preferable that the entire counting object E adjacent to the object E is not captured.
続いて、形状モデル生成部３３ｃは、ループ処理のための変数に種々の情報を入力し（ステップＳ４２）、半径が異なる複数の形状モデルＦ1〜Ｆ5（図１１（ａ）参照）を用いてステップＳ４４〜Ｓ４７の処理を繰り返し行う（ステップＳ４３）。
形状モデルＦ1〜Ｆ2は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径よりも小さい。形状モデルＦ1〜Ｆ2は、「第三の形状モデル」である。
形状モデルＦ3は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径と同じである。形状モデルＦ3は、「第二の形状モデル」である。
形状モデルＦ4〜Ｆ5は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径よりも大きい。形状モデルＦ4〜Ｆ5は、「第三の形状モデル」である。
Subsequently, the shape model generation unit 33c inputs various information as variables for loop processing (step S42), and uses a plurality of shape models F 1 to F 5 (see FIG. 11A) having different radii. Steps S44 to S47 are repeated (Step S43).
The shape models F 1 to F 2 have a circular shape corresponding to the end surface of the counting object E, and the diameter is smaller than the outer diameter of the photographing guide G. The shape models F 1 to F 2 are “third shape models”.
The shape model F 3 has a circular shape corresponding to the end surface of the counting object E, and the diameter is the same as the outer diameter of the photographing guide G. The shape model F 3 is a “second shape model”.
The shape models F 4 to F 5 have a circular shape corresponding to the end face of the counting object E, and the diameter is larger than the outer diameter of the photographing guide G. The shape models F 4 to F 5 are “third shape models”.
形状モデル生成部３３ｃ（図３参照）は、半径ｒに半径比率Ｒ(i)を掛けて、形状モデルＦを生成する（ステップＳ４４）。例えば、一回目のループ処理では半径比率「０．８」として撮影ガイドＧよりも二回り小さい形状モデルＦ1を作成する。二回目のループ処理では半径比率「０．９」として撮影ガイドＧよりも一回り小さい形状モデルＦ2を作成する。三回目のループ処理では半径比率「１．０」として撮影ガイドＧと同じ大きさの形状モデルＦ3を作成する。四回目のループ処理では半径比率「１．１」として撮影ガイドＧよりも一回り大きい形状モデルＦ4を作成する。五回目のループ処理では半径比率「１．２」として撮影ガイドＧよりも二回り大きい形状モデルＦ5を作成する。 The shape model generation unit 33c (see FIG. 3) generates a shape model F by multiplying the radius r by the radius ratio R (i) (step S44). For example, in the first loop processing, a shape model F 1 that is twice smaller than the photographing guide G is created with a radius ratio of “0.8”. In the second loop processing, a shape model F 2 that is slightly smaller than the photographing guide G is created with a radius ratio of “0.9”. In the third loop processing, a shape model F 3 having the same size as the photographing guide G is created with a radius ratio “1.0”. In the fourth loop process, a shape model F 4 that is slightly larger than the photographing guide G is created with a radius ratio of “1.1”. In the fifth loop processing, a shape model F 5 that is twice larger than the photographing guide G is created with a radius ratio of “1.2”.
続いて、形状モデル生成部３３ｃは、ステップＳ４４で生成した形状モデルＦ1〜Ｆ5を用いて、ステップＳ４１で抽出した中心部画像Ｐｃに対して形状モデルマッチング処理を行い、マッチングスコアを算出する（ステップＳ４５）。ステップＳ４５のマッチング処理は、「第二のマッチング処理」，「第三のマッチング処理」である。
次に、形状モデル生成部３３ｃは、算出したマッチングスコアが他の形状モデルＦのマッチングスコアに比べて高いか否かを判定する（ステップＳ４６）。算出したマッチングスコアが高い場合（ステップＳ４６で“Ｙｅｓ”）に、算出したマッチングスコア、マッチング座標、形状モデルＦの半径などの情報を変数として更新する（ステップＳ４７）。マッチング座標は、例えば、形状モデルＦの形状とマッチした領域の中心位置である。
Subsequently, the shape model generation unit 33c performs shape model matching processing on the central image Pc extracted in step S41 using the shape models F 1 to F 5 generated in step S44, and calculates a matching score. (Step S45). The matching process in step S45 is a “second matching process” and a “third matching process”.
Next, the shape model generation unit 33c determines whether or not the calculated matching score is higher than the matching scores of other shape models F (step S46). When the calculated matching score is high (“Yes” in step S46), information such as the calculated matching score, matching coordinates, and radius of the shape model F is updated as a variable (step S47). The matching coordinates are, for example, the center position of the region that matches the shape of the shape model F.
各形状モデルＦ1〜Ｆ5でのステップＳ４４〜Ｓ４７の処理が終了した場合に、ループ処理を抜ける。そして、形状モデル生成部３３ｃは、変数に格納される中心位置、および半径（マッチングスコアが最も高い形状モデルＦのマッチング座標および半径）でマッチング用画像Ｐｄ（図１１参照）を中心部画像Ｐｃから抽出する（ステップＳ４８）。 When the processing of steps S44 to S47 in each of the shape models F 1 to F 5 is completed, the loop processing is exited. Then, the shape model generation unit 33c extracts the matching image Pd (see FIG. 11) from the center image Pc with the center position and radius stored in the variables (matching coordinates and radius of the shape model F having the highest matching score). Extract (step S48).
撮影ガイドＧと計数対象物Ｅとの位置がずれた状態や、撮影ガイドＧと計数対象物Ｅとのサイズが合っていない状態で撮影が行われた場合の処理を具体的に説明する。例えば、撮影ガイドＧを合わせた計数対象物Ｅが中心部画像Ｐｃの中心よりも左下に位置すると共に、撮影ガイドＧに対して計数対象物Ｅのサイズが一回りだけ大きい場合を想定する（図１２（ａ）参照）。
この場合、形状モデルＦの中心位置が中心部画像Ｐｃの中心にある場合のマッチングスコアは、計数対象物Ｅと形状モデルＦとの位置が一致しないために低くなる。一方、形状モデルＦの中心位置が中心部画像Ｐｃの中心に対して左下にある場合のマッチングスコアは、計数対象物Ｅと形状モデルＦとの位置が一致するために高くなる。
また、直径が撮影ガイドＧの外径と同じ形状モデルＦ3のマッチングスコアは、計数対象物Ｅとサイズが一致しないために低くなる。一方、直径が撮影ガイドＧの外径よりも一回り大きい形状モデルＦ4のマッチングスコアは、計数対象物Ｅとサイズが一致するために高くなる。
図１２（ａ）において、マッチングスコアが最も高い状態（形状モデルＦの位置およびサイズ）を図１２（ｂ）に示す。なお、ここでは、撮影ガイドＧと計数対象物Ｅとの位置およびサイズの調整を行うことを説明したが、一方のみを行ってもよい。つまり、撮影ガイドＧと計数対象物Ｅとの位置およびサイズの何れか一方の調整を行ってもよい。
A process in a case where shooting is performed in a state where the positions of the shooting guide G and the counting object E are shifted or the shooting guide G and the counting object E do not match each other will be specifically described. For example, it is assumed that the counting object E combined with the photographing guide G is located on the lower left side with respect to the center of the center image Pc, and the size of the counting object E is one size larger than the photographing guide G (FIG. 12 (a)).
In this case, the matching score when the center position of the shape model F is at the center of the center image Pc is low because the positions of the counting object E and the shape model F do not match. On the other hand, the matching score when the center position of the shape model F is at the lower left with respect to the center of the center image Pc is high because the positions of the counting object E and the shape model F match.
Further, the matching score of the shape model F 3 having the same diameter as the outer diameter of the photographing guide G is low because the size does not match the counting object E. On the other hand, the matching score of the shape model F 4 whose diameter is slightly larger than the outer diameter of the photographing guide G becomes higher because the size matches the counting object E.
FIG. 12B shows a state (position and size of the shape model F) having the highest matching score in FIG. Here, the adjustment of the position and size of the photographing guide G and the counting object E has been described, but only one of them may be performed. That is, any one of the positions and sizes of the photographing guide G and the counting object E may be adjusted.
以上のように、本実施形態に係る計数方法は、撮影時に撮影ガイドＧのサイズを計数対象物Ｅに合わせることで、計数対象物Ｅの撮影画像Ｐにおける大きさを特定することが可能である。そして、撮影時の撮影ガイドＧのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物Ｅまでの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像Ｐに対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物Ｅまでの距離や計数対象物Ｅ自体の大きさに関わらず、計数対象物Ｅの数を計数することができる。 As described above, the counting method according to the present embodiment can identify the size of the counting object E in the captured image P by matching the size of the shooting guide G with the counting object E during shooting. . Then, by generating a shape model based on the size of the shooting guide G at the time of shooting, this shape model takes into account the distance to the counting object E and the size of the counting object itself. Therefore, by performing the matching process using the shape model generated for the photographed image P, the number of the counting objects E can be calculated regardless of the distance to the counting object E and the size of the counting object E itself. Can be counted.
また、本実施形態に係る計数方法は、撮影ガイドＧが表示される中心部画像Ｐｃを抽出し、撮影ガイドＧとサイズが同じまたは異なる複数の形状モデルＦ1〜Ｆ5を用いて抽出した中心部画像Ｐｃに対してマッチング処理を行う。
これにより、撮影時に撮影ガイドＧの位置やサイズを計数対象物Ｅに正確に合わせなくても、撮影画像Ｐに対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。
In addition, the counting method according to the present embodiment extracts the center image Pc on which the photographing guide G is displayed, and extracts the center using a plurality of shape models F 1 to F 5 having the same size or different sizes from the photographing guide G. A matching process is performed on the partial image Pc.
This makes it possible to generate an optimal shape model for performing matching processing on the captured image P without accurately matching the position and size of the shooting guide G with the counting object E during shooting.
［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
[Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning of a claim. The modification of embodiment is shown below.
本実施形態では、図６に示すように、撮影ガイドＧを画面中央に表示していた。しかしながら、撮影ガイドＧを表示する位置は画面中央に限定されず、撮影ガイドＧをユーザの操作によって画面上を自由に移動できるようにしてもよい。 In the present embodiment, as shown in FIG. 6, the photographing guide G is displayed at the center of the screen. However, the position where the shooting guide G is displayed is not limited to the center of the screen, and the shooting guide G may be freely moved on the screen by a user operation.
また、本実施形態では、撮影ガイドＧの形状を計数対象物Ｅの端面の形状に合わせてリング状としていた。しかしながら、撮影ガイドＧの形状はこれに限定されるものではなく、計数対象物Ｅの形状に合わせる必要もない。すなわち、撮影ガイドＧは、計数対象物Ｅの撮影画像Ｐにおける大きさを特定できるものであればよく、種々の形状を適用することができる。撮影ガイドＧは、例えば、円形以外の環状であってよい。なお、撮影ガイドＧは、計数対象物Ｅを包含できる形状であるのが好適である。また、撮影ガイドＧの形状をユーザが選択できるようにしてもよい。 Further, in the present embodiment, the shape of the photographing guide G is a ring shape in accordance with the shape of the end face of the counting object E. However, the shape of the photographing guide G is not limited to this, and it is not necessary to match the shape of the counting object E. That is, the photographing guide G may be any one that can specify the size of the counting object E in the photographed image P, and various shapes can be applied. The photographing guide G may be, for example, a ring other than a circle. Note that the photographing guide G is preferably in a shape that can include the counting object E. Further, the user may be able to select the shape of the photographing guide G.
また、本実施形態では、計数対象物Ｅとして棒鋼を想定していた。しかしながら、計数対象物Ｅの形状はこれに限定されるものではない。すなわち、計数対象物Ｅは、特定方向から見た場合の形状が同様になるものであればよく、例えば、鋼管、Ｈ鋼、Ｌ鋼などの棒鋼以外の長尺物や平面を有する粒状物であってよい。 In the present embodiment, a steel bar is assumed as the counting object E. However, the shape of the counting object E is not limited to this. That is, the counting object E may be any shape that has the same shape when viewed from a specific direction, and is, for example, a long object other than a steel bar such as a steel pipe, H steel, or L steel, or a granular material having a flat surface. It may be.
また、本実施形態では、図１１に示すように、形状モデル（第二，第三の形状モデル）Ｆ1〜Ｆ5を棒鋼の端面の形状に合わせて円形にしていた。しかしながら、形状モデル（第二，第三の形状モデル）の形状はこれに限定されるものではなく、計数を行う計数対象物Ｅの形状に合わせて決定される。形状モデル（第二，第三の形状モデル）は、例えば、図１３に示すように、星形の形状モデルＪ1〜Ｊ5、リング形の形状モデルＫ1〜Ｋ5、Ｈ字形の形状モデルＹ1〜Ｙ5、Ｌ字形の形状モデルＷ1〜Ｗ5などであってもよい。リング形の形状モデルＫおよびＨ字形の形状モデルＹを用いる場合、これらの形状を内包する四角環状の撮影ガイドＧを用いるのが好適である。 Further, in the present embodiment, as shown in FIG. 11, the shape models (second and third shape models) F 1 to F 5 are circular according to the shape of the end face of the steel bar. However, the shape of the shape model (second and third shape models) is not limited to this, and is determined according to the shape of the counting object E to be counted. The shape models (second and third shape models) are, for example, as shown in FIG. 13, a star shape model J 1 to J 5 , a ring shape model K 1 to K 5 , and an H shape model. Y 1 to Y 5 , L-shaped shape models W 1 to W 5, and the like may be used. When the ring-shaped shape model K and the H-shaped shape model Y are used, it is preferable to use a rectangular annular photographing guide G that includes these shapes.
また、本実施形態では、一つの計数対象物Ｅから第一の形状モデルを生成していた。しかしながら、複数の計数対象物Ｅを用いて第一の形状モデルを生成してもよい。例えば、撮影ガイドＧの位置を変更して複数の撮影画像Ｐを撮影し、各々の撮影画像Ｐから抽出した画像を用いて第一の形状モデルを生成するようにしてもよい。 In the present embodiment, the first shape model is generated from one counting object E. However, the first shape model may be generated using a plurality of counting objects E. For example, a plurality of captured images P may be captured by changing the position of the capturing guide G, and the first shape model may be generated using images extracted from the captured images P.
また、本実施形態で説明した画面はあくまで一例であって、各種ボタンの配置も本実施形態で説明したものに限定されるものではない。例えば、実施形態では横長の画面を例に挙げて説明していたが、縦長の画面であってもよい。また、各種ボタンの配置をユーザに合わせて変更できるようにしてもよい。 The screen described in this embodiment is merely an example, and the arrangement of various buttons is not limited to that described in this embodiment. For example, in the embodiment, a horizontally long screen has been described as an example, but a vertically long screen may be used. Further, the arrangement of various buttons may be changed according to the user.
また、本実施形態で説明した種々の技術を適宜組み合わせた技術を実現することもできる。また、本実施形態で説明したソフトウェア構成をハードウェアとして実現することもできる。その他、ハードウェア、ソフトウェア等の具体的な構成について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
例えば、本実施形態では、クライアントサーバシステムを想定してユーザ端末２と、計数装置３とを別々の装置としていたが、ユーザ端末２と計数装置３とを一つの装置（計数装置）とすることもできる。
また、例えば、工場のライン上を搬送される一束の計数対象物Ｅの数を計数するようにしてもよい。その場合、ユーザの撮影操作によらずにセンサなどの位置検出によって自動で計数対象物Ｅを撮影するのがよく、撮影ガイドＧのサイズは計数対象物Ｅまでの距離や計数対象物Ｅ自体のサイズにより予め設定しておくようにする。
In addition, it is possible to realize a technique in which various techniques described in this embodiment are appropriately combined. In addition, the software configuration described in the present embodiment can be realized as hardware. In addition, specific configurations of hardware, software, and the like can be changed as appropriate without departing from the spirit of the present invention.
For example, in the present embodiment, the user terminal 2 and the counting device 3 are separate devices assuming a client server system. However, the user terminal 2 and the counting device 3 are configured as one device (counting device). You can also.
Further, for example, the number of a bundle of counting objects E conveyed on a factory line may be counted. In that case, it is preferable to automatically photograph the counting object E by detecting the position of a sensor or the like without depending on the user's photographing operation, and the size of the photographing guide G depends on the distance to the counting object E and the counting object E itself. Set in advance according to the size.
１ 計数システム
２ ユーザ端末
３ 計数装置
２１ 入出力部（表示部）
２２ 撮影部
２３ 通信部
２５ａ 画像撮影支援部
２５ｂ 撮影画像編集部
２５ｃ 撮影画像送信部
２５ｄ マッチング結果画像受信部
２５ｅ マッチング結果編集部
２５ｆ 画像切替処理部
３１ 通信部
３３ａ 撮影画像受信部
３３ｂ 計数処理部
３３ｃ 形状モデル生成部
３３ｄ マッチング処理部
３３ｅ マッチング結果画像作成部
３３ｆ マッチング結果画像送信部
Ｅ 計数対象物
Ｇ 撮影ガイド
DESCRIPTION OF SYMBOLS 1 Counting system 2 User terminal 3 Counting device 21 Input / output part (display part)
22 shooting unit 23 communication unit 25a image shooting support unit 25b shot image editing unit 25c shot image transmission unit 25d matching result image receiving unit 25e matching result editing unit 25f image switching processing unit 31 communication unit 33a shooting image receiving unit 33b counting processing unit 33c Shape model generation unit 33d Matching processing unit 33e Matching result image creation unit 33f Matching result image transmission unit E Count object G Imaging guide
Claims (6)
撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、
前記撮影画像に写し出された前記計数対象物の数を計数する計数処理工程と、を有し、
前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドを撮影画像に重ねて表示部に表示させ、
前記計数処理工程は、撮影時の前記撮影ガイドのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う、
ことを特徴とする計数方法。 A counting method for counting the number of counting objects from a photographed image obtained by photographing a collection of counting objects,
An image shooting support process for supporting shooting of the shot image using a shooting section;
A counting process step of counting the number of the counting objects projected on the captured image,
In the image photographing support process, a photographing guide whose size can be changed by a user operation is displayed on the display unit so as to overlap the photographed image,
The counting processing step generates a first shape model from the photographed image based on the size and position of the photographing guide at the time of photographing, and uses the generated first shape model to generate a first shape model. One matching process,
The counting method characterized by the above-mentioned.
ことを特徴とする請求項１に記載の計数方法。 A photographed image editing step for specifying a range for performing the first matching process from the photographed image;
The counting method according to claim 1, wherein:
前記撮影時の撮影ガイドのサイズに基づく第二の形状モデルを用いて前記撮影画像の一部の範囲に対して第二のマッチング処理を行い、前記第二のマッチング処理の結果に基づき前記第一の形状モデルを生成する位置を特定する、
ことを特徴とする請求項１または請求項２に記載の計数方法。 The counting process step includes:
A second matching process is performed on a partial range of the captured image using a second shape model based on the size of the shooting guide at the time of shooting, and the first matching process is performed based on a result of the second matching process. Specify the position to generate the shape model of
The counting method according to claim 1 or 2, wherein
前記撮影時の撮影ガイドのサイズとは異なる大きさの第三の形状モデルを用いて前記撮影画像の一部の範囲に対して第三のマッチング処理を行い、前記第三のマッチング処理の結果に基づき前記第一の形状モデルを生成するサイズを特定する、
ことを特徴とする請求項１ないし請求項３の何れか一項に記載の計数方法。 The counting process step includes:
A third matching process is performed on a partial range of the captured image using a third shape model having a size different from the size of the shooting guide at the time of shooting, and the result of the third matching process is obtained. Identifying a size to generate the first shape model based on,
The counting method according to any one of claims 1 to 3, characterized in that:
ことを特徴とする請求項１ないし請求項４の何れか一項に記載の計数方法。 A matching result editing step of displaying the result of the first matching process overlaid on the captured image on the display unit and editing the result of the first matching process by a user operation;
The counting method according to any one of claims 1 to 4, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016154068A JP6127188B1 (en) | 2016-08-04 | 2016-08-04 | Counting method and counting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016154068A JP6127188B1 (en) | 2016-08-04 | 2016-08-04 | Counting method and counting device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6127188B1 true JP6127188B1 (en) | 2017-05-10 |
| JP2018022395A JP2018022395A (en) | 2018-02-08 |
Family
ID=58704727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016154068A Active JP6127188B1 (en) | 2016-08-04 | 2016-08-04 | Counting method and counting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6127188B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018106325A (en) * | 2016-12-26 | 2018-07-05 | 新日鐵住金株式会社 | Method for confirming the number of pipes |
| JP2020107008A (en) * | 2018-12-27 | 2020-07-09 | 東洋製罐グループホールディングス株式会社 | Image processing system, and image processing program |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7161522B2 (en) * | 2018-03-29 | 2022-10-26 | 株式会社スカイシーカー | Animal Habitat Survey Method, Animal Habitat Survey System, and Animal Habitat Survey Device |
| JP6703679B1 (en) | 2019-02-01 | 2020-06-03 | 株式会社計数技研 | Counting device, learning device manufacturing device, counting method, learning device manufacturing method, and program |
| JP7406878B2 (en) * | 2019-03-29 | 2023-12-28 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7465152B2 (en) * | 2019-06-05 | 2024-04-10 | Ｊｆｅプラントエンジ株式会社 | Counting device and counting method |
| JP7392973B2 (en) | 2019-11-05 | 2023-12-06 | Ｎｅｃソリューションイノベータ株式会社 | Detection device, detection method, program and recording medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04238592A (en) * | 1991-01-23 | 1992-08-26 | Kobe Steel Ltd | Automatic bundled bar steel tally device |
| JP2012173901A (en) * | 2011-02-21 | 2012-09-10 | Midori Seimitsu:Kk | Method and device for counting number of steel material in bound steel material bundle |
| JP2014219842A (en) * | 2013-05-08 | 2014-11-20 | 新日鐵住金株式会社 | Long object quantity measurement apparatus, long object quantity measurement method, and computer program |
| JP2016081112A (en) * | 2014-10-10 | 2016-05-16 | Ｎｅｃソリューションイノベータ株式会社 | Fish counter, fish counting method, prediction device for number of fish, prediction method for number of fish, fish counter system and prediction system for number of fish |
-
2016
- 2016-08-04 JP JP2016154068A patent/JP6127188B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04238592A (en) * | 1991-01-23 | 1992-08-26 | Kobe Steel Ltd | Automatic bundled bar steel tally device |
| JP2012173901A (en) * | 2011-02-21 | 2012-09-10 | Midori Seimitsu:Kk | Method and device for counting number of steel material in bound steel material bundle |
| JP2014219842A (en) * | 2013-05-08 | 2014-11-20 | 新日鐵住金株式会社 | Long object quantity measurement apparatus, long object quantity measurement method, and computer program |
| JP2016081112A (en) * | 2014-10-10 | 2016-05-16 | Ｎｅｃソリューションイノベータ株式会社 | Fish counter, fish counting method, prediction device for number of fish, prediction method for number of fish, fish counter system and prediction system for number of fish |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018106325A (en) * | 2016-12-26 | 2018-07-05 | 新日鐵住金株式会社 | Method for confirming the number of pipes |
| JP2020107008A (en) * | 2018-12-27 | 2020-07-09 | 東洋製罐グループホールディングス株式会社 | Image processing system, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018022395A (en) | 2018-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6127188B1 (en) | Counting method and counting device | |
| CN105320695B (en) | Picture processing method and device | |
| CN101682696B (en) | Portable terminal, control method for portable terminal | |
| JP6386311B2 (en) | Portable information terminal, information processing method, and program | |
| US9536164B2 (en) | Setting apparatus and setting method | |
| CN108154058A (en) | Graphic code displaying, the band of position determine method and device | |
| CN105827914A (en) | Lens cleaning prompting method and device | |
| CN109215069A (en) | Object information acquisition method and device | |
| JP2017084117A (en) | Display control method, display control program and information processing device | |
| US20160055826A1 (en) | Image display system, terminal, and image display apparatus | |
| US20140149872A1 (en) | Communication connection method, communication connection apparatus, and communication connection program | |
| JP2014206583A (en) | Imaging device, focus adjustment system, focus instruction device, focus adjustment method and program | |
| JP5693022B2 (en) | Display control device, display control system, and control method, program, and storage medium thereof | |
| KR101517829B1 (en) | Book scanning system using smart device | |
| US10013949B2 (en) | Terminal device | |
| JP2016081428A (en) | Information terminal, information processing device, and program | |
| JP5872415B2 (en) | Display terminal, operation reception method, and program | |
| JP2015139006A (en) | Information processing apparatus and program | |
| JP6708384B2 (en) | Output control device, output control method, setting device, setting method, and program | |
| US9185261B2 (en) | Input device and image processing method thereof | |
| JP5972302B2 (en) | Operator terminal, portable terminal, instruction transmission method, program for operator terminal | |
| KR101763938B1 (en) | A method for processing image data based on location information related on view-point and apparatus for the same | |
| JP2016167159A (en) | Information processing apparatus | |
| US11641518B2 (en) | Information processing apparatus and information processing method | |
| KR101525223B1 (en) | System for transferring data, method for transferring data and computer-readable recording medium comprising program for performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170227 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170227 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170410 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6127188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |