JP7318907B2

JP7318907B2 - 単板判定システムおよび単板の判定方法

Info

Publication number: JP7318907B2
Application number: JP2019042135A
Authority: JP
Inventors: 智仁神谷; 諒介神谷; 正裕船瀬; 和久松田; 雄一浜砂
Original assignee: 橋本電機工業株式会社
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2023-08-01
Anticipated expiration: 2039-03-08
Also published as: JP2020144727A

Description

本発明は、単板の欠点をＡＩを用いて分類でき、単板のグレードをＡＩを用いて判定できる単板判定システムおよび単板の判定方法に関する。

従来、単板を撮影し、撮影した画像を解析することによって、カビによる変色、穴、割れ、死節、抜け節等の欠点を抽出し、単板の品質を検査する技術が知られている。例えば、特許文献１には、検査対象の単板を撮影し、撮影したカラー画像の色分布を利用して欠点を検出する技術が記載されている。また、特許文献２には、検査対象の単板を撮影し、画像の円形度に基づいて節を検出し、検出した節周辺の画素数が閾値を超えた場合に死節を検出する技術が記載されている。

特開２００７－１４７４４２特開２００６－３２２７７４

しかし、単板は自然物であるため、節、穴、角欠け、割れ、カビ、腐れ等の多様な欠点を有し、しかも同じ種類の欠点であっても、異なる位置に異なる大きさ、深さで表れる。このような状況において、特許文献１，２の技術によれば、単板の画像から色情報や形状情報を抽出し、これらの情報に基づいて画一的な検査を実施するため、欠点を抽出し損なったり、欠点の種類を誤って判定したりする問題があった。

そこで、本発明の目的は、欠点の抽出精度および欠点の種類の分類精度を上げ、より適切なグレード判定を実施できる単板判定システムおよび単板の判定方法を提供することにある。

上記課題を解決するために、本発明の単板判定システムおよび単板の選別方法は、単板を撮影して画像を生成する撮影装置と、画像に基づいて所定の判定パラメータを用いて単板のグレードを判定するグレード判定装置と、を備え、グレード判定装置は、ＡＩを用いて単板のグレードを判定するＡＩ判定手段と、を含み、ＡＩ判定手段は、画像について局所特徴量を算出し、局所特徴量に基づいて欠点領域を生成する欠点領域生成手段と、欠点領域に表された欠点を所定の教師情報により深層学習を施したＡＩを用いて分類する欠点分類手段と、を含み、欠点領域生成手段は、局所特徴量の強度に応じて局所特徴量に対応する特徴点を関連付け、関連付けられた全ての特徴点を含む欠点領域を生成することを特徴とする。

撮影装置は、カラー画像および濃淡画像を生成する画像生成手段を含み、グレード判定装置は、カラー画像に基づいて単板のグレードを判定するカラー判定手段と、濃淡画像に基づいて単板のグレードを判定する濃淡判定手段と、所定の判定結果に基づいて単板の総合的なグレードを判定する総合判定手段を含むことが好ましい。

このとき、教師情報として、単板の欠点を撮影した画像を採用できる。また、判定パラメータは、単板の原木が属するグループ毎に設定されたパラメータを選択できる。

本発明の単板判定システムおよび単板の判定方法によれば、局所特徴量の強度に応じて局所特徴量に対応する特徴点を関連付け、関連付けられた全ての特徴点を含む欠点領域を生成するため、様々な位置・大きさの欠点を柔軟に無駄なく抽出し、ＡＩ判定手段による欠点の分類精度を高め、単板のグレード判定を適切に実施できるという優れた効果を有する。

本発明の一実施形態を示す単板判定システムの概略図である。図１の単板判定システムのブロック図である。ＡＩ判定部における検査領域の設定例を示す説明図である。ＡＩ判定部における欠点領域の生成について説明する説明図である。ＡＩ判定部における欠点の測定について説明する説明図である。グレード判定の流れを示すフローチャートである。

以下、本発明を、単板判定システムおよび単板の判定方法に具体化した一実施形態を図面に基づいて説明する。

図１に示すように、この実施形態の単板判定システム１は、単板Ｂを撮影してライン画像５１（図３（ａ）参照）を生成するカラーラインセンサ型のカメラ１２と、ライン画像５１に基づいて所定の判定パラメータを用いて単板Ｂのグレードを判定するグレード判定装置１１と、単板Ｂをカメラ１２の撮影位置に移動させる前コンベヤ１４ａと、単板Ｂを撮影位置からグレード別に選別する装置（図示なし）に移動させる後コンベヤ１４ｂと、コンベヤ１４ａ，１４ｂに載置された単板Ｂを検知して検知信号を出力する単板検知器１５と、単板検知器１５の検知結果に基づきコンベヤ１４ａ，１４ｂの搬送量に連動して単板Ｂの同期信号を出力するエンコーダ１６から構成されている。

カメラ１２と、単板Ｂの表面を照明する第１照明１３ａと、単板Ｂの裏面を照明する第２照明１３ｂは撮影装置として機能する。このとき、第１照明１３ａから出射した光は、単板Ｂの表面で反射して反射光として撮影され、第２照明１３ｂから出射した光は、単板Ｂの周囲を透過して透過光として撮影される。また、カメラ１２は単板Ｂの幅方向に複数台が並設されており、これらのカメラ１２が撮影したライン画像５１ａ，５１ｂは、グレード判定装置１１の画像処理部２１において、単板検知器１５の検知信号およびエンコーダ１６の同期信号を用いて一のカラー画像５２に合成される。

図１，２に示すように、グレード判定装置１１は、撮影装置から入力したライン画像５１から単板Ｂ全体を含む一枚のカラー画像５２を生成する画像処理部２１と、ＡＩを用いて単板のグレードを判定するＡＩ判定部２４と、カラー画像５２に基づいてグレードを判定するカラー判定部２２と、濃淡画像５３に基づいてグレードを判定する濃淡判定部２３と、カラー判定部２２および濃淡判定部２３の判定結果に基づいてグレードを判定する複合判定部２５と、判定部２２～２５の判定結果に基づいて単板Ｂの総合的なグレードを判定する総合判定部２６と、総合判定部２６による判定結果を出力する表示部２８と、判定部２２～２６の判定結果を記憶する記憶部２７から構成されている。

ＡＩ判定部２４は、カラー画像５２について欠点領域５５を生成する欠点領域生成部３１と、欠点領域に表された欠点をＡＩを用いて分類する欠点分類部３２を含み、欠点の分類毎に単板Ｂのグレードを判定する。欠点の分類に用いるＡＩは、単板Ｂの欠点を撮影した画像等を教師情報とする深層学習が施されていることが好ましい。

図３に示すように、画像処理部２１は、ライン画像５１からカラー画像５２を生成し、カラー画像５２から濃淡画像５３を生成する。また、そして、カラー画像５２に含まれる反射光と透過光の差分を抽出し、単板Ｂのみが撮影された領域を検査領域５４として抽出する。カラー画像５２全体ではなく、検査領域５４について欠点領域５５の算出を実施することにより、ＡＩ判定部２４内での計算量を低減することができる。

図４（ａ）に示すように、欠点領域生成部３１は、カラー画像５２のうち、検査領域５４について局所特徴量を算出する。局所特徴量は、位置情報（特徴点Ｐ）と、その特徴点Ｐにおけるベクトルおよび強度の情報を備え、検査領域５４上に複数箇所表れる。なお、ここで、図４（ｂ）、図５は、図４（ａ）の検査領域５４に含まれる範囲Ａについての部分拡大図である。

図４（ｂ）に示すように、欠点領域生成部３１は、マーカされた特徴点Ｐを関連付け、関連付けられた全ての特徴点Ｐを含む欠点領域５５を生成する。特徴点Ｐの関連付けは、特徴点Ｐ間の距離および各特徴点Ｐにおける局所特徴量の強さに基づく。具体的には、欠点領域生成部３１は、検査領域５４上の特徴点Ｐ_１～_ｎを中心として、各局所特徴量の強度に応じた大きさの中間領域Ｕ_１～_ｎを生成する。そして、欠点領域生成部３１は、中間領域Ｕ同士が接触した場合または重複した場合（Ｕ_１～_５）に、接触または重複した中間領域Ｕ同士を結合して一の欠点領域５５を生成する（図４（ｂ）の欠点領域５５ａ）。一方、中間領域Ｕ同士が接触しない場合（Ｕ_６）には、中間領域Ｕ同士を結合することなく、欠点領域を生成する（図４（ｂ）の欠点領域５５ｂ）。

つまり、特徴点Ｐ_１～_ｎにおいて、点間距離が短く、これらの特徴点Ｐにおける局所特徴量が強いほど、特徴点Ｐ同士が関連付けられ易くなり、欠点領域５５ａのように大きく生成される。一方、点間距離が長く、これらの特徴点Ｐにおける局所特徴量が小さいほど、特徴点Ｐ同士は関連付けられ難くなり、欠点領域５５ｂのように小さく生成される。一般に、欠点領域５５は、一つの単板Ｂについて複数生成される。また、局所特徴量は、木目に反応し難い性質を有するため、正常な木目は、欠点として抽出され難くなる。

図５（ａ）に示すように、欠点分類部３２は、欠点領域５５を入力し、欠点領域５５に表された欠点をＡＩを用いて分類する。ＡＩは事前に教師情報を用いて深層学習が施され、欠点を抽象化して記憶しているため、欠点領域５５に表れた情報を適切に取捨選択しつつ欠点の分類を実施する。図５（ａ）の例では、欠点領域５５ａは「死節」、欠点領域５５ｂは「小さい節」と分類されている。

図５（ｂ）に示すように、ＡＩ判定部２４は、欠点分類部３２による分類に従って欠点領域５５に含まれる欠点の範囲を測定し、測定結果を判定パラメータに基づいて評価し、単板のグレードを判定する。測定内容は、例えば、横幅ｄ_１や縦幅ｄ_２、または欠点の面積等が挙げられる。

ここで、判定パラメータは、判定部２２～２６それぞれにおいて、欠点の種類毎に設けられている。例えば、ＡＩの判定項目としては、「節判定」、「死節判定」、「穴判定」、「ヤニツボ判定」等が存在し、判定項目毎に判定パラメータが設けられている。また、判定パラメータは、単板Ｂの原木が属するグループ毎に設定されており、原木の種類に応じた細やかなグレード判定を実施することが可能である。

カラー判定部２２は、カラー画像からＨＳＶ値またはＲＧＢ値を等の色情報を取得し、色情報等を所定の閾値と比較して欠点の分類を実施する。また、欠点の種類毎に欠点の横幅、縦幅、面積等の所定の項目について測定を実施する。そして、色情報等および測定値を、判定パラメータに基づいて評価し、単板Ｂのグレードを判定する。カラー判定部２２では、特に、「青カビ」、「腐れ・皮」、「角欠け」、「穴」、「貫通穴数」等の欠点についてグレード判定を実施する。

濃淡判定部２３は、濃淡画像から濃淡のエッジ情報等を取得し、エッジ情報等を所定の閾値と比較して欠点の分類を実施する。また、欠点の種類毎に欠点の横幅、縦幅、面積、射影幅のＸＹ比等の所定の項目について測定を実施する。そして、勾配情報等および測定値を、判定パラメータに基づいて評価し、単板Ｂのグレードを判定する。濃淡判定部２３では、特に、「単板Ｂの長さ」、「幅」、「割れ」、「節穴数」、「凹み穴数」等の欠点についてグレード判定を実施する。

複合判定部２５は、カラー判定部２２のグレード判定結果と、濃淡判定部２３のグレード判定結果に基づいて、判定パラメータに基づいて評価を実施し、単板Ｂのグレードを判定する。複合判定部２５では、特に、カラー判定部２２と濃淡判定部２３の共通する判定項目である、例えば、「節穴数および節数」等の判定結果に基づいてグレード判定を実施する。

総合判定部２６は、判定部２２～２５のグレード判定結果に基づいて、判定パラメータに基づいて評価を実施し、単板Ｂのグレードを判定する。

次に、上記構成の単板判定システム１の動作として表れる単板の判定方法について図６に基づいて説明する。まず、単板Ｂが前コンベヤ１４ａにより撮影位置に配置されると、カメラ１２が単板Ｂを撮影し、ライン画像５１を取得する（Ｓ１）。カメラ１２は、エンコーダ１６からの同期信号に合わせてライン画像５１にシェーディング補正を施し、撮影装置の記憶部（図示なし）に保管する。その後、単板Ｂは、後コンベヤ１４ｂによって撮影位置から単板をグレード別に選別する装置に搬送される。

グレード判定装置１１の画像処理部２１は、撮影装置の記憶部に保存されたライン画像５１を読み出し、複数台のカメラ１２が撮影した複数のライン画像５１（５１ａ，５１ｂ）にキャリブレーションを施して位置座標を合わせ込み、これらのライン画像５１を合成して一枚のカラー画像５２を生成する（Ｓ２）。

ＡＩ判定部２４は、カラー画像５２に基づいて単板Ｂが撮影された領域を抽出し、検査領域５４として設定する（Ｓ６）。その後、ＡＩ判定部２４の欠点領域生成部３１は、検査領域５４について局所特徴量を算出し、各特徴点Ｐが示す局所特徴量の強度に応じて各特徴点Ｐを関連付け、関連付けられた全ての特徴点Ｐを含む領域を欠点領域５５として生成する（Ｓ７）。

欠点領域５５が生成されると、欠点分類部３２は、欠点領域５５に表された欠点をＡＩを用いて分類する（Ｓ８）。

欠点の分類が終わると、ＡＩ判定部２４は、欠点の分類に基づいて欠点領域５５に含まれる欠点を測定し、測定値を判定パラメータに基づいて評価し、単板Ｂのグレードを判定する（Ｓ９）。ＡＩ判定部２４によるグレード判定処理が終了すると、判定結果は記憶部２７に格納される。

一方、カラー判定部２２は、カラー画像５２を判定パラメータに基づいて評価し、単板Ｂのグレードを判定する（Ｓ３）。カラー判定部２２によるグレード判定が終了すると、判定結果は記憶部２７に格納される。

このとき、画像処理部２１は、カラー画像５２に基づいて濃淡画像５３も生成する（Ｓ２）。濃淡画像５３が生成されると、濃淡判定部２３は、濃淡画像５３を判定パラメータに基づいて評価し、単板Ｂのグレードを判定する（Ｓ４）。カラー判定部２２によるグレード判定が終了すると、判定結果は記憶部２７に格納される。

複合判定部２５は、カラー判定部２２および濃淡判定部２３の判定結果を記憶部２７から読み出し、判定パラメータに基づいてさらに評価し、複合的にグレードを判定する（Ｓ５）。複合的なグレード判定が終了すると、判定結果は記憶部２７に格納される。

総合判定部２６は、ＡＩ判定部２４の判定結果と、カラー判定部２２の判定結果と、濃淡判定部２３の判定結果と、複合判定部２５の判定結果を記憶部２７から読み出し、読み出した判定結果を判定パラメータに基づいて評価し、単板Ｂの総合的なグレードを判定する（Ｓ１０）。

最後に、グレード判定装置１１は、結果表示用の画像を生成し、表示部２８に判定結果を表示する（Ｓ１１）。この後、グレード判定装置１１は単板をグレード別に選別する装置に制御信号を送信し、処理は該装置に引き継がれる。

以上の構成の単板判定システム１および単板の判定方法によれば、欠点領域生成部３１が、局所特徴量の強度に応じて特徴点Ｐを関連付けるため、単板Ｂに表れた欠点の位置および大きさを正確に抽出できるという優れた効果を有する。また、欠点領域５５を正確に抽出できた結果、ＡＩが欠点を分類し、グレードを判定する際に、より正確な判定を実施できるという効果も有する。さらに、カラー画像に基づくカラー判定、濃淡画像に基づく濃淡判定、カラー判定および濃淡判定結果を合わせた複合判定をＡＩによる判定と組み合わせることにより、各判定部の弱点を補うことができるという優れた効果を有する。

その他、本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、各部の構成を任意に変更して実施することも可能である。例えば、判定部２２～２６を同じ装置内に設けることも、別体に設けることも可能であり、さらに、別体に設けた各判定部２２～２６について、各々、ＣＰＵ、画像処理部、記憶部、表示部を設けることも可能である。

１単板判定システム
１１グレード判定装置
１２カメラ
１３照明
１４コンベヤ
１５単板検知器
１６エンコーダ
２１画像生成部
２２カラー判定部
２３濃淡判定部
２４ＡＩ判定部
２５複合判定部
２６総合判定部
２７記憶部
２８表示部
２９ＣＰＵ
３１欠点領域生成部
３２欠点分類部
５１ライン画像
５２カラー画像
５３濃淡画像
５４検査領域
５５欠点領域
Ａ範囲
Ｂ単板
Ｐ特徴点
Ｕ中間領域

Claims

単板を撮影して画像を生成する撮影装置と、前記画像に基づいて所定の判定パラメータを用いて単板のグレードを判定するグレード判定装置と、を備え、
前記グレード判定装置は、ＡＩを用いて単板のグレードを判定するＡＩ判定手段と、を含み、
前記ＡＩ判定手段は、前記画像について局所特徴量を算出し、局所特徴量に基づいて欠点領域を生成する欠点領域生成手段と、欠点領域に表された欠点を所定の教師情報により深層学習を施したＡＩを用いて分類する欠点分類手段と、を含み、
前記局所特徴量が、前記画像における位置情報を示す特徴点と、前記特徴点におけるベクトルを示す情報と、前記特徴点における強度を示す情報と、を含み、
前記欠点領域生成手段は、前記局所特徴量の前記強度に応じて前記局所特徴量に対応する前記特徴点同士を関連付け、関連付けられた全ての前記特徴点を含む欠点領域を生成すること、および、
前記欠点領域生成手段は、前記強度が強いほど、より遠くに配置された前記特徴点同士を関連付けることを特徴とする単板判定システム。
前記撮影装置は、カラー画像および濃淡画像を生成する画像生成手段を含み、
前記グレード判定装置は、前記カラー画像に基づいて単板のグレードを判定するカラー判定手段と、前記濃淡画像に基づいて単板のグレードを判定する濃淡判定手段と、所定の判定結果に基づいて単板の総合的なグレードを判定する総合判定手段と、を含む請求項１に記載の単板の判定システム。
前記教師情報は、単板の欠点を撮影した画像を含む請求項１または２に記載の単板判定システム。
前記判定パラメータは、単板の原木が属するグループ毎に設定されたパラメータを含む請求項１～３のいずれか一項に記載の単板判定システム。
単板を撮影して画像を生成する工程と、前記画像に基づいて所定の判定パラメータを用いて単板のグレードを判定する工程と、を備え、
前記単板のグレードを判定する工程が、ＡＩを用いて単板のグレードを判定する工程を含み、
ＡＩを用いて単板のグレードを判定する工程が、前記画像について局所特徴量を算出し、局所特徴量に基づいて欠点領域を生成する工程と、前記欠点領域に表された欠点を所定の教師情報により深層学習を施したＡＩを用いて分類する工程と、を含み、
前記局所特徴量が、前記画像における位置情報を示す特徴点と、前記特徴点におけるベクトルを示す情報と、前記特徴点における強度を示す情報と、を含み、
前記欠点領域を生成する工程において、前記局所特徴量の強度に応じて前記局所特徴量に対応する特徴点を関連付け、関連付けられた全ての特徴点を含む欠点領域を生成すること、および、
前記欠点領域を生成する工程において、前記局所特徴量の強度に応じて前記局所特徴量に対応する特徴点を関連付け、関連付けられた全ての特徴点を含む欠点領域を生成すること、および、
前記欠点領域を生成する工程において、前記強度が強いほど、より遠くに配置された前記特徴点同士を関連付けることを特徴とする単板の判定方法。
前記単板を撮影して画像を生成する工程が、カラー画像および濃淡画像を生成する工程を含み、
前記単板のグレードを判定する工程が、前記カラー画像に基づいて単板のグレードを判定する工程と、前記濃淡画像に基づいて単板のグレードを判定する工程と、所定の判定結果に基づいて単板の総合的なグレードを判定する工程と、を含む請求項５に記載の単板の判定方法。
前記教師情報は、単板の欠点を撮影した画像を含む請求項５または６に記載の単板の判定方法。
前記判定パラメータは、単板の原木が属するグループ毎に設定された請求項５～７のいずれか一項に記載の単板の判定方法。