JP6648135B2 - 丸太走査システム - Google Patents

丸太走査システム Download PDF

Info

Publication number
JP6648135B2
JP6648135B2 JP2017527986A JP2017527986A JP6648135B2 JP 6648135 B2 JP6648135 B2 JP 6648135B2 JP 2017527986 A JP2017527986 A JP 2017527986A JP 2017527986 A JP2017527986 A JP 2017527986A JP 6648135 B2 JP6648135 B2 JP 6648135B2
Authority
JP
Japan
Prior art keywords
log
load
data
depth
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017527986A
Other languages
English (en)
Other versions
JP2017527057A5 (ja
JP2017527057A (ja
Inventor
ナワー サミ アルウェシュ
ナワー サミ アルウェシュ
グレン エドワード マーフィー
グレン エドワード マーフィー
デイヴィッド ウィリアム ペンマン
デイヴィッド ウィリアム ペンマン
ジョハン オーガスト スクーニース
ジョハン オーガスト スクーニース
ロバート ジャン ヴァルケンバーグ
ロバート ジャン ヴァルケンバーグ
Original Assignee
シー スリー リミテッド
シー スリー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シー スリー リミテッド, シー スリー リミテッド filed Critical シー スリー リミテッド
Publication of JP2017527057A publication Critical patent/JP2017527057A/ja
Publication of JP2017527057A5 publication Critical patent/JP2017527057A5/ja
Application granted granted Critical
Publication of JP6648135B2 publication Critical patent/JP6648135B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04Sorting according to size
    • B07C5/12Sorting according to size characterised by the application to particular articles, not otherwise provided for
    • B07C5/14Sorting timber or logs, e.g. tree trunks, beams, planks or the like
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/12Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K2007/10524Hand-held scanners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30161Wood; Lumber
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Forests & Forestry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Description

本発明は、林業における使用のための、丸太識別、測定及び/または計数システムに関する。
ニュージーランド及び他の多くの国々における丸太輸出産業では、輸出される全ての丸太を計数し、バーコードを付ける必要がある。収穫後、輸出用の丸太は、典型的には、木材運搬トラックまたはトレーラで港まで送達される。港に到着すると、各トラック上の丸太の積載物は、チェックポイントまたは処理ステーションで処理される。典型的には、各積載物における丸太の数が計数され、量及び価値を評価するためにそれぞれの個々の丸太に対する様々な測定が行われてから、輸出用の船舶に積載される。
国によって、丸太の評価は、様々な基準に従って行われ得る。ニュージーランドでは、輸出されるほぼ全ての丸太が、日本農林規格(JAS)に基づく量によって販売される。JAS量の評価は、典型的には、各丸太の小端部直径及びその長さを測定し、次いでこれらの測定値に基づいてJAS量を計算することを含む。丸太の計数及び評価の実践は、現在、各丸太を手作業で計数及び評価するために、木材運搬トラック当たり1人以上の丸太評価者を必要とするため、非常に労働集約的である。丸太の計数及び評価の実践は、森林から輸出用船舶までの丸太のサプライチェーンにおける、または国内の顧客へのサプライに対するボトルネックをもたらし得る。
上記の問題への対応を図るために、丸太の自動計数及び測定における補助のための様々な自動化システムが提案されている。しかしながら、これらの現在提案されているシステムの多くは、丸太輸出産業による幅広い適用を制限している様々な欠点を有する。
1つのそのような自動化システムは、米国特許出願公開第2013/0144568号に記載されている。このシステムは、木材運搬トラック上の丸太積載物のためのドライブスルー丸太測定システムである。システムは、その周縁部にレーザのアレイを装備し、そこを木材運搬トラックが通り抜けることができる大型構造を備える。システムレーザは、トラックが通り抜ける際にその後部上の丸太積載物を走査し、丸太積載物の3Dモデルを生成する。次いで、丸太直径等の丸太の様々な特性を抽出するために、3Dモデルが処理される。このシステムは、非常に大きく、また高価である。
丸太を測定するための別の自動化システムは、国際PCT特許出願公開第WO2005/080949号に記載されている。このシステムは、地面上の丸太の山を通って運転される車両に装備された立体視測定ユニットを使用し、このユニットは、丸太の山の立体視画像をキャプチャする。次いで、丸太の様々な物理的特性を決定するため、例えばサイズの測定及び丸太の等級付けのために、立体画像が画像処理される。このシステムは、地面上にある丸太の山を通して測定ユニットを移動させるために車両を移動させることを必要とし、木材運搬トラック上の原位置での丸太積載物の測定には好適ではない。
本明細書において、特許明細書、他の外部文書、または他の情報源への参照がなされている場合、これは一般に、本発明の特徴を議論するための背景を提供するためのものである。別段に具体的に指定されない限り、そのような外部文書への参照は、そのような文書またはそのような情報源が、いかなる管轄においても、先行技術であること、または当技術分野における共通した一般的知識の一部を形成することを認めるものとして解釈されるべきではない。
本発明の目的は、丸太の山もしくは丸太積載物における個々の丸太を識別、測定及び/もしくは計数するためのシステム及び方法を提供すること、または少なくとも人々に有用な選択肢を提供することである。
第1の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太走査システムにあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し;
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し;
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し;
決定された丸太端部境界及び抽出された丸太IDデータに基づいて、丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
一実施形態において、データプロセッサ(複数を含む)は、各丸太に対する代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成されてもよく、丸太積載物を表す生成された出力データは、各丸太に対する丸太端部境界データを含む。
一実施形態において、データプロセッサ(複数を含む)は、生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するようにさらに構成されてもよく、丸太積載物を表す生成された出力データは、個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を含む。
一実施形態において、データプロセッサ(複数を含む)は、積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することにより出力データを生成するように構成されてもよく、丸太積載物を表す生成された出力データは、丸太積載物における丸太の数を表す丸太カウントを含む。
一実施形態において、ハンドヘルドスキャナユニットは、スキャナユニットが走査中に積載物端面全体を走査した際に、深度画像及びテクスチャ画像を対として同時にキャプチャするように深度及びテクスチャセンサを操作するように構成される。別の実施形態において、ハンドヘルドスキャナユニットは、例えば、深度及びテクスチャセンサへの共通したトリガ信号に基づいて、走査においてキャプチャされた深度及びテクスチャ画像の少なくともいくつかが、時間的に同じ瞬間に同時にキャプチャされた対であるように、深度及びテクスチャセンサを操作するように構成される。別の実施形態において、一連の深度及びテクスチャ画像は、互いに独立して、同じまたは異なるフレームレートでキャプチャされてもよい。
一実施形態において、各深度画像及びテクスチャ画像は、積載物端面の一部をキャプチャする。1つの形態において、深度及びテクスチャセンサの視野は、積載物端面から所定の隔離距離で操作された場合、深度及びテクスチャ画像の各対に対して全積載物端面の一部のみをキャプチャする。この実施形態において、一連の深度及びテクスチャ画像の対は、走査の完了時に集合的に積載物端面全体をキャプチャする。
一実施形態において、ハンドヘルドスキャナユニットの深度センサは、深度カメラである。1つの形態において、深度センサは、ノイズを低減するためにフィルタを備える。一例において、深度カメラは、赤外線周波数で動作し、フィルタは、赤外線(IR)フィルタである。他の形態において、深度センサは、いかなるフィルタも使用しない。
別の実施形態において、ハンドヘルドスキャナユニットの深度センサは、ステレオカメラである。
一実施形態において、ハンドヘルドスキャナユニットのテクスチャセンサは、テクスチャカメラである。1つの形態において、テクスチャカメラは、モノクロカメラである。この形態において、モノクロカメラは、丸太端部の木質部−樹皮境界を決定するためにテクスチャ画像を向上させるように構成される、カラーフィルタ(複数を含む)を備えてもよい。カラーフィルタの特性は、丸太の種に依存的であってもよい。他の形態において、モノクロカメラは、いかなるカラーフィルタ(複数を含む)も使用しない。別の形態において、テクスチャカメラは、カラーカメラである。
一実施形態において、ハンドヘルドスキャナユニットは、使用者の手(複数を含む)による把持のためのハンドルまたはハンドルアセンブリを備える。この実施形態において、深度カメラ及びテクスチャカメラは、ハンドルまたはハンドルアセンブリに装着される、またはそれにより支持される。
一実施形態において、ハンドヘルドスキャナユニットは、操作可能なトリガボタンを備え、該操作可能なトリガボタンは、走査を開始及び停止するように使用者によって走査され得、開始及び停止は、ハンドヘルドスキャナユニットが積載物端面上で走査される際に深度及びテクスチャ画像のキャプチャを始動させ、次いで走査の完了時に画像のキャプチャを中止するトリガボタンの作動に応じて作動信号を生成することによって行われる。
一実施形態において、システムは、ハンドヘルドスキャナユニットに操作可能に接続され、走査フィードバックを使用者に表示するように構成される表示画面を有する、操作者インターフェースデバイスをさらに備える。1つの形態において、表示画面上に表示される走査フィードバックは、キャプチャされている、もしくは深度及びテクスチャカメラの視野内にある深度及び/もしくはテクスチャ画像のリアルタイムの可視化である。別の形態において、走査フィードバックは、走査中に生成されている積載物端面のデータモデルのリアルタイムの可視化である。
一実施形態において、ハンドヘルドスキャナユニットは、コントローラをさらに備える。1つの形態において、コントローラは、ハンドヘルドスキャナユニットに操作可能に接続された別個のデバイスである。別の形態において、コントローラは、ハンドヘルドスキャナユニットに統合される。
一実施形態において、ハンドヘルドスキャナユニットのコントローラは、少なくとも深度及びテクスチャカメラに操作可能に接続され、深度及びテクスチャカメラを制御するように操作可能である。1つの例において、コントローラは、カメラにより生成された、キャプチャされた深度及びテクスチャ画像を、データプロセッサ(複数を含む)への伝送のために圧縮するようにさらに構成される。
一実施形態において、ハンドヘルドスキャナユニットは、走査を開始及び停止するためにトリガボタン作動信号を生成するように使用者によって操作され得る操作可能なトリガボタンをさらに備え、ハンドヘルドスキャナユニットのコントローラは、さらにトリガボタンに操作可能に接続され、トリガボタン作動信号を受信及び処理し、トリガボタン作動信号に基づいて、走査のためのキャプチャを始動または中止するように深度及びテクスチャカメラを操作する。
一実施形態において、ハンドヘルドスキャナユニットは、ハンドヘルドスキャナユニットの移動及び/または位置を検出し、代表的な移動信号を生成するように構成される、慣性センサをさらに備え、ハンドヘルドスキャナユニットのコントローラは、さらに慣性センサに操作可能に接続され、生成された移動信号を受信してデータプロセッサ(複数を含む)に伝送するように構成される。1つの形態において、慣性センサは、走査中に加速度計信号または値の形態で移動信号を生成するように構成される3軸加速度計である。
一実施形態において、ハンドヘルドスキャナユニットは、データプロセッサ(複数を含む)とは別個のデバイスである。この実施形態において、ハンドヘルドスキャナユニットは、有線または無線であってもよいデータリンクを介してデータプロセッサと通信するように構成される。1つの形態において、ハンドヘルドスキャナユニットは、走査データ(例えば、深度画像、テクスチャ画像、加速度計信号)を無線データリンクを介してデータプロセッサ(複数を含む)に伝送するように構成される。走査データは、それが取得された際にリアルタイムで、または走査の終了時にバルクでデータプロセッサ(複数を含む)に伝送またはストリーミングされ得る。
一実施形態において、深度及びテクスチャカメラは、セットまたは一連の深度及びテクスチャ画像の各対が、走査中にそれぞれの瞬間に取得されるように同期される。一実施形態において、走査中に取得された連続した深度及びテクスチャ画像対の対の数は、カメラの構成可能なフレームレート及び走査中に操作者により決定される走査時間に依存する。
一実施形態において、ハンドヘルドスキャナユニットは、走査されている積載物端面からの所定の隔離距離または範囲で操作者により保持されるように構成される。1つの構成において、隔離距離は、積載物端面から約1.5mから約2mであってもよいが、代替の構成において、隔離距離は、より近く、またはより遠く離れてもよい。
一実施形態において、各丸太上のID要素は、機械可読印刷コードであり、各機械可読印刷コードは、それぞれの丸太に割り当てられた符号化された一意の丸太IDデータまたはコードを含む。1つの形態において、ID要素は、丸太積載物における各丸太の丸太端面に貼り付けられた印刷バーコードまたはQRコード(登録商標)の形態のIDタグである。1つの形態において、IDタグは、丸太端部に貼られた印刷シートの形態であってもよい。
一実施形態において、データプロセッサ(複数を含む)は、ハンドヘルドスキャナユニットから受信した深度及びテクスチャ画像を、その元の圧縮されていない深度及びテクスチャ画像に解凍するように構成される。
一実施形態において、データプロセッサ(複数を含む)は、走査された積載物端面において視認され得る任意のID要素を識別及び復号化するためにテクスチャ画像を処理するように構成され、この処理は、視認され得るID要素を識別するために各テクスチャ画像を処理することと、視認され得るID要素のそれぞれを復号化して、そのそれぞれの一意の丸太IDコードを抽出することと、、各テクスチャ画像に関連して抽出された一意の丸太IDコードを含むデータファイルを、各テクスチャ画像のそれぞれにおけるID要素の位置座標と共に生成及び保存することとによって行われる。一実施形態において、データプロセッサ(複数を含む)は、テクスチャ画像のセットの処理から抽出された各一意の丸太IDコード、及びテクスチャ画像のセットにおいて各一意の丸太IDコードが見られる回数を含むデータファイルを生成及び保存するようにさらに構成される。
一実施形態において、データプロセッサ(複数を含む)は、深度画像、または深度画像及びテクスチャ画像を、積載物端面のデータモデルに融合するように構成され、この融合は、
キャプチャされた各深度画像、または深度画像及びテクスチャ画像におけるハンドヘルドスキャナユニットのポーズを推定するために、深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成すること、ならびに
深度画像、または深度画像及びテクスチャ画像、及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することによって行われる。
一実施形態において、ポーズ推定値は、3D自己登録を実行するポーズ推定アルゴリズムを実行して、各深度画像、または深度画像及びテクスチャ画像に対するスキャナハンドヘルドユニットのポーズを推定することにより、深度画像、または深度画像及びテクスチャ画像から生成される。1つの形態において、ポーズ推定アルゴリズムは、点−面誤差関数を実行してポーズ推定値を生成する。
一実施形態において、深度画像、または深度画像及びテクスチャ画像は、ポーズ推定データに基づきトランケートされた符号付き距離関数(TSDF)の形態でデータモデルに融合される。
一実施形態において、データプロセッサ(複数を含む)は、
キャプチャされた各深度画像におけるハンドヘルドスキャナユニットのポーズを推定するために深度画像を処理し、各深度画像に関連したポーズ推定データを生成すること、ならびに
深度画像及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することにより、深度画像を積載物端面のデータモデルに融合するように構成される。
一実施形態において、ポーズ推定値は、3D自己登録を実行するポーズ推定アルゴリズムを実行して、各深度画像に対するスキャナハンドヘルドユニットのポーズを推定することにより、深度画像から生成される。1つの形態において、ポーズ推定アルゴリズムは、点−面誤差関数を実行してポーズ推定値を生成する。
一実施形態において、深度画像は、ポーズ推定データに基づきトランケートされた符号付き距離関数(TSDF)の形態でデータモデルに融合される。
一実施形態において、データプロセッサ(複数を含む)は、積載物端面に垂直なレイキャスト直交深度画像を生成するために、データモデルを処理すること、及びレイキャスト直交深度画像から丸太端部境界を抽出することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を生成するように構成される。1つの形態において、ハンドヘルドスキャナユニットは、ハンドヘルドスキャナユニットの移動及び/または位置を検出し、代表的な移動信号を生成するように構成される、慣性センサをさらに備え、レイキャスト直交深度画像を生成することは、移動信号及びデータモデル(例えばTSDF)に基づいて、積載物端面の下方及び法線方向を決定することを含む。一例において、慣性センサは、加速度計信号を生成する3軸加速度計である。
一実施形態において、データプロセッサ(複数を含む)は、積載物端面のレイキャスト直交垂直画像を生成するようにさらに構成される。1つの形態において、データプロセッサ(複数を含む)は、レイキャスト直交垂直画像に基づいてレイキャスト直交深度画像を画像処理し、丸太以外の特徴及び/または丸太の側面もしくは同様のものを除去したより清浄なレイキャスト直交深度画像を生成するように構成され、クリーンなレイキャスト直交深度画像は、丸太端部境界を決定するために処理される。
一実施形態において、レイキャスト直交深度画像から決定された丸太端部境界は、データプロセッサ(複数を含む)によりさらに精緻化される。1つの形態において、データプロセッサ(複数を含む)は、決定された丸太端部境界を、キャプチャされたテクスチャ画像の1つ以上に変換及び投影し、木質部−樹皮境界を検出するために、投影された丸太端部境界の領域におけるテクスチャ画像を処理するように構成される。1つの形態において、処理は、各丸太に対する木質部−樹皮境界界面を検出するためにテクスチャ画像を処理するように、また投影された丸太端部境界を検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行する。
一実施形態において、データプロセッサ(複数を含む)は、1つ以上のレイキャスト画像を生成するためにデータモデルを処理すること、及びレイキャスト画像から丸太端部境界を抽出することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を生成するように構成される。1つの形態において、ハンドヘルドスキャナユニットは、ハンドヘルドスキャナユニットの移動及び/または位置を検出し、代表的な移動信号を生成するように構成される、慣性センサをさらに備え、1つ以上のレイキャスト画像を生成することは、移動信号及びデータモデルに基づいて、積載物端面の下方及び法線方向を決定することを含む。
一実施形態において、1つ以上のレイキャスト画像は、レイキャスト深度画像を含み、データプロセッサ(複数を含む)は、積載物端面のレイキャスト正像を生成し、次いでレイキャスト正像に基づいてレイキャスト深度画像をさらに画像処理し、丸太以外の特徴及び/または丸太の側面を除去したクリーンなレイキャスト深度画像を生成するようにさらに構成され、クリーンなレイキャスト深度画像は、丸太端部境界を決定するために処理される。
一実施形態において、1つ以上のレイキャスト画像から決定された丸太端部境界は、データプロセッサ(複数を含む)によって、決定された丸太端部境界をキャプチャされたテクスチャ画像の1つ以上に変換及び投影することによって、また、各丸太に対する木質部−樹皮境界界面を検出するためにテクスチャ画像を処理するように、また投影された丸太端部境界を検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行することにより、木質部−樹皮境界を検出するために投影された丸太端部境界の領域におけるテクスチャ画像を処理することによって、さらに精緻化される。
いくつかの実施形態において、レイキャスト画像は、直交していてもしていなくてもよく、そのそれぞれの要素(ピクセル)は、深度値、垂直値、ボクセル占有率を表すビットパターン等の任意の1つ以上を含んでもよい。
一実施形態において、データプロセッサ(複数を含む)は、丸太のそれぞれに対して樹皮が予測されない内側統計境界を生成するように構成され、分割アルゴリズムは、各丸太端部に対して、投影された決定された(外側)丸太端部境界と、内側統計境界との間に位置するテクスチャ画像の環状領域のみの処理に制限される。1つの形態において、統計境界は、走査されている丸太の種に対して予測される最大樹皮厚さを表す保存された統計データに基づいて生成される。
一実施形態において、データプロセッサ(複数を含む)は、各丸太に対して代表的な丸太端部境界データを生成し、次いで、各丸太に対する丸太端部境界データを含む丸太積載物を表す出力データを生成するために、決定または精緻化された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成され、データプロセッサ(複数を含む)は、
各丸太端面に関連した平面を計算し、決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影すること、
丸太端部境界及び平面を、メトリックワールド座標系に変換すること、及び
変換された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することにより、丸太端部の物理的特性を測定するように構成される。
1つの形態において、各丸太端部の物理的特性は、丸太端部境界重心、短軸、直交軸、及び決定された軸に沿った丸太直径のいずれか1つ以上を含んでもよい。
一実施形態において、データプロセッサ(複数を含む)は、抽出された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成され、この生成は、テクスチャ画像に基づいてID要素中心を三角測量して、どのID要素がどの丸太端部境界及びその関連した丸太端部境界データに対応するかを検出することと、この対応を表す生成されるリンクまたは関連性を含む丸太積載物を表す出力データを生成することとによって行われる。
一実施形態において、データプロセッサ(複数を含む)は、丸太積載物を表す出力データを、データファイルまたはメモリ内に出力及び/または保存するようにさらに構成される。一例において、出力データは、丸太IDデータ及び丸太カウントを含んでもよい。丸太カウントは、例えば、走査から識別された個々の丸太端部境界の数に基づいてもよい。別の例において、出力データは、丸太IDデータ、測定された丸太端部境界データ、及び丸太IDデータと測定された丸太端部境界データとの間のリンクまたは関連性を含んでもよい。別の例において、出力データは、丸太IDデータ、丸太カウント、測定された丸太端部境界データ、及び丸太IDデータと測定された丸太端部境界データとの間のリンクまたは関連性を含んでもよい。
1つの形態において、出力データは、データファイルまたはメモリ内に保存されてもよい。別の形態において、出力データは、表示画面上に表示されてもよい。別の形態において、出力データは、表及び/または図形レポートの形態である。
一実施形態において、丸太積載物は、ハンドヘルドスキャナユニットにより走査される際、輸送車両上の原位置にある。輸送車両は、例えば、木材運搬トラックもしくはトレーラ、貨車、または積込機であってもよい。別の実施形態において、丸太積載物は、地面もしくは別の表面上、例えば丸太架台等に載置されていてもよい。
一実施形態において、ID要素は、丸太積載物における丸太のそれぞれの小端部にのみ提供される。
一実施形態において、丸太積載物が同じ積載物端面において丸太の全ての小端部を含む場合、システムは、小端部を含む積載物端面の走査のみからデータを処理するように構成される。別の実施形態において、丸太積載物が丸太積載物の両端部間で混在する丸太の小端部を含む場合、システムは、それぞれ丸太積載物の積載物端面の1つの走査である2回の別個の走査からのデータを受信及び処理し、両方の走査からの出力データを合成もしくはマージするように構成される。
一実施形態において、丸太走査システムは、ハンドヘルドスキャナユニットが装着または支持される操作可能な動力支持システムをさらに備え、支持システムは、自動的に、または操作者による手動制御に応じて、積載物端面を走査するために丸太積載物に対してハンドヘルドスキャナユニットを移動させるように構成される。
一実施形態において、データプロセッサ(複数を含む)は、深度画像または深度画像及びテクスチャ画像を、積載物端面のデータモデルに融合するように構成される。
第2の態様において、本発明は、概して、丸太の積載物(丸太積載物)を識別及び測定する方法にあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、方法は、
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
決定された丸太端部境界及び抽出された丸太IDデータに基づいて、丸太積載物を表す出力データを生成することとを含む。
一実施形態において、出力データを生成することは、各丸太に対する代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の1つ以上の物理的特性を測定することを含み、丸太積載物を表す生成された出力データは、各丸太に対する丸太端部境界データを含む。
一実施形態において、方法は、生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することをさらに含み、丸太積載物を表す生成された出力データは、個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を含む。
一実施形態において、出力データを生成することは、積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することを含み、丸太積載物を表す生成された出力データは、丸太積載物における丸太の数を表す丸太カウントを含む。
一実施形態において、方法は、丸太カウントを含む出力データを生成することをさらに含む。1つの形態において、方法は、走査から識別された個々の丸太端部境界の数に基づいて、丸太カウントを生成することを含む。別の形態において、方法は、走査から識別された個々のID要素の数に基づいて、丸太カウントを生成することを含む。
一実施形態において、積載物端面を走査することは、スキャナユニットが走査中に積載物端面全体を走査した際に、深度画像及びテクスチャ画像を対として同時にキャプチャするようにハンドヘルドスキャナユニットを操作または構成することを含む。別の実施形態において、方法は、例えば、共通したトリガ信号に基づいて、走査においてキャプチャされた深度及びテクスチャ画像の少なくともいくつかが、時間的に同じ瞬間に同時にキャプチャされた対であるように、深度及びテクスチャセンサを操作するようにハンドヘルドスキャナユニットを操作または構成することを含む。別の実施形態において、方法は、互いに独立して、同じまたは異なるフレームレートで一連の深度及びテクスチャ画像をキャプチャするように、ハンドヘルドスキャナユニットを操作または構成することを含む。
一実施形態において、積載物端面を走査することは、深度及びテクスチャセンサの視野が、深度及びテクスチャ画像の各対に対して全積載物端面の一部のみをキャプチャするように、ハンドヘルドスキャナを操作することと、一連のキャプチャされた深度及びテクスチャ画像の対が、走査の完了時に集合的に積載物端面全体をキャプチャするように、ハンドヘルドスキャナユニットを積載物端面に対して移動させることとを含む。
一実施形態において、走査された積載物端面において視認され得る任意のID要素を識別及び復号化するためにテクスチャ画像を処理することは、視認され得るID要素を識別するために各テクスチャ画像を処理することと、各視認され得るID要素を復号化して、その一意の丸太IDコードを抽出することと、各テクスチャ画像に関連して抽出された一意の丸太IDコードを含むデータファイルを、各テクスチャ画像のそれぞれにおけるID要素の位置座標と共に生成及び保存することとを含む。
一実施形態において、方法は、テクスチャ画像のセットの処理から抽出された各一意の丸太IDコード、及びテクスチャ画像のセットにおいて各一意の丸太IDコードが見られる回数を含むデータファイルを生成及び保存することをさらに含む。
一実施形態において、深度画像、または深度画像及びテクスチャ画像を、積載物端面のデータモデルに融合することは、
キャプチャされた各深度画像、または深度画像及びテクスチャ画像におけるハンドヘルドスキャナユニットのポーズを推定するために、深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成することと、
深度画像、または深度画像及びテクスチャ画像、ならびにポーズ推定データを、空間データ構造の形態でデータモデルに処理することとを含む。
一実施形態において、方法は、3D自己登録を実行するポーズ推定アルゴリズムを実行して、各深度画像、または深度画像及びテクスチャ画像に対するスキャナハンドヘルドユニットのポーズを推定することにより、ポーズ推定データを生成することを含む。1つの形態において、ポーズ推定アルゴリズムを実行することは、点−面誤差関数を実行してポーズ推定値を生成することを含む。
一実施形態において、深度画像、または深度画像及びテクスチャ画像を、データモデルに融合することは、深度画像、または深度画像及びテクスチャ画像を、ポーズ推定データに基づきトランケートされた符号付き距離関数(TSDF)に融合することを含む。
一実施形態において、深度画像を積載物端面のデータモデルに融合することは、
キャプチャされた各深度画像におけるハンドヘルドスキャナユニットのポーズを推定するために深度画像を処理し、各深度画像に関連したポーズ推定データを生成することと、
深度画像及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することとを含む。
一実施形態において、方法は、3D自己登録を実行するポーズ推定アルゴリズムを実行して、各深度画像に対するスキャナハンドヘルドユニットのポーズを推定することにより、ポーズ推定データを生成することを含む。1つの形態において、ポーズ推定アルゴリズムを実行することは、点−面誤差関数を実行してポーズ推定値を生成することを含む。
一実施形態において、深度画像をデータモデルに融合することは、深度画像を、ポーズ推定データに基づきトランケートされた符号付き距離関数(TSDF)に融合することを含む。
一実施形態において、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することは、
積載物端面に垂直なレイキャスト直交深度画像を生成するためにデータモデルを処理することと、
レイキャスト直交深度画像から丸太端部境界を抽出することとを含む。
一実施形態において、方法は、ハンドヘルドスキャナユニットの慣性運動を慣性センサで測定することと、代表的な慣性信号を生成することとをさらに含み、レイキャスト直交深度画像を生成することは、慣性信号及びデータモデル(例えば、TSDF)に基づいて、積載物端面の下方及び法線方向を決定することを含む。1つの形態において、慣性センサは、代表的な加速度計信号を生成する3軸加速度計である。
一実施形態において、方法は、積載物端面のレイキャスト直交垂直画像を生成することをさらに含む。1つの形態において、方法は、レイキャスト直交垂直画像に基づいてレイキャスト直交深度画像を処理し、丸太以外の特徴及び/または丸太の側面もしくは同様のものを除去したより清浄なレイキャスト直交深度画像を生成することと、丸太端部境界を決定するために清浄化された直交深度画像を処理することとをさらに含む。
一実施形態において、方法は、レイキャスト直交深度画像から決定された丸太端部境界を、決定された丸太端部境界をキャプチャされたテクスチャ画像の1つ以上に変換及び投影することによって精緻化することと、木質部−樹皮境界を検出するために投影された丸太端部境界の領域におけるテクスチャ画像を処理することとを含む。1つの形態において、テクスチャ画像を処理することは、各丸太に対する木質部−樹皮境界界面を検出するためにテクスチャ画像を処理するように、また投影された丸太端部境界を検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行することを含む。
一実施形態において、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することは、
1つ以上のレイキャスト画像を生成するためにデータモデルを処理することと、
1つ以上のレイキャスト画像から丸太端部境界を抽出することとを含む。
一実施形態において、方法は、ハンドヘルドスキャナユニットの慣性運動を慣性センサで測定することと、代表的な慣性信号を生成することとをさらに含み、1つ以上のレイキャスト画像を生成することは、慣性信号及びデータモデルに基づいて、積載物端面の下方及び法線方向を決定することを含む。
一実施形態において、1つ以上のレイキャスト画像は、レイキャスト深度画像を含み、方法は、積載物端面のレイキャスト正像を生成することと、レイキャスト正像に基づいてレイキャスト深度画像を処理し、丸太以外の特徴及び/または丸太の側面を除去したクリーンなレイキャスト深度画像を生成することと、丸太端部境界を決定するためにクリーンなレイキャスト深度画像を処理することとをさらに含む。
一実施形態において、方法は、1つ以上のレイキャスト画像から決定された丸太端部境界を、決定された丸太端部境界をキャプチャされたテクスチャ画像の1つ以上に変換及び投影することによって精緻化することを含み、テクスチャ画像の処理により木質部−樹皮境界を検出するために、投影された丸太端部境界の領域におけるテクスチャ画像を処理することは、各丸太に対する木質部−樹皮境界界面を検出するためにテクスチャ画像を処理するように、また投影された丸太端部境界を検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行することを含む。
一実施形態において、方法は、丸太のそれぞれに対して樹皮が予測されない内側統計境界を生成することと、分割アルゴリズムの実行を、各丸太端部に対して、投影された決定された(外側)丸太端部境界と、内側統計境界との間に位置する前記テクスチャ画像の環状領域に制限することとをさらに含む。1つの形態において、内側統計境界を生成することは、走査されている丸太の種に対して予測される最大樹皮厚さを表す保存された統計データに基づいて内側統計境界を生成することを含む。
一実施形態において、出力データを生成することは、各丸太に対して代表的な丸太端部境界データを生成するために、決定または精緻化された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することを含み、丸太積載物を表す生成された出力データは、各丸太に対する丸太端部境界データを含み、各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて、丸太端部の物理的特性を測定することは、
各丸太端面に関連した平面を計算し、決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影することと、
丸太端部境界及び平面を、メトリックワールド座標系に変換することと、
変換された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することとを含む。
1つの形態において、各丸太端部の物理的特性は、丸太端部境界重心、短軸、直交軸、及び決定された軸に沿った丸太直径のいずれか1つ以上を含んでもよい。
一実施形態において、方法は、テクスチャ画像に基づいてID要素の中心を三角測量して、どのID要素がどの丸太端部境界及びその関連した丸太端部境界データに対応するかを検出することにより、ならびに、この対応を表す生成されるリンクまたは関連性を含む丸太積載物を表す出力データを生成することにより、生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することをさらに含む。
一実施形態において、方法は、抽出された個々の丸太IDデータ及び対応する測定された丸太端部境界データを表す出力データを出力または保存することをさらに含む。
一実施形態において、方法は、出力データをデータファイルまたはメモリ内に保存することを含む。
一実施形態において、方法は、出力データを表示画面上に表示することを含む。
一実施形態において、方法は、出力データを表及び/または図形レポートの形態で保存または表示することを含む。
一例において、出力データは、丸太IDデータ及び丸太カウントを含んでもよい。丸太カウントは、例えば、走査から識別された個々の丸太端部境界の数に基づいてもよい。別の例において、出力データは、丸太IDデータ、測定された丸太端部境界データ、及び丸太IDデータと測定された丸太端部境界データとの間のリンクまたは関連性を含んでもよい。別の例において、出力データは、丸太IDデータ、丸太カウント、測定された丸太端部境界データ、及び丸太IDデータと測定された丸太端部境界データとの間のリンクまたは関連性を含んでもよい。
一実施形態において、方法は、輸送車両上の原位置で丸太積載物の積載物端面を走査することを含む。輸送車両は、例えば、木材運搬トラックもしくはトレーラ、貨車、または積込機であってもよい。別の実施形態において、方法は、地面もしくは別の表面上、例えば丸太架台等に載置されている間に、丸太積載物の積載物端面を走査することを含む。
一実施形態において、方法は、丸太積載物における丸太のそれぞれの小端部にのみID要素を固定または提供することを含む。
一実施形態において、丸太積載物が同じ積載物端面において丸太の全ての小端部を含む場合、方法は、小端部を含む積載物端面のみを走査することを含む。別の実施形態において、丸太積載物が丸太積載物の両端部間で混在する丸太の小端部を含む場合、方法は、両方の積載物端面を走査することと、両方の走査からの出力データを合成もしくはマージすることとを含む。
一実施形態において、方法は、深度画像または深度画像及びテクスチャ画像を、積載物端面のデータモデルに融合することを含む。
本発明の第2の態様は、本発明の第1の態様に関して言及された任意の1つ以上の特徴を含んでもよい。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太識別及び測定システムにおける使用のためのハンドヘルドスキャナユニットにあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、ハンドヘルドスキャナは、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサと、
保存及び/または処理のために、キャプチャされた深度及びテクスチャ画像を表すデータを出力するように構成されるコントローラとを備える。
1つの構成において、深度及びテクスチャセンサは、スキャナが走査中に積載物端面全体を走査したのと時間的に同じ瞬間に少なくともいくつかの深度画像及びテクスチャ画像を対として同時にキャプチャするように構成または操作される。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太識別及び測定システムにおける使用のためのデータプロセッサシステムにあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、データプロセッサシステムは、
積載物端面の一連のキャプチャされた深度及びテクスチャ画像を受信し、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成される。
1つの構成において、積載物端面の一連のキャプチャされた深度及びテクスチャ画像は、時間的に同じ瞬間に同時にキャプチャされた深度及びテクスチャ画像の少なくともいくつかの対を含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を識別及び測定する方法にあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、方法は、
積載物端面の一連のキャプチャされた深度及びテクスチャ画像を受信することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することとを含む。
1つの構成において、積載物端面の一連のキャプチャされた深度及びテクスチャ画像は、時間的に同じ瞬間に同時にキャプチャされた深度及びテクスチャ画像の少なくともいくつかの対を含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太走査システムにあり、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
各走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
個々の丸太のそれぞれの丸太端部の1つ以上の物理的特性を決定するために、深度及び/またはテクスチャ画像を処理し、
決定された1つ以上の物理的特性を表す丸太積載物に対する出力データを生成するように構成されるデータプロセッサとを備える。
1つの構成において、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に、一意の丸太IDデータを含むID要素を備え、システムは、個々の丸太に対する個々の丸太IDデータを抽出するために、深度及び/またはテクスチャ画像を処理することをさらに含む。この構成において、システムは、抽出された丸太IDデータ及びそのそれぞれの決定された1つ以上の物理的特性を表す出力データを生成するように構成されてもよい。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査する方法にあり、方法は、
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
それぞれの個々の丸太の丸太端部の1つ以上の物理的特性を決定するために、深度及び/またはテクスチャ画像を処理することと、
決定された1つ以上の物理的特性を表す丸太積載物に対する出力データを生成することとを含む。
1つの構成において、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に、一意の丸太IDデータを含むID要素を備え、方法は、深度及び/またはテクスチャ画像に基づいて、個々の丸太に対する個々の丸太IDデータを抽出することをさらに含む。この構成において、方法は、抽出された丸太IDデータ及びそのそれぞれの決定された1つ以上の物理的特性を表すデータを出力することをさらに含んでもよい。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太走査システムにあり、システムは、
丸太積載物の積載物端面上での走査のための移動可能なスキャナユニットであって、
積載物端面走査の間、積載物端面の1つ以上の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の1つ以上のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
各走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、丸太積載物の1つ以上の特性を表す出力データを生成するために、深度及び/またはテクスチャ画像を処理するように構成されるデータプロセッサとを備える。
一実施形態において、特性は、丸太カウント、丸太の1つ以上の物理的特性を表す個々の丸太に対する丸太端部境界データ、及び丸太積載物における個々の丸太を識別するための丸太IDデータのいずれか1つ以上であってもよい。
一実施形態において、スキャナユニットは、操作者により積載物端面上で走査されるハンドヘルドユニットである。別の実施形態において、スキャナユニットは、自動的に、または操作者による手動制御に応じて、積載物端面を走査するために丸太積載物に対してスキャナユニットを移動させるように構成される、操作可能な動力支持システムに装着またはそれにより支持される。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査する方法にあり、方法は、
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備える移動可能なスキャナユニットで丸太積載物の積載物端面を走査することと、
丸太積載物の1つ以上の特性を表す出力データを生成するために、深度及び/またはテクスチャ画像を処理することとを含む。
一実施形態において、特性は、丸太カウント、丸太の1つ以上の物理的特性を表す個々の丸太に対する丸太端部境界データ、及び丸太積載物における個々の丸太を識別するための丸太IDデータのいずれか1つ以上であってもよい。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太識別及び測定システムにあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成されるデータプロセッサとを備える。
一実施形態において、データプロセッサ(複数を含む)は、丸太端部境界データ、丸太IDデータ、及び生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を含む丸太積載物を表す出力データを生成するようにさらに構成される。
一実施形態において、データプロセッサ(複数を含む)は、積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成するようにさらに構成され、出力データは、丸太カウントをさらに含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を識別及び測定する方法にあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、方法は、
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することとを含む。
一実施形態において、方法は、丸太端部境界データ、丸太IDデータ、及び生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を含む丸太積載物を表す出力データを生成することをさらに含む。
一実施形態において、方法は、積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することをさらに含み、出力データは、丸太カウントをさらに含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太識別及び計数システムにあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
丸太カウント及び丸太IDデータを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
一実施形態において、データプロセッサ(複数を含む)は、各丸太に対する代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の1つ以上の物理的特性を測定し、また生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するようにさらに構成され、丸太積載物を表す生成された出力データは、丸太端部境界データ、及び個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性をさらに含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を識別及び計数する方法にあり、丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、方法は、
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
丸太カウント及び丸太IDデータを含む丸太積載物を表す出力データを生成することとを含む。
一実施形態において、方法は、各丸太に対する代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することと、丸太端部境界データ、及び個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性をさらに含む丸太積載物を表す出力データを生成することとをさらに含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太計数システムにあり、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成し、
丸太カウントを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を計数する方法にあり、方法は、
積載物端面の一連の深度画像を取得するために、深度センサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することと、
丸太カウントを含む丸太積載物を表す出力データを生成することとを含む。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を走査するための丸太測定システムにあり、システムは、
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
丸太端部境界データを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
別の態様において、本発明は、概して、丸太の積載物(丸太積載物)を測定する方法にあり、方法は、
積載物端面の一連の深度画像を取得するために、深度センサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
丸太端部境界データを含む丸太積載物を表す出力データを生成することとを含む。
別の態様において、本発明は、概して、処理デバイス上で実行された場合に、処理デバイスに本発明の上記態様のいずれかの方法を実行させるコンピュータで実行可能な命令が保存された、コンピュータ可読媒体にある。
上記の本発明の各態様は、本発明の他の態様のいずれかに関して言及された特徴のいずれか1つ以上を含んでもよい。
定義
「機械可読コード」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、線形の一次元バーコードもしくはマトリックス式の二次元バーコード、例えばクイックレスポンス(QR)コード、三次元コード、または画像のキャプチャ及び処理等により走査可能な任意の他のコードであるかを問わず、バーコード等の情報を表す、または埋め込んだ、もしくは符号化した視覚的または図形的コードの任意の形態を意味するように意図される。
「ポーズ」という用語は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、座標系に対する空間的場所及び方位を意味するように意図される。
「丸太積載物」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、山、束または積み重ねとして、輸送車両上の原位置にあるか、または地面もしくは他の表面上に載置されているかを問わず、木の丸太または幹の任意の山、束、または積み重ねを意味するように意図され、積載物における各丸太の長軸は、丸太積載物が、各丸太の丸太端部を含む2つの反対の積載物端面を有するものとみなされ得るように、他の丸太と実質的に同じ方向に延在している。
「積載物端面」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、丸太端部の表面を含む丸太積載物の端部を意味するように意図される。
「丸太端部」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、その端部のいずれかからの丸太の表面または視界を意味するように意図され、これは、典型的には丸太のいずれかの端部表面を示す視界を含み、丸太端部表面は、典型的には、大まかに、または実質的に丸太の長軸に直角に延在している。
「木質部−樹皮境界」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、例えば、これに限定されないが、丸太端部を見た場合に、丸太の木質部と、表面上の任意の樹皮または木の周縁部との間の、丸太端部周囲または周縁部境界を意味するように意図される。
「樹皮上丸太端部境界」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、丸太端部に存在する任意の樹皮を包含する丸太端部の周囲境界を意味するように意図される。
「樹皮下丸太端部境界」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、木質部のみが境界内にあるような、丸太端部の周囲に沿って存在する任意の樹皮の下方または下に延在する丸太端部の周囲境界を意味するように意図される。ほとんどの状況において、樹皮下丸太端部境界は、木質部−樹皮境界と等価であるとみなすことができる。
「自由形式」という語句は、走査に関連して本明細書及び特許請求の範囲において使用される場合、例えば吹き付け塗装の動き(但しこの動きに必ずしも限定されない)と同様の様式で、複数の視点及び位置から積載物端面全体の画像を漸進的にキャプチャするために走査する際に、操作者が積載物端面に対してハンドヘルドスキャナを自由に移動または操作することができることを意味するように意図される。
「コンピュータ可読媒体」という語句は、本明細書及び特許請求の範囲において使用される場合、単一の媒体または複数の媒体を含むようにみなされるべきである。複数の媒体の例は、集中もしくは分散データベース及び/または関連するキャッシュを含む。これらの複数の媒体は、コンピュータ可読命令の1つ以上のセットを保存する。「コンピュータ可読媒体」という用語はまた、携帯型コンピュータデバイスのプロセッサによる実行のための、またプロセッサに本明細書に記載の方法のいずれか1つ以上を実行させる命令のセットを保存、符号化または担持することができる任意の媒体を含むようにみなされるべきである。コンピュータ可読媒体はまた、これらの命令のセットにより使用される、またはそれらに関連したデータ構造を保存、符号化または担持することができる。「コンピュータ可読媒体」という語句は、固体メモリ、光学媒体及び磁気媒体を含む。
「備える(comprising)」という用語は、本明細書及び特許請求の範囲において使用される場合、「少なくとも部分的に〜からなる」を意味する。本明細書及び特許請求の範囲における「備える」という用語を含むそれぞれの記述を解釈する際、この用語により前置きされた特徴以外の特徴もまた存在してもよい。「備える(comprise)」及び「備える(comprises)」等の関連した用語は、同様の様式で解釈されるべきである。
本明細書において使用される場合、「及び/または」という用語は、「及び」もしくは「または」、またはその両方を意味する。
本明細書において使用される場合、名詞に続く「(複数可)」は、その名詞の複数及び/または単数形を意味する。
本発明は、上記の通りであるが、以下に単なる例示として示される構成もまた想定している。
以下の説明において、実施形態の完全な理解を提供するために、特定の詳細が示されている。しかしながら、実施形態は、これらの特定の詳細なしで実践され得ることが、当業者に理解される。例えば、ソフトウェア、モジュール、関数、回路等は、不必要な詳細をもって実施形態を不明確化しないために、ブロック図で示され得る。他の場合において、周知のモジュール、構造及び技術は、実施形態を不明確化しないために、詳細に示されない可能性がある。
また、実施形態は、フローチャート、フロー図、構造図、またはブロック図として描かれるプロセスとして説明され得ることに留意されたい。フローチャートは、逐次的プロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実行されてもよい。さらに、動作の順番は並べ替えられてもよい。プロセスは、その動作が完了した際に終了される。プロセスは、コンピュータプログラム内のメソッド、関数、プロシージャ、サブルーチン、サブプログラム等に対応し得る。プロセスが関数に対応する場合、その終了は、関数呼び出しまたはmain関数への関数のリターンに対応する。
後述のシステム及び方法の態様は、これらに限定されないが、デスクトップ、ラップトップ、ノートパソコン、タブレットまたは携帯デバイスを含む、任意の種類の汎用コンピュータシステムまたはコンピュータデバイス上で動作可能である。「携帯デバイス」という用語は、これらに限定されないが、無線デバイス、携帯電話、スマートフォン、携帯通信デバイス、ユーザ通信デバイス、携帯情報端末、携帯ハンドヘルドコンピュータ、ラップトップコンピュータ、電子コンテンツを読むことができる電子ブックリーダ及びリーディングデバイス、ならびに/または、典型的には個人により持ち運ばれる、及び/もしくはある形態の通信機能(例えば、無線、赤外線、近距離無線等)を有する他の種類の携帯デバイスを含む。
例示のみを目的として、図面を参照しながら本発明の好ましい実施形態を説明する。
本発明の一実施形態による、丸太識別及び測定システムの概略図である。 本発明の一実施形態による、図1のシステムのハンドヘルドスキャナユニットの正面図である。 図2のハンドヘルドスキャナユニットの背面図である。 本発明の一実施形態によるシステムのハンドヘルドスキャナユニットに関連した、電源及びスキャナコントローラを示す図である。 本発明の一実施形態によるハンドヘルドスキャナユニットによりキャプチャされている画像データのリアルタイム視覚表現を示す、操作者インターフェースデバイスを示す図である。 図2のハンドヘルドスキャナユニットの代替の実施形態の正面斜視図である。 本発明の一実施形態によるシステムの主データ処理ユニットを示す図である。 木材運搬トラックの後部上の丸太積載物の積載物端面を走査している間、ハンドヘルドスキャナユニット及び操作者インターフェースデバイスを保持している操作者を示す図である。 本発明の一実施形態による、操作者が丸太積載物を走査する際のハンドヘルドスキャナユニットの可能な操作経路の例を示す図である。 複数の視点及び/または位置からの積載物端面の走査により、丸太積載物の積載物端面の画像化において阻害がどのように最小限化され得るかを概略的に示す図である。 システムのハンドヘルドスキャナユニットの深度センサによりキャプチャされる丸太積載物の積載物端面の原深度画像の例を示す図である。 システムのハンドヘルドスキャナユニットのテクスチャセンサによりキャプチャされる丸太積載物の積載物端面の原テクスチャ画像の例を示す図である。 丸太積載物の積載物端面の走査中にシステムの操作者インターフェースデバイス上に見られる表示画像の例を示す図である。 本発明の一実施形態によるシステムのソフトウェアアーキテクチャ及びデータ処理コンポーネントの概略図である。 本発明の一実施形態による、データ処理において使用される様々な座標系及び座標系の間の変換の概略的な例を示す図である。 個々の丸太IDタグが特定及び復号化された、丸太積載物の積載物端面の処理されたテクスチャ画像を示す図である。 丸太積載物の積載物端面の走査中にハンドヘルドスキャナユニットの深度センサによりキャプチャされた、融合された原深度画像のトランケートされた符号付き距離関数(TSDF)モデルの視覚表現を示す図である。 図15の積載物端面のTSDFによる断面を示す図である。 図15の積載物端面のTSDFから生成されたメッシュ表面モデルの視覚表現を示す図である。 図15の積載物端面のTSDFから生成されたレイキャスト直交深度画像を示す図である。 図15の積載物端面のTSDFから生成されたレイキャスト直交垂直画像を示す図である。 画像から人物及びトラック部分等の丸太以外の要素を除去した後の、図18のレイキャスト深度画像を示す図である。 はがれた樹皮を丸太端部から除去するためにさらに清浄化した後の、図20のレイキャスト深度画像を示す図である。 図18の元のレイキャスト深度画像上に重ね合わされた、検出された個々の樹皮上丸太端部境界の視覚表現を示す図である。 丸太積載物の積載物端面の走査中にキャプチャされた原テクスチャ画像上に投影された、検出された丸太端部樹皮上境界の視覚表現を示す図である。 丸太積載物の積載物端面の走査中にキャプチャされたテクスチャ画像上に投影された、検出された丸太端部樹皮上境界を示す図であり、丸太端部は、丸太IDタグと、IDタグを特定及び復号化するためのその後の画像処理のための、丸太に関連した部分画像境界とを含む。 検出された丸太端部樹皮上境界をテクスチャ画像に投影し、木質部−樹皮分割アルゴリズムを実行することにより決定された、精緻化された樹皮下丸太端部境界を示す図である。 丸太IDタグの位置の三角測量、及びそれらのそのそれぞれの丸太端部境界への関連付けまたはリンクを示す概略図である。 丸太積載物における各丸太の小端部に固定された丸太IDタグの種類の一例を示す図であり、タグは、この実施形態においてQRコードを含む。 メートル単位での図形としての検出された樹皮下丸太端部境界を示す図である。 走査された丸太積載物の積載物端面の検出された樹皮下丸太端部境界及びそれぞれの個々の丸太IDコードを示す図である。 丸太積載物の1つの積載物端面の走査に対する、システムから生成された概略的丸太積載物レポートを示す図であり、IDタグを有する丸太の全ての小端部がその積載物端面にある。 丸太積載物の第1の積載物端面の走査から生成された第1の概略的丸太積載物レポートを示す図であり、IDタグを有する丸太の小端部は、丸太積載物の両端部の間で混在して提供されている。 図31の丸太積載物の第2の積載物端面の走査から生成された第2の概略的丸太積載物レポートを示す図である。 図31及び32からのデータから生成された、マージされた丸太積載物レポートを示す図である。 代替の実施形態における、システムにより丸太積載物の積載物端面の走査から得られたテクスチャ画像を融合することによって生成された、切断カラー関数(truncated colour function、TCF)の形態の空間データ構造の視覚表現を示す図である。
1.概要
本発明は、林業における使用のための丸太走査システムに関する。特に、システムは、丸太端部に固定された識別(ID)要素に基づいて積載物における個々の丸太のそれぞれを識別するため、積載物における丸太の数を計数するため、及び/または、輸出等の商業目的で丸太を評価するために使用され得る、端部直径測定値等の個々の丸太の特性を測定もしくは決定するために、丸太の積載物または山(丸太積載物)を走査するべく使用され得る。システムは、主として、トラックから丸太を降ろす必要なく、木材運搬トラック上の原位置で送達された丸太の積載物を走査するための、木材運搬トラック処理ステーションまたはチェックポイント、例えば港または他の丸太処理ステーションにおける使用のために設計される。システムにより取得された走査データは、個々の丸太の識別及び追跡、丸太の計数、ならびに/または、例えば丸太輸出産業に関連して、量及び価値を決定するための丸太の評価のための、丸太インベントリまたはレポートシステムの一部として使用され得る。システムは、例示のために、木材運搬トラックまたはトレーラの後部上の丸太積載物を走査する用途に関連して説明されるが、システムはまた、船舶、貨車、積込機、もしくは他の車両上に位置する丸太の山、または、地面もしくは他の場所、例えば丸太架台の上に積み重ねられた、もしくは別様に載置された丸太の山もしくは積載物を走査するために使用されてもよいことが理解される。システムは、室内または室外での使用に適合され得る。
説明される実施形態は、丸太識別、丸太計数、及び丸太測定、例えば評価のために丸太積載物を走査するように構成される、丸太走査システムに関する。特に、説明される実施形態において、システムからの走査データは、積載物における個々の丸太の識別、積載物における丸太の数の計数、及び積載物における丸太の評価に使用され得る。しかしながら、システムの機能性は、システムの要件に依存して修正または変更されてもよいことが理解される。第1の代替の実施形態において、丸太走査システムは、丸太識別及び丸太計数用に構成されてもよい。第2の代替の実施形態において、丸太走査システムは、丸太識別及び丸太測定用に構成されてもよい。第3の代替の実施形態において、丸太走査システムは、丸太計数用にのみ構成されてもよい。第4の代替の実施形態において、丸太走査システムは、丸太測定用にのみ構成されてもよい。
2.システムハードウェア概要
図1〜6を参照して、丸太識別及び測定システム10の一実施形態の主要ハードウェアコンポーネントが、さらに詳細に説明される。図1を参照すると、この実施形態において、システム10は、データ処理システム20とデータ通信している可搬式走査システム11を備える。可搬式走査システム11は、木材運搬トラック上の原位置で丸太積載物の積載物端面を走査するために、操作者により持ち運ばれて利用されるように構成される。可搬式走査システム11は、丸太積載物の積載物端面の自由形式の走査のために、操作者14の手(複数を含む)により保持されるように構成されるハンドヘルドスキャナユニット12を備える。この実施形態において、後により詳細に説明されるように、ハンドヘルドスキャナユニット12には、丸太積載物の一方または両方の積載物端面の、一連の同時の深度画像及びテクスチャ画像(深度及びテクスチャ画像の対)を取得またはキャプチャするためのセンサが提供されている。この実施形態において、システムはまた、ハンドヘルドスキャナユニット12のセンサによりキャプチャされている視野または深度及びテクスチャ画像のリアルタイム表現を表示するためのディスプレイを備える、別個の操作者インターフェースデバイス16を備える。スキャナコントローラ18及び電源19は、ハンドヘルドスキャナユニット12に配線接続されている。スキャナコントローラ18は、ハンドヘルドスキャナユニット12からの深度及びテクスチャ画像データストリームを受信し、これらの画像が無線データ通信リンクまたはネットワーク26を介してデータ処理システム20に無線で伝送される前に、これらの画像を前処理する。
この実施形態におけるデータ処理システム20は、可搬式スキャナシステム11から深度及びテクスチャ画像データを受信するように構成される通信モジュール22を備える。データ処理システムはまた、通信モジュール22に操作可能に接続され、さらなる処理、ならびに走査された丸太の識別された丸太ID、丸太カウント、及び丸太端部直径測定値を含む丸太積載物レポートの生成のために、深度及びテクスチャ画像データを受信する、データプロセッサ24を備える。データプロセッサ24は、後により詳細に説明されるが、典型的には、プロセッサ28、メモリ30、ディスプレイ32、データストレージ34、ユーザインターフェース36、ならびに、別のデバイス及び/またはインターネットもしくは同様のもの等のネットワーク40に接続するための通信モジュール38を備えてもよい。ストレージデータベース42もまた、データプロセッサにより生成された出力データまたは積載物レポートデータファイルを保存するために、データプロセッサ24により直接的または間接的にアクセス可能であってもよい。
可搬式操作システム11における様々なコンポーネントは、代替の実施形態において、より少ないコンポーネントもしくは単一のコンポーネントまで組み合わされる、もしくは統合されてもよく、またはさらに、必要に応じてより多くのコンポーネントに分割されてもよいことが理解される。同様に、データ処理システム20のコンポーネントは、代替の実施形態において、統合されてもよく、または別個のコンポーネントにさらに分割されてもよい。
図2を参照すると、ハンドヘルドスキャナユニット12の一実施形態が示されている。この実施形態において、ハンドヘルドスキャナユニット12は、使用者の手(複数を含む)による把持のための、及び1つ以上のセンサを装着または支持する主ハンドル50を備える。この実施形態において、ハンドヘルドスキャナユニット12は、丸太積載物の積載物端面の深度画像をキャプチャするように構成される深度センサ52と、積載物端面のテクスチャ画像をキャプチャするように構成されるテクスチャセンサ56とを備える。深度及びテクスチャセンサ52、56は、同じ方向を向くように、すなわち実質的に同じ視野を有するように装着される。
この実施形態において、深度センサは、積載物端面の一連の深度画像をキャプチャし、走査中に得られた一連の、またはセットのキャプチャされた深度画像を表す代表的深度画像データを生成するための深度カメラ52である。この実施形態において、深度カメラは、ASUS XTion Pro Live深度カメラであるが、これに限定されないが、ハンドヘルドPrime Senseデバイス等の任意の他の代替の深度カメラが代替として使用されてもよいことが理解される。この実施形態において、深度カメラは、830nmの赤外線(IR)パターンを生成する赤外線(IR)投影機を使用する。深度画像に対する日光の影響を低減するために、深度カメラレンズ上に狭帯域IRフィルタ54が提供される。他の深度カメラが代替として内蔵式のIRフィルタを有してもよく、または、いかなるIRフィルタもなしにシステム内で機能するように構成されてもよく、または別様に、代替の実施形態において、日光の存在下で機能するように構成されてもよい。他の代替の実施形態において、赤外線周波数または可視光もしくは他の周波数で機能するものを含む、異なる波長を使用する深度カメラが使用されてもよい。
代替の実施形態が、任意の他の好適な種類の深度センサを使用し得ることが理解される。例えば、代替の実施形態において、深度センサは、ステレオカメラであってもよい。
この実施形態において、テクスチャセンサは、積載物端面の一連のテクスチャ画像をキャプチャし、走査中に得られた一連の、またはセットのキャプチャされたテクスチャ画像を表す代表的テクスチャ画像データを生成するように構成されるテクスチャカメラ56である。この実施形態において、テクスチャカメラは、Point Grey Grasshopper 3モノクロカメラであるが、モノクロであるかカラーであるかを問わず、任意の他の好適なテクスチャカメラが代替として使用されてもよいことが理解される。この実施形態において、後述される丸太端部境界のその後の樹皮−木質部境界分割処理用に、キャプチャされたモノクロテクスチャ画像を向上させるために、テクスチャカメラ56のレンズ上にカラーフィルタ58が提供される。内蔵式のカラーフィルタ(複数を含む)を有する代替のテクスチャカメラが使用されてもよいことが理解される。一例において、カラーフィルタは、赤色カット、青色強調フィルタであってもよい。これは、樹皮が暗色で赤みがかった色である丸太の種に有用であり、赤色カットフィルタによって、樹皮はキャプチャされたモノクロ画像においてさらにより暗く見え、したがって、分割画像処理において、より明るい木質部から区別することがより容易となる。丸太端部が青色吹き付け塗料によりマークされている場合、青色強調型のフィルタによって、青色吹き付け塗料はモノクロ画像においてより明るく見え、またこの場合ではほとんど消失し、分割アルゴリズムに干渉しない。カラーフィルタの厳密な特性は、走査されている丸太の種に依存して変更され得ること、また、カラーフィルタは、ほとんどの種及びマークに対して機能するように微調整され得ることが理解される。しかしながら、カラーフィルタは必須ではなく、木質部と樹皮との間の差の大部分は、明度(強度)の差にあることが理解される。例えば、テクスチャカメラは、システムの代替の構成において、いかなるカラーフィルタ(複数を含む)も使用せずに使用され得る。
この実施形態において、ハンドヘルドスキャナユニット12は、丸太積載物の積載物端面の走査を始動及び停止するように操作され得る操作可能なトリガボタン60を備える。特に、操作者は、ハンドル50上のトリガボタン60を作動させて、または押下して操作を始動させ、これによって、複数の視点及び位置からの積載物端面全体の像をキャプチャするために操作者により移動及び操作される際に、積載物端面の同時の深度及びテクスチャ画像の対のキャプチャが開始する。トリガボタン60が操作者により離されると、深度及びテクスチャ画像のキャプチャは停止し、取得された深度及びテクスチャデータは、データ処理システム20による処理に送信される。
この実施形態において、ハンドヘルドスキャナユニット12は、ハンドルアセンブリ50内に装着されたセンサコントローラ62及び3軸加速度計を備える。センサコントローラ62は、マイクロコントローラまたはマイクロプロセッサであってもよい。センサコントローラ62は、トリガボタン60に操作可能に接続され、操作を開始及び停止するためのトリガボタンの作動(すなわち、押すこと、及び離すこと)に応じて、深度及びテクスチャカメラ52、56の操作を制御する。センサコントローラ62はまた、3軸加速度計64により感知及び生成された加速度計信号を読み取り、例えばUSBインターフェース、または任意の他の配線接続もしくは無線データ接続を介して、スキャナコントローラ18に操作可能に接続される。ハンドルアセンブリ50の端部から延在するデータケーブル66は、スキャナコントローラ18を、ハンドヘルドスキャナユニット12に装着されたセンサコントローラ62、深度カメラ52、テクスチャカメラ56、及び無線通信モジュール68に操作可能に接続する。この実施形態において、無線通信モジュール68は、走査中に取得された取得深度及びテクスチャ画像データ、ならびにキャプチャされた加速度計信号または値を、処理及び丸太積載物レポート生成のためにデータ処理システム20に伝送するように構成される。
この実施形態において、テクスチャカメラ56は、図3に示されるように、カメラ52、56の間に接続された同期ケーブル70を介して深度カメラ52と同期される。この同期により、深度及びテクスチャ画像の各対が、時間的に同じ瞬間にキャプチャされることが確実となる。
図4を参照すると、可搬式走査システム11のスキャナコントローラ18及びバッテリー電源19が示されている。この実施形態において、スキャナコントローラ18は、Intel NUCデバイス等の可搬式コンピュータの形態であるが、代替として、任意の他の可搬式コンピュータまたはコントローラシステムが使用されてもよいことが理解される。可搬式コンピュータは、プロセッサ72、メモリ74、及び外部デバイスに操作可能に接続するためのインターフェース76を備えてもよい。この実施形態において、オフにすることなくバッテリー19と主電源との間で切り替えることができるように、デュアル電源が可搬式コンピュータ18に提供される。スキャナコントローラ18の主な機能は、「走査ツール」及び「ボタンコントローラ」を実行することであり、これらは後により詳細に説明される。
図5を参照すると、操作者インターフェースを表示する操作者インターフェースデバイス16は、任意の可搬式ハンドヘルド電子デバイス、例えば、スマートフォンタブレット、可搬型デジタル補助装置(PDA)、または、ディスプレイを有する任意の他の携帯型コンピュータデバイスもしくは任意の他の好適な可搬式電子表示デバイス上で実行され得る。この実施形態において、操作者インターフェースデバイス16は、USBリンクもしくはケーブル、または任意の他の好適な配線接続もしくは無線データ接続もしくはリンクを介して、スキャナコントローラ18に操作可能に接続される。後により詳細に説明されるように、操作者インターフェースデバイスは、操作者が現在センサ52、56の視野内にある丸太積載物の積載物端面の部分を観察し、そのフィードバックを有することができるように、走査中にリアルタイムで取得されているリアルタイム深度及びテクスチャ画像データの視覚表現を受信及び表示するように構成される。
代替の実施形態において、操作者インターフェースデバイス16は、ハンドヘルドスキャナユニットに統合されてもよく、または装着されてもよい。例えば、図5Aは、図2に示されるものに類似した代替のハンドヘルドスキャナユニット12aの一例を示すが、ディスプレイを備える操作者インターフェースデバイス16は、別個のコンポーネントではなく、ハンドヘルドスキャナユニットに装着されている。示されるように、この代替の実施形態のハンドヘルドスキャナユニット12aはまた、前述のように、深度及びテクスチャセンサ52、56、ハンドル50、操作可能なトリガボタン60、ならびにデータケーブル66を備える。
図6を参照すると、この実施形態におけるデータ処理システム20が示されている。可搬式走査システム11のスキャナコントローラ18との無線データ通信リンクを確立するための、無線アクセスポイント22が示されている。データプロセッサ24は、無線アクセスポイントに接続され、関連したディスプレイ32、ならびにコンピュータを制御するためのキーボード及びマウス等のユーザインターフェースコンポーネント36を有する、汎用デスクトップコンピュータ24の形態である。当業者に理解されるように、データプロセッサ24の主な目的は、データ処理システム20の無線アクセスポイント22に無線で伝送されるハンドヘルドスキャナユニット12によりキャプチャされた深度及びテクスチャ画像データの、重い画像処理を実行することである。代替の実施形態において、データ処理システム20は、必ずしもディスプレイまたはユーザインターフェースを有する必要はなく、他のコンピュータもしくは機械上で観察するために、及び/あるいは、例えばデータベースもしくは他のストレージデバイス内に、またはクラウドサーバ内に保存するために、単にデータ処理を実行し、丸太積載物レポートまたはデータファイルを出力するように構成されてもよい。
3.走査プロセス及びデータキャプチャ
ここで、例示として、操作者によりシステム10を使用して実行される典型的な走査プロセスを説明する。操作者は、ベルトまたはベルトバッグまたは同様のものを使用して、スキャナコントローラ18及び電源部19を腰の周りに取り付け、一方の手にハンドヘルドスキャナユニット12を、他方の手に操作者インターフェースデバイス16を保持する。操作者は、図7に示されるように、吹き付け塗装に類似した動きで丸太積載物の積載物端面を走査する。ハンドヘルドスキャナユニットは、積載物端面上を走査すると、ハンドヘルドスキャナユニット12の深度カメラ52及びテクスチャカメラ56から、同期及び補正された原深度画像及びテクスチャ画像を取得する。これに関して、「同期」は、深度及びテクスチャ画像の対が、時間的に同じ瞬間に取得されることを意味し、「補正」は、センサ52、56の固有パラメータ(例えば、焦点距離、倍率、歪み)及びセンサ間の形状保存変換が、ハンドヘルドスキャナユニット12上でのそれらの互いに対する装着位置に基づいて既知であることを意味する。
この実施形態において、操作者14は、典型的には、約1.5から約2メートルの範囲内の積載物端面からの隔離距離に位置するが、これは、使用されるセンサに依存して変動または変更され得る。特に、隔離距離は、深度及び/またはテクスチャカメラのキャプチャ範囲及び視野に少なくとも部分的に依存する。操作者は、典型的には、木材運搬トラック上の丸太の積載物端面に沿って歩き、漸進的に積載物の面全体の画像データを取得する。積載物端面全体のテクスチャ及び深度画像データを取得するための典型的な時間は、木材運搬トラック上の典型的な丸太積載物に対して、一般に約20〜30秒である。深度カメラ52及びテクスチャカメラ56の視野は、典型的には、丸太積載物の積載物端面全体の表面積より小さく、したがって、スキャナは、一連の部分的に重複する深度及びテクスチャ画像の対をキャプチャして積載物端面全体をキャプチャするために、積載物端面に対して移動され、操作される。カメラのフレームレートは、要件に依存して変動し得る。この実施形態において、フレームレートは、約30フレーム毎秒(FPS)であり、カメラは両方ともこのフレームレートでトリガされる。そのようなフレームレートでは、典型的には、深度及びテクスチャ画像の約600〜900の対の集合が走査中に取得されるが、キャプチャされるデジタル深度及びテクスチャ画像の対の数は、積載物端面全体を走査するのに必要な時間、ならびにハンドヘルドスキャナユニット12の深度及びテクスチャカメラ52、56の構成されたフレームレートに依存して変動し得ることが理解される。
図7Aを参照して、丸太積載物の走査の一例がさらに説明される。走査の開始時の深度及びテクスチャセンサ52、56の視野が、積載物端面の左下角部の180に示され、操作者は、182に示される積載物端面の右上角部で走査を完了するまで、181で特定される略N型査経路に従ってスキャナを移動させる。この走査経路は、図7Aに示される経路に制限されず、処理のために積載物端面から必要な走査データをキャプチャするために、多くの他の可能な操作経路が使用され得ることが理解される。いくつかの構成において、好ましい走査経路が示唆または必要とされ得るが、他の構成においては、走査経路は、操作者により任意に、または無作為に選択され得る。
この実施形態において、丸太走査システムは、操作者による丸太積載物の積載物端面上でのハンドヘルドスキャナユニットの自由形式の走査のために構成される。代替の実施形態において、システムは、ハンドヘルドスキャナユニットが装着または結合され得る操作可能な動力支持システム、例えばロボットアームまたは同様のものをさらに備えてもよく、支持システムは、積載物端面に対する走査経路に沿ってスキャナユニットを移動させることにより、丸太積載物の積載物端面を走査するように自動化され得る、または操作者により制御され得ることが理解される。自動化される場合、走査経路は、事前に決定もしくは事前に構成されてもよく、または、ロボットアームもしくは支持システムが遠隔デバイスもしくはシステムを介して手動制御される場合、操作者が走査経路を制御してもよく、これは、推奨される走査経路もしくは任意に選択される走査経路に従ってもよい。
この実施形態において、深度カメラ及びテクスチャカメラは、30FPSのフレームレートで、または任意の他の好適なフレームレートで画像をキャプチャするように、同じパルストリガ信号で同時にトリガされる。1つの構成において、深度及びテクスチャ画像の対のストリームは全て、積載物端面から測定された、走査されている必要な情報を抽出するためのデータ処理に送信される。別の構成において、ハンドヘルドスキャナは、全ての深度画像と、2つおきのテクスチャ画像等のテクスチャ画像のサブサンプルのみをデータ処理に送信し、選択されていないキャプチャされたテクスチャ画像は廃棄されるように構成されてもよい。この構成において、データ処理は、一連の深度画像及び一連のテクスチャ画像に対して実行され、各テクスチャ画像は対応する深度画像を有するが、全ての深度画像が対応するテクスチャ画像を有するわけではない。別の構成において、テクスチャカメラは、より低い周波数、例えば10FPSで、すなわち主要トリガ信号のパルスの全3つのうち2つを抑制または除去する回路またはソフトウェアを使用して、フィルタまたは修正されたトリガ信号でトリガされる。この構成において、キャプチャし、次いで全3つのテクスチャ画像のうち2つを廃棄する必要性が回避される。別の構成において、テクスチャカメラは、主要トリガ信号に基づいてより低い周波数またはフレームレートでトリガされ得るが、ハンドヘルドスキャナの移動に基づいてサブサンプリングし得る。例えば、ハンドヘルドスキャナが比較的静止している、または所定の移動閾値を下回る場合、処理に送信されるテクスチャ画像の数は、冗長画像データの処理を低減するために低減され得る。
後により詳細に説明されるように、丸太積載物における各丸太の小端部には、個々の丸太に関連した一意の丸太IDデータまたはコードを含むID要素が提供されている。この実施形態において、ID要素は、典型的には、これらに限定されないが、ラベルまたはシート上に印刷され、ホチキス、接着剤または同様のものでそれぞれの個々の丸太の小端面のほぼ中央にIDタグとして貼られたバーコードまたはクイックレスポンス(QR)コード等の機械可読コードの形態である(例えば図10を参照されたい)。この実施形態において、それぞれの個々の丸太は、その小端部にのみ単一のIDタグが提供されている。いくつかの丸太積載物において、丸太の全ての小端部が丸太積載物の同じ端部にある。そのような状況では、操作者は、IDタグを備える積載物端面を走査するだけでよい。しかしながら、他の状況において、木材運搬トラックは、個々の丸太の小端部が丸太積載物の両端部間で混在している状態で積載し得る。これらの状況では、操作者は、丸太積載物の各積載物端面で1回ずつ走査される、2回の別個の走査を行わなければならない。次いで、2回の走査のそれぞれからのデータは、後により詳細に説明されるように、丸太積載物に関連する出力データを生成するために合成される。
積載物端面の走査中、深度及びテクスチャデータが丸太積載物における全ての丸太に対して取得されることが重要である。これを可能とするために、操作者は、丸太積載物端部に沿って合理的に邪魔されずに移動できる必要があり、また、積載物端面の頂部及び底部で、ならびに丸太積載物の全幅に沿って画像をキャプチャできる必要がある。図8Aを参照すると、丸太積載物においていくつかの丸太が他の丸太よりもさらに突き出している可能性があるために、制限された移動がどのようにして阻害をもたらし得るかの概略図が示されている。図8Aは、単一の位置12aから深度及びテクスチャカメラが観察するものを示す。この位置からは、左側の大きな丸太の隣の丸太がさらに突き出しているため、左側の大きな丸太の一部の深度及びテクスチャデータを得ることができない。図8Bを参照すると、新たな位置12bからのハンドヘルドスキャナユニットの深度及びテクスチャカメラのビューが示されており、前のビュー12aが重ね合わされている。この概略図は、複数の位置及び視点からの積載物端面の走査により、どのようにして完全な網羅が達成され得るかを示す。例えば、港の木材チェックポイントに提供された傾斜路は、操作者が移動して積載物端面を走査するための理想的なプラットフォームを提供する。
例示として、図9〜12を参照して、積載物端面の走査中にキャプチャされた原深度及びテクスチャ画像のいくつかが示される。図9は、ハンドヘルドスキャナユニット12の深度カメラ52によりキャプチャされた典型的な原深度画像を示す。示されるように、深度カメラの視野は、この原深度画像において、積載物端面の一部のみをキャプチャしている。レンズ上のIR干渉フィルタは角度依存的な減衰を有するため、データは、原深度画像において円形領域内に現れる。図10は、図9の深度画像と同時にキャプチャされた、同期した原テクスチャ画像を示す。図10の原テクスチャ画像は、以前に説明されたようなテクスチャカメラ56によりキャプチャされる。図10において、個々の丸太の機械可読IDタグ、この例ではQRコードは、丸太端部の実質的に中央の場所に示される。図11は、操作者インターフェースデバイス16上で操作者に対して提示または表示される走査画像の一例を示す。表示された画像は、深度及びテクスチャカメラ52及び56によりキャプチャされているリアルタイムの深度及びテクスチャ画像データを表す。灰色のエリアは、現在の深度画像により観察されない値(例えば、特徴が遠く離れすぎている、または赤外線干渉があまりにも多すぎる場所等)を示す。画面の左上角部のインジケータ記号80は、露出設定に関するハンドヘルドスキャナユニット12の現在の状態を示す。インジケータ80は、例えば色分けされてもよい。例えば、インジケータ80は、露出が設定され、走査が進行され得ることを示す緑色であってもよい。次いで、インジケータは、画像を収集している間赤色に変わってもよく、また、露出が設定されている間黄色であってもよい。この例において、82に示される白色の四角形は、露出を設定するために使用される画像の領域を示す。この実施形態において、タグが明るいがまだ読み取ることができることが確実となる露出値が計算されるように、露出が設定されている間に少なくとも1つの機械可読IDタグがエリア内に存在することが好ましい。
4.データフロー及び処理
ここで、例示的実施形態を参照しながら、システムにおけるデータフロー及びデータ処理を説明する。
データフロー及びデータ処理の概要
図12を参照すると、システムのソフトウェアアーキテクチャの高レベルの概要が示されており、特に、システムの様々なハードウェアコンポーネント上に展開または実装された様々なソフトウェアコンポーネント及び/または機能及び/またはモジュールが説明される。図12において参照されるデータ処理コンポーネントの概要を、以下の表1に示す。
Figure 0006648135
表1:図12中のデータ処理コンポーネントの要約
スキャナコントローラ18は、走査ツールコンポーネント90及びボタンコントローラコンポーネント92を備える。走査ツールコンポーネント90は、スキャナコントローラ18上で実行され、ここで説明される様々な機能を実行する。走査ツール90は、深度センサ52及びテクスチャセンサ56とのインターフェースを提供し、走査中にセンサから深度及びテクスチャ画像を取得する。走査ツール90はまた、無線データリンク26を介したデータ処理システム20への伝送のために深度及びテクスチャ画像データを圧縮するための、深度及びテクスチャ画像に対する圧縮機能を形成する。この実施形態において、走査ツール90はまた、時間内の一連のテクスチャ画像をサブサンプリングするように構成される。例えば、この実施形態において、処理されるデータの量を低減するために、2つおきのテクスチャ画像がデータ処理に伝送される。走査ツール90はまた、後により詳細に説明されるように、QRコード等の機械可読IDタグ、及び樹皮−木質部境界が処理され得るように、テクスチャセンサ56の露出を調節するように構成される。この実施形態において、走査ツール90は、96及び98で示されるような無線データリンクを介したデータ処理システム20の画像保存コンポーネント94への圧縮深度画像(Dc)及び圧縮テクスチャ画像(Tc)の伝送を制御するように構成される。走査ツール90はまた、深度及び/またはテクスチャ画像から操作者表示画像を生成し、前述のように操作者インターフェースデバイスのディスプレイ102上で観察するために、それらを100に示されるように操作者インターフェースデバイスに伝送するように構成される。
例えばスマートフォンまたはタブレットまたは表示画面を有する同様の携帯型コンピュータデバイスである、操作者インターフェースデバイス16上のディスプレイコンポーネント102は、走査ツール90を取り付けるためのポートを開くように構成され、また、走査ツール90からポートに受信された画像を、操作者インターフェースデバイスの表示画面上に表示する。ディスプレイコンポーネント102は、スマートフォンまたはタブレット上で動作するアプリケーションであってもよい。以前に議論されたように、操作者インターフェースデバイス16は、USBケーブルでスキャナコントローラ18に接続されてもよい。この実施形態において、USBデータリンクを介してTCP/IP接続がなされる。操作者インターフェースデバイス上のアプリケーション102は、ソケットを開き、走査ツールコンポーネント90等のクライアントが接続するのを待つ。
スキャナコントローラ18はまた、ボタンコントローラコンポーネント92を備える。ボタンコントローラ92は、様々な機能を実行する。この実施形態における1つの機能は、ボタンの作動の文脈依存的フィルタリングである。操作者がトリガボタン60を押した、または離した場合、システムがトリガの作動が有効である状態にない限り、この動きは無視される。ボタンコントローラはまた、ハンドヘルドスキャナユニット12のセンサコントローラ62からのボタン作動信号またはメッセージを受信及び処理するためのインターフェースとして機能する。
データ処理システム20のデータプロセッサ24は、スキャナコントローラ18の走査ツール90から圧縮深度及びテクスチャ画像(Dc、Tc)を受信する、画像保存コンポーネント94を備える。この実施形態において、深度及びテクスチャ画像のデータストリームは、データ処理が即座に開始するのを可能にするために、それらがキャプチャされる際にリアルタイムでスキャナコントローラ18からデータプロセッサ24に伝送される。しかしながら、代替の実施形態において、画像データは、走査中に一連のバッチで送信されてもよく、または、代替の構成において、走査の最後に一度に全てが伝送されてもよい。画像保存部94は、受信した圧縮深度及びテクスチャ画像を解凍するように構成され、解凍された画像をデータストレージ34、例えばハードドライブ等に保存する。画像保存部94はまた、例えばポーズ推定コンポーネント104及びタグリーダコンポーネント106を含む、データプロセッサ24において動作している他のコンポーネントに、非圧縮画像(Di、Ti)を送信するように構成される。
タグリーダコンポーネント106は、画像保存部94からテクスチャ画像(Ti)を受信するように構成される。次いで、タグリーダ106は、各画像内の全てのQRコードを特定及び読み取るために、テクスチャ画像を画像処理するように構成される。この実施形態において、タグリーダ106は、各画像内で特定された各タグの一意のIDタグデータを含むIDタグデータファイルと、丸太積載物の積載物端面の走査中にキャプチャされた一連のテクスチャ画像内に、各IDタグが何回見られるかを示すデータを含む、IDタグ要約データファイルとを書き込むように構成される。
例として、図14は、タグリーダコンポーネント106により処理された後のテクスチャ画像を示す。QRタグのそれぞれが検出され、正確に復号化されている。さらなる例として、生成された例示的IDタグデータファイルの小セクションが、下の表2に示されており、これは、図14のテクスチャ画像及びその前後のテクスチャ画像の小部分の寄与を示している。
Figure 0006648135
表2:図14のテクスチャ画像からの抽出されたIDタグデータを含む例示的IDタグデータファイルの一部
表2において、第1列は画像IDであり、第2列はタグIDであり、第3列及び第4列は、テクスチャ画像内のタグ中心のX及びY座標である。対応するIDタグ要約データファイルを、以下の表3に示す。
Figure 0006648135
表3:例示的IDタグ要約データファイル
表3において、積載物に16のタグが検出されたこと、及び、テクスチャ画像の完全なセットにわたり各タグが何回観察されたかが示されている。QRコードが観察された最少回数は、この積載物端部に対しては35である。この例において、21×21マトリックスからなる最小標準QRコードが使用された。コードは、最高レベルの冗長性(最もロバスト)で生成され、いくつかの状況においてそれらは部分的にカバーされた場合復号化することができた。この実施形態において使用されたIDタグのQRコードの一例を、図27に示す。前述のように、システムは、代替として、他の機械可読IDコード、例えばバーコード、または任意の他の視認され得るID要素及び符号化された一意の識別データと共に使用され得ることが理解される。
ここで、走査中にキャプチャされた深度画像のセットを空間データ構造等の非明示的または3Dモデルに融合するためのポーズ推定器104及び表面モデラー108コンポーネントを説明する。図13に示され、以下の表4に要約されるデータ処理において使用される関連座標系を参照して、ポーズ推定器104及び表面モデラー108を説明する。
Figure 0006648135
表4:データ処理フローにおいて使用される座標系
ポーズ推定器104は、画像保存部94から深度画像(Di)のセットを受信するように構成される。ポーズ推定器は、ワールド座標系(CSW)におけるハンドヘルドスキャナユニット12のポーズ(Mi)を推定するように構成される。この実施形態において、画像のそれぞれの画像ID及びその関連したポーズ(Mi)を含むデータファイルが書き込まれる。次いで、ポーズ推定器は、深度画像(Di)及び関連したポーズ(Mi)を、表面モデラーコンポーネント108に送信するように構成される。
移動座標系(CSM)と呼ばれる座標系が、ハンドヘルドスキャナユニット12に関連付けられている。ポーズMiは、Diが取得された際のCSMからの測定値をCSWにマッピングする形状保存変換である。この実施形態において、ポーズ推定アルゴリズムは、同時位置決め及びマッピング(SLAM)技術における当業者に理解されるように、点−面誤差関数を使用してポーズを推定するために3D自己登録を実行する。所望により、代替として他のポーズ推定アルゴリズムが使用されてもよいことが理解される。1つのそのような代替例において、光学的整合性(photo−consistency)誤差を点−面誤差と組み合わせてポーズ推定精度を向上させるために、テクスチャ画像が使用されてもよい。
表面モデラーコンポーネント108は、それぞれ110及び112で示されるように、ポーズ推定器104から深度画像(Di)及びポーズ(Mi)を受信するように構成される。表面モデラー108は、全ての深度画像を一緒に非明示的モデル、3Dモデルまたは空間データ構造に融合するように構成される。次いで、表面モデラー108は、積載物面と平行で地面と同じレベルのポーズ(MR)を推定するように構成される。次いで、表面モデラー108は、レイキャスティングを使用して、ポーズMRでの非明示的モデルから直交深度画像(R)及び直交垂直画像を生成するように構成される。レイキャスト深度及びレイキャスト正像の1つ以上のセットが生成され得る。垂直画像は、最終画像において、積載物端面と平行となるためにどれほど画像を回転させるべきかを決定するのに役立つように使用され得る。最終レイキャスト深度画像(R)及びレイキャスト正像は、次いで、データプロセッサ24のハードドライブ等のストレージデバイス34に保存される。ポーズMR及びレイキャスト深度画像(R)からワールド座標系CSWへの変換(TR)もまた、データプロセッサ24のストレージ34内のデータファイルに保存される。任意選択で、システムは、データ処理において役立つように、非明示的モデルからの追加的情報、例えば頂点マップ及びテクスチャマップもレイキャストするように構成されてもよい。
この実施形態において、表面モデラー108は、原深度画像(Di)をトランケートされた符号付き距離関数(TSDF)等の空間データ構造に融合するように構成される。TSDFは、丸太をモデル化する非明示的関数の離散的表現である。データは、現在の深度画像とTSDFとの間の形状保存変換を見つけ、次いで現在の深度画像フレームからTSDFへの寄与を積算することにより互いに融合される。次いでこれが、次の深度画像フレームに対して、またその他にも、走査中に取得された一連または組の全てのその後のキャプチャされた深度画像に対して反復される。生成された融合モデルは、それぞれの原深度画像フレームより大きく、一旦全ての深度画像が処理されると、積載物端部全体をカバーする。融合はまた、原深度データにおける不完全性(ノイズ)を大幅に低減する。
例として、走査された積載物端面のTSDFのレンダリングされた可視化を図15に示し、またTSDFによる断面を図16に示す。表面は、関数F(x, y, z)のゼロ交差を表す黒色領域の間の白色領域により描写されている。TSDFは、表面側方距離関数(surface side distance function)F(x, y, z)の離散的表現である。この関数は、表面から離れた距離を与え、3D表面は、同次方程式F(x,y,z)=0により表現される。各深度画像(Di)のポーズ(Mi)は、以前に説明されたようにポーズ推定器104により計算されるものとして知られているため、深度画像(Di)のセットに含まれる深度画像は、互いに融合され得る。深度画像を融合するこのプロセスにより、丸太積載物の積載物端面全体のモデルが形成され得、上述のように、原深度画像における不完全性(ノイズ)の影響が大幅に低減される。例として、ゼロ交差を特定するために、「マーチングキューブ」等のアルゴリズムを実行することができ、これによって、図17に示されるように、TSDFからメッシュ表面モデルが得られる。
この実施形態において、表面モデラー108は、ハンドヘルドスキャナユニット12における加速度計により感知された加速度計信号またはデータ値を受信するように構成され、TSDFの試験を使用して、積載物端面の下方及び法線方向を計算する。計算された下方及び法線方向を使用して、表面モデラーは、前述されたように、レイキャスティングを使用して、積載物端面と同じレベル及び垂直のTSDFの直交画像をレンダリングする。レイキャスティングは、SLAM技術における当業者に理解される技術である。
この実施形態において、単一の加速度計の読取り値または信号または値が走査の開始時に感知され、すなわち、走査当たり1つの加速度計値が感知される。この構成において、加速度計値またはデータは、加速度計データベクトル(vx、vy、vz)の形態である。代替の実施形態において、加速度計は、ハンドヘルドスキャナに提供される必要はなく、レベルは、画像データを処理することにより、例えばトラック部分に基づいて得られてもよい。他の代替の実施形態において、ハンドヘルドスキャナには、代替の、または追加的な慣性センサが提供されてもよい。一例において、ハンドヘルドスキャナユニットにジャイロスコープセンサが提供されてもよく、感知されたジャイロ信号がポーズ推定を補助するために使用されてもよい。
例として、図18は、積載物端面の直交レイキャスト深度画像を示す。この実施形態において、深度のない領域は白色で示されている。図19は、積載物端面の直交レイキャスト正像を示す。垂直線を有さない領域は、黒色で示されている。直交レイキャスト正像における色(図示せず)は、表面垂直線の方向を表す。例えば、「金」の色は、垂直である表面に割り当てられてもよい。次いで、金色ではない直交レイキャスト正像における値は、例えば丸太の側面を取り除くためにフィルタリングにより除去され得る。レイキャスト直交垂直画像は、レイキャスト直交深度画像に完全に登録されており、これによって、両方の画像を一緒に使用して、レイキャスト深度画像を清浄化し、走査プロセス中にキャプチャされたトラックもしくはトレーラ部分または人物または他の丸太以外の成分もしくは特徴等の不要な特徴を除去することができる。
この実施形態において、データプロセッサ24は、データプロセッサ24及び可搬式走査システム11における様々な他のコンポーネントを受容しそれを連動させるように構成される、スーパーバイザ114を備える。例えば、スーパーバイザコンポーネント114は、走査が開始されたことを様々な他のコンポーネントに知らせ、コンポーネントを同期させるように構成される。さらに、スーパーバイザコンポーネント114は、依存コンポーネントがその処理またはタスクを完了した後に、様々なコンポーネントを起動または始動させるように構成される。スーパーバイザコンポーネントはまた、例えばハンドヘルドスキャナユニット12のボタンコントローラ92及びデータプロセッサ24のユーザインターフェース36を含むユーザインターフェースからの入力または制御信号を受信するように構成される。例えば、スーパーバイザは、ハンドヘルドスキャナユニット12のトリガ60からボタン制御信号を受信して走査を開始及び停止させ、走査中に取得されたデータを処理するためにシステム内の様々な他のコンポーネント及び機能を連動させるように構成される。
データプロセッサ24はまた、この実施形態において、積載物プロセッサコンポーネント116を備える。この実施形態において、積載物プロセッサ116は、2つの主要な機能を行うように構成される。まず、積載物プロセッサは、118に示されるように、表面モデラー108から受信した積載物端面のTSDFからのレイキャスト直交画像を受信及び処理するように構成される。積載物端部処理機能の目的は、個々の丸太の丸太端部境界を抽出すること、及び、丸太端部直径を決定して、個々の丸太の抽出された一意のIDデータを、決定または測定された丸太端部直径データと関連付けることである。トラックまたはトレーラ上で、丸太積載物が、丸太積載物の両端部において小端部を有する丸太を有する場合、積載物端部処理機能は2回、すなわち積載物端面走査データのセット当たり1回動作または実行される。積載物プロセッサ116の第2の主な機能は、後により詳細に説明されるように、走査から生成された出力データを、例えば丸太IDデータ、丸太カウント、丸太直径データ及び/または抽出されたデータの視覚表現もしくは図形表現を含むレポートファイルの形態で生成することである。
ここで、積載物プロセッサ116により実行される積載物端部処理機能を、さらに詳細に説明する。この実施形態において、積載物端部処理機能は、まず、特にトラックもしくはトレーラまたは任意の他の丸太以外の特徴をレイキャスト深度画像から除去するために、表面モデラー108から受信した直交レイキャスト深度画像(R)を清浄化する。図20は、深度画像からトラック部分を除去した後の図18のレイキャスト深度画像を示す。この実施形態において、積載物端部処理機能はまた、はがれた樹皮小片または丸太の側方部または同様のもの等の他の特徴を除去するために、レイキャスト深度画像を清浄化するように構成される。レイキャスト深度画像のこのさらなる清浄化は、画像処理アルゴリズムにより行われ、これらは、例えば、示されるレイキャスト直交深度(図18)及び垂直(図19)画像に提供される情報を利用し得る。図21は、さらなる清浄化プロセスが実行された後の図20のレイキャスト深度画像を示す。
ここで、画像の清浄化のための画像処理アルゴリズムをさらに詳細に説明する。この実施形態において、清浄化アルゴリズムは、画像処理を使用して、トラック部分等の丸太以外の特徴をレイキャスト直交深度及び垂直画像の両方から除去するように構成される。この画像処理は、レイキャスト深度及び垂直画像の両方を入力として使用するが、これは、これらが清浄化のための異なる情報に寄与するためである。深度画像は、画像平面からの特徴の距離を提供し、垂直画像は特徴表面の方位を提供する。深度及び垂直画像は、離散した物体にほぼ対応する接続成分(連続的エリアまたは領域)を単一化するために分析される。次いで、清浄化アルゴリズムは、以下のステップにおいて、これらの物体を丸太または丸太以外に分類する。
1.接続成分は、ほぼ平坦で画像平面と配列する(丸太端部である可能性がより高い)もののみを保持するようにトリミングされる。
2.小さすぎる、または細長すぎる成分は廃棄される。
3.残った成分は、底部、左及び右側における丸太面の範囲に対して、境界を見つけるために使用される。これは、
−直角または水平配列、
−丸太の丸さ、
−トラック及びトレーラ架台の既知の幅、
−面の残りとの深度の一致、ならびに
−面の縁における丸太と丸太以外の特徴との間の一般的な不連続性等の、丸太端面の縁における丸太の外観のいくつかの特徴的尺度を演算及び積算することにより行われる。
4.厳密に丸太面境界内にある成分は、丸太として分類される。
いくつかの実施形態において、画像清浄化アルゴリズムは、積載物端面の画像を清浄化するために、さらに以下のステップまたは機能を行ってもよい。丸太の面の深度画像は、多くの積載物において明らかであるいくつかの共通した問題に焦点を置いたアルゴリズムにより前処理されてもよい。例えば、アルゴリズムは、樹皮及び他の破片に典型的な、周囲よりもさらに前方にある狭い領域を検出してもよい。別の例は、走査中の僅かな阻害または他の問題に典型的な、有効なデータにより囲まれた欠測データの小さな領域である。これらの目的は、深度画像におけるデータの全てをフィルタリングすることではなく、むしろ、画像内の不要なアーチファクトの特定のカテゴリーを標的とする、非線形空間フィルタリング操作を実行することである。
次いで、クリーンなレイキャスト深度画像は、丸太単一化アルゴリズムを使用して個々の丸太を分離し、それぞれの個々の丸太の丸太端部境界を決定するために処理される。標準的または一定の丸太形状は存在しない。個々の丸太は、ほぼ円形とみなすこともできない。丸太外周の大きな断片が、凸状、凹状または直線状となり得る。隣接する丸太は、機械的に互いに密に組み合わされ、外周の大きな断片間にギャップはほとんど、または全くない。幅広い範囲の丸太サイズが存在する。丸太は分断され、各断片が丸太のサイズとなり得る。丸太は、単一の丸太のコア内に空隙を有する可能性があり、これは、不規則形状の外周または丸太内の分断部と共に、アルゴリズムに混乱をもたらし得る。はがれた樹皮は、主要な複雑化要素であり、また複雑な現象である。この例には、様々な姿勢で木材から分離して丸太から半分はがれた樹皮、丸太の面上でぶら下がった樹皮、及び丸太の間に挟まって丸太間の予測される空隙を満たしている樹皮が含まれる。いくつかの丸太は、丸太の端部から欠損した部分を有する。丸太の分離に利用される基本的特性は、丸太自体の極度に変化した形状及びサイズの分析ではなく、個々の丸太の間のギャップ及び空隙の特性である。丸太端部が十分に長さ方向に分離している(すなわち、陥凹または突出している)場合、丸太界面境界は一般に容易に決定され得る。しかしながら、いくつかの場合において、隣接する丸太端部が長さ方向に配列し、また外周の相当部分において互いに密接している。これらの状況は、個々の丸太間の特徴的なV形状ギャップ、丸太の群の間の空隙を検索し、バラバラのギャップを関連付ける論理規則を適用して、丸太端部境界線を識別することにより分析される。この画像処理ステップの出力は、図22に示されるような丸太の全ての標識化、及び各丸太の端部の周りに引かれた丸太端部境界曲線または線である。クリーンなレイキャスト深度画像から生成された丸太端部境界は、「樹皮上」丸太端部境界を表す。
この実施形態において、積載物端部処理機能はまた、キャプチャされたテクスチャ画像(Ti)を使用して、レイキャスト深度画像から生成された樹皮上丸太端部境界を精緻化するように構成される。特に、テクスチャ画像は、丸太直径測定値からの最終結果評価精度を改善するために、丸太端部の木質部−樹皮境界を輪郭化または画定するプロセスにおいて利用される。この実施形態において、レイキャスト深度画像から決定された樹皮上丸太端部境界は、2Dテクスチャ画像(Ti)の1つ以上にマッピング及び投影される。図23及び24は、関連した丸太122に投影された丸太端部境界の例を示し、図24はまた、丸太122の関連IDタグ124を囲む、テクスチャ画像に投影された境界を示している。図24を参照すると、いくつかの実施形態において、境界ボックスまたは線123が丸太端部に割り当てられ、小さい部分画像を生成するために使用されてもよく、次いでこれが、IDタグから丸太IDを復号化するために画像処理される。この手法は、テクスチャ画像全体が処理される必要がないため、処理時間を改善し得る。部分画像は小さく、全ての無関係な領域は除去される。さらに、IDタグは、一般にいくつかのテクスチャ画像に表れるため、境界は、関連したテクスチャ画像の全てに投影され得、それぞれの個々の丸太に関連付けられた復号化されたIDの信頼性を向上させるために、複数の部分画像からコードが読み出され得る。他の実施形態において、システムは、境界ボックスを利用せず、全ての視認され得るIDタグを識別及び復号化するために、テクスチャ画像全体を処理する。
キャプチャされた深度及びテクスチャ画像の対の各フレーム時間におけるハンドヘルドスキャナユニット12のポーズは、ポーズ推定器104から知られており、深度及びテクスチャセンサ52、56は補正及び同期されるため、レイキャスト深度画像から生成された樹皮上丸太端部境界は、図23及び24に示されるように丸太のテクスチャ画像に変換及び投影され得る。
ここで、図25を参照して、境界精緻化アルゴリズムをさらに詳細に説明する。図25は、テクスチャ画像における丸太端部上のレイキャスト深度画像から生成された投影された外側(樹皮上)境界曲線または線を120に示す。次いで、境界精緻化アルゴリズムは、その中では樹皮の存在が予測されない内側境界曲線を生成し、これは126に示される。2つの生成された外側樹皮上境界120及び内側境界126の線または包囲曲線は、それらの間に環状領域を形成する。この環状領域内では、存在する場合にはいかなる樹皮も特定されるはずである。外側樹皮上境界曲線に対する内側境界曲線126の距離により画定されるような環状領域の厚さは、処理されている特定の樹種に対して予測される樹皮の最大厚さに関連する統計保存データに基づいて決定される。この実施形態において、これは、予測される変動及び初期樹皮上境界生成曲線120と共に、丸太端部直径のパーセンテージとして表現される。内側境界126は、個々の丸太の統計曲線を表す。環状領域が画定されると、境界精緻化アルゴリズムは、次いで、テクスチャ画像全体または丸太端部のテクスチャ画像を処理する必要なく、環状領域内のテクスチャ領域を画像処理して、木質部−樹皮境界の間を輪郭化する。樹皮下丸太端部境界を表す得られた精緻化境界曲線は、128に示される。示されるように、新たな精緻化境界線128は、樹皮のすぐ下、または外側境界曲線120に沿って伸び、丸太端部のその領域において樹皮は存在しない、または検出されない。
精緻化境界線128は、分割アルゴリズムを使用して生成される。この実施形態において、分割アルゴリズムは、それぞれの個々の丸太のテクスチャ画像における丸太端部の縁を検索する場所が分かるように、それぞれの個々の丸太の環状領域が提供され、丸太の種に対して予測される樹皮の厚さに基づく統計情報を使用し、例えば丸太が泥で覆われている、または別様に汚れている場合には、レイキャスト深度画像から生成された最初の境界線に戻るように決定を下すように構成される。画像処理分割アルゴリズムは、環状領域内で木質部−樹皮境界を検出して、議論したように精緻化丸太端部境界線128を生成する。
精緻化丸太端部境界が計算されたら、積載物端部処理機能は、次いで、各丸太端面に関連した平面を計算するように構成される。この実施形態において、これは、丸太端部境界を所定量、例えば10mmだけ縮小させることにより達成され、縮小された境界内に含有される深度画像データに平面がフィッティングされる。次いで、精緻化丸太端部境界が、計算された丸太端部平面上に投影される。このプロセスは、丸太端面に垂直な丸太境界上のノイズを除去する。次いで、丸太端部境界及び平面が、メトリックワールド座標系(CSW)に変換される。次いで、積載物端部処理機能が、各丸太に対して、丸太境界重心、短軸、直交軸及び丸太直径を計算するように構成される。次いで、タグリーダ106により抽出されたIDデータが、それぞれの丸太境界に関連付けられる、またはリンクされる。この実施形態において、QRコードは、図26に示されるように、各テクスチャ画像においてQRコードIDタグ中心位置(タグリーダ106により生成される)を三角測量することにより丸太境界にリンクまたは関連付けられる。特に、例として、IDタグ130が図26に示されており、走査データにおける3つのサンプル位置132a〜132cからのキャプチャされた深度及びテクスチャ画像の複数の対からのこれらのIDタグのそれぞれに対する三角測量光線が概略的に示されている。ここでは、3つのカメラ位置のみの三角測量光線及び関連テクスチャ画像が示されているが、各IDタグに対する三角測量は、IDタグがキャプチャされたのと同じ数のテクスチャ画像からの光線を組み込んでもよいことが理解される(例えば以前の上記表3及び4を参照されたい)
例として、図28は、丸太端部直径特性が決定または計算され得る、メトリックワールド座標系CSWに変換された後の精緻化丸太端部境界140の一例を示す。図29は、積載物端面上を正視したCSWにおける投影された精緻化丸太端部境界142のグラフを示す。各丸太端部境界に関連した中央マーカー144は、三角測量されたIDタグ(例えばQRコード)の位置を表し、関連した復号化されたIDデータが示されている。このプロセスは、多数の光線がテクスチャ画像から三角測量されているため、ロバストである。例えば、タグDK1170228は、35のテクスチャ画像において見られ、したがってタグ位置上に集束する35の光線を生成する。同様に、タグDK1170139は、124のテクスチャ画像において見られ、124の集束する光線の系を生成する。
ここで、積載物プロセッサ116の第2の主な機能を説明する。第2の主な機能は、積載物プロセッサ116により実行されるレポート生成機能である。レポート生成機能は、2つの様式のうちの1つで動作する。丸太積載物が一方の積載物端面のみで走査された場合、すなわち、全ての小端部及びIDタグが丸太積載物の同じ端部にある場合、レポート生成機能は、積載物の個々の丸太に関連した識別されたIDコード、丸太カウント(検出された個々の丸太端部境界の数から決定される)、及びその関連した決定された丸太端部直径測定値を含む積載物レポートを生成する。一方、丸太積載物が2つの積載物端面で走査される場合、すなわち、小端部及び関連したタグIDが丸太積載物の両端部間で混在している丸太積載物の場合、前述のデータ処理は、走査された各積載物端面上で行われ、互いにマージされて最終丸太積載物レポートが生成される。
まず、全ての小端部が丸太積載物の同じ端部に存在する単一積載物端面走査の場合について議論する。図30は、生成された図形式の丸太積載物レポートを示す。全ての丸太端部がタグID情報を有し、150で特定される丸太カウントは、タグIDカウントに対応することが分かる。各小端部に対する短軸及び直交軸が描かれており、短軸の長さが例として示されている。例えば、丸太端部152の場合、短軸は154で示され、直交長軸は156で示されている。
次に、丸太の小端部が積載物の両端部間で混在する場合の、丸太積載物に対して2つの積載物端面が走査される場合が図31及び32に示されている。図31は、走査された第1の積載物端面に対して生成された積載物レポートの図形表現を示し、図32は、丸太積載物の他方の積載物端面の第2の走査の走査に対する積載物レポートの図形表現を表す。図31及び図32は、集合的に、2つの積載物端面走査に対する積載物レポートの図形表現を表す。両方のレポートにおいて、丸太カウントは一致していることが分かる。また、図31及び32のそれぞれにおいて、いくつかの丸太端部はIDタグを有さないが、IDタグカウントの合計は、図31及び32のそれぞれにおける共通の丸太カウントに等しいことが分かる。これは、検証の一形態を提供し、すなわち、各積載物端部からのカウント及び全タグカウントが一致しなければならない。
図33は、2回の丸太積載物端面走査による図31及び32からの図形式のマージされた図形情報を示す。図33の画像を生成するために実行されたマージは、一方の積載物端部上の丸太が、他方の積載物端部上の丸太と照合される照合操作である。マージは、一方の積載物端部のミラーリング、及び両方の境界ボックスの側部及び底部の共通座標系CSC上への配列により達成される。配列は、典型的には丸太トラック架台により積載物の幅が物理的に制限されるためにそろえられ、これは、例えば典型的には約2.2メートルの幅となり得るが、他の状況においては変動し得る。このマージアルゴリズムは、コストを丸太間の距離等の様々な物理的特性に関連付けること、次いでコストの合計を最小限化する一致を見つけることに基づく。現在のマージアルゴリズムは、以下のコストを使用する。
−合致:丸太重心間の距離。
−テーパリング:直径間の距離及びテーパリングモデルへの参照。
−タグ整合性:小端部に存在する可能性が高いタグ。
−丸太長さ:類似した長さとなるべきである。
5.代替の実施形態及び構成
代替のシステム構成
前述のように、上述の丸太走査システムの実施形態は、丸太識別、丸太計数、及び丸太測定、例えば評価のために丸太積載物を走査するように構成される。特に、テクスチャセンサからの走査データは、IDタグ等のその視認され得るID要素に基づいて積載物における個々の丸太の丸太IDデータを得るために使用される。深度センサからの走査データは、丸太端部境界を決定するために処理され、次いでこれが、丸太IDデータに基づくそれぞれの識別された丸太に関連付けられた、またはリンクされた直径測定値等の丸太端部境界データを提供するために測定され得る。さらに、深度センサ走査データの処理から識別された個々の丸太端部境界の数に基づいて、丸太カウントが生成される。
代替の実施形態において、丸太走査システムは、代替の機能性を有するように構成され得る。例として、第1の代替例において、丸太走査システムは、丸太識別及び丸太計数用に構成されてもよい。例えば、丸太IDデータは、上述のようにテクスチャセンサ走査データから得られてもよく、丸太カウントは、上述のように、深度センサ走査データの処理から識別された個々の丸太端部境界の数から生成されてもよい。第2の代替の実施形態において、丸太走査システムは、丸太識別及び丸太測定、例えば評価用に構成されてもよい。例えば、丸太IDデータは、上述のようにテクスチャセンサ走査データから得られてもよく、丸太測定値は、丸太端部境界を識別するために上述のように深度センサ走査データを処理し、直径等のそれらの物理的特性を測定し、丸太端部境界データを、丸太IDデータに基づいてそれぞれの個々の丸太にリンクさせることから決定されてもよい。第3の代替の実施形態において、丸太走査システムは、丸太計数、例えば、深度センサ走査データから識別された個々の丸太端部境界の数に基づく丸太カウントの決定用のみに構成されてもよい。第4の実施形態において、丸太走査システムは、評価等の測定、例えば、丸太端部境界の1つ以上の物理的特性の測定用に構成されてもよい。
丸太の大端部でのIDタグ
上記実施形態は、IDタグが丸太の小端部に提供または固定された場合に関して説明されている。代替の実施形態において、IDタグは、丸太の大端部に提供され得ることが理解される。そのような場合において、丸太積載物走査の各端部で走査を行うことができ、走査データを合成して、丸太積載物を表す出力データを生成する。システムは、全ての小端部が丸太積載物の同じ端部に存在する場合、または、小端部が丸太積載物の各端部間で混在している場合に対応するように構成され得る。そのようなシナリオにおいて、小端部の走査は、評価及び/または計数データを提供し、大端部の走査は、丸太ID及び/または計数データを提供する。
操作者インターフェース上のグラフィカルユーザインターフェース(GUI)
動き回るディスプレイを追うことは実際には困難であるため、携帯型スキャナには、スキャナヘッドから物理的に分離した走査者ディスプレイが必要である。上述の実施形態において、操作者インターフェースデバイスは、走査中に使用者にリアルタイム画像を示すためのディスプレイを備えるだけである。しかしながら、代替の実施形態において、操作者インターフェースデバイスは、走査システム、または操作システムもしくはハンドヘルドスキャナの態様を制御するように構成されてもよい。例えば、操作者は、例えば操作者インターフェースデバイスのタッチスクリーンディスプレイインターフェース上のGUIを使用して、単にボタンに触れるだけでシステムのオン及びオフを切り替え、走査から取得を経て処理段階に移行させることができる。1つの構成において、GUIは、オペレータが走査後に識別された丸太カウント及びタグの数をチェックすることができるように構成されてもよい。別の構成において、システムは、異なる情報源を提示するように、例えば、トラック運転手の荷札を、計数された丸太の数と共に見られるQRタグの数と比較するように改良されてもよい。いかなる相違も、例えば赤で強調表示された最も可能性のあるエラーと共に、人間工学的な視覚形態で提示され得る。これは、操作者がまだ傾斜路上にいる間に行うことができ、目の前の積載物をシステムの処理画像と視覚的に比較することができる。例えば、システムが誤って2つの丸太端部を1つにマージした(したがって過度に低いカウントが得られた)場合、または単一の丸太を2つに分断した(したがって過度に高いカウントが得られた)場合、これが警告され得る。最も可能性のある問題エリアは強調表示され得、エラーは操作者に明確となり、操作者は、例えば画像上での単純なピンチアンドズーム操作のマルチタッチジェスチャで結果を補正する。
深度及びテクスチャ同時位置決め及びマッピング(SLAM)の使用
深度画像が互いに融合され得るのとちょうど同じように、テクスチャ画像もまた、図34に示されるような切断カラー関数(TCF)と呼ばれる空間データ構造に融合され得る。TCF及びTSDFを一緒に使用することにより、深度のみの使用よりもロバストで正確なポーズ推定が提供され得る。特に、深度及びテクスチャSLAMによれば、ずれ(登録の部分的損失)の可能性がより低い。これは、深度データが丸太端部等の平坦表面上で極めて均一であり、丸太端部のみが登録のためのフックとして残るためである。それと比較して、テクスチャは、木の年輪、タグ、樹皮及び平坦表面上の吹き付け塗料等の特徴の追跡により寄与し得る。追加的なテクスチャ情報の主な利点は、操作者が積載物面のより近くで作業し得ることである。深度のみでの登録の使用は、現在、深度登録がロバストに機能し得るには約1.5mの隔離を必要とする。
直接トランケートされた符号付き距離関数(TSDF)におけるより良好な深度SLAM
上述の実施形態は、各深度画像に対するセンサヘッドのポーズ(場所及び方位)を得るために、レイキャスティングに基づく深度3D自己登録アルゴリズムを使用する。入力される深度画像を直接非明示的3Dモデル(TSDF)と比較することにより、深度SLAMを実行することが可能である。これらの最近のアルゴリズムは、レイキャスティングに基づくものよりも正確であり、丸太端部境界のより細かい位置決めをもたらすことが示されている。
離散的SLAMへのIDタグの使用
QRタグは、それぞれ一意のIDを有するという有用な特性を有する。我々は、それが視認され得る各テクスチャ画像における各タグの重心(中心点)を計算する。各タグは、その丸太上の位置に固定され、テクスチャ画像において複数の(数十またはさらに数百の)異なる角度から見られるため、センサヘッドのポーズを速やかに検出または確認するために使用され得る。これは、同じタグの様々なビューを正確に関連付けるためにタグIDを使用して、異なるテクスチャ画像間の三角測量により行われる。この種の離散的SLAMは、高密度深度(及びおそらくはテクスチャ)SLAMと併せて使用され得る。タグ重心はそれぞれの対応するテクスチャ画像において視認され得、深度センサはテクスチャカメラに対してしっかりと装着されるため、これは、深度SLAMをずれから保護するために使用され得る。
スキャナの再位置決め
上述のIDタグ追跡のさらなる利点は、システムが速やかにロックを再取得する(それ自体を積載物面に登録する)ことが可能となることである。これは、過度に速い走査によりロックが誤って失われた場合、または、操作者がある部分を走査し忘れたことを認識し、走査を再開したい場合に必要とされ得る。加速度計及びタグIDの両方が、システムが再び作業状況を把握するために使用される。
レイキャスト画像における丸太面の阻害の回避
上記実施形態において、システムは、レイキャスティングにより、積載物面の直交深度画像(R)を構築する。この画像は、丸太境界を決定しそれを計数するために、丸太単一化アルゴリズムにより使用される。直交画像は、平行(マップ)投影により積載物端面を示す。直交投影は、丸太端部形状及びサイズを保存し(射影ひずみがない)、丸太端部の視認性をほぼ最大化するため、有用である。しかしながら、実際には、積載物は常に理想的とは限らず、丸太がまっすぐに積み重ねられておらず、または直角に切断されておらず、時折樹皮片が丸太端部にぶら下がっている場合がある。異なる角度でレイキャストされた積載物面のいくつかの画像がアルゴリズムに与えられれば、丸太単一化性能が改善され得る。
別の構成において、システムは、各ピクセルが深度値である直交深度画像の代わりに、代替の表現を使用してもよい。空間占有率は、各ピクセル内の各ビットが、ボクセル(体積要素)が充填されているか否かを符号化している、小体積構造で表現され得る。それぞれ256ビット(8バイト)を有するピクセル、及び3.5mmのボクセルサイズを仮定すると、占有率は、積載物面の周囲に約900mmの深度範囲にわたりモデル化され得る。そのような代替の表現は、積載物面に関するより多くの情報を含有する。これによって、下流側のアルゴリズムは、樹皮及び裂片等の阻害障害物の後ろを見ることができ、これらが走査された丸太の側面をモデル化することができる。
走査中の代替の可視化
上述の実施形態において、操作者デバイスインターフェースは、深度データが欠けた(例えばIR干渉により)場合の警告指示により補助された、ストリーミングテクスチャ画像のライブ表示を操作者に示すように構成される。この表示は、センサヘッドがどこを向いており、キャプチャされたデータの品質がどのようであるかをある程度操作者に示すのに効果的である。しかしながら、これは、積載物面のどの部分が走査されたか、または深度登録アルゴリズムが3Dモデルを形成する上でロックを維持しているかを操作者が知ることには役立たない。3Dモデルが構築されている際にそのスケールダウンされたバージョンを操作者に示すことは可能である。これは、どのエリアが走査されたか、またどの部分が再検討を必要とし得るかを即座に示す。センサヘッドの現在の視野が、レンダリングされた3Dモデル上に移動ファインダフレームとして示され得る。
さらなる丸太端部情報
丸太端部の単一化のプロセスにおいて、システムは、完全な丸太端部境界を検出する。これにより、現在のJAS直径測定値に加えて、丸太端部面積、またはより複雑な直径測定値等の他の測定値を得る機会が提供される。
強化されたマージ
積載物端部のマージは、小端部が丸太積載物の両端の間で混在する場合に重要な操作である。この操作をさらによりロバストとするために、さらなるアルゴリズム的コスト関数を追加することができる。現在、場所、長さ、タグ、及びテーパリングに基づくコストが使用されている。ペア丸太貫通(pairwise log penetration)等の他の特性に基づくコストもまた追加され得る。タグコストを強化することも可能である。
光源
理想的には、システムは、任意の光条件で動作すべきであり、主な照明要件は、QRタグが可読となるべきであり、樹皮境界が視認され得るべきであるということである。積載物の上または周りの光は、突き出した丸太または樹皮が他の丸太端部に影を落とす可能性があるため、助けとなるよりも障害となり得る。最も邪魔とならない照明は、多くの場合センサヘッド上の光を含むが、これは、テクスチャ画像における影の視認性を最小限化するためである。しかしながら、テクスチャ視錐台内の光線と同軸の光は、光沢のあるゴム、濡れた丸太またはQRタグからの不要な鏡面性(明るい反射)を生成し得る。これは克服することができない問題であり、最善のテクスチャを選択するために異なる角度からの各丸太端部のいくつかのビューを得ることにより軽減される。可能な構成は、テクスチャカメラレンズの周りに装着された極めて明るいLEDのアレイであってもよい。これは、積載物面に明るい光を生成し、従来の頭上の光からの影を実質的に低減することができる。テクスチャカメラ露出と同期された単パルスでのLEDのストロボにより、バッテリー要件を下げる比較的低い平均出力で明るさを最大化することができる。ストロボ周波数は、不快な視認され得るストロボを生成しないようにするためには、約60Hz以上である必要があり、ストロボ信号は、周波数増幅器を介して深度センサの30Hz同期パルスから得ることができる。
6.全般
さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの任意の組み合わせにより実装され得る。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ストレージ媒体または他のストレージ(複数可)等の機械可読媒体に保存され得る。プロセッサは、必要なタスクを実行することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、もしくは命令の任意の組み合わせ、データ構造、またはプログラム文を表し得る。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を受け渡す及び/または受信することにより、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データ等は、メモリ共有、メッセージ受け渡し、トークン受け渡し、ネットワーク伝送等を含む任意の好適な手段により、受け渡し、転送、または伝送され得る。
上述において、ストレージ媒体は、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイス、及び/または情報を保存するための他の機械可読媒体を含む、データの保存のための1つ以上のデバイスを表し得る。「機械可読媒体」及び「コンピュータ可読媒体」という用語は、これらに限定されないが、携帯型もしくは固定ストレージデバイス、光学ストレージデバイス、ならびに/または、命令(複数可)及び/もしくはデータを保存、含有もしくは担持することができる様々な他の媒体を含む。
本明細書において開示される例に関連して説明される様々な例示的論理ブロック、モジュール、回路、要素及び/またはコンポーネントは、本明細書に記載の機能を実行するように設計された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、もしくは他のプログラム可能論理コンポーネント、離散ゲートもしくはトランジスタ論理、離散ハードウェアコンポーネント、またはそれらの任意の組み合わせを用いて実装または実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替例において、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、回路、及び/またはステートマシンであってもよい。プロセッサはまた、コンピュータコンポーネントの組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併せた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装されてもよい。
本明細書において開示される例と関連して説明される方法またはアルゴリズムは、直接ハードウェアにおいて、プロセッサにより実行可能なソフトウェアモジュールにおいて、またはその両方の組み合わせにおいて、処理ユニット、プラグラム命令、または他の指示の形態で具現化されてもよく、また、単一デバイス内に含有されてもよく、または複数のデバイスにわたり分散されてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当該技術分野において知られている任意の他の形態のストレージ媒体に存在してもよい。ストレージ媒体は、プロセッサがストレージ媒体から情報を読み出す、及びそれに書き込むことができるように、プロセッサに結合されてもよい。代替例において、ストレージ媒体は、プロセッサに統合されてもよい。
図において例示されるコンポーネント及び機能の1つ以上は、単一のコンポーネントに再配列及び/もしくは組み合わされてもよく、または、本発明から逸脱することなく、いくつかのコンポーネントにおいて具現化されてもよい。また、本発明から逸脱することなく、さらなる要素または成分が追加されてもよい。さらに、本明細書に記載の特徴は、ソフトウェア、ハードウェア、ビジネス方法として、及び/またはこれらの組み合わせで実装されてもよい。
本発明は、その様々な態様において、コンピュータ実装プロセス、機械(例えば電子デバイスもしくは汎用コンピュータ、またはコンピュータプログラムが実行され得るプラットフォームを提供する他のデバイス)、これらの機械により実行されるプロセス、または製造品として具現化されてもよい。そのような物品は、コンピュータ可読ストレージ媒体がそれに保存されたコンピュータプログラム命令またはコンピュータ可読データを含有するコンピュータプログラム製品またはデジタル情報製品、ならびにこれらの製造品を形成及び使用するプロセス及び機械を含み得る。
本発明の上記説明は、その好ましい形態を含む。添付の特許請求の範囲により定義されるような本発明の範囲から逸脱することなく、本発明に修正がなされてもよい。

Claims (23)

  1. 丸太の積載物(丸太積載物)を走査するための丸太走査システムであって、前記丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、前記システムは、
    前記丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、前記スキャナユニットは、深度検知とテクスチャ検知のための複数のセンサを有し、前記複数のセンサは、
    前記積載物端面走査の間、前記積載物端面の一連の深度画像と、
    前記積載物端面走査の間、前記積載物端面の一連のテクスチャ画像と、をキャプチャするように構成され、
    前記走査からキャプチャされた前記一連の深度画像及びテクスチャ画像を受信する1つ又は複数のデータプロセッサであって、
    前記深度画像を前記積載物端面のデータモデルに融合し、
    前記データモデルを処理することにより、前記積載物端面において視認され得る前記個々の丸太の丸太端部境界を決定し、
    前記走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、前記丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、前記テクスチャ画像を処理し、
    前記決定された丸太端部境界及び抽出された丸太IDデータに基づいて、前記丸太積載物を表す出力データを生成するように構成される1つ又は複数のデータプロセッサとを備えるシステム。
  2. 前記1つ又は複数のデータプロセッサは、各丸太に対する代表的な丸太端部境界データを生成するために、前記決定された丸太端部境界に基づいて前記丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成され、前記丸太積載物を表す前記生成された出力データは、各丸太に対する前記丸太端部境界データを含む、請求項1に記載の丸太走査システム。
  3. 前記1つ又は複数のデータプロセッサは、前記生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するようにさらに構成され、前記丸太積載物を表す前記生成された出力データは、前記個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間の前記リンクまたは関連性を含む、請求項2に記載の丸太走査システム。
  4. 前記1つ又は複数のデータプロセッサは、前記積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することにより出力データを生成するように構成され、前記丸太積載物を表す前記生成された出力データは、前記丸太積載物における丸太の数を表す前記丸太カウントを含む、請求項1から3のいずれか一項に記載の丸太走査システム。
  5. 前記ハンドヘルドスキャナユニットは、前記スキャナユニットが走査中に積載物端面全体を走査した際に、前記深度画像及びテクスチャ画像を対として同時にキャプチャするように前記複数のセンサを操作するように構成され、又は、前記ハンドヘルドスキャナユニットは、前記走査においてキャプチャされた前記深度及びテクスチャ画像の少なくともいくつかが、時間的に同じ瞬間に同時にキャプチャされた対であるように、前記複数のセンサを操作するように構成される、請求項1から4のいずれか一項に記載の丸太走査システム。
  6. 前記ハンドヘルドスキャナユニットは、前記複数のセンサへの共通したトリガ信号に基づいて、前記深度及びテクスチャ画像を対として同時にキャプチャするように構成される、請求項5に記載の丸太走査システム。
  7. 各深度画像及びテクスチャ画像が、前記積載物端面の一部をキャプチャし、前記複数のセンサの視野は、前記積載物端面から所定の隔離距離で操作された場合、深度及びテクスチャ画像の各対に対して全積載物端面の一部のみをキャプチャし、前記一連の深度及びテクスチャ画像の対は、前記走査の完了時に集合的に積載物端面全体をキャプチャする、請求項1から6のいずれか一項に記載の丸太走査システム。
  8. 前記ハンドヘルドスキャナユニットの前記複数のセンサは、深度カメラを有し、前記ハンドヘルドスキャナユニットの前記深度カメラは、赤外線周波数で動作し、ノイズを低減するために赤外線フィルタを備える、請求項1から7のいずれか一項に記載の丸太走査システム。
  9. 前記ハンドヘルドスキャナユニットの前記複数のセンサは、ステレオカメラを有する、請求項1から7のいずれか一項に記載の丸太走査システム。
  10. 前記ハンドヘルドスキャナの前記複数のセンサは、テクスチャカメラを有する、請求項1から9のいずれか一項に記載の丸太走査システム。
  11. 前記ハンドヘルドスキャナユニットの前記テクスチャカメラは、前記丸太端部の木質部−樹皮境界を決定するためにテクスチャ画像を向上させるように構成される、1つ以上のカラーフィルタを備えるモノクロカメラである、又は、前記ハンドヘルドスキャナユニットの前記テクスチャカメラは、カラーカメラである、請求項10に記載の丸太走査システム。
  12. 前記ハンドヘルドスキャナユニットに操作可能に接続され、走査フィードバックを使用者に表示するように構成される表示画面を有する、操作者インターフェースデバイスをさらに備える、請求項1から11のいずれか一項に記載の丸太走査システム。
  13. 前記ハンドヘルドスキャナユニットは、前記1つ又は複数のデータプロセッサとは別個のデバイスであり、前記ハンドヘルドスキャナユニットは、データリンクを介して前記1つ又は複数のデータプロセッサと通信するように構成される、請求項1から12のいずれか一項に記載の丸太走査システム。
  14. 前記ID要素は、機械可読印刷コードであり、各機械可読印刷コードは、それぞれの丸太に割り当てられた符号化された一意の丸太IDデータまたはコードを含む、請求項1から13のいずれか一項に記載の丸太走査システム。
  15. 前記1つ又は複数のデータプロセッサは、前記深度画像、または深度画像及びテクスチャ画像を、前記積載物端面のデータモデルに融合するように構成され、前記融合は、
    キャプチャされた各深度画像、または深度画像及びテクスチャ画像における前記ハンドヘルドスキャナユニットのポーズを推定するために、前記深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成すること、ならびに
    前記深度画像、または深度画像及びテクスチャ画像、及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することによって行われる、請求項1から14のいずれか一項に記載の丸太走査システム。
  16. 前記1つ又は複数のデータプロセッサは、1つ以上のレイキャスト画像を生成するために前記データモデルを処理すること、及び前記レイキャスト画像から前記丸太端部境界を抽出することにより、前記積載物端面において視認され得る前記個々の丸太の前記丸太端部境界を生成するように構成され、前記1つ以上のレイキャスト画像は、レイキャスト深度画像を含み、前記1つ又は複数のデータプロセッサは、前記積載物端面のレイキャスト正像を生成し、次いで前記レイキャスト正像に基づいて前記レイキャスト深度画像をさらに画像処理し、丸太以外の特徴及び/または丸太の側面を除去したクリーンなレイキャスト深度画像を生成するようにさらに構成され、前記クリーンなレイキャスト深度画像は、前記丸太端部境界を決定するために処理される、請求項1から15のいずれか一項に記載の丸太走査システム。
  17. 前記1つ以上のレイキャスト画像から決定された前記丸太端部境界は、前記1つ又は複数のデータプロセッサによって、前記決定された丸太端部境界を前記キャプチャされたテクスチャ画像の1つ以上に変換及び投影することによって、また、各丸太に対する木質部−樹皮境界界面を検出するために前記テクスチャ画像を処理し、また前記投影された丸太端部境界を前記検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行することにより、前記木質部−樹皮境界を検出するために前記投影された丸太端部境界の領域における前記テクスチャ画像を処理することによって、さらに精緻化される、請求項16に記載の丸太走査システム。
  18. 前記1つ又は複数のデータプロセッサは、各丸太に対して代表的な丸太端部境界データを生成し、次いで、各丸太に対する前記丸太端部境界データを含む前記丸太積載物を表す出力データを生成するために、決定または精緻化された丸太端部境界に基づいて、前記丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成され、前記1つ又は複数のデータプロセッサは、
    各丸太端面に関連した平面を計算し、前記決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影すること、
    前記丸太端部境界及び平面を、メトリックワールド座標系に変換すること、及び
    前記変換された丸太端部境界に基づいて、前記丸太端部の1つ以上の物理的特性を測定することにより、前記丸太端部の前記物理的特性を測定するように構成され、
    前記1つ又は複数のデータプロセッサは、前記抽出された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成され、前記生成は、前記テクスチャ画像に基づいて前記ID要素の中心を三角測量して、どのID要素がどの丸太端部境界及びその関連した丸太端部境界データに対応するかを検出することと、この対応を表す前記生成されるリンクまたは関連性を含む前記丸太積載物を表す出力データを生成することとによって行われる、請求項1から17のいずれか一項に記載の丸太走査システム。
  19. 前記丸太積載物は、前記ハンドヘルドスキャナユニットにより走査される際、輸送車両上の原位置にある、または代替として地面もしくは別の表面上に載置されている、請求項1から18のいずれか一項に記載の丸太走査システム。
  20. 前記ID要素は、前記丸太積載物における前記丸太のそれぞれの小端部にのみ提供され、前記丸太積載物が同じ積載物端面において前記丸太の全ての小端部を含む場合、システムは、前記小端部を含む前記積載物端面の走査のみから走査データを処理するように構成され、または、前記丸太積載物が前記丸太積載物の両端部間で混在する前記丸太の小端部を含む場合、システムは、それぞれ前記丸太積載物の積載物端面の1つの走査である2回の別個の走査からのデータを受信及び処理し、両方の走査からの走査データを合成もしくはマージするように構成される、請求項1から19のいずれか一項に記載の丸太走査システム。
  21. 前記ハンドヘルドスキャナユニットが装着または支持される操作可能な動力支持システムをさらに備え、前記支持システムは、自動的に、または操作者による手動制御に応じて、前記積載物端面を走査するために前記丸太積載物に対して前記ハンドヘルドスキャナユニットを移動させるように構成される、請求項1から20のいずれか一項に記載の丸太走査システム。
  22. 前記スキャナユニットの前記複数のセンサは、一連の深度画像をキャプチャするように構成される深度センサと、一連のテクスチャ画像をキャプチャするように構成さるテクスチャセンサとを有する、請求項1に記載の丸太走査システム。
  23. 丸太の積載物(丸太積載物)を識別及び測定する方法であって、前記丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、前記方法は、
    前記積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度検知とテクスチャ検知のための複数のセンサを備えるハンドヘルドスキャナユニットで前記丸太積載物の積載物端面を走査することと、
    前記深度画像を前記積載物端面のデータモデルに融合することと、
    前記データモデルを処理することにより、前記積載物端面において視認され得る前記個々の丸太の丸太端部境界を決定することと、
    前記走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、前記丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、前記テクスチャ画像を処理することと、
    決定された丸太端部境界及び抽出された丸太IDデータに基づいて、前記丸太積載物を表す出力データを生成することとを含む方法。
JP2017527986A 2014-08-13 2015-08-13 丸太走査システム Expired - Fee Related JP6648135B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NZ628730 2014-08-13
NZ62873014 2014-08-13
PCT/IB2015/056157 WO2016024242A1 (en) 2014-08-13 2015-08-13 Log scanning system

Publications (3)

Publication Number Publication Date
JP2017527057A JP2017527057A (ja) 2017-09-14
JP2017527057A5 JP2017527057A5 (ja) 2019-09-05
JP6648135B2 true JP6648135B2 (ja) 2020-02-14

Family

ID=55303922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527986A Expired - Fee Related JP6648135B2 (ja) 2014-08-13 2015-08-13 丸太走査システム

Country Status (9)

Country Link
US (1) US10503943B2 (ja)
EP (1) EP3180710B1 (ja)
JP (1) JP6648135B2 (ja)
KR (1) KR20170066336A (ja)
CN (1) CN107111602B (ja)
AU (1) AU2015302917B2 (ja)
CA (1) CA2957873A1 (ja)
HK (1) HK1243515A1 (ja)
WO (1) WO2016024242A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170066336A (ko) 2014-08-13 2017-06-14 씨 쓰리 리미티드 로그 스캔 시스템
JP6696149B2 (ja) * 2015-10-29 2020-05-20 富士通株式会社 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法
KR102163742B1 (ko) * 2015-12-11 2020-10-12 삼성전자주식회사 전자 장치 및 그 동작 방법
SE542511C2 (en) * 2017-07-07 2020-05-26 Soervik Bengt Method for handling logs and log marking tool for use in such a method
DE102017117056A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Aufmaßgerät und Verfahren zur Erstellung eines 3D-Modells
CA3082445A1 (en) * 2017-11-17 2019-05-23 C 3 Limited Object measurement system
CN108262809B (zh) * 2017-12-14 2021-06-29 北京木业邦科技有限公司 基于人工智能的木板加工方法、装置、电子设备和介质
CN107976157A (zh) * 2017-12-26 2018-05-01 天远三维(天津)科技有限公司 一种于获取物体表面三维形貌的无线手持式三维扫描设备
JP7077651B2 (ja) * 2018-02-16 2022-05-31 横河電機株式会社 分光分析装置
US10935374B2 (en) * 2018-02-21 2021-03-02 Faro Technologies, Inc. Systems and methods for generating models of scanned environments
US10769472B2 (en) * 2018-03-28 2020-09-08 Wipro Limited Method and system counting plurality of objects placed in a region
CN108571931A (zh) * 2018-05-17 2018-09-25 北京林业大学 一种以tof深度相机为工具的测树方法
CN109242818A (zh) * 2018-06-27 2019-01-18 深圳市全运通物流发展有限公司 一种原木检尺方法和装置
WO2020033593A1 (en) * 2018-08-07 2020-02-13 Britescan, Llc Portable scanning device for ascertaining attributes of sample materials
EP3692330A4 (en) * 2018-09-17 2020-12-02 Datalog, Llc BALL MEASUREMENT SYSTEM AND ASSOCIATED PROCESSES
AU2020211804A1 (en) 2019-01-25 2021-03-25 Robotics Plus Limited Load scanning apparatus
CN110006343B (zh) * 2019-04-15 2021-02-12 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
FI20195628A1 (fi) * 2019-07-11 2021-01-12 Teknosavo Oy Menetelmä kuitupuu- tai tukkinipun tilavuuden määrittämiseksi
CN111044522B (zh) * 2019-12-14 2022-03-11 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111208138B (zh) * 2020-02-28 2021-03-12 天目爱视(北京)科技有限公司 一种智能木料识别装置
CN111366080A (zh) * 2020-04-08 2020-07-03 三江学院 一种木材容积测量设备
RU2734085C1 (ru) * 2020-05-28 2020-10-12 Александр Васильевич Кононов Устройство для бесконтактного измерения объема движущегося груза, имеющего сложную геометрическую форму
KR102401831B1 (ko) * 2021-02-23 2022-05-24 한남대학교 산학협력단 Rgbd 센서를 이용한 3d 모델복원 방법
SK500392021A3 (sk) * 2021-07-13 2021-09-29 VALASAHA Group, a. s. Spôsob stanovenia vonkajších parametrov guľatiny dreva pomocou trojdimenzionálneho obrazu
SE545739C2 (en) * 2021-12-07 2023-12-27 Tracy Of Sweden Ab Apparatus and method for classifying timber logs
JP7097562B1 (ja) 2022-03-30 2022-07-08 株式会社マプリィ 材積推定システム及び材積推定方法
JP7563811B1 (ja) 2024-03-05 2024-10-08 あやたかシステム開発株式会社 積み上げた物体をカウントするための端末、システム、方法およびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4913551A (en) * 1987-07-28 1990-04-03 Davis Richard B Log measuring method and apparatus
US5607187A (en) 1991-10-09 1997-03-04 Kiwisoft Programs Limited Method of identifying a plurality of labels having data fields within a machine readable border
US5307294A (en) 1992-12-22 1994-04-26 Aman James A Automated end tally system
JPH09281581A (ja) * 1996-03-29 1997-10-31 Kiwisoft Programs Ltd 1群のラベル付き物品を記録するためのカメラ
SE515950C2 (sv) 1999-06-23 2001-10-29 Acanova Ab Förfarande och anordning att mäta en timmerstocks vedyteprofil
DE10031410B4 (de) 2000-02-07 2009-01-29 Michael Willmann Verfahren zur Mengenermittlung von Industrieholzsortimenten
US7660433B2 (en) 2002-08-27 2010-02-09 Dralle A/S Method and a system for automatic measurement and tracking of logs, industrial wood and boards
US7356175B2 (en) * 2003-09-25 2008-04-08 Columbia Forest Products, Inc. Identifying defects in decorative wood panels
EP1745279A1 (en) 2004-02-20 2007-01-24 Dralle ApS A system for grading of industrial wood
US8625854B2 (en) 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
CN100582652C (zh) * 2008-05-14 2010-01-20 天恒威科技(北京)有限公司 一种木材自动监管方法及系统
WO2010008074A1 (ja) * 2008-07-18 2010-01-21 瀬戸製材株式会社 木材の管理システム
JP5591466B2 (ja) * 2008-11-06 2014-09-17 株式会社名南製作所 原木の3次元形状測定装置および方法
DK200801536A (en) 2008-11-07 2010-05-08 Dralle As Tracking of wood from the forest to an industrial plant
DE102009027449A1 (de) * 2009-07-03 2011-01-05 Hochschule für angewandte Wissenschaft und Kunst Fachhochschule Hildesheim/Holzminden/Göttingen Erfassung von Rundholzpoltern
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US20130144568A1 (en) * 2011-08-31 2013-06-06 Rodrigo A. Palma-Amestoy System and Method for Variable Detection in Objects
CN102930419A (zh) * 2012-10-22 2013-02-13 东北林业大学 贮木场内各种木材的自动化管理系统
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
KR20170066336A (ko) 2014-08-13 2017-06-14 씨 쓰리 리미티드 로그 스캔 시스템

Also Published As

Publication number Publication date
CN107111602A (zh) 2017-08-29
EP3180710B1 (en) 2020-02-12
EP3180710A1 (en) 2017-06-21
WO2016024242A1 (en) 2016-02-18
AU2015302917A1 (en) 2017-03-09
EP3180710A4 (en) 2018-04-04
CN107111602B (zh) 2020-09-01
US10503943B2 (en) 2019-12-10
AU2015302917B2 (en) 2020-09-17
JP2017527057A (ja) 2017-09-14
US20170235983A1 (en) 2017-08-17
HK1243515A1 (zh) 2018-07-13
KR20170066336A (ko) 2017-06-14
NZ729029A (en) 2021-06-25
CA2957873A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
JP6648135B2 (ja) 丸太走査システム
US20200279389A1 (en) Object measurement system
US11087484B2 (en) Camera apparatus and method of detecting a stream of objects
US10060724B2 (en) Method, computer program product and measuring system for operating a triangulation laser scanner to identify properties of a surface of a workpiece to be measured
CN106573381B (zh) 卡车卸载机可视化
Reynolds et al. Capturing time-of-flight data with confidence
US10008024B2 (en) Material-aware three-dimensional scanning
EP3258210B1 (en) Automatic mode switching in a system for measuring dimensions
WO2013170260A1 (en) Hand held dimension capture apparatus, system, and method
WO2011162388A4 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2017527057A5 (ja)
WO2015140855A1 (ja) Pos端末装置、posシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP6520913B2 (ja) 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム
WO2019091118A1 (en) Robotic 3d scanning systems and scanning methods
US20200225022A1 (en) Robotic 3d scanning systems and scanning methods
Eric et al. Kinect depth sensor for computer vision applications in autonomous vehicles
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
US11475574B2 (en) Methods for unit load device (ULD) door tarp detection
CN109166257B (zh) 一种购物车商品核验方法及其装置
US11430129B2 (en) Methods for unit load device (ULD) localization
JP7424800B2 (ja) 制御装置、その制御方法、及び制御システム
NZ729029B2 (en) Log scanning system
Walter et al. Enabling multi-purpose mobile manipulators: Localization of glossy objects using a light-field camera
JPWO2019003686A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US12062157B2 (en) Systems and methods for employing invisible fiducials for aligning scans or images to form composite images, models, or datasets

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200115

R150 Certificate of patent or registration of utility model

Ref document number: 6648135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees