JP6648135B2 - 丸太走査システム - Google Patents
丸太走査システム Download PDFInfo
- Publication number
- JP6648135B2 JP6648135B2 JP2017527986A JP2017527986A JP6648135B2 JP 6648135 B2 JP6648135 B2 JP 6648135B2 JP 2017527986 A JP2017527986 A JP 2017527986A JP 2017527986 A JP2017527986 A JP 2017527986A JP 6648135 B2 JP6648135 B2 JP 6648135B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- load
- data
- depth
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 128
- 238000000034 method Methods 0.000 claims description 105
- 238000013499 data model Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 40
- 230000000704 physical effect Effects 0.000 claims description 20
- 239000002023 wood Substances 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000007920 subcutaneous administration Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000011065 in-situ storage Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims 4
- 230000006870 function Effects 0.000 description 54
- 238000005259 measurement Methods 0.000 description 27
- 238000003860 storage Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 241000894007 species Species 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 240000007320 Pinus strobus Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005266 casting Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000414 obstructive effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000007592 spray painting technique Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000254032 Acrididae Species 0.000 description 1
- 101100327917 Caenorhabditis elegans chup-1 gene Proteins 0.000 description 1
- 101100206389 Caenorhabditis elegans tag-124 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/04—Sorting according to size
- B07C5/12—Sorting according to size characterised by the application to particular articles, not otherwise provided for
- B07C5/14—Sorting timber or logs, e.g. tree trunks, beams, planks or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/12—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
- G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K2007/10524—Hand-held scanners
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Biodiversity & Conservation Biology (AREA)
- Forests & Forestry (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Description
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し;
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し;
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し;
決定された丸太端部境界及び抽出された丸太IDデータに基づいて、丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
キャプチャされた各深度画像、または深度画像及びテクスチャ画像におけるハンドヘルドスキャナユニットのポーズを推定するために、深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成すること、ならびに
深度画像、または深度画像及びテクスチャ画像、及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することによって行われる。
キャプチャされた各深度画像におけるハンドヘルドスキャナユニットのポーズを推定するために深度画像を処理し、各深度画像に関連したポーズ推定データを生成すること、ならびに
深度画像及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することにより、深度画像を積載物端面のデータモデルに融合するように構成される。
各丸太端面に関連した平面を計算し、決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影すること、
丸太端部境界及び平面を、メトリックワールド座標系に変換すること、及び
変換された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することにより、丸太端部の物理的特性を測定するように構成される。
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
決定された丸太端部境界及び抽出された丸太IDデータに基づいて、丸太積載物を表す出力データを生成することとを含む。
キャプチャされた各深度画像、または深度画像及びテクスチャ画像におけるハンドヘルドスキャナユニットのポーズを推定するために、深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成することと、
深度画像、または深度画像及びテクスチャ画像、ならびにポーズ推定データを、空間データ構造の形態でデータモデルに処理することとを含む。
キャプチャされた各深度画像におけるハンドヘルドスキャナユニットのポーズを推定するために深度画像を処理し、各深度画像に関連したポーズ推定データを生成することと、
深度画像及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することとを含む。
積載物端面に垂直なレイキャスト直交深度画像を生成するためにデータモデルを処理することと、
レイキャスト直交深度画像から丸太端部境界を抽出することとを含む。
1つ以上のレイキャスト画像を生成するためにデータモデルを処理することと、
1つ以上のレイキャスト画像から丸太端部境界を抽出することとを含む。
各丸太端面に関連した平面を計算し、決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影することと、
丸太端部境界及び平面を、メトリックワールド座標系に変換することと、
変換された丸太端部境界に基づいて、丸太端部の1つ以上の物理的特性を測定することとを含む。
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサと、
保存及び/または処理のために、キャプチャされた深度及びテクスチャ画像を表すデータを出力するように構成されるコントローラとを備える。
積載物端面の一連のキャプチャされた深度及びテクスチャ画像を受信し、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成される。
積載物端面の一連のキャプチャされた深度及びテクスチャ画像を受信することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することとを含む。
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
各走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
個々の丸太のそれぞれの丸太端部の1つ以上の物理的特性を決定するために、深度及び/またはテクスチャ画像を処理し、
決定された1つ以上の物理的特性を表す丸太積載物に対する出力データを生成するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
それぞれの個々の丸太の丸太端部の1つ以上の物理的特性を決定するために、深度及び/またはテクスチャ画像を処理することと、
決定された1つ以上の物理的特性を表す丸太積載物に対する出力データを生成することとを含む。
丸太積載物の積載物端面上での走査のための移動可能なスキャナユニットであって、
積載物端面走査の間、積載物端面の1つ以上の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の1つ以上のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
各走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、丸太積載物の1つ以上の特性を表す出力データを生成するために、深度及び/またはテクスチャ画像を処理するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備える移動可能なスキャナユニットで丸太積載物の積載物端面を走査することと、
丸太積載物の1つ以上の特性を表す出力データを生成するために、深度及び/またはテクスチャ画像を処理することとを含む。
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成することとを含む。
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、
積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサと、
積載物端面走査の間、積載物端面の一連のテクスチャ画像をキャプチャするように構成されるテクスチャセンサとを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像及びテクスチャ画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成し、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理し、
丸太カウント及び丸太IDデータを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度センサ及びテクスチャセンサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することと、
走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、テクスチャ画像を処理することと、
丸太カウント及び丸太IDデータを含む丸太積載物を表す出力データを生成することとを含む。
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成し、
丸太カウントを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像を取得するために、深度センサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することと、
丸太カウントを含む丸太積載物を表す出力データを生成することとを含む。
丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、積載物端面走査の間、積載物端面の一連の深度画像をキャプチャするように構成される深度センサを備えるスキャナユニットと、
走査からキャプチャされた一連の深度画像を受信するデータプロセッサ(複数を含む)であって、
深度画像を積載物端面のデータモデルに融合し、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定し、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定し、
丸太端部境界データを含む丸太積載物を表す出力データを生成するように構成されるデータプロセッサとを備える。
積載物端面の一連の深度画像を取得するために、深度センサを備えるハンドヘルドスキャナユニットで丸太積載物の積載物端面を走査することと、
深度画像を積載物端面のデータモデルに融合することと、
データモデルを処理することにより、積載物端面において視認され得る個々の丸太の丸太端部境界を決定することと、
各丸太に対して代表的な丸太端部境界データを生成するために、決定された丸太端部境界に基づいて丸太端部の物理的特性を測定することと、
丸太端部境界データを含む丸太積載物を表す出力データを生成することとを含む。
「機械可読コード」という語句は、本明細書及び特許請求の範囲において使用される場合、文脈により別の意味が示唆されない限り、線形の一次元バーコードもしくはマトリックス式の二次元バーコード、例えばクイックレスポンス(QR)コード、三次元コード、または画像のキャプチャ及び処理等により走査可能な任意の他のコードであるかを問わず、バーコード等の情報を表す、または埋め込んだ、もしくは符号化した視覚的または図形的コードの任意の形態を意味するように意図される。
本発明は、林業における使用のための丸太走査システムに関する。特に、システムは、丸太端部に固定された識別(ID)要素に基づいて積載物における個々の丸太のそれぞれを識別するため、積載物における丸太の数を計数するため、及び/または、輸出等の商業目的で丸太を評価するために使用され得る、端部直径測定値等の個々の丸太の特性を測定もしくは決定するために、丸太の積載物または山(丸太積載物)を走査するべく使用され得る。システムは、主として、トラックから丸太を降ろす必要なく、木材運搬トラック上の原位置で送達された丸太の積載物を走査するための、木材運搬トラック処理ステーションまたはチェックポイント、例えば港または他の丸太処理ステーションにおける使用のために設計される。システムにより取得された走査データは、個々の丸太の識別及び追跡、丸太の計数、ならびに/または、例えば丸太輸出産業に関連して、量及び価値を決定するための丸太の評価のための、丸太インベントリまたはレポートシステムの一部として使用され得る。システムは、例示のために、木材運搬トラックまたはトレーラの後部上の丸太積載物を走査する用途に関連して説明されるが、システムはまた、船舶、貨車、積込機、もしくは他の車両上に位置する丸太の山、または、地面もしくは他の場所、例えば丸太架台の上に積み重ねられた、もしくは別様に載置された丸太の山もしくは積載物を走査するために使用されてもよいことが理解される。システムは、室内または室外での使用に適合され得る。
図1〜6を参照して、丸太識別及び測定システム10の一実施形態の主要ハードウェアコンポーネントが、さらに詳細に説明される。図1を参照すると、この実施形態において、システム10は、データ処理システム20とデータ通信している可搬式走査システム11を備える。可搬式走査システム11は、木材運搬トラック上の原位置で丸太積載物の積載物端面を走査するために、操作者により持ち運ばれて利用されるように構成される。可搬式走査システム11は、丸太積載物の積載物端面の自由形式の走査のために、操作者14の手(複数を含む)により保持されるように構成されるハンドヘルドスキャナユニット12を備える。この実施形態において、後により詳細に説明されるように、ハンドヘルドスキャナユニット12には、丸太積載物の一方または両方の積載物端面の、一連の同時の深度画像及びテクスチャ画像(深度及びテクスチャ画像の対)を取得またはキャプチャするためのセンサが提供されている。この実施形態において、システムはまた、ハンドヘルドスキャナユニット12のセンサによりキャプチャされている視野または深度及びテクスチャ画像のリアルタイム表現を表示するためのディスプレイを備える、別個の操作者インターフェースデバイス16を備える。スキャナコントローラ18及び電源19は、ハンドヘルドスキャナユニット12に配線接続されている。スキャナコントローラ18は、ハンドヘルドスキャナユニット12からの深度及びテクスチャ画像データストリームを受信し、これらの画像が無線データ通信リンクまたはネットワーク26を介してデータ処理システム20に無線で伝送される前に、これらの画像を前処理する。
ここで、例示として、操作者によりシステム10を使用して実行される典型的な走査プロセスを説明する。操作者は、ベルトまたはベルトバッグまたは同様のものを使用して、スキャナコントローラ18及び電源部19を腰の周りに取り付け、一方の手にハンドヘルドスキャナユニット12を、他方の手に操作者インターフェースデバイス16を保持する。操作者は、図7に示されるように、吹き付け塗装に類似した動きで丸太積載物の積載物端面を走査する。ハンドヘルドスキャナユニットは、積載物端面上を走査すると、ハンドヘルドスキャナユニット12の深度カメラ52及びテクスチャカメラ56から、同期及び補正された原深度画像及びテクスチャ画像を取得する。これに関して、「同期」は、深度及びテクスチャ画像の対が、時間的に同じ瞬間に取得されることを意味し、「補正」は、センサ52、56の固有パラメータ(例えば、焦点距離、倍率、歪み)及びセンサ間の形状保存変換が、ハンドヘルドスキャナユニット12上でのそれらの互いに対する装着位置に基づいて既知であることを意味する。
ここで、例示的実施形態を参照しながら、システムにおけるデータフロー及びデータ処理を説明する。
図12を参照すると、システムのソフトウェアアーキテクチャの高レベルの概要が示されており、特に、システムの様々なハードウェアコンポーネント上に展開または実装された様々なソフトウェアコンポーネント及び/または機能及び/またはモジュールが説明される。図12において参照されるデータ処理コンポーネントの概要を、以下の表1に示す。
1.接続成分は、ほぼ平坦で画像平面と配列する(丸太端部である可能性がより高い)もののみを保持するようにトリミングされる。
2.小さすぎる、または細長すぎる成分は廃棄される。
3.残った成分は、底部、左及び右側における丸太面の範囲に対して、境界を見つけるために使用される。これは、
−直角または水平配列、
−丸太の丸さ、
−トラック及びトレーラ架台の既知の幅、
−面の残りとの深度の一致、ならびに
−面の縁における丸太と丸太以外の特徴との間の一般的な不連続性等の、丸太端面の縁における丸太の外観のいくつかの特徴的尺度を演算及び積算することにより行われる。
4.厳密に丸太面境界内にある成分は、丸太として分類される。
−合致:丸太重心間の距離。
−テーパリング:直径間の距離及びテーパリングモデルへの参照。
−タグ整合性:小端部に存在する可能性が高いタグ。
−丸太長さ:類似した長さとなるべきである。
代替のシステム構成
前述のように、上述の丸太走査システムの実施形態は、丸太識別、丸太計数、及び丸太測定、例えば評価のために丸太積載物を走査するように構成される。特に、テクスチャセンサからの走査データは、IDタグ等のその視認され得るID要素に基づいて積載物における個々の丸太の丸太IDデータを得るために使用される。深度センサからの走査データは、丸太端部境界を決定するために処理され、次いでこれが、丸太IDデータに基づくそれぞれの識別された丸太に関連付けられた、またはリンクされた直径測定値等の丸太端部境界データを提供するために測定され得る。さらに、深度センサ走査データの処理から識別された個々の丸太端部境界の数に基づいて、丸太カウントが生成される。
上記実施形態は、IDタグが丸太の小端部に提供または固定された場合に関して説明されている。代替の実施形態において、IDタグは、丸太の大端部に提供され得ることが理解される。そのような場合において、丸太積載物走査の各端部で走査を行うことができ、走査データを合成して、丸太積載物を表す出力データを生成する。システムは、全ての小端部が丸太積載物の同じ端部に存在する場合、または、小端部が丸太積載物の各端部間で混在している場合に対応するように構成され得る。そのようなシナリオにおいて、小端部の走査は、評価及び/または計数データを提供し、大端部の走査は、丸太ID及び/または計数データを提供する。
動き回るディスプレイを追うことは実際には困難であるため、携帯型スキャナには、スキャナヘッドから物理的に分離した走査者ディスプレイが必要である。上述の実施形態において、操作者インターフェースデバイスは、走査中に使用者にリアルタイム画像を示すためのディスプレイを備えるだけである。しかしながら、代替の実施形態において、操作者インターフェースデバイスは、走査システム、または操作システムもしくはハンドヘルドスキャナの態様を制御するように構成されてもよい。例えば、操作者は、例えば操作者インターフェースデバイスのタッチスクリーンディスプレイインターフェース上のGUIを使用して、単にボタンに触れるだけでシステムのオン及びオフを切り替え、走査から取得を経て処理段階に移行させることができる。1つの構成において、GUIは、オペレータが走査後に識別された丸太カウント及びタグの数をチェックすることができるように構成されてもよい。別の構成において、システムは、異なる情報源を提示するように、例えば、トラック運転手の荷札を、計数された丸太の数と共に見られるQRタグの数と比較するように改良されてもよい。いかなる相違も、例えば赤で強調表示された最も可能性のあるエラーと共に、人間工学的な視覚形態で提示され得る。これは、操作者がまだ傾斜路上にいる間に行うことができ、目の前の積載物をシステムの処理画像と視覚的に比較することができる。例えば、システムが誤って2つの丸太端部を1つにマージした(したがって過度に低いカウントが得られた)場合、または単一の丸太を2つに分断した(したがって過度に高いカウントが得られた)場合、これが警告され得る。最も可能性のある問題エリアは強調表示され得、エラーは操作者に明確となり、操作者は、例えば画像上での単純なピンチアンドズーム操作のマルチタッチジェスチャで結果を補正する。
深度画像が互いに融合され得るのとちょうど同じように、テクスチャ画像もまた、図34に示されるような切断カラー関数(TCF)と呼ばれる空間データ構造に融合され得る。TCF及びTSDFを一緒に使用することにより、深度のみの使用よりもロバストで正確なポーズ推定が提供され得る。特に、深度及びテクスチャSLAMによれば、ずれ(登録の部分的損失)の可能性がより低い。これは、深度データが丸太端部等の平坦表面上で極めて均一であり、丸太端部のみが登録のためのフックとして残るためである。それと比較して、テクスチャは、木の年輪、タグ、樹皮及び平坦表面上の吹き付け塗料等の特徴の追跡により寄与し得る。追加的なテクスチャ情報の主な利点は、操作者が積載物面のより近くで作業し得ることである。深度のみでの登録の使用は、現在、深度登録がロバストに機能し得るには約1.5mの隔離を必要とする。
上述の実施形態は、各深度画像に対するセンサヘッドのポーズ(場所及び方位)を得るために、レイキャスティングに基づく深度3D自己登録アルゴリズムを使用する。入力される深度画像を直接非明示的3Dモデル(TSDF)と比較することにより、深度SLAMを実行することが可能である。これらの最近のアルゴリズムは、レイキャスティングに基づくものよりも正確であり、丸太端部境界のより細かい位置決めをもたらすことが示されている。
QRタグは、それぞれ一意のIDを有するという有用な特性を有する。我々は、それが視認され得る各テクスチャ画像における各タグの重心(中心点)を計算する。各タグは、その丸太上の位置に固定され、テクスチャ画像において複数の(数十またはさらに数百の)異なる角度から見られるため、センサヘッドのポーズを速やかに検出または確認するために使用され得る。これは、同じタグの様々なビューを正確に関連付けるためにタグIDを使用して、異なるテクスチャ画像間の三角測量により行われる。この種の離散的SLAMは、高密度深度(及びおそらくはテクスチャ)SLAMと併せて使用され得る。タグ重心はそれぞれの対応するテクスチャ画像において視認され得、深度センサはテクスチャカメラに対してしっかりと装着されるため、これは、深度SLAMをずれから保護するために使用され得る。
上述のIDタグ追跡のさらなる利点は、システムが速やかにロックを再取得する(それ自体を積載物面に登録する)ことが可能となることである。これは、過度に速い走査によりロックが誤って失われた場合、または、操作者がある部分を走査し忘れたことを認識し、走査を再開したい場合に必要とされ得る。加速度計及びタグIDの両方が、システムが再び作業状況を把握するために使用される。
上記実施形態において、システムは、レイキャスティングにより、積載物面の直交深度画像(R)を構築する。この画像は、丸太境界を決定しそれを計数するために、丸太単一化アルゴリズムにより使用される。直交画像は、平行(マップ)投影により積載物端面を示す。直交投影は、丸太端部形状及びサイズを保存し(射影ひずみがない)、丸太端部の視認性をほぼ最大化するため、有用である。しかしながら、実際には、積載物は常に理想的とは限らず、丸太がまっすぐに積み重ねられておらず、または直角に切断されておらず、時折樹皮片が丸太端部にぶら下がっている場合がある。異なる角度でレイキャストされた積載物面のいくつかの画像がアルゴリズムに与えられれば、丸太単一化性能が改善され得る。
上述の実施形態において、操作者デバイスインターフェースは、深度データが欠けた(例えばIR干渉により)場合の警告指示により補助された、ストリーミングテクスチャ画像のライブ表示を操作者に示すように構成される。この表示は、センサヘッドがどこを向いており、キャプチャされたデータの品質がどのようであるかをある程度操作者に示すのに効果的である。しかしながら、これは、積載物面のどの部分が走査されたか、または深度登録アルゴリズムが3Dモデルを形成する上でロックを維持しているかを操作者が知ることには役立たない。3Dモデルが構築されている際にそのスケールダウンされたバージョンを操作者に示すことは可能である。これは、どのエリアが走査されたか、またどの部分が再検討を必要とし得るかを即座に示す。センサヘッドの現在の視野が、レンダリングされた3Dモデル上に移動ファインダフレームとして示され得る。
丸太端部の単一化のプロセスにおいて、システムは、完全な丸太端部境界を検出する。これにより、現在のJAS直径測定値に加えて、丸太端部面積、またはより複雑な直径測定値等の他の測定値を得る機会が提供される。
積載物端部のマージは、小端部が丸太積載物の両端の間で混在する場合に重要な操作である。この操作をさらによりロバストとするために、さらなるアルゴリズム的コスト関数を追加することができる。現在、場所、長さ、タグ、及びテーパリングに基づくコストが使用されている。ペア丸太貫通(pairwise log penetration)等の他の特性に基づくコストもまた追加され得る。タグコストを強化することも可能である。
理想的には、システムは、任意の光条件で動作すべきであり、主な照明要件は、QRタグが可読となるべきであり、樹皮境界が視認され得るべきであるということである。積載物の上または周りの光は、突き出した丸太または樹皮が他の丸太端部に影を落とす可能性があるため、助けとなるよりも障害となり得る。最も邪魔とならない照明は、多くの場合センサヘッド上の光を含むが、これは、テクスチャ画像における影の視認性を最小限化するためである。しかしながら、テクスチャ視錐台内の光線と同軸の光は、光沢のあるゴム、濡れた丸太またはQRタグからの不要な鏡面性(明るい反射)を生成し得る。これは克服することができない問題であり、最善のテクスチャを選択するために異なる角度からの各丸太端部のいくつかのビューを得ることにより軽減される。可能な構成は、テクスチャカメラレンズの周りに装着された極めて明るいLEDのアレイであってもよい。これは、積載物面に明るい光を生成し、従来の頭上の光からの影を実質的に低減することができる。テクスチャカメラ露出と同期された単パルスでのLEDのストロボにより、バッテリー要件を下げる比較的低い平均出力で明るさを最大化することができる。ストロボ周波数は、不快な視認され得るストロボを生成しないようにするためには、約60Hz以上である必要があり、ストロボ信号は、周波数増幅器を介して深度センサの30Hz同期パルスから得ることができる。
さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの任意の組み合わせにより実装され得る。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ストレージ媒体または他のストレージ(複数可)等の機械可読媒体に保存され得る。プロセッサは、必要なタスクを実行することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、もしくは命令の任意の組み合わせ、データ構造、またはプログラム文を表し得る。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を受け渡す及び/または受信することにより、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データ等は、メモリ共有、メッセージ受け渡し、トークン受け渡し、ネットワーク伝送等を含む任意の好適な手段により、受け渡し、転送、または伝送され得る。
Claims (23)
- 丸太の積載物(丸太積載物)を走査するための丸太走査システムであって、前記丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、前記システムは、
前記丸太積載物の積載物端面上での操作者による自由形式の走査のためのハンドヘルドスキャナユニットであって、前記スキャナユニットは、深度検知とテクスチャ検知のための複数のセンサを有し、前記複数のセンサは、
前記積載物端面走査の間、前記積載物端面の一連の深度画像と、
前記積載物端面走査の間、前記積載物端面の一連のテクスチャ画像と、をキャプチャするように構成され、
前記走査からキャプチャされた前記一連の深度画像及びテクスチャ画像を受信する1つ又は複数のデータプロセッサであって、
前記深度画像を前記積載物端面のデータモデルに融合し、
前記データモデルを処理することにより、前記積載物端面において視認され得る前記個々の丸太の丸太端部境界を決定し、
前記走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、前記丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、前記テクスチャ画像を処理し、
前記決定された丸太端部境界及び抽出された丸太IDデータに基づいて、前記丸太積載物を表す出力データを生成するように構成される1つ又は複数のデータプロセッサとを備えるシステム。 - 前記1つ又は複数のデータプロセッサは、各丸太に対する代表的な丸太端部境界データを生成するために、前記決定された丸太端部境界に基づいて前記丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成され、前記丸太積載物を表す前記生成された出力データは、各丸太に対する前記丸太端部境界データを含む、請求項1に記載の丸太走査システム。
- 前記1つ又は複数のデータプロセッサは、前記生成された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するようにさらに構成され、前記丸太積載物を表す前記生成された出力データは、前記個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間の前記リンクまたは関連性を含む、請求項2に記載の丸太走査システム。
- 前記1つ又は複数のデータプロセッサは、前記積載物端面走査から識別された、決定された個々の丸太端部境界の数に基づいて、丸太カウントを生成することにより出力データを生成するように構成され、前記丸太積載物を表す前記生成された出力データは、前記丸太積載物における丸太の数を表す前記丸太カウントを含む、請求項1から3のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットは、前記スキャナユニットが走査中に積載物端面全体を走査した際に、前記深度画像及びテクスチャ画像を対として同時にキャプチャするように前記複数のセンサを操作するように構成され、又は、前記ハンドヘルドスキャナユニットは、前記走査においてキャプチャされた前記深度及びテクスチャ画像の少なくともいくつかが、時間的に同じ瞬間に同時にキャプチャされた対であるように、前記複数のセンサを操作するように構成される、請求項1から4のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットは、前記複数のセンサへの共通したトリガ信号に基づいて、前記深度及びテクスチャ画像を対として同時にキャプチャするように構成される、請求項5に記載の丸太走査システム。
- 各深度画像及びテクスチャ画像が、前記積載物端面の一部をキャプチャし、前記複数のセンサの視野は、前記積載物端面から所定の隔離距離で操作された場合、深度及びテクスチャ画像の各対に対して全積載物端面の一部のみをキャプチャし、前記一連の深度及びテクスチャ画像の対は、前記走査の完了時に集合的に積載物端面全体をキャプチャする、請求項1から6のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットの前記複数のセンサは、深度カメラを有し、前記ハンドヘルドスキャナユニットの前記深度カメラは、赤外線周波数で動作し、ノイズを低減するために赤外線フィルタを備える、請求項1から7のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットの前記複数のセンサは、ステレオカメラを有する、請求項1から7のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナの前記複数のセンサは、テクスチャカメラを有する、請求項1から9のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットの前記テクスチャカメラは、前記丸太端部の木質部−樹皮境界を決定するためにテクスチャ画像を向上させるように構成される、1つ以上のカラーフィルタを備えるモノクロカメラである、又は、前記ハンドヘルドスキャナユニットの前記テクスチャカメラは、カラーカメラである、請求項10に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットに操作可能に接続され、走査フィードバックを使用者に表示するように構成される表示画面を有する、操作者インターフェースデバイスをさらに備える、請求項1から11のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットは、前記1つ又は複数のデータプロセッサとは別個のデバイスであり、前記ハンドヘルドスキャナユニットは、データリンクを介して前記1つ又は複数のデータプロセッサと通信するように構成される、請求項1から12のいずれか一項に記載の丸太走査システム。
- 前記ID要素は、機械可読印刷コードであり、各機械可読印刷コードは、それぞれの丸太に割り当てられた符号化された一意の丸太IDデータまたはコードを含む、請求項1から13のいずれか一項に記載の丸太走査システム。
- 前記1つ又は複数のデータプロセッサは、前記深度画像、または深度画像及びテクスチャ画像を、前記積載物端面のデータモデルに融合するように構成され、前記融合は、
キャプチャされた各深度画像、または深度画像及びテクスチャ画像における前記ハンドヘルドスキャナユニットのポーズを推定するために、前記深度画像、または深度画像及びテクスチャ画像を処理し、各深度画像、または深度画像及びテクスチャ画像に関連したポーズ推定データを生成すること、ならびに
前記深度画像、または深度画像及びテクスチャ画像、及びポーズ推定データを、空間データ構造の形態でデータモデルに処理することによって行われる、請求項1から14のいずれか一項に記載の丸太走査システム。 - 前記1つ又は複数のデータプロセッサは、1つ以上のレイキャスト画像を生成するために前記データモデルを処理すること、及び前記レイキャスト画像から前記丸太端部境界を抽出することにより、前記積載物端面において視認され得る前記個々の丸太の前記丸太端部境界を生成するように構成され、前記1つ以上のレイキャスト画像は、レイキャスト深度画像を含み、前記1つ又は複数のデータプロセッサは、前記積載物端面のレイキャスト正像を生成し、次いで前記レイキャスト正像に基づいて前記レイキャスト深度画像をさらに画像処理し、丸太以外の特徴及び/または丸太の側面を除去したクリーンなレイキャスト深度画像を生成するようにさらに構成され、前記クリーンなレイキャスト深度画像は、前記丸太端部境界を決定するために処理される、請求項1から15のいずれか一項に記載の丸太走査システム。
- 前記1つ以上のレイキャスト画像から決定された前記丸太端部境界は、前記1つ又は複数のデータプロセッサによって、前記決定された丸太端部境界を前記キャプチャされたテクスチャ画像の1つ以上に変換及び投影することによって、また、各丸太に対する木質部−樹皮境界界面を検出するために前記テクスチャ画像を処理し、また前記投影された丸太端部境界を前記検出された木質部−樹皮境界に調節して、各丸太に対して精緻化された樹皮下丸太端部境界を生成するように構成される、分割アルゴリズムを実行することにより、前記木質部−樹皮境界を検出するために前記投影された丸太端部境界の領域における前記テクスチャ画像を処理することによって、さらに精緻化される、請求項16に記載の丸太走査システム。
- 前記1つ又は複数のデータプロセッサは、各丸太に対して代表的な丸太端部境界データを生成し、次いで、各丸太に対する前記丸太端部境界データを含む前記丸太積載物を表す出力データを生成するために、決定または精緻化された丸太端部境界に基づいて、前記丸太端部の1つ以上の物理的特性を測定することにより出力データを生成するように構成され、前記1つ又は複数のデータプロセッサは、
各丸太端面に関連した平面を計算し、前記決定または精緻化された丸太端部境界を、そのそれぞれの計算された丸太端部平面上に投影すること、
前記丸太端部境界及び平面を、メトリックワールド座標系に変換すること、及び
前記変換された丸太端部境界に基づいて、前記丸太端部の1つ以上の物理的特性を測定することにより、前記丸太端部の前記物理的特性を測定するように構成され、
前記1つ又は複数のデータプロセッサは、前記抽出された個々の丸太IDデータと、そのそれぞれの丸太端部境界データとの間のリンクまたは関連性を生成するように構成され、前記生成は、前記テクスチャ画像に基づいて前記ID要素の中心を三角測量して、どのID要素がどの丸太端部境界及びその関連した丸太端部境界データに対応するかを検出することと、この対応を表す前記生成されるリンクまたは関連性を含む前記丸太積載物を表す出力データを生成することとによって行われる、請求項1から17のいずれか一項に記載の丸太走査システム。 - 前記丸太積載物は、前記ハンドヘルドスキャナユニットにより走査される際、輸送車両上の原位置にある、または代替として地面もしくは別の表面上に載置されている、請求項1から18のいずれか一項に記載の丸太走査システム。
- 前記ID要素は、前記丸太積載物における前記丸太のそれぞれの小端部にのみ提供され、前記丸太積載物が同じ積載物端面において前記丸太の全ての小端部を含む場合、システムは、前記小端部を含む前記積載物端面の走査のみから走査データを処理するように構成され、または、前記丸太積載物が前記丸太積載物の両端部間で混在する前記丸太の小端部を含む場合、システムは、それぞれ前記丸太積載物の積載物端面の1つの走査である2回の別個の走査からのデータを受信及び処理し、両方の走査からの走査データを合成もしくはマージするように構成される、請求項1から19のいずれか一項に記載の丸太走査システム。
- 前記ハンドヘルドスキャナユニットが装着または支持される操作可能な動力支持システムをさらに備え、前記支持システムは、自動的に、または操作者による手動制御に応じて、前記積載物端面を走査するために前記丸太積載物に対して前記ハンドヘルドスキャナユニットを移動させるように構成される、請求項1から20のいずれか一項に記載の丸太走査システム。
- 前記スキャナユニットの前記複数のセンサは、一連の深度画像をキャプチャするように構成される深度センサと、一連のテクスチャ画像をキャプチャするように構成さるテクスチャセンサとを有する、請求項1に記載の丸太走査システム。
- 丸太の積載物(丸太積載物)を識別及び測定する方法であって、前記丸太積載物におけるそれぞれの個々の丸太は、少なくとも1つの丸太端面上に一意の丸太IDデータを含むID要素を備え、前記方法は、
前記積載物端面の一連の深度画像及びテクスチャ画像を取得するために、深度検知とテクスチャ検知のための複数のセンサを備えるハンドヘルドスキャナユニットで前記丸太積載物の積載物端面を走査することと、
前記深度画像を前記積載物端面のデータモデルに融合することと、
前記データモデルを処理することにより、前記積載物端面において視認され得る前記個々の丸太の丸太端部境界を決定することと、
前記走査された積載物端面において視認され得る任意のID要素を識別及び復号化し、前記丸太積載物における個々の丸太に対する個々の丸太IDデータを抽出するために、前記テクスチャ画像を処理することと、
決定された丸太端部境界及び抽出された丸太IDデータに基づいて、前記丸太積載物を表す出力データを生成することとを含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NZ628730 | 2014-08-13 | ||
NZ62873014 | 2014-08-13 | ||
PCT/IB2015/056157 WO2016024242A1 (en) | 2014-08-13 | 2015-08-13 | Log scanning system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017527057A JP2017527057A (ja) | 2017-09-14 |
JP2017527057A5 JP2017527057A5 (ja) | 2019-09-05 |
JP6648135B2 true JP6648135B2 (ja) | 2020-02-14 |
Family
ID=55303922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527986A Expired - Fee Related JP6648135B2 (ja) | 2014-08-13 | 2015-08-13 | 丸太走査システム |
Country Status (9)
Country | Link |
---|---|
US (1) | US10503943B2 (ja) |
EP (1) | EP3180710B1 (ja) |
JP (1) | JP6648135B2 (ja) |
KR (1) | KR20170066336A (ja) |
CN (1) | CN107111602B (ja) |
AU (1) | AU2015302917B2 (ja) |
CA (1) | CA2957873A1 (ja) |
HK (1) | HK1243515A1 (ja) |
WO (1) | WO2016024242A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170066336A (ko) | 2014-08-13 | 2017-06-14 | 씨 쓰리 리미티드 | 로그 스캔 시스템 |
JP6696149B2 (ja) * | 2015-10-29 | 2020-05-20 | 富士通株式会社 | 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 |
KR102163742B1 (ko) * | 2015-12-11 | 2020-10-12 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
SE542511C2 (en) * | 2017-07-07 | 2020-05-26 | Soervik Bengt | Method for handling logs and log marking tool for use in such a method |
DE102017117056A1 (de) * | 2017-07-27 | 2019-01-31 | Testo SE & Co. KGaA | Aufmaßgerät und Verfahren zur Erstellung eines 3D-Modells |
CA3082445A1 (en) * | 2017-11-17 | 2019-05-23 | C 3 Limited | Object measurement system |
CN108262809B (zh) * | 2017-12-14 | 2021-06-29 | 北京木业邦科技有限公司 | 基于人工智能的木板加工方法、装置、电子设备和介质 |
CN107976157A (zh) * | 2017-12-26 | 2018-05-01 | 天远三维(天津)科技有限公司 | 一种于获取物体表面三维形貌的无线手持式三维扫描设备 |
JP7077651B2 (ja) * | 2018-02-16 | 2022-05-31 | 横河電機株式会社 | 分光分析装置 |
US10935374B2 (en) * | 2018-02-21 | 2021-03-02 | Faro Technologies, Inc. | Systems and methods for generating models of scanned environments |
US10769472B2 (en) * | 2018-03-28 | 2020-09-08 | Wipro Limited | Method and system counting plurality of objects placed in a region |
CN108571931A (zh) * | 2018-05-17 | 2018-09-25 | 北京林业大学 | 一种以tof深度相机为工具的测树方法 |
CN109242818A (zh) * | 2018-06-27 | 2019-01-18 | 深圳市全运通物流发展有限公司 | 一种原木检尺方法和装置 |
WO2020033593A1 (en) * | 2018-08-07 | 2020-02-13 | Britescan, Llc | Portable scanning device for ascertaining attributes of sample materials |
EP3692330A4 (en) * | 2018-09-17 | 2020-12-02 | Datalog, Llc | BALL MEASUREMENT SYSTEM AND ASSOCIATED PROCESSES |
AU2020211804A1 (en) | 2019-01-25 | 2021-03-25 | Robotics Plus Limited | Load scanning apparatus |
CN110006343B (zh) * | 2019-04-15 | 2021-02-12 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
FI20195628A1 (fi) * | 2019-07-11 | 2021-01-12 | Teknosavo Oy | Menetelmä kuitupuu- tai tukkinipun tilavuuden määrittämiseksi |
CN111044522B (zh) * | 2019-12-14 | 2022-03-11 | 中国科学院深圳先进技术研究院 | 缺陷检测方法、装置及终端设备 |
CN111208138B (zh) * | 2020-02-28 | 2021-03-12 | 天目爱视(北京)科技有限公司 | 一种智能木料识别装置 |
CN111366080A (zh) * | 2020-04-08 | 2020-07-03 | 三江学院 | 一种木材容积测量设备 |
RU2734085C1 (ru) * | 2020-05-28 | 2020-10-12 | Александр Васильевич Кононов | Устройство для бесконтактного измерения объема движущегося груза, имеющего сложную геометрическую форму |
KR102401831B1 (ko) * | 2021-02-23 | 2022-05-24 | 한남대학교 산학협력단 | Rgbd 센서를 이용한 3d 모델복원 방법 |
SK500392021A3 (sk) * | 2021-07-13 | 2021-09-29 | VALASAHA Group, a. s. | Spôsob stanovenia vonkajších parametrov guľatiny dreva pomocou trojdimenzionálneho obrazu |
SE545739C2 (en) * | 2021-12-07 | 2023-12-27 | Tracy Of Sweden Ab | Apparatus and method for classifying timber logs |
JP7097562B1 (ja) | 2022-03-30 | 2022-07-08 | 株式会社マプリィ | 材積推定システム及び材積推定方法 |
JP7563811B1 (ja) | 2024-03-05 | 2024-10-08 | あやたかシステム開発株式会社 | 積み上げた物体をカウントするための端末、システム、方法およびプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4913551A (en) * | 1987-07-28 | 1990-04-03 | Davis Richard B | Log measuring method and apparatus |
US5607187A (en) | 1991-10-09 | 1997-03-04 | Kiwisoft Programs Limited | Method of identifying a plurality of labels having data fields within a machine readable border |
US5307294A (en) | 1992-12-22 | 1994-04-26 | Aman James A | Automated end tally system |
JPH09281581A (ja) * | 1996-03-29 | 1997-10-31 | Kiwisoft Programs Ltd | 1群のラベル付き物品を記録するためのカメラ |
SE515950C2 (sv) | 1999-06-23 | 2001-10-29 | Acanova Ab | Förfarande och anordning att mäta en timmerstocks vedyteprofil |
DE10031410B4 (de) | 2000-02-07 | 2009-01-29 | Michael Willmann | Verfahren zur Mengenermittlung von Industrieholzsortimenten |
US7660433B2 (en) | 2002-08-27 | 2010-02-09 | Dralle A/S | Method and a system for automatic measurement and tracking of logs, industrial wood and boards |
US7356175B2 (en) * | 2003-09-25 | 2008-04-08 | Columbia Forest Products, Inc. | Identifying defects in decorative wood panels |
EP1745279A1 (en) | 2004-02-20 | 2007-01-24 | Dralle ApS | A system for grading of industrial wood |
US8625854B2 (en) | 2005-09-09 | 2014-01-07 | Industrial Research Limited | 3D scene scanner and a position and orientation system |
CN100582652C (zh) * | 2008-05-14 | 2010-01-20 | 天恒威科技(北京)有限公司 | 一种木材自动监管方法及系统 |
WO2010008074A1 (ja) * | 2008-07-18 | 2010-01-21 | 瀬戸製材株式会社 | 木材の管理システム |
JP5591466B2 (ja) * | 2008-11-06 | 2014-09-17 | 株式会社名南製作所 | 原木の3次元形状測定装置および方法 |
DK200801536A (en) | 2008-11-07 | 2010-05-08 | Dralle As | Tracking of wood from the forest to an industrial plant |
DE102009027449A1 (de) * | 2009-07-03 | 2011-01-05 | Hochschule für angewandte Wissenschaft und Kunst Fachhochschule Hildesheim/Holzminden/Göttingen | Erfassung von Rundholzpoltern |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US20130144568A1 (en) * | 2011-08-31 | 2013-06-06 | Rodrigo A. Palma-Amestoy | System and Method for Variable Detection in Objects |
CN102930419A (zh) * | 2012-10-22 | 2013-02-13 | 东北林业大学 | 贮木场内各种木材的自动化管理系统 |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
KR20170066336A (ko) | 2014-08-13 | 2017-06-14 | 씨 쓰리 리미티드 | 로그 스캔 시스템 |
-
2015
- 2015-08-13 KR KR1020177006821A patent/KR20170066336A/ko not_active Application Discontinuation
- 2015-08-13 CA CA2957873A patent/CA2957873A1/en not_active Abandoned
- 2015-08-13 WO PCT/IB2015/056157 patent/WO2016024242A1/en active Application Filing
- 2015-08-13 CN CN201580054237.0A patent/CN107111602B/zh not_active Expired - Fee Related
- 2015-08-13 JP JP2017527986A patent/JP6648135B2/ja not_active Expired - Fee Related
- 2015-08-13 US US15/503,613 patent/US10503943B2/en not_active Expired - Fee Related
- 2015-08-13 EP EP15832255.2A patent/EP3180710B1/en active Active
- 2015-08-13 AU AU2015302917A patent/AU2015302917B2/en active Active
-
2018
- 2018-02-27 HK HK18102798.0A patent/HK1243515A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN107111602A (zh) | 2017-08-29 |
EP3180710B1 (en) | 2020-02-12 |
EP3180710A1 (en) | 2017-06-21 |
WO2016024242A1 (en) | 2016-02-18 |
AU2015302917A1 (en) | 2017-03-09 |
EP3180710A4 (en) | 2018-04-04 |
CN107111602B (zh) | 2020-09-01 |
US10503943B2 (en) | 2019-12-10 |
AU2015302917B2 (en) | 2020-09-17 |
JP2017527057A (ja) | 2017-09-14 |
US20170235983A1 (en) | 2017-08-17 |
HK1243515A1 (zh) | 2018-07-13 |
KR20170066336A (ko) | 2017-06-14 |
NZ729029A (en) | 2021-06-25 |
CA2957873A1 (en) | 2016-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6648135B2 (ja) | 丸太走査システム | |
US20200279389A1 (en) | Object measurement system | |
US11087484B2 (en) | Camera apparatus and method of detecting a stream of objects | |
US10060724B2 (en) | Method, computer program product and measuring system for operating a triangulation laser scanner to identify properties of a surface of a workpiece to be measured | |
CN106573381B (zh) | 卡车卸载机可视化 | |
Reynolds et al. | Capturing time-of-flight data with confidence | |
US10008024B2 (en) | Material-aware three-dimensional scanning | |
EP3258210B1 (en) | Automatic mode switching in a system for measuring dimensions | |
WO2013170260A1 (en) | Hand held dimension capture apparatus, system, and method | |
WO2011162388A4 (ja) | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム | |
JP2017527057A5 (ja) | ||
WO2015140855A1 (ja) | Pos端末装置、posシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP6520913B2 (ja) | 物体検出装置、pos端末装置、物体検出方法及びコンピュータプログラム | |
WO2019091118A1 (en) | Robotic 3d scanning systems and scanning methods | |
US20200225022A1 (en) | Robotic 3d scanning systems and scanning methods | |
Eric et al. | Kinect depth sensor for computer vision applications in autonomous vehicles | |
CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
US11475574B2 (en) | Methods for unit load device (ULD) door tarp detection | |
CN109166257B (zh) | 一种购物车商品核验方法及其装置 | |
US11430129B2 (en) | Methods for unit load device (ULD) localization | |
JP7424800B2 (ja) | 制御装置、その制御方法、及び制御システム | |
NZ729029B2 (en) | Log scanning system | |
Walter et al. | Enabling multi-purpose mobile manipulators: Localization of glossy objects using a light-field camera | |
JPWO2019003686A1 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
US12062157B2 (en) | Systems and methods for employing invisible fiducials for aligning scans or images to form composite images, models, or datasets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180810 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6648135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |