JP7478363B2 - フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体 - Google Patents

フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体 Download PDF

Info

Publication number
JP7478363B2
JP7478363B2 JP2022142720A JP2022142720A JP7478363B2 JP 7478363 B2 JP7478363 B2 JP 7478363B2 JP 2022142720 A JP2022142720 A JP 2022142720A JP 2022142720 A JP2022142720 A JP 2022142720A JP 7478363 B2 JP7478363 B2 JP 7478363B2
Authority
JP
Japan
Prior art keywords
carrier
point cloud
truck
data
parking area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022142720A
Other languages
English (en)
Other versions
JP2023092447A (ja
Inventor
リ，ルーヤン
ファン，ム
ル，ユジエ
ヤン，ビンチュアン
ファン，リシャ
Original Assignee
ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッド filed Critical ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッド
Publication of JP2023092447A publication Critical patent/JP2023092447A/ja
Application granted granted Critical
Publication of JP7478363B2 publication Critical patent/JP7478363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0835—Relationships between shipper or supplier and carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0834—Choice of carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)

Description

本出願は、貨物運搬の技術分野に関し、特に、フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体に関する。
貨物運搬技術の発展に伴い、従来の人手によるフォークリフトの運搬は人件費がかかりすぎ、無人フォークリフトの登場によって、企業の人件費が低減し、貨物運搬の効率が向上するようになった。しかし現在、無人フォークリフトを利用して貨物を降ろす場合に、無人フォークリフトの降ろし作業の要求を低くするために、トラックの駐車位置の制約、及び貨物の載置ポーズと載置順序の固定をする必要があり、そのため、荷取りの効率が悪い。
第一様態において、本出願では、フォークリフトの荷取り方法が提供される。当該方法は以下を含む。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することであって、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている、取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御することと、を含む。
第二様態において、本出願では、コンピュータ装置がさらに提供される。当該コンピュータ装置は、プロセッサ及びメモリを含む。メモリはコンピュータプログラムを記憶しており、プロセッサはコンピュータプログラムを実行する場合に、以下の操作を実行するように構成されている。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することであって、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている、取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御すること。
第三様態において、本出願では、不揮発性コンピュータ可読記憶媒体がさらに提供される。当該不揮発性コンピュータ可読記憶媒体は、コンピュータプログラムを記憶している。コンピュータプログラムは、プロセッサによって実行される場合に、プロセッサが以下の操作を実行すること、を可能にする。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することであって、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている、取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御すること。
上記フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体において、トラック駐車領域を観測することによってトラック駐車領域の観測データを取得する。観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得する。各キャリアの点群データに基づいて各キャリアの相対ポーズを確定する。各キャリアの点群データに基づいて荷取りの優先順位を確定する。各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御する。観測データを取得し、次に観測データからトラックの点群データを取得し、その後、トラックの点群データから各キャリアの点群データを取得し、各キャリアの点群データに基づいて各キャリアの相対ポーズ及び荷取りの優先順位を確定する。それによって、フォークリフトが荷取りするよう制御する。このように、フォークリフトが荷取りするよう自動的に制御し、荷取りの効率を向上させることができる。
図１は、１つの実施形態に係るフォークリフトの荷取り方法のアプリケーションシナリオを示す図である。 図２は、１つの実施形態に係るフォークリフトの荷取り方法のフローチャートである。 図３は、１つの実施形態に係る監視点の配置位置を示す概略図である。 図４は、１つの実施形態に係るトラック駐車領域による座標系作成を示す概略図である。 図５は、１つの実施形態に係るフォークリフトの荷取り方法のフローチャートである。 図６は、１つの実施形態に係るフォークリフトの荷取り方法のフローチャートである。 図７は、１つの実施形態に係るフォークリフトの荷取り装置の構造を示すブロック図である。 図８は、１つの実施形態に係るコンピュータ装置の内部構造を示す概略図である。
本出願の目的、技術的解決策及び利点をより明確にするために、以下、図面及び実施形態を参照しながら、本出願についてさらに詳しく説明する。以下に記載される具体的な実施形態は、本出願を説明するためのみに用いられるが、本出願を限定するために用いられない。
本出願の実施形態に係るフォークリフトの荷取り方法は、図１に示されるアプリケーションシナリオに適用されることができる。端末１０２は、ネットワークを介してサーバ１０４と通信可能に接続されている。データ記憶システム１０６は、サーバ１０４が処理する必要のあるデータを記憶することができる。データ記憶システム１０６は、サーバ１０４に集積されてもよく、クラウド上又は他のネットワークサーバに配置されてもよい。データ記憶システム１０６がサーバ１０４に集積されている場合に、データ記憶システム１０６は、サーバ１０４内のバスを介してサーバ１０４と通信することができる。データ記憶システム１０６がクラウド上又は他のネットワークサーバに配置されている場合に、データ記憶システム１０６は、ネットワークを介してサーバ１０４と通信する。サーバ１０４は、端末１０２によって収集された、トラック駐車領域の観測データを取得する。トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている。サーバ１０４は、観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得する。サーバ１０４は、各キャリアの点群データに基づいて各キャリアの相対ポーズを確定する。サーバ１０４は、各キャリアの点群データに基づいて荷取りの優先順位を確定する。サーバ１０４は、各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御する。端末１０２は、様々なパソコン、ノートブックコンピュータ、スマートフォン、タブレットコンピュータ、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）装置、及び携帯型ウェアラブルデバイスであってもよいが、それらに限定されない。ＩｏＴ装置は、スマートスピーカー、スマートテレビ、スマートエアコン、スマート車載機器などであってもよい。携帯型ウェアラブルデバイスは、スマートウォッチ、スマートブレスレット、頭部装着型デバイスなどであってもよい。サーバ１０４は、独立したサーバによって実装されてもよく、複数のサーバからなるサーバクラスターによって実装されてもよい。本出願の実施形態において、サーバ１０４は中央制御システムであることができる。データ記憶システム１０６は、不揮発性メモリ及び発揮性メモリのうちの少なくとも１つを含む。
１つの実施形態において、図２に示されるように、フォークリフトの荷取り方法が提供される。当該方法が図１におけるサーバ１０４に適用されることを例として説明する。当該方法は以下のステップを含む。
ステップ２０２：トラック駐車領域の観測データを取得する。
トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている。観測データとは、貨物が積載されているトラック駐車領域内のトラックを観測することによって取得されるデータである。
具体的に、まずは、トラック駐車領域が予めに設定され、トラック駐車領域の周囲に監視装置が配置される。次に、少なくとも１台のトラックがトラック駐車領域に駐車した後、中央制御システム（具体的に、中央制御システムのプロセッサであることができる）は、監視装置がトラック駐車領域を観測するよう制御し、トラック駐車領域の観測データを取得する。
ステップ２０４：観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得する。
観測データから、貨物が積載されたトラックの空間領域を確定して、少なくとも１台のトラックの点群データを取得する。点群データとは、３次元（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ、３Ｄ）座標系におけるベクトルの集合であり、点の形で記録されたものである。各点は３Ｄ座標を含み、一部の点は、色情報や反射強度情報などを含むことも可能である。ここで、色情報とは、空間的な色情報を指し、反射強度情報とは、収集中にレーザーが異なる平面をスキャンした際に反射することによって得られる強度の異なる情報を指す。プロセッサは、観測データを処理することによって、少なくとも１台のトラックの点群データを取得する。キャリアとは、積載空間及び開口部を備えた支持体を指し、トラックの貨物を載せるために用いられる。キャリアは具体的にメッシュパレットなどを含んでもよい。キャリアは支持脚を備える。
具体的に、トラック駐車領域に基づいて、プロセッサは、観測データからトラック駐車領域の両側にある監視点によって収集された点群データを取得する。次に、プロセッサは、トラック駐車領域の両側にある監視点によって収集された点群データを、ｘ－ｚ平面に平行する平面にｙ軸方向に沿って投影し、二次元（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ、２Ｄ）平面を形成する。プロセッサはさらに、目標検出アルゴリズムを利用して２Ｄ平面に対してキャリア識別を行うことによって、各キャリアの点群データを取得する。目標検出アルゴリズムは、画像又は映像中の目標物体を見つけ出し、且つ目標物体の位置及びサイズを検出することができるアルゴリズムであり、主にキャリアの点群データを検出するために用いられる。なお、キャリアの点群データを検出するアルゴリズムは、目標検出アルゴリズムに限定されなく、キャリアの点群データを検出することができる他のアルゴリズムを含むことができる。トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
ステップ２０６：各キャリアの点群データに基づいて、各キャリアの相対ポーズを確定する。
ポーズとは、ワールド座標系及びオイラー角（ｅｕｌｅｒ ａｎｇｌｅ）座標系で形成される共通座標系に相対する概念である。ワールド座標系は、トラック駐車領域Ｐの長辺方向をｘ軸方向とし、トラック駐車領域Ｐの短辺方向をｙ軸方向とし、ｘｙ平面に対して垂直な方向をｚ軸方向とすることによって作成される。オイラー角は、固定点に対する剛体の回転姿勢を唯一に確定するために用いられる３つの独立な角の組のことであり、ピッチ角θ、ヨー角ψ及びロール角φからなる。
具体的に、プロセッサは、各キャリアの点群データに基づいて、各キャリアの相対ポーズを確定する。
ステップ２０８：各キャリアの点群データに基づいて、荷取りの優先順位を確定する。
荷取りの優先順位とは、貨物が取られる順序のことである。各キャリアの点群データの優先順位を判断することによって、荷取りの優先順位を確定する。
具体的に、プロセッサは、各キャリアの点群データに基づいて、２つの隣接するキャリアの間のギャップを取得し、２つの隣接するキャリアの間のギャップに基づいて、荷取りの優先順位を確定する。
ステップ２１０：各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御する。
具体的に、プロセッサは、各キャリアの相対ポーズ及び荷取りの優先順位を取得した後、各キャリアの相対ポーズに基づいて、フォークリフトのフォーク挿入方向を制御し、荷取りの優先順位に基づいて、フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御する。
上記フォークリフトの荷取り方法において、トラック駐車領域を観測することによってトラック駐車領域の観測データを取得する。観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得する。各キャリアの点群データに基づいて、各キャリアの相対ポーズを確定する。各キャリアの点群データに基づいて、荷取りの優先順位を確定する。各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御する。このように、フォークリフトが荷取りするよう自動的に制御することができ、荷取りの効率を向上させるとともに、複雑な環境においてフォークリフトが荷取りしにくいという課題を解決することができる。
１つの実施形態において、トラック駐車領域の観測データを取得することは、
複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することと、
複数の監視装置の各々によって収集された候補データを融合することによって、観測データを取得することと、を含む。
監視点に配置された複数の監視装置の各々は３次元（３Ｄ）レーザーセンサー及びカメラを含むことができるが、それらに限定されない。３Ｄレーザーセンサーは、三角測量を介して３Ｄシナリオを再構築する。レーザー光源とカメラとのマッチングにより、トラック駐車領域内にあるトラックの候補データを取得する。候補データは、トラック駐車領域内にあるトラックの候補点群データと候補画像データ、及びトラック駐車領域内にあるトラックにおける貨物の候補点群データと候補画像データを含む。各監視点にある３Ｄレーザーセンサー及びカメラによって取得されたデータを融合することによって、実世界における色特性を有する完全な３Ｄ点群データを取得する。さらに、複数の監視点にある３Ｄレーザーセンサー及びカメラに対応する完全な３Ｄ点群データを融合することによって、トラック駐車領域の観測データを取得する。具体的に、図像データの融合とは、複数の画像をつなぎ合わせて一つの大きな画像にすることである。点群データの融合には、時空間ベンチマーク（ｓｐａｃｅ－ｔｉｍｅ ｂｅｎｃｈｍａｒｋ）と精度、スケール（ｓｃａｌｅ）、セマンティクス（ｓｅｍａｎｔｉｃ）という３つの一貫性処理（ｃｏｎｓｉｓｔｅｎｃｙ ｐｒｏｃｅｓｓｉｎｇ）が含まれる。時空間ベンチマークと精度の一貫性処理は、異なるデータソース間の複雑な関係及び相互変換規則に基づいて、時空間ベンチマークと精度の一貫性を実現し、シナリオが統一的である点群モデルを構築することである。スケールの一貫性処理の方法は、点群密度とディティール解像度が異なる複数の点群データのうち、重複する部分の点群データを削除することである。セマンティクスの一貫性処理の方法は、統一されたセマンティック識別子を介して、複数の点群データの理解レベルにおける一貫性を実現することである。
具体的に、予め設定された監視点にある３Ｄレーザーセンサー及びカメラが観測データを収集することを例とする。プロセッサは、各監視点にある３Ｄレーザーセンサー及びカメラによって収集された、トラック駐車領域内にあるトラックの候補点群データ及び候補画像データを取得する。各監視点にある３Ｄレーザーセンサー及びカメラによって収集されたデータを融合することによって、実世界における色特性を有する完全な３Ｄ点群データを取得する。具体的に、各監視点にある３Ｄレーザーセンサーの、ワールド座標系における座標（ｘｉ，ｙｉ，ｚｉ）及び対応するオイラー角（ｐｉｔｃｈｉ，ｒｏｌｌｉ，ｙａｗｉ）に基づいて、データを融合することによって観測データを取得する。ワールド座標系は、トラック駐車領域Ｐの長辺方向をｘ軸方向とし、トラック駐車領域Ｐの短辺方向をｙ軸方向とし、ｘｙ平面に対して垂直な方向をｚ軸方向とすることによって作成される。オイラー角は、固定点に対する剛体の回転姿勢を唯一に確定するために用いられる３つの独立な角の組のことであり、ピッチ角θ、ヨー角ψ及びロール角φからなる。
本実施形態において、複数の監視装置によって収集された点群データを融合することによって、トラック駐車領域の完全な点群データを取得することができる。
１つの実施形態において、トラック駐車領域は矩形領域であり、矩形領域の長辺の両側に監視点が配置されており、監視点には監視装置が配置されており、隣接する監視点に対応する観測区間に重なりがある。監視点の数は、矩形領域の長辺の長さ及び監視点の有効な観測距離に基づいて取得される。有効な観測距離は、目標監視装置の観測距離に基づいて確定される。目標監視装置の観測距離は、目標監視装置と矩形領域の長辺との間の垂直距離及び目標監視装置の画角に基づいて確定される。目標監視装置は、すべての監視装置のうち画角が最も狭い監視装置である。監視装置は３Ｄレーザーセンサー及びカメラを含むことができる。
具体的に、図３に示されるように、トラック駐車領域はＰであり、Ｐは矩形であり、長辺の長さはＳメートルであり、Ｐの長辺の両側に監視点が配置されている。同側にある監視点によって形成される直線はＰの長辺に平行であり、同側にある各監視点からＰまでの距離はいずれもｗメートルである。プロセッサは、監視点にある監視装置のセンサーの画角θを取得する。監視装置が多種類のセンサーを有する場合に、最も狭い画角を選択して計算を行う。１つのセンサーの観測距離の計算公式は、ｘ＝ｗ・ｔａｎ（θ／２）・１／２である。ｘは１つのセンサーの観測距離を表し、θは監視点にあるセンサーの画角を表し、ｗは監視点とトラック駐車領域の長辺との距離を表す。取得されるデータの正確性を確保するために、２つの隣接する監視点の観測視野に一定の重なりがあると確保することができる。この場合、監視点の有効な観測距離の計算公式は：ｘ’＝ｘ・非重なりの比率であり、ｘ’は監視点の有効な観測距離を表し、ｘは１つのセンサーの観測距離を表す。監視点の数の計算公式は、ｎ＝２・Ｓ／ｘ’であり、ｎは監視点の数を表し、Ｓはトラック駐車領域の長辺の長さを表し、ｘ’は監視点の有効な観測距離を表す。
本実施形態において、トラック駐車領域の長辺の長さ及び各監視点の視野範囲に基づいて監視点の数を計算し、対応する数の監視点を配置し、対応する監視装置を配置することによって、より完全な観測データを取得することができる。
１つの実施形態において、各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することは、
少なくとも１つのキャリアごとに、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスター（ｆｒｏｎｔ－ｅｎｄ ｃｒｏｓｓ－ｓｅｃｔｉｏｎａｌ ｐｏｉｎｔ ｃｌｏｕｄ ｃｌｕｓｔｅｒ）を取得することと、
キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を行うことと、
クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアのポーズを取得することと、を含む。
上記トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
トラック駐車領域を利用することによって座標系が作成される。図４に示されるように、トラック駐車領域Ｐの長辺方向がｘ軸方向とされ、トラック駐車領域Ｐの短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。キャリアのフロントエンド断面点群クラスターとは、ｘ軸とｚ軸によって形成される平面に平行する方向において同側にある監視点に最も近い、キャリアの点群クラスターによって形成される断面である。同側にある監視点は、トラック駐車領域の同側にある監視点である。例えば、図３に示されたように、監視点１～４は、同側にある監視点に属し、監視点５～８は、同側にある監視点に属する。クラスタリングとは、ある特定の基準（例えば、距離）に従ってデータセットを異なるカテゴリ又はクラスターに分割することであり、それによって、同一のクラスター内のデータ対象間の類似性ができるだけ大きくなり、異なるクラスター内のデータ対象間の差異ができるだけ大きくなる。クラスタリングの後、同じカテゴリに属するデータはできるだけクラスタリングされ、異なるカテゴリに属するデータはできるだけ分離される。スライスされたキャリアのフロントエンド断面点群クラスターの点群データに対してクラスタリング分析を行う。支持脚とは、キャリアの支柱である。支柱のサイズと数、及び支柱間の異なる距離に応じて、各種類のキャリア（例えば、メッシュパレット）の支柱の幅情報及び支柱間の距離情報を取得し且つテンプレートに入力して支持脚情報とする。具体的に、トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。プロセッサは、予め設定されたテンプレートにおけるキャリアの支持脚情報を取得する。プロセッサは、キャリアの点群データをフィルタリングすることによって、キャリアのフロントエンド断面点群クラスターを取得する。プロセッサは、キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行う。プロセッサは、クラスタリングの後、各種類のメッシュパレットの支柱の幅及び支柱間の距離を計算し、それをテンプレートにおける各種類のメッシュパレットの支柱の幅及び支柱間の距離と照合して、同じサイズ及び距離を有するスライス層を残し、異なるサイズ及び距離を有するスライス層を除去する。
本実施形態において、キャリアのポーズを取得することによって、フォークリフトのフォーク挿入方向にデータサポートを提供する。
１つの実施形態において、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することは、
キャリアの点群データに対して密度フィルタリング（ｄｅｎｓｉｔｙ ｆｉｌｔｅｒｉｎｇ）及び法線ベクトルフィルタリング（ｎｏｒｍａｌ ｖｅｃｔｏｒ ｆｉｌｔｅｒｉｎｇ）を行うことによって、キャリアのフロントエンド断面点群クラスターを取得すること、を含む。
密度フィルタリングとは、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことであり、ピーク区間とは監視点から目標距離離れる距離範囲であり、監視点から目標距離離れる位置における点群の数が最も多い。法線ベクトルフィルタリングとは、キャリアの点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである。
点群の密度フィルタリング方法は、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向に降順でランク付けした後、ピーク区間内の点群を残すことである。監視点からｙ’メートル離れる位置における点群の数が最も多いと仮定し、領域値ａが設定され、区間［ｙ’－ａ，ｙ’＋ａ］内の点群を残し、［ｙ’－ａ，ｙ’＋ａ］はピーク区間である。トラック駐車領域Ｐの長辺方向がｘ軸方向とされ、トラック駐車領域Ｐの短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。法線ベクトルフィルタリングとは、キャリアのピーク区間内の点群データに対して平面フィッティングを行い、法線ベクトルとｙ軸との間の夾角を計算し、夾角閾値を設定し、夾角閾値より大きい法線ベクトルに対応する点群データをフィルタリングすることによって、要求を満たす点群データを取得することである。
具体的に、トラック駐車領域Ｐの長辺方向がｘ軸方向とされ、トラック駐車領域Ｐの短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。法線ベクトルとｙ軸との間の夾角閾値が予めに設定される。プロセッサは、ピーク区間内の点群データを残し、法線ベクトルとｙ軸との間の夾角を計算し、夾角閾値より大きい法線ベクトルに基づいて、要求を満たす点群データを取得する。
本実施形態において、点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、精確な点群データを取得することができる。
１つの実施形態において、各キャリアの点群データに基づいて荷取りの優先順位を確定することは、以下を含む。
ステップ５０２：各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得する。
具体的に、特徴点に基づいて貨物を分類する。各種類の貨物に対して、プロセッサは、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得する。なお、特徴点はトラックの階段、支柱などの一つを指し、それらに限定されないが、貨物を区別する任意の特徴点であることができる。
ステップ５０４：２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算する。
具体的に、各種類の貨物に対して、プロセッサは、２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算する。１つの実施形態において、各キャリアに対応する目標ギャップは、各キャリアの左右のギャップの合計である。
ステップ５０６：目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定する。
具体的に、プロセッサは、計算された各キャリアに対応する目標ギャップに基づいて、各キャリアに対応する目標ギャップを降順でランク付けし、目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定する。
本実施形態において、キャリア間のギャップに応じて荷取りの優先順位を確定し、それによって、荷取りの優先順位の確定がより合理的となる。
本出願の実施形態において、詳しいフォークリフトの荷取り方法が提供される。トラック駐車領域Ｐが予めに設定され、トラック駐車領域Ｐをモニターするように、トラック駐車領域Ｐに８つの監視点が配置され、各監視点には３Ｄレーザーセンサー及びカメラが配置される。トラック駐車領域Ｐの長辺方向がｘ軸方向であると予めに設定され、トラック駐車領域Ｐの短辺方向がｙ軸方向であると予めに設定され、ｘｙ平面に対して垂直な方向がｚ軸方向であると予めに設定される。図６に示されるように、フォークリフトの荷取りの具体的な操作は以下を含む。
（１）中央制御システムは、各監視点にある３Ｄレーザーセンサー及びカメラがトラック駐車領域Ｐの観測情報を収集する（即ち、トラック情報を収集する）よう制御する。
（２）中央制御システムは、３Ｄレーザーセンサーとカメラとを照合し、即ち、複数のセンサーによって収集されたデータを融合することによって色特性を有する点群データを取得する。さらに、中央制御システムは、少なくとも１つの監視点に対応の色特性を有する点群データを融合することによって、トラック駐車領域の完全な点群データ、即ち、本実施形態に記載の観測データを取得する。
（３）中央制御システムは、完全な点群データからトラック駐車領域の両側の点群データを取得し、目標検出アルゴリズムを利用してトラック駐車領域の両側の点群データに対してキャリア識別を行うことによって、１つのキャリアの輪郭の点群データを取得する。
（４）中央制御システムは、キャリアの輪郭の点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行った後、ｘ軸とｚ軸によって形成される平面に平行する方向において同側にある監視点に最も近い、キャリアの点群クラスターによって形成される断面に基づいて、キャリアのフロントエンド断面点群クラスターを取得する。
（５）中央制御システムは、キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行い、クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアの相対ポーズを取得する。
（６）中央制御システムは、トラックにおける貨物を分類し、各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得する。中央制御システムは、キャリアごとにキャリアの左右のギャップを加算し、降順でランク付けする。ギャップが最も大きいキャリアは、最高の荷取りの優先順位を有する。
（７）中央制御システムは、キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトがトラックにおける貨物を荷取りするよう制御する。
上記各実施形態に係るフローチャートにおける各ステップは、矢印に従って順次に記述されているが、それらのステップは必ずしも矢印に従って順次に実行されるというわけではないことを理解されたい。本明細書で明示しない限り、それらのステップの実行は厳密にその順序に限定されなく、それらのステップは他の順序で実行されてもよい。さらに、上記各実施形態に係るフローチャートにおけるステップの少なくとも一部は、複数のステップ又は複数の段階を含んでいてもよく、それらのステップ又は段階は、必ずしも同時に実行されて完了するというわけではなく、異なるタイミングで実行されてもよい。また、それらのステップ又は段階の実行は必ずしも連続的であるというわけではなく、他のステップや他のステップにおけるステップ又は段階の少なくとも一部と順番に、又は交代で実行されてもよい。
同じ発明概念に基づいて、本出願の実施形態において、上記フォークリフトの荷取り方法を実現するためのフォークリフトの荷取り装置がさらに提供される。当該装置に係る解決策は上記方法に係る解決策と類似であるため、以下に提供されるフォークリフトの荷取り装置の１つ又は複数の実施形態については、上記フォークリフトの荷取り方法の実施形態を参照することができ、本明細書で繰り返さない。
１つの実施形態において、図７に示されるように、フォークリフトの荷取り装置が提供される。当該フォークリフトの荷取り装置は、観測データ取得モジュール７１０、点群データ取得モジュール７２０、ポーズ確定モジュール７３０、優先順位確定モジュール７４０及び荷取り制御モジュール７５０を含む。
観測データ取得モジュール７１０は、トラック駐車領域を観測することによってトラック駐車領域の観測データを取得するように構成されており、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている。
点群データ取得モジュール７２０は、観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得するように構成されている。
ポーズ確定モジュール７３０は、各キャリアの点群データに基づいて各キャリアの相対ポーズを確定するように構成されている。
優先順位確定モジュール７４０は、各キャリアの点群データに基づいて荷取りの優先順位を確定するように構成されている。
荷取り制御モジュール７５０は、各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御するように構成されている。
１つの実施形態において、観測データ取得モジュール７１０は、複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得し、複数の監視装置の各々によって収集された候補データを融合することによって、観測データを取得するように構成されている。
１つの実施形態において、上記フォークリフトの荷取り装置は、配置モジュールをさらに含む。トラック駐車領域は矩形領域である。配置モジュールは、矩形領域の長辺の両側に監視点を配置するように構成されている。監視点には監視装置が配置されており、隣接する監視点に対応する観測区間に重なりがある。監視点の数は、矩形領域の長辺の長さ及び監視点の有効な観測距離に基づいて取得される。有効な観測距離は、目標監視装置の観測距離に基づいて確定される。目標監視装置の観測距離は、目標監視装置と矩形領域の長辺との間の垂直距離及び目標監視装置の画角に基づいて確定される。上記目標監視装置は、すべての監視装置のうち画角が最も狭い監視装置である。
１つの実施形態において、複数の監視装置の各々は３Ｄレーザーセンサー及びカメラを含む。
１つの実施形態において、３Ｄレーザーセンサーは、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを収集するために用いられ、カメラは、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを収集するために用いられる。
観測データ取得モジュール７１０は、３Ｄレーザーセンサーの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを取得し、カメラの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを取得し、候補点群データ及び候補画像データを融合することによって候補データを取得するように構成されている。候補データは、色特性を有する点群データである。
１つの実施形態において、上記フォークリフトの荷取り装置は、照合モジュールをさらに含む。点群データ取得モジュール７２０は、少なくとも１つのキャリアごとに、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得するように構成されている。照合モジュールは、キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行い、クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアのポーズを取得するように構成されている。
トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
１つの実施形態において、上記フォークリフトの荷取り装置は、フィルタリングモジュールをさらに含む。フィルタリングモジュールは、キャリアの点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、キャリアのフロントエンド断面点群クラスターを取得するように構成されている。
密度フィルタリングとは、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことである。ピーク区間とは監視点から目標距離離れる距離範囲であり、監視点から目標距離離れる位置における点群の数が最も多い。
法線ベクトルフィルタリングとは、キャリアの点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである。
１つの実施形態において、優先順位確定モジュール７４０は、各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得し、
２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算し、
目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定するように構成されている。
１つの実施形態において、優先順位確定モジュール７４０は、各キャリアの左右のギャップの合計を、各キャリアに対応する目標ギャップとして確定するように構成されている。
１つの実施形態において、荷取り制御モジュール７５０は、各キャリアの相対ポーズに基づいて、フォークリフトのフォーク挿入方向を制御し、荷取りの優先順位に基づいて、フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御するように構成されている。
上記フォークリフトの荷取り装置における各モジュールは、その全部又は一部が、ソフトウェア、ハードウェア及びそれらの組み合わせによって実装されてもよい。上記各モジュールは、ハードウェアの形態でコンピュータ装置内のプロセッサに埋め込まれてもよく、コンピュータ装置内のプロセッサから独立してもよく、ソフトウェアの形態でコンピュータ装置内のメモリに記憶されてもよく、それによって、プロセッサは上記各モジュールに対応する操作を呼び出して実行することができる。
１つの実施形態において、コンピュータ装置が提供される。当該コンピュータ装置は、サーバであってもよく、その内部構造図は図８に示されている。当該コンピュータ装置は、システムバス８３０を介して互いに接続されたプロセッサ８１０、メモリ８２０、ネットワークインターフェース８４０を含む。当該コンピュータ装置のプロセッサは、計算及び制御機能を提供するように構成されている。当該コンピュータ装置のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体は、オペレーティングシステム、コンピュータプログラム及びデータベースを記憶している。当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行環境を提供する。当該コンピュータ装置のデータベースは、貨物の点群データを記憶するために用いられる。当該コンピュータ装置のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信するために用いられる。当該コンピュータプログラムは、上記フォークリフトの荷取り方法を実行するように、プロセッサによって実行される。
図８に示された構造は、本出願の解決策に関連する一部の構造のブロック図に過ぎず、本出願の解決策が適用されるコンピュータ装置を制限するものではないことを当業者は理解することができる。コンピュータ装置は、図面より多い又はより少ないコンポーネントを含んでもよく、特定のコンポーネントを組み合わせてもよく、異なるコンポーネントの配置を有してもよい。
１つの実施形態において、コンピュータ装置が提供される。当該コンピュータ装置は、メモリ及びプロセッサを含む。メモリはコンピュータプログラムを記憶している。プロセッサは、コンピュータプログラムを実行する場合に、以下の操作を実行する。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御すること。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、以下の操作をさらに実行する。
複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することと、
複数の監視装置の各々によって収集された候補データを融合することによって、観測データを取得すること。
１つの実施形態において、トラック駐車領域は矩形領域であり、矩形領域の長辺の両側に監視点が配置されており、監視点には監視装置が配置されており、隣接する監視点に対応する観測区間に重なりがある。監視点の数は、矩形領域の長辺の長さ及び監視点の有効な観測距離に基づいて取得される。有効な観測距離は、目標監視装置の観測距離に基づいて確定される。目標監視装置の観測距離は、目標監視装置と矩形領域の長辺との間の垂直距離及び目標監視装置の画角に基づいて確定される。
１つの実施形態において、複数の監視装置の各々は３Ｄレーザーセンサー及びカメラを含む。
１つの実施形態において、３Ｄレーザーセンサーは、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを収集するために用いられ、カメラは、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを収集するために用いられる。プロセッサは、コンピュータプログラムを実行する場合に、以下の操作をさらに実行する。
３Ｄレーザーセンサーの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを取得することと、
カメラの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを取得することと、
候補点群データ及び候補画像データを融合することによって候補データを取得することであって、候補データが色特性を有する点群データである、取得すること。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、以下の操作をさらに実行する。
少なくとも１つのキャリアごとに、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することと、
キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行うことと、
クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアのポーズを取得すること。
トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、キャリアの点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、キャリアのフロントエンド断面点群クラスターを取得する。
密度フィルタリングとは、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことである。ピーク区間とは監視点から目標距離離れる距離範囲であり、監視点から目標距離離れる位置における点群の数が最も多い。
法線ベクトルフィルタリングとは、キャリアの点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、以下の操作をさらに実行する。
各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得することと、
２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算することと、
目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定すること。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、各キャリアの左右のギャップの合計を、各キャリアに対応する目標ギャップとして確定する。
１つの実施形態において、プロセッサは、コンピュータプログラムを実行する場合に、各キャリアの相対ポーズに基づいて、フォークリフトのフォーク挿入方向を制御し、荷取りの優先順位に基づいて、フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御する。
１つの実施形態において、コンピュータ可読記憶媒体がさらに提供される。当該コンピュータ可読記憶媒体は、コンピュータプログラムを記憶している。当該コンピュータプログラムは、プロセッサによって実行される場合に、プロセッサが以下の操作を実行すること、を可能にする。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することであって、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている、取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御すること。
１つの実施形態において、トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することと、
複数の監視装置の各々によって収集された候補データを融合することによって、観測データを取得すること。
１つの実施形態において、トラック駐車領域は矩形領域であり、矩形領域の長辺の両側に監視点が配置されており、監視点には監視装置が配置されており、隣接する監視点に対応する観測区間に重なりがある。監視点の数は、矩形領域の長辺の長さ及び監視点の有効な観測距離に基づいて取得される。有効な観測距離は、目標監視装置の観測距離に基づいて確定される。目標監視装置の観測距離は、目標監視装置と矩形領域の長辺との間の垂直距離及び目標監視装置の画角に基づいて確定される。目標監視装置は、すべての監視装置のうち画角が最も狭い監視装置である。
１つの実施形態において、複数の監視装置の各々は３Ｄレーザーセンサー及びカメラを含む。
１つの実施形態において、３Ｄレーザーセンサーは、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを収集するために用いられ、カメラは、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを収集するために用いられる。複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
３Ｄレーザーセンサーの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを取得することと、
カメラの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを取得することと、
候補点群データ及び候補画像データを融合することによって候補データを取得することであって、候補データが色特性を有する点群データである、取得すること。
１つの実施形態において、各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
少なくとも１つのキャリアごとに、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することと、
キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行うことと、
クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアのポーズを取得すること。
トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
１つの実施形態において、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
キャリアの点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、キャリアのフロントエンド断面点群クラスターを取得すること。
密度フィルタリングとは、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことである。ピーク区間とは監視点から目標距離離れる距離範囲であり、監視点から目標距離離れる位置における点群の数が最も多い。
法線ベクトルフィルタリングとは、キャリアの点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである。
１つの実施形態において、各キャリアの点群データに基づいて荷取りの優先順位を確定することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得することと、
２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算することと、
目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定すること。
１つの実施形態において、２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、各キャリアの左右のギャップの合計を各キャリアに対応する目標ギャップとして確定すること、が実行される。
１つの実施形態において、各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
各キャリアの相対ポーズに基づいて、フォークリフトのフォーク挿入方向を制御することと、
荷取りの優先順位に基づいて、フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御すること。
１つの実施形態において、コンピュータプログラム製品がさらに提供される。当該コンピュータプログラム製品は、コンピュータプログラムを含む。当該コンピュータプログラムは、プロセッサによって実行される場合に、プロセッサが以下の操作を実行すること、を可能にする。
トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することであって、トラック駐車領域には少なくとも１台のトラックが駐車し、少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されている、取得することと、
観測データから少なくとも１台のトラックの点群データを取得し、少なくとも１台のトラックの点群データから各キャリアの点群データを取得することと、
各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することと、
各キャリアの点群データに基づいて荷取りの優先順位を確定することと、
各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御すること。
１つの実施形態において、トラック駐車領域を観測することによってトラック駐車領域の観測データを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することと、
複数の監視装置の各々によって収集された候補データを融合することによって、観測データを取得すること。
１つの実施形態において、トラック駐車領域は矩形領域であり、矩形領域の長辺の両側に監視点が配置されており、監視点には監視装置が配置されており、隣接する監視点に対応する観測区間に重なりがある。監視点の数は、矩形領域の長辺の長さ及び監視点の有効な観測距離に基づいて取得される。有効な観測距離は、目標監視装置の観測距離に基づいて確定される。目標監視装置の観測距離は、目標監視装置と矩形領域の長辺との間の垂直距離及び目標監視装置の画角に基づいて確定される。
１つの実施形態において、複数の監視装置の各々は３Ｄレーザーセンサー及びカメラを含む。
１つの実施形態において、３Ｄレーザーセンサーは、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを収集するために用いられ、カメラは、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを収集するために用いられる。複数の監視装置の各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補データを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
３Ｄレーザーセンサーの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補点群データを取得することと、
カメラの各々によって収集された、トラック駐車領域内にある少なくとも１台のトラックの候補画像データを取得することと、
候補点群データ及び候補画像データを融合することによって候補データを取得することであって、候補データが色特性を有する点群データである、取得すること。
１つの実施形態において、各キャリアの点群データに基づいて各キャリアの相対ポーズを確定することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
少なくとも１つのキャリアごとに、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することと、
キャリアのフロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行うことと、
クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、キャリアのポーズを取得すること。
トラック駐車領域は矩形領域であり、トラック駐車領域の長辺方向がｘ軸方向とされ、トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる。
１つの実施形態において、キャリアの点群データを処理することによってキャリアのフロントエンド断面点群クラスターを取得することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
キャリアの点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、キャリアのフロントエンド断面点群クラスターを取得すること。
密度フィルタリングとは、同側にある点群と監視点との距離に応じて点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことである。ピーク区間とは監視点から目標距離離れる距離範囲であり、監視点から目標距離離れる位置における点群の数が最も多い。
法線ベクトルフィルタリングとは、キャリアの点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである。
１つの実施形態において、各キャリアの点群データに基づいて荷取りの優先順位を確定することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作がさらに実行される。
各種類の貨物に対して、各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得することと、
２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算することと、
目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定すること。
１つの実施形態において、２つの隣接するキャリアの間のギャップに基づいて、各キャリアに対応する目標ギャップを計算することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、各キャリアの左右のギャップの合計を各キャリアに対応する目標ギャップとして確定すること、がさらに実行される。
１つの実施形態において、各キャリアの相対ポーズ及び荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御することについて、当該コンピュータプログラムがプロセッサによって実行される場合に、以下の操作が実行される。
各キャリアの相対ポーズに基づいて、フォークリフトのフォーク挿入方向を制御することと、
荷取りの優先順位に基づいて、フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御すること。
なお、本出願に係るユーザ情報（ユーザ機器情報、ユーザ個人情報を含むがそれらに限定されない）及びデータ（分析用データ、記憶されたデータ、示されたデータを含むがそれに限定されない）はいずれも、ユーザによって許可され又は関係者によって完全に許可された情報及びデータであることに留意する必要がある。
上記実施形態の方法におけるプロセスの全部又は一部は、コンピュータプログラムが関連ハードウェアを指示することによって完成され得るということを、当業者は理解することができる。当該コンピュータプログラムは、不揮発性コンピュータ可読記憶媒体に記憶されることができる。当該コンピュータプログラムは、実行される場合に、上記方法実施形態のプロセスを実行するように動作可能である。本出願に係る各実施形態に使用されるメモリ、データベース、又は他の媒体への任意の引用は、不揮発性メモリ及び発揮性メモリのうちの少なくとも１つを含むことができる。不揮発性メモリは、読み取り専用メモリ（ｒｅａd ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フロッピーディスク、フラッシュメモリ、光メモリ、高密度・組み込み型不発揮性メモリ（ｈｉｇｈ－ｄｅｎｓｉｔｙ ｅｍｂｅｄｄｅｄ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｍｏｒｙ）、抵抗変化型メモリ（ｒｅｓｉｓｔｉｖｅ ｍｅｍｏｒｙ、ＲｅＲＡＭ）、磁気抵抗メモリ（ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＭＲＡＭ）、強誘電体メモリ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ、ＦＲＡＭ）、相変化メモリ（ｐｈａｓｅ ｃｈａｎｇｅ ｍｅｍｏｒｙ、ＰＣＭ）、グラフェンメモリ（ｇｒａｐｈｅｎｅ ｍｅｍｏｒｙ）などを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、外部キャッシュメモリなどを含むことができる。限定的ではなく例示的な例として、ＲＡＭは、様々な形態を有することができ、例えば、スタティック・ランダム・アクセス・メモリ（ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）などが挙げられる。本出願の各実施形態に係るデータベースは、リレーショナルデータベース及び非リレーショナルデータベースのうちの少なくとも１つを含むことができる。非リレーショナルデータベースは、ブロックチェーンベースの分散型データベース（ｂｌｏｃｋｃｈａｉｎ－ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｄａｔａｂａｓｅ）などを含むことができ、それに限定されない。本出願の各実施形態に係るプロセッサは、汎用プロセッサ、中央処理装置、グラフィックプロセッサ、デジタル信号プロセッサ、プログラマブル・ロジック・デバイス、量子計算ベースのデータ処理ロジックデバイス（ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｌｏｇｉｃ ｄｅｖｉｃｅ ｂａｓｅｄ ｏｎ ｑｕａｎｔｕｍ ｃｏｍｐｕｔｉｎｇ）などであることができるが、それらに限定されない。
上記実施形態の各技術的特徴は、任意に組み合わせられることができる。簡潔さのために、上記実施形態における各技術的特徴のすべての可能な組み合わせが記載されているわけではない。しかし、それらの技術的特徴の組み合わせに矛盾がない限り、それらの組み合わせはすべて本明細書の記載の範囲にあると考えるべきである。
上記実施形態は本出願のいくつかの実施形態のみを示し、上記実施形態の説明は具体的且つ詳細であるが、それを本出願の特許範囲への制限と理解されるべきではない。本出願の概念から逸脱しない限り、当業者はいくつかの変更及び改良を行うことができ、それらの変更及び改良はすべて本出願の保護範囲に属すべきである、従って、本出願の保護範囲は、添付の特許請求の範囲に基づくべきである。

Claims (11)

  1. コンピュータによって実行されるフォークリフトの荷取り方法であって、
    トラック駐車領域には少なくとも１台のトラックが駐車し、前記少なくとも１台のトラックごとに少なくとも１つのキャリアが配置されており、監視装置で前記トラック駐車領域を観測することによって前記トラック駐車領域の観測データを取得する（Ｓ２０２）ことであって、前記監視装置は３次元（３Ｄ）レーザーセンサー及びカメラを含み、前記３Ｄレーザーセンサーは、前記トラック駐車領域内にある前記少なくとも１台のトラックの候補点群データを収集するために用いられ、前記カメラは、前記トラック駐車領域内にある前記少なくとも１台のトラックの候補画像データを収集するために用いられる、取得する（Ｓ２０２）ことと、
    前記観測データから前記少なくとも１台のトラックの点群データを取得し、前記少なくとも１台のトラックの前記点群データから各キャリアの点群データを取得する（Ｓ２０４）ことと、
    前記各キャリアの前記点群データに基づいて前記各キャリアの相対ポーズを確定する（Ｓ２０６）ことと、
    前記各キャリアの前記点群データに基づいて荷取りの優先順位を確定する（Ｓ２０８）ことと、
    前記各キャリアの前記相対ポーズ及び前記荷取りの優先順位に基づいて、フォークリフトが荷取りするよう制御する（Ｓ２１０）ことと、を含む、
    ことを特徴とするフォークリフトの荷取り方法。
  2. 前記トラック駐車領域を観測することによって前記トラック駐車領域の前記観測データを取得することは、
    複数の前記監視装置の各々によって収集された、前記トラック駐車領域内にある前記少なくとも１台のトラックの候補データを取得することと、
    複数の前記監視装置の各々によって収集された前記候補データを融合することによって、前記観測データを取得することと、を含む、
    ことを特徴とする請求項１に記載のフォークリフトの荷取り方法。
  3. 前記トラック駐車領域は矩形領域であり、前記矩形領域の長辺の両側に監視点が配置されており、前記監視点には前記監視装置が配置されており、
    前記監視点の数は、前記矩形領域の長辺の長さ及び前記監視点の有効な観測距離に基づいて取得され、
    前記有効な観測距離は、目標監視装置の観測距離に基づいて確定され、
    前記目標監視装置の前記観測距離は、前記目標監視装置と前記矩形領域の前記長辺との間の垂直距離及び前記目標監視装置の画角に基づいて確定され、前記目標監視装置は、すべての前記監視装置のうち画角が最も狭い監視装置である、
    ことを特徴とする請求項１に記載のフォークリフトの荷取り方法。
  4. 複数の前記監視装置の各々によって収集された、前記トラック駐車領域内にある前記少なくとも１台のトラックの前記候補データを取得することは、
    前記３Ｄレーザーセンサーの各々によって収集された、前記トラック駐車領域内にある前記少なくとも１台のトラックの前記候補点群データを取得することと、
    前記カメラの各々によって収集された、前記トラック駐車領域内にある前記少なくとも１台のトラックの前記候補画像データを取得することと、
    前記候補点群データ及び前記候補画像データを融合することによって前記候補データを取得することと、を含み、
    前記候補データが色特性を有する点群データである、
    ことを特徴とする請求項２に記載のフォークリフトの荷取り方法。
  5. 前記各キャリアの前記点群データに基づいて前記各キャリアの前記相対ポーズを確定することは、
    前記少なくとも１つのキャリアごとに、前記キャリアの前記点群データを処理することによって前記キャリアのフロントエンド断面点群クラスターを取得することと、
    前記キャリアの前記フロントエンド断面点群クラスターを、ｚ軸に対して垂直な方向に沿ってスライス層にスライスし、各スライス層の点群に対してクラスタリングを行うことと、
    クラスタリング結果と予め設定されたテンプレートにおけるキャリアの支持脚情報とを照合し、マッチング要求を満たさないスライス層を除去して、前記キャリアのポーズを取得することと、を含み、
    前記トラック駐車領域は矩形領域であり、前記トラック駐車領域の長辺方向がｘ軸方向とされ、前記トラック駐車領域の短辺方向がｙ軸方向とされ、ｘｙ平面に対して垂直な方向がｚ軸方向とされる、
    ことを特徴とする請求項１に記載のフォークリフトの荷取り方法。
  6. 前記キャリアの前記点群データを処理することによって前記キャリアの前記フロントエンド断面点群クラスターを取得することは、
    前記キャリアの前記点群データに対して密度フィルタリング及び法線ベクトルフィルタリングを行うことによって、前記キャリアの前記フロントエンド断面点群クラスターを取得すること、を含み、
    前記密度フィルタリングとは、同側にある点群と監視点との距離に応じて前記点群の数をｙ軸方向にランク付けした後、ピーク区間内の点群を残すことであり、前記ピーク区間とは前記監視点から目標距離離れる距離範囲であり、前記監視点から前記目標距離離れる位置における点群の数が最も多く、
    前記法線ベクトルフィルタリングとは、前記キャリアの前記点群データに対して平面フィッティングを行うことによって、予め設定された要求を満たす点群データを取得することである、
    ことを特徴とする請求項５に記載のフォークリフトの荷取り方法。
  7. 前記各キャリアの前記点群データに基づいて前記荷取りの優先順位を確定することは、
    各種類の貨物に対して、前記各キャリアの中点と隣接するキャリアの中点との距離を計算し、予め設定されたテンプレートにおけるキャリアの長さを減算することによって、２つの隣接するキャリアの間のギャップを取得する（Ｓ５０２）ことと、
    前記２つの隣接するキャリアの間の前記ギャップに基づいて、前記各キャリアに対応する目標ギャップを計算する（Ｓ５０４）ことと、
    目標ギャップが最も大きいキャリアの荷取りの優先順位を最高の荷取りの優先順位として確定する（Ｓ５０６）ことと、を含む、
    ことを特徴とする請求項１に記載のフォークリフトの荷取り方法。
  8. 前記２つの隣接するキャリアの間の前記ギャップに基づいて、前記各キャリアに対応する前記目標ギャップを計算することは、
    前記各キャリアの左右のギャップの合計を、前記各キャリアに対応する前記目標ギャップとして確定すること、を含む、
    ことを特徴とする請求項７に記載のフォークリフトの荷取り方法。
  9. 前記各キャリアの前記相対ポーズ及び前記荷取りの優先順位に基づいて、前記フォークリフトが荷取りするよう制御することは、
    前記各キャリアの前記相対ポーズに基づいて、前記フォークリフトのフォーク挿入方向を制御することと、
    前記荷取りの優先順位に基づいて、前記フォークリフトが対応するキャリアによって載せられた貨物を荷取りするよう制御することと、を含む、
    ことを特徴とする請求項１に記載のフォークリフトの荷取り方法。
  10. プロセッサ（８１０）及びメモリ（８２０）を含むコンピュータ装置であって、
    前記メモリはコンピュータプログラムを記憶しており、前記プロセッサは前記コンピュータプログラムを実行する場合に、請求項１～９のいずれか一項に記載のフォークリフトの荷取り方法を実行する、
    ことを特徴とするコンピュータ装置。
  11. コンピュータプログラムを記憶している不揮発性コンピュータ可読記憶媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行される場合に、前記プロセッサが請求項１～９のいずれか一項に記載のフォークリフトの荷取り方法を実行すること、を可能にする、
    ことを特徴とする不揮発性コンピュータ可読記憶媒体。
JP2022142720A 2021-12-21 2022-09-08 フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体 Active JP7478363B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111573223.3A CN114419150A (zh) 2021-12-21 2021-12-21 叉车取货方法、装置、计算机设备、存储介质
CN202111573223.3 2021-12-21

Publications (2)

Publication Number Publication Date
JP2023092447A JP2023092447A (ja) 2023-07-03
JP7478363B2 true JP7478363B2 (ja) 2024-05-07

Family

ID=81267596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022142720A Active JP7478363B2 (ja) 2021-12-21 2022-09-08 フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体

Country Status (5)

Country Link
US (1) US20230192462A1 (ja)
EP (1) EP4201868A1 (ja)
JP (1) JP7478363B2 (ja)
KR (1) KR20230094948A (ja)
CN (1) CN114419150A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222804A (zh) * 2022-09-05 2022-10-21 成都睿芯行科技有限公司 一种基于深度相机点云数据的工业料笼识别和定位方法
CN115953472B (zh) * 2023-03-13 2023-05-23 鱼台顺驰工贸有限公司 一种低平板半挂车的载货区智能定位方法
CN117197170B (zh) * 2023-11-02 2024-02-09 佛山科学技术学院 一种单目相机视场角测量方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170096301A1 (en) 2015-10-01 2017-04-06 Deutsche Post Ag Method and device for conveying piece goods from a stack or pile
CN110889828A (zh) 2019-11-07 2020-03-17 浙江大华技术股份有限公司 预定场景中的栈板识别方法、终端设备、计算机存储介质
JP2020064335A (ja) 2018-10-15 2020-04-23 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
US20200174473A1 (en) 2018-11-29 2020-06-04 Hitachi, Ltd. Autonomous body system and control method thereof
JP2021066576A (ja) 2019-10-25 2021-04-30 株式会社豊田自動織機 荷役車両の操作支援装置
US20210309460A1 (en) 2018-12-21 2021-10-07 Motion2Ai Warehouse management method and system
JP2021160860A (ja) 2020-03-31 2021-10-11 住友重機械工業株式会社 荷役作業支援システム
JP2021160931A (ja) 2020-03-31 2021-10-11 株式会社豊田自動織機 荷役システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898833B1 (en) * 2016-07-15 2018-02-20 Northrop Grumman Systems Corporation Apparatus and method for determining the dimensions of a package while in motion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170096301A1 (en) 2015-10-01 2017-04-06 Deutsche Post Ag Method and device for conveying piece goods from a stack or pile
JP2020064335A (ja) 2018-10-15 2020-04-23 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
US20200174473A1 (en) 2018-11-29 2020-06-04 Hitachi, Ltd. Autonomous body system and control method thereof
US20210309460A1 (en) 2018-12-21 2021-10-07 Motion2Ai Warehouse management method and system
JP2021066576A (ja) 2019-10-25 2021-04-30 株式会社豊田自動織機 荷役車両の操作支援装置
CN110889828A (zh) 2019-11-07 2020-03-17 浙江大华技术股份有限公司 预定场景中的栈板识别方法、终端设备、计算机存储介质
JP2021160860A (ja) 2020-03-31 2021-10-11 住友重機械工業株式会社 荷役作業支援システム
JP2021160931A (ja) 2020-03-31 2021-10-11 株式会社豊田自動織機 荷役システム

Also Published As

Publication number Publication date
CN114419150A (zh) 2022-04-29
KR20230094948A (ko) 2023-06-28
US20230192462A1 (en) 2023-06-22
EP4201868A1 (en) 2023-06-28
JP2023092447A (ja) 2023-07-03

Similar Documents

Publication Publication Date Title
JP7478363B2 (ja) フォークリフトの荷取り方法、コンピュータ装置及び記憶媒体
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
JP6649796B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
JP2020530167A5 (ja)
US20210209781A1 (en) Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method
CN108364311A (zh) 一种金属部件自动定位方法及终端设备
CN113362441B (zh) 三维重建方法、装置、计算机设备和存储介质
CN115546300A (zh) 紧密摆放的托盘位姿识别方法和装置、计算机设备、介质
JP7352706B2 (ja) 貨物計数方法及び装置、コンピュータ装置、並びに記憶媒体
CN116071547A (zh) 托盘位姿检测方法及装置、设备、存储介质
CN110060346B (zh) 确定代表真实对象皮肤的小面的集合
CN115100271A (zh) 取货高度的检测方法、装置、计算机设备和存储介质
CN113978987B (zh) 栈板物品打包提货方法、装置、设备及介质
US20220128347A1 (en) System and method to measure object dimension using stereo vision
CN115631233A (zh) 货物信息识别方法、装置、计算机设备和存储介质
WO2022052893A1 (zh) 一种5d纹理网格数据结构
CN115100283A (zh) 货物放置控制方法、装置、计算机设备和存储介质
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质
WO2022088022A1 (zh) 三维图像处理方法、装置、可移动平台及存储介质
JP2014127068A (ja) 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム
CN117115407B (zh) 斜坡检测方法、装置、计算机设备和存储介质
Shkurat et al. Complicated shapes estimation method for objects analysis in video surveillance systems
CN117953040A (zh) 一种基于深度相机的最小矩形包确定方法、系统、设备及存储介质
CN117315559A (zh) 快件分离方法及装置
CN117805119A (zh) 图像采集的视场区域划分方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240307

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240404

R150 Certificate of patent or registration of utility model

Ref document number: 7478363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150