KR102649607B1 - 3d 센서 기반 실시간 재고 파악 시스템 및 방법 - Google Patents

3d 센서 기반 실시간 재고 파악 시스템 및 방법 Download PDF

Info

Publication number
KR102649607B1
KR102649607B1 KR1020230112656A KR20230112656A KR102649607B1 KR 102649607 B1 KR102649607 B1 KR 102649607B1 KR 1020230112656 A KR1020230112656 A KR 1020230112656A KR 20230112656 A KR20230112656 A KR 20230112656A KR 102649607 B1 KR102649607 B1 KR 102649607B1
Authority
KR
South Korea
Prior art keywords
unit
sensor
information
data
inventory
Prior art date
Application number
KR1020230112656A
Other languages
English (en)
Inventor
이조열
최규동
김종광
김정훈
Original Assignee
(주)다울
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다울 filed Critical (주)다울
Priority to KR1020230112656A priority Critical patent/KR102649607B1/ko
Application granted granted Critical
Publication of KR102649607B1 publication Critical patent/KR102649607B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/005—Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/40—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for measuring magnetic field characteristics of the earth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Electromagnetism (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3D 센서 기반 실시간 재고 파악 시스템 및 방법에 관한 것으로, 3D 센싱을 위한 기반에 설치된 3D 센서부와, 3D 센서부의 센싱 정보를 수집하는 3D 센서 수집부와, 수집된 센싱 정보에 대한 전처리를 수행하는 전처리부와, 전처리된 정보를 시각화하는 시각화부 및 시각화된 정보를 바탕으로 제조자재의 재고를 파악하는 재고파악부를 포함하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템 및 방법을 제공한다.

Description

3D 센서 기반 실시간 재고 파악 시스템 및 방법{REAL-TIME STOCK GRASP SYSTEM AND METHOD USING 3D SENSOR}
본 발명은 3D 센서 기반 실시간 재고 파악 시스템 및 방법에 관한 것으로, 객체의 시각화와 제조자재의 재고 상황을 관리자 또는 사용자에게 제공 가능한 3D 센서 기반 실시간 제조자재의 재고 파악 시스템 및 방법을 제공한다.
제조 자산의 재고 상태를 정확하게 파악하기 위해 기존에는 관리자 또는 사용자가 직접 제조 자재의 재고를 확인하였다. 그러나 종래 들어서 재고 관리의 자동화 기술을 도입하는 연구가 활발히 진행되었다. 이로인해 바코드 스캐닝 기술, RFID 기술 등을 도입한 제조자재의 재고 관리 시스템을 통해 생산성을 향상시키고, 재고 비용을 최소화하고자 하였다. 또한, 최근에는 IoT 기술을 적용하여 데이터를 수집하고 재고를 파악하였다.
그러나, 이와 같은 종래 기술들도 실질적인 제조자재의 재고 확인을 위해서는 실물 파악을 위해 사용자 또는 관리자가 데이터 내의 재고를 육안으로 실질 확인하여야 하는 이슈가 있다.
(특허 문헌 1) 한국공개특허공보 제10-2022-0004738호 (특허 문헌 2) 한국공개특허공보 제10-2021-0101637호
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 3D 센서와 이를 기반으로 하는 객체 인식 기술를 통해 객체 표면의 재구성과 시각화를 통해 실시간으로 재조 자재의 재고 파악이 가능한 3D 센서 기반 실시간 재고 파악 시스템 및 방법에 관한 것이다.
본 발명에 따른 3D 센싱을 위한 기반에 설치된 3D 센서부와, 3D 센서부의 센싱 정보를 수집하는 3D 센서 수집부와, 수집된 센싱 정보에 대한 전처리를 수행하는 전처리부와, 전처리된 정보를 시각화하는 시각화부 및 시각화된 정보를 바탕으로 제조 자재의 재고를 파악하는 재고파악부를 포함하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템을 제공한다.
상기 3D 센서부는 3차원 공간의 깊이, 거리 및 공간 정보를 측정하는 3D 센서와, 객체의 움직임과 자세를 측정하는 IMU와, 외부와 통신을 수행하는 통신부와, 전원을 제공하는 3D 전원부를 포함하는 것을 특징으로 한다.
상기 3D 수집부는 3D 센서부와 통신을 통해 3D 센서부의 정보를 수집하는 정보 수집부와, 수집된 경보를 연동하여 3D 센서 위치에 따른 정보를 확인하는 데이터 연동부와, 3D 센싱 정보에 대한 정합을 수행하는 데이터 정합부를 포함하는 것을 특징으로 한다.
상기 정보 수집부는 3D 센서부로 부터 UDP 통신을 통해 데이터를 수신하고, 패킷은 16진수 2개 쌍 단위로 1206 바이트 데이터를 추출하고, 하나의 패킷은 2개 쌍 100개 묶음인 12개 블록 단위로 구성되는 것이 바람직하고, 하나의 블록은 32개의 채널을 가지고 있으며, 패킷 내부에 존재하는 방위각, 거리 2가지와 고도각으로 구면 좌표계를 사용하여 3D 센서부가 제공하는 포인트 클라우드 좌표인 3D 센싱 정보 좌표를 수집하며, 상기 데이터 연동부는 IMU 정보와 3D 센서 정보를 연동하되, 3D 센서부의 위치 및 회전 정보를 사용하여 연동을 진행하고, IMU의 위치 및 회전 데이터 정보와 3D 센서 정보 좌표를 연동하되, 회전, 이동 및 장착 위치 3가지로 계산하는 것을 특징으로 한다.
상기 전처리부는 3D 수집부를 통해 수집된 3D 센싱 정보 즉, 데이터에 대한 이상값을 제거하는 이상치 제거부와, 3D 센싱 정보인 포인트 클라우드에 대한 군집화와 객체를 추출하는 군집 및 객체부와, 군집화 객체로 부터 3D 형상을 판단하는 형상 보정부를 포함하는 것을 특징으로 한다.
상기 이상치 제거부는 3D 센싱 정보에 대한 업샘플링(Upsampling)을 진행하되, 선형보간방법과 기존 값을 복사하는 방법을 사용하고, 업샘플링이 완료된 데이터는 다시 3D 화상(Voxel) 다운샘플링(Downsampling)을 진행하여, 일정 간격 내의 포인트들을 평균내어 한 포인트로 생성하고, 통계적 이상값 제거 또는 반경 이상치 제거와 같은 데이터 이상값 제거 기법을 사용하여 이상치를 제거하고, 상기 군집 및 객체부는 밀도 기반 군집화 기법을 사용하여 데이터 세트에 대하여 군집화를 수행하고, 군집화된 그룹들에 대하여 라벨링을 진행하고, 이들을 각각 하나의 객체로 추출하는 것을 특징으로 한다.
상기 시각화부는 표면 재구축 알고리즘을 사용하여 3D 형상 데이터를 시각화 하되, 객체 추출이 완료된 3D 형상 데이터를 Ball Pivoting 알고리즘, Poisson 재구성, Alpha Shape 기법으로 표면을 재구축하고, 재구축한 데이터를 3D Object 파일 형식으로 변환하는 것을 특징으로 한다.
또한, 본 발명에 따른, 3D 센서 기반 실시간 재고 파악 시스템에 따른 재고 파악 방법에 있어서, 3D 센서부를 통해 3D 센싱을 진행하는 단계와, 3D 수집부는 3D 센싱을 통해 수집된 3D 센싱 정보를 수집하고, 3D 센서 위치에 따른 정보를 확인하고 데이터에 대한 정합을 수행하는 단계와, 3D 센싱 정보에 대한 이상값을 제거하고, 군집화후 객체를 추출한 다음 형상을 보정하는 전처리를 수행하는 단계와, 전처리 수행된 데이터를 표면 재구축 알고리즘을 이용하여 시각화하는 단계 및 객체 추출된 데이터를 이용하여 체적을 계산하여 제조 자재의 재고 파악을 진행하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 방법을 제공한다.
이와 같이 본 발명은 3D 센서를 통하여 수집된 데이터를 수집부를 통해 획득하고, 데이터 연동 및 데이터 정합을 통한 후처리를 진행하여 정확성을 향상시킬 수 있습니다.
또한, 이상치를 제거한 다음 이를 군집화하기 때문에 객체의 분석능이 향상될 수 있습니다.
또한, 별도의 학습데이터 없이 반복적인 군집화를 통해 객체 추출한 다음 통합하여 3D형상을 생성, 보정 과정을 거쳐 비정형 객체를 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3D 센서부를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3D 수집부를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 전처리부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 센서 기반 실시간 재고 파악 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석 되어야 할 것이다. 이러한 이유로 본 발명의 3D 센서 기반 실시간 재고 파악 시스템 및 방법의 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 상이해질 수 있음을 명확히 밝혀둔다.
본 명세서에서, 제1 및 제2, 상부 및 하부 등의 관계적인 용어는, 그러한 엔티티 또는 액션 간의 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않고 다른 엔티티나 액션과 하나의 엔티티 또는 액션을 구별하는 데에만 사용될 수 있다. 용어 "포함하다(comprises)", "포함하는(comprising)" 또는 그 다른 변형은, 구성요소의 리스트를 포함하는 프로세스, 방법, 제품, 또는 장치가 구성요소만을 포함하지 않지만 그러한 프로세스, 방법, 제품, 또는 장치에 명시적으로 열거되거나 내재되지 않은 다른 구성요소를 포함할 수 있도록, 비배타적인 포함물을 커버하도록 의도된다. "하나의 ~를 포함하다"로 진행되는 하나의 구성요소는, 더 이상의 제한없이, 구성요소를 포함하는 프로세스, 방법, 제품, 또는 장치 내에 부가적인 동일한 구성요소의 존재를 배제한다.
도 1은 본 발명의 일 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3D 센서부를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3D 수집부를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 전처리부를 설명하기 위한 도면이다.
도 1 내지 도 4에 도시된 바와 같이, 본 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템은 3D 센싱을 위한 기반에 설치된 3D 센서부(100)와, 3D 센서부(100)의 센싱 정보를 수집하는 3D 수집부(200)와, 수집된 센싱 정보에 대한 전처리를 수행하는 전처리부(300)와, 전처리된 정보를 시각화하는 시각화부(400)와, 시각화된 정보를 바탕으로 재고를 파악하는 재고파악부(500)를 포함한다.
본 실시예에서는 3D 센서부(100)로 3차원 공간의 깊이, 거리 및 공간 정보를 측정하는 다양한 3D센서(110)를 사용할 수 있다. 또한, 3D 센서부(100)는 객체의 움직임과 자세를 측정할 수 있는 IMU(120, Inertial Measurement Unit)를 더 포함한다. 그리고, 3D 센서부(100)는 외부와 통신을 위한 통신부(130)와 전원을 제공하는 3D 전원부(140)를 포함하는 것도 가능하다.
3D 센서부(100)는 3D 센서(110)로 TOF센서 및 LiDAR를 사용하는 것이 가능하고, 이에 한정되지 않고, 스테로오 카메라, 구조광 센서 등을 사용하는 것도 가능하다. IMU는 가속도계, 자이로스코프, 지자기 센서등을 포함하고, 물체의 가속도, 각속도 및 위치를 측정하는 것이 효과적이다. 이를 통해 3D 센서(110)의 움직임과 자세를 추정하는 것이 가능하다.
3D 센서부(100)의 통신부(130)는 UDP 통신을 통해 외부와 통신을 수행하는 것이 효과적이다. 이를 통해 외부에 실시간으로 정보 데이터를 제공하는 것이 가능하다.
본 실시예의 3D 센서부(100)는 별도의 고정 영역에 고정되거나 이동 가능한 수단에 장착되어 이동하는 것도 가능하다. 물론, 3D 센서부(100)는 별도의 동작을 위한 제어수단을 구비하여 각 부의 동작을 제어하는 것도 가능하다.
3D 수집부(200)는 3D 센서부와 통신을 통해 3D 센싱 정보 즉 3D 데이터를 수집 및 정합하고, 이의 좌표를 연동한다.
3D 수집부(200)는 3D 센서부(100)와 통신을 통해 3D 센서부(100)의 정보를 수집하는 정보 수집부(210)와, 수집된 경보를 연동하여 3D 센서 위치에 따른 정보를 확인하는 데이터 연동부(220)와, 3D 센싱 정보에 대한 정합을 수행하는 데이터 정합부(230)를 포함한다.
정보 수집부(210)는 3D 센서부(100)로 부터 UDP 통신을 통해 데이터를 수신하는 것이 효과적이다. 이때, 정보 수집부(210)는 이동 설비에 장착된 3D 센서의 정보와 IMU의 정보를 수집하는 것이 효과적이다. 정보 수집부(210)는 UDP 클라이언트에 접근하여 패킷을 추출하는 것이 바람직하다.
여기서, 패킷은 16진수 2개 쌍 단위로 1206 바이트 데이터를 추출한다. 하나의 패킷은 2개 쌍 100개 묶음인 12개 블록 단위로 구성되는 것이 바람직하다. 이때, 12개 블록 단위로 분리가 가능하고, 하나의 블록은 32개의 채널을 가지고 있는 것이 효과적이다.
정보 수집부(210)는 패킷 내부에 존재하는 방위각, 거리 2가지와 고도각으로 구면 좌표계를 사용하여 3D 센서부(100)가 제공하는 포인트 클라우드 좌표인 3D 센싱 정보 좌표를 수집하는 것이 효과적이다.
데이터 연동부(220)는 IMU 정보와 3D 센서 정보를 연동하되, 3D 센서부(100)의 위치 및 회전 정보를 사용하여 연동을 진행한다. 즉, 데이터 연동부(220)는 IMU의 위치 및 회전 데이터 정보와 3D 센서 정보 좌표를 연동하는 것이 바람직하다. 본 실시예에서는 연동으로 회전, 이동 및 장착 위치 3가지로 계산하는 것이 효과적이다.
회전을 위해 기 저장된 데이터 베이스를 활용하여 위도, 경도, 롤(Roll), 피치(Pitch) 및 요(Yaw)를 사용한다. 여기서, 요는 좌우로 회전하는 각도에 관한 정보이고, 롤은 위아래로 회전하는 각도에 관한 것이며, 피치는 수평축 주위를 회전하는 각도에 관한 것이다. 회전은 3D 센서의 회전만큼 적용하기 위해 피치, 롤, 요 순으로 오일러 각을 이용하여 3차원 회전 행렬을 계산하는 것이 바람직하다.
이동은 하나의 절대 좌표를 지정하고, 위도 및 경도의 두점 사이의 거리를 계산하여 3차원 이동 행렬을 계산한다.
장착위치는 고정 장착 또는 설치된 3D 센서의 위치를 획득한다. 즉, 이동 설비에 장착된 센서의 위치를 획득하는 것이 바람직하다. 3D 센서에서 세로의 가상 기둥과 센서가 장착된 기둥이 만나는 점을 기준점으로 한다. 기준점 부터 3D 센서가 장착된 지점의 최소 거리를 추출한다. 그리고, 최소 거리, 센서 장착 기둥 기반의 회전된 방위각과 고도각을 이용한 구면 좌표계로 3D 센서의 위치를 계산하는 것이 바람직하다.
물론, 이에 한정되지 않고 다양한 방법이 가능하다. 여기서, 기준점을 센서가 장착된 이동 설비 즉, 기둥 또는 장착 표면의 가로와 세로가 만나는 지점을 기준점으로 하는 것도 가능하다. 그리고, 기준점으로 부터 센서외 수직으로 일치하는 가로 기둥 부분을 구면좌표계의 거리로 사용하는 것이 효과적이다. 물론 가로 기둥의 3차원 좌표가 계산된 이후에 일정거리 예를 들어 5 내지 15cm 이격된 센서를 수직으로 맞추어 직각삼각형 공식을 사용한다. ASIN 삼각함수로 생성된 고도각을 가로 기둥에 사용된 고도각에 추가하고, 직각삼각형에서 대각선에 해당하는 부분을 구면 좌표계를 통해 3D 센서 위치를 계산하는 것도 가능하다. 그리고, 이와 같이 계산된 정보 즉, 데이터는 데이터베이스에저장되는 것이 효과적이다.
데이터 정합부(230)는 3D Object 파일 정보를 생성하기 위해 3D 센서의 이동에 따른 정보를 수집하고, 정합한다. 이는 3D 센서의 FOV(Field of view)는 최대 180도 미만으로 설정되고 이를 하나의 프레임으로 지정하는 것이 가능하다. 그리고, 프레임 간 거리는 3D 센서와 3D Object 파일의 최소 거리를 직각 삼각형 공식 기준으로 프레임을 설정하기 때문에 이를 이용하여 데이터 즉, 정보들을 정합하는 것이 효과적이다. 데이터 정합을 통해 데이터에 대한 정확성과 신뢰성을 향상시킬 수 있고, 오류를 방지할 수 있다. 물론, 정합 유지를 위해 데이터 베이스 스키마를 정의하여 데이터의 형식과 구조를 명확하게 할 수 있다. 또한, 데이터 무결성 제약 조건 설정을 통해 데이터의 정확성과 일관성을 보장하는 것이 가능하다.
전처리부(300)는 3D 수집부(200)를 통해 수집된 3D 센싱 정보 즉, 데이터에 대한 이상값을 제거하는 이상치 제거부(310)와, 3D 센싱 정보인 포인트 클라우드에 대한 군집화와 객체를 추출하는 군집 및 객체부(320)와, 군집화 객체로 부터 3D 형상을 판단하는 형상 보정부(330)를 포함한다.
이상치 제거부(310)는 3D 수집부(200)의 데이터를 일정 간격과 밀도로 조정하고, 데이터 이상 값을 제거하는 것이 효과적이다.
이상치 제거부(310)는 먼저, 3D 센싱 정보에 대한 업샘플링(Upsampling)을 진행한다. 업샘플링은 선형보간방법과 기존 값을 복사하는 방법을 사용하는 것이 가능하다. 업샘플링을 통해 샘플링 주파수를 증가시켜, 주어진 3D 센싱 정보의 시계열 데이터나 디지털 신호의 샘플 수를 증가시켜 더 높은 주파수로 표현할 수 있다. 이를 통해 신호의 정밀 분석이 가능하게 된다. 업샘플링은 제로 인서트 작업과 샘플 보간 작업을 수행할 수 있다. 즉, 주어진 샘플들 사이에 새로운 샘플을 추가하고, 새로 추가된 샘플은 기존 샘플들의 평균 값이나 보간법 등을 사용하여 결정하는 것이 가능하다. 또한, 제로 인서트로 생성된 새로운 샘플들을 이용 새로운 신호를 생성하고, 선형 보간, 스플라인 보간 등의 방법을 사용하여 새로운 샘플들 사이의 값을 추정하는 것이 가능하다.
물론 업샘플링은 데이터 세트의 드문 값을 여러번 복사하는 중복 방법, 드문 값을 생성하는 알고리즘을 사용하는 증가 방법 또는 드문 값과 비슷환 값을 추가하는 대안 방법을 사용하는 것도 가능하다.
업샘플링이 완료된 데이터는 다시 3D 화상(Voxel) 다운샘플링(Downsampling)을 진행한다. 이를 통해 일정 간격 내의 포인트들을 평균내어 한 포인트로 생성한다. 이를 통해 이상치 제거부(310)는 업샘플링으로 추가된 데이터 셋을 일정한 간격과 밀도로 정리하는 것이 가능하게 된다.
다운샘플링은 절반 샘플링과 필터링을 수행할 수 있다. 주어진 샘플들 중 일부를 제거하여 크기를 줄이고, 다운샘플링을 통해 생기는 이상한 주파수 성분 제거를 위해 저역 통과 필터를 적용하는 것도 가능하다.
이어서, 이상치 제거부(310)는 일정한 간격과 밀도로 정리된 데이터에 대한 이상값 제거 기법을 통해 이상치를 제거한다. 이때, 이상값 제거를 위해 통계적 이상값 제거 또는 반경 이상치 제거와 같은 데이터 이상값 제거 기법을 사용하는 것이 가능하다. 통계적 이상치 제거는 평균과 비교하여 이웃에서 더 멀리 떨어진 포인트를 제거한다. 통계적 이상치 제거는 데이터의 평균, 표준편차, 사분위수등을 사용하여 이상치를 식별한다. 예를 들어, 데이터 평균에서 X 표준 편차 떨어진 데이터는 이상치로 간주할 수 있다.
또한 반경 이상치 제거는 주변에 주어진 구역에서 이웃이 거의 없는 포인트를 제거한다. 반경 이상치를 사용하여 이웃들이 모여있으나, 추출하기 원하는 객체와 멀리 떨어진 이상값을 제거하는 것이 바람직하다. 반경 이상치 제거는 반경 기반의 밀도 추정 방법을 사용하여 데이터 포인트와 주변의 이웃 데이터들과의 거리를 계산하고, 이 거리가 일정 반경 이상이거나 이하인 데이터를 이상값으로 판별하고 제거한다. 예를 들어 데이터의 중심에서 Y 사분위수 이상 떨어진 값은 이상치로 간주할 수 있다.
물론, 이상치 제거는 이에 한정되지 않고, 다양한 방법이 가능하다. 예를 들어 지식기반 이상치 제거, 모형 기반 이상치 제거, 주성분 분석 방법 및 비모형 기반 이상치 제거 기법의 사용이 가능할 수 있다.
군집 및 객체부(320)는 이상치 제거가 끝난 데이터들에 대한 군집화를 진행하는 것이 효과적이다.
본 실시예에서는 군집화를 위해 밀도 기반 군집화 기법을 사용하는 것이 가능하다. 즉, 특정 공간 내 데이터 밀도 차이를 기반으로 복잡한 기하학적 분포도를 가진 데이터 세트에 대하여 군집화를 수행한다. 즉, 군집간의 밀도를 기반으로 포인트가 세밀하게 몰려 있는 영역 즉, 밀도가 높은 부분을 군집화할 수 있다. 이웃까지의 거리와 군집화시 필요한 최소 포인트 개수를 입력 받아 일정 점을 기준으로 반경 x거리 내의 점이 n개 있다면 하나의 군집으로 인식하는 것도 가능하다. 이때, 입력값 및 반경 등은 자유롭게 변경가능 한 것이 효과적이다. 이를 통해 군집 및 객체부는 기하학적인 모양의 군집도 찾을 수 있다.
본 실시예에서는 밀도 기반 군집화 기법으로 DBSCAN 알고리즘을 사용하는 것이 효과적이다. 물론 OPTICS, BIRCH와 같은 다양한 알고리즘을 사용하는 것도 가능하다.
물론 이에 한정되지 않고 다양한 군집화 기법이 사용될 수 있다. 즉, K-평균 군집화 기법, 계층적 군집화 기법, 유형 기반 군집화 기법 및 확률적 군집화 기법의 사용이 가능하다.
군집 및 객체부(320)는 이와 같이 군집화된 그룹들에 대하여 라벨링을 진행하고, 이들을 각각 하나의 객체로 추출한다.
형상 보정부(330)를 통해 라벨링 진행시 일정 개수를 충족하지 못하는 그룹들은 제거될 수 있다. 여기서, Z값의 최고 높이까지 Z값이 일정하게 증가하거나 감소하는 추세를 보여주는 경우 이를 3D 형상으로 판단한다. 3D 형상으로 판단된 그룹들은 각각 하나의 3D 형상으로 추출하는 것이 바람직하다. 이때, Qhull 알고리즘을 사용하여 3D 형상의 데이터 수를 줄여 형상 처리를 진행하는 것이 가능하다.
시각화부(320)는 표면 재구축 알고리즘을 사용하여 3D 형상 데이터를 시각화 하는 것이 효과적이다. 객체 추출이 완료된 3D 형상 데이터를 유니티(unity)를 활용하여 시각화 한다. 객체 추출이 완료된 3D 형상 데이터를 Ball Pivoting 알고리즘, Poisson 재구성, Alpha Shape 기법 등으로 표면을 재구축하고, 재구축한 데이터를 3D Object 파일 형식으로 변환하는 것이 가능하다. 그리고, 이 3D Object 파일을 유니티로 임포트(import)하여 실제 위치에 맞도록 배치할 수도 있다.
이에 한정되지 않고, 들어온 모델 기반 재구축 기법, Delaunar 삼각화를 사용한 점 기반 재구축 기법 및 볼륨 기반 재구축 기법의 사용이 가능하다. 물론, 히트맵, 트리맵, 산점도 매트릭스, 평행 좌표계, 차원 축소 및 네트워크 그래프 기법을 사용하여 시각화를 수행하는 것이 가능하다.
재고파악부(500)는 객체 추출이 완료된 3D 형상 데이터를 사용하여 체적을 산출한다.
포인트 클라우드 정보에 대한 체적 계산을 위해 표면 재구성을 수행하고, 삼각화 구축을 수행하는 것이 바람직하다.
체적 계산을 위해 바닥을 XY 평면과 평행하게 만들과 원점으로 변환한다. 그리고, Z값을 제거하여 포인트 클라우드 데이터를 XY 평면으로 투영한다. 2D 점의 삼각 측량을 계산한다. 삼각형의 2D 정점 대신 3D 정점을 사용할 수도 있다.
XY 평면에 대한 표면의 각 삼각형의 볼륨(Volume)을 계산한 다음 모든 삼각형의 볼륨을 더하여 부피를 계산한다. 그리고, 이를 바탕으로 재고 파악을 수행하는 것이 효과적이다.
여기서, 재고 계산을 위해 Delaunay 알고리즘을 사용하는 것이 효과적이다. 임의 점들을 삼각형의 형태로 연결하는 분할을 진행하고, 각각의 삼각형의 내각 중 최대값이 최소값이 되도록 분할한다. 이러한 분할을 통해 최대한 정 삼각형에 가까운 삼각형 형태로 삼각 분할을 할 수 있다. 이를 통해 비교적 고른 형태 즉, 거리가 가까운 점들 끼리 연결함으로 점을 연결할 수 있다.
재고파악부(500)는 삼각형의 볼륨을 이용하여 부피를 계산하되, 재고 파악을 위한 물품의 부피를 이용하여 전체 볼륨을 대비하여 전체 몇개의 재고가 있는지 여부의 확인이 가능하다.
하기에서는 상술한 본 발명의 3D 센서 기반 실시간 재고 파악 시스템을 이용한 3D 센서 기반 실시간 재고 파악 방법에 관해서 도면을 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 3D 센서 기반 실시간 재고 파악 방법을 설명하기 위한 흐름도이다.
도 5에 도시된 바와 같이, D 센서 기반 실시간 재고 파악 방법은 3D 센서부(100)를 통해 3D 센싱을 진행한다(S110).
3D 센서부(100)는 3차원 공간의 깊이, 거리 및 공간 정보를 측정하고, IMU를 통해 객체의 움직임과 자세도 함께 측정하는 것이 효과적이다.
3D 수집부(200)는 3D 센싱을 통해 수집된 3D 센싱 정보를 수집하고, 3D 센서 위치에 따른 정보를 확하고 데이터에 대한 정합을 수행한다(S120).
3D 수집부(200)는 UDP 통신을 통해 3D 센서부(100)와 통신을 수행하여 데이터를 제공 받는다. 제공 받은 3D 센서 정보는 IMU 정보와 연동을 진행한다. 연동은 회전, 이동 및 장착을 수행하고, 이를 통해 데이터의 정합성을 향상시키는 것이 가능하다.
3D 센싱 정보에 대한 이상값을 제거하고, 군집화후 객체를 추출한 다음 형상을 보정하는 전처리를 수행한다(S130).
이상값 제거를 위해 3D 센싱 정보에 대한 업샘플링과 다운 샘플링을 진행하고, 이상값 제거 기법을 통해 이상치를 제거한다. 밀도 기반 군집화 기법을 통해 군집화를 진행하고, 군집화된 그룹에 대한 라벨링을 수행하여 이들 각각을 하나의 객체로 추출한다.
전처리 수행된 데이터를 표면 재구축 알고리즘을 이용하여 시각화 한다. 즉, 표면 재구축 알고리즘을 사용하여 3D 형상 데이터를 시각화 한다(S140).
객체 추출된 데이터를 이용하여 체적을 계산하여 재고 파악을 진행한다(S150). 즉, 객체 추출이 완료된 3D 형상 데이터를 사용하여 체적을 산출한다. 포인트 클라우드 정보에 대한 체적 계산을 위해 표면 재구성을 수행하고, 삼각화 구축을 수행하는 것이 바람직하다.
하기에서는 본 발명의 다른 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템에 관하여 설명한다. 후술되는 설명중 상술한 설명과 중복되는 설명은 생략한다. 또한, 후술되는 설명의 기술은 상술한 실시예에 적용되는 것이 가능하다.
도 6은 본 발명의 다른 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 본 실시예에 따른 3D 센서 기반 실시간 재고 파악 시스템은 주변의 3D 센싱을 위한 기반에 설치된 센서부(1000)와, 센서부(1000)의 센싱 정보를 수집하는 센서 수집부(2000)와, 수집된 센싱 정보에 대한 전처리를 수행하는 전처리부(3000)와, 전처리 정보에 대한 군집화를 수행하는 군집화부(4000)와, 군집화된 그룹의 라벨링을 통해 객체를 추출하는 객체 추출부(5000)와, 객체 추출된 정보를 시각화하는 시각화부(6000)와, 객체 정보를 바탕으로 재고를 파악하는 재고 계산부(7000)를 포함한다.
센서부(1000)는 3차원 공간의 깊이, 거리 및 공간 정보를 측정하는 3D 센서와, 객체의 움직임과 자세를 측정하는 IMU와, 외부와 통신을 수행하는 통신부와, 전원을 제공하는 전원부를 포함하는 것이 효과적이다.
3D 센서로 TOF센서 및 LiDAR를 사용하고, IMU는 가속도계, 자이로스코프, 지자기 센서등을 포함하고, 물체의 가속도, 각속도 및 위치를 측정하는 것이 효과적이다. 통신부는 UDP 통신을 통해 외부와 통신을 수행하는 것이 효과적이다.
센서 수집부(2000)는 센서부와 통신을 통해 3D 센싱 정보 즉, 3D 데이터를 수집 및 정합하고, 이의 좌표를 연동한다.
센서 수집부(2000)는 이동설비에 장착된 3D 센서 정보 수집과 정합을 진행한다. 이때, 3D 센서 정보를 수집하고 정합한다. 이때, IMU의 위치 및 회전 데이터와 3D 센서 위치로 정합하는 것이 바람직하다.
첫번째로 3D 센서와 UDP 통신을 통해 데이터를 수집한다. 이때, 1개의 패킷을 추출하고, 패킷은 16진수 2개쌍 단위로 1206 바이트 데이터를 추출한다. 하나의 패킷은 2개쌍 100개 묶음인 12개 블록으로 구성된다. 블록은 12개 단위로 분리가 가능할 수 있다.
하나의 블록은 32개의 채널을 가지고 있다. 여기서, 채널은 시작, 방위각, 거리 3가지로 분리하는 것이 효과적이다.
시작은 2바이트 16진수 FFEE 추출한다.
방위각은 2 바이트 16진수를 추출한다. 2바이트 데이터 순서로 변경하고, 2 진수로 변환한 후 10진수로 변환하여 100을 나워 각도로 변환하는 것이 효과적이다. 그리고, 남은 채널 31개의 거리에 방위각 추가를 위해 0.00833각도를 더하는 것이 바람직하다.
거리는 2바이트 데이터 순서를 변경하고, 10진수로 변환한 후 입도 2mm와 미터 단위로 변환한다. 거리까지 변환이 완료된 이후 남은 11개 블록에 대한 변환을 반복한다. 이를 통해 총 384개의 채널 데이터를 획득한다. 384개 채널 데이터는 구면좌표계를 사용하여 3D 센서 좌표를 완료한다.
두번째로 정합을 위해 위치 및 회전 정보가 필요하기에 IMU 정보를 추가한다.
이를 위해 기 저장된 데이터 베이스에서 위도, 경도, 높이, Roll, Ptich, Yaw를 검색한다. 이후 3D 센서의 회전한 만큼 적용하여 오일러 각을 이용하여 Pitch, Roll, Yaw 순으로 3차원 회전 행렬을 계산한다. 즉, 하나의 절대 좌표를 지정한 후 각각의 두 점 사이의 거리를 계산하여 미터 단위 데이터를 각각 위도, 경도를 더해 계산하는 것이 바람직하다. 위도 및 경도 만큼 3차원 이동 행렬을 계산하여 IMU 정보가 존재하는 3D 센서를 데이터 베이스에 저장한다. 이후, 3D 센서의 위치를 획득한다. 테스트 베드의 가로, 세로로 만나는 기둥을 테스트베드 기준점이라고 할때, 기준점 부터 3D 센서와 수직으로 일치하는 가로 기둥 부분으로 구면좌표계의 거리를 사용한다. 가로 기둥의 3차원 좌표가 계산한 후 10cm 만큼 떨어진 3D 센서를 수직으로 맞춰 직각 삼각형 공식을 사용한다. ASIN 삼각함수로 생성된 고도각을 가로 기둥에 사용된 고도각에 추가와 직각삼각형에서 대각선에 해당하는 부분을 구면좌표계를 통해 장착된 3D 센서 위치를 계산할 수 있다.
전처리부(3000)는 수집된 데이터를 읽어와 조밀한 데이터 밀도를 만들기 위해 업샘플링을 진행한다. 업샘플링은 선형보간방법과 기존 값을 복사하는 방법을 사용하는 것이 가능하다.
업샘플링이 완료된 데이터는 다시 3D 화상(Voxel) 다운샘플링(Downsampling)을 진행한다. 이를 통해 일정 간격 내의 포인트들을 평균내어 한 포인트로 생성한다.
이를 통해 업샘플링으로 추가된 데이터 셋을 일정한 간격과 밀도로 정리된다. 그리고, 데이터 이상값을 제거하기 위해 통계적 이상치 제거를 진행한 후, 반경 이상치 제거를 진행한다.
군집화부(4000)는 DBSCAN 클러스터링을 사용하여 군집화를 진행한다. 특정 공간 내에 데이터 밀도 차이를 기반으로 하여 복잡한 기하학적 분포도를 가진 데이터 세트에 대하여 군집화를 수행한다. 군집화시 주변까지의 거리와 군집화 시 필요한 최소 포인트 수를 활용하여 로컬 포인트 클라우드의 군집화를 진행하는 것이 바람직하다.
객체 추출부(5000)는 군집화된 그룹들을 라벨링을 진행하고, 라벨링된 그룹들 중 일정 개수를 충족하지 못한 그룹을 제거한다. 이때, Z값의 최고 정점의 높이까지 Z값이 일정하게 증가하거나 감소하는 추세를 보여준다면 3D형상으로 판단하고, 3D 형상으로 판단된 그룹들은 각각 하나의 3D 형상으로 추출하는 것이 바람직하다.
시각화부(6000)는 객체 추출이 완료된 데이터를 유니티를 활용하여 시각화한다. 객체 추출이 완료된 3D 형상 데이터를 Ball Pivoting 알고리즘, Poisson 재구성, Alpha Shape 기법으로 표면을 재구축하고, 재구축한 데이터를 3D Object 파일 형식으로 변환하는 것이 가능하다.
재고 계산부(7000)는 객체 추출이 완료된 3D 형상 데이터를 사용하여 체적을 산출한다. 체적 계산을 위해 바닥을 XY 평면과 평행하게 만들과 원점으로 변환한다. 그리고, Z값을 제거하여 포인트 클라우드 데이터를 XY 평면으로 투영한다. Delaunay 알고리즘을 사용하여 2D 점의 삼각 측량을 계산한다. Delaunay에서 출력한 삼각형의 2D 정점 대신 3D 정점을 사용할 수도 있다.
XY 평면에 대한 표면의 각 삼각형의 볼륨(Volume)을 계산한 다음 모든 삼각형의 볼륨을 더하여 부피를 계산한다. 그리고, 이를 바탕으로 재고 파악을 수행하는 것이 효과적이다.
재고 계산부(7000)는 삼각형의 볼륨을 이용하여 부피를 계산하되, 재고 파악을 위한 물품의 부피를 이용하여 전체 볼륨을 대비하여 전체 몇개의 재고가 있는지 여부의 확인이 가능하다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100: 3D 센서부 110: 3D 센서
120: IMU 130: 통신부
140: 전원부 200: 3D 수집부
210: 정보 수집부 220: 데이터 연동부
230: 데이터 정합부 300: 전처리부
310: 이상치 제거부 320: 군집 및 객체부
330: 형상 보정부 400: 시각화부
500: 재고파악부 1000: 센서부
2000: 센서 수집부 3000: 전처리부
4000: 군집화부 5000: 객체 추출부
6000: 시각화부 7000: 재고 계산부

Claims (8)

  1. 3D 센싱을 위한 기반에 설치된 3D 센서부;
    3D 센서부의 센싱 정보를 수집하는 3D 센서 수집부;
    수집된 센싱 정보에 대한 전처리를 수행하는 전처리부;
    전처리된 정보를 시각화하는 시각화부; 및
    시각화된 정보를 바탕으로 제조 자재의 재고를 파악하는 재고파악부를 포함하는 것을 특징으로 하고,
    상기 전처리부는 3D 수집부를 통해 수집된 3D 센싱 정보 즉, 데이터에 대한 이상값을 제거하는 이상치 제거부와, 3D 센싱 정보인 포인트 클라우드에 대한 군집화와 객체를 추출하는 군집 및 객체부와, 군집화 객체로 부터 3D 형상을 판단하는 형상 보정부를 포함하고,
    상기 이상치 제거부는 3D 센싱 정보에 대한 업샘플링(Upsampling)을 진행하되, 선형보간방법과 기존 값을 복사하는 방법을 사용하고, 업샘플링이 완료된 데이터는 다시 3D 화상(Voxel) 다운샘플링(Downsampling)을 진행하여, 일정 간격 내의 포인트들을 평균내어 한 포인트로 생성하고, 통계적 이상값 제거 또는 반경 이상치 제거와 같은 데이터 이상값 제거 기법을 사용하여 이상치를 제거하고,
    상기 군집 및 객체부는 밀도 기반 군집화 기법을 사용하여 데이터 세트에 대하여 군집화를 수행하고, 군집화된 그룹들에 대하여 라벨링을 진행하고, 이들을 각각 하나의 객체로 추출하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템.
  2. 제1항에 있어서,
    상기 3D 센서부는 3차원 공간의 깊이, 거리 및 공간 정보를 측정하는 3D 센서와, 객체의 움직임과 자세를 측정하는 IMU와, 외부와 통신을 수행하는 통신부와, 전원을 제공하는 3D 전원부를 포함하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템.
  3. 제1항에 있어서,
    상기 3D 센서 수집부는 3D 센서부와 통신을 통해 3D 센서부의 정보를 수집하는 정보 수집부와, 수집된 경보를 연동하여 3D 센서 위치에 따른 정보를 확인하는 데이터 연동부와, 3D 센싱 정보에 대한 정합을 수행하는 데이터 정합부를 포함하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템.
  4. 제3항에 있어서,
    상기 정보 수집부는 3D 센서부로 부터 UDP 통신을 통해 데이터를 수신하고, 패킷은 16진수 2개 쌍 단위로 1206 바이트 데이터를 추출하고, 하나의 패킷은 2개 쌍 100개 묶음인 12개 블록 단위로 구성되고, 하나의 블록은 32개의 채널을 가지고 있으며, 패킷 내부에 존재하는 방위각, 거리 2가지와 고도각으로 구면 좌표계를 사용하여 3D 센서부가 제공하는 포인트 클라우드 좌표인 3D 센싱 정보 좌표를 수집하며,
    상기 데이터 연동부는 IMU 정보와 3D 센서 정보를 연동하되, 3D 센서부의 위치 및 회전 정보를 사용하여 연동을 진행하고, IMU의 위치 및 회전 데이터 정보와 3D 센서 정보 좌표를 연동하되, 회전, 이동 및 장착 위치 3가지로 계산하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 시각화부는 표면 재구축 알고리즘을 사용하여 3D 형상 데이터를 시각화 하되, 객체 추출이 완료된 3D 형상 데이터를 Ball Pivoting 알고리즘, Poisson 재구성, Alpha Shape 기법으로 표면을 재구축하고, 재구축한 데이터를 3D Object 파일 형식으로 변환하는 것을 특징으로 하는 3D 센서 기반 실시간 재고 파악 시스템.
  8. 삭제
KR1020230112656A 2023-08-28 2023-08-28 3d 센서 기반 실시간 재고 파악 시스템 및 방법 KR102649607B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230112656A KR102649607B1 (ko) 2023-08-28 2023-08-28 3d 센서 기반 실시간 재고 파악 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230112656A KR102649607B1 (ko) 2023-08-28 2023-08-28 3d 센서 기반 실시간 재고 파악 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102649607B1 true KR102649607B1 (ko) 2024-03-21

Family

ID=90472395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230112656A KR102649607B1 (ko) 2023-08-28 2023-08-28 3d 센서 기반 실시간 재고 파악 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102649607B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080569A (ko) * 2018-12-27 2020-07-07 강경욱 3d 이미지센서 기반의 실시간 재고관리 시스템 및 이를 이용한 방법
KR20210101637A (ko) 2020-02-10 2021-08-19 공종원 Lidar센서와 YOLO알고리즘을 결합한 3D MAP 자율주행 비행체
KR20220004738A (ko) 2019-06-07 2022-01-11 바스프 코팅스 게엠베하 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080569A (ko) * 2018-12-27 2020-07-07 강경욱 3d 이미지센서 기반의 실시간 재고관리 시스템 및 이를 이용한 방법
KR20220004738A (ko) 2019-06-07 2022-01-11 바스프 코팅스 게엠베하 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법
KR20210101637A (ko) 2020-02-10 2021-08-19 공종원 Lidar센서와 YOLO알고리즘을 결합한 3D MAP 자율주행 비행체

Similar Documents

Publication Publication Date Title
Wang et al. Vision-based framework for automatic progress monitoring of precast walls by using surveillance videos during the construction phase
CN106407947B (zh) 用于无人驾驶车辆的目标物体识别方法和装置
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
CN112362072B (zh) 一种复杂城区环境中的高精度点云地图创建系统及方法
Wang et al. Automated road sign inventory system based on stereo vision and tracking
JP6221390B2 (ja) 画像処理装置、プログラム、および画像処理方法
Lee et al. Automatic integration of facade textures into 3D building models with a projective geometry based line clustering
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN109186608A (zh) 一种面向重定位的稀疏化三维点云地图生成方法
CN108154516B (zh) 面向封闭空间的点云拓扑分割方法及装置
CN105096300A (zh) 对象检测方法和设备
CN115641553B (zh) 掘进机作业环境侵入物的在线检测装置及方法
US11935249B2 (en) System and method for egomotion estimation
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
Guo et al. Extraction of dense urban buildings from photogrammetric and LiDAR point clouds
CN116518864A (zh) 一种基于三维点云对比分析的工程结构全场变形检测方法
CN105975975B (zh) 一种环境线特征提取方法
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
Palma et al. Detection of geometric temporal changes in point clouds
KR102649607B1 (ko) 3d 센서 기반 실시간 재고 파악 시스템 및 방법
CN117115063A (zh) 一种多源数据融合应用方法
CN115937842A (zh) 用于机器人的着色LiDAR点云物体检测方法及系统
CN115713548A (zh) 一种多期实景三维模型自动配准方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant