KR20200105381A - 공작 기계 설비의 회전 각도 결정 방법 및 장치 - Google Patents

공작 기계 설비의 회전 각도 결정 방법 및 장치 Download PDF

Info

Publication number
KR20200105381A
KR20200105381A KR1020190140942A KR20190140942A KR20200105381A KR 20200105381 A KR20200105381 A KR 20200105381A KR 1020190140942 A KR1020190140942 A KR 1020190140942A KR 20190140942 A KR20190140942 A KR 20190140942A KR 20200105381 A KR20200105381 A KR 20200105381A
Authority
KR
South Korea
Prior art keywords
point cloud
rotation angle
machine tool
frame
frames
Prior art date
Application number
KR1020190140942A
Other languages
English (en)
Other versions
KR102315535B1 (ko
Inventor
신징 쳉
루이끄앙 양
페이시앙 루
야주에 양
하오 수
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200105381A publication Critical patent/KR20200105381A/ko
Application granted granted Critical
Publication of KR102315535B1 publication Critical patent/KR102315535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예는 공작 기계 설비의 회전 각도 결정 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체를 개시한다. 상기 방법의 일 구체적인 실시형태로서, 공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하는 단계; 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하는 단계; 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여, 공작 기계 설비의 회전 각도로 사용하는 단계를 포함한다. 상기 실시형태에 따르면, 공작 기계 설비의 회전 각도의 정밀한 추산을 실현할 수 있다.

Description

공작 기계 설비의 회전 각도 결정 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING ROTATION ANGLE OF ENGINEERING MECHANICAL DEVICE}
본 발명의 실시예는 컴퓨터 기술 분야에 관한 것으로, 특히 공작 기계 설비 분야, 특히 공작 기계 설비의 회전 각도 결정 방법 및 장치에 관한 것이다.
무인 공작 기계 설비는 다양한 센서에 의해 작업 동작의 대상을 감지하고, 동작 움직임을 계획하며 또한 동작 명령을 실행하는 스마트화 공학 기기이다. 무인 공작 기계 설비는 공정임무를 수행하는 과정에서, 본체 또는 기계적 암 등과 같은 회전 부재를 타겟 영역으로 회전해야 하므로, 회전 각도를 정확하고 신속하게 결정해야 한다. 현재 해결수단에는 공작 기계 설비의 회전축에 각도 센서를 설치하여, 센서의 실시간 판독 값에 따라 공작 기계 설비의 회전 각도를 결정하는 방법이 있다.
본 발명의 실시예는 공작 기계 설비의 회전 각도 결정 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체를 제공한다.
제1 양태에 따르면, 본 개시의 실시예는 공작 기계 설비의 회전 각도 결정 방법을 제공하며, 상기 방법은, 공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하는 단계; 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하는 단계; 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여, 공작 기계 설비의 회전 각도로 사용하는 단계를 포함한다.
일부 실시예에 있어서, 상기 방법은, 공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하는 단계를 더 포함하며,
상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 단계는,
상기 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 상기 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하고, 상기 초기 추정 범위 내에서, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는, 상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계를 포함하고, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계는, 상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 현재 3차원 포인트 클라우드 프레임 및 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 상기 깊이 이미지 시퀀스에서의 대응되는 깊이 이미지의 위치에 따라, 상기 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계를 포함한다.
일부 실시예에 있어서, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여, 상기 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임과 마지막 3차원 포인트 클라우드 프레임을 포함하는 샘플링 시퀀스를 획득하는 단계; 및 상기 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 이루어진 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계를 포함하고, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하는 단계는, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 상기 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계를 포함한다.
일부 실시예에 있어서, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는, 상기 3차원 포인트 클라우드 프레임에 대해 특징점을 추출하는 단계; 및 추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭시켜, 상기 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 획득하는 단계를 포함한다.
제2 양태에 따르면, 본개시의 실시예는 공작 기계 설비의 회전 각도 결정 장치를 제공하며, 상기 장치는, 공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하도록 구성된 제1 획득 유닛; 상기 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하도록 구성된 변환 유닛; 및 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하도록 구성된 결정 유닛을 포함한다.
일부 실시예에 있어서, 공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하도록 구성된 제2 획득 유닛을 더 포함하며, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 상기 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하고, 상기 초기 추정 범위 내에서, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 방식으로, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하도록 구성된다.
일부 실시예에 있어서, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 방식으로, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성되며, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하고; 상기 깊이 이미지 시퀀스에서의 대응되는 깊이 이미지의 위치에 따라, 상기 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여 상기 공작 기계 설비의 회전 각도로 사용하도록 구성된다.
일부 실시예에 있어서, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여, 상기 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임과 마지막 3차원 포인트 클라우드 프레임을 포함하는 샘플링 시퀀스를 획득하는 단계; 및 상기 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 이루어진 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계에 따라, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성되며, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 상기 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하도록 구성된다.
일부 실시예에 있어서, 상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임에 대해 특징점을 추출하는 단계; 및 추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭시켜, 상기 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 획득하는 단계에 따라, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성된다.
제3 양태에 따르면, 본개시의 실시예는 전자 기기를 제공하며, 상기 전자 기기는, 하나 또는 복수 개의 프로세서; 및 하나 또는 복수 개의 프로그램이 저장된 저장 장치를 포함하고, 상기 하나 또는 복수 개의 프로그램이 상기 하나 또는 복수 개의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수 개의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 공작 기계 설비의 회전 각도 결정 방법을 구현하도록 한다.
제4 양태에 따르면, 본 개시의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체를 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제5항 중 어느 한 항에 따른 공작 기계 설비의 회전 각도 결정 방법을 구현한다.
본 발명의 상기 실시예의 공작 기계 설비의 회전 각도 결정 방법은, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하여, 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하고, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하며, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용함으로써, 공작 기계 설비 회전각의 정밀한 계산을 실현할 수 있다.
아래 첨부 도면에 도시된 비제한적인 실시예의 상세한 설명에 대한 리뷰 및 참조를 통해 본 발명의 다른 특징, 목적 및 이점이 보다 명백해질 것이다.
도 1은 본 발명의 실시예가 적용 가능한 예시적인 시스템 아키텍처이다.
도 2는 본 발명에 따른 공작 기계 설비의 회전 각도 결정 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 공작 기계 설비의 회전 각도 결정 방법의 다른 일 실시예의 흐름도이다.
도 4는 본 발명에 따른 공작 기계 설비의 회전 각도 결정 장치의 일 실시예의 구조 개략도이다.
도 5는 본 발명의 실시예의 전자 기기를 구현하기에 적합한 컴퓨터 시스템의 구조 개략도이다.
이하 첨부 도면 및 실시예를 결부시켜 본 발명을 더욱 자세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일 뿐 본 발명은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.
모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 결합될 수 있음을 유의해야 한다. 이하 첨부 도면을 참조하고 실시예를 결부시켜 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명이 적용 가능한 공작 기계 설비의 회전 각도 결정 방법 또는 공작 기계 설비의 회전 각도 결정 장치의 예시적인 시스템 아키텍처를 도시한다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)에는 공작 기계 설비(101), 공작 기계 설비에 설치된 카메라(102), 네트워크(103) 및 서버(104)가 포함될 수 있다. 네트워크(103)는 공작 기계 설비(101), 카메라(102) 및 서버(104) 사이에서 통신 링크 매체를 제공한다. 네트워크(103)는 예를 들어, 유선, 무선 통신 링크 또는 광섬유 케이블 등 다양한 연결 타입을 포함할 수 있다.
공작 기계 설비(101)는 무인 자율 굴착기, 무인 자율 기중기 등 스마트화 공작 기계 설비일 수 있고, 공작 기계 설비(101)에는 각도 센서, 역학 센서, 이미지 센서 등 다양한 센서가 설치될 수 있다. 공작 기계 설비(101)의 다양한 센서는 작업 대상, 도로 환경 등을 포함하는 환경 정보를 감지할 수 있다. 일부 상황에서, 공작 기계 설비(101)에는 CPU, GPU 등 프로세서와 같은 데이터 처리 부재, 및 저장 부재가 더 설치될 수 있다. 데이터 처리 부재는 센서가 감지하는 데이터를 획득하고 처리할 수 있으며, 저장 부재는 센서가 감지하는 데이터, 및 데이터 처리 부재가 데이터 처리 미션을 수행할 시 호출해야 하는 데이터를 저장할 수 있다.
카메라(102)는 쌍안 카메라(Binocular camera)일 수도 있고, 공작 기계 설비(101)에 설치된 이미지 센서일 수도 있으며, 공작 기계 설비가 처한 환경 중의 깊이 이미지(depth image)를 촬영할 수 있다. 쌍안 카메라(102)는 공작 기계 설비의 회전부에 설치될 수 있으며, 예를 들어, 굴착기 본체의 정면 또는 측면에 설치될 수 있다. 쌍안 카메라(102)는 회전부 회전 과정에서 깊이 이미지를 촬영할 수 있다.
서버(104)는 예를 들어, 공작 기계 설비의 백그라운드 서버와 같은 다양한 서비스를 제공하는 서버일 수 있다. 공작 기계 설비의 백그라운드 서버는 카메라(102)로부터 획득한 깊이 이미지 시퀀스에 대해 이미지 분석, 핵심 정보 추출 등 처리를 수행할 수 있으며, 또한 처리 결과(예를 들어, 공작 기계 설비의 포즈 정보)에 기반하여 공작 기계 설비(101)의 작업을 제어한다.
서버(104)는 하드웨어일 수 있고, 소프트웨어일 수도 있다. 서버(104)가 하드웨어일 경우, 복수 개의 서버로 구성된 분산형 서버 클러스터로 구현될 수도 있고, 단일 개의 서버로 구현될 수도 있다. 서버(104)가 소프트웨어일 경우, 복수 개의 소프트웨어 또는 소프트웨어 모듈(예를 들어, 분산형 서비스를 제공하는 소프트웨어 또는 소프트웨어 모듈로 사용됨)로 구현될 수도 있고, 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 이에 대해 구체적으로 한정하지 않는다.
본 발명의 실시예에 의해 제공된 공작 기계 설비의 회전 각도 결정 방법은 공작 기계 설비(101)에 설치된 데이터 처리 부재 또는 서버(104)에 의해 수행될 수 있고, 따라서, 공작 기계 설비의 회전 각도 결정 장치는 공작 기계 설비(101)의 데이터 처리 부재 또는 서버(104)에 설치될 수 있다.
도 1 중의 공작 기계 설비, 카메라, 네트워크 및 서버의 개수는 단지 예시적인 것임을 이해해야 한다. 구현 수요에 따라, 임의의 개수의 공작 기계 설비, 카메라, 네트워크 및 서버를 구비할 수 있다.
계속하여 도 2를 참조하면, 본 발명에 따른 공작 기계 설비의 회전 각도 결정 방법의 일 실시예의 흐름(200)을 도시한다. 상기 공작 기계 설비의 회전 각도 결정 방법은 하기와 같은 단계를 포함한다.
단계 201에서, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득한다.
본 실시예에서, 공작 기계 설비의 회전 각도 결정 방법의 수행 주체는 공작 기계 설비의 회전부에 설치된 쌍안 카메라와 연결되어, 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득할 수 있다.
상기 공작 기계 설비는 예를 들어, 굴착기, 기중기 등과 같은 토공 기계 기기, 굴착 기계 기기, 리프팅 기계 기기, 다짐 기계 기기, 파일링 기계 기기 등 공학 기계에서 사용되는 중공업 기기일 수 있다. 본 실시예에서의 공작 기계 설비는 회전부를 포함한다. 회전부는 공작 기계 설비의 회전축을 둘러싸고 회전한다. 회전부는 예를 들어, 굴착기의 본체, 기중기의 리프팅 암, 동작실 등일 수 있다. 공작 기계 설비의 회전부에는 쌍안 카메라가 마련된다. 쌍안 카메라와 공작 기계 설비의 회전부의 상대 위치는 고정된다. 공작 기계 설비는 공정 미션을 수행할 시, 회전부를 회전하여 미션 위치로 이동시켜야 하며, 예를 들어, 굴착기는 본체를 회전시켜 자재 무더기로 이동하고 자재 무더기에서 자재를 굴착하여 타겟 위치로 운반하며 본체를 회전시켜 자재를 언로딩 해야 한다. 공작 기계 설비의 회전부가 회전할 시, 상기 쌍안 카메라는 그에 따라 회전되며, 회전부의 회전 각도와 쌍안 카메라의 회전 각도는 일치하다. 쌍안 카메라는 회전 과정에서 변화되는 상대 포즈로 공정 환경의 이미지를 수집한다.
쌍안 카메라는 심층정 정보를 포함하는 이미지, 즉 깊이 이미지를 수집할 수 있다. 상기 쌍안 카메라는 2개의 상대 위치 관계가 이미 교정된 캠으로 이루어질 수 있다. 일부 실시예에서, 상기 쌍안 카메라는 2개의 캠으로 수집한 평면 이미지를 융합하여 깊이 이미지를 형성하는 처리 부재를 더 포함할 수 있다.
실천에 있어서, 원격 서버 또는 공작 기계 설비에 설치된 처리 부재는 공작 기계 설비의 회전부 회전을 지시하는 명령을 보낼 경우, 쌍안 카메라를 작동시켜 공작 기계 설비의 회전부의 회전 과정 중의 깊이 이미지 시퀀스를 수집할 수 있다. 쌍안 카메라는 깊이 이미지를 수집한 후 실시간으로 상기 수행 주체(즉 상기 원격 서버 또는 공작 기계 설비에 설치된 처리 부재)에 전송할 수 있다.
단계 202에서, 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환한다.
본 실시예에서, 깊이 이미지 시퀀스 중의 깊이 이미지에 대해, 쌍안 카메라의 내부 파라미터 행렬에 기반하여 깊이 이미지 중의 이미지 정보를 3차원 공간에 매핑시켜 대응되는 3차원 포인트 클라우드를 얻을 수 있다. 구체적으로, 깊이 이미지 중의 각각의 픽셀 포인트P(u, v)에 대해, 대응되는 깊이 값은 z c 이고, 대응되는 3차원 포인트 클라우드 중의 점의 세계 좌표는 (x w , y w , z w )이며, 하기와 같은 관계를 가진다.
Figure pat00001
여기서, u, v는 픽셀 포인트 P의 2차원 이미지 좌표이고, u 0 , v 0 은 각각 이미지의 중심 좌표이며, R s , T s 는 각각 쌍안 카메라의 외부 파라미터 행렬 중의 회전 행렬 및 평행이동 행렬이고, dx, dy는 카메라의 픽셀 사이즈이며, f는 카메라 초점거리이다.
여기서, 카메라 원점과 세계 좌표계의 원점은 일치하며, 따라서,
Figure pat00002
Figure pat00003
또한, 카메라 좌표계에서의 점의 깊이는 세계 좌표계에서의 점의 깊이와 동일하며, 따라서 z w = z c 이다.
따라서, 이미지 중 각 픽셀 포인트의 이미지 좌표에 기반하여 대응되는 3차원 포인트의 3차원 공간 좌표를 산출하여 얻을 수 있으며, 이로써 깊이 이미지를 3차원 공간에 매핑시켜 대응되는 3차원 포인트 클라우드를 얻는다.
깊이 이미지 시퀀스 중의 각각의 프레임 깊이 이미지에 대해 상기 동작을 수행할 수 있으며, 깊이 이미지 시퀀스 중의 깊이 이미지와 일일이 대응되는 3차원 포인트 클라우드 프레임에 의해 형성된 3차원 포인트 클라우드 시퀀스를 획득할 수 있다.
단계 203에서, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용한다.
본 실시예에서, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 카메라가 상이한 3차원 포인트 클라우드 프레임에 대응되는 상이한 깊이 이미지 프레임을 수집할 시의 포즈 차이를 산출할 수 있다. 여기서, 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점은 물리적 공간의 동일한 점을 나타낼 수 있다.
구체적으로, 우선 3차원 포인트 클라우드 프레임 사이의 매칭점을 추출할 수 있다. 3차원 포인트 클라우드 프레임 중 각 점의 공간 좌표, 및 각 점의 반사 강도 또는 색상 정보에 따라, 상이한 3차원 포인트 클라우드 프레임 중의 점을 매칭시켜 매칭점을 추출할 수 있다. 예를 들어, 2개의 3차원 포인트 클라우드 프레임의 매칭점 집합은 각각 X=x 1 , x 2 , x 3 , …, x m 및 Y=y 1 , y 2 , y 3 , …, y m 로 표기할 수 있는바, 여기서 m은 양의 정수이며, 2개의 포인트 클라우드 프레임 중 모든 매칭점의 총수일 수 있고, x i 와 y i 는 한쌍의 매칭점이며, i=1,2,3, …, m이다.
선택 가능하게, 하기와 같은 방식에 따라 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정할 수 있다. 즉 다양한 3차원 특징 추출 방법을 이용하여 3차원 포인트 클라우드에 대해 특징점 추출을 진행한 다음, 추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭시킴으로써, 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 얻는다. 특징점 매칭 시, 양자의 상대 거리를 산출하여, 기설정된 거리 범위 내에 있는지 여부를 판단할 수 있거나, 양자의 색상 또는 반사 강도 정보를 비교할 수 있으며, 특징점과 동일한 3차원 포인트 클라우드 프레임 중 다른 특징점 사이의 상대 위치 관계를 고려하여 2개의 3차원 포인트 클라우드 프레임 사이 특징점을 매칭시킬 수 있다.
이후, 반복 최근점(Iterative Closest Point, ICP) 알고리즘을 이용하여 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 순차적으로 정합(registration)하여, 3차원 포인트 클라우드 프레임 사이의 변환 관계를 결정할 수 있다. 여기서, 변환 관계는 회전 행렬 R 및 평행이동 행렬 T를 포함할 수 있다. 회전 행렬 R과 평행이동 행렬 T는 다음과 같이 평균 제곱 오차 e(X, Y)를 최소화하여 얻을 수 있다,
Figure pat00004
여기서, x i 및 y i 는 매칭점에 대응되는 3차원 좌표를 표시할 수 있다.
회전 행렬 R 및 평행이동 행렬 T를 초기화하고, 또한 회전 행렬 R 및 평행이동 행렬 T를 끊임없이 반복하여 업데이트함으로써 평균 제곱 오차 e(X, Y)를 감소시키고, 평균 제곱 오차가 일정한 수렴 조건에 도달할 때 반복을 정지시켜, 추산된 회전 행렬 R 및 평행이동 행렬 T를 얻을 수 있다. 따라서, 회전 행렬의 각 좌표축에 대응되는 회전각에 따라 이러한 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 수집 시 쌍안 카메라의 상대 회전각을 얻는다.
상기 3차원 포인트 클라우드 시퀀스 중의 인접한 3차원 포인트 클라우드 프레임에 대해 상기 회전각 추산 동작을 순차적으로 수행하고, 상기 각 인접한 두 프레임에 대응되는 회전각을 누적하여 공작 기계 설비의 회전부의 회전 과정 중 카메라의 회전각을 획득할 수 있다. 또한, 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임 및 마지막 3차원 포인트 클라우드 프레임에 대해 ICP 알고리즘을 적용하여 회전각을 추산함으로써 공작 기계 설비의 회전부의 회전 과정 중 카메라의 회전각을 획득할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 단계 203 중 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각은 하기와 같은 방식에 따라 산출할 수 있다. 초기의 회전 행렬 R 및 평행이동 행렬 T를 결정하고, 다음 3차원 포인트 클라우드 프레임 X 중의 각각의 점 x i 에 대해, 현재의 회전 행렬 R 및 평행이동 행렬 T에 기반하여, 3차원 포인트 클라우드 프레임 Y에서 최근점 y i 를 찾아 매칭점으로 사용한다. 이후, 상기 평균 제곱 오차 e(X, Y)를 산출한다. 역방향 전파 방법을 이용하여 회전 행렬 R 및 평행이동 행렬 T를 반복하여 업데이트할 수 있으며, 평균 제곱 오차를 회전 행렬 R 및 평행이동 행렬 T 중에 역방향 전파하여, 현재의 회전 행렬 R 및 평행이동 행렬 T에 기반한 3차원 포인트 클라우드 프레임 Y에서 최근점 y i 를 찾아 매칭점으로 사용하고, 이후 평균 제곱 오차 e(X, Y)를 산출하는 단계를 여러 차례 수행하며, 평균 제곱 오차가 기설정된 임계값보다 작거나 반복 회수가 기설정된 회수에 도달한 후 반복을 정지함으로써, 추산된 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 얻는다. 이렇게, 회전 행렬 R 및 평행이동 행렬 T를 반복하여 업데이트하는 과정에서 매칭점을 찾아, 미리 결정한 매칭점이 정확하지 않아 회전 행렬 R 및 평행이동 행렬 T의 정밀도에 영향을 미치는 것을 피면할 수 있다.
기존의 각도 센서에 기반하여 공작 기계 설비 센서를 획득하는 방법에서, 각도 센서의 정밀도는 작업 환경 중의 먼지, 공작 기계 설비 진동의 영향을 쉽게 받는다. 본 발명의 상기 실시예의 공작 기계 설비의 회전 각도 결정 방법은, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하여, 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하고, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하며, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용함으로써, 공작 기계 설비 환경 먼지 및 기기 진동이 회전각 정밀 계산에 미치는 영향을 방지하고, 공작 기계 설비 회전각의 정밀한 계산을 실현할 수 있다.
계속하여 도 3을 참조하면, 본 발명에 따른 공작 기계 설비의 회전 각도 결정 방법의 다른 일 실시예의 예시적 흐름도를 도시한다. 도 3에 도시된 바와 같이, 본 실시예의 공작 기계 설비의 회전 각도 결정 방법의 흐름(300)은 하기와 같은 단계를 포함한다.
단계 301에서, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득한다.
본 실시예에서, 상기 공작 기계 설비의 회전 각도 결정 방법의 수행 주체는 공작 기계 설비의 회전부에 설치된 쌍안 카메라와 연결되어, 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득할 수 있다. 여기서, 공작 기계 설비는 원격 서버 또는 공작 기계 설비 내에 설치된 처리 부재에 의해 제어 동작을 수행하는 무인 자율 공작 기계 설비일 수 있다. 쌍안 카메라는 공작 기계 설비의 회전부에 설치되며, 회전부와 함께 회전할 수 있다. 회전 과정에서, 쌍안 카메라는 그 시야 범위 내의 깊이 이미지 시퀀스를 수집할 수 있으며, 수집된 깊이 이미지는 작업 상황 중 작업 대상의 깊이 이미지일 수 있다.
단계 302에서, 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환한다.
깊이 이미지 시퀀스 중의 각각의 프레임 깊이 이미지를 대응되는 3차원 포인트 클라우드 프레임으로 변환하여, 깊이 이미지 시퀀스에 대응되는 3차원 포인트 클라우드 시퀀스를 얻을 수 있다. 구체적으로, 깊이 이미지 중 각각의 픽셀 포인트을 카메라의 내부 파라미터에 따라 픽셀 포인트의 2차원 좌표 및 깊이 값을 3차원 공간의 3차원 좌표로 변환할 수 있다.
본 실시예의 단계 301 및 단계 302는 각각 전술한 실시예의 단계 201, 단계 202와 일치하며, 단계 301 및 단계 302의 구체적인 실시형태는 각각 전술한 단계 201, 단계 202의 설명을 참조할 수 있으므로, 여기서 더 이상 설명하지 않는다.
단계 303에서, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득한다.
본 실시예에서, 공작 기계 설비의 회전부의 회전축에는 각도 센서가 설치될 수 있다. 공작 기계 설비의 회전부는 상기 회전축을 둘러싸고 회전할 수 있다. 공작 기계 설비의 회전부가 회전할 때, 회전축에 설치된 각도 센서는 회전축의 회전 각도를 감지하여 회전각 감지 데이터를 생성할 수 있다.
여기서, 각도 센서는 일정한 빈도, 예를 들어, 100 Hz인 주파수로 데이터를 수집할 수 있으며, 획득된 회전각 감지 데이터는 회전 과정 중의 상이한 시각에서의 회전각 감지값에 의해 형성된 시퀀스일 수 있다.
본 실시예에서, 상기 단계 301 및 단계 302 및 단계 303의 수행 순서는 상호 교환할 수 있고, 단계 303은 단계 301 또는 단계 302와 동시에 수행될 수도 있다. 즉, 먼저 단계 301 및 단계 302를 수행한 다음 단계 303을 수행할 수도 있고; 또는 먼저 단계 303을 수행하여, 각도 센서에 의해 생성된 회전각 감지 데이터를 획득한 이후, 단계 301 및 단계 302를 수행하여 3차원 포인트 클라우드 시퀀스를 획득할 수도 있으며; 또는 동시에 단계 301 및 단계 303을 수행할 수도 있는바, 즉 동시에 회전각 감지 데이터 및 깊이 이미지 시퀀스를 획득할 수도 있다.
단계 304에서, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하여, 초기 추정 범위 내에서, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용한다.
본 실시예에서, 우선 3차원 포인트 클라우드 프레임 중 각 점의 공간 좌표, 및 각 점의 반사 강도 또는 색상 정보에 따라 상이한 3차원 포인트 클라우드 프레임 중의 점을 매칭하여 매칭점을 추출할 수 있다.
선택 가능하게, 하기와 같은 방식에 의해 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정할 수 있다. 즉 다양한 3차원 특징 추출 방법을 이용하여 3차원 포인트 클라우드에 대해 특징점 추출을 진행한 다음, 추출한 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭하여 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 얻을 수 있다. 특징점 매칭 시 양자의 상대 거리를 계산하여, 기설정된 거리 범위 내에 있는지 여부를 판단할 수 있으며, 양자의 색상 또는 반사 강도 정보를 비교할 수 있고, 또한 특징점과 동일한 3차원 포인트 클라우드 프레임 중 다른 특징점 사이의 상대 위치 관계를 고려하여 2개의 3차원 포인트 클라우드 프레임 사이 특징점을 매칭할 수 있다.
다음, 단계 303에서 획득한 회전각 감지 데이터에 기반하여 각 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위를 결정할 수 있다. 여기서, 3차원 포인트 클라우드 프레임에 대응되는 회전각은 카메라가 2개의 3차원 포인트 클라우드 프레임에 대응되는 두 폭의 이미지를 수집할 시 해당 시각에서의 각도 사이 차이값일 수 있다.
쌍안 카메라는 통상적으로 일정한 빈도로 이미지를 수집하며, 상기 빈도가 곧 수집된 깊이 이미지 시퀀스 중 인접한 두 폭의 이미지의 수집 시간 차이이다. 상기 각도 센서도 일정한 빈도로 회전각 감지 데이터를 생성한다. 쌍안 카메라의 이미지 수집 빈도 및 각도 센서의 각도 센싱 빈도에 따라, 각 깊이 이미지 프레임에 대응되는 회전각 감지 데이터를 결정하여, 대응되는 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터로 사용할 수 있다. 여기서, 쌍안 카메라가 첫 번째 깊이 이미지 프레임을 수집할 때의 회전각 감지 데이터를 0으로 설정할 수 있다. 또는 이미지 수집 및 각도 센서에 따라 각각 이미지 및 회전각 감지 데이터의 시간을 수집하여 2개의 이미지 프레임에 대응되는 회전각 감지 데이터의 차이값을 결정하여, 2개의 이미지 프레임에 의해 변환되어 얻은 2개의 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터로 사용할 수 있다.
본 실시예에서, 회전각 데이터 부근의 하나의 수치 범위를 회전각의 초기 추정 범위로 결정할 수 있으며, 예를 들어, 추정 범위의 구간 길이를 설정하여, 상기 구간 길이를 만족하고 상기 회전각 감지 데이터를 포함하는 구간을 선택하여 회전각의 초기 추정 범위로 사용할 수 있다. 선택 가능하게, 각도 센서의 오차를 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터에 더함으로써 대응되는 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위를 얻을 수 있다. 예를 들어, 회전각 감지 데이터는 A(여기서, A는 공간 3개의 좌표축의 회전각 성분을 나타내는 일 세트의 값일 수 있음)이고, 그 오차는 Δ이며, 초기 추정 범위는 [A-Δ, A+Δ]일 수 있다.
이후, 상기 초기 추정 범위 내에서, 단계 203에서 설명한 쌍안 카메라의 회전 각도 결정 방법을 이용하여 쌍안 카메라의 회전 각도를 추산한다. 예를 들어, 초기 추정 범위 내에서 임의로 일 세트의 회전각의 값을 선택하여, 회전 행렬 R의 초기값으로 사용하고, 대응되는 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 좌표에 기반하여 회전 행렬 R에 대해 반복 업데이트하여, 2개의 3차원 포인트 클라우드 프레임에 대응되는 회전각을 얻을 수 있다. 이후, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 상기 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 방법을 순차적으로 수행하여, 쌍안 카메라의 회전각의 추정값을 얻음으로써 공작 기계 설비의 회전부의 회전각으로 사용한다.
본 실시예의 공작 기계 설비의 회전 각도 결정 방법의 흐름(300)에 있어서, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하는 추가 단계에 의해, 회전각 감지 데이터를 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하여 회전각을 추정함으로써 회전각 추정 범위를 효과적으로 감소시키고, 회전각 추정 중의 반복 업데이트 회수를 감소시켜 회전각 추정의 속도를 향상시킬 수 있다.
상기 도 2 및 도 3을 참조하여 설명한 실시예의 일부 선택 가능한 실시형태에서, 하나의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지와 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지를 수집할 시의 깊이 카메라의 회전각 차이를 프레임 별로 산출할 수 있다. 구체적으로, 상기 단계 203 또는 단계 304에서의 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는, 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대해, 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계를 포함할 수 있다. 다시 말해서, 각각의 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 프레임 별로 결정할 수 있다.
이러한 경우, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 하기 방식에 따라 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용할 수 있다.
우선, 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대해, 현재 3차원 포인트 클라우드 프레임 및 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 현재 3차원 포인트 클라우드 프레임 및 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산한다.
구체적인 추산 방식은, 인접한 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이에서의 카메라 회전 파라미터 및 평행이동 파라미터를 표현하는 회전 행렬 R 및 평행이동 행렬 T를 초기화고, 단계 203에서 설명한 ICP 알고리즘으로 회전 행렬 R 및 평행이동 행렬 T를 반복 업데이트한다. 따라서, 각각의 인접한 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 얻을 수 있다.
이후, 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 쌍안 카메라가 깊이 이미지 시퀀스를 수집하는 과정 중의 제1 프레임 이미지와 마지막 프레임 이미지 사이의 상대 회전 각도를 얻어 공작 기계 설비의 회전 각도로 사용할 수 있다. 예를 들어, 깊이 이미지 시퀀스는 I1, I2, I3, ..., IN 총 N개의 이미지 프레임(N은 양의 정수임)을 포함하는 바, 여기서 I1, I2에 대응되는 포인트 클라우드는 C1, C2이고, 대응되는 회전각은 α1이며, I2, I3에 대응되는 포인트 클라우드는 C2, C3이고, 대응되는 회전각은 α2이며, I3, I4에 대응되는 포인트 클라우드는 C3, C4이고, 대응되는 회전각은 α3, ,,,, IN -1이며, IN에 대응되는 포인트 클라우드는 CN -1, CN이고, 대응되는 회전각은 α(N-1)임을 추산하며, 카메라가 I1과 IN 를 수집할 시 양자 사이의 상대 회전 각도는 α1+α2+α3+...+α(N-1)이다.
인접한 이미지 프레임 사이의 수집 시간 간격이 비교적 짧으므로, 카메라 회전 각도는 비교적 작고, 따라서 인접한 3차원 포인트 클라우드 프레임 중의 매칭점 개수는 비교적 많다. 프레임 별로 현재 3차원 포인트 클라우드 프레임에 대응되는 이미지 수집 시 그 사이의 회전각을 산출하고, 또한 산출한 인접한 프렘임에 대응되는 회전각을 순차적으로 누적하여 공작 기계 설비의 회전부의 회전 과정 중 카메라의 회전각을 얻음으로써, 인접한 두 프레임 사이의 대량 매칭점을 이용하여 인접한 두 프레임에 대응되는 회전각을 정확하게 산출할 수 있고, 공작 기계 설비의 회전부의 회전 과정 중 산출함으로써 얻은 카메라의 회전각의 정확성을 확보할 수 있다.
상기 도 2 및 도 3을 참조하여 설명한 실시예의 다른 일부 선택 가능한 실시형태에서, 우선 3차원 포인트 클라우드 시퀀스에 대해 다운 샘플링을 진행하고, 다운 샘플링을 거친 3차원 포인트 클라우드 시퀀스에 대해 처리 동작을 수행할 수 있다. 구체적으로, 상기 단계 203 또는 단계 304에서의 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여 샘플링 시퀀스를 얻는 단계; 및 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 구성된 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계를 포함할 수 있으며, 여기서 샘플링 시퀀스는 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임 및 마지막 3차원 포인트 클라우드 프레임을 포함한다. 구체적으로, 3차원 포인트 클라우드 시퀀스에 대해 샘플링하여 샘플링 시퀀스를 얻고, 샘플링 시퀀스 중의 각각의 2개의 인접한 3차원 포인트 클라우드 프레임에 대해, 3차원의 좌표, 및 색상 또는 깊이 정보에 기반하여 매칭점을 결정할 수 있다.
이러한 경우, 상기 단계 203 또는 단계 304에서, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용하는 단계는, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 회전각을 순차적으로 누적하여 상기 쌍안 카메라가 깊이 이미지 시퀀스를 수집하는 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 얻어 공작 기계 설비의 회전 각도로 사용하는 단계를 포함할 수 있다.
샘플링 시퀀스에서, 인접한 2개의 3차원 포인트 클라우드 프레임은 하나의 3차원 포인트 클라우드 프레임 쌍을 형성하며, 구체적으로, 제1 프레임과 제2 프레임이 하나의 3차원 포인트 클라우드 프레임 쌍을 형성하고, 제2 프레임과 제3 프레임이 하나의 3차원 포인트 클라우드 프레임 쌍을 형성하며, 제3 프레임과 제4 프레임이 하나의 3차원 포인트 클라우드 프레임 쌍을 형성하는 등과 같은 방식으로 유추할 수 있다. 각각의 3차원 포인트 클라우드 프레임 쌍에 대해, 상기 단계 203에서 설명한 방법을 이용하여 카메라가 3차원 포인트 클라우드 프레임 쌍을 수집하는 과정 중 2개의 이미지 프레임 사이에서의 상대 회전각을 산출할 수 있다. 다음, 각 3차원 포인트 클라우드 프레임 쌍에 대응되는 회전각을 순차적으로 누적하여 공작 기계 설비의 회전부의 회전각을 얻는다.
3차원 포인트 클라우드 프레임 시퀀스에 대해 샘플링하여 샘플링 시퀀스를 얻고, 샘플링 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 대응되는 회전각을 계산함으로써, 계산량을 효과적으로 감소시킬 수 있으며, 공작 기계 설비의 회전부 회전각의 추산 속도를 향상시킨다. 또한, 샘플링 시, 깊이 이미지 시퀀스 중의 첫 번째 이미지 프레임 및 마지막 이미지 프레임에 대응되는 3차원 포인트 클라우드 프레임을 샘플링 시퀀스 중에 보류시켜, 단계 203 및 단계 304에서 얻은 공작 기계 설비의 회전부의 회전각이 카메라가 이미지를 수집하기 시작한 시각부터 이미지 수집이 끝나는 시각까지 그 사이의 회전각이 될 수 있도록 확보함으로써, 공작 기계 설비의 회전부 회전각 계산 결과의 정확성을 확보한다.
나아가 도 4를 참조하면, 상기 각 도면에 도시된 방법의 구현으로서, 본 발명은 공작 기계 설비의 회전 각도 결정 장치의 일 실시예를 제공하며, 상기 장치 실시예는 도 2 및 도 3에 도시된 방법 실시예에 대응되고, 상기 장치는 구체적으로 다양한 전자 기기에 적용 가능하다.
도 4에 도시된 바와 같이, 본 실시예의 공작 기계 설비의 회전 각도 결정 장치(400)는 획득 유닛(401), 변환 유닛(402) 및 결정 유닛(403)을 포함한다. 여기서, 획득 유닛(401)은 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하도록 구성된다. 변환 유닛(402)은 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하도록 구성된다. 결정 유닛(403)은 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여, 공작 기계 설비의 회전 각도로 사용하도록 구성된다.
일부 실시예에서, 상기 공작 기계 설비의 회전 각도 결정 장치(400)는, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하도록 구성된 제2 획득 유닛을 더 포함할 수 있다. 이러한 경우, 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하고, 초기 추정 범위 내에서, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 쌍안 카메라의 회전 각도를 결정하는 단계에 따라, 쌍안 카메라의 회전 각도를 결정하도록 구성될 수 있다.
일부 실시예에서, 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계에 따라, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성될 수 있으며, 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 쌍안 카메라가 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용하도록 구성될 수 있다.
일부 실시예에서, 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여, 샘플링 시퀀스를 획득하는 단계 - 샘플링 시퀀스는 상기 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임과 마지막 3차원 포인트 클라우드 프레임을 포함함 - ; 및 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 이루어진 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계에 따라, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성될 수 있다. 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 쌍안 카메라가 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 쌍안 카메라의 회전 각도를 결정하여, 공작 기계 설비의 회전 각도로 사용하도록 구성될 수 있다.
일부 실시예에서, 상기 결정 유닛(403)은 또한, 3차원 포인트 클라우드에 대해 특징점을 추출하는 단계; 및 추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을매칭시켜, 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 획득하는 단계에 따라, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성될 수 있다.
공작 기계 설비의 회전 각도 결정 장치(400)에 기재된 각 유닛들은 도 2 및 도 3을 참조하여 설명된 방법 중의 각각의 단계와 서로 대응됨을 이해해야 한다. 따라서, 상술한 방법에서 설명한 동작 및 특징은 마찬가지로 공작 기계 설비의 회전 각도 결정 장치(400) 및 이에 포함되는 유닛에 적용되므로, 여기서 더이상 설명하지 않는다.
본 발명의 상기 실시예의 공작 기계 설비의 회전 각도 결정 장치(400)에 있어서, 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하여, 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하며, 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여 공작 기계 설비의 회전 각도로 사용함으로써 공작 기계 설비 회전각의 정확한 계산을 실현할 수 있다.
아래에 도 5를 참조하면, 본 발명의 실시예의 전자 기기(예를 들어, 도 1 중의 서버)(500)를 구현하기에 적합한 구조 개략도를 도시한다. 도 5에 도시된 서버는 단지 하나의 예시일 뿐, 본 발명의 실시예의 기능 및 사용 범위에 대해 어떠한 제한도 해서는 아니된다.
도 5에 도시된 바와 같이, 전자 기기(500)는 판독 전용 메모리(ROM; 502)에 저장된 프로그램 또는 저장 장치(508)로부터 랜덤 액세스 메모리(RAM; 503)로 로딩된 프로그램에 따라 다양하고 적당한 동작 및 처리를 수행할 수 있는 처리 장치(예를 들어, 중앙 처리 장치, 그래픽 처리 장치 등)(501)를 포함할 수 있다. RAM(503)에는 또한 전자 기기(500)의 동작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(505)도 또한 버스(504)에 연결된다.
일반적으로, 예를 들어 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로 등을 포함하는 입력 장치(506); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(507); 예를 들어 하드 디스크 등을 포함하는 저장 장치(508); 및 통신 장치(509)는 I/O 인터페이스(505)에 연결될 수 있다. 통신 장치(509)는 전자 기기(500)가 다른 기기와 데이터를 교환하도록 무선 또는 유선 통신을 진행하도록 할 수 있다. 비록 도 5에서 다양한 장치를 구비하는 전자 기기(500)를 도시하였지만, 도시된 모든 장치를 실시 또는 구비해야 되는 것이 아님을 이해해야 한다. 대안 가능하게 실시하거나 보다 많거나 보다 적은 장치를 구비할 수 있다. 도 5에 도시된 각각의 블록은 하나의 장치를 나타낼 수 있고, 요구에 따라 복수의 장치를 나타낼 수도 있다.
특히, 본 발명의 실시예에 따르면, 상기에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 발명의 실시예는 컴퓨터 판독 가능 매체에 적재된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 장치(509)를 통해 네트워크로부터 다운로드 및 설치될 수 있거나, 저장 장치(508)로부터 설치될 수 있거나, ROM(502)으로부터 설치될 수 있다. 상기 컴퓨터 프로그램이 처리 장치(501)에 의해 실행될 경우, 본 발명의 실시예의 방법에 한정된 상기 기능들을 수행한다. 본 발명의 실시예에 기재된 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 매체 또는 이 양자의 임의의 조합일 수 있음에 유의해야 한다. 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 이들의 임의의 조합일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예는 하나 또는 복수 개의 와이어를 갖는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적당한 조합을 포함할 수 있으나, 이에 한정되지는 않는다. 본 발명의 실시예에서, 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 유형 매체(tangible medium)일 수 있다. 본 발명의 실시예에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 적재한 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파된 데이터 신호는 전자기 신호, 광 신호, 또는 상기 임의의 적당한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 송신, 전파 또는 전송할 수 있는 컴퓨터 판독 가능 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전기선, 광 케이블, RF(무선 주파수) 등, 또는 상기의 임의의 적당한 조합을 포함하지만 이에 한정되지 않는 임의의 적당한 매체에 의해 전송될 수 있다.
상기 컴퓨터 판독 가능 매체는 상기 전자 기기에 포함될 수 있고, 상기 전자 기기에 장착되지 않고 단독으로 존재할 수도 있다. 상기 컴퓨터 판독 가능 매체에는 하나 또는 복수 개의 프로그램이 적재되고, 상기 하나 또는 복수 개의 프로그램이 상기 전자 기기에 의해 실행될 경우, 상기 전자 기기가 공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하는 단계; 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하는 단계; 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 쌍안 카메라의 회전 각도를 결정하여, 공작 기계 설비의 회전 각도로 사용하는 단계를 수행하도록 한다.
본 발명의 실시예의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 복수 개의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있으며, 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 오브젝트 지향 프로그래밍 언어와 “C” 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 하나의 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우, 원격 컴퓨터는 구내 정보 통신망(LAN) 또는 광역 통신망(WAN)을 포함한 임의의 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결됨).
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 복수 개의 실행 가능한 명령을 포함하는 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령을 조합하여 구현할 수도 있음에 유의해야 한다.
본 발명의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 설명된 유닛은 또한 프로세서, 예를 들어 획득 유닛, 변환 유닛 및 결정 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이러한 유닛의 명칭은 경우에 따라서 유닛 자체로 한정되지 않으며, 예를 들어, 획득 유닛은 “공작 기계 설비의 회전부의 회전 과정 중 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하는 유닛”으로 기술될 수도 있다.
상기 설명은 본 발명의 비교적 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명에 언급된 본 발명의 범위는 상기 기술특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않으면서 상기 기술특징 또는 그 균등한 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 개시된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims (12)

  1. 공작 기계 설비의 회전 각도 결정 방법으로서,
    공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하는 단계;
    상기 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하는 단계; 및
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하는 단계
    를 포함하는 공작 기계 설비의 회전 각도 결정 방법.
  2. 제1항에 있어서,
    공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하는 단계
    를 더 포함하며,
    상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 단계는,
    상기 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 상기 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하고, 상기 초기 추정 범위 내에서, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 단계
    를 포함하는 공작 기계 설비의 회전 각도 결정 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는,
    상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계
    를 포함하고,
    상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계는,
    상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 현재 3차원 포인트 클라우드 프레임 및 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및
    상기 깊이 이미지 시퀀스에서의 대응되는 깊이 이미지의 위치에 따라, 상기 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계
    를 포함하는 공작 기계 설비의 회전 각도 결정 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는,
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여, 상기 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임과 마지막 3차원 포인트 클라우드 프레임을 포함하는 샘플링 시퀀스를 획득하는 단계; 및
    상기 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 이루어진 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계
    를 포함하고,
    상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하는 단계는,
    상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및
    상기 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계
    를 포함하는 공작 기계 설비의 회전 각도 결정 방법.
  5. 제1항에 있어서,
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계는,
    상기 3차원 포인트 클라우드 프레임에 대해 특징점을 추출하는 단계; 및
    추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭시켜, 상기 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 획득하는 단계
    를 포함하는 공작 기계 설비의 회전 각도 결정 방법.
  6. 공작 기계 설비의 회전 각도 결정 장치로서,
    공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부에 설치된 쌍안 카메라에 의해 수집된 깊이 이미지 시퀀스를 획득하도록 구성된 제1 획득 유닛;
    상기 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 변환하도록 구성된 변환 유닛; 및
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하고, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하도록 구성된 결정 유닛
    을 포함하는 공작 기계 설비의 회전 각도 결정 장치.
  7. 제6항에 있어서,
    공작 기계 설비의 회전부의 회전 과정 중 상기 공작 기계 설비의 회전부의 회전축에 설치된 각도 센서에 의해 수집된 회전각 감지 데이터를 획득하도록 구성된 제2 획득 유닛
    을 더 포함하며,
    상기 결정 유닛은 또한,
    상기 3차원 포인트 클라우드 프레임에 대응되는 회전각 감지 데이터를 상기 3차원 포인트 클라우드 프레임에 대응되는 회전각의 초기 추정 범위로 사용하고, 상기 초기 추정 범위 내에서, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하는 방식으로, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하도록 구성되는 공작 기계 설비의 회전 각도 결정 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 결정 유닛은 또한,
    상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 방식으로, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성되며,
    상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여,
    상기 3차원 포인트 클라우드 시퀀스 중의 각각의 현재 3차원 포인트 클라우드 프레임에 대하여, 상기 현재 3차원 포인트 클라우드 프레임과 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에서의, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 현재 3차원 포인트 클라우드 프레임과 상기 현재 3차원 포인트 클라우드 프레임의 바로 전 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하고;
    상기 깊이 이미지 시퀀스에서의 대응되는 깊이 이미지의 위치에 따라, 상기 3차원 포인트 클라우드 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여 상기 공작 기계 설비의 회전 각도로 사용하도록 구성되는 공작 기계 설비의 회전 각도 결정 장치.
  9. 제6항 또는 제7항에 있어서,
    상기 결정 유닛은 또한,
    상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임에 대해 샘플링하여, 상기 3차원 포인트 클라우드 시퀀스 중의 첫 번째 3차원 포인트 클라우드 프레임과 마지막 3차원 포인트 클라우드 프레임을 포함하는 샘플링 시퀀스를 획득하는 단계; 및
    상기 샘플링 시퀀스 중 각 인접한 3차원 포인트 클라우드 프레임으로 이루어진 각 3차원 포인트 클라우드 프레임 쌍에 대해, 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하는 단계에 따라, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성되며,
    상기 결정 유닛은 또한, 상기 3차원 포인트 클라우드 프레임 사이의 매칭점에 기반하여,
    상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점의 3차원 좌표에 기반하여, 상기 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 추산하는 단계; 및
    상기 깊이 이미지 시퀀스 중 대응되는 깊이 이미지의 위치에 따라, 각 3차원 포인트 클라우드 프레임 쌍 중의 2개의 3차원 포인트 클라우드 프레임에 대응되는 깊이 이미지 프레임 사이의 회전각을 순차적으로 누적하여, 상기 쌍안 카메라가 상기 깊이 이미지 시퀀스 수집 과정 중 제1 프레임 이미지와 마지막 프레임 이미지 사이에서의 상대 회전 각도를 획득하여 상기 공작 기계 설비의 회전 각도로 사용하는 단계에 따라, 공작 기계 설비의 회전부의 회전 과정 중 상기 쌍안 카메라의 회전 각도를 결정하여, 상기 공작 기계 설비의 회전 각도로 사용하도록 구성되는 공작 기계 설비의 회전 각도 결정 장치.
  10. 제6항에 있어서,
    상기 결정 유닛은 또한,
    상기 3차원 포인트 클라우드 프레임에 대해 특징점을 추출하는 단계; 및
    추출된 2개의 3차원 포인트 클라우드 프레임의 특징점을 매칭시켜, 상기 2개의 3차원 포인트 클라우드 프레임 사이의 매칭점을 획득하는 단계에 따라, 상기 3차원 포인트 클라우드 시퀀스 중의 3차원 포인트 클라우드 프레임 사이의 매칭점을 결정하도록 구성되는 공작 기계 설비의 회전 각도 결정 장치.
  11. 전자 기기로서,
    하나 또는 복수 개의 프로세서; 및
    하나 또는 복수 개의 프로그램이 저장된 저장 장치를 포함하고,
    상기 하나 또는 복수 개의 프로그램이 상기 하나 또는 복수 개의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수 개의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 공작 기계 설비의 회전 각도 결정 방법을 구현하도록 하는 전자 기기.
  12. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제5항 중 어느 한 항에 따른 공작 기계 설비의 회전 각도 결정 방법을 구현하는 컴퓨터 판독 가능 매체.

KR1020190140942A 2019-02-28 2019-11-06 공작 기계 설비의 회전 각도 결정 방법 및 장치 KR102315535B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910152372.9 2019-02-28
CN201910152372.9A CN109903326B (zh) 2019-02-28 2019-02-28 用于确定工程机械设备的旋转角度的方法和装置

Publications (2)

Publication Number Publication Date
KR20200105381A true KR20200105381A (ko) 2020-09-07
KR102315535B1 KR102315535B1 (ko) 2021-10-20

Family

ID=66945786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190140942A KR102315535B1 (ko) 2019-02-28 2019-11-06 공작 기계 설비의 회전 각도 결정 방법 및 장치

Country Status (4)

Country Link
US (1) US11182928B2 (ko)
JP (1) JP6906587B2 (ko)
KR (1) KR102315535B1 (ko)
CN (1) CN109903326B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
CN110812710B (zh) * 2019-10-22 2021-08-13 苏州雷泰智能科技有限公司 加速器机架旋转角度测量系统、方法及放射治疗设备
CN110928301B (zh) * 2019-11-19 2023-06-30 北京小米智能科技有限公司 一种检测微小障碍的方法、装置及介质
CN111627071B (zh) * 2020-04-30 2023-10-17 如你所视(北京)科技有限公司 一种测量电机旋转精度的方法、装置和存储介质
US10861175B1 (en) * 2020-05-29 2020-12-08 Illuscio, Inc. Systems and methods for automatic detection and quantification of point cloud variance
CN113610921B (zh) * 2021-08-06 2023-12-15 沈阳风驰软件股份有限公司 混合工件抓取方法、设备及计算机可读存储介质
CN114782438B (zh) * 2022-06-20 2022-09-16 深圳市信润富联数字科技有限公司 物体点云修正方法、装置、电子设备和存储介质
CN115876098B (zh) * 2022-12-12 2023-10-24 苏州思卡信息系统有限公司 一种多线束激光雷达的车辆尺寸测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020251A (ko) * 2007-08-23 2009-02-26 전자부품연구원 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
KR20140012771A (ko) * 2011-07-08 2014-02-03 레스토레이션 로보틱스, 인코포레이티드 카메라 시스템 좌표계의 측정 및 변환
KR20150006958A (ko) * 2013-07-09 2015-01-20 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006048725A1 (de) * 2006-10-16 2008-04-17 Robert Bosch Gmbh Verfahren zum Ermitteln der Drehachse eines Fahrzeugrades
WO2011155749A2 (ko) 2010-06-07 2011-12-15 연세대학교 산학협력단 타워크레인 네비게이션 시스템
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
DE102011055795A1 (de) 2011-11-29 2013-05-29 Continental Automotive Gmbh Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
US9665793B2 (en) * 2013-03-15 2017-05-30 Hunter Engineering Company Method for determining parameters of a rotating object within a projected pattern
CN105045263B (zh) * 2015-07-06 2016-05-18 杭州南江机器人股份有限公司 一种基于Kinect深度相机的机器人自定位方法
US9727775B2 (en) * 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
JPWO2017154705A1 (ja) * 2016-03-09 2018-12-27 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
CN107220995B (zh) * 2017-04-21 2020-01-03 西安交通大学 一种基于orb图像特征的icp快速点云配准算法的改进方法
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN108335353B (zh) * 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
CN109242960A (zh) * 2018-09-15 2019-01-18 武汉智觉空间信息技术有限公司 采用双Kinect和旋转平台的人体实时建模系统及其建模方法
WO2021026831A1 (zh) * 2019-08-14 2021-02-18 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020251A (ko) * 2007-08-23 2009-02-26 전자부품연구원 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법
KR20140012771A (ko) * 2011-07-08 2014-02-03 레스토레이션 로보틱스, 인코포레이티드 카메라 시스템 좌표계의 측정 및 변환
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
KR20150006958A (ko) * 2013-07-09 2015-01-20 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法

Also Published As

Publication number Publication date
JP2020140697A (ja) 2020-09-03
CN109903326B (zh) 2022-02-22
US20200279402A1 (en) 2020-09-03
US11182928B2 (en) 2021-11-23
JP6906587B2 (ja) 2021-07-21
KR102315535B1 (ko) 2021-10-20
CN109903326A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
KR20200105381A (ko) 공작 기계 설비의 회전 각도 결정 방법 및 장치
US11004235B2 (en) Method and apparatus for determining position and orientation of bucket of excavator
JP7137548B2 (ja) 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
CN111612760B (zh) 用于检测障碍物的方法和装置
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
CN112880687B (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN116349222B (zh) 利用集成图像帧渲染基于深度的三维模型
KR20190114696A (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR20230008000A (ko) 차선 및 특징 포인트에 기초한 위치확정방법 및 장치, 전자장비, 저장매체, 컴퓨터 프로그램 및 자율주행차량
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR20210076668A (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
CN115272452A (zh) 一种目标检测定位方法、装置、无人机及存储介质
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2023206780A1 (zh) 一种三维重建效果检测方法、装置、设备及存储介质
CN113920174A (zh) 点云配准方法、装置、设备、介质和自动驾驶车辆
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
KR100782152B1 (ko) 3차원 수치지도를 제작하기 위하여 항공사진 ｄｂ로부터건물의 3차원 데이터를 획득하는 방법
CN110823225A (zh) 室内动态情景下的定位方法和装置
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
CN114390270B (zh) 实时智能站点全景查勘方法、装置和电子设备
EP4083336B1 (en) Method and apparatus for detecting operating terrain, and engineering equipment for detecting operating terrain
KR102481537B1 (ko) 영상 데이터와 지형 고도 데이터를 이용하여 이동체의 방위각 및 자세를 추정하는 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant