KR101549103B1 - 검출 장치, 검출 방법 및 머니퓰레이터 - Google Patents

검출 장치, 검출 방법 및 머니퓰레이터 Download PDF

Info

Publication number
KR101549103B1
KR101549103B1 KR1020140183158A KR20140183158A KR101549103B1 KR 101549103 B1 KR101549103 B1 KR 101549103B1 KR 1020140183158 A KR1020140183158 A KR 1020140183158A KR 20140183158 A KR20140183158 A KR 20140183158A KR 101549103 B1 KR101549103 B1 KR 101549103B1
Authority
KR
South Korea
Prior art keywords
light beam
image
beam irradiation
plane
point
Prior art date
Application number
KR1020140183158A
Other languages
English (en)
Inventor
미츠아키 나카하타
히로시 나카하타
Original Assignee
키카이 셋케이 나카하타 카부시키카이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 키카이 셋케이 나카하타 카부시키카이샤 filed Critical 키카이 셋케이 나카하타 카부시키카이샤
Application granted granted Critical
Publication of KR101549103B1 publication Critical patent/KR101549103B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

검출 장치는 머니퓰레이터, 영상 유닛, 광 비임 조사 유닛 및 컴퓨팅 유닛을 포함한다. 영상 유닛 및 광 비임 조사 유닛은 머니퓰레이터에 제공된다. 검출 장치는 영상 유닛의 광축을 포함하는 수평 영상 평면과 영상 유닛의 광축을 포함하는 수직 영상 평면을 포함하며, 1) 수평 영상 평면상의 광 비임 조사 유닛으로 부터의 광 비임을 투사하고, 2) 영상 유닛의 광축과 교차 각도을 각각 형성하도록 수직 영상 평면상의 광 비임 조사 유닛으로 부터 광 비임을 투사한다.

Description

검출 장치, 검출 방법 및 머니퓰레이터{Detection apparatus, Detection method and manipulator}
본 발명은 검출 장치 및 상기 검출 장치를 포함하는 머니퓰레이터의 작동을 실시간으로 제어하는 방법에 관한 것으로, 더욱 상세하게는 상기 검출 장치는 로봇 등의 머니퓰레이터에 장착된 단일 광 비임 조사 장치 및 일안렌즈 영상 카메라를 포함하고, 카메라에 의해 촬영된 대상물의 3차원 위치를 검출한다.
최근 비디오 카메라 등에 의해 촬영된 영상을 로봇의 작업을 위해 사용하는 것이 인기를 얻고 있다. 촬영된 영상의 사용을 통해, 작업 대상물을 식별하거나 위치 및 자세를 확인하여 로봇의 작동을 제어한다.
하지만, 일반적으로 복안렌즈 카메라를 사용하여 대상물의 3차원 위치를 얻고 있다. 카메라는 로봇 핸드에도 장착되지만, 대부분은 로봇의 외부, 로봇의 본체 또는 로봇의 헤드에 장착된다.
일안렌즈 카메라에 의해 촬영된 영상은 가상의 3차원 영상으로 만들어질 수 있다. 이는 영상에 깊이를 주도록 배경 프레임을 선택하거나 고정하여 실현된다. 또한 카메라로부터 대상물이 있는 평면까지의 거리가 멀수록 잘 알 수 있고, 심지어 전면으로 부터의 영상도 3차원 영상으로 만들어 질 수 있다. 이러한 영상을 처리함에 의해, 빠른 픽킹(picking)과 같은 작업이 실행된다.
산업용 로봇은 생산성의 향상을 추구하는 것으로, 결국 작업 속도를 향상하거나 작업를 정확하게 반복하게 된다. 로봇이 작업하기 위해서, 고정된 방법으로 작업 대상물을 인도하고 인수하는 것이 필요하다. 하지만, 비용의 증가로 인하여, 대상물의 위치 및 자세를 로봇에 인도하도록 기계적으로 준비하는 것은 곤란한 경우가 있다. 이 경우, 촬영된 영상의 사용을 통해 얻어지는 대상물의 위치 및 자세와 같은 정보에 의해 문제를 해결할 수 있다.
비디오 카메라에 의해 촬영된 영상은 연속적인 영상이다. 하지만, 상술한 바와 같은 종래의 로봇의 작업 제어는 하나의 연속적인 영상을 세그먼팅(segmenting)하여 실행하였다. 이는 연속 영상의 특징인 일시적 변화를 유효 적절히 사용하지 못하는 것이다.
연속적인 영상의 일시적 변화는 로봇 작업의 질에 관한 것으로, 작업 대상물의 픽업 오류를 검출하거나 작업 완료의 모니터링을 포함한다. 산업용 로봇은 장차 이러한 문제들을 해결해야만 한다.
그런데 복안렌즈 카메라가 사용되는 경우 2차원 촬영 영상으로 부터 3차원 정보를 얻기 위해서는 복잡한 절차가 요구되고, 현저한 분석 시간(약 0.4초)이 소요된다. 이는 하나의 연속 영상이 사용되기 때문이다. 하지만, 일안렌즈 카메라를 사용한다 하더라도, 3차원 정보는 영상 프레임(카메라)을 고정하고 카메라로 부터 대상물 촬상 평면까지의 거리를 인식함에 의해 얻어진다.
복안렌즈 카메라가 사용되면, 비록 처리에 시간이 걸리지만, 영상 프레임에 유연성이 있게 된다. 한편, 일안레즈 카메라가 사용되면 처리에 시간이 덜 걸리지만, 영상 프레임이 고정된다. 이는 대상물 촬상 평면까지의 거리를 검출하는 시간에 관련되는 문제이다.
일본국 공개특허 제2011-257267호에는 대상물 촬상 평면으로 부터 카메라의 촛점까지의 거리와 대상물 촬상 평면의 방향을 실시간으로 검출하는 방법을 개시하고 있다. 거리 및 방향은 손으로 잡은 일안렌즈 카메라와 3개의 광 비임의 사용을 통해 검출된다. 하지만, 장치의 배열을 검출하고, 그 배열을 조절하여 수학식으로 적용하는 것이 곤란하였고, 또한 작업 대상물의 검출과 수작업에 의한 작동 제어는 앞으로 해소해야 할 문제였다.
본 발명은 이러한 문제를 해소하고자 안출된 것으로 그 목적은 카메라에 의해 촬영된 대상물의 3차원 위치를 검출할 수 있는 검출 장치 및 상기 검출 장치를 구성하는 머니퓰레이터의 작동을 실시간으로 제어하는 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 영상 유닛에 연결되는 검출 장치로서, 상기 영상 유닛은 광 비임 조사 유닛을 가지는 머니퓰레이터에 제공되고, 수평 영상 평면은 상기 영상 유닛의 광축과 상기 영상 유닛의 영상 평면에 구획된 수평 x 축의 양측을 포함하는 평면으로서 정의되고, 수직 평면은 광축과 상기 영상 평면에 구획된 수직 y 축의 양측을 포함하는 평면으로서 정의되며, 1) 상기 수평 영상 평면에서 상기 광 비임 조사 유닛으로 부터 광 비임을 투사하고, 2) 상기 수직 영상 평면에서 상기 영상 유닛의 광축과 교차 각도를 각각 형성하도록 상기 광 비임 조사 유닛으로 부터의 광 비임을 투사하며, 대상물 촬상 평면의 영상 평면상의 광 비임 조사점의 위치를 영상 유닛에 의해 촬영되어 대상물상에 구획된 대상물 촬상 평면상의 광 비임 조사점의 영상으로 부터 얻음에 의해 광 비임 조사 방향에 직교하는 대상물 촬상 평면과 광 비임 조사 유닛과의 사이의 거리 L를 컴퓨팅하는 컴퓨팅 유닛을 포함하되, 상기 컴퓨팅 유닛은 영상 평면상의 광 비임 조사점의 얻어진 위치에 대해 대응하는 거리 L을 얻으며, 3) 영상 평면상의 광 비임 조사점들의 위치(xi, yi) (i=0, 1, 2, .. N); 및 4) 영상 평면상의 광 비임 조사점들의 각각의 위치(xi, yi)에 대해 광 비임 조사 유닛과 대상물 촬상 평면과의 사이의 실제 측정된 거리값 Li에 의거, 이미 형성된 관계식을 참고하며, 상기 컴퓨팅 유닛은 얻어진 대응 거리 L에 의거 촬영된 대상물의 3차원 위치를 검출한다.
본 발명의 다른 측면에 따르면, 대상물 촬상 평면 또는 기준 대상물 촬상 평면상에 투사된 작업 대상물을 구획하는 방법으로서, 대상물을 포함하는 촬영된 영상의 직사각형 영역 내의 휘도차에 의해 추출된 소자로 재구성하고; 제 1 프로파일 데이터가 각도 및 크기 또는 반경을 가지는 형상 데이터로서, 동일 각도로 소자 그룹의 주변을 나눔에 의해 제 1 프로파일 데이터를 구획하고; 이하 실시예에서와 같이 sumrθj = ∑(xai2+yai2) (i = 1 ~ Nθj, θ=j), 휘도차 소자의 도심으로 부터 반경 제곱의 합을 계산하고, 이하 실시예에서와 같이 rθpj = √(sumrθj)/∑√(sumrθj), 소자의 반경 제곱의 합의 제곱근을 나누는 것을 이용하고; 및 광 비임 조사점에 촬영되면 장치 장착 베이스 평면으로 부터의 거리, 휘도 차이의 트레숄드, 휘도차 소자 그룹의 종방향 및 측면 크기, 도심의 위치, 및 휘도차 소자의 수에 의거 프로파일을 정의한다.
본 발명의 또 다른 측면에 따르면, 촬영 영상내 작업 대상물을 검출하는 방법으로서, 장치 장착 베이스 평면으로부터 본 발명에 개시된 검출 유닛을 이용하여 광 비임 조사점까지의 거리를 계산하고, 거리에 의거 등록된 대상물의 프로파일들 중에서 가장 가까운 거리의 프로파일 및 제 1 프로파일 데이터를 선택하고, 등록된 프로파일의 종방향 및 측면 크기의 거리 내삽과 외삽을 실행함에 의해 서치 유닛의 크기를 결정하고, 전체 영상 스크린상에 배치된 서치 유닛에 발생된 제 1 프로파일 데이터 중에서 선택된 바와 같은 등록된 제 1 프로파일 데이터와의 절대 차이의 최소 총합을 가지는 서치 유닛을 선택하고, 서치 유닛의 휘도 차이 소자 그룹의 도심으로서 대상물의 중심을 구획함에 의해 영상 평면상의 점이 특정되어, 시발점으로서의 광 비임 조사점이 머니퓰레이터의 작동 방향에 의해 구획된 바와 같은 대상물 촬상 평면상의 방향 성분과 본 발명에 개시된 검출 장치를 이용하는 광 비임 조사 방향 성분에 의거 결정된다.
본 발명의 또 다른 관점에 따르면, 로봇 컨트롤러에 의해 머니퓰레이터를 실시간으로 작동하는 작동 제어 방법으로서, 청구항 1, 2, 3에 따른 검출 장치는 머니퓰레이터의 단부에 제공되며, 컴퓨팅 장치 및 로봇 컨트롤러는 LAN에 의해 접속되며, 통신을 통해 로봇 컨트롤러로 부터 컴퓨팅 장치까지의 작업 대상물을 설정하고 서치하는 지시를 출력하고, 컴퓨팅 장치에 의해, 청구항 6에 개시된 방법에 따라 촬영된 영상으로 부터 작업 대상물의 위치를 검출하도록 작업 대상물의 프로파일과 등록된 제 1 프로파일 데이터를 선택하고, 컴퓨팅 장치에 의해, 장치로 부터 작업 대상물까지의 거리, 대상물 촬상 평면상의 위치 및 로봇 컨트롤러에의 대상물의 방향을 리턴한다.
본 발명의 또 다른 측면에 따르면, 촬영 영상내 대상물과 등록된 대상물 사이의 차이를 검출하는 방법으로서, 촬영 영상에 의해 발생된 영역 고정 프로파일 데이터와 작업 대상물의 등록된 프로파일 데이터를 발생하는데 사용된 휘도 차이 소자를 추출하는 직사각형 영역을 고정함에 의해 실현되는 직사각형 영역내 변화를 디지털화하도록 등록된 바와 같은 영역 고정 프로파일 데이터와의 절대 차이의 총합을 계산하고, 촬영 영상으로 부터 추출된 휘도 차이 소자의 도심으로서 등록된 프로파일의 도심을 고정하고, 작업 전반, 작업 중반, 작업 후반의 작업 질 조건 및 작업 실패의 존재 또는 부존재를 포함하는 작업 질의 허여 여부를 결정하는데 관련된 사항을 검출한다.
본 발명의 또 다른 측면에 따르면, 영역 고정 프로파일 데이터와의 절대 차이의 총합이 직사각형 영역내 대상물의 변화량을 표시하는 작업 제어 방법으로서, 대상물의 위치 변화량으로서 대상물의 변화량을 정의함에 의해 엔드 이펙터의 구동력을 제어하도록 위치를 검출하고, 동력을 제어함에 의해 로봇 컨트롤러에 의한 작업을 실행한다.
본 발명의 추가의 특징들은 첨부한 도면을 참조하는 실시예들의 다음 설명으로 부터 명확하게 이해될 수 있다.
본 발명의 실시예에 따르면, 검출 장치를 포함하는 로봇 등의 머니퓰레이터에 장착된 단일 광 비임 조사 장치 및 일안렌즈 영상 카메라를 포함하여, 카메라에 의해 촬영된 대상물의 3차원 위치를 검출할 수 있고, 머니퓰레이터의 작동을 실시간으로 제어할 수 있다.
도 1은 대상물의 3차원 위치를 검출하는 3차원 위치 검출 장치의 구성을 나타내는 광학 시스템의 전면 투시 구성도이다.
도 2는 가상 영상 평면상에 촬상된 광 비임 조사점의 위치와 검출 장치 장착 기준 표면으로 부터 광 비임 조사점까지의 거리를 기하학적으로 설명하는 다이어그램이다.
도 3a는 식을 설명하기 위해 영상 평면, 가상 영상 평면 및 광 비임 조사점의 기하 구성을 나타내는 다이어그램이다.
도 3b 및 도 3c는 축적과 ΔLi에 관한 각도 α 및 각도 β를 예시하는 다이어그램이다.
도 3d는 축적과 ΔLi에 관한 각도 α 및 각도 β 사이의 관계 각도 fβ를 예시하는 다이어그램이다.
도 4는 기준 촬상 평면상의 대상물의 도심의 위치가 광 비임의 직교 표면으로 투사됨에 의한 수학적 처리를 기하학적으로 나타내는 다이어그램이다.
도 5는 본 발명에 따른 영상 처리를 사용하는 촬영 영상으로 부터 발생된 작업 대상물의 프로파일 데이터의 예를 나타내는 다이어그램이다.
도 6은 등록 프로파일의 거리, 소자 폭 및 높이를 나타내는 도면이다.
도 7은 등록 프로파일 데이터와 거리사이의 관계를 나타내는 도면이다.
도 8은 영상 스크린을 블록별로 구획하고 모든 대상물 서치 유닛을 위한 대상물을 서치함에 의해 가속 작동이 달성되는 것을 설명하는 다이어그램이다.
도 9는 본 발명의 원리로서, 광 비임 조사 장치의 횡단면 구조의 일 예를 나타내는 사시도이다.
도 10은 본 발명의 검출 장치가 이동형 아암 로봇의 아암의 단부에 구성된 본 발명의 일 실시예에 따른 작업 로봇의 사시도이다.
도 11은 아암 로봇부와 검출 장치가 부착된 본 발명의 일 실시예에 따른 작업 로봇의 사시도이다.
이하에서 본 발명의 실시예를 개시한다.
설명에 있어서, 일안렌즈 카메라는 머니퓰레이터에 장착되고 카메라의 광축과 각도를 이루는 광 비임이 사용된다. 조사점으로 부터 장치 장착 베이스 평면까지의 거리는 영상 평면의 광 비임 조사점의 위치에 의거 계산된다.
광 비임 조사점의 영상 평면의 좌표 및 장치 베이스 평면으로부터 광 비임 조사점 그룹까지의 거리는 이미 측정되어 있다. 가상 영상 평면상의 광 비임 조사점 그룹을 연결하는 직선은 광 비임으로서 가상 영상 표면에서 취하였고, 가상 영상 공간은 사각뿔 모양이다.
광 비임 조사점과 조사 방향이 확인되면, 광 비임 조사점을 포함하고 광 비임에 직교하는 대상물 촬상 평면을 나타내는 식을 발생한다. 대상물 촬상 평면에 투사된 영상점의 위치는 식을 계산하여 얻어진다.
광 비임 조사점은 영상 평면상에서 일직선상의 영상점으로, 장치 장착 베이스 평면까지의 거리에 관한 것이다. 광 비임 조사점을 용이하게 검출한다. 근사식의 사용을 통해, 고속으로 거리가 계산될 수 있어 실시간으로 영상 처리를 실현한다.
작업 대상물은 프로파일 데이터로 만들어지며, 이는 촬영된 영상의 휘도차에 의해 특징되는 휘도차 소자를 추출하고, 휘도차 소자에 의해 프로파일을 구획하고, 소자 그룹의 도심 주변을 동일 각도로 나누고, 모든 각도 영역(∑sumrθj)의 합으로 나누어진 각도 영역(sumrθj)내 소자의 반경 제곱의 합의 제곱근을 통합한다.
프로파일 데이터는 원래의 영상 데이터를 압축하여 형성된다. 프로파일 데이터는 실시간 처리를 용이하게 실행할 수 있다. 또한 휘도차를 이용함에 의해, 프로파일 데이터는 환경의 조도에 쉽게 영향을 받지 않는다. 광 비임 조사점의 휘도차를 얻기위해서, 환경의 조도가 낮은 것이 바람직할 수 있다. 작업 대상물은 다음과 같이 서치된다.
첫째, 서치 유닛은 전체 영상 영상를 구획한 후, 구획된 촬영 영상를 재결합하여 형성한다. 그래서, 프로파일 데이터가 만들어진다. 프로파일 데이터는 서치해야할 작업 대상물의 프로파일 데이터에 비해 미리 만들어져서 등록된다. 모든 서치 유닛 중에서 허용값 이내이고 최소의 차이를 가지는 프로파일 데이터가 선택된다. 이상과 같이 서치된 작업 대상물의 위치는 서치 유닛의 프로파일 중심에 있도록 설정된다.
작업 대상물의 방향(회전)은 등록된 작업 대상물의 프로파일 데이터를 이동한 후 등록된 작업 대상물의 프로파일 데이터를 작업 대상물과 비교하여 얻어진 절대 각도의 최소 차이를 가지는 각도로 구획된다. 나누어진 각도의 크기가 계산 속도와 반비례하기 때문에 실시간 처리가 선행하고 있다면 그 정확성이 제한된다.
서치된 바와 같은 작업 대상물의 프로파일의 중심(도심)과 영상 평면상의 영상점의 위치를 일치시킴에 의해, 광 비임 조사점으로 부터의 평면 위치가 계산되ㅁ면, 작업 대상물의 3차원 위치가 얻어진다.
일 실시예에 따르면, 머니퓰레이터는 일안렌즈 카메라와 같은 카메라 및 머니퓰레이터에 장착된 광 비임 조사장치를 포함한다. 컴퓨팅 장치는 컴퓨팅 처리, 즉 작업 대상물의 프로파일 데이터를 만들고, 매니지먼트를 포함하는 작업 대상물을 서치하고, 3 차원 위치를 계산함에 의해 얻어진 영상 또는 결과를 디스플레이할수 있다.
장치를 구성하는 머니퓰레이터의 작동은 로봇 컨트롤러에 의해 실행될 수 있다. 로봇 컨트롤러는 어떤 접속 방식을 통하더라도, 즉 LAN 접속, 무선 통신 등을 통해서라도 검출 장치의 컴퓨팅 장치와 상호 통신할 수 있다. 일 실시예에 있어서, 로봇 컨트롤러가 마스터로서 작동할 수 있고, 검출 장치의 컴퓨팅 장치가 종속하여 작동할 수 있다.
작업 대상물은 로봇 컨트롤러에 의해 설정된다. 그러면, 서치 지시가 통신을 통해 현재의 검출 장치의 컴퓨팅 장치에 주어진다. 지시를 받은 컴퓨팅 장치는 촬영 영상를 분석한 후, 광 비임 조사점으로 부터 장치 장착 베이스 평면까지의 거리, 광 비임 조사점을 시발점으로 가지는 작업 대상물 중심의 평면 위치, 및 로봇 컨트롤러에 대한 대상물의 방향을 리턴한다.
로봇 컨트롤러는 리턴된 바와 같은 작업 대상물의 3차원 위치 관계 및 머니퓰레이터의 작동을 제어하기 위해 엔드 이펙터 등의 작용점을 계산한다.
작업 대상물의 3차원 위치는 실시간, 약 100 msec 으로 업데이트될 수 있다. 이는 로봇 컨트롤러가 상태를 뒤로 돌리면서 머니퓰레이터를 작동할 수 있다. 본 장치의 영상 카메라는 이동 머니퓰레이터에 장착된다. 분석에 적용할 수 있는 영상를 얻기 위해서는 선명한 영상이 얻어지는 속도 또는 고정된 상태에서 영상을 취해야 한다.
로봇이 작업을 실행하는 동안에, 때에 따라 작업 대상물에 저속으로 접근하는 기회로 이용될 수 있다. 이와 달리 이러한 접근 기회를 영상을 취하고자 의도적으로 만들수도 있다.
본 발명은 일안렌즈 카메라에 의해 촬영된 2차원 영상을 3차원 영상으로 변환한다. 이는 광 비임 조사를 추가하여 실현된다. 이에 작업 대상물의 영상은 프로파일 데이터로 압축된다. 결과적으로, 3차원 영상을 실시간으로 저렴하고 간단하게 분석하는 시스템이 제공된다.
산업용 로봇의 종래의 영상 분석 시스템은 영상 카메라를 외부 또는 로봇의 메인 본체에 장착하여 완전히 고정하거나 카메라를 로봇 헤드에 회전하도록 장착하여 반고정하여 사용된다. 하지만, 본 발명의 영상 카메라는 신규의 검출 장치로서, 영상 카메라가 이동 머니퓰레이터에 장착되어, 작업 대상물에 대한 거리, 위치 또는 방향(회전)이 실시간으로 검출될 수 있다.
본 발명의 검출 장치를 로봇의 작동에 적용함에 의해, 새로운 작업 형태의 로봇이 제공될 수 있으며, 머니퓰레이터와 작업 대상물의 상대적 거리(또는 위치)가 측정되고, 엔드 이펙터를 대상물에 적용하면 방향이 검출된다.
이는 로봇 티칭(robot teaching)의 프로세스에서 흔한 것으로, 지금 현재 많은 작업을 요구하고 있는 작업의 확실성을 줄이는 데에 기여하는 것으로 고려된다. 또한 연속 영상의 시간 변화(temporal change)를 이용하는 것은 종래에 극복하기 곤란하였던 엔드 이펙터에서 야기된 불확실성을 해결하는 데에 기여하는 것으로 고려된다.
불확실성은 엔드 이펙터와 작업 대상물의 상대 위치를 모니터링함에 의해 대상물이 성공적으로 유지되는 지의 여부와, 대상물의 기준 영상과의 차이 및 작업 진도에 따른 차이를 검출함에 의한 작업 진도의 정도 또는 상태를 비교함에 의해 대상물의 정렬이 좋은 지의 여부와를 포함한다. 이하 본 발명에 따른 실시예를 도면에 의거 설명한다. 도 1은 대상물의 3차원 위치를 검출하는 3차원 위치 검출 장치를 포함하는 머니퓰레이터의 구성을 나타내는 광학 시스템의 전면 투시 구성도이다. 도 2는 가상 영상 평면상에 촬상된 광 비임 조사점의 위치와 검출 장치 장착 베이스 평면으로 부터 광 비임 조사점까지의 거리를 나타내는 다이어그램이다. 도 3a는 식을 설명하기 위해 영상 평면, 가상 영상 평면 및 광 비임 조사점의 기하 구성을 나타내는 다이어그램이다. 도 3b 및 도 3c는 축적과 ΔLi에 관한 각도 α 및 각도 β를 예시하는 다이어그램이다. 도 3d는 축적과 ΔLi에 관한 각도 α 및 각도 β 사이의 관계 각도 fβ를 예시하는 다이어그램이다. 도 4는 기준 촬상 평면상의 대상물의 도심 위치가 광 비임의 직교 표면으로 투사됨에 의한 수학적 처리를 기하학적으로 나타내는 다이어그램이다. 여기서 도 1 및 도 4의 가상 영상 평면(2b)상의 광 비임 조사점(S')은 대상물 촬상 평면상의 광 비임 조사점(S)과 일치한다. 하지만, 이들 점들은 이해를 돕기위해 의도적으로 분리되어 있다.
도 1 및 도 3a의 머니퓰레이터는 광 비임 조사 장치(1)와, 프레임(3)에 의해 고정된 영상 카메라(2)로 구성된다. 도 1 및 도 3에 있어서, Z축은 X축 및 Y축에 수직으로 도시되며, 광 비임 조사 장치(1)로 부터 조사된 광 비임이 X-축과, 영상 카메라의 광축(LC)에 의해 구획된 수평 영상 평면상에 투사되면, 투사된 광 비임과 광축(LC)에 의해 각도(α)가 형성된다. 광 비임 조사 장치(1)로 부터 조사된 광 비임이 Y-축과 광축(LC)에 의해 구획된 수직 영상 평면상에 투사되면, 도 3b 및도 3c에 도시된 바와 같이 투사된 광 비임과 광축(LC)에 의해 각도(β)가 형성된다. 하지만, 광 비임이 영상 카메라의 광축(LC)을 직접 교차할 필요는 없다. 영상 카메라의 대상물 촬상 평면(4)과 광 비임의 교차는 광 비임 조사점(S)에 의해 표시된다. 영상 카메라의 대상물 촬상 평면(4)으로 부터의 검출 장치 장착 베이스 평면(BP)까지의 거리는 광 비임 조사 검출 벡터에 직교하는 L에 의해 구획된다. 컴퓨팅 장치(6)는 다음과 같은 메인 기능들을 포함한다. 작업 대상물(5)의 영상이 프로파일 데이터로 압축된 대상물 촬상 평면(4)상에 투사된다. 영상 평면(2a)의 휘도차 소자 그룹의 도심의 좌표로 부터, 카메라의 가상 영상 평면(2b)의 좌표가 계산된다. 광 비임 조사점의 카메라의 가상 영상 평면(2a)의 좌표(Xi,Yi)에 의거, 작업 대상물의 중심의 평면 위치(DXn,DYn)는 시발점(0,0)으로서 대상물 촬상 평면상의 광 비임 조사점과 함께 계산된다. 컴퓨팅 장치(6)는 로봇 컨트롤러(7)로부터 통신을 통해 출력 지시를 수신한다. 이후, 컴퓨팅 장치(6)는 로봇 컨트롤러에 작업 대상물의 3차원 위치 정보와 방향(θ)을 통신을 통해 출력한다. 도 9는 광 비임 조사 장치(1)의 실시예를 나타내고 있다. 광 비임 조사 장치(1)는 광 비임 조사 모듈(1c), 내부 실린더(1b), 외부 실린더(1a), 탄성 유지부재(1d), 광감소판(1f) 및 홀(1g)로 구성된다. 광 비임은 광 비임 조사 모듈(1c)에 의해 발생된다. 예를 들면, 레이저 포인터로 사용되는 것이면 광 비임 조사 모듈로서 사용될 수 있다. 광 비임 조사 모듈(1c)은 프레임(3)에 고정된 외부 실린더(1a)에 의해 내부 실린더(1b)의 내측에 고정되도록 제공되고, 내부 실린더(1b)는 탄성 유지 부재(1d)에 의해 지지된다. 외부 실린더(1a)는 광 비임 조사 방향을 미세하게 조절할 수 있는 방향 조절 볼트(1e)를 포함한다. 안전을 향상하고 영상 평면을 화재로 부터 보호하기에 적합한 광감소판(1f)은 내부 실린더의 모서리에 부착되며, 광 비임의 크기를 결정하는 홀(1g)을 포함하고 있다.
영상 카메라(2)는 영상 평면(2a)으로서 CCD 영상 소자 등을 사용하여, 컴퓨팅 장치에 영상 신호를 입력할 수 있는 예를 들어 USB 단자에 의해 접속된 WEB 카카메라와 같이 카메라로부터 근접하거나 떨어져서 위치된 대상물을 선명하게 캡처할 수 있는 자동 초점(auto focus) 기능을 가지는 카메라인 것이 바람직하다.
컴퓨팅 장치(6)로서, 마이크로컴퓨터가 사용될 수 있다. 컴퓨팅 장치(6)로서 사용된 마이크로컴퓨터는 디스플레이(영상 디스플레이 장치), USB 단자 등과 같이 외부 장치와 통신할 수 있도록 접속하는 I/O 인터페이스를 구비하고 있다. 또한 마이크로컴퓨터는 ROM 등에 저장된 프로그램에 의거 임시 저장을 위해 RAM 등을 사용하는 CPU(Central Processing Unit: 중앙처리장치)에서 컴퓨팅 처리를 실행한다.
로봇 컨트롤러(7)는 머니퓰레이터를 작동하기에 적합한 장치로서, 통상 머니퓰레이터에 부착된다. 로봇 컨트롤러(7)는 컴퓨팅 장치(6)를 포함하되, 이 컴퓨팅 장치와 통신하는 기능을 구비하고 있어야, 컴퓨팅 장치(6)와의 통신을 통해 지시가 주어지고, 결과가 수신되며, 수신된 결과가 작동에 반영되는 것이다.
도 2는 본 발명의 원리인 메카니즘을 설명하는 것으로, 이 메카니즘은 광 비임 조사 장치 장착 베이스 평면(BP)으로 부터 대상물 촬상 평면(4)까지의 거리를 검출한다. 하나의 사각뿔 모양이 영상 카메라(2)의 촛점(o)과 영상 평면(2a)에 의해 형성되고, 다른 하나의 사각뿔 모양이 영상 카메라(2)의 촛점(o)과 가상 영상 평면(2b)에 의해 형성되며, 이들 사각뿔 모양은 대칭 관계에 있다. 광 비임 조사 장치(1)의 검출 장치 장착 베이스 평면(BP)으로 부터 대상물 촬상 평면(4)까지의 거리는 거리(L)로 표시된다. 광 비임은 대상물 촬상 평면(4)상의 광 비임 조사점(S)과 교차한다. 정상적으로, 영상 평면(2a)은 미세 직사각형 영상 소자의 픽셀 유닛의 좌표를 사용하며, 영상 스크린의 우측 하방향이 xsc-축과 ysc-축으로서 각각 정의되고, 좌측 상방향이 시발점(0,0)으로서 정의한 사항이 실제 mm 크기 유닛으로 가상 영상 평면에 적용되어, 가상 영상 평면의 우측 하방향이 xsc-축과 ysc-축으로서 각각 정의된다. 가상 영상 평면(2b)상의 광 비임 조사점(S)의 좌표는 (Xscs,Yscs)로서 정의되고, 영상 평면(2a)상의 광 비임 조사점(S)의 좌표는 (xscs,yscs)로서 정의된다.
예컨대, 광 비임 조사점의 거리는 동일 간격의 L1 내지 L7로 분활된다. 각 접속점과 영상 카메라의 초점(o)을 연결하는 직선은 가상 영상 평면(2b)과의 교차 그룹을 발생하도록 팽창되거나 수축된다. 이어서 교차 그룹은 일직선으로 배열된다. 영상 평면(2a)상의 직선식은 다음과 같다.
yscs = ysc0 + a0*xscs
여기서, ysc0은 직선의 ysc-축 교차값을 나타내고, a0은 직선의 경사를 나타내는 상수로서, 영상 카메라가 x-축으로 부터 tan-1a0 각도로 광축 둘레를 회전한 상태를 나타내고 있다. ysc0과 a0은 실제 촬상된 영상을 사용하여 얻어질 수 있다.
가상 영상 평면(2b)상의 광 비임 조사점의 좌표(Xscs)는 영상 카메라의 광축(LC)과 수평 x축에 의해 구획된 수평 영상 평면상으로 광 비임 조사 방향 벡터(nb)를 가지는 광 비임을 투사함에 의해 형성되는 각도(α)에 관한 것이다. 픽셀 유닛의 영상 평면상의 좌표값(xscs)과 거리(L)는 강력한 대수관계의 연관성을 유지한다. 근사식이 실제 촬영된 영상을 이용하여 형성될 수 있다. 근사식의 예는 다음과 같이 주어진다.
L = 10f(xscs), 여기서 f(xscs) = ∑bi*xscsi (i = 0 내지 4)
일 실시예에 따르면, 거리(L)가 100 내지 500 mm이면, 거의 정확히 최대 0.86mm, 평균 0.26mm에 에러가 있다. 더 높은 순차 근사식이 정확성을 향상한다.
광 비임 조사 방향은 검출 장치 장착 베이스 평면(BP)에 직교한다. 이에 광 비임 조사점의 위치가 평면상에서 고정됨에 따라 되어 장착 베이스 평면에 대해 평행하게 움직이게 된다.
거리(L)는 다음과 같이 계산될 수 있다. 광 비임 조사점이 영상 평면(2a)상에서 서치되면, 광 비임 조사점은 직선상에 있을 수 있다. 광 비임 조사점이 발견되면, 광 비임 조사점의 좌표(xscs,yscs)가 얻어진다. 얻어진 좌표값(xscs)은 상기와 같은 근사식에 치환되어 거리(L)가 계산될 수 있다. 이때, 적신호 비임의 광 비임 조사점이 중앙 픽셀의 최대 휘도와, 그 좌우 상하 픽셀의 적색 휘도차에 대한 트래숄드값(threshold value)을 설정함에 의해 안정되게 발견될 수 있다.
여기서, 도 3에 도시된 바와 같이, 광 비임 조사점(S)의 관계식을 유도하기 위해, 영상 카메라의 광축(LC)을 교차하는 새로운 좌표가 xy 좌표로서 형성된 영상 평면(2a)에 도입된다. 영상 평면의 폭과 높이는 각각 w 픽셀과 h 픽셀로서 정의된다. 이 경우, x-축은 xsc-축에 대해 다음과 같은 관계를 가진다.
x = xsc-w/2
또한 y-축은 ysc-축에 대해 다음과 같은 관계를 가진다.
y = ysc-h/2
z-축은 카메라의 광축 방향으로서 정의된다. 이상에 근거하여, 영상 평면(2a)을 포함하는 사각뿔 모양의 높이는 촛점 거리 f 픽셀로서 정의된다. 영상 평면은 다음과 같이 정의된다.
z = f
마찬가지로, xy 좌표는 영상 평면과 유사한 관계인 가상 영상 평면(2b)에 도입된다.
도 3b 내지 도 3d를 참조하면, 가상의 영상 공간(사각뿔 모양)에 광 비임의 촛점을 맞추는 3개의 변수가 도입되어 다음과 같이 정의된다. 3개의 변수는 각도 α, 각도 β, 및 거리 H0 이다. 각도 α는 광 비임 투사 직선과 카메라의 광축에 의해 형성된다. 광 비임 투사 직선은 카메라의 광축(LC)을 포함하는 수평 영상 평면으로 광 비임을 투사함에 의해 얻어진다. 각도 β는 광 비임 투사 직선과 카메라의 광축에 의해 형성된다. 광 비임 투사 직선은 카메라의 광축(LC)을 포함하는 가상 영상 평면으로 광 비임을 투사함에 의해 얻어진다. 거리(높이)(HO)는 카메라의 광축을 포함하는 가상 영상 평면으로 부터 광 비임이 서로 교차(SY)하는 초점(o)까지의 거리이다. 여기서 광 비임 조사점(S)은 가상 영상 평면(2b)사에 위치된다. 광 비임 조사점(S)으로 부터 검출 장치 장착 베이스 평면(BP)까지의 거리는 L에 의해 정의된다. 광 비임 조사점(S)의 좌표는 (Xi,Yi)로서 정의된다. 카메라의 영상 공간에 있어서, 수평 평면상에 투사된 광 비임의 투사 직선의 z-축 차단과 x-축 차단을 연결하는 직선은 Lih로서 정의된다. 이 경우, XY 좌표의 시작점과 광축상의 z-축 차단을 연결하는 직선은 다음과 같이 정의된다.
Lih*cosα
그러면 다음이 설정된다.
Xi = Lih*sinα
또한, 교차(SY)와 수평 평면사이의 거리는 YO로서 정의된다. 그러면 다음이 설정된다.
Yi = YO + Lih*cosα*tanβ
또한, 광 비임 조사점의 1차식으로 다음이 설정된다.
yi + h/2 = yscO + aO*(xi+w/2)
여기서, 다음은 x1 = O 인 경우에 설정된다.
yO = ysc0 + (aO*w+h)/2
광 비임 조사점(S)으로 부터 교차(SY)까지의 길이는 다음과 같이 형성된다.
Li = Lih*√{1+(cosα*tanβ)2}
가상 영상 평면의 초점으로부터의 거리는 Hi로서 정의된다.
그러면 다음이 설정된다.
HO = Hi-Lih*cosα
검출 장치 장착 베이스 평면(BP)으로 부터 교차(SY)까지의 거리는 다음과 같이 정의될 수 있다.
LO = L-Li
한편, "거리 L + 10(xi)"를 적용하면, 다음이 얻어진다.
LO = 10f(O)
각도 α 및 각도 β는 실제 촬상된 영상를 이용해서 얻어질 수 있다. 다음은 이들 각도가 어떻게 얻어지는 지를 나타내고 있다. 도 3b에 도시된 바와 같이, 각도 α를 측정하기 위해, 눈금이 있는 눈금자 직선부를 x-축과 평행하여 광 비임과 직교하고 있는 대상물 촬상 평면(4)상에 위치시킨다. 그후, 대상물 촬상 평면을 검출 장치 장착 베이스 평면(BP)으로 부터 거리 ΔLi 만큼 평행하게 이동시킨다.
대상물 촬상 평면의 이동을 통해, 저울눈 판독값의 변화량이 얻어지고, 그 변화량은 Δmx (X= 0)로서 정의된다. 그 후, 도 3b에 도시된 바와 같이, 다음이 설정된다.
tanα = (Δmx/ΔLi)/fβ, 여기서 fβ = √{1+(cosα*tanβ)2}이어서, α=24°이고 β=1°인 경우, 예를 들면 fβ은 1.0001로 바뀐다.
이상과 같이, β의 값이 작으면, 다음이 설정된다.
tanα = Δmx/ΔLi
도 3c를 참조하면, 각도 β를 측정하기 위해, 눈금자를 y-축과 평행하여 대상물 촬상 평면(4)상에 위치시킨다. 그후, 대상물 촬상 평면을 상기와 같이 각도 α를 측정할 때 움직이는 바와 동일한 거리인 거리 ΔLi 만큼 평행하게 이동시킨다. 그러면, 눈금 판독값의 변화량이 얻어지고, Δmy (Y= 0)으로서 정의된다.
그 후, 다음이 설정된다.
tanβ = {Δmy/(ΔLi*cosα)}/fβ
β의 값이 작으면, 다음이 설정된다.
tanβ = Δmy/(ΔLi*cosα)
영상 카메라의 영상 공간에 광 비임 조사점을 고정하기 위해, 교차(SY)의 높이(HO)와 영상 카메라의 초점 거리(f)는 식별되어야 한다. 교차(SY)의 높이(HO)와 영상 카메라의 초점 거리(f)는 동일 간격으로 M개로 나누어진 광 비임 조사점의 실제 촬상된 영상를 이용하여 분석된다. 영상 평면(2a)상의 광 비임 조사점의 좌표(xi,yi)는 촬영된 영상으로 부터 판독된다. 검출 장치 장착 베이스 평면(BP)으로 부터 교차(SY)까지의 거리인 거리(LO)는 상술한 바와 같이 이미 얻어지므로, 다음과 같이 정의된다.
Li = L-LO
Lih = Li/fβ
Xi = Lih*sinα
Hi = HO+Lih*cosα
상술한 바와 같이, 영상 평면(2a)의 영상 공간(사각뿔 모양)과 가상 영상 평면(2b)의 가상 영상 공간은 유사한 관계에 있으므로 다음과 같은 식이 유도된다.
xi/f = Xi/Hi
이에 따라, 나머지의 제곱 (Xi/Hi - xi/f)2이 각각의 광 비임 조사점에 대해 얻어진다. M개의 조사점이 제공됨에 따라 평균 합계의 제곱근이 다음과 같이 정의된다.
O(Hi,f) = √{∑(Xi/Hi-xi/f)2}/√M (i= 1 ~ M)
최소 Hi, 즉 HO를 결정하기 위해 O(Hi,f)를 계산하면, 교차(SY)의 높이(HO)와 카메라의 초점 거리(f)는 식별될 수 있다. 교차(SY)의 높이(HO)와 카메라의 초점 거리(f)의 약 4배율 디지트까지 계산하면 매우 정확하게 얻어진다. 카메라의 초점 거리(f)를 영상 카메라의 배율로 알면, 교차(SY)의 높이(HO)를 간단히 계산하여교차(SY)의 높이(HO)와 카메라의 초점 거리(f)는 식별될 수 있다.
광 비임의 x-방향 성분, y-방향 성분 및 z-방향 성분에 의거, 광 비임 조사 방향 벡터(nb)는 각각 다음과 같이 정의된다:
Lih*sinα; Lih*conα*tanβ; 및 Lih*cosα
유닛 벡터로 표현하면, 다음과 같이 표현된다:
nb(sinα/fβ, conα*tanβ/fβ, cosα/fβ)
광 비임에 직교하는 대상물 촬상 평면(4)의 정상 방향 벡터는 nb이다. 초점은 z =0으로서 정의되고, 가상 영상 평면(2b)상에 x-축과 y-축을 가지는 직교 좌표 시스템에 있어서, 대상물 촬상 평면상에 광 비임 조사점(S)을 포함하는 평면은 다음식에 의해 정의된다.
nbX(X-Xi) + nbY(Y-Yi) + nbZ(Z-Hi) = 0
여기서, nbX = sinα/fβ, nbY = cosα*tanβ/fβ, 및 nbZ = cosα/fβ이다.
영상 평면(2a)과 촬상면(4)상에 점 P(xp,yp)을 포함하는 직선(op)의 교차점인 교차점(P)을 얻으면, 영상 평면상에 촬상된 작업 대상물의 위치에 의거한 대상물 촬상 평면상의 위치가 결정된다. 직선(op)의 방향 벡터는 다음과 같이 정의된다.
op(xp/op, yp/op, f/op)
여기서 op = √(xp2+yp2+f2) 이다.
직선(op)의 식은 다음과 같다.
X/(xp/op) = Y/(yp/op) = Z/(f/op)
식은 상기 도시된 바와 같은 대상물 촬상 평면상에 광 비임 조사점(S)을 포함하는 평면을 위한 식으로 치환된다. 여기서, X = (xp/op)T, Y = (yp/op)/T, 및 Z = (f/op)/T 이다.
이어서, 다음이 얻어진다.
T = nb
Figure 112014123209556-pat00001
oS/nb
Figure 112014123209556-pat00002
op
여기서, nb
Figure 112015066125099-pat00003
oS및 nb
Figure 112015066125099-pat00004
op는 벡터의 내적을 나타내는 것으로 다음과 같은 성분으로서 나타내진다.
nb
Figure 112014123209556-pat00005
oS = nbx*Xi+nbY*Yi+nbZ*Hi
nb
Figure 112014123209556-pat00006
op = nbX*xp/op+nbY*yp/op+nbZ*f/op
대상물 촬상 평면의 점(P)은 투사된 작업 대상물의 도심을 나타내고 있다. 가시성의 광 비임 조사점(S)은 대상물 촬상 평면의 시발점으로서 설정된다. 대상물 촬상 평면상의 좌표축은 광 비임 둘레에 적절히 결정된다. 이 때문에, 실제로 머니퓰레이터의 작동의 축 방향을 편하게 선택한다. 이때 초기값 설정의 디폴트때문에, 영상 카메라의 가상 대상물 촬상 평면의 X-축과 Y-축이 대상물 촬상 평면의 Xn-축과 Yn-축을 결정하는데 사용된다.
Xn = Y×Xnb
Yn = nb×X
여기서, x 는 벡터의 외부 생성물을 나타내고, 다음과 같은 성분으로 나타내진다.
Xn = (nbZ/SX, O, -nbX/SX)
Yn = (O, nbZ/SY, -nbY/SY)
여기서 SX = √(nbZ2+nbx2) 및 SY = √(nbZ2+nbY2)
촬상 평면상의 점(S)(Xs, Ys, Zs)과 점 P(Xp, Yp, Zp)을 연결하는 직선(SP)의 벡터는 SP(Xp-Xs, Yp-Ys, Zp-Zs)로서 정의된다. 그리고 각각의 좌표축 성분은 SP의 내적으로 나타내지고, 각 좌표축 벡터 Xn 및 Yn, 및 nb로 나타내진다. Xn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00007
Xn = (Xp-Xs)
Figure 112014123209556-pat00008
nbZ/SX-(Zp-Zs)
Figure 112014123209556-pat00009
nbX/SX
Yn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00010
Yn = (Yp-Ys)
Figure 112014123209556-pat00011
nbZ/SY-(Zp-Zs)
Figure 112014123209556-pat00012
nbY/SY
Zn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00013
nb = 0
이는 벡터(SP)가 벡터(nb)에 직교하기 때문이다.
촬상 평면은 광 비임에 항상 직교하지 않는다. 도 4에 도시된 바와 같이, 대상물 촬상 평면의 정상 방향 벡터는 nr(nrX, nrY, nrZ)이고, 광 비임 조사점(S)을 포함하는 기준 촬상 평면(4a)을 나타내는 평면을 위한 식은 다음과 같이 정의된다.
nrX(X-Xi)+nrY(Y-Yi)+nrZ(Z-Hi) = O
여기서 영상 평면(2a)상의 점은 q(xq, yq, zq)이고, 가상 영상 평면(2b)의 점은 Q이며, 다음과 같이 정의된다.
Tr = nr
Figure 112014123209556-pat00014
oQ/nr
Figure 112014123209556-pat00015
oq
Xq = (xq/oq)Tr
Yq = (yq/oq)Tr
Zq = (f/oq)Tr
1차 벡터(SQ)는 기준 촬상 평면(4a)상의 점(S)과 점(Q)을 연결한다. 머니퓰레이터의 작동이 1차 벡터(SQ)를 광 비임의 직교 표면의 좌표축 Xn, Yn, 및 Zn의 성분으로 나타나는데 편리하다. 각각의 좌표축 성분은 1차 벡터(SQ)의 내적으로 나타내지고, 각각의 좌표축 벡터는 Xn 및 Yn, 및 nb로 나타내진다. Xn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00016
Xn = (Xq-Xs)
Figure 112014123209556-pat00017
nbZ/SX-(Zq-Zs)
Figure 112014123209556-pat00018
nbX/SX
Yn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00019
Yn = (Yq-Ys)
Figure 112014123209556-pat00020
nbZ/SY-(Zq-Zs)
Figure 112014123209556-pat00021
nbY/SY
Zn-축의 성분은 다음과 같이 정의된다.
SP
Figure 112014123209556-pat00022
nb = (xq-xs)
Figure 112014123209556-pat00023
nbX+(Yq-Ys)
Figure 112014123209556-pat00024
nbY+(Zq-Zs)
Figure 112014123209556-pat00025
nbZ
여기서, 기준 촬상 평면(4a)은 가상 영상 평면(2b)으로서 취해진다. 이는 전면 영상를 제공하고, 촬영된 영상으로서 초점(Hi)으로 부터 거리를 두고 있다. 그러므로, 영상 카메라 기반의 검출 장치를 포함하는 것이 가능하고, 영상 카메라의 영상 평면은 머니퓰레이터의 장착 베이스 평면과 평행하게 제공되고, 광 비임 조사는 영상 카메라의 광축과 각도를 형성하도록 지향된다.
이하 3차원 위치 검출 장치 및 머니퓰레이터를 이용하는 대상물 촬상 평면의 방향(정상 방향)을 얻는 절차 및 방법을 설명한다. 절차 및 방법은 다음과 같다:
(1) 로봇 컨트롤러에 의하여, 현재 위치로부터 대상물 촬상 평면까지의 거리의 검출을 지시한다;
(2) 컴퓨팅 장치(6)로부터 로봇 컨트롤러까지의 거리(L0), 즉 현재의 위치로부터 대상물 촬상 평면까지의 거리만큼 리턴한다;
(3) 로봇 컨트롤러에 의해, 로봇이 x 방향으로 X01씩 움직이도록 로봇 작동의 실행을 명령하고, 그때의 로봇의 위치로부터 대상물 촬상 평면까지의 거리를 검출하도록 지시한다;
(4) 컴퓨팅 장치(6)로 부터 로봇 컨트롤러까지의 거리(LO1)를 리턴한다;
(5) 로봇 컨트롤러에 의해, 로봇이 x 방향으로 -X01, y 방향으로로 YO1씩 움직이도록 로봇 작동의 실행을 지시하고, 이후 그때의 대상물 촬상 평면까지의 거리를 검출하도록 지시한다;
(6) 컴퓨팅 장치(6)로 부터 로봇 컨트롤러까지의 거리(L02)를 리턴한다. 이상을 통해, x 작동 방향과 y 작동 방향으로의 경사가 컨트롤러의 컴퓨팅 장치에 의해 컴퓨팅된다. 그리고, x 작동 방향으로의 (L01-L00)/X01 및 y 작동 방향으로의 (L02-L00)/Y01의 경사가 얻어진다. 이러한 경사를 제거하도록 머니퓰레이터의 검출 장치 장착 베이스 평면을 작동하면, 대상물 촬상 평면과 평행한 자세를 얻을 수 있다. 또한 일 실시예에 따르면, 검출 장치의 경사 검출의 정확도는 1/100 보다 더 작아진다.
이하 검출 장치에서 로봇 작동을 등록하는 절차 및 방법을 설명한다. 절차 및 방법은 다음과 같다:
(1) 대상물 촬상 평면상에 디스크와 같은 대상물을 놓고 검출 장치의 장착 베이스 평면을 조절하여 대사물 촬상 평면과 평행하게 자세를 잡는다;
(2) 검출 장치의 대상물의 촬상 영상의 도심(xOO, yOO)을 저장한다;
(3) x 로봇 작동 방향으로 X02 씩 대상물을 이동한다;
(4) 검출 장치내의 촬상 영상의 도심(x01, y01)을 저장한다;
이렇게 해서, X 로봇 작동 방향 벡터(x01-x00, y01-y00)가 얻어진다. 이를 로봇 좌표 시스템에 적용하면 +Z 방향이 전면으로서 설정된다. 그리고, 반시계 방향으로 90°회전시킨 방향이 Y 로봇 작동 방향이다. 여기서, Y 방향과 Z 방향은 로봇 좌표 시스템과 영상 카메라 좌표 시스템에서 서로 대향할 수 있으므로 주의해야 한다.
이하 촬영 영상로부터 작업 대상물의 프로파일과 프로파일 데이터를 추출하는 방법을 설명한다. 영상 평면은 수평(xsc-축) 방향과 수직(ysc-축) 방향에 픽셀들을 포함한다. 크기는 예를 들어 (800×600)으로 표시된다. 색상 영상의 주된 3가지 광색(적색, 녹색, 청색)은 각각의 휘도값을 가진다. 하지만, 본 실시예에 있어서, 흑-백 휘도값(회색 등급)이 사용된다. 그리고, 수평 방향으로 일렬로 3개의 픽셀을 선택하고, 3개의 픽셀 중 가장 우측 픽셀과 가장 좌측 픽셀사이의 휘도차를 비교한다. 3개의 픽셀로 부터 얻은 차이가 트래숄드값(Br) 이상이면, 그 3개의 픽셀을 휘도차 소자로 결정한다. 트래숄드값(Br)을 초과하는 휘도차를 가지도록 결정된 3개의 픽셀이 휘도차 소자로 결정된다. 그리고 휘도차 소자들은 영상 평면의 좌표로 저장된다.
작업 대상물의 촬상된 영상의 일부는 직사각형으로 절단된다. 수평 휘도차 소자는 수직 방향으로 연속으로 서치된 후, 수평 방향으로 모두 3개의 픽셀에 대해 서치된다. 또한, 수평 휘도차 소자는 수평 방향으로 연속해서 서치된 후, 수직 방향으로 모두 3개의 픽셀에 대해 서치된다. 서치를 통해 알게된 바와 같은 휘도차 소자에 대해, 그 좌표값은 각각 저장된다. 소자의 총 갯수(Ne)는 대상물의 프로파일로서 저장된다. 이때 3개의 픽셀의 양측 에지사이의 휘도차를 이용하는 이유가 있다. 하나는 다수의 소자를 포함하는 3개의 픽셀의 양측 에지사이에 동일한 취도차가 있으므로, 이웃하는 픽셀보다 대상물을 캡쳐하기에 용이하기 때문이다. 다른 하나는 모두 3개의 픽셀에 대한 서치를 실행하는 것이 모두 2개의 픽셀에 대한 서치를 실행하는 것에 비해 서치 속도가 1.5배 증가하기 때문이다.
일 실시예에 따르면, 휘도차 트래숄드값(Br)은 16 내지 40이면, 소자의 총 갯수(Ne)와 정반대의 관계를 가진다. 하지만 이와 달리, 소자의 갯수가 50 이상의 트래숄드값에 대해서는 감소한다. 하지만, 더 높은 트래숄드값은 영상의 특징을 캡쳐하지만, 전체 촬영 영상을 나타내지 않는다. 프로파일로서의 트래숄드값은 전체 영상를 표시하고 적은 수의 소자를 가지는 것이 바람직하다. 표 1은 일 실시예를 나타내고 있다.
Br 16 24 32 40 50 64 80
Ne 2,168 1,591 1,195 902 583 271 78
Br*Ne 34,688 38,184 38,240 36,080 29,150 17,344 6,240
소자의 수평 좌표(xsci) 및 수직 좌표(ysci)는 휘도차 소자가 서치되면 동시에 각각 추가된다. 서치의 말기에 소자의 총수(Ne)에 의거 다음이 얻어진다.
xscc = ∑xsci/Ne (i = 1 ~ Ne)
yscc = ∑ysci/Ne (i = 1 ~ Ne)
촬영된 영상의 프로파일은 다음과 같이 발생된다.
첫째, 도심의 주변은 동일 각도로 J개의 부재로 나누어진다. 그 후 도심으로 부터의 상대 좌표(xai, yai)에 따라서, 휘도차 소자가 나누어진 바와 대응하는 각도 영역으로 배열된다. 그 후, 소자의 총수(NθJ) 및 평균 반경(rθj)이 각도 영역수(θ)에 의해 표시된 모든 영역에 대해 컴퓨팅된다. 이는 다음 식으로 표시된다.
xai = xsci-xscc
yai = ysci-yscc
θ = fθ(xai, yai)
sumrθj = ∑ (xai2+yai2) (i = 1 ~ Nθj, θ=j)
rθj = √ (sumrθj/Nθj)
이때, 컴퓨팅 시간을 줄이기 위해, 좌표(xai, yai)에서, 각도 영역수(θ)가 이미 설명된 견본이 각도 θ 판독용으로 제공되므로, fθ(xai, yai)는 (xai, yai)에서의 각도 θ 판독에 의해 얻어진다.
평균 반경(rθj)은 정확하게 형상을 나타낸다. 각도 영역에서 합의 제곱인 프로파일 데이터(rθpj)로서 초점을 맞추기 위해, 데이터의 총합이 1로 유니트가 나누어진 총합(∑√sumrθ)으로 결합되어 얻어진 결과를 퍼센트(%)로 표시된다. 이상은 다음 식으로 표시된다.
rθpj = {√sumrθj/∑√sumrθj)}*100 (j = 1 ~ J)
이하, 상기 피쳐링을 설명한다. 동일한 대상물에 대해, 프로파일 데이터는 (rθp) 및 (rθpj)로 설정된다. 이 경우, (rθp)와 저장된 기본 프로파일 데이터사이의 절대 차이의 총합, 및 (rθpj)와 저장된 기본 프로파일 데이터사이의 절대 차이의 총합이 얻어진다. 각각의 최선의 값을 비교하면, (rθp)의 경우 절대 차이의 총합이 20% 이상이었고, (rθpj)의 경우 약 10% 이었다. 선택 영상의 프로파일 데이터와의 절대 차이의 총합이 20% 이상인 것이 가능하다. (rθpj)로서 프로파일 데이터를 설정함에 의해, 대상물의 식별 결정이 달성된다.
절대 차이의 총합은 작업 대상물이 단독으로 촬영된 프로파일 데이터((rθpj)와, 작업 대상물이 배경 영상로 촬영된 프로파일 데이터의 사이를 크게 하고 있다. 즉 열화될 수 있다. 이 경우, 작업 대상물이 촬영된 프로파일 데이터가 1 인지 비 대상물이 촬영된 프로파일 데이터가 2 인지를 결정하는 것은 곤란할 수 있다.
하지만, 본 실시예에 있어서, 데이터의 형태는 소자 반경의 분포값(Δrθj)을 컴퓨팅하기 위해 동일 각도 영역의 각각의 소자 반경(rθji)과 평균 반경(동일 각도 영역의 각각의 소자 반경(rθmj)과의 사이의 평균 절대 차이를 이용해서 결정될 수 있다. 분포값(Δrθj)을 얻음에 의해, 홀로 촬영된 대상물의 분포값으로 부터 근사값이 유도되는 지를 결정하는 것이 가능하다. 따라서, 분포값(Δrθj)은 다음과 같이 표현되는 프로파일 데이터에 추가된다.
rθji = √ (xai2+yai2) (θ=j)
rθmj = (∑rθji)/Nθj) (i= 1 ~ Nθj)
Δrθj = (∑｜rθji-rθmj｜)/rθmj/Nθj) (i= 1 ~ Nθj)
값(Δrθj)과 기준값과를 비교하여, 프로파일 데이터(rθpj)가 큰 열화를 나타내면, 일부 각도 영역이 다른 때만의 작업 대상물임을 결정하는 것이 가능하다. 실제로, 프로파일 데이터(rθpj)가 값(Δrθj)에 근사하더라도 선택 영상에서 크게 차이가 있다. 도 5는 프로파일 데이터(rθpj)의 실시예를 예시한다. 수평 휘도차 소자는 "_"로 표시된다.
수직 휘도차는 "｜"로 표시되며, 대상물의 윤곽을 나타낸다. 도심은 "+"로 표시된다. 도심의 주변은 36개로 나누어지며, "o"으로 표시되며, 평균 반경(rθj)을 나타내고 있다. 평균 반경(rθj)은 윤곽선상에 있고 정확하게 형상을 나타낸다. 프로파일 데이터(rθpj)는 이중 원으로 표시된다. 프로파일 데이터(rθpj)가 특징 형상을 형성한다. 본 실시예에 있어서, 일부 윤곽선이 없어진다. 그러므로, 전체 대상물을 캡쳐하기 위해서, 휘도차 소자의 수를 증가하면서 휘도차 트래숄드를 감소하는 것이 필요하다. 다음은 본 실시예의 프로파일을 나타내고 있다.
거리 : 143 mm
휘도차 : 48
휘도차 소자의 수 : 772
소자 폭 : 93 픽셀
소자 높이 : 253 픽셀
전체 영상 스크린으로 부터 작업 대상물을 보기 위해, 대상물의 크기 및 형상에 의거, 대상물이 작업 대상물인지 아닌지의 여부가 결정된다. 이때, 대상물의 크기는 대상물의 거리에 관한 것이고, 대상물의 형상은 휘도차 트래숄드값에 관련된 소자의 수에 관한 것이다. 본 실시예에 있어서, 거리는 상술한 바와 같이 촬영된 영상에 의거 즉시 보여진다. 따라서 대상물은 프로파일 데이터와 거리에 관한 프로파일을 등록하고 이를 촬영 영상의 일부인 서치 유닛으로 부터 추출된 데이터와 비교하여 용이하게 보여질 수 있다.
일 실시예로서, 표 2는 대상물 거리, 휘도차(LD) 및 소자의 수를 나타내고 있다. 도 6은 거리 및 크기를 나타내고 있다. 도 7은 거리 및 프로파일 데이터(rθpj)를 나타내고 있다. 작업 대상물의 거리가 검출되면, 근사 거리의 종방향 및 측면 크기가 도 6으로 부터 선택된다. 거리 내삽(interpolation) 및 외삽(extrapolation)은 대상물의 크기를 컴퓨팅하도록 실행되어 촬영 영상의 크기를 결정한다. 대상물의 방향을 알지 못하면, 높이와 폭을 비교하여, 더 큰쪽을 대상물의 크기로 정의한다.
대상물 거리 (mm) 휘도차 소자의 수
169 56 1,142
237 64 898
310 64 1,001
400 64 643
479 72 452
도 7에 도시된 바와 같은 프로파일 데이터가 비교의 근거로서 사용되었으며, 이를 참조하면, 거리 237로부터 거리 479까지의 절대 차이의 총합은 거리에 관계없이 몇 % 보다 작다. 거리 169의 프로파일 데이터의 일부는 없어졌으며, 그 형상은 다른 거리의 것과 약간 다르며, 개선의 여지가 있다. 하지만, 절대 차이의 총합은 약 10%이며, 이것이 등록 데이터로서 효과적이다. 도 5에 도시된 바와 같은 프로파일 데이터는 도 7에 도시된 바와 같은 것과는 관련이 없다. 또한 도 7의 크기는 프로파일 데이터(rθpj)의 값을 나타내고 있다.
이하 전체 영상 스크린의 영상으로 부터 대상물을 서치하는 절차 및 방법을 설명한다.
절차 및 방법은: (1) 대상물을 등록하고; (2) 촬영 영상으로 부터 대상물 촬상 평면까지의 거리(L)를 검출하고; (3) 인접하는 거리의 등록 데이터(rθpjT)를 선택하고; (4) 서치 유닛의 크기를 결정하고; (5) 서치 휘도값 소자의 수, 예를 들어 등록된 소자 수의 0.85 내지 1.2 배의 수로 설정하고; (6) 서치 유닛을 전체 영상 스크린에 배열하고; (7) 서치 유닛내의 휘도차 소자의 수를 계산하고; (8) 휘도차 소자의 수가 설정된 소자의 수 이내에 있으면, 프로파일 데이터(rθpjS)를 만들고; (9) 절대 차이(∑｜rθpjS-rθpjT｜)의 총합을 최소화하는 위상을 계산하고; (10) 절대 차이 총합의 오름차순으로 서치 유닛을 정렬하고; (11) 예를 들어 절대 차이의 최소 총합이 20% 보다 적으면, 서치 대상물로 결정하고; 및 (12) 절대 차이의 최소 총합이 20% 이상이면, 프로파일 데이터(ΔrθjS)의 분포값을 계산하여 진위(true or false)를 결정한다.
검출 장치가 실시간으로 작동하기 위하여, 영상 스크린내에 서치 유닛을 어떻게 정렬하는지는 급속 서치를 위해 중요하다. 도 8은 이에 대한 일 방법을 나타내고 있다. 본 실시예에 있어서, 풀(full) 스크린 800×600 픽셀은 24×24 픽셀의 블록으로 나누어진다. 이때, 블록 위치는 (bw, bh), 블록 수는 (k), 블록의 특징값은 (Bxk)로서 정의된다. 특징값은, 예를 들어, 휘도차 소자의 수이고, 수평 방향은 33 블록으로 나누어지며, 다음과 같이 k = 33bh+bw 으로 표시된다.
서치 유닛의 수평 및 수직 부분의 블록의 수는 Mb로서 정의된다. 그리고 수평 부분으로의 총합 sumWBxk은 다음과 같이 표현된다.
sumWBxK = ∑Bxk (k= k ~ k+Mb-1)
서치 유닛의 특징값의 합 (sumBxK)은 수직 부분이 k, k+33, k+33x2, .., k+33(Mb-1)로서 정의되기 때문에, 다음과 같이 표현된다.
sumBxk = ∑sumWBxn (m= 0 ~ Mb-1, n = k+33m)
상기 방법은 인접 특징값을 이미 계산된 값에 가감하여 연속 계산할 수 있으므로, 고속 연산 작업을 실행할 수 있다. 이하 상세히 설명하면 다음과 같다. 서치 유닛의 수평 부분에 있어서, sumWBxK 는 sumWBx(k)로서 표현된다.
그리고, 우측 인접부는 다음과 같이 표현된다.
sumWBx (k+1) = sumWBx(k)+Bx(k+Mb)-Bx(k)
우측 인접부를 연속해서 컴퓨팅함에 의해, 전체 수평부가 계산된다. 동일하게 적용하여 하부 수평부를 계산한다. 그래서, 모든 선들의 수평부의 총합 (sumBxk)이 계산된다. 서치 유닛의 수직부에 있어서, sumBxk는 sunBx(k)로서 표현된다. 바로 아래 부분은 다음과 같이 표현된다.
sumBx (k+33) = sumBx(k)+sumWBx(k+33Mb)-sumWBx(k)
바로 아래 부분을 연속해서 컴퓨팅함에 의해, 전체 수직부가 계산된다. 동일하게 적용하여 우측 인접 수직부를 계산한다. 그래서, 모든 선들의 수직부의 총합 (sumBx(k))이 계산된다.
등록된 프로파일 데이터를 만듬에 의해, 직사각형 영역과 촬영 영상내에서 주의해야 하는 도심이 설정된다. 등록된 프로파일 데이터와 촬영 영상 프로파일 데이터 ∑｜RθpjS-RθpjT｜의 절대 차이의 총합을 계산함에 의해, 영역내에 발생하는 이벤트들이 모니터될 수 있다. 계산된 절대 차이의 총합은 작업 프로세스의 완료를 검출할 수 있다. 이와 달리, 최종 형상에 대한 값을 제공함에 의해, 로봇 작업 진도를 모니터링하는 과정과 작업 전의 대상물의 자세가 좋은지 나쁜지를 결정하는 과정을 포함하는 로봇의 작업의 질적 관리를 향상하는 것이 가능하다.
이때 프로파일 데이터 (Rθpj)는 초점이 맞추어진 (rθpj)로 교체되며, 정확하게 형상을 나타내는 평균 반경 (rθj)이 사용된다. 고정된 영역의 프로파일 데이터가 (Rθpj)로서 정의된다. 그래서 다음과 같이 정의된다.
Rθpj = rθj
상술한 방법은 엔드 이펙터의 구동 메카니즘의 위치 검출 센서에 적합한 것으로, 시동 또는 정지 지시가 구동 메카니즘에 출력될 수 있다. 이에 따라 가시적 확인이 인간에 의해 실행되는 동안 장치를 사용하는 작업을 행할 수 있다. 도 10 및 도 11은 본 발명의 실시예를 예시한다. 도 10에 있어서, 대상물의 3차원 위치를 계산하는 3차원 위치 검출 장치를 포함하는 이동형 아암 로봇의 사시도가 예시된다. 도 11에 있어서, 아암 로봇부를 나타내는 사시도가 예시된다.
이동형 아암 로봇은 이동형 캐리지(9a)의 전면 중심에 제공되며, 본 발명의 대상물의 3차원 위치를 검출하는 3차원 위치 검출 장치를 포함하는 아암 로봇을 포함한다. 독립적으로 회전하는 구동 휠(9b)은 이동형 캐리지의 후미 좌우측에 제공된다. 플렉시블 캐스터는 이동형 캐리지의 전면 하부 좌우측에 제공되어 이동형 아암 로봇이 선택적인 2차원 방향으로 전후진하여 움직일 수 있다. 커버(9c)는 이동형 로봇 아암의 후미 중심에 제공된다. 커버(9c)는 장비 공간으로, 내부에는 동력원인 배터리, 로봇 컨트롤러, 본 실시예에 따른 검출 장치용 컴퓨팅 장치, LAN 통신 장비 또는 기타 컨트롤러가 저장된다. 화물을 저장하는 곳, 즉 화물 저장소(9e)는 이동형 캐리지(9a)의 중앙 좌우측에 제공된다. 화물 저장소(9e)의 후미 양 단부에는 캐리지 커버(9d)가 화물 붕괴를 방지하도록 제공된다. 아암 로봇은 지면으로 부터 또는 이동형 캐리지의 전면 양측으로 부터 대상물을 픽업하여 화물 저장소에 저장할 수 있다.
이동형 캐리지는 두개의 모드로 작동된다. 하나는 구동 모드이고 다른 하나는 접근 모드이다. 구동 모드를 통해, 촬영 영상의 사인 또는 마크가 검출되거나 추적된다. 근접 모드를 통해, 대상물이 아암 로봇의 작업 범위 외측에 있으면, 아암 로봇은 아암 로봇의 작업 범위내의 대상물을 옮기도록 대상물에 접근한다. 이동형 캐리지를 두개의 모드로 작동하기 위해, 독립적으로 회전하는 좌우 구동 휠이 제어된다.
이동형 캐리지에는 항상 주행등록 기능이 제공된다. 장거리 운행동안 에러가 축적되어 주요 지점들에서 위치를 체크하는 것이 필요하다. 대상물의 3차원 위치를 검출하는 3차원 위치 검출 장치는 위치를 체크하는데 적합하다.
아암 로봇은 숄더 요(shoulder yaw)-숄더 피치(pitch)-엘보 리스트(elbow wrist)-리스트 요-리스트 피치-리스트 롤(roll)의 6축 다관절 로봇이다. 리스트의 3축은 서로 직교한다. 3차원 위치 검출 장치는 어떠한 방향으로든 조사 방향을 조절해야 한다. 이는 프레임(3)의 장착 베이스 평면을 5자유도를 가지는 리스트 롤 축의 구동 메카니즘(8h)의 후미 표면에 부착하여, 광 비임 조사 방향과 평행하도록 리스트 롤 축을 배열함에 의해 달성된다. 아암은 검출된 대상물로 부터 엔드 이펙터의 작용점까지의 상대 거리와 평편 위치상의 데이터 및 본 발명의 검출 장치로 부터의 방향을 얻음에 의해 제어된다.
로봇 아암은 아암 받침대(8a)의 플랜지상의 숄더 요 구동 메카니즘(8b); 숄더 요 구동 메카니즘의 출력 단자에서의 L자형 숄더 요 바디(8c); 숄더 요 바디의 단부에서의 숄더 피치 구동 메카니즘(8d); 숄더 피치 구동 메카니즘의 출력 단자에서의 포크(fork) 형태의 숄더 피치 바디(8e); 솔더 피치 바디의 포크의 일측에서의 엘보 피치 구동 메카니즘(8l); 엘보 피치 구동 메카니즘의 출력 단자에서의 엘보 피치 바디(8f); 엘보 피치 바디내의 리스트 피치 구동 메카니즘; 리스트 구동 메카니즘의 출력 단자에서의 옵셋(offset) 형태의 리스트 요 바디; 리스트 요 바디의 단부에서의 리스트 피치 구동 메카니즘(8k); 리스트 피치 구동 메카니즘의 출력 단자의 L자형 리스트 피치 바디(8j); 리스트 피치 바디의 일측에서의 리스트 롤 구동 메카니즘(8h); 및 리스트 롤 구동 메카니즘의 출력 단자에서의 핸드(엔드 이펙터)(8i)로 구성된다.
또한 본 실시예에 있어서, 로봇이 인간과 공존함을 고려하여, 구동 휠을 포함하는 전체 구동 메카니즘의 동력을 위해 80W 이하의 전동 모터가 사용된다.
본 실시예에 따른 이동형 아암 로봇은 딸기를 수확하도록 고안되었다. 이동형 아암 로봇은 리지(ridge)상을 주행하면서 촬영 영상에 의거 좌우 리지에 달려있는 딸기를 찾는다. 그래서 발견된 딸기의 3차원 위치 및 방향이 검출된다. 도심측의 영상 데이터는 검출된 대상물의 휘도차 소자에 의해 분석된 색 히스토그램(color hystogram)으로 숙성도를 결정한다. 그래서 3차원 위치 및 방향이 로봇 컨트롤러로 출력된다. 엔드 이펙터의 적과(fruit-thinning) 장치를 사용하여, 로봇 컨트롤러는 딸기를 수용하고 적과한다. 그리고 로봇 컨트롤러는 딸기를 화물 저장소에 저장한다. 이러한 딸기 수확에 한정되지 않고, 이동형 아암 로봇은 과수 나무의 과일을 수확하는데 사용되도록 고려될 수 있다.
종래의 산업용 로봇이 고정(설정)된 작업 환경에서 사용되는 반면, 이동형 아암 로봇은 환경에 따라 작업한다. 작업 대상물 검출, 상대 거리, 대상물의 위치 관계 및 방향을 실시간으로 요구하므로 종래의 기술에서는 대규모 장비가 불가피하였다. 하지만, 본 발명에 따른 검출 장치의 사용으로 장비가 현저히 간단해졌다.
이하 본 발명의 산업상 이용가능성을 살펴보면, 본 발명의 검출 장치는 산업용 로봇에 전통적으로 사용된 촬영 영상의 프로세싱이 대체되지 않는다. 하지만 작업 에러를 검출하고, 작업을 모니터링하는 엔드 이펙터의 불확실성에 대한 하나의 해결책이 될 수 있다.
촬영 영상의 영역과 도심이 고정된 프로파일 데이터의 시간적 변화를 모니터링하면, 위치 센서로서 검출 장치를 사용할 수 있고, 엔드 이펙터에 장착된 구동력을 제어할 수 있다. 또한 인간에 의한 가시적 확인을 실행하면서 장비를 이용하여 작업을 질적으로 행할 수 있다.
본 발명은 이동형 아암 로봇을 종래의 기술에서 대처하는 것이 어려웠던 대규모 또는 환경 응답 작업에 적용할 수 있다. 이에 다양한 응용이 기대된다. 예를 들면, 무선 LAN을 위험 지역에 사용하면 실시간으로 자유 각도에서 촬영된 영상을 원격지에서 인간이 볼수 있으므로, 영상내의 목표 대상물을 사람이 특정할 수 있고, 엔드 이펙터는 목표 대상물을 자동으로 작업할 수 있다.
본 출원은 2014년 5월 1일자 일본국 특허출원제2014-094540호의 우선권을 주장하며, 그 내용을 본 명세서에서 참고하고 있다.
1 : 광 비임 조사 장치 1a : 외부 실린더
1b : 내부 실린더 1c : 광 비임 조사 모듈
1d : 탄성 유지부재 1e : 방향 조절 볼트
1g : 홀 2 : 영상 카메라
2a : 영상 평면 2b : 가상 영상 평면
3 : 프레임 4 : 대상물 촬상 평면
4a : 가상 촬상 평면 5 : 작업 대상물
6 : 컴튜팅 장치 7 : 로봇 컨트롤러
8a : 아암 받침대 8b : 숄더 요 구동 메카니즘
8c : L자형 숄더 요 바디 8d : 숄더 피치 구동 메카니즘
8e : 숄더 피치 바디 8f : 엘보 피치 바디
8l : 엘보 피치 구동 메카니즘 8h : 리스트 롤 구동 메카니즘
8i : 핸드 8j : L자형 리스트 피치 바디
8k : 리스트 피치 구동 메카니즘 9a : 이동형 캐리지
9b : 구동 휠 9c : 커버
9d : 캐리지 커버 9e : 화물 저장소

Claims (9)

  1. 머니퓰레이터의 말단에 제공된 하나의 일안 영상 유닛과 하나의 광 비임 조사 유닛, 및 컴퓨팅 장치를 포함하는 검출 장치로서,
    상기 일안 영상 유닛의 광축은, 상기 일안 영상 유닛의 광축을 통과하는 수평 영상 평면에 투사된 광 비임 또는 수직 영상 평면에 투사된 광 비임과 교차 각도를 형성하고;
    상기 컴퓨팅 장치는, 대상물에 구획된 대상물 촬상 평면 상의 광 비임 조사점의 상기 일안 영상 유닛에 의해 촬영된 영상으로부터 상기 대상물 촬상 평면 상의 광 비임 조사점의 위치를 얻음으로써, 상기 광 비임 조사 유닛과 광 비임 조사 방향에 직교하는 상기 대상물 촬상 평면 사이의 거리 L을 컴퓨팅하도록 구성되며;
    상기 컴퓨팅 장치는:
    1) 영상 평면 상의 광 비임 조사점들의 위치 (xi, yi) (i = 0, 1, .. N); 및
    2) 상기 영상 평면 상의 광 비임 조사점들의 각각의 위치 (xi, yi)에 대한 대상물 촬상 평면과 광 비임 조사 유닛 사이의 실제 측정된 거리값 Li에 근거하여,
    미리 형성된 관계식을 참고하여, 상기 영상 평면 상의 광 비임 조사점의 얻어진 위치에 대한 대응하는 거리 L을 얻도록 더 구성되고;
    상기 컴퓨팅 장치는, 상기 대응하는 거리 L에 근거하여, 상기 광 비임 조사점과, 상기 검출 장치가 장착되고 로봇의 운동성에 근거하여 얻어진 결합점의 좌표인 핸드 좌표점 사이의 상대 거리를 얻도록 더 구성되는 것을 특징으로 하는 검출 장치.
  2. 제 1 항에 있어서,
    상기 컴퓨팅 장치는, 다항 대수 근사식 L = 10f(x) (f(x) = Σbn*xn (n = 0 ~ N))을 이용하여, 상기 영상 평면 상의 광 비임 조사점의 얻어진 위치의 x 좌표에 대응하는 거리 L을 얻도록 더 구성되는 것을 특징으로 하는 검출 장치.
  3. 제 1 항에 있어서,
    정상 방향을 가진 대상물 촬상 평면 상의 위치는 광 비임 조사점 S 및 상기 정상 방향에 의해 얻어지는 평면을 나타내는 식에 의해 계산되고;
    상기 영상 평면 상의 점 p는 상기 대상물 촬상 평면 상에 P로서 투사되며;
    상기 광 비임 조사점 S를 시발점으로 하는 상기 대상물 촬상 평면 상의 위치 P의 좌표에 관하여, 영상 카메라 좌표계로부터 로봇 좌표계로의 좌표 변환이 수행되는 것을 특징으로 하는 검출 장치.
  4. 제 3 항에 있어서,
    상기 영상 유닛의 영상 평면 상의 점 q는 임의의 정상 방향을 가진 대상물 촬상 평면인 기준 대상물 촬상 평면 상에 투사되고,
    상기 컴퓨팅 장치는,
    상기 머니퓰레이터의 동작 방향에 의해 정의되는 상기 대상물 촬상 평면 상의 방향 성분에 근거하여, 또한, 벡터 SQ와 광 비임 조사 방향 성분의 내적의 컴퓨팅 결과에 근거하여 상기 광 비임 조사점 S를 시발점으로 하는 투사점 Q의 위치를 얻도록 구성되는 것을 특징으로 하는 검출 장치.
  5. 검출 장치를 이용하여 영상 평면 상의 점을 얻을 때, 다음의 단계들:
    작업 대상물을 포함하는 촬영된 영상의 직사각형 영역에서의 휘도차에 의해 추출된 소자들로, 대상물 촬상 평면 또는 기준 대상물 촬상 평면 상에 투사된 상기 작업 대상물을 재구성하는 단계;
    분자는, 소자 그룹의 주변을 동일한 각도로 나눔으로써 얻어지는 분할 영역에서의 휘도차 소자들의 도심으로부터의 소자들의 반경 제곱의 합의 제곱근이고, 분모는 상기 반경 제곱의 합이며, 단위화를 위해 상기 분자를 상기 분모로 나눔으로써 얻어지는 몫을 포함하는 제 1 프로파일 데이터를 각도 및 크기 또는 반경을 가지는 형상 데이터로서 정의하는 단계; 및
    촬영될 때의 장치 장착 베이스 평면으로부터 광 비임 조사점까지의 거리, 휘도차의 임계값, 휘도차 소자 그룹의 종방향 크기 및 횡방향 크기, 도심의 위치, 및 휘도차 소자들의 개수에 근거하여 프로파일을 정의하는 단계를 포함하는 방법으로서,
    상기 검출 장치는, 머니퓰레이터의 말단에 제공된 하나의 일안 영상 유닛과 하나의 광 비임 조사 유닛, 및 컴퓨팅 장치를 포함하며,
    상기 일안 영상 유닛의 광축은, 상기 일안 영상 유닛의 광축을 통과하는 수평 영상 평면에 투사된 광 비임 또는 수직 영상 평면에 투사된 광 비임과 교차 각도를 형성하고;
    상기 컴퓨팅 장치는, 대상물에 구획된 대상물 촬상 평면 상의 광 비임 조사점의 상기 일안 영상 유닛에 의해 촬영된 영상으로부터 상기 대상물 촬상 평면 상의 광 비임 조사점의 위치를 얻음으로써, 상기 광 비임 조사 유닛과 광 비임 조사 방향에 직교하는 상기 대상물 촬상 평면 사이의 거리 L을 컴퓨팅하도록 구성되며;
    상기 컴퓨팅 장치는:
    1) 영상 평면 상의 광 비임 조사점들의 위치 (xi, yi) (i = 0, 1, .. N); 및
    2) 상기 영상 평면 상의 광 비임 조사점들의 각각의 위치 (xi, yi)에 대한 대상물 촬상 평면과 광 비임 조사 유닛 사이의 실제 측정된 거리값 Li에 근거하여,
    미리 형성된 관계식을 참고하여, 상기 영상 평면 상의 광 비임 조사점의 얻어진 위치에 대한 대응하는 거리 L을 얻도록 더 구성되고;
    상기 컴퓨팅 장치는, 상기 대응하는 거리 L에 근거하여, 상기 광 비임 조사점과, 상기 검출 장치가 장착되고 로봇의 운동성에 근거하여 얻어진 결합점의 좌표인 핸드 좌표점 사이의 상대 거리를 얻도록 더 구성되고,
    정상 방향을 가진 대상물 촬상 평면 상의 위치는 광 비임 조사점 S 및 상기 정상 방향에 의해 얻어지는 평면을 나타내는 식에 의해 계산되고;
    상기 영상 평면 상의 점 p는 상기 대상물 촬상 평면 상에 P로서 투사되며;
    상기 광 비임 조사점 S를 시발점으로 하는 상기 대상물 촬상 평면 상의 위치 P의 좌표에 관하여, 영상 카메라 좌표계로부터 로봇 좌표계로의 좌표 변환이 수행되는 것을 특징으로 하는 방법.
  6. 검출 장치를 이용하여 촬영된 영상에서 작업 대상물을 검출하는 방법으로서,
    장치 장착 베이스 표면으로부터 광 비임 조사점까지의 거리를 계산하는 단계;
    제 5 항에 따른 방법을 이용함으로써, 상기 거리에 근거하여 등록된 대상물의 프로파일들 중에서 가장 가까운 거리의 프로파일 및 제 1 프로파일 데이터를 선택하고, 등록된 프로파일의 종방향 및 횡방향 크기의 거리 내삽 또는 외삽을 수행함으로써 서치 유닛의 크기를 크기를 결정하며, 영상 스크린 전체에 배치된 상기 서치 유닛에서 생성된 상기 제 1 프로파일 데이터 중에서 등록된 제 1 프로파일 데이터와의 절대 차이의 최소 총합계를 가지는 서치 유닛을 선택하는 단계;
    상기 작업 대상물의 중심을 상기 서치 유닛의 휘도차 소자 그룹의 도심으로서 정의함으로써 영상 평면 상의 점을 지정하고, 로봇 좌표계의 대상물 촬상 평면 상의 방향 성분 및 광 비임 조사 방향 성분에 근거하여 상기 광 비임 조사점을 시발점으로 하는 작업 대상물의 중심의 위치를 결정하는 단계를 포함하고,
    상기 검출 장치는, 머니퓰레이터의 말단에 제공된 하나의 일안 영상 유닛과 하나의 광 비임 조사 유닛, 및 컴퓨팅 장치를 포함하며,
    상기 일안 영상 유닛의 광축은, 상기 일안 영상 유닛의 광축을 통과하는 수평 영상 평면에 투사된 광 비임 또는 수직 영상 평면에 투사된 광 비임과 교차 각도를 형성하고;
    상기 컴퓨팅 장치는, 대상물에 구획된 대상물 촬상 평면 상의 광 비임 조사점의 상기 일안 영상 유닛에 의해 촬영된 영상으로부터 상기 대상물 촬상 평면 상의 광 비임 조사점의 위치를 얻음으로써, 상기 광 비임 조사 유닛과 광 비임 조사 방향에 직교하는 상기 대상물 촬상 평면 사이의 거리 L을 컴퓨팅하도록 구성되며;
    상기 컴퓨팅 장치는:
    1) 영상 평면 상의 광 비임 조사점들의 위치 (xi, yi) (i = 0, 1, .. N); 및
    2) 상기 영상 평면 상의 광 비임 조사점들의 각각의 위치 (xi, yi)에 대한 대상물 촬상 평면과 광 비임 조사 유닛 사이의 실제 측정된 거리값 Li에 근거하여,
    미리 형성된 관계식을 참고하여, 상기 영상 평면 상의 광 비임 조사점의 얻어진 위치에 대한 대응하는 거리 L을 얻도록 더 구성되고;
    상기 컴퓨팅 장치는, 상기 대응하는 거리 L에 근거하여, 상기 광 비임 조사점과, 상기 검출 장치가 장착되고 로봇의 운동성에 근거하여 얻어진 결합점의 좌표인 핸드 좌표점 사이의 상대 거리를 얻도록 더 구성되고,
    정상 방향을 가진 대상물 촬상 평면 상의 위치는 광 비임 조사점 S 및 상기 정상 방향에 의해 얻어지는 평면을 나타내는 식에 의해 계산되고;
    상기 영상 평면 상의 점 p는 상기 대상물 촬상 평면 상에 P로서 투사되며;
    상기 광 비임 조사점 S를 시발점으로 하는 상기 대상물 촬상 평면 상의 위치 P의 좌표에 관하여, 영상 카메라 좌표계로부터 로봇 좌표계로의 좌표 변환이 수행되는 것을 특징으로 하는, 검출 장치를 이용하여 촬영된 영상에서 작업 대상물을 검출하는 방법.
  7. 검출 장치가 머니퓰레이터의 말단에 제공되고, 상기 검출 장치에 제공된 로봇 컨트롤러와 컴퓨팅 장치가 LAN에 의해 연결되며, 로봇 컨트롤러에 의해 실시간으로 머니퓰레이터를 작동시키는 동작 제어 방법으로서,
    통신을 통하여 상기 로봇 컨트롤러로부터 상기 컴퓨팅 장치로 작업 대상물을 설정하고 서치하는 명령을 출력하는 단계;
    제 6 항에 따른 촬영된 영상에서 작업 대상물을 검출하는 방법에 따라, 촬영된 영상으로부터 상기 작업 대상물의 위치를 검출하기 위해, 상기 컴퓨팅 장치에 의해 상기 작업 대상물의 프로파일 및 등록된 제 1 프로파일 데이터를 선택하는 단계; 및
    장치 장착 베이스 표면으로부터 상기 작업 대상물까지의 거리, 대상물 촬상 평면 상의 위치 및 상기 작업 대상물의 방향을 상기 로봇 컨트롤러로 회신하는 단계를 포함하고,
    상기 검출 장치는, 머니퓰레이터의 말단에 제공된 하나의 일안 영상 유닛과 하나의 광 비임 조사 유닛, 및 컴퓨팅 장치를 포함하며,
    상기 일안 영상 유닛의 광축은, 상기 일안 영상 유닛의 광축을 통과하는 수평 영상 평면에 투사된 광 비임 또는 수직 영상 평면에 투사된 광 비임과 교차 각도를 형성하고;
    상기 컴퓨팅 장치는, 대상물에 구획된 대상물 촬상 평면 상의 광 비임 조사점의 상기 일안 영상 유닛에 의해 촬영된 영상으로부터 상기 대상물 촬상 평면 상의 광 비임 조사점의 위치를 얻음으로써, 상기 광 비임 조사 유닛과 광 비임 조사 방향에 직교하는 상기 대상물 촬상 평면 사이의 거리 L을 컴퓨팅하도록 구성되며;
    상기 컴퓨팅 장치는:
    1) 영상 평면 상의 광 비임 조사점들의 위치 (xi, yi) (i = 0, 1, .. N); 및
    2) 상기 영상 평면 상의 광 비임 조사점들의 각각의 위치 (xi, yi)에 대한 대상물 촬상 평면과 광 비임 조사 유닛 사이의 실제 측정된 거리값 Li에 근거하여,
    미리 형성된 관계식을 참고하여, 상기 영상 평면 상의 광 비임 조사점의 얻어진 위치에 대한 대응하는 거리 L을 얻도록 더 구성되고;
    상기 컴퓨팅 장치는, 상기 대응하는 거리 L에 근거하여, 상기 광 비임 조사점과, 상기 검출 장치가 장착되고 로봇의 운동성에 근거하여 얻어진 결합점의 좌표인 핸드 좌표점 사이의 상대 거리를 얻도록 더 구성되는 것을 특징으로 하는 동작 제어 방법.
  8. 작업 대상물의 등록된 프로파일 데이터를 생성하는 데에 사용되는 휘도차 소자를 추출하는 직사각형 영역을 고정함으로써, 촬영된 영상에 의해 생성된 영역 고정 프로파일 데이터와 등록된 영역 고정 프로파일 데이터 사이의 절대 차이의 총합계를 계산하는 단계; 및
    등록된 프로파일의 도심을, 촬영된 영상으로부터 추출된 휘도차 소자의 도심으로서 고정하고, 제 5 항에 따른 방법을 이용하여, 작업 품질이 허용될수 있는지 여부의 결정에 관한 사항을 검출하는 단계를 포함하고,
    상기 작업 품질은 작업 전의 작업 품질 조건, 상기 작업의 진행정도, 및 작업 실패의 유무를 포함하는 것을 특징으로 하는, 촬영된 영상의 대상물과 등록된 대상물 사이의 차이를 검출하는 방법.
  9. 영역 고정 프로파일 데이터의 절대 차이의 총합계가 직사각형 영역의 대상물의 변화량을 나타내는 동작 제어 방법으로서,
    상기 대상물의 변화량을 상기 대상물의 위치의 변화량으로 정의함으로써 엔드 이펙터의 구동력을 제어하기 위해 상기 위치를 검출하는 단계; 및
    제 8 항에 따른 방법에 따라 동력을 제어함으로써 로봇 컨트롤러에 의해 작업을 수행하는 단계를 포함하는 것을 특징으로 하는 동작 제어 방법.
KR1020140183158A 2014-05-01 2014-12-18 검출 장치, 검출 방법 및 머니퓰레이터 KR101549103B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-094540 2014-05-01
JP2014094540A JP5736622B1 (ja) 2014-05-01 2014-05-01 検出装置およびこの装置を具えたマニプレータの動作制御

Publications (1)

Publication Number Publication Date
KR101549103B1 true KR101549103B1 (ko) 2015-09-01

Family

ID=52396353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183158A KR101549103B1 (ko) 2014-05-01 2014-12-18 검출 장치, 검출 방법 및 머니퓰레이터

Country Status (5)

Country Link
US (1) US9482754B2 (ko)
EP (1) EP2940422B1 (ko)
JP (1) JP5736622B1 (ko)
KR (1) KR101549103B1 (ko)
CN (1) CN105043246B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126710A (ko) * 2015-04-24 2016-11-02 한국기계연구원 가공헤드와 공작물의 상대위치 계측 시스템 및 이를 이용한 상대위치 계측 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6544907B2 (ja) * 2014-10-16 2019-07-17 株式会社トプコン 変位測定方法及び変位測定装置
US10215858B1 (en) * 2016-06-30 2019-02-26 Google Llc Detection of rigid shaped objects
CN109131428B (zh) * 2017-06-16 2023-09-26 上海铁路局 一种列车扫描检测装置和库检机器人
CN107883929B (zh) * 2017-09-22 2020-01-31 中冶赛迪技术研究中心有限公司 基于多关节机械臂的单目视觉定位装置及方法
CN109961455B (zh) 2017-12-22 2022-03-04 杭州萤石软件有限公司 一种目标检测方法及装置
WO2019151238A1 (ja) * 2018-02-02 2019-08-08 株式会社Ihi 座標系統合方法、及び柱状体を備える装置
JP2019177436A (ja) * 2018-03-30 2019-10-17 日本電産株式会社 ロボット制御装置、ロボットの関節の角度を求める方法、プログラム
CN109827524B (zh) * 2019-03-22 2020-12-04 京东方科技集团股份有限公司 光线角度测量装置及显示屏出光的光线角度测量方法
CN109916341B (zh) * 2019-04-22 2020-08-25 苏州华兴源创科技股份有限公司 一种产品表面水平倾斜角度的测量方法及系统
CN110443275B (zh) * 2019-06-28 2022-11-25 炬星科技（深圳）有限公司 去除噪声的方法、设备及存储介质
CN113591300B (zh) * 2021-07-29 2024-03-15 深圳市创想三维科技股份有限公司 3d打印文件的生成方法、装置、计算机设备和存储介质
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
CN115139289B (zh) * 2022-08-09 2023-07-28 哈尔滨工业大学 一种基于视觉的力位融合测量控制装置的测量方法
CN116336964B (zh) * 2023-05-31 2023-09-19 天津宜科自动化股份有限公司 一种物体轮廓信息的获取系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015780A (ja) * 1983-07-08 1985-01-26 Hitachi Ltd ロボット制御装置
DE3502634A1 (de) * 1985-01-26 1985-06-20 Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln Optisch-elektronischer entfernungsmesser
DE3612144A1 (de) * 1986-04-10 1987-10-15 Ralf Hinkel Verfahren und einrichtung zur bestimmung der greifposition
JPH04268404A (ja) * 1991-02-22 1992-09-24 Tokai Rika Co Ltd 変位測定装置及び形状測定装置
JPH08328624A (ja) * 1995-06-06 1996-12-13 Fanuc Ltd センサとロボットとの結合方法及びロボットシステム
DE29918341U1 (de) * 1999-10-18 2001-03-01 Tassakos Charalambos Vorrichtung zur Positionsbestimmung von Meßpunkten eines Meßobjekts relativ zu einem Bezugssystem
JP4282643B2 (ja) * 2005-08-30 2009-06-24 ダイハツ工業株式会社 歪評価装置及び歪評価方法
DE102007043632B4 (de) * 2007-09-13 2013-03-21 Kuka Roboter Gmbh Industrieroboter mit einer Entfernungsmessvorrichtung und Verfahren zum Vermessen eines Objekts
SE532222C2 (sv) * 2008-03-04 2009-11-17 Morphic Technologies Ab En robot för gripande av föremål
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
JP5239100B2 (ja) 2010-06-09 2013-07-17 川田工業株式会社 撮像面位置検出装置およびそれを具える作業ロボット

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126710A (ko) * 2015-04-24 2016-11-02 한국기계연구원 가공헤드와 공작물의 상대위치 계측 시스템 및 이를 이용한 상대위치 계측 방법
KR101684239B1 (ko) 2015-04-24 2016-12-09 한국기계연구원 가공헤드와 공작물의 상대위치 계측 시스템 및 이를 이용한 상대위치 계측 방법

Also Published As

Publication number Publication date
EP2940422A1 (en) 2015-11-04
US9482754B2 (en) 2016-11-01
JP2015212629A (ja) 2015-11-26
CN105043246B (zh) 2017-12-05
EP2940422B1 (en) 2020-07-22
US20150316648A1 (en) 2015-11-05
CN105043246A (zh) 2015-11-11
JP5736622B1 (ja) 2015-06-17

Similar Documents

Publication Publication Date Title
KR101549103B1 (ko) 검출 장치, 검출 방법 및 머니퓰레이터
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
EP2068280B1 (en) Image Distortion Correction
US7532949B2 (en) Measuring system
EP2543482A1 (en) Information processing apparatus and information processing method
EP1584426A1 (en) Tool center point calibration system
US20150207987A1 (en) Systems and Methods for Tracking Location of Movable Target Object
JP2013187862A (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JPH09105613A (ja) 非接触型の三次元測定装置および測定方法
JP2010172986A (ja) ロボットビジョンシステムおよび自動キャリブレーション方法
US5160977A (en) Position detection device
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
US6597967B2 (en) System and method for planning a tool path along a contoured surface
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
EP3974767A1 (en) Calibration method for computer vision system and three-dimensional reference object for use in same
Andreff et al. Vision‐based kinematic calibration of an H4 parallel mechanism: practical accuracies
Ravn et al. Auto-calibration in automation systems using vision
JP3516668B2 (ja) ３次元形状認識方法、装置およびプログラム
CN113479635A (zh) 一种基于ar技术的工程搬运机器人及控制方法
Rashd et al. Open-box target for extrinsic calibration of LiDAR, camera and industrial robot
Jiang et al. Target object identification and localization in mobile manipulations
CN112819870B (zh) 基于坐标数据的点云配准方法
Yang et al. Beam orientation of EAST visible optical diagnostic using a robot-camera system
US20240070910A1 (en) Processing method and processing device for generating cross-sectional image from three-dimensional position information acquired by visual sensor

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 6