KR20140011672A - 로봇 제어 방법 및 장치 - Google Patents

로봇 제어 방법 및 장치 Download PDF

Info

Publication number
KR20140011672A
KR20140011672A KR1020120078339A KR20120078339A KR20140011672A KR 20140011672 A KR20140011672 A KR 20140011672A KR 1020120078339 A KR1020120078339 A KR 1020120078339A KR 20120078339 A KR20120078339 A KR 20120078339A KR 20140011672 A KR20140011672 A KR 20140011672A
Authority
KR
South Korea
Prior art keywords
image
camera
unit
camera module
photographed
Prior art date
Application number
KR1020120078339A
Other languages
English (en)
Other versions
KR101555823B1 (ko
Inventor
김창근
Original Assignee
(주)로봇에버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로봇에버 filed Critical (주)로봇에버
Priority to KR1020120078339A priority Critical patent/KR101555823B1/ko
Publication of KR20140011672A publication Critical patent/KR20140011672A/ko
Application granted granted Critical
Publication of KR101555823B1 publication Critical patent/KR101555823B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

로봇 제어 방법 및 장치를 개시한다.
복수 개의 카메라 모듈 중 어느 하나로 피사체(Subject)에 대한 영상을 획득하는 카메라부; 획득한 상기 영상을 분석하여 특징점을 추출하는 영상 인식부; 상기 특징점의 유효성 확인 여부에 따라 상기 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 환경 관리(Configuration Manager)부; 상기 특징점의 유효성이 확인된 경우 상기 특징점에 기초하여 제어 정보를 생성하는 구동 제어부; 및 상기 제어 정보에 따라 구비된 이동수단이 움직이도록 제어하는 구동부를 포함하는 것을 특징으로 하는 로봇 제어 장치를 제공한다.

Description

로봇 제어 방법 및 장치{Method And Apparatus for Controlling Robot}
본 실시예는 로봇 제어 방법 및 장치에 관한 것이다. 더욱 상세하게는 로봇에 구비된 카메라 모듈로부터 획득되는 영상의 특징점을 추출하고 해당 특징점의 유효성 확인 여부에 따라 구비된 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하도록 제어하는 로봇 제어 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적으로 카메라를 이용하여 자기(로봇)의 현재 위치를 검출하고 그 위치정보를 이용하여 주행하고 작업을 수행하는 로봇의 경우는 카메라로 촬상할 수 있는 장소에 설치된 위치인식표지를 구비하고 있는 인공표식 방법과 천장의 일정한 형상을 표식으로 인식하여 사용하는 자연 표식 방법으로 나누어진다.
종래의 방식들은 천장의 높이에 따른 파라미터를 설정하는 방법으로 사용하게 된다. 그러나 천장의 높이와 카메라 렌즈와의 관계로 인해서 한정된 높이에만 활용할 수밖에 없다. 또한, 높이를 높게 설정하면 천장의 높이에 대한 영상 해상도가 낮아져 실제로 유효하게 활용할 수 있는 정보가 나오지 않아서 로봇의 위치 데이터에 오류를 발생시키고, 결과적으로 로봇의 오동작의 원인이 된다.
본 실시예는, 로봇에 구비된 카메라 모듈로부터 획득되는 영상의 특징점을 추출하고 해당 특징점의 유효성 확인 여부에 따라 구비된 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하도록 제어하는 로봇 제어 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 복수 개의 카메라 모듈 중 어느 하나로 피사체(Subject)에 대한 영상을 획득하는 카메라부; 획득한 상기 영상을 분석하여 특징점을 추출하는 영상 인식부; 상기 특징점의 유효성 확인 여부에 따라 상기 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 환경 관리(Configuration Manager)부; 상기 특징점의 유효성이 확인된 경우 상기 특징점에 기초하여 제어 정보를 생성하는 구동 제어부; 및 상기 제어 정보에 따라 구비된 이동수단이 움직이도록 제어하는 구동부를 포함하는 것을 특징으로 하는 로봇 제어 장치를 제공한다.
또한, 본 실시에의 다른 측면에 의하면, 카메라부에서 복수 개의 카메라 모듈 중 어느 하나로 피사체에 대한 영상을 획득하는 영상 획득 과정; 영상 인식부에서 획득한 상기 영상을 분석하여 특징점을 추출하는 특징 점 추출 과정; 환경 관리부에서 상기 특징점의 유효성 확인 여부에 따라 상기 복수 개의 카메라 모듈 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 환경 관리 과정; 구동 제어부에서 상기 특징점의 유효성이 확인된 경우 상기 특징점에 기초하여 제어 정보를 생성하는 제어 정보 생성 과정; 및 구동부에서 상기 제어 정보에 따라 구비된 이동수단이 움직이도록 제어하는 구동 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 로봇에 구비된 카메라 모듈로부터 획득되는 영상의 특징점을 추출하고 해당 특징점의 유효성 확인 여부에 따라 구비된 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하도록 제어할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 로봇 제어 장치를 개략적으로 나타낸 블럭 구성도,
도 2는 본 실시예에 따른 로봇 제어 방법을 설명하기 위한 순서도,
도 3은 본 실시예에 따른 지도 생성 과정을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 위치 추정 과정을 설명하기 위한 순서도,
도 5는 본 실시예에 따른 카메라 모듈 변경 과정을 설명하기 위한 순서도,
도 6은 본 실시예에 따른 로봇 제어 장치를 설명하기 위한 예시도,
도 7은 본 실시예에 따른 천장의 거리 산출을 설명하기 위한 예시도,
도 8은 본 실시예의 따른 영상보정용 파라미터 산출 방법을 설명하기 위한 순서도,
도 9는 본 실시예에 따른 영상 분석 방법을 설명하기 위한 순서도,
도 10은 본 실시예에 따른 영상보정용 파라미터 확정 방법을 설명하기 위한 순서도,
도 11은 본 실시예에 따른 캘리브래이션 영상을 이용한 파라미터 산출을 위한 영상보정용 파라미터 추출 과정에 대한 예시도,
도 12는 본 실시예에 따른 기준패턴마크와 영상보정용 파라미터 산출에 대한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 로봇 제어 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 로봇 제어 장치(100)는 카메라부(110), 영상입력 및 지도 생성부(120), 제어 정보 생성부(130), 영상 보정부(140), 목적지 정보 제공부(152) 및 구동부(154)를 포함한다. 본 실시예에서는 로봇 제어 장치(100)가 카메라부(110), 영상입력 및 지도 생성부(120), 제어 정보 생성부(130), 영상 보정부(140), 목적지 정보 제공부(152) 및 구동부(154)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 로봇 제어 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
카메라부(110)는 복수 개의 카메라 모듈 중 어느 하나로 피사체(Subject)에 대한 영상을 획득한다. 즉, 카메라부(110)는 복수 개의 카메라 모듈인 제 1 카메라 모듈 내지 제 N 카메라 모듈을 포함할 수 있다. 여기서, 카메라 모듈은 카메라 렌즈와 이미지 센서를 포함하는 모듈을 의미한다. 한편, 카메라부(110)는 광각렌즈 및 PTZ(Pan, Tilt, Zoom) 제어장치를 포함할 수 있다. 예컨대, PTZ 제어장치는 캘리브레이션용 영상의 중심점과 광각렌즈의 초점을 일치시키기 위한 동작을 수행할 수 있다.
카메라부(110)는 피사체에 대해 표준 초점거리로 영상을 획득하는 표준 렌즈(Standard Lens), 광각(Wide-Angle)으로 표준 초점거리보다 짧은 초점거리로 피사체에 대한 영상을 획득하는 광각 렌즈(Wide-Angle Lens), 협각(Narrow Angle)으로 표준 초점거리보다 긴 초점거리로 피사체에 대한 영상을 획득하는 협각 렌즈(Narrow Angle Lens) 중 적어도 하나 이상의 렌즈를 포함한다. 여기서, 초점거리란 카메라에서 렌즈의 중심(Optical Center)으로부터 주초점을 말한다.
이하, 카메라부(110)에 포함되는 렌즈에 대해 설명하도록 한다. 표준 렌즈는 기 설정된 표준 초점거리를 갖는 소형 렌즈를 말한다. 예컨대, 표준 렌즈에 기 설정된 기준 초점 거리는 바람직하게는 1.5 mm 정도 일 수 있으나, 반드시 이에 한정되는 것은 아니다. 광각렌즈는 표준 초점거리보다 초점거리가 짧은 소형 렌즈를 말한다. 즉, 광각 렌즈는 같은 거리에서 촬영해도 더 넓은 범위를 담을 수 있지만 상을 왜곡하는 효과도 커져서 원근감이 과장시키고 심도도 깊어진다. 이러한, 광각 렌즈는 같은 거리에서 촬영할 때 표준렌즈보다 더 넓은 범위를 촬영할 수 있다. 협각 렌즈는 표준 초점거리보다 초점거리가 긴 소형 렌즈를 말한다. 즉, 협각 렌즈는 시각의 범위가 매우 좁은 렌즈이다.
영상입력 및 지도 생성부(120)는 영상 인식부(122), 지도 생성부(124) 및 위치 정보 생성부(126)를 포함한다. 영상 인식부(122)는 카메라부(110)를 통해 획득한 영상을 분석하여 특징점을 추출한다. 이하, 영상 인식부(122)가 특징점을 추출하고, 해당 영상을 인식하는 과정에 대해 설명하도록 한다. 영상 인식부(122)는 특정점을 기초로 코너점, 삼차원 좌표축 및 중심점 중 적어도 하나 이상의 정보 추출한다. 또한, 영상 인식부(122)는 카메라부(110)를 통해 획득된 영상을 분석하여 특징점을 결정할 수 있는 요소 즉 코너, 서클, 라인 등의 요소를 검출한다. 또한, 영상 인식부(122)는 카메라부(110)를 통해 획득된 요소들 중에서 특징점으로 규정할 수 있는 부분을 분리하여 주위 공간을 파악한다. 또한, 영상 인식부(122)는 추출된 특징점을 지도상에 위치로 표시할 수 있도록 순서를 정하는 과정을 포함한다.
한편, 지도 생성부(124)는 영상 인식부(122)에서 추출한 특징점에 근거하여 지도 데이터를 생성하는 모듈을 말하며, 위치 정보 생성부(126)는 지도 생성부(124)에서 생성된 지도 데이터와 영상 인식부(122)에서 추출한 특징점에 근거하여 현재 위치 정보를 생성하는 모듈을 말한다.
제어 정보 생성부(130)는 환경 관리(Configuration Manager)부(122) 및 구동 제어부(134)를 포함한다. 환경 관리부(132)는 영상 인식부(122)에서 추출된 특징점의 유효성 확인 여부에 따라 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 영상을 획득하도록 카메라부(110)를 제어한다.
이하, 환경 관리부(132)의 동작에 대해 보다 구체적으로 설명하자면 다음과 같다. 환경 관리부(132)는 특징점의 유효성이 확인되는 경우 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하도록 카메라부(110)를 제어한다. 한편, 환경 관리부(132)는 특징점의 유효성의 미확인되는 경우 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하여 영상을 획득하도록 카메라부(110)를 제어한다.
이때, 환경 관리부(132)는 촬영중인 카메라 모듈의 FOV(Filed Of View) 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크(Land Mark)의 크기 제한 데이터 중 적어도 하나의 데이터에 근거하여 유효성을 판별한다. 여기서, 랜드마크는 획득된 영상 내에서 특정 객체를 대표하거나 구별하게 하는 표지를 말한다. 한편, 환경 관리부(132)는 FOV를 산출하기 위해서는, 피사체와의 거리와 카메라 CCD 규격(가로 또는 세로)의 곱을 F(렌즈 미리수)로 나눈값을 찍을 수 있는 길이(가로, 세로)값으로 산출할 수 있고, 피사체와의 거리는 F(렌즈 미리수)와 찍을 수 있는 길이의 곱을 카메라 CCD 규격으로 나눈값을 산출할 수 있고, 렌즈 미리수는 CCD 규격과 피사체와의 곱을 찍을 수 있는 길이로 나눈 값으로 산출할 수 있다.
즉, 환경 관리부(132)는 촬영중인 카메라 모듈의 FOV 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치를 초과하는 경우 유효성이 확인되는 것으로 인식하여 현재 촬영중인 카메라 모듈을 유지하도록 카메라부(110)를 제어한다. 또한, 환경 관리부(132)는 촬영중인 카메라 모듈의 FOV 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치 미만인 경우 유효성이 미확인되는 것으로 인식하여 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하도록 카메라부(110)를 제어한다.
구동 제어부(134)는 영상 인식부(122)에 추출된 특징점에 기초하여 제어 정보를 생성한다. 이때, 구동 제어부(134)는 추출된 특징점의 유효성이 확인된 경우 추출된 특징점에 기초하여 제어 정보를 생성한다. 또한, 구동 제어부(134)는 기 설정된 주기로 제어 정보를 생성한다. 여기서, 제어 정보는 특징점을 기초로 발견된 장애물 정보, 이동경로 정보, 이동방향 변경 정보 중 적어도 하나 이상의 정보를 포함한다.
이하, 구동 제어부(134)가 영상 인식부(122)와 연동하여 탑재된 로봇을 제어하기 위한 제어 정보를 생성하는 과정에 대해 설명하도록 한다. 구동 제어부(134)는 영상 인식부(122)에서 코너, 서클, 라인 등의 요소에 의해서 추출된 하나 이상의 정보에 기초로 제어 정보를 생성한다. 또한, 구동 제어부(134)는 영상 인식부(122)에 확인된 특징점을 기초하여 촬영된 공간에서 위치정보를 생성하고, 생성된 위치정보를 포함하는 제어 정보를 생성한다.
또한, 목적지 정보 제공부(152)는 기 설정된 목적지 정보를 구동 제어부(134)로 전송하는 모듈을 말한다. 구동 제어부(134)는 카메라부(110)를 통해 획득한 영상을 분석하고 장애물의 존재 여부를 확인하고, 영상 내에 장애물이 존재하는 경우, 영상 인식부(122)를 통해 확인된 입체면과 장애물에 대한 상대거리를 산출하며, 상대거리에 기초하여 이동방향 정보 또는 이동거리 정보를 산출하며, 이동방향 정보 및 이동거리 정보를 포함하는 제어 정보를 생성한다.
이하에서 설명할 영상 보정부(140)는 제어 정보 생성부(130)와 별개로 동작하는 모듈로서, 로봇 제어 장치(100)에 별개로 포함되는 형태로 구현될 수 있다. 또한, 전술한 제어 정보 생성부(130) 역시 영상 보정부(140)와 별개로 동작하는 모듈로서, 로봇 제어 장치(100)에 별개로 포함되는 형태로 구현될 수 있다.
영상 보정부(140)는 카메라부(110)에서 획득되는 영상을 파라미터 산출부(144)에서 산출된 영상보정용 파라미터에 의해 보정하고, 보정된 일반영상을 처리하여 제어 정보를 생성할 수 있다. 이러한, 영상 보정부(140)는 영상 분석부(142), 파라미터 산출부(144), 영상 처리부(146) 및 파라미터 저장부(148)를 포함한다.
영상 분석부(142)는 카메라부(110)에서 영상을 캘리브레이션(Calibration)한 캘리브레이션용 영상을 처리하여 적어도 하나의 단위패턴마크에 대한 특징점, 해당 캘리브레이션용 영상에서의 코너점, 삼차원 좌표축 및 중심점 중 적어도 하나를 추출한다. 여기서, 캘리브레이션이란, 입출력 시스템인 스캐너, 모니터, 프린터와 같은 장치들의 특성과 성질에 따라 색온도, 컬러 균형 및 기타 특성을 조절하여 일정한 표준으로 보이도록 하는 과정을 말한다. 즉, 캘리브레이션은 각 장비마다 색공간이 다르고 설정에 따라 색 재현성이 다르기 때문에 일정한 형태의 프로파일에 의해 장치들간의 색차를 최소로 보이도록, 최적의 상태를 만들고자 하는 과정이다.
또한, 영상 분석부(142)는 추출된 특징점으로부터 코너점을 추출할 수 있고, 추출된 코너점으로부터 삼차원 좌표축 및 중심점을 순차적으로 추출할 수 있다. 또한, 영상 분석부(142)는 영상 처리부(146)에서 보정된 일반영상을 영상 처리하여 분석할 수 있다. 파라미터 산출부(144)는 영상 분석부(142)에서 추출된 특징점을 삼차원 입체면별로 그룹핑하고, 추출된 삼차원 좌표축과 그룹핑된 특징점을 비교하여 축별왜곡량을 산출하며, 산출된 축별왜곡량에 기초하여 영상보정용 파라미터 산출한다. 여기서, 축별왜곡량은 어느 하나의 코너점을 기준으로 설정된 삼차원 좌표축에 대한 특징점의 이동거리(픽셀수)를 포함할 수 있다. 예컨대, 코너점을 기준으로 설정되는 삼차원 좌표축은 중심점으로부터 외측방향으로 이동되면서 점차적으로 큰 기울기를 갖도록 설정될 수 있다. 이러한 삼차원 좌표축의 기울기 변화는 해당 광각렌즈의 굴절률에 대응하여 설정될 수 있다.
영상 처리부(146)는 파라미터 저장부(148)에 저장된 영상보정용 파라미터를 호출하고, 카메라부(110)에서 획득되는 일반영상을 수신하여 호출된 영상보정용 파라미터에 의해 보정할 수 있다. 파라미터 저장부(148)는 파라미터 산출부(144)에서 산출된 영상보정용 파라미터를 저장할 수 있다. 일반적으로 추출되는 파라미터는 영상 보정용 파라미터 산출 과정(도 8)에서 추출되는 왜곡 파라미터, 카메라 좌표계와 월드(World) 좌표계 사이 로테이션(Rotation)과 트랜스레이션(Translation) 값을 표현하는 제공되는 엑스트린식(Extrinsic) 파리미터, 카메라가 고유하게 가지고 있는 인트린식(Intrinsic) 파라미터로 구성된다. 파라미터 저장부(148)는 영상 처리부(146)의 요청에 의해 저장된 영상보정용 파라미터를 영상 처리부(146)로 전송할 수 있다.
구동부(154)는 제어 정보에 따라 구비된 이동수단이 움직이도록 제어한다. 즉, 구동부(154)는 바람직하게는 로봇 제어 장치(100)가 탑재된 장치인 로봇의 이동수단이 제어 정보에 따라 구동되도록 하는 기능을 수행한다. 여기서, 이동수단이란 바람직하게는 로봇에 구비된 바퀴 또는 다리가 될 수 있으나 반드시 이에 한정되는 것은 아니다.
전술한, 로봇 제어 장치(100)는 바람직하게는 로봇에 탑재되어 해당 로봇을 제어할 수 있을 것이다. 여기서, 로봇이란 바람직하게는 원격제어 또는 자동제어 방식으로 이동되는 로봇을 말하나 반드시 이에 한정되는 것은 아니다. 이러한, 로봇은 구비된 센서를 이용하여 해당 로봇의 제어에 필요한 주위환경정보 및 제어정보를 생성할 수 있다. 예컨대, 로봇 제어 장치(100)가 청소 로봇에 탑재된 경우, 청소 로봇의 본체에 설치된 초음파 센서 등의 거리감지센서를 이용하여 벽이나 장애물로 둘러싸인 청소영역의 외곽을 주행하면서 청소할 영역을 결정하고, 결정된 청소영역을 청소하기 위한 청소경로를 계획하며, 구동장치의 제어를 통해 주행거리 및 현재 위치를 산출하면서 계획된 청소경로를 주행할 수 있을 것이다.
도 2는 본 실시예에 따른 로봇 제어 방법을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 구비된 카메라부(110)를 통해 복수 개의 카메라 모듈 중 어느 하나로 피사체에 대한 영상을 획득한다(S210). 단계 S210에서 로봇 제어 장치(100)는 구비된 카메라부(110)는 복수 개의 카메라 모듈인 제 1 카메라 모듈 내지 제 N 카메라 모듈을 포함할 수 있다.
로봇 제어 장치(100)는 구비된 영상 인식부(122)를 통해 카메라부(110)를 통해 획득한 영상을 분석하여 특징점을 추출한다(S220). 단계 S220에서 로봇 제어 장치(100)가 구비된 영상 인식부(122)를 통해 특징점을 추출하고, 해당 영상을 인식하는 과정에 대해 설명하자면 다음과 같다. 로봇 제어 장치(100)는 특정점을 기초로 코너점, 입력된 영상에서 직선성분을 포함하는 라인피쳐, 점을 포함하는 서클 피처 중 적어도 하나 이상의 정보 추출한다. 또한, 로봇 제어 장치(100)는 카메라부(110)를 통해 획득된 영상을 분석하여 코너, 서클, 라인 등의 요소에 의해서 추출된 하나 이상의 정보에 기초로 특징점을 결정한다. 또한, 로봇 제어 장치(100)는 카메라부(110)를 통해 확인된 특징점을 기초하여 주위의 공간을 파악한다. 로봇 제어 장치(100)는 추출된 특징점의 유효성 확인 여부에 따라 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 영상을 획득하도록 카메라부(110)를 제어한다(S230). 단계 S230에서, 로봇 제어 장치(100)는 특징점의 유효성이 확인되는 경우 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하도록 카메라부(110)를 제어할 수 있으며, 특징점의 유효성의 미확인되는 경우 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하여 영상을 획득하도록 카메라부(110)를 제어할 수 있다. 이때, 로봇 제어 장치(100)는 촬영중인 카메라 모듈의 FOV 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터에 근거하여 유효성을 판별할 수 있다. 즉, 로봇 제어 장치(100)는 촬영중인 카메라 모듈의 FOV 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치를 초과하는 경우 유효성이 확인되는 것으로 인식하여 현재 촬영중인 카메라 모듈을 유지하도록 카메라부(110)를 제어할 수 있다. 또한, 로봇 제어 장치(100)는 촬영중인 카메라 모듈의 FOV 값, 피사체와의 거리값, 획득된 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치 미만인 경우 유효성이 미확인되는 것으로 인식하여 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하도록 카메라부(110)를 제어할 수 있다.
로봇 제어 장치(100)는 구비된 구동 제어부(134)를 통해 영상 인식부(122)에 추출된 특징점에 기초하여 제어 정보를 생성한다(S240). 여기서, 제어 정보는 특징점을 기초로 발견된 장애물 정보, 이동경로 정보, 이동방향 변경 정보 중 적어도 하나 이상의 정보를 포함한다. 단계 S240에서 로봇 제어 장치(100)가 구비된 구동 제어부(134)를 통해 로봇을 제어하기 위한 제어 정보를 생성하는 과정에 대해 설명하도록 한다. 로봇 제어 장치(100)는 구비된 영상 인식부(122)를 통해 코너, 서클, 라인 등의 요소에 의해서 추출된 하나 이상의 정보에 기초로 제어 정보를 생성한다. 또한, 로봇 제어 장치(100)는 영상 인식부(122)에 확인된 피사체에 대한 상대거리를 산출하고, 산출된 상대거리에 기초하여 촬영된 공간에서 위치정보를 생성하고, 생성된 위치정보를 포함하는 제어 정보를 생성한다. 또한, 로봇 제어 장치(100)는 카메라부(110)를 통해 획득한 영상을 분석하고 장애물의 존재 여부를 확인하고, 영상 내에 장애물이 존재하는 경우, 영상 인식부(122)를 통해 확인된 지도상의 장애물에 대한 상대거리를 산출하며, 상대거리에 기초하여 이동방향 정보 또는 이동거리 정보를 산출하며, 이동방향 정보 및 이동거리 정보를 포함하는 제어 정보를 생성한다.
로봇 제어 장치(100)는 구비된 구동부(154)를 통해 제어 정보에 따라 구비된 이동수단이 움직이도록 제어한다(S250). 단계 S250에서 로봇 제어 장치(100)는 이동수단으로서 바람직하게는 로봇에 구비된 바퀴 또는 다리가 될 수 있으나 반드시 이에 한정되는 것은 아니다.
도 2에서는 단계 S210 내지 단계 S250을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S210 내지 단계 S250 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 2에 기재된 본 실시예에 따른 로봇 제어 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 로봇 제어 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 3은 본 실시예에 따른 지도 생성 과정을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 영상 획득을 위해 구비된 카메라부(110)에 초기 설정된 카메라 모듈이나 환경 관리부(132)에 의해서 선택된 카메라 모듈에 의해서 입력되는 영상을 촬영한다(S310). 단계 S310에서 영상 캘리브레이션 파라미터가 이미 입력되어 왜곡영상을 변환하는 과정을 포함하고 있다.
로봇 제어 장치(100)는 특징점 추출을 위해 카메라부(110)를 통해 입력된 영상에서 라인 피쳐(Line Feature)와 써클 피쳐(Circle Feature)를 추출하여 이진화한다(S320). 로봇 제어 장치(100)는 기 설정된 일정량 이상의 특징점이 생성되었는지의 여부를 확인한다(S330).
단계 S330에서 기 설정된 일정량 이상의 특징점이 생성되지 않는 경우, 로봇 제어 장치(100)는 나오지 않으면 현재 촬영중인 카메라 모듈로는 측정이 불가능한 상태인 것으로 인식하여 특징점 생성 오류 정보를 생성한다(S340). 로봇 제어 장치(100)는 카메라부(110)를 제어하여 구비된 복수의 카메라 모듈 중 현재 촬영 중인 카메라 이외의 다른 카메라로 변경한다(S350).
단계 S330에서 기 설정된 일정량 이상의 특징점이 생성되는 경우, 로봇 제어 장치(100)는 자연표식 영역 설정을 위해 생성된 특징점을 자연표식 영역으로 설정하여 데이터를 유효화한다(S360). 단계 S360에서 로봇 제어 장치(100)는 설정된 카메라의 정보도 같이 저장한다. 로봇 제어 장치(100)는 POI(Point Of Interest) 매칭을 위해 설정된 자연표식 영역내의 특징점을 POI로 설정하여 랜드마크화 한다(S370). 로봇 제어 장치(100)는 지도 생성을 위해 랜드마크들의 정보를 나열하여 전체 지도를 생성한다(S380).
도 3에서는 단계 S310 내지 단계 S380을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S380 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 위치 추정 과정을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 영상 획득을 위해 구비된 카메라부(110)에 초기 설정된 카메라 모듈이나 환경 관리부(132)에 의해서 선택된 카메라 모듈에 의해서 입력되는 영상을 촬영한다(S410). 단계 S410에서 영상 캘리브레이션 파라미터가 이미 입력되어 왜곡영상을 변환하는 과정을 포함하고 있다.
로봇 제어 장치(100)는 특징점 추출을 위해 카메라부(110)를 통해 입력된 영상에서 라인 피쳐(Line Feature)와 써클 피쳐(Circle Feature)를 추출하여 이진화한다(S420). 로봇 제어 장치(100)는 기 설정된 일정량 이상의 특징점이 생성되었는지의 여부를 확인한다(S430).
단계 S430에서 기 설정된 일정량 이상의 특징점이 생성되지 않는 경우, 로봇 제어 장치(100)는 나오지 않으면 현재 촬영중인 카메라 모듈로는 측정이 불가능한 상태인 것으로 인식하여 특징점 생성 오류 정보를 생성한다(S440). 로봇 제어 장치(100)는 카메라부(110)를 제어하여 구비된 복수의 카메라 모듈 중 현재 촬영 중인 카메라 이외의 다른 카메라로 변경한다(S450).
단계 S430에서 기 설정된 일정량 이상의 특징점이 생성되는 경우, 로봇 제어 장치(100)는 지도 비교를 위해 획득된 영상에서 추출된 특징점을 기 저장된 지도 데이터와 비교한다(S460). 단계 S460에서 로봇 제어 장치(100)는 획득된 영상만을 기 저장된 지도 데이터와 비교하기보다는 구비된 센서를 통한 정보 예컨대, 주행 거리 측정(Odometry) 센서, 초음파 센서, 레이져 센서 등을 통해 센싱된 값을 같이 비교할 수 있다. 로봇 제어 장치(100)는 위치 추정을 위해 구비된 센서들의 센싱된 값과 랜드마크의 데이터를 보상하여 현재 위치를 추정하고 저장한다(S470).
도 4에서는 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S470 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 카메라 모듈 변경 과정을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 영상 획득을 위해 구비된 카메라부(110)에 초기 설정된 카메라 모듈이나 환경 관리부(132)에 의해서 선택된 카메라 모듈에 의해서 입력되는 영상을 촬영한다. 로봇 제어 장치(100)는 특징점 추출을 위해 카메라부(110)를 통해 입력된 영상에서 라인 피쳐와 써클 피쳐를 추출하여 이진화한다. 로봇 제어 장치(100)는 기 설정된 일정량 이상의 특징점이 생성되는 경우, 자연표식 영역 설정을 위해 생성된 특징점을 자연표식 영역으로 설정하여 데이터를 유효화한다. 이때, 로봇 제어 장치(100)는 POI 매칭을 위해 설정된 자연표식 영역내의 특징점을 POI로 설정하여 랜드마크화 한다(S510).
로봇 제어 장치(100)는 탑재된 로봇이 기 설정된 기준 단위로 이동(S520)하는 경우, 다시 구비된 카메라부(110)를 통해 영상을 획득하고, 새롭게 획득된 영상에서 θ값을 산출한다(S530). 여기서, θ값은 새롭게 회득된 영상에서 랜드마크 이동의 픽셀에 대하여 상대적인 값을 말한다.
로봇 제어 장치(100)는 θ값이 유효한지의 여부를 확인한다(S540). 단계 S540에서 로봇 제어 장치(100)는 θ값이 산출할 없는 경우, θ값이 유효하지 않은 것으로 인식할 수 있으며, θ값이 산출되는 경우 θ값이 유효한 것으로 인식할 수 있다.
단계 S540의 확인 결과, θ값이 유효하지 않은 경우, 로봇 제어 장치(100)는 카메라부(110)를 제어하여 구비된 복수의 카메라 모듈 중 현재 촬영 중인 카메라 이외의 다른 카메라로 변경한다(S550). 즉, 단계 S540의 확인 결과 θ값을 산출할 없는 경우 θ값이 유효하지 않은 것으로 인식하여 로봇 제어 장치(100)는 카메라부(110)를 제어하여 구비된 복수의 카메라 모듈 중 현재 촬영 중인 카메라 이외의 다른 카메라로 변경할 수 있다. 한편, 단계 S540의 확인 결과, θ값이 유효한 경우, 로봇 제어 장치(100)는 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지한다(S560). 즉, 단계 S540의 확인 결과 θ값을 산출할 있는 경우 θ값이 유효한 것으로 인식하여 로봇 제어 장치(100)는 카메라부(110)를 제어하여 구비된 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지할 수 있다.
도 5에서는 단계 S510 내지 단계 S560을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S510 내지 단계 S560 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 6은 본 실시예에 따른 로봇 제어 장치를 설명하기 위한 예시도이다.
본 실시예에 따른 로봇 제어 장치(100)를 포함한 로봇을 도 6에 도시된 바와 같이 두 개의 렌즈를 포함한 것으로 가정하여 설명하도록 한다. 즉, 로봇 제어 장치(100)가 탑재된 로봇은 두 개의 렌즈를 이용하여 복잡한 구조를 가지는 공간에 대한 로봇 네비게이션에 적합한 영상은 선택하여 사용하므로 기존의 카메라 센서를 활용한 네비게이션 장치의 한계를 극복할 수 있다.
예컨대, 로봇 제어 장치(100)가 탑재된 로봇에 촬영하는 천장 영상의 SLAM(Simultaneous Localization And Map-Building)을 사용하는 대부분의 네비게이션 센서(위치인식 센서)는 단일 카메라 센서를 사용하고, 천장의 높이에 따른 파라미터를 설정하는 기술을 사용하게 된다. 여기서, SLAM는 로봇이 미확인된 환경 상태에서 이동하면서 로봇에 부착되어 있는 센서만으로 외부의 도움 없이 환경에 대한 정확한 지도를 작성하는 작업으로 자율주행을 위한 기술을 말한다.
하지만, 도 6에 도시된 바와 같이, 천장의 높이와 카메라 렌즈와의 관계로 인해서 한정된 높이에만 활용할 수 밖에 없다. 또한, 높이를 높게 설정하면 천장의 높이에 대한 영상 해상도가 낮아져 실제로 유효하게 활용할 수 있는 정보가 나오지 않아서 로봇의 위치 데이터에 오류를 발생시키고, 결과적으로 로봇의 오동작의 원인이 된다. 하지만, 본 실시예에 따른 로봇 제어 장치(100)를 탑재한 로봇의 경우 카메라부(110)에 포함된 N 개의 카메라 모듈을 이용하여 특징점 검출 유무에 따라 렌즈를 선택하여 영상을 획득할 수 있는 것이다. 즉, 본 실시예에 따른 로봇 제어 장치(100)를 탑재한 로봇은 두 개의 렌즈를 동시에 사용하는 스테레오비젼(Stereovision) 방식이 아닌 천장의 조건에 따라서 선택할 수 있는 것이다.
즉, 도 6의 (a)에 도시된 바와 같이 카메라부(110)에 포함된 렌즈가 높은 천장에 대응할 수 있는 광대역용 렌즈(협각 렌즈)와 도 6의 (b)에 도시된 바와 같이, 카메라부(110)에 포함된 렌즈가 낮은 천장에 대응할 수 있는 국소역용 렌즈(광각 렌즈)로 구분되고 광대역의 경우는 협소각 렌즈를 국소역에는 광각렌즈를 이용할 수 있다. 이러한, 카메라부(110)는 기본적으로 국소역용 카메라(광각 렌즈)를 사용하게 되고, 로봇 제어 장치(100)의 환경 관리부(132)로 위치정보 및 특징점 정보를 전달할 수 있다. 하지만, 천장의 상태가 변경되면 결과적으로 국소역용 렌즈(광각 렌즈)에서 전달될 수 있는 위치정보 및 특징점 정보가 없어지게 되므로 환경 관리부(132)는 카메라부(110)를 광대역용 렌즈(협각 렌즈)로 전환하여 상태를 점검하게 되는 것이다. 이러한 결정을 통해서 환경 관리부(132)는 천장의 상태를 점검하고, 이때에 광대역용 렌즈(협각 렌즈)를 선택할 것인지, 국소역용 렌즈(광각 렌즈)를 선택할 것인지 결정을 하게 되고, 이 결정에 의해서 카메라부(110)를 활용하게 되는 것이다.
도 7은 본 실시예에 따른 천장의 거리 산출을 설명하기 위한 예시도이다.
로봇 제어 장치(100)가 복수 개의 카메라 모듈 중 현재 촬영 중인 카메라 모듈 이외에 다른 카메라 모듈로 변경하는 동작에 대한 실시예는 기본적으로 지도 데이터를 생성하거나, 로봇의 위치 인식에 필요한 특징점이 충분하게 도출되지 않는 경우이다.
로봇 제어 장치(100)에서 사용되는 광대역과 협대역의 알고리즘에서 특징점의 형태나 영역이 다르게 설정될 수 있다. 여기서, 정확한 로봇의 위치 인식을 위해서는 사용하는 모드에 대하여 정확한 정보가 추출되어야 하는데, 카메라부(110)를 통한 입력 영상의 조건이 맞지 않으면 특징점 추출이 거의 불가능 하게 되는 것이다.
따라서, 로봇 제어 장치(100)는 특징점이 추출되지 않는 경우는 (촬영) 모드가 맞지 않는 경우이거나, 위치 인식이 자체가 불가능한 영역으로 볼 수 있다. 이러한, 로봇 제어 장치(100)는 실내를 기준으로 하고 있기 때문에 야외의 경우는 위치인식이 불가능한 영역으로 규정지을 수 있다.
로봇 제어 장치(100)에는 별도의 센서를 구비하지 않는 경우는 입력되는 영상에서 추출되는 특징점이 지도를 작성하거나, 위치를 인식하기 충분하지 못한 경우 복수 개의 카메라 모듈 중 현재 촬영 중인 카메라 모듈 이외에 다른 카메라 모듈로 변경된다.
도 7에 도시된 바와 같이, 입력되는 영상정보의 일부 구간에서는 단 한 개의 특징점만 나와도 천장 혹은 대상체에 대한 상대적 거리 측정이 가능하다.
여기서, 천장의 거리는 [수학식 1]을 통해 산출될 수 있다.
Figure pat00001
(H: 천장의 거리, d: 로봇에 구비된 주행 거리 측정센서에 의해서 측정된 값, θ: 획득된 영상에서 랜드마크 이동의 픽셀에 대하여 상대적 값)
이러한 측정 방법으로는 정확한 물리적인 측정이 부정확할 수도 있지만, 선택된 카메라 모듈의 FOV, 측정 가능한 천정의 높이값, 랜드마크의 크기 제한 데이터 등을 통해서 현재의 카메라 모듈이 적절한지 부적절한지 정도의 구분은 가능하다. 예컨대, 로봇 제어 장치(100)는 카메라부(110)의 복수 개의 카메라 모듈 중 광각카메라를 이용하고 광대역 지역에 로봇이 위치한 경우 특정한 랜드마크로부터 로봇이 약 1 m를 이동한 경우에 새롭게 획득한 영상에서의 로봇의 이동이 미미하여 θ값을 거의 산출할 수 없고, 카메라부(110)의 복수 개의 카메라 모듈 중 협각카메라를 사용하고 협대역 지역에 로봇이 위치한 경우 로봇이 약 1 m를 이동한 경우 랜드마크가 입력 영상에서 사라지는 결과가 나타날 수 있다.
한편, 로봇 제어 장치(100)에 별도의 센서를 통해서 천장의 높이를 실시간으로 측정하는 경우는 센서의 값을 통한 높이에 의해서 선택적으로 복수 개의 카메라 모듈 중 현재 촬영 중인 카메라 모듈 이외에 다른 카메라 모듈로 변경이 가능하다.
도 8은 본 실시예의 따른 영상보정용 파라미터 산출 방법을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 카메라부(110)를 통해 획득된 영상에 왜곡이 있다고 판단되는 경우, 해당 영상에 캘리브레이션(Calibration)을 수행한 캘리브레이션용 영상을 분석하여 적어도 하나의 단위패턴마크에 대한 특징점, 코너점, 삼차원 좌표축 및 중심점 중 적어도 하나의 정보를 추출한다(S810). 로봇 제어 장치(100)는 캘리브레이션용 영상에서 특징점, 코너점, 좌표축 및 중심점 중 적어도 하나의 정보 추출이 완료되면, 캘리브레이션용 영상에서 삼차원 입체면 중 적어도 하나의 면에 존재하는 기준패턴마크를 추출한다(S820).
로봇 제어 장치(100)는 기준패턴마크의 추출 및 입체면 구현 검증이 완료되면, 추출된 기준패턴마크를 포함하는 해당 입체면에 존재하는 특징점을 그룹핑하고, 추출된 삼차원 좌표축과 그룹핑된 특징점을 비교하여 축별왜곡량을 산출하며, 산출된 축별왜곡량에 기초하여 영상보정용 파라미터를 산출한다(S830). 로봇 제어 장치(100)는 산출된 영상보정용 파라미터를 적용하여 캘리브레이션용 영상을 보정할 수 있고, 보정결과를 분석하여 해당 영상보정용 파라미터의 확정여부를 판단할 수 있다(S840).
도 8에서는 단계 S810 내지 단계 S840을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 단계 S810 내지 단계 S840 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8는 시계열적인 순서로 한정되는 것은 아니다.
도 9는 본 실시예에 따른 영상 분석 방법을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 캘리브레이션용 영상의 삼차원 입체면에 존재하는 기준패턴마크들을 확인할 수 있고(S910), 확인된 기준패턴마크들의 외측선분을 추출할 수 있으며(S912), 추출된 외측선분을 따라 가상의 직선들을 연장형성할 수 있다(S914). 예를 들어, 도 11의 (D)에 도시된 바와 같이 기준패턴마크가 사각형인 경우, 외측선분은 해당 사각형을 이루는 네 개의 선분 중 해당 캘리브레이션용 영상의 외측방향에 존재하는 두 개의 선분을 선택하여 추출할 수 있다. 그리고, 가상의 직선은 해당 캘리브레이션용 영상의 중심방향으로 추출된 선분을 연장형성하여 생성할 수 있다.
로봇 제어 장치(100)는 연장형성된 가상의 직선들(도 11의 (D)에서 녹색, 하늘색 및 청색 직선)간의 교차점(도 11의 (D)에서 붉은색 사각형)을 추출할 수 있고(S916), 추출된 교차점을 지나는 축선을 삼차원 좌표축(도 11의 (C)에서 녹색직선)으로 추출할 수 있으며(S918), 추출된 축선의 교차점을 중심점으로 추출할 수 있다(S920). 예를 들어, 축선은 코너점들 중 해당 캘리브레이션용 영상의 중심방향으로 배열되는 코너점을 포함하여 추출될 수 있다.
로봇 제어 장치(100)는 추출된 캘리브레이션용 영상의 중심점을 확인할 수 있고(S922), 해당 캘리브레이션용 영상을 촬영한 촬영장치의 렌즈초점을 확인할 수 있으며(S924), 확인된 중심점과 렌즈초점을 비교할 수 있다(S926). 예를 들어, 중심점과 렌즈초점이 일치하는 경우에는(S928), 단계 'S820'를 수행할 수 있다. 다른 예로, 중심점과 렌즈초점이 일치하지 않는 경우에는 촬영장치의 렌즈의 초점축을 조정하여 과정 'S910' 내지 과정 'S928'을 반복하여 수행할 수 있다(S932).
도 9에서는 단계 S910 내지 단계 S932을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 9에 기재된 순서를 변경하여 실행하거나 단계 S910 내지 단계 S932 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 9는 시계열적인 순서로 한정되는 것은 아니다.
도 10은 본 실시예에 따른 영상보정용 파라미터 확정 방법을 설명하기 위한 순서도이다.
로봇 제어 장치(100)는 산출된 영상보정용 파라미터를 적용하여 캘리브레이션용 영상을 보정할 수 있고(S1010), 보정된 캘리브레이션용 영상의 코너점을 추출할 수 있으며(S1020), 보정전 캘리브레이션용 영상의 코너점에 대하여 영상보정용 파라미터를 적용하여(S1030) 가상의 코너점을 산출할 수 있다(S1040). 이후, 로봇 제어 장치(100)는 추출된 영상의 코너점과 산출된 가상의 코너점을 비교할 수 있고(S1050), 추출된 영상의 코너점과 산출된 가상의 코너점이 일치하는 경우, 해당 영상보정용 파라미터를 확정할 수 있다(S1060). 이상에서 설명된 영상보정용 파라미터 산출방법은, 촬영된 영상을 분석하는 장치 또는 해당 장치에 탑재된 영상처리프로세서에 의해 수행될 수 있다.
도 10에서는 단계 S1010 내지 단계 S1060을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 10에 기재된 순서를 변경하여 실행하거나 단계 S1010 내지 단계 S1060 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 10은 시계열적인 순서로 한정되는 것은 아니다.
도 11은 본 실시예에 따른 캘리브래이션 영상을 이용한 파라미터 산출을 위한 영상보정용 파라미터 추출 과정에 대한 예시도이다.
로봇 제어 장치(100)는 획득된 캘리브레이션용 영상을 분석하고 적어도 하나의 단위패턴마크에 대한 특징점, 해당 캘리브레이션용 영상에서의 코너점, 삼차원 좌표축 및 중심점 중 적어도 하나를 추출한다. 즉, 캘리브레이션용 영상은 단일형태의 패턴마크가 반복형성된 삼차원 입체면을 촬영한 영상을 포함할 수 있다. 예를 들어, 패턴마크는 도 11의 (A)에 도시된 바와 같이 서로 다른 색상을 갖는 사각형을 반복하여 형성할 수 있다. 한편, 캘리브레이션용 영상은 단일형태를 갖으며 크기가 서로 다른 단위패턴마크(도 11의 (A)에서 작은 사각형) 및 기준패턴마크(도 11의 (A)에서 큰 사각형)를 포함할 수 있다. 예를 들어, 단위패턴마크는 특징점을 추출하기 위해 사용될 수 있고, 기준패턴마크는 삼차원 입체면의 추출을 검증하기 위해 사용될 수 있다.
한편, 특징점은 도 11의 (B)에 도시된 바와 같이 캘리브레이션용 영상에 존재하는 단위패턴마크들의 꼭지점(도 11의 (B)에서 붉은점)을 추출하여 결정될 수 있고, 코너점은 추출된 꼭지점들로부터 결정될 수 있다. 예를 들어, 코너점의 추출은 도 11의 (C)에 도시된 바와 같이 추출된 꼭지점들 중 어느 하나를 기준점으로 설정하고, 설정된 기준점에 인접한 네 개의 점들을 확인한 후, 인접한 네 개의 점들 중 어느 두 개의 점과 기준점이 하나의 직선상에 위치하고, 인접한 네 개의 점들 중 다른 두 개의 점은 각각 서로 다른 직선에 의해 기준점과 연결되는 경우, 해당 기준점을 선택하여 이루어질 수 있다. 이와 같이, 어느 하나의 코너점이 추출되면, 다른 코너점들은 어느 하나의 코너점 추출에 사용된 기준점에 인접한 네 개의 점들 중 어느 두 개의 점과 기준점에 의해 만들어지는 하나의 직선을 연장한 가상의 코너라인(도 11의 (C)에서 녹색직선)에 위치하는 꼭지점을 선택하여 이루어질 수 있다.
로봇 제어 장치(100)는 캘리브레이션용 영상의 삼차원 입체면에 존재하는 기준패턴마크들을 확인할 수 있고, 확인된 기준패턴마크들의 외측선분을 추출할 수 있으며, 추출된 외측선분을 따라 가상의 직선들을 연장형성할 수 있다. 예를 들어, 도 11의 (D)에 도시된 바와 같이 기준패턴마크가 사각형인 경우, 외측선분은 해당 사각형을 이루는 네 개의 선분 중 해당 캘리브레이션용 영상의 외측방향에 존재하는 두 개의 선분을 선택하여 추출할 수 있다. 그리고, 가상의 직선은 해당 캘리브레이션용 영상의 중심방향으로 추출된 선분을 연장형성하여 생성할 수 있다.
로봇 제어 장치(100)는 연장형성된 가상의 직선들(도 11의 (D)에서 녹색, 하늘색 및 청색 직선)간의 교차점(도 11의 (D)에서 붉은색 사각형)을 추출할 수 있고, 추출된 교차점을 지나는 축선을 삼차원 좌표축(도 11의 (C)에서 녹색직선)으로 추출할 수 있으며, 추출된 축선의 교차점을 중심점으로 추출할 수 있다. 예를 들어, 축선은 코너점들 중 해당 캘리브레이션용 영상의 중심방향으로 배열되는 코너점을 포함하여 추출될 수 있다.
도 12는 본 실시예에 따른 기준패턴마크와 영상보정용 파라미터 산출에 대한 예시도이다.
로봇 제어 장치(100)는 특징점, 코너점, 좌표축 및 중심점 중 적어도 하나의 추출이 완료되면, 획득된 캘리브레이션용 영상에서 삼차원 입체면 중 적어도 하나의 면에 존재하는 기준패턴마크를 추출한다. 이때, 기준패턴마크는 도 12의 (A)에 도시된 바와 같이 캘리브레이션용 영상에서 단위패턴마크, 라인, 점 등을 제거하여 추출될 수 있다. 추출된 기준패턴마크는 해당 캘리브레이션용 영상이 삼차원 입체를 구성하는 세 개의 입체면으로 구현될 수 있는지를 검증하기 위하여 사용될 수 있다. 이러한 검증은 이하에서 처리될 일반영상을 이용하여 해당 로봇이 위치하는 주위의 공간을 정확히 파악할 수 있도록 하기 위한 것이다.
로봇 제어 장치(100)는 기준패턴마크의 추출 및 입체면 구현 검증이 완료되면, 추출된 기준패턴마크를 포함하는 해당 입체면에 존재하는 특징점을 그룹핑하고, 추출된 삼차원 좌표축과 그룹핑된 특징점을 비교하여 축별왜곡량을 산출하며, 산출된 축별왜곡량에 기초하여 영상보정용 파라미터를 산출한다. 여기서, 영상보정용 파라미터는 당업자의 요구에 따라 해당 영상인식처리방법 및 이를 이용한 로봇제어방법에 의해 다양한 변형이 가능하므로, 특정한 것에 한정하지 않음은 물론이다.
로봇 제어 장치(100)는 산출된 영상보정용 파라미터를 적용하여 캘리브레이션용 영상을 보정할 수 있고, 보정결과를 분석하여 해당 영상보정용 파라미터의 확정여부를 판단할 수 있다. 즉, 영상보정용 파라미터는 도 12의 (B)에 도시된 바와 같이 산출된 영상보정용 파라미터에 의해 보정된 캘리브레이션용 영상의 특징점과, 보정전 캘리브레이션용 영상의 특징점에 산출된 영상보정용 파라미터를 적용한 가상의 특징점을 비교하여 일치하는 경우에 확정될 수 있다. 한편, 도 12의 (C)는 확정된 영상보정용 파라미터를 이용하여 촬영된 캘리브레이션용 영상을 보정한 결과를 나타낸 것이다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 로봇 제어 장치
110: 카메라부
120: 영상입력 및 지도 생성부
130: 로봇 제어 정보 생성부
140: 영상 보정부
152: 목적지 정보
154: 구동부

Claims (18)

  1. 복수 개의 카메라 모듈 중 어느 하나로 피사체(Subject)에 대한 영상을 획득하는 카메라부;
    획득한 상기 영상을 분석하여 특징점을 추출하는 영상 인식부;
    상기 특징점의 유효성 확인 여부에 따라 상기 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 환경 관리(Configuration Manager)부;
    상기 특징점의 유효성이 확인된 경우 상기 특징점에 기초하여 제어 정보를 생성하는 구동 제어부; 및
    상기 제어 정보에 따라 구비된 이동수단이 움직이도록 제어하는 구동부
    를 포함하는 것을 특징으로 하는 로봇 제어 장치.
  2. 제 1 항에 있어서,
    상기 환경 관리부는,
    상기 특징점의 유효성이 확인되는 경우 상기 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하도록 상기 카메라부를 제어하는 것을 특징으로 하는 로봇 제어 장치.
  3. 제 1 항에 있어서,
    상기 환경 관리부는,
    상기 특징점의 유효성의 미확인되는 경우 상기 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 것을 특징으로 하는 로봇 제어 장치.
  4. 제 1 항에 있어서,
    상기 환경 관리부는,
    촬영중인 카메라 모듈의 FOV(Filed Of View) 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크(Land Mark)의 크기 제한 데이터 중 적어도 하나의 데이터에 근거하여 상기 유효성을 판별하는 것을 특징으로 하는 로봇 제어 장치.
  5. 제 4 항에 있어서,
    상기 환경 관리부는,
    상기 촬영중인 카메라 모듈의 FOV 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치를 초과하는 경우 상기 유효성이 확인되는 것으로 인식하여 현재 촬영중인 카메라 모듈을 유지하도록 상기 카메라부를 제어하는 것을 특징으로 하는 로봇 제어 장치.
  6. 제 4 항에 있어서,
    상기 환경 관리부는,
    상기 촬영중인 카메라 모듈의 FOV 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치 미만인 경우 상기 유효성이 미확인되는 것으로 인식하여 상기 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하도록 상기 카메라부를 제어하는 것을 특징으로 하는 로봇 제어 장치.
  7. 제 1 항에 있어서,
    상기 카메라부는,
    상기 피사체에 대해 표준 초점거리로 영상을 획득하는 표준 렌즈(Standard Lens);
    광각(Wide-Angle)으로 상기 표준 초점거리보다 짧은 초점거리로 상기 피사체에 대한 영상을 획득하는 광각 렌즈(Wide-Angle Lens); 및
    협각(Narrow Angle)으로 상기 표준 초점거리보다 긴 초점거리로 상기 피사체에 대한 영상을 획득하는 협각 렌즈(Narrow Angle Lens)
    중 적어도 하나 이상의 렌즈를 포함하는 것을 특징으로 하는 로봇 제어 장치.
  8. 제 1 항에 있어서,
    상기 구동 제어부는,
    기 설정된 주기로 상기 제어 정보를 생성하는 것을 특징으로 하는 로봇 제어 장치.
  9. 제 1 항에 있어서,
    상기 제어 정보는,
    상기 특징점을 기초로 발견된 장애물 정보, 이동경로 정보, 이동방향 변경 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 로봇 제어 장치.
  10. 제 1 항에 있어서,
    상기 영상 인식부는,
    상기 특정점을 기초로 코너점, 삼차원 좌표축 및 중심점 중 적어도 하나 이상의 정보 추출하며,
    상기 구동 제어부는 상기 코너점, 상기 삼차원 좌표축 및 상기 중심점 중 적어도 하나 이상의 정보에 기초로 상기 제어 정보를 생성하는 것을 특징으로 하는 로봇 제어 장치.
  11. 제 1 항에 있어서,
    상기 영상 인식부는,
    상기 영상을 분석하여 서로 다른 크기를 갖는 단위패턴마크로 구분하고 적어도 하나의 단위패턴마크에 대한 꼭지점을 추출하여 상기 특징점을 결정하는 것을 특징으로 하는 로봇 제어 장치.
  12. 제 11 항에 있어서,
    상기 영상 인식부는,
    상기 꼭지점 중 어느 하나를 기준점으로 설정하고, 설정된 상기 기준점에 인접한 점에 근거하여 상기 코너점을 결정하는 것을 특징으로 하는 로봇 제어 장치.
  13. 카메라부에서 복수 개의 카메라 모듈 중 어느 하나로 피사체에 대한 영상을 획득하는 영상 획득 과정;
    영상 인식부에서 획득한 상기 영상을 분석하여 특징점을 추출하는 특징 점 추출 과정;
    환경 관리부에서 상기 특징점의 유효성 확인 여부에 따라 상기 복수 개의 카메라 모듈 현재 촬영중인 카메라 모듈을 유지하거나 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 환경 관리 과정;
    구동 제어부에서 상기 특징점의 유효성이 확인된 경우 상기 특징점에 기초하여 제어 정보를 생성하는 제어 정보 생성 과정; 및
    구동부에서 상기 제어 정보에 따라 구비된 이동수단이 움직이도록 제어하는 구동 과정
    을 포함하는 것을 특징으로 하는 로봇 제어 방법.
  14. 제 13 항에 있어서,
    상기 환경 관리 과정은,
    상기 환경 관리부에서 상기 특징점의 유효성이 확인되는 경우 상기 복수 개의 카메라 모듈 중 현재 촬영중인 카메라 모듈을 유지하도록 상기 카메라부를 제어하는 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법.
  15. 제 13 항에 있어서,
    상기 환경 관리 과정은,
    상기 환경 관리부에서 상기 특징점의 유효성의 미확인되는 경우 상기 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하여 상기 영상을 획득하도록 상기 카메라부를 제어하는 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법.
  16. 제 13 항에 있어서,
    상기 환경 관리 과정은,
    상기 환경 관리부에서 촬영중인 카메라 모듈의 FOV 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터에 근거하여 상기 유효성을 판별하는 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법.
  17. 제 16 항에 있어서,
    상기 환경 관리 과정은,
    상기 환경 관리부에서 상기 촬영중인 카메라 모듈의 FOV 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치를 초과하는 경우 상기 유효성이 확인되는 것으로 인식하여 현재 촬영중인 카메라 모듈을 유지하도록 상기 카메라부를 제어하는 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법.
  18. 제 16 항에 있어서,
    상기 환경 관리 과정은,
    상기 환경 관리부에서 상기 촬영중인 카메라 모듈의 FOV 값, 상기 피사체와의 거리값, 획득된 상기 영상에서의 랜드마크의 크기 제한 데이터 중 적어도 하나의 데이터를 기 설정된 임계치 미만인 경우 상기 유효성이 미확인되는 것으로 인식하여 상기 복수 개의 카메라 모듈 중 다른 카메라 모듈로 변경하도록 상기 카메라부를 제어하는 과정을 포함하는 것을 특징으로 하는 로봇 제어 방법.
KR1020120078339A 2012-07-18 2012-07-18 로봇 제어 방법 및 장치 KR101555823B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120078339A KR101555823B1 (ko) 2012-07-18 2012-07-18 로봇 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078339A KR101555823B1 (ko) 2012-07-18 2012-07-18 로봇 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140011672A true KR20140011672A (ko) 2014-01-29
KR101555823B1 KR101555823B1 (ko) 2015-10-05

Family

ID=50143782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078339A KR101555823B1 (ko) 2012-07-18 2012-07-18 로봇 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101555823B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459596A (zh) * 2017-06-30 2018-08-28 炬大科技有限公司 一种移动电子设备以及该移动电子设备中的方法
KR20200138551A (ko) 2019-05-31 2020-12-10 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
CN114234978A (zh) * 2021-12-13 2022-03-25 智动时代(北京)科技有限公司 一种巡检机器人目标定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4506685B2 (ja) 2006-02-17 2010-07-21 トヨタ自動車株式会社 移動型ロボット
JP4448497B2 (ja) 2006-03-23 2010-04-07 本田技研工業株式会社 移動体の自己位置検出装置および位置検出システム
KR101140558B1 (ko) 2011-10-17 2012-05-02 국방과학연구소 자율 이동 로봇 및 이의 제어방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459596A (zh) * 2017-06-30 2018-08-28 炬大科技有限公司 一种移动电子设备以及该移动电子设备中的方法
KR20200138551A (ko) 2019-05-31 2020-12-10 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
CN114234978A (zh) * 2021-12-13 2022-03-25 智动时代(北京)科技有限公司 一种巡检机器人目标定位方法

Also Published As

Publication number Publication date
KR101555823B1 (ko) 2015-10-05

Similar Documents

Publication Publication Date Title
CN110503040B (zh) 障碍物检测方法及装置
US9672630B2 (en) Contour line measurement apparatus and robot system
CN108692719B (zh) 物体检测装置
WO2019138678A1 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
EP3032818A1 (en) Image processing device and markers
CN105844692B (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
JP6524529B2 (ja) 建築限界判定装置
CN113358231B (zh) 红外测温方法、装置及设备
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5515018B2 (ja) 環境認識装置
KR101555823B1 (ko) 로봇 제어 방법 및 장치
JP5267100B2 (ja) 運動推定装置及びプログラム
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
CN117058236A (zh) 一种基于多目视觉系统自切换的目标识别定位方法
JP2010009236A (ja) 平面領域推定装置及びプログラム
KR20140053712A (ko) 센서 융합에 의한 실내로봇용 위치인식 방법
JP4101478B2 (ja) 人体端点検出方法及び装置
KR20120108277A (ko) 자연랜드마크와 인공랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR101305405B1 (ko) 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR20140032113A (ko) 자연랜드마크 및 인공랜드마크와 엔코더를 이용한 지능형 이동로봇의 위치인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 5