KR20210005928A - 모바일 로봇용 비전 시스템 - Google Patents

모바일 로봇용 비전 시스템 Download PDF

Info

Publication number
KR20210005928A
KR20210005928A KR1020207034167A KR20207034167A KR20210005928A KR 20210005928 A KR20210005928 A KR 20210005928A KR 1020207034167 A KR1020207034167 A KR 1020207034167A KR 20207034167 A KR20207034167 A KR 20207034167A KR 20210005928 A KR20210005928 A KR 20210005928A
Authority
KR
South Korea
Prior art keywords
vision system
mobile robot
lens module
robot
light
Prior art date
Application number
KR1020207034167A
Other languages
English (en)
Other versions
KR102445785B1 (ko
Inventor
에스테베스 미구엘 로뻬스
가셈 니아 호세인 파리드
마르코 젠티
데이비드 앤드류 리처즈
데이비드 핀레이 와이어트
Original Assignee
다이슨 테크놀러지 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다이슨 테크놀러지 리미티드 filed Critical 다이슨 테크놀러지 리미티드
Publication of KR20210005928A publication Critical patent/KR20210005928A/ko
Application granted granted Critical
Publication of KR102445785B1 publication Critical patent/KR102445785B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/0085Cleaning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0054Cooling means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • G05D2201/0215
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

모바일 로봇용 비전 시스템으로서, 비전 시스템은 렌즈 모듈; 복수 개의 광원을 포함하는 조명 시스템; 및 렌즈 모듈 홀더를 포함한다. 렌즈 모듈 홀더는 상기 렌즈 모듈 주위에 위치되고, 조명 시스템으로부터 방출된 광을 렌즈 모듈로부터 멀어지게 반사하기 위한 반사면을 포함한다.

Description

모바일 로봇용 비전 시스템
본 발명은 모바일 로봇용 비전 시스템에 관한 것이다.
진공 청소기 로봇과 같은 모바일 로봇은 주행하는 것과 그들의 환경을 이해하는 것을 돕기 위한 비전 시스템을 점점 많이 채용하고 있다. 비전 시스템을 사용하면, 로봇이 위치한 환경을 더 잘 이해하게 하거나, 이동 경로가 구성되게 하는 것과 같은 여러 이점을 가진다. 그러나, 비전 시스템을 사용하는 한 가지 단점은 저조도 환경에서는 잘 동작하지 않는다는 것이다. 결과적으로, 비전 시스템을 사용하는 모바일 로봇은 흔히, 비전 시스템에 의해 캡쳐되는 이미지의 품질을 개선하기 위한 조명 시스템 또는 헤드라이트가 필요하다.
조명 시스템이 있는 로봇의 일 예가 GB2529846에 기술된다. 이러한 예에서, 모바일 로봇은 로봇의 측면에 있는 핸들 내에 위치된 조명을 포함한다.
모바일 로봇에 대한 비전 시스템의 많은 이점 때문에, 비전 시스템을 개선하거나 또한 조명 시스템을 재선하려는 시도가 모바일 로봇 애플리케이션에서 이루어지고 있다.
본 발명의 제 1 양태는, 모바일 로봇용 비전 시스템을 제공하는데, 비전 시스템은 렌즈 모듈; 복수 개의 광원을 포함하는 조명 시스템; 및 렌즈 모듈 홀더를 포함한다. 렌즈 모듈 홀더는 상기 렌즈 모듈 주위에 위치되고, 조명 시스템으로부터 방출된 광을 렌즈 모듈로부터 멀어지게 반사하기 위한 반사면을 포함한다.
결과적으로, 렌즈 홀더는 조명 렌즈 모듈로부터 멀어지게 광을 지향시키는 역할을 하고, 조명 시스템에 의해 제공되는 이러한 조명은 렌즈 모듈에 직접적으로 진입할 수 없는데, 이것이 비전 시스템이 정확하게 동작하는 것을 방해할 수 있다.
비전 시스템은 비전 시스템을 상기 모바일 로봇에 장착하기 위한 비전 시스템 마운트를 더 포함할 수 있고, 상기 비전 시스템 마운트는 상기 복수 개의 광원이 통과하여 돌출되는 복수 개의 홀을 포함할 수 있다.
비전 시스템 마운트는 복수 개의 광원으로부터 열을 끌어들이기 위한 히트 싱크를 포함할 수 있다. 그러면 광원이 과열될 위험을 줄여서 광원의 수명을 연장하는 데에 도움이 될 수 있고, 또한 광원으로부터의 열이 렌즈 모듈을 잠재적으로 손상시키는 것을 막는다.
복수 개의 광원은 렌즈 모듈 주위에 링 형상으로 배치될 수 있다. 이것은 비전 시스템의 크기를 줄이는 것을 돕는, 특히 공간 효율적인 구성이다.
렌즈 모듈은 렌즈 모듈 홀더 위로 돌출될 수 있고, 복수 개의 광원 각각은 렌즈 홀더 모듈의 반사면 아래에 위치될 수 있다. 결과적으로, 렌즈 모듈은 렌즈 모듈 홀더에 의해 제한되지 않는 가능한 최적의 가시 범위를 획득하고, 복수 개의 광원에게는 렌즈 홀더 모듈에 의해서 손상으로부터의 보호 수준이 제공된다.
반사면은 반-포물면 토로이드(semi-parabolic toroid) 미러일 수 있다.
핀(fin)이 복수 개의 광원 각각 사이에 제공될 수 있다. 이러한 핀들은 복수 개의 광원에 의해 생성되는 광을 분할하고, 따라서 광이 더 큰 지향성을 갖게 하는 역할을 할 수 있다. 각각의 핀은 전술된 비전 시스템 마운트 상에 제공될 수 있다.
비전 시스템은 투광성 커버를 더 포함할 수 있고, 투광성 커버는 조명 시스템을 덮고, 렌즈 모듈이 통과하여 돌출되는 개구의 상단을 통해 개구를 형성할 수 있다. 결과적으로, 투광성 커버는 이에 의해 생성되는 조명을 차단하거나 막지 않고 조명 시스템을 보호한다.
렌즈 모듈 홀더는 모바일 로봇의 보디의 상면 위로 돌출될 수 있다. 결과적으로, 렌즈 모듈은, 로봇의 보디에 의해 한정되지 않는 가능한 최고의 가시 범위를 획득한다. 또한, 반사면으로부터 반사된 광은 로봇의 보디의 상면 위로 방출될 수 있다.
복수 개의 광원 각각은 모바일 로봇의 보디의 상면 아래에 위치될 수 있다. 그러면 광원에 대해서 손상에 대한 견실한 보호 레벨이 제공된다.
렌즈 모듈은 광을 이미지 센서 상에 포커싱하기 위한 복수 개의 렌즈를 포함할 수 있다.
8 개의 광원이 존재할 수 있고, 각각의 광원은 독립적으로 제어가능할 수 있다. 8 개의 광원은 제어하기에 너무 복잡하지 않으면서 조명에 대해서 높은 방향성 제어 수준을 허용한다.
본 발명의 제 2 양태는 전술된 문장 중 임의의 하나의 비전 시스템을 포함하는 모바일 로봇을 제공한다.
본 발명이 더 용이하게 이해될 수도 있게 하기 위하여, 본 발명의 실시예는 이제 후속 첨부 도면들을 참조하여 예를 들어서 설명될 것이다:
도 1은 모바일 로봇을 도시한다;
도 2는 도 1의 모바일 로봇의 비전 시스템의 분해도를 도시한다;
도 3은 도 2의 비전 시스템을 포함하는 도 1의 모바일 로봇의 일부의 단면을 도시한다;
도 4는 비전 시스템을 위한 렌즈 모듈의 단면을 도시한다;
도 5는 도 2 및 도 3의 비전 시스템의 일부의 단면을 도시한다;
도 6은 도 2 및 도 3의 비전 시스템으로부터의 비전 시스템 마운트를 도시한다;
도 7a는 도 2 및 도 3의 비전 시스템에 의해 캡쳐되는 구면 이미지의 표현이고, 도 7b는 펼쳐진 후의 도 7a의 이미지의 표현이다;
도 8은 PCB 상의 센서 마운트를 도시한다;
도 9는 도 8의 센서 마운트의 하부도를 도시한다;
도 10은 도 9의 센서 마운트의 단면도를 도시한다;
도 11은 모바일 로봇의 개략도를 도시한다;
도 12는 모바일 로봇을 위한 조명 알고리즘의 입력과 출력을 보여주는 흐름도이다;
도 13은 도 12의 조명 알고리즘의 단계들을 보여주는 흐름도이다; 그리고
도 14는 도 13의 조명 알고리즘의 일부의 대안적인 단계들을 보여주는 흐름도이다;
도 1은 본체(2) 및 분리 장치(4)를 포함하는 로봇 진공 청소기(1)를 도시한다. 본체(2)는 연속적인 탱크 트랙의 형태인 트랙션 유닛(5) 및 브러시바를 수용하는 청소기 헤드(6)를 포함하는데, 청소기 헤드를 통해서 더러운 공기가 로봇 진공 청소기(1) 내로 들어가고 분리 장치(4)로 전달될 수 있다. 분리 장치(4) 내에서 공기에서 먼지가 제거되면, 이것은 분리 장치(21) 밖으로 전달되고, 공기흐름을 생성하기 위한 모터와 팬을 수용하는 본체(2)를 통과한다. 그러면, 공기가 로봇(1)으로부터 출구 배기구를 통해 방출된다. 비전 시스템(8)은 모바일 로봇(1)의 본체(2)의 상면(3)으로부터 돌출된다. 비전 시스템(8)은 카메라(12) 및 조명 시스템(14)을 포함한다. 카메라(12)는 무지향성 카메라이고, 로봇(1) 주위의 환경의 360ㅀ 뷰를 캡쳐할 수 있다. 카메라(12)는, 예를 들어 어안 렌즈 카메라 또는 파노라마 환형 렌즈(PAL) 카메라일 수 있다.
로봇(1)은, 소프트웨어 및 로봇(1)의 전자 장치 내에 구현되는 제어 시스템을 포함하는데, 이것은 비전 시스템(8)에 의해 캡쳐된 이미지를 처리하기 위해 동시 국지화 및 매핑(simultaneous localisation and mapping; SLAM) 기법을 사용할 수 있고, 로봇(1)이 국지적 환경을 이해하고 해석하며, 자율적으로 돌아다니게 한다. 또한, 제어 시스템은 범프 센서와 같이 로봇(1)에 제공된 여러 다른 센서로부터 수집된 정보를 사용하고, 또한 위치 민감 디바이스(PSD) 및/또는 비행 시간(ToF) 센서와 같은 여러 위치 센서를 포함한다. PSD 및/또는 ToF 센서는 분리 장치(4) 옆에 있는 센서 포드(sensor pod; 10) 내에 수납된다. 센서 포드에는, PSD 및/또는 ToF 센서가 적외선(IR) 광과 같은 광을 방출하고 수광할 수 있는 투명 커버가 제공된다. 센서 포드(10)는, 장애물이 로봇의 정면에서만 검출되는 것이 아니라 측면을 향해서도 검출될 수 있도록 상이한 방향으로 지향되는 센서들의 어레이를 수용한다. 낭떠러지 센서라고 불리는 하향 센서들은 바닥면의 꺼짐도 검출할 수 있어서, 로봇이 계단과 같은 꺼짐 부분을 넘어가기 전에 중지하거나 및/또는 그 이동 방향을 조절할 수 있게 한다. 일부 로봇들이 물리적 접촉 센서로서 이동가능한 범퍼부를 사용하지만, 이러한 로봇(1)은 장애물과의 물리적인 접촉을 등록하기 위하여 별개의 새시와 본체(2)의 몸체부 사이의 상대적인 이동을 검출하는 범프 센서를 가진다.
도 2는 모바일 로봇(1)의 비전 시스템(8)의 분해도를 도시한다. 비전 시스템(8)의 다양한 부분들은 X로 마킹된 점선 축을 따라서 축방향으로 서로로부터 분리되었다. 비전 시스템(8)은 렌즈 모듈(20), 렌즈 모듈 홀더(22), 비전 시스템 마운트(24), 이미지 센서(31)가 제공되는 인쇄 회로 보드(PCB; 30), 센서 마운트(32), 발광 다이오드(LED; 27)의 형태인 복수 개의 광원이 제공되는 제 2 PCB(28), 및 투광성 커버(34)를 포함하는, 카메라(12) 및 조명 시스템(14) 모두를 형성하는 여러 컴포넌트들을 포함한다. 렌즈 모듈(20)은 어안 렌즈 모듈이고, 센서 마운트(32)에 의하여 이미지 센서(31)에 장착된다. 센서 마운트(32)는 스크류(33)를 통해 이미지 센서(31) 위의 PCB(30)에 장착된다. 센서 마운트(32)는 렌즈 모듈(20)을 이미지 센서(31)와 정렬하기 위하여 이미지 센서(31)와 렌즈 모듈(20) 사이에 설치되는 기계적 컴포넌트이다. 이미지 센서(31)는 카메라에서 통상적으로 사용되는 것들 중 하나일 수 있고, 예를 들어 이미지 센서(31)는 전하 결합 소자(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 센서일 수 있다. 센서 마운트(32) 이외의 대한 센서 마운트의 대안적인 실시예는 도 8, 도 9, 및 도 10에 관련하여 후술된다.
여덟 개의 LED(27)가 PCB(28) 상에 링 형상으로 배치된다. PCB(28)는, LED(27)가 렌즈 모듈(20) 주위에서 링 형태로 배치되도록 렌즈 모듈(20)이 통과해서 연장될 수 있는 홀을 형성한다. 물론, LED의 개수가 달라질 수 있고, 비전 시스템은 비전 시스템의 조명 요건에 의존하여 두 개 이상의 LED(27)를 포함할 수 있다는 것이 이해될 것이다. LED는 전자기 스펙트럼의 가시광선 부분에서 광을 생성하지만, 다른 실시예에서는 스펙트럼의 다른 구역, 예를 들어 적외선 또는 근적외선 광에서 광을 생성할 수 있다.
비전 시스템 마운트(24)는 조립된 비전 시스템(8)을 모바일 로봇(1)에 장착하도록 사용된다. 비전 시스템 마운트(24)는 여덟 개의 LED(27)가 통과하여 돌출될 수 있는 여덟 개의 홀(26)을 포함한다. 홀(26)의 개수가 LED(26)의 개수에 맞도록 변경될 수 있다는 것이 이해될 것이다. 비전 시스템 마운트(24)는, 인접하는 홀(26)의 각각의 쌍 사이에 하나의 핀(fin; 25)이 위치되도록 위치되는 복수 개의 핀(25)을 더 포함한다. 핀(25)은 LED(27)에 의해 생성되는 광을 분할하는 역할을 하여, 광이 더 방향성을 가지게 한다. 비전 시스템 마운트(24)는 마그네슘과 같은 금속으로 형성되고, LED(27)로부터 열을 끌어들이는 히트싱크의 역할을 수행한다. 그러면 LED가 과열될 위험을 줄여서 LED(27)의 수명을 연장하는 데에 도움이 되고, LED(27)로부터의 열이 렌즈 모듈(20)을 손상시키는 것을 막는다. 히트싱크로서의 비전 시스템 마운트(24)의 효용성을 증가시키기 위해서, 히트 싱크(29)는 히트싱크 마운트(24a)를 통해 비전 시스템 마운트(24)에 고정된다.
렌즈 모듈 홀더(22)는 렌즈 모듈(20) 주위에 맞춤되고, 렌즈 모듈(20)을 비전 시스템 마운트(24)에 장착시키는 역할을 수행한다. 렌즈 모듈 홀더(22)의 외부로부터 방사형으로 외향 돌출되는 플랜지의 아래에는 반사면(23)이 제공된다. 반사면(23)은 LED(27)로부터 방출된 광을 외부로 반사시키는 역할을 수행하는 반-포물면 토로이드 미러를 형성하는데, 이에 대해서는 더 상세하게 후술될 것이다.
투광성 커버(34)는 렌즈 모듈 홀더(22)의 상단부와 렌즈 모듈(20)가 돌출될 수 있는 개구부(35)를 형성한다. 따라서, 투광성 커버(34)는 조명 시스템(14), 비전 시스템(8)의 일부를 커버하고 보호하지만, 카메라(12)는 가능한 높은 품질의 이미지를 캡쳐하도록 노출되게 한다.
도 3은 비전 시스템(8) 및 모바일 로봇(1)의 일부의 단면도를 도시한다. 비전 시스템(8)은 모바일 로봇(1)의 상면(3) 위로 부분적으로 돌출된다. 이미지 센서(31)는 로봇의 상면(3) 아래에 위치되고, 렌즈 모듈은 이미지 센서(31)의 상면으로부터 비전 시스템(8)의 가장 높은 곳까지 연장된다. 어안 렌즈 모듈의 일 예의 단면이 도 4에 도시된다. 복수 개의 렌즈(42, 44, 46, 48)가 렌즈 모듈 보디(40) 내에 홀딩된다. 도 3에서 LED(27)는 모바일 로봇의 상면(3) 아래에 위치된다는 것을 알 수 있고, 그러면 LED와 PCB가 손상을 입는 것을 방지하는데 도움이 된다. 그러나, LED(27)로부터 방출된 광은 투광성 커버(35)를 통해 상향 그리고 외향 지향되어, Y로 표시되는 구역에 의해 표시되는 바와 같은 모바일 로봇 주위의 환경을 조명한다.
도 5는 렌즈 모듈 홀더(22) 상의 반사면(23)이 LED(27)로부터의 광을 렌즈 모듈로부터 멀어지는 방향으로 지향시키는 역할을 하는 반-토로이달 포물면 거울이 되는지를 보여준다. 결과적으로, LED(27)로부터의 광은 렌즈 모듈로 직접 들어갈 수 없게 되고, 그러면 과도한 휘도의 비전 시스템을 효과적으로 차단하는 역할을 할 것이다. 반사면(23)은 렌즈 모듈 홀더(22)의 외부로부터 방사상으로 외향 돌출되는 플랜지의 하부에 제공되고, 플랜지는 LED(27)로부터의 광이 직접적으로 상향 이동할 수 없도록, LED(27)를 넘어서 방사상으로 외향 연장된다. LED(27)로부터의 광이 직접적으로 상향 이동할 수 없다면, 모바일 로봇 위의 천장에 조명이 집중되는 명점(bright spot)이 생길 것이고, 이것도 역시 과도한 휘도를 가진 비전 시스템을 효과적으로 차단하는 역할을 할 것이다. 그 대신에, 예시적인 조명 광선(U V 및 W)는, 반사면(23)이 광을 모바일 로봇(1) 주위의 환경으로 어떻게 방사상 외향으로 반사하는지를 보여준다.
또한, 도 3에 도시된 바와 같이 반사면(23)이 모바일 로봇의 상면(3) 약간 위로 연장되기 때문에, LED(27)로부터의 광은 로봇(1)의 상면(3)과 평행한 수평 방향으로 연장될 수 있다. 결과적으로, 조명 시스템은 모바일 로봇의 측면에 있는 구역들도 조명할 수 있다.
도 6은 비전 시스템 마운트(24) 및 홀(26) 각각을 통해 돌출되는 LED(27)의 상면도를 도시한다. LED 각각은 특정 조명 구역(A-H)을 조명하는 역할을 수행하는 광을 생성한다. 예를 들어, LED(27A)는 조명 구역 A를 조명하고, LED(27B)는 B로 명명된 조명 구역을 조명하는 식이다. 이러한 세그먼테이션 효과가 핀(25)에 의해 강조된다. 핀(25)의 상단부는, 비전 시스템(8)이 조립될 때 핀의 상단부가 반사면의 곡선형을 따르게 하도록 성형되고, 따라서 그 조명 구역 밖으로 나가는 임의의 특정 LED로부터 임의의 광 누설을 감소시킨다. LED(27A-H) 각각은 개별적으로 제어될 수 있고, 따라서 조명은 필요할 경우에만 환경의 일부에 제공될 수 있다. 그러면 임의의 낭비되는 파워를 최소화하는 데 도움이 되고, 따라서 제품의 배터리 수명이 연장된다. 배터리 수명을 연장하면 모바일 로봇이 더 긴 실행 시간을 가지게 되고, 재충전을 위해서 충전 스테이션으로 돌아갈 필요가 생기기 전에 더 많은 바닥면적을 커버할 수 있게 된다. 조명 구역(A-H)은 합쳐져서 모바일 로봇(1) 주위의 전체 360ㅀ에 걸쳐 연장되는 전체 조명 구역이 된다.
일부 실시예에서는, 제어를 단순화하기 위해서 LED들이 서로 그룹화될 수 있다. 예를 들어, LED(27A 및 27B)는 제 1 그룹이 되고, LED(27CA 및 27D)는 제 2 그룹이 되며, LED(27E 및 27F)는 제 3 그룹이 되고, LED(27G 및 27H)는 제 4 그룹이 된다. 그러면, 이러한 그룹들은 독립적으로 제어가능할 수 있다. 그러면, 여덟 개의 LED(27)가 개별적으로 제어가능한 8분 조명 제어와 달리, 4분 조명 제어 기능이 있는 로봇이 제공된다. 비전 시스템 및 모바일 로봇의 요건에 따라서, LED의 다른 그룹 및 개수가 선택될 수 있다는 것이 이해될 것이다.
도 7a는 비전 시스템(8)에 의해 캡쳐된 구상 이미지(70)의 표현을 보여준다. 이미지(70)는 LED 조명 구역(A-H)에 대응하는 여러 개의 세그멘트(72)로 세그멘트화될 수 있다. 처리 중에, 구상 이미지(70)는 분할되고 화살표(Q 및 R)에 의해 표시되는 것과 같이 펼쳐지며, 모바일 로봇(1) 주위의 전체 360ㅀ 뷰를 보여주는 펼쳐진 사각 이미지(74)가 얻어진다. 그러면, 구상 이미지(70) 내의 세그멘트들(72)은 사각 이미지(74) 내의 세그멘트들(76)에 대응한다. 로봇(1)이 동작할 때, 조명 시스템(14)은 A-H로 명명된 세그멘트들에 대응하는, 카메라에 의해 캡쳐된 환경의 구역들 중 임의의 것을 밝게 비추기 위해서 사용될 수 있다. 예를 들어, 로봇 전방의 구역이 어두우면, 예컨대 로봇이 잘 밝혀진 방으로부터 어두운 방으로 이동하고 있으면, 전방을 바라보는 세그멘트들(A 및 B)이 이미지(70 및 74)에서 어둡게 나타날 것이다. 따라서, 로봇의 제어 시스템은, A 및 B 세그멘트들 내에 조명을 더 하도록 LED(27A 및 27B)로 가는 파워를 증가시킬 수 있고, 로봇은 계속 진행할 수 있다. 조명 시스템의 제어에 대한 더 상세한 내용은 도 11 내지 도 14와 관련하여 후술될 것이다.
도 8은 PCB(80) 상의 이미지 센서에 장착되는 센서 마운트(82)의 다른 실시예를 보여준다. 도 2에서 전술된 센서 마운트(32)는 스크류(33)에 의해서 이미지 센서(31) 및 PCB(30)에 장착되었다. 스크류는 이미지 센서(31) 및 센서 마운트(32), 및 따라서 렌즈 모듈을 잘 정렬된 상태로 유지하는 것을 돕는다. 그러나, 도 8의 다른 실시예에서는, 센서 마운트(82)를 이미지 센서에 장착하기 위해서 스크류가 사용되지 않는다. 따라서, 센서 마운트(82)의 다른 실시예는 수동 정렬 센서 마운트(82)라고 불릴 수 있다. 수동 정렬 센서 마운트(82)에는 렌즈 또는 렌즈 모듈과 결속될 수 있는 결속부(83)가 제공된다. 이러한 실시예에서, 렌즈 또는 렌즈 모듈이 수동 정렬 센서 마운트(82) 상에 스크류결합될 수 있도록, 결속부(83)에는 렌즈 또는 렌즈 마운트 상의 유사한 스크류 홈에 맞는 스크류 홈이 제공된다.
수동 정렬 센서 마운트(82)는 이미지 센서와 렌즈 또는 렌즈 마운트 사이에 설치되는 기계적 컴포넌트이다. 전술된 센서 마운트(32)의 경우에서와 같이, 수동 정렬 센서 마운트(82)의 목적은 렌즈 또는 렌즈 모듈 및 이미지 센서를 정렬하는 것이지만, 이러한 실례에서 수동 정렬 센서 마운트(82)는 기계적 수단만으로, 그리고 예를 들어 스크류에 의한 외부 입력이 없이, 중앙의 포커싱된 이미지를 이미지 센서 상에 생성해야 한다. 또한, 센서 마운트(82)는 포커싱을 위해 필요한 상대 운동을 허용해야 한다.
도 9는 수동 정렬 센서 마운트(82)의 아래를 보여주고, 도 10은 도 9에 표시된 라인 P-P에 걸친 수동 정렬 센서 마운트의 단면을 보여준다. 이미지 센서의 측면에 작용하는 제 1 가변 플라스틱 요소(84) 덕분에 X-축 정렬이 얻어진다. 이것은, 수동 정렬 센서 마운트(82)의 보디 내에 통합되는 제 1 수직 데이텀(perpendicular datum; 86)에 대해 이미지 센서를 누르는, 화살표 M으로 표현되는 힘을 생성한다. 유사하게, 이미지 센서의 다른 측면에 작용하는 제 2 가변 플라스틱 요소(84) 덕분에 Y-축 정렬이 얻어진다. 이것은, 수동 정렬 센서 마운트(82)의 보디 내에 역시 통합되는 제 2 수직 데이텀(89)에 대해 이미지 센서를 누르는, 화살표 N으로 표현되는 힘을 생성한다. 이미지 센서를 두 개의 수직 데이텀(86, 89)에 대해 누름으로써, 이것은 센서 축을 수동 정렬 센서 마운트(82)의 축에 정렬시킨다.
Z 축과 관련하여, 수동 정렬 센서 마운트(82)는 이미지 센서의 상단층을 형성하는 이미지 센서 패키지 글래스의 상부에 놓이는데, 이것을 제 3 데이텀으로 사용하고, 렌즈의 "피치" 및 "요" 축에 대응하는 렌즈의 광축과 글래스의 법선 벡터가 정렬되게 한다. "롤" 축은 포커싱을 위해서 자유롭게 회전하게 남겨진다. 이러한 반응의 세트가 렌즈, 센서 마운트, 및 이미지 센서 패키지의 제조 공차까지 최소화되는 공차를 가지는 정렬을 생성한다.
전술된 바와 같이, 수동 정렬 센서 마운트(82)는 수동 기계적 수단만으로, x 및 y 축, 그리고 또한 피치 및 롤에서 렌즈와 이미지 센서가 정렬되게 한다. 수동 정렬 센서 마운트(82)의 추가적인 이점은, 제 1 및 제 2 가변 플라스틱 요소의 탄성 때문에, 수동 정렬 센서 마운트가 컴포넌트들 중 어느 것에도 손상을 입히지 않으면서 이미지 센서에 탈착될 수 있다는 것이다.
도 11은 모바일 로봇(1)의 일 실시예의 개략도를 도시한다. 조명 제어 알고리즘은 모바일 로봇(1)의 제어 시스템(90) 내에서 수행된다. 제어 시스템(90)은 프로세서(91), 이미지 처리 유닛(92), 및 네비게이션 유닛(93)을 포함한다. 제어 시스템은 모바일 로봇(1)의 다른 시스템의 제어를 위해 도 11에 도시되지 않는 다른 유닛을 포함할 수 있고, 예를 들어 제어 시스템은 모바일 로봇에 의해 수행되는 진공 청소 동작과 같은 태스크를 제어하기 위한 태스크 제어 유닛을 더 포함할 수 있다.
비전 시스템(8)은 카메라(12) 및 조명 시스템(14)을 포함한다. 전술된 바와 같이, 카메라(12)는 모바일 로봇(1) 주위의 구역의 이미지를 캡쳐할 수 있다. 예를 들어, 카메라(12)는 천정의 이미지를 캡쳐하기 위한 상향 지향 카메라, 로봇(1)의 전방 이동 방향의 이미지를 캡쳐하기 위한 전방 지향 카메라, 로봇(1) 주위의 구역의 360ㅀ 뷰를 캡쳐하는 파노라마 환형 렌즈(PAL), 또는 로봇(1) 주위의 구역의 360ㅀ 뷰를 캡쳐할 수 있는 어안 렌즈 카메라일 수 있다.
로봇(1)이 저조도 조건을 가지는 환경에 위치될 때, 또는 카메라(12)에 의해 캡쳐된 이미지의 콘트라스트가 열악할 경우, 조명 시스템(14)은 카메라(12)에 의해 캡쳐된 이미지의 품질을 개선할 수 있다. 조명 시스템(14)은 앞선 도면에 도시된 LED에 대응하는 여러 개의 LED(27A-H)를 포함하는 것으로 도시된다. LED(27A-H)의 각각은 LED로 가는 파워를 구동하기 위해 사용되는 대응하는 LED 드라이버(94A-H)를 가진다. 카메라(12)에 의해 캡쳐되는 이미지의 품질을 개선하기 위하여, LED(27A-H)는 센서의 카메라가 검출할 수 있는 임의의 대역폭의 광을 방출한다. 예를 들어, LED에 의해 방출되는 광은 전자기스펙트럼의 가시광, 근적외선(NIR), 또는 적외선(IR) 부분 안에 속할 수 있다. 특히, 로봇 소유자가 조명 시스템이 정확하고 효과적으로 동작하고 있다는 것을 더 쉽게 결정할 수 있기 때문에, 가시광이 특히 유리하다는 것이 밝혀졌다.
제어 시스템(90)은 또한 그 환경 내의 모바일 로봇(1)의 이동을 제어하는 것을 담당한다. 비전 시스템(8)에 의해 수집되는 이미지와 다른 데이터는 비전 시스템(8)의 네비게이션 유닛(93)으로 공급된다. 예를 들어, 네비게이션 유닛(93)은 SLAM(simultaneous localisation and mapping ) 유닛일 수 있다. SLAM 유닛은 이미지 내에 표시된, 로봇(1)을 둘러싼 구역 내의 랜드마크 피쳐를 찾도록, 이미지를 분석하기 위해서 사용될 수 있다. 랜드마크 피쳐는 이미지 내에서 쉽게 검출되는 고-콘트라스트 피쳐들, 예를 들어 테이블의 에지, 또는 픽쳐 프레임의 모서리이다. 이미지의 분석의 일부 또는 전부는 이미지 처리 유닛(92)에 의해 수행될 수 있다. 그러면, 랜드마크 피쳐는 환경 내의 로봇의 위치 또는 자세를 삼각측량하고 결정하기 위해서, 네비게이션 유닛(93)에 의해 사용될 수 있다. 네비게이션 유닛(93)은 모바일 로봇(1) 내의 다른 센서로부터 캡쳐된 이미지 및 데이터로부터의 정보를 사용하여, 로봇(1)이 환경을 해석하고 돌아다니기 위해서 사용하는 환경의 맵을 생성할 수 있다.
로봇(1)이 이동하게 하는 명령이 비전 시스템(8)으로부터 드라이브 시스템(98)으로 전송된다. 구동 시스템(98)은 도 1에서 좌측(LHS) 트랙션 유닛(99A) 및 우측(RHS) 트랙션 유닛(99B)을 포함하는 것으로 도시된다. 각각의 트랙션 유닛(99A, 99B)은, 로봇(1)이 조향될 수 있도록 독립적으로 제어될 수 있다. 예를 들어, RHS 트랙션 유닛(99B)이 LHS 트랙션 유닛(99A)보다 빠르게 전방 방향으로 구동되면, 로봇은 전방 이동하면서 좌측으로 쏠릴 것이고, 또는 추가적인 예로서 LHS 및 RHS 트랙션 유닛(99A, 99B)이 각각 동일한 속도지만 반대 방향으로 구동되면, 로봇(1)은 해당 지점에서 회전할 것이다.
모바일 로봇(1)은 로봇(1)에게 주변 환경에 대한 정보 및 환경 내에서의 로봇의 자세에 대한 정보를 제공하는 센서들(95)의 시스템을 더 포함한다. 센서 시스템(95)은 범프 센서(96) 및 자이로도메트리 시스템(97)을 포함한다. 자이로도메트리 시스템(97)은 관성 측정 유닛(IMU)(97A) 및 주행기록계(97B)를 포함한다. 주행기록계(97B)는 구동 시스템(98)으로부터 데이터를 수신하여, 트랙션 유닛에 의해서(바퀴의 여러 번의 회전을 사용함으로써) 이동된 거리의 표시를 제공한다. 범프 센서(96)는 장애물과의 물리적 접촉이 언제 이루어졌는지를 로봇(1)이 알게 한다. 범프 센서(96)로부터의 신호에 응답하여, 로봇은 예를 들어 정지하고 및/또는 그 위치와 궤적을 조절할 수 있다. 그러면 로봇(1)이 스스로 또는 로봇이 접촉한 장애물에 손상을 입히지 못하게 된다. 센서 시스템(95)은 도 11에 도시되지 않은 센서들, 예를 들어 PSD 및/또는 ToF 센서와 같은 하나 이상의 근접 센서를 포함할 수 있다. 근접 센서는 로봇(1) 근처에 있을 수 있는 임의의 장애물의 표시를 제공할 수 있다. 그러면, 로봇(1)이 장애물과 접촉하지 않고 피할 수 있게 된다.
조명 시스템이 어떻게 제어되는지에 대한 세부 사항이 설명될 것이다.
도 12는 모바일 로봇(1) 상의 조명 시스템(14)을 제어하기 위해서 사용되는 알고리즘(100)의 입력 및 출력을 보여주는 흐름도이다. 조명 알고리즘은 LED 제어 값(108)을 제공하기 위해서 사용하는 다음과 같은 세 개의 입력을 가진다: 노출 시간(102), 카메라(12)로부터의 이미지(104), 및 로봇의 회전(106)에 대한 정보. 도 12는 조명 알고리즘(100)의 출력으로서 단일 LED 제어 값(108)을 보여주지만, 다중 LED의 제어가 요구할 경우 두 개 이상의 LED 제어 값(108)이 생성될 수도 있다는 것이 이해될 것이다.
조명 알고리즘(100)은 조명 시스템(14)을 제어하여 균형잡힌 광을 제공하고, 이것은 네비게이션 유닛(93)이 어두운 구역 내에서 신뢰성있게 동작하게 한다. 알고리즘(100)은 카메라(12)에 의해 캡쳐된 모든 단일 프레임을 분석하고, 조명 시스템(14)으로부터 향상된 조명을 채용해야 하는 필요성을 평가한다. 알고리즘 실행의 빈도는 프레임이 카메라(12)에 의해 캡쳐되는 빈도와 같다.
노출 시간(102)이 계산되고, 조명 알고리즘에 전달된다. 조명 시스템은 계산된 노출 시간(102)이 특정 임계를 초과하는 경우에만 활성화될 것이다. 이것은, 보통 조명 상태에서는 조건이 통상적으로 오프 상태를 유지하여, 로봇의 동작 시간을 감소시킬 수 있는 파워의 불필요한 낭비를 방지할 것이라는 것을 의미한다. 노출 시간(102)은 노출 제어 알고리즘에 의해 계산되는데, 그 상세 내용은 본 발명의 범위 밖이다. 그러나, 노출 값을 계산하기 위한 미터링 알고리즘과 같은, 노출 시간이 계산될 수 있는 여러 가지 주지된 방식이 존재하며, 채용되는 정확한 방법을 본 명세서에서 상세히 설명하는 것은 본 명세서의 목적을 위해서 불필요한 것이라는 것이 이해될 것이다.
로봇(1)이 회전하면, 로봇의 회전에 대한 정보(106)가 알고리즘(100)에 의해 사용되어 조명을 시프트시킨다. 이러한 정보는 자이로도메트리 시스템(97)으로부터 획득된다. 로봇의 회전에 대한 정보를 사용하지 않고, 알고리즘은 조명을 상응하도록 조절할 수 있을 것이지만, 알고리즘이 새로운 이미지 프레임을 평가하고 필요한 조절을 수행하는 데에는 시간이 걸릴 것이다. 이러한 조절 시간 동안, 이미지에는 포화되거나 너무 어두운 픽셀이 있을 것이고, 이것이 로봇의 네비게이션에 부정적인 영향을 줄 것이다. 그러나, 로봇의 회전에 대한 정보를 사용함으로써, 알고리즘은 조명을 로봇의 회전에 반대 방향으로 시프트시켜서 로봇(1) 주위의 환경의 필요한 구역 내의 조명을 훨씬 신속하게 유지할 수 있다.
도 13은 알고리즘(100)을 실행하는 동안 수행되는 단계들을 보여주는 흐름도이다. 알고리즘은 110에서 시작하고, 112에서의 처음의 동작은 카메라(12)로부터 새로운 프레임(102)을 획득하고 이것을 세그멘트들로 분할하는 것이다. 프레임(102)은 이미지 처리 유닛(92)에 의해 펼쳐진, 도 7b에 도시된 것과 같이 펼쳐진 사각 이미지일 수 있다. 세그멘트들은 도 6, 도 7a, 및 도 7b와 관련하여 전술된 세그멘트 및 조명 구역(A-H)에 대응한다.
단계 114에서, 계산된 노출 시간(TEXP)(102)이 미리 결정된 시간 기간(TX) 동안의 임계 노출 시간(TTHRESH)보다 적으면, 단계 115에서 조명 시스템이 불필요하다고 결정되고 LED 파워(Lp)가 감소된다. 이렇게 LP가 감소되면, TEXP가 TTHRESH보다 적은 동안에, 각 프레임이 분석되는 시간에 걸쳐 LED가 제로까지 디밍되게 될 것이다. 이것은 조명에 부드럽고 점진적인 효과로 조명을 변하게 하도록 선택되었다. 그러나, 하나의 대안은 LED로 가는 파워를 즉시 오프시키는 것일 것이다.
계산된 노출 시간(TEXP)(102)이 미리 결정된 시간 기간(TX)보다 길게 임계 노출 시간(TTHRESH)보다 작지 않으면(즉, 임계보다 크면), 조명 시스템이 필요하다고 결정되고, 알고리즘은 다음 세그멘트(A-H)가 다음 단계들을 위한 관심 구역으로서 선택되는 단계(116)로 계속된다.
150 밀리초(0.15 초)의 임계 노출 시간(TTHRESH), 및 3 초의 미리 결정된 시간 기간(Tx)이 최적의 균형을 제공한다는 것이 발견되었다. 그러나, 50 밀리초 내지 300 밀리초(0.05 초 내지 0.3 초)의 범위에 속하는 TTHRESH가 선택될 수 있고, 1 초 내지 5 초의 범위에 속하는 Tx가 선택될 수 있다. 로봇의 요건이 요구하는 경우, 이러한 범위를 벗어나는 TTHRESH 및 Tx의X의 다른 값이 선택될 수도 있다.
그러면, 선택된 세그멘트에 대한 평균 휘도가 단계 118에서 계산된다. 평균 휘도는 세그멘트 내의 중간 평균(mean average) 픽셀 세기를 사용하여 계산된다.
각각의 세그멘트에 대한 평균 세기 또는 휘도는 다음 수학식 1을 사용하여 계산되는데, 여기에서 sw는 세그멘트 폭이고 sh는 세기 높이이다. 예를 들어, 8 개의 세그멘트들이 있는 1024 x 128 이미지에서 sw=128 및 sh=128이거나, 다른 실시예에서는 네 개의 세그멘트가 있는 1024 x 128 이미지에서 sw=256 및 sh=128이다. 이러한 수학식은 모든 픽셀에 대한 세기의 합산을 계산하고, 이것을 세그멘트 내의 픽셀들의 총 수로 나눈다.
Figure pct00001
그러면, 수학식 1에서 계산된 평균 세기가 다음 수학식 2를 사용하여 평균 휘도로 범주화된다. 이미지의 휘도를 결정하기 위하여, 두 개의 미리 결정된 파라미터들(a 및 b)이 사용된다. 어떤 세그멘트에 대한 평균 세기가 a와 b 사이이면, 해당 세그멘트의 휘도는 보통인 것으로 간주된다. 어떤 세그멘트에 대한 평균 세기가 b를 넘으면, 해당 세그멘트는 밝은 것으로 간주된다. 마지막으로, 어떤 세그멘트에 대한 평균 세기가 a보다 적으면, 해당 세그멘트는 어두운 것으로 간주된다.
Figure pct00002
단계 120에서, 선택된 세그멘트에 대한 범주화된 평균 휘도가 "보통"이면, 알고리즘은 처리할 세그멘트가 프레임에 남아있는지를 결정하기 위한 점검이 수행되는 단계 122로 바로 진행한다. 남아 있는 세그멘트들이 있으면, 알고리즘은 단계 116으로 복귀하고, 프레임 내의 다음 세그멘트를 관심 구역으로 선택하며, 휘도 계산 및 범주화 단계를 반복한다.
또는, 단계 120에서 선택된 세그멘트에 대한 범주화된 평균 휘도가 "어두움"이면, 알고리즘은 그 대신에 해당 세그멘트를 조명하는 것을 담당하는 LED로 가는 LED 파워(LP)가 증가되는 단계 121A로 진행한다. 이것은 해당 LED(27)를 위한 LED 드라이버(94)로 증가된 LP 값을 전송함으로써 수행된다. 그러면, 알고리즘은 전술된 바와 같이 단계 122로 진행한다.
또는, 단계 120에서 선택된 세그멘트에 대한 범주화된 평균 휘도가 "밝음"이면, 알고리즘은 그 대신에 해당 세그멘트를 조명하는 것을 담당하는 LED로 가는 LED 파워(LP)가 감소되는 단계 121B로 진행한다. 이것은 해당 LED(27)를 위한 LED 드라이버(94)로 감소된 LP 값을 전송함으로써 수행된다. 그러면, 알고리즘은 전술된 바와 같이 단계 122로 진행한다.
프레임 내의 모든 세그멘트들이 처리되면(단계 122), 알고리즘은 이제 로봇(1)이 회전되었는지를 자이로도메트리 시스템(97)으로부터 획득된 로봇 회전 정보(106)를 사용하여 결정하는 단계 124로 진행한다. 로봇이 회전하지 않았으면, 알고리즘은 단계 112로 복귀하고, 카메라로부터 새로운 프레임을 획득하며(104), 프로세스를 반복한다. 그러나, 로봇이 회전하였으면, 알고리즘은 단계 126으로 진행하고, 로봇의 검출된 회전각에 대한 세그멘트들의 적절한 숫자만큼, 로봇 회전의 반대 방향으로 LED 파워(LP) 값을 시프트한다. 예를 들어, 8 개의 LED 세그멘트들이 존재하면, 알고리즘은 연관된 LP 값을 45ㅀ 회전마다 1 개의 세그멘트씩 회전 방향에 반대로 시프트한다. 또는, 4 개의 LED 세그멘트들이 존재하면, 알고리즘은 연관된 LP 값을 90ㅀ 회전마다 1 개의 세그멘트씩 회전 방향에 반대로 시프트한다.
예를 들어, 도 7a 및 도 7b에 도시되는 이미지 세그멘트 및 도 6의 대응하는 LED(27A-H)의 경우, 다음 표 1의 첫 번째 행은 제 1 로봇 포즈에서의 LED(A-H) 각각에 대한 LP 값을 보여준다. 이러한 포즈에서, 로봇(1) 전방에는 어두운 구역이 있고, 따라서 로봇(1)의 전방을 향해 지향되는 LED(27A 및 27B)는 많이 조명되고, 로봇 전방의 오측 및 좌측 주변을 향해 지향되는 LED(27H 및 27C)는 적게 조명된다. 그러면, 표 1의 두 번째 행이 제 2 로봇 포즈에서의 LED(A-H) 각각에 대한 LP 값을 보여주는데, 여기에서 로봇은 시계방향으로 90ㅀ 회전했고, 모든 다른 인자들은 동일하게 남았다. 90ㅀ 시계방향 회전 이후에, 로봇의 좌측을 향해 지향되는 LED(27C 및 27D)는 이제 어두운 구역을 바라보고 있고, 따라서 LP 값을 두 개의 세그멘트만큼 반시계방향으로 천이시키는 알고리즘에 기인하여 조명된다.
LED 27A 27B 27C 27D 27E 27F 27G 27H
Pose 1 0.3 0.3 0.1 0 0 0 0 0.1
Pose 2 0 0.1 0.3 0.3 0.1 0 0 0
물론, 로봇이 충분히 천천히 회전한다면 조명이 휘도 계산에 의하여 충분히 조절될 것이기 때문에, 알고리즘은 조명을 시프트할 필요가 없다. 이와 같이, 회전은 회전 속도가 미리 결정된 임계보다 빠를 경우에만 고려될 수 있다.
LP 값이 단계 126에서 요구되는 양만큼 알고리즘에 의해 시프트되었으면, 알고리즘은 단계 112로 복귀하여 카메라로부터 새로운 프레임을 획득하고(104), 프로세스를 반복한다.
도 13의 흐름도에 표현된 단계들을 사용하는 알고리즘의 결과, 조명 시스템에 의해 생성되는 광의 약간의 "진동(oscillation)"이 생길 수 있다. 진동은 조명 시스템에 의해 생성되는 조명이 빠르게 변할 경우에 발생할 수 있다. 예를 들어, 밝은 환경으로부터 어두운 구역에 진입할 때, 조명이 급속히 증가하여 이미지가 너무 밝게 보이는 결과가 생길 수 있다. 이를 상쇄하기 위하여, 알고리즘은 조명을 감소시킬 것이고, 그러면 이미지가 너무 어두워지게 될 것이며, 이것이 반복될 것이다. 이러한 진동 효과를 방지하기 위하여, 주변 광에서 검출되는 변화가 꾸준하고 연속적이 되도록 보장하기 위해서, 조명 레벨이 변경되기 전에 약간의 지연이 있어야 한다. 또한, 조명 천이는 다소 느리게, 그리고 부드럽게 이루어져야 한다. 그러나, 로봇의 네비게이션 시스템이 방해받지 않고 계속될 수 있도록 로봇이 주변 광의 변화에 충분히 빠르게 반응하는 것이 필요하다.
도 14는 진동 이슈를 해결하는 도 13의 조명 알고리즘의 일부의 대안적인 단계들을 보여주는 흐름도이다. 단계 118 및 120은 도 13에서와 같지만, 후속 단계들이 다르다. 광 증가 요청(LIR) 및 광 감소 요청(LDR)이 이러한 방법에 도입된다.
평균 휘도가 단계 120에서 "보통"으로 범주화된 경우, 알고리즘은 LIR 및 LDR의 값들이 0으로 리셋되고, LED 파워(LP)가 변하지 않는 단계 130으로 진행한다. 그러면, 알고리즘은 각각의 이미지에 대하여 도 13에 도시된 알고리즘과 같은 방식으로 반복된다. 도면을 단순화하기 위하여, 이것은 도 14에서 단계 160으로 표현되었다.
평균 휘도가 단계 120에서 "어두움"으로 범주화된 경우, 알고리즘은 현재의 선택된 세그멘트에 대한 LIR 값이 증가되는 단계 140으로 진행한다. 이러한 예에서, LIR 값은 1만큼 증가된다. 그러면, 단계 142에서 휘도가 "어두움"이고 현재 LIR 값이 미리 결정된 임계 thrLIR보다 높은 조건이 만족되면, 해당 세그멘트에 대한 LED 파워(LP)는 증가되고(LP=LP+1) LIR 값은 0으로 리셋된다(LIR=0). 그러면, 알고리즘은 단계 160에서 각각의 이미지 세그멘트에 대해 반복된다.
평균 휘도가 단계 120에서 "밝음"으로 범주화된 경우, 알고리즘은 현재의 선택된 세그멘트에 대한 LDR 값이 증가되는 단계 150으로 진행한다. 이러한 예에서, LDR 값은 1만큼 증가된다. 그러면, 단계 152에서 휘도가 "밝음"이고 현재 LDR 값이 미리 결정된 임계 thrLDR보다 높은 조건이 만족되면, 해당 세그멘트에 대한 LED 파워(LP)는 감소되고(LP=LP-1) LDR 값은 0으로 리셋된다(LIR=0). 그러면, 알고리즘은 단계 160에서 각각의 이미지 세그멘트에 대해 반복된다.
현재 프레임 또는 이미지로부터의 세그멘트들 모두가 처리되면, 알고리즘은 도 13의 단계 124 및 126에 대해서 설명된 것과 같은 방식으로 로봇의 모든 회전에 대한 LP 값을 조절하는 단계 162로 진행한다. LP 값이 로봇 회전에 대해서 조절되면, 알고리즘은 LP 값이 각각의 개별 LED 드라이버로 전송되는 단계 164로 진행한다. 그러면, 알고리즘은 알고리즘의 단계 112로 다시 복귀하고, 새로운 프레임을 가져온다.
따라서, 다음 수학식 3은 이미지의 휘도가 어떻게 해석될 것인지를 요약하여 보여준다. 이미지가 어두우면 LIR이 증분될 것이다. 휘도가 보통이면, 양자 모두의 밝기 요청(LIR 및 LDR)이 리셋될 것이다. 휘도가 밝음이면, LDR이 증분될 것이다.
Figure pct00003
밝기 변화 요청이 있기 때문에, 광 레벨의 변화 사이의 천이가 부드럽게 이루어질 것이다. 또한, 조명의 변동이 일어나기 전에 LIR 및 LDR 값들이 임계를 초과해야 할 필요성은, 변경을 적용하는 데에 지연이 생기게 한다. 알고리즘에서 이러한 방법을 사용함으로써, 광은 진동하지 않을 것이다.
이러한 방법의 다른 이점은, 조명의 변동 속도의 레이트가 증가/감소 요청의 개수에 대한 임계(thrLIR 및 thrLDR)를 변경함으로써 쉽게 조절될 수 있다는 것이다. 임계가 높으면 변동 속도의 레이트가 감소될 것인 반면에, 임계가 낮으면 변동 속도의 레이트가 증가될 것이다.
LED의 변경이 전술된 알고리즘에서 +1 또는 -1로 기술된다는 것에 주목할 가치가 있다. 이것은 밝기 변경의 하나의 스텝에 대응한다. 밝기 변동의 스텝은 LED 드라이버에 적용될 수 있는 최소 변동량으로서 규정될 수 있다. 이것이 LED 드라이버 및 전기적 특성에 따라 달라진다는 것이 용이하게 이해될 것이다. 예를 들어, LED 광이 0% 내지 100% 사이의 범위에 속하면, 한 스텝은 1% 변경으로 규정될 수 있다. 스텝 변경은 로봇의 요건 또는 사용자의 필요에 따라서 다르게 규정될 수 있다. 광 레벨 스텝은 원하는 광 출력과 천이의 부드러움 사이의 균형이다. 광 스텝은 사용자가 광 변동을 알아챌 수 없도록 충분히 작아야 하지만, 조명이 이미지 처리를 위해 수용가능한 시간 내에 최대 광 레벨에 도달할 수 있도록 충분히 빨라야 한다.
또는, LED 파워에 대한 증분 변동 대신에, LP에 대한 더 큰 변동이 계산되어야 하는 경우, 이것은 LED 드라이버에 이산 레벨로서 전송되어, 사용자에게 증가가 부드럽게 이루어지는 인상을 줄 수 있다.
지금까지 특정한 실시예들이 설명되었지만, 청구 범위에 의해 규정되는 본 발명의 범위로부터 벗어나지 않고서 전술된 것들을 포함하는 다양한 변형이 이루어질 수 있다는 것이 이해될 것이다.

Claims (15)

  1. 모바일 로봇용 비전 시스템으로서,
    렌즈 모듈;
    복수 개의 광원을 포함하는 조명 시스템; 및
    렌즈 모듈 홀더를 포함하고,
    상기 렌즈 모듈 홀더는 상기 렌즈 모듈 주위에 위치되고, 상기 조명 시스템으로부터 방출된 광을 상기 렌즈 모듈로부터 멀어지게 반사하기 위한 반사면을 포함하는, 모바일 로봇용 비전 시스템.
  2. 제 1 항에 있어서,
    상기 비전 시스템은,
    상기 비전 시스템을 상기 모바일 로봇에 장착하기 위한 비전 시스템 마운트를 더 포함하고,
    상기 비전 시스템 마운트는 상기 복수 개의 광원이 통과하여 돌출되는 복수 개의 홀을 포함하는, 모바일 로봇용 비전 시스템.
  3. 제 2 항에 있어서,
    상기 비전 시스템 마운트는 상기 복수 개의 광원으로부터 열을 끌어들이기 위한 히트 싱크를 포함하는, 모바일 로봇용 비전 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 복수 개의 광원은 상기 렌즈 모듈 주위에 링 형상으로 배치되는, 모바일 로봇용 비전 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 렌즈 모듈은 상기 렌즈 모듈 홀더 위로 돌출되고,
    상기 복수 개의 광원 각각은 상기 렌즈 홀더 모듈의 반사면 아래에 위치되는, 모바일 로봇용 비전 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 반사면은 반-포물면 토로이드(semi-parabolic toroid) 미러인, 모바일 로봇용 비전 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 복수 개의 광원들 각각 사이에 핀(fin)이 제공되는, 모바일 로봇용 비전 시스템.
  8. 제 7 항에 있어서,
    각각의 핀은 제 2 항의 비전 시스템 마운트 상에 제공되는, 모바일 로봇용 비전 시스템.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 비전 시스템은 투광성 커버를 더 포함하는, 모바일 로봇용 비전 시스템.
  10. 제 9 항에 있어서,
    상기 투광성 커버는, 상기 조명 시스템을 덮고, 상기 렌즈 모듈의 상단이 통과하여 돌출되는 개구를 형성하는, 모바일 로봇용 비전 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 렌즈 모듈 홀더는 상기 모바일 로봇의 보디의 상면 상에 돌출되는, 모바일 로봇용 비전 시스템.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 복수 개의 광원 각각은 상기 모바일 로봇의 보디 아래에 위치되는, 모바일 로봇용 비전 시스템.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 렌즈 모듈은 광을 이미지 센서 상에 포커싱하기 위한 복수 개의 렌즈를 포함하는, 모바일 로봇용 비전 시스템.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    8 개의 광원이 존재하고,
    각각의 광원은 독립적으로 제어가능한, 모바일 로봇용 비전 시스템.
  15. 제 1 항 내지 제 14 항 중 어느 한 항의 비전 시스템을 포함하는, 모바일 로봇.
KR1020207034167A 2018-06-05 2019-05-08 모바일 로봇용 비전 시스템 KR102445785B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1809178.5A GB2574417B (en) 2018-06-05 2018-06-05 A vision system for a mobile robot
GB1809178.5 2018-06-05
PCT/GB2019/051263 WO2019234383A1 (en) 2018-06-05 2019-05-08 A vision system for a mobile robot

Publications (2)

Publication Number Publication Date
KR20210005928A true KR20210005928A (ko) 2021-01-15
KR102445785B1 KR102445785B1 (ko) 2022-09-21

Family

ID=62975465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034167A KR102445785B1 (ko) 2018-06-05 2019-05-08 모바일 로봇용 비전 시스템

Country Status (7)

Country Link
US (1) US20210228047A1 (ko)
JP (1) JP7128908B2 (ko)
KR (1) KR102445785B1 (ko)
CN (1) CN112166392A (ko)
GB (1) GB2574417B (ko)
TW (1) TW202004246A (ko)
WO (1) WO2019234383A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111993394B (zh) * 2020-09-08 2022-03-18 中南大学 一种被动柔顺装置
GB2605748B (en) * 2021-01-22 2023-07-12 Dyson Technology Ltd A collision detection system for a mobile robot
WO2023246994A1 (en) * 2022-06-20 2023-12-28 Universal Robots A/S Robot element with illiuminating ring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860874B1 (ko) * 2006-03-08 2008-09-29 엠텍비젼 주식회사 카메라 모듈
JP2013252431A (ja) * 2012-06-07 2013-12-19 Samsung Electronics Co Ltd 障害物感知モジュール及びそれを備えた掃除ロボット
KR20160078063A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 렌즈 조립체, 이를 이용한 장애물 감지유닛, 및 이를 구비한 이동로봇
KR20170047382A (ko) * 2014-09-03 2017-05-04 다이슨 테크놀러지 리미티드 이동 로봇

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3494075B2 (ja) 1999-05-25 2004-02-03 三菱電機株式会社 移動体の自己位置標定装置
US7270274B2 (en) * 1999-10-04 2007-09-18 Hand Held Products, Inc. Imaging module comprising support post for optical reader
US6870949B2 (en) 2003-02-26 2005-03-22 Electro Scientific Industries Coaxial narrow angle dark field lighting
DE10344762B4 (de) * 2003-09-26 2006-06-29 Siemens Ag Optisches Modul mit auf der sensitiven Fläche abgestützter Linseneinheit und optisches System
JP2005324297A (ja) * 2004-05-17 2005-11-24 Matsushita Electric Ind Co Ltd ロボット
US7896805B2 (en) * 2005-11-23 2011-03-01 Given Imaging Ltd. In-vivo imaging device and optical system thereof
US9320417B2 (en) * 2005-12-29 2016-04-26 Given Imaging Ltd. In-vivo optical imaging device with backscatter blocking
ES2890714T3 (es) 2007-05-04 2022-01-21 Signify Holding Bv Luminarias basadas en led y procedimientos relacionados para la gestión térmica
JP2009244384A (ja) * 2008-03-28 2009-10-22 Fujinon Corp レンズ組立体および撮像装置
EP2631730B1 (en) * 2012-02-24 2014-09-24 Samsung Electronics Co., Ltd Sensor assembly and robot cleaner having the same
US9307128B2 (en) * 2012-06-26 2016-04-05 Alex Ning Lens mount
JP2015076872A (ja) * 2013-10-09 2015-04-20 スリーイーサイエンス株式会社 監視カメラ付き照明装置
KR102152641B1 (ko) * 2013-10-31 2020-09-08 엘지전자 주식회사 이동 로봇
WO2015171823A1 (en) * 2014-05-07 2015-11-12 Gopro, Inc. Integrated image sensor and lens assembly
CN203968223U (zh) * 2014-07-11 2014-11-26 杭州海康威视数字技术股份有限公司 一种具有红外灯的鱼眼摄像机
GB2529846B (en) 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
US9744670B2 (en) 2014-11-26 2017-08-29 Irobot Corporation Systems and methods for use of optical odometry sensors in a mobile robot
WO2017158597A1 (en) * 2016-03-14 2017-09-21 Eyelum Ltd. Miniature endoscopy system
US10212318B2 (en) * 2016-05-11 2019-02-19 Canon Kabushiki Kaisha Image pickup apparatus such as network camera, and image monitoring system
CN206223332U (zh) * 2016-12-08 2017-06-06 广州零号软件科技有限公司 一种基于机器人视觉的触觉测量传感器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860874B1 (ko) * 2006-03-08 2008-09-29 엠텍비젼 주식회사 카메라 모듈
JP2013252431A (ja) * 2012-06-07 2013-12-19 Samsung Electronics Co Ltd 障害物感知モジュール及びそれを備えた掃除ロボット
KR20170047382A (ko) * 2014-09-03 2017-05-04 다이슨 테크놀러지 리미티드 이동 로봇
KR20160078063A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 렌즈 조립체, 이를 이용한 장애물 감지유닛, 및 이를 구비한 이동로봇

Also Published As

Publication number Publication date
TW202004246A (zh) 2020-01-16
JP7128908B2 (ja) 2022-08-31
GB201809178D0 (en) 2018-07-25
GB2574417A (en) 2019-12-11
KR102445785B1 (ko) 2022-09-21
CN112166392A (zh) 2021-01-01
US20210228047A1 (en) 2021-07-29
JP2021526266A (ja) 2021-09-30
WO2019234383A1 (en) 2019-12-12
GB2574417B (en) 2021-03-03

Similar Documents

Publication Publication Date Title
KR102427098B1 (ko) 모바일 로봇 조명 시스템을 제어하기 위한 모바일 로봇 및 방법
KR102445785B1 (ko) 모바일 로봇용 비전 시스템
CN109937158B (zh) 具有眼睛跟踪的后视系统
US11106114B2 (en) Imaging apparatus and monitoring system
JP5983693B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2005126068A (ja) 適応画像化暗視装置
KR102343519B1 (ko) 내면 반사를 감소시키기 위한 카메라 하우징
US20180120560A1 (en) Projector and focal length adjusting method
JP2016055782A5 (ko)
US11880119B2 (en) Camera-puddle lamp integrated apparatus and side mirror including the same
US11897385B2 (en) Headlamp encapsulated with camera and artificial intelligence processor to adjust illumination
KR102219739B1 (ko) 카메라 모듈
JP6229769B2 (ja) 表示機能付きミラー装置および表示切替方法
US8279178B2 (en) System and method for performing optical navigation using horizontally oriented imaging lens
CN103982857B (zh) 光学透镜、摄像装置以及光学触控系统
CN114581325B (zh) 基于生成对抗模型的图像增强方法和图像增强系统
US11127160B2 (en) Object characteristic locating device and laser and imaging integration system
WO2022009534A1 (ja) カメラシステムの製造方法及びカメラシステム
CN116648639A (zh) 环绕视图成像系统
CN116471470A (zh) 影像撷取装置及方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right