KR101203816B1 - 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 - Google Patents

로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 Download PDF

Info

Publication number
KR101203816B1
KR101203816B1 KR1020110025921A KR20110025921A KR101203816B1 KR 101203816 B1 KR101203816 B1 KR 101203816B1 KR 1020110025921 A KR1020110025921 A KR 1020110025921A KR 20110025921 A KR20110025921 A KR 20110025921A KR 101203816 B1 KR101203816 B1 KR 101203816B1
Authority
KR
South Korea
Prior art keywords
robot fish
image
information
directional marker
sensor
Prior art date
Application number
KR1020110025921A
Other languages
English (en)
Other versions
KR20120108256A (ko
Inventor
명현
이동화
김동훈
김건엽
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110025921A priority Critical patent/KR101203816B1/ko
Publication of KR20120108256A publication Critical patent/KR20120108256A/ko
Application granted granted Critical
Publication of KR101203816B1 publication Critical patent/KR101203816B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법에 관한 것으로서, 보다 구체적으로는 동일한 물체를 다른 각도에서 보았을 시 물체의 형태를 각각 다른 모습으로 나타나게 되는데, 이러한 형태의 달라짐을 호모그래피 변환으로 표현되어 상대 위치 및 회전 정보를 추정할 수 있도록 하는 기술을 이용하는 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법에 관한 것이다.

Description

로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법{ROBOT FISH LOCALIZATION SYSTEM USING ARTIFICIAL MARKERS AND METHOD OF THE SAME}
본 발명은 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법에 관한 것으로서, 보다 구체적으로는 동일한 물체를 다른 각도에서 보았을 시 물체의 형태를 각각 다른 모습으로 나타나게 되는데, 이러한 형태의 달라짐을 호모그래피 변환으로 표현되어 상대 위치 및 회전 정보를 추정할 수 있도록 하는 기술을 이용하는 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법에 관한 것이다.
자율주행 로봇의 위치 정보를 추정하기 위해서 INS(Inertial Navigation System), 레이저 거리 센서(Laser Range Finder, LRF), 초음파, 스테레오 카메라 등 여러 가지 센서가 사용되고 있으며, 이를 이용하여 위치 정보를 파악하는 장치 등에 대해서는 아래와 같은 선행기술이 존재한다.
한국공개특허 제2009-0020852호에는 동기식 식별마커를 이용한 위치인식장치 및 위치인식방법에 관한 기술이 기재되어 있는데, 이는 시간에 대한 동기 신호를 이용하여 각 발광 마커를 구분함으로써 물체의 위치 좌표를 산출할 수 있고, 마커를 발광체로 단일화하여 이미지 프로세싱에 따른 오류율 및 비용을 최소화하는 동기식 식별마커를 이용한 위치인식장치 및 위치인식방법을 제공하기 위한 것이다. 그 기술적 구성은 실내를 이루는 각 면에 동일한 간격으로 다수개 배치되어 일정 주기를 가지고 온/오프(On/Off) 제어되는 발광 마커를 포함하는 발광 모듈; 상기 발광 마커의 구동 제어 및 해당 시각에 구동된 발광 마커를 파악하도록 시간에 대한 동기신호를 전송하는 발광모듈 구동부; 위치 좌표가 요구되는 물체에 구비되어 정면에 부착된 발광 마커를 촬영하고, 상기 발광모듈 구동부의 동기신호로 구동된 발광 마커의 좌표를 수신하며, 촬영을 위한 조준축의 각도를 감지하여 상기 물체의 위치 좌표를 산출하는 위치인식 이동단말기; 를 포함하는 것을 특징으로 한다.
또한, 한국공개특허 2006-0129960호에는 이동 로봇 및 그의 위치 및 자세의 산출 방법이 개시되어 있는데, 이의 원리는 다음과 같다. 맵 데이터 메모리는 이동 영역의 맵 데이터, 이동 영역의 소정의 위치에 있는 마커의 위치 데이터, 마커의 식별 데이터 및 이동 영역의 마커에 인접하는 경계선의 위치 데이터를 저장한다. 마커 검출 유닛은, 마커의 위치 데이터 및 식별 데이터를 기초하여 화상에서 마커를 검출한다. 경계선 검출 유닛은 화상으로부터 마커 에 인접하는 경계선을 검출한다. 파라미터 산출 유닛은 화상에서 경계선의 파라미터를 산출한다. 위치 자세 산출 유닛은, 경계선의 파라미터와 경계선의 위치 데이터에 기초하여, 이동 영역 내의 이동 로봇의 위치 및 자세를 산출한다.
다만, 이러한 위치 산출 장치 및 방법들은 근처의 마커에 의해 위치를 산출하는 것으로서 가급적 많은 수의 마커 및 이에 대응하는 인식 수단이 존재하여야 하는 문제가 있다.
또한, 영상을 촬영하는 카메라 센서로써 일반적으로 CCD 센서(Charge Coupled Device Sensor)와 CMOS 센서(Complementary Metal-Oxide-Semiconductor Image Sensor)가 있다. 상시 센서들의 영상 촬영방식을 살펴보면, CCD 센서는 센서를 통해 입력되는 영상내의 모든 화소(Pixel)의 데이터(Intensity)를 동시에 저장하는 반면에 CMOS 센서는 센서를 통해 입력되는 영상을 라인(Line)단위로 연속적인 시간으로 저장한다.
일반적으로는 이러한 왜곡 영상을 보정하는 쪽의 기술들이 많이 소개되고 있으나, 이러한 왜곡 영상을 이용하여 로봇의 위치 정보를 측정하는 기술에 대해서는 소개되어 있지 않다.
본 발명에서는 특정 위치에 설치된 방향성 마커를 로봇에 장착된 영상 장치를 통해 획득하고, 이의 왜곡 정도를 분석하여 현재 로봇의 위치를 산출하는 기술에 관한 것이다.
즉, 동일한 물체를 다른 각도에서 보았을 시 물체의 형태를 각각 다른 모습으로 나타나게 되는데, 이러한 형태의 달라짐을 호모그래피 변환으로 표현되어 상대 위치 및 회전 정보를 추정할 수 있도록 하는 기술을 제공하고자 한다.
본 발명은 상기의 과제를 해결하기 위해 다음과 같은 과제 해결 수단을 제공한다.
본 발명에 따른 로봇 물고기의 이동 환경에 설치되는 방향성 마커를 이용하여 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 시스템은, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서와, 상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커의 왜곡 이미지를 구분하여 처리하는 영상 처리부와, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 정보 처리부를 포함한다.
본 발명에 따른 다른 실시예로서, 로봇 물고기의 이동 환경에 설치되는 방향성 마커를 이용하여 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 시스템을 제공하고, 이는 상기 로봇 물고기에 제공되고, 시간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 센서와, 상기 센서에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 영상 처리부와, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 정보 처리부를 포함한다.
이때, 상기 방향성 마커는, 평면(plane) 마커이고, 4 방향을 구분할 수 있도록 표기되어 있는 것을 특징으로 한다.
상기 정보 처리부는, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
상기 정보 처리부는, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
상기 센서는, CCD 센서 또는 CMOS 센서인 것을 특징으로 한다.
상기 로봇 물고기의 이동 환경은 수족관이고, 상기 수족관의 내면에는 서로 다른 형태를 가지는 복수 개의 방향성 마커들이 이격되어 설치되는 것을 특징으로 한다.
본 발명은 로봇 물고기 위치 인식 방법을 제공하는데, 그 실시예로서, 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서와, 상기 방향성 마커의 왜곡 전 이미지 및 설치 정보가 저장된 마커 정보 저장부를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법을 제공한다.
이 경우, 상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커의 왜곡 이미지를 구분하여 처리하는 단계와, 상기 방향성 마커의 왜곡 이미지에 대응하는 왜곡 전 이미지를 검출하는 단계와, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계와, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계를 포함하는 것을 특징으로 한다.
다른 실시예로서, 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법에 있어서, 상기 센서를 통해 시간적 및 공간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 단계와, 상기 센서에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 단계와, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계와, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계를 포함하는 것을 특징으로 한다.
이 경우, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
본 발명에 따른 동일한 물체를 다른 각도에서 보았을 시 물체의 형태를 각각 다른 모습으로 나타나게 되는데, 이러한 형태의 달라짐을 호모그래피 변환으로 표현되어 상대 위치 및 회전 정보를 추정할 수 있도록 하는 효과를 제공한다.
또한, 수중 로봇의 위치 인식에 있어서 간단한 구성과 높은 정확도로 인해 물고기의 수족관 전시뿐 아니라 일반적인 수중 로봇의 위치 인식 기술에 관련한 높은 상업성을 제공하는 효과가 있다.
도 1은 본 발명에 의한 로봇 물고기 위치 인식 시스템의 구성도.
도 2는 본 발명에 의한 로봇 물고기 위치 인식 시스템의 구성도.
도 3은 본 발명에 의한 로봇 물고기 위치 인식 시스템의 동작 원리를 설명하는 사시도.
도 4는 본 발명에 의한 로봇 물고기 위치 인식 시스템의 동작 원리를 설명하는 사시도.
도 5는 본 발명에서 사용하는 방향성 마커의 일실시예.
도 6은 본 발명에서 사용하는 방향성 마커를 통한 위치 정보 또는 회전 정보를 획득하기 위한 원리를 설명하는 사시도.
도 7은 본 발명에서 사용하는 방향성 마커를 통한 위치 정보 또는 회전 정보를 획득하기 위한 원리를 설명하는 사시도.
도 8은 본 발명에서 사용하는 방향성 마커의 다른 실시예.
도 9는 본 발명에서 사용하는 방향성 마커를 통한 위치 정보 또는 회전 정보를 획득하기 위한 원리를 설명하는 개념도.
도 10은 본 발명에 의한 로봇 물고기 위치 인식 시스템의 동작 원리가 일반 로봇의 위치 인식 시스템에 적용될 수 있는 개념도.
도 11은 본 발명에 의한 로봇 물고기 위치 인식 방법의 흐름도.
도 12는 본 발명에 의한 로봇 물고기 위치 인식 방법의 흐름도.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 살펴보기로 한다.
다만, 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않음을 미리 말해두는 바이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 사용자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명에 따른 로봇 물고기 위치 인식 시스템은 로봇 물고기의 이동 환경에 설치되는 방향성 마커를 이용하여 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 것을 목적으로 한다.
도 1 및 도 2는 본 발명에 의한 로봇 물고기 위치 인식 시스템의 구성도를 나타낸다.
로봇 물고기 위치 인식 시스템의 일실시예로서, 상기 로봇 물고기(1)에 제공되어 주변 환경의 이미지를 스캐닝하는 센서(2)와, 상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커(10)의 왜곡 이미지를 구분하여 처리하는 영상 처리부(5)와, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 정보 처리부(6)를 포함한다.
이러한 시스템에는 상기 방향성 마커의 왜곡 전 이미지 및 설치 정보가 저장된 마커 정보 저장부(7)를 포함할 수 있다. 설치 정보라 함은 방향성 마커가 설치되는 방향성 정보 및 위치 정보 등이 될 수 있다.
이러한 시스템은 로봇 물고기(1)의 현위치에서 상기 방향성 마커(10)의 왜곡 이미지를 한 개만 획득하더라도 그 위치 정보 및 회전 정보를 계산할 수 있다. 즉, 센서를 통해 획득한 방향성 마커의 왜곡 이미지와 방향성 마커의 이미지의 변이정보를 토대로 하는 것이다. 이는 방향성 마커에 대한 로봇 물고기(1)의 절대 위치를 획득할 수 있는 장점이 있다.
본 발명에 따른 로봇 물고기 위치 인식 시스템의 다른 실시예로서, 상기 로봇 물고기(1)에 제공되고, 시간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 센서(2)와, 상기 센서(2)에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커(10)의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 영상 처리부(5)와, 상기 방향성 마커(10)의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기(1)의 위치 정보 또는 회전 정보를 계산하는 정보 처리부(6)를 포함한다.
이는 방향성 마커의 왜곡 전 이미지를 이용하지 않고, 시간적 간격 및 공간적 간격을 가지고 획득한 두 개의 왜곡 이미지 간의 변이 정보를 토대로 한다. 이는 방향성 마커에 대한 로봇 물고기의 상대 위치를 더욱 정확하게 획득할 수 있는 장점이 있다.
본 명세서에서 사용하는 방향성 마커는 평면(plane) 마커이고, 4 방향을 구분할 수 있도록 표기되어 있는 것을 특징으로 한다. 다만, 입체 형상의 마커의 경우에도 적용이 가능함은 당연하다.
도 5 및 도 8은 본 발명에서 사용하는 방향성 마커의 일실시예를 도시하고 있다. 일정한 두께의 검은 테두리로 사각형을 만들며 내부에 검은 점을 표시한다. 검은 테두리로서 마커의 사각형 형태를 파악하며 내부의 검은 점으로 마커의 방향을 판단 할 수 있다.
방향성 마커(10)는 미리 마커들의 위치와 형태를 정하고, 이에 대한 정보 및 설치 방향성, 설치 위치 등을 상기 시스템에 저장한다. 또한, 이는 마커의 방향성에 대한 모호성을 피할 수 있도록 가운데 패턴을 배치하는 것도 가능하다.
4 방향을 구분할 수 있도록 표기되어 있는 것은 마커에 제공되는 표식(13)이 좌우 또는 상하 대칭이 아니어야 함을 의미한다. 도 5를 참조하면, 중심선(15, 16)을 기준으로 하여 대칭의 형태가 아니어야 한다.
방향성 마커(10)는 테두리 부분(11)과 표식(13)이 제공되는 부분(12)으로 구분된다. 테두리 부분(11)은 센서가 인식하여 방향성 마커(10)의 이미지만을 추출할 수 있도록 제공되어야 한다. 외부의 다른 선에 비해 굵은 선으로 제공될 수도 있고, 센서가 색상 인식 센서인 경우에는 특정한 색상으로 표시되는 것도 가능하다.
이러한 테두리 부분(11)은 센서가 향하는 방향 및 높이 등에 따라서 이차원 형상으로 획득시 왜곡이 발생한다. 본 발명에서는 이러한 왜곡의 정도를 호모그래피 변환을 이용하여 테두리 부분(11)을 촬영한 센서의 위치 및 각도를 계산하는 것을 특징으로 한다.
센서는 표식이 제공되는 부분(12)을 인식하고, 표식의 위치를 통해 로봇 물고기의 방향성을 인식하는 것이 가능하다.
도 1 및 도 2에는 본 발명의 일실시예에 따라 방향성 마커의 왜곡 이미지를 획득하고, 이를 계산하는 카메라 모듈의 개략적인 구성도가 제공된다. 도 1 및 도 2는 이미지를 처리하는 카메라 모듈만을 도시하지만, 본 발명은 카메라 모듈을 장착한 모든 로봇에 적용될 수 있음은 물론이다. 예를 들어, 카메라 모듈을 구비하는 로봇 물고기의 경우 도 1 및 도 2의 구성들 이외에 서버와의 통신 기능을 위한 구성들이 추가될 수 있는 등 해당하는 적용 상황에 따라 해당 구성들이 추가될 수 있다.
도 1 및 도 2를 참조하면, 카메라 모듈은 센서(이미지 센서)(2), 영상 처리부(5), 정보 처리부(6), 마커 정보 저장부(7)로 구성될 수 있으며, 카메라 모듈은 영상신호 프로세서(Image Signal Processor: ISP)나 카메라 제어 프로세서(Camera control processor)일 수 있다. 다만, 경제성을 위하여 로봇 물고기에는 이미지 센서와 서버와의 통신 기능을 담당하는 통신부(도면 미도시)만이 제공되고, 영상 처리부(5), 정보 처리부(6), 마커 정보 저장부(7)는 별도의 서버에 제공되는 것이 바람직하다.
여기에서 카메라 모듈은 도시된 바와 같이 센서(2)와 결합하여 하나의 칩(Chip)으로 구현되거나, 센서(2)와 분리되어 독립적인 칩으로 구현될 수 있다. 센서(2)는 빛을 전기적 신호로 변환하여 출력하는데, 이미지 센서(2)는 시간적 간격을 가지면서 한 프레임의 이미지를 스캐닝하는 CMOS 센서일 수 있다.
본 발명은 이러한 왜곡 정도를 통해 로봇 물고기의 현재 위치 정보 및 회전 정보를 획득하는 것을 목적으로 한다. 본 명세서에서 이미지의 '왜곡'이라는 표현은 실제 이미지가 촬영한 방향 및 위치에 따라 실제 이미지가 변형되어 보이는 정도를 나타내는 것으로 이해하여야 한다.
영상 처리부(5)는 센서(2)로부터 출력되는 영상 신호를 표시부(도시하지 않음) 등에 표시하기 위한 화면 데이터를 생성하여 출력할 수도 있다. 영상 처리부(5)는 입력되는 영상 신호를 프레임 단위로 처리하며, 프레임 단위로 영상 신호를 처리할 때 표시부의 특성 및 크기에 맞춰 출력할 수도 있다. 다만, 본 발명에서 영상 처리부(5)는 이미지 프로세싱을 통하여 방향성 마커의 현재 위치 및 방향에서의 촬영 이미지를 추출하는 것을 목적으로 한다.
도 3 및 도 4는 본 발명에 의한 로봇 물고기 위치 인식 시스템의 동작 원리를 설명하는 사시도이다. 로봇 물고기(1)에 설치된 센서(2)를 통해 획득한 영상 이미지 중에서 방향성 마커(10)가 포함되어 있는 경우, 이를 이미지 프로세싱을 통하여 그 형태 정보 등을 획득할 수 있다. 방향성 마커(10)는 로봇 물고기가 이동하는 환경에 다양한 면에 설치될 수 있다.
도 6을 참조하면, 실제 이미지(10)는 이를 바라보는 방향(C, C')에 따라서 획득하는 이미지에 왜곡이 발생하게 된다. 이러한 왜곡은 모양이 될 수도 있고, 대응점의 위치 정보가 변형되는 것일 수도 있다.
카메라에서 촬영된 마커 영상에 대한 호모그래피(Homography)를 이용, 마커에 대한 카메라의 6자유도(6 DOF)를 구할 수 있다. 호모그래피에 대한 개념은 도 6과 같다. 동일한 물체를 다른 각도에서 보았을 시, 그 물체를 바라보는 카메라 센서에 투영되는 물체의 형태는 각기 다른 모습으로 나타난다. 이러한 형태의 달라짐은 호모그래피 변환으로 표현되며 이 정보는 카메라의 물체에 대한 상대 위치 및 회전 정보를 가진다.
이러한 호모그래피 변환을 이용하면 아래 그림과 같이, 카메라가 마커를 바라보았을 때 마커의 형태를 관찰하여 마커에 대한 카메라의 상대적인 6자유로 값을 알 수 있다. 6자유도는 x, y, z, roll, pitch, yaw 값이다. 이는 곧 로봇 물고기가 바닥의 특정 형태의 마커를 바라보았을 시 로봇 물고기의 6자유도 값을 알 수 있다는 것이다.
동일한 물체를 다른 각도에서 보았을 때 물체의 형태는 각기 다른 모습으로 나타나며, 이러한 형태의 달라짐은 호모그래피 변환으로 표현되어 물체에 대한 상대 위치 및 회전 정보를 추정할 수 있다.
변위벡터 X'와 X 간의 변이 정보는 행렬로서 표현될 수 있는데, 다음과 같은 식으로 표현될 수 있다. 본 발명은 센서에서 촬영된 마커 영상에 대한 호모그래피를 이용하여 마커에 대한 카메라의 6자유도를 구하는 것을 목적으로 한다.
X'=HX
이는 도 9에 보다 구체적으로 설명되어 있다. 제1 방향에서 바라보는 방향성 마커의 네 꼭지점(31, 32, 33, 34)과, 제2 방향에서 바라보는 방향성 마커의 네 꼭지점(41, 42, 43, 44)의 위치 정보는 서로 다르게 된다. 이러한 위치 정보의 변환 관계를 구하게 되면, 제1 방향 및 제2 방향 간의 상대 위치 정보 및 회전 정보를 구할 수 있다. 이는 일반적으로 호모그래피 변환을 이용하는 것으로 알려져 있다. 본 발명은 호모그래피 변환을 수행하는 알고리즘에 권리범위를 청구하는 것이 아니므로 이에 대한 알고리즘은 설명을 생략하기로 한다.
마커를 발견하여 위하여 로봇 물고기의 카메라 렌즈의 화각은 최대한 넓을수록 좋다. 이를 위해 본 시스템에서는 어안 렌즈를 장착하였다. 어안 렌즈는 넓은 화면을 담아내는 대신 화면 가장자리가 둥글게 보이는 왜곡 현상이 발생한다. 어안 렌즈의 왜곡을 가진 영상으로는 마커의 위치와 형태를 정확히 알 수 없다. 따라서 어안 렌즈를 사용하는 경우에는 이를 보정하는 알고리즘을 적용하여야 한다.
정보 처리부(6)는 영상 처리부(5)에서 파노라마 촬영모드의 경우 입력되는 현재의 영상과 이전에 입력된 인접 영상간의 실제 호모그래피값을 계산하고, 이를 통해 상대 위치 및 회전 정도를 계산할 수 있다.
상기 정보 처리부(6)는, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다. 이는 앞에서 첫번째 실시예에 적용될 수 있다. 다만, 정보 처리부(6)에서 호모그래피값으로 변환을 하기 위해서 획득한 왜곡 이미지를 표식(13)의 위치 정보를 이용하여 왜곡 전 이미지의 방향성에 맞게 회전을 시킨 후에 처리하는 것이 바람직할 수 있다.
6자유도라 함은 x, y, z 방향으로 이동과, roll, pitch, yaw의 회전을 의미한다.
앞의 두번째 실시예에서 적용되기 위해서, 상기 정보 처리부는, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
도 7은 방향성 마커의 이미지를 획득하는 위치에서 센서의 6자유도를 설명하는 도면이다. 상기 센서는 상기 로봇 물고기에 대하여 바라보는 방향이 고정되는 것이 바람직하다. 이는 센서의 6 자유도 상태를 획득하면 바로 로봇 물고기의 6 자유도 상태와 일치되기 때문이다.
만일 센서가 로봇 물고기에 대하여 방향이 변환하게 된다면, 이의 변환 정도를 기억하고, 센서를 통하여 계산한 6 자유도를 다시 변환하여 로봇 물고기의 6 자유도를 계산하여야 한다.
상기 센서는, CCD 센서 또는 CMOS 센서인 것을 특징으로 한다.
본 발명이 적용되는 로봇 물고기의 이동 환경은 수족관이고, 상기 수족관의 내면에는 서로 다른 형태를 가지는 복수 개의 방향성 마커들이 이격되어 설치되는 것을 특징으로 한다. 도 8은 이러한 다른 형태의 표식을 가지는 방향성 마커들을 예시하고 있다. 수족관의 각각의 위치에 상기 방향성 마커들을 설치하고, 이에 대한 설치 정보를 저장하는 경우, 로봇 물고기가 획득한 영상 이미지를 통해 로봇 물고기의 현재 위치 정보 및 방향 정보를 획득할 수 있게 된다.
본 발명은 로봇 물고기를 실시예로 하여 설명하고 있으나, 이러한 기술은 일반 육지에서 자율주행하는 로봇의 경우에도 적용될 수 있음은 자명하다. 이에 대해서는 도 10에 개략적인 개념을 표시하였다.
본 발명은 로봇 물고기 위치 인식 방법을 제공하는데, 그 일실시예로서, 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서와, 상기 방향성 마커의 왜곡 전 이미지 및 설치 정보가 저장된 마커 정보 저장부를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법을 제공한다.
이의 구체적인 구성 및 기능에 대해서는 앞에서 자세하게 설명한 바 있다. 도 11을 참조하면, 상기 센서에 의해 주변 환경의 이미지를 획득하는 단계(S110)와, 상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커의 왜곡 이미지를 구분하여 처리하고, 상기 방향성 마커의 왜곡 이미지에 대응하는 왜곡 전 이미지를 검출하는 단계(S120)와, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계(S130)와, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계(S140)를 포함하는 것을 특징으로 한다.
다른 실시예로서, 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법에 있어서, 상기 센서를 통해 시간적 및 공간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 단계(S210)와, 상기 센서에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 단계(S220)와, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계(S230)와, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계(S240)를 포함하는 것을 특징으로 한다.
이 경우, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 한다.
본 발명은 상기와 같은 실시예에 의해 권리범위가 한정되는 것은 아니며, 본 발명의 기술적인 사상을 가지고 있다면 모두 본 발명의 권리범위에 해당된다고 볼 수 있으며, 본 발명은 특허청구범위에 의해 권리범위가 정해짐을 밝혀둔다.
1 : 로봇 물고기, 2 : 센서, 10 : 방향성 마커, 13 : 표시부, 100 : 수족관

Claims (11)

  1. 로봇 물고기의 이동 환경에 설치되는 방향성 마커를 이용하여 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 시스템에 있어서,
    상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서와,
    상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커의 왜곡 이미지를 구분하여 처리하는 영상 처리부와,
    상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 정보 처리부를 포함하는,
    로봇 물고기 위치 인식 시스템.
  2. 로봇 물고기의 이동 환경에 설치되는 방향성 마커를 이용하여 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 시스템에 있어서,
    상기 로봇 물고기에 제공되고, 시간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 센서와,
    상기 센서에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 영상 처리부와,
    상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하고, 상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 정보 처리부를 포함하는,
    로봇 물고기 위치 인식 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 방향성 마커는,
    평면(plane) 마커이고, 4 방향을 구분할 수 있도록 표기되어 있는,
    로봇 물고기 위치 인식 시스템.
  4. 청구항 1에 있어서,
    상기 정보 처리부는, 상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 하는,
    로봇 물고기 위치 인식 시스템.
  5. 청구항 2에 있어서,
    상기 정보 처리부는, 상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 하는,
    로봇 물고기 위치 인식 시스템.
  6. 청구항 1 또는 청구항 2에 있어서,
    상기 센서는,
    CCD 센서 또는 CMOS 센서인 것을 특징으로 하는,
    로봇 물고기 위치 인식 시스템.
  7. 청구항 1 또는 청구항 2에 있어서,
    상기 로봇 물고기의 이동 환경은 수족관이고,
    상기 수족관의 내면에는 서로 다른 형태를 가지는 복수 개의 방향성 마커들이 이격되어 설치되는 것을 특징으로 하는,
    로봇 물고기 위치 인식 시스템.
  8. 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서와, 상기 방향성 마커의 왜곡 전 이미지 및 설치 정보가 저장된 마커 정보 저장부를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법에 있어서,
    상기 센서에 의해 스캐닝된 이미지 중 상기 방향성 마커의 왜곡 이미지를 구분하여 처리하는 단계와,
    상기 방향성 마커의 왜곡 이미지에 대응하는 왜곡 전 이미지를 검출하는 단계와,
    상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계와,
    상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계를 포함하는,
    로봇 물고기 위치 인식 방법.
  9. 로봇 물고기의 이동 환경에 설치되는 방향성 마커와, 상기 로봇 물고기에 제공되어 주변 환경의 이미지를 스캐닝하는 센서를 포함하는 환경에서 수행되는 로봇 물고기의 위치 정보 또는 회전 정보를 획득하기 위한 로봇 물고기 위치 인식 방법에 있어서,
    상기 센서를 통해 시간적 및 공간적 간격을 가지면서 주변 환경의 이미지를 스캐닝하는 단계와,
    상기 센서에 의해 스캐닝된 이미지 중 시간적 간격을 가지도록 상기 방향성 마커의 제1 왜곡 이미지 및 제2 왜곡 이미지를 구분하여 처리하는 단계와,
    상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지의 대응점들간의 관계를 이용하여 변이정보를 계산하는 단계와,
    상기 변이정보를 이용하여 상기 로봇 물고기의 위치 정보 또는 회전 정보를 계산하는 단계를 포함하는,
    로봇 물고기 위치 인식 방법.
  10. 청구항 8에 있어서,
    상기 방향성 마커의 왜곡 이미지와 상기 방향성 마커의 왜곡 전 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 하는,
    로봇 물고기 위치 인식 방법.
  11. 청구항 9에 있어서,
    상기 방향성 마커의 제1 왜곡 이미지와 제2 왜곡 이미지 간의 호모그래피값의 변환을 이용하여, 상기 방향성 마커에 대한 상기 센서의 6 자유도를 구하는 것을 특징으로 하는,
    로봇 물고기 위치 인식 방법.
KR1020110025921A 2011-03-23 2011-03-23 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 KR101203816B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110025921A KR101203816B1 (ko) 2011-03-23 2011-03-23 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110025921A KR101203816B1 (ko) 2011-03-23 2011-03-23 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법

Publications (2)

Publication Number Publication Date
KR20120108256A KR20120108256A (ko) 2012-10-05
KR101203816B1 true KR101203816B1 (ko) 2012-11-22

Family

ID=47279880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110025921A KR101203816B1 (ko) 2011-03-23 2011-03-23 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법

Country Status (1)

Country Link
KR (1) KR101203816B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103056864A (zh) * 2013-01-24 2013-04-24 上海理工大学 轮式运动机器人位置与角度的实时检测装置及方法
US9849589B2 (en) 2016-03-02 2017-12-26 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105629199A (zh) * 2014-11-04 2016-06-01 Tcl集团股份有限公司 一种室内定位方法及系统
CN104808689A (zh) * 2015-05-15 2015-07-29 厦门大学 一种迷你型水下机器人的控制方法
KR102000487B1 (ko) * 2016-06-20 2019-07-17 (주)미니로봇 물고기로봇과 디스플레이를 이용한 전시용 수족관
KR20210104250A (ko) 2020-02-17 2021-08-25 (주)아이로 수중 이동 물체의 위치 인식 시스템 및 그 동작방법
KR20210104251A (ko) 2020-02-17 2021-08-25 (주)아이로 수중 이동 물체의 위치 인식 시스템을 이용한 트래킹 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167844A (ja) 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2007050490A (ja) 2005-08-19 2007-03-01 Hitachi Ltd 遠隔操作ロボットシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167844A (ja) 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2007050490A (ja) 2005-08-19 2007-03-01 Hitachi Ltd 遠隔操作ロボットシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103056864A (zh) * 2013-01-24 2013-04-24 上海理工大学 轮式运动机器人位置与角度的实时检测装置及方法
US9849589B2 (en) 2016-03-02 2017-12-26 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras

Also Published As

Publication number Publication date
KR20120108256A (ko) 2012-10-05

Similar Documents

Publication Publication Date Title
US10234873B2 (en) Flight device, flight control system and method
US10515271B2 (en) Flight device and flight control method
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2014173990A (ja) 計測装置
JP2019125116A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6524529B2 (ja) 建築限界判定装置
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
US10192141B2 (en) Determining scale of three dimensional information
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR102404867B1 (ko) 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
JP2000293693A (ja) 障害物検出方法および装置
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
JP2019027882A (ja) 物体距離検出装置
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161026

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee