KR101438514B1 - 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 - Google Patents

다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 Download PDF

Info

Publication number
KR101438514B1
KR101438514B1 KR1020130012254A KR20130012254A KR101438514B1 KR 101438514 B1 KR101438514 B1 KR 101438514B1 KR 1020130012254 A KR1020130012254 A KR 1020130012254A KR 20130012254 A KR20130012254 A KR 20130012254A KR 101438514 B1 KR101438514 B1 KR 101438514B1
Authority
KR
South Korea
Prior art keywords
robot
cameras
measuring
camera
multiple images
Prior art date
Application number
KR1020130012254A
Other languages
English (en)
Other versions
KR20140099622A (ko
Inventor
최영수
김태원
정경민
Original Assignee
한국원자력연구원
한국수력원자력 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원, 한국수력원자력 주식회사 filed Critical 한국원자력연구원
Priority to KR1020130012254A priority Critical patent/KR101438514B1/ko
Publication of KR20140099622A publication Critical patent/KR20140099622A/ko
Application granted granted Critical
Publication of KR101438514B1 publication Critical patent/KR101438514B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • G—PHYSICS
    • G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21C—NUCLEAR REACTORS
    • G21C17/00—Monitoring; Testing ; Maintaining
    • G21C17/08—Structural combination of reactor core or moderator structure with viewing means, e.g. with television camera, periscope, window
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Monitoring And Testing Of Nuclear Reactors (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 다중 영상을 이용한 로봇 위치 측정 시스템 및 그 측정방법에 관한 것으로, 원자로 내부공간(10)의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기(101)가 구비되며, 원자로 내부공간(10)을 관측하는 수중카메라(102)가 일단부에 설치되는 수중로봇(100); 원자로 용기 상단부(20)에 설치된 복수대의 카메라(200); 상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부(300); 및 상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)를 포함하고, 상기 위치 측정부(300)는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함하는 것을 특징으로 한다.
상기와 같이 다중영상을 이용한 로봇 위치 측정 시스템 및 그 측정방법에 의해, 본 발명은 원자로 내에서 로봇 위치를 실시간으로 정확하게 측정하여 조작자의 편리성과 원격작업의 정확성을 구현할 수 있다.

Description

다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법{ROBOT LOCALIZATION DETECTING SYSTEM USING A MULTI-VIEW IMAGE AND METHOD THEREOF}
본 발명은 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법에 관한 것으로, 더욱 상세하게는 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하여 로봇의 위치를 측정하는 시스템 및 그 방법에 관한 것이다.
원자로 압력용기는 사람의 접근이 제한되는 고방사선 구역으로 로봇을 이용한 원격 작업이 필수적이다.
일반적으로 로봇에는 각종 센서들을 장착하여 원격지의 작업자가 주변 상황을 인식하며 원하는 작업을 수행할 수 있도록 해 주는데, 수중로봇에는 카메라, 압력센서 등의 센서가 사용되고 있다. 카메라는 사람의 눈과 같이 직관적으로 대상을 관측함으로서 원격 작업을 원활하게 수행할 수 있도록 해주며, 압력센서는 수중로봇의 물속 깊이 정보를 파악할 수 있게 해 준다.
원자로 작업용 수중로봇은 사용자가 방사선에 피폭되지 않도록 원격지의 안전한 곳에서 원격으로 조작하며, 사용자는 로봇에 설치된 카메라, 원자로 압력 용기상단에 설치된 카메라 등을 통해 수중로봇을 조작하고 압력용기 내부를 검사하게 된다. 이 때, 영상 정보만을 이용하여 로봇을 원하는 위치에 도달하도록 조작하는 것은 매우 힘든 일이다. 로봇의 위치 정보를 파악하여 조작자에게 제공함으로써 원격작업을 원활히 수행할 수 있도록 해준다. 로봇의 위치 측정 방법 중 일반적으로 관성측정장치(IMU)나 압력센서를 사용하는데 다음과 같은 문제로 위치 측정이 쉽지 않다.
첫째, 관성측정장치의 경우 가속도와 기울기의 변화를 적분하여 위치를 추정하므로 오차의 누적을 피할 수 없고, 수중 로봇의 운용 시간이 길어질수록 위치 정밀도는 떨어지게 되는 문제점이 있다. 둘째, 압력센서는 수중로봇의 작은 높이 변화에 대응하기 힘들며, 주변의 온도나 유속 등에 영향을 받아 올바른 위치를 판단할 수 없는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하여 로봇의 위치를 측정하는 시스템 및 그 방법을 제공하는 것이다.
본 발명의 다른 목적은 원자로 내에서 로봇 위치를 실시간으로 정확하게 측정하여 조작자의 편리성과 원격작업의 정확성을 구현할 수 있는 로봇 위치 측정 시스템 및 그 측정방법을 제공하는 것이다.
본 발명의 또 다른 목적은 정량적인 로봇 위치 측정뿐만 아니라 직관적인 로봇 위치 관측이 가능하여 원격 조작의 신뢰성을 배가시킬 수 있는 로봇 위치 측정 시스템 및 그 측정방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 원자로 내부공간의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기가 구비되며, 원자로 내부공간을 관측하는 수중카메라가 일단부에 설치되는 수중로봇; 원자로 용기 상단부에 설치된 복수대의 카메라; 상기 복수대의 카메라를 통한 다중 영상을 처리하여 상기 수중로봇의 위치와 자세를 측정하는 위치 측정부; 및 상기 위치 측정부에서 측정된 상기 수중로봇의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격제어부를 포함하는 로봇 위치 측정 시스템을 제공한다. 상기 위치 측정부는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, (a) 다수의 카메라에서 다중 영상을 획득하는 단계; (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계; (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계; (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계; (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및 (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계를 포함하는 로봇 위치 측정방법을 제공한다. 상기 (b) 단계는 실제공간과 카메라의 픽셀 공간을 일치시키는 내부 파라미터를 얻는 과정 및 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동 행렬을 획득하는 외부 파라미터를 얻는 과정으로 분류되는 것을 특징으로 한다.
상술한 바와 같이, 본 발명은 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하고, 이를 통한 다중영상을 도출하여 로봇의 위치를 3차원으로 측정하는 방법을 제시한다.
이에 따라, 본 발명은 원자로 내에서 로봇 위치를 실시간으로 정확하게 측정할 수 있으므로 조작자의 편리성과 원격작업의 정확성을 구현하여 작업의 품질 향상 및 작업의 속도 증대를 기대할 수 있다.
이와 함께, 본 발명은 고방사선 구역인 원자로에서 직접적인 피폭을 방지할 수 있도록 원자로 용기 외부의 저방사선 구역에 위치 감지부를 설치한다.
이에 따라, 본 발명은 로봇 위치 측정에 비전을 이용함으로써 정량적인 로봇 위치 측정뿐 아니라 직관적인 로봇 위치 관측이 가능하여 원격 조작의 편의성 및 신뢰성을 배가시키는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템을 나타내는 구성도,
도 2는 상기 로봇 위치 측정 시스템의 위치 측정부에서 실행하는 측정방법을 나타내는 단계도,
도 3은 visual hull 개념도,
도 4는 Zhang's calibration에서의 카메라 모델을 나타내는 개념도,
도 5는 영상에서 측정된 좌표쌍을 나타낸 사진,
도 6은 원자로 압력용기 바닥면 홀을 이용한 카메라 보정을 나타낸 사진,
도 7a는 실제 카메라의 위치를 나타낸 사진,
도 7b는 외부 교정을 통해 얻어진 카메라의 위치를 나타내는 사진,
도 8은 실제 로봇을 나타내는 정면도,
도 9는 각각의 로봇에서 획득한 실루엣을 나타낸 사진,
도 10은 RANSAC 타원피팅을 수행한 결과를 나타낸 사진,
도 11은 정확히 교차하지 않는 로봇의 중심점을 지나는 광선을 나타내는 사진,
도 12는 로봇의 위치를 구하는 방법의 개념도,
도 13은 교차점 측정 알고리즘을 사용한 로봇의 위치 획득을 나타내는 사진,
도 14a 내지 14d는 로봇의 실제 위치를 바닥에서부터 0.1m, 0.2m, 0.3m, 0.4m의 각각의 실험 그래프,
도 15는 로봇의 등속운동시 위치 추정 그래프이다.
이하 본 발명의 바람직한 실시예에 로봇 위치 측정 시스템 및 그 측정방법을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템을 나타내는 구성도이고, 도 2는 상기 로봇 위치 측정 시스템의 위치 측정부에서 실행하는 측정방법을 나타내는 단계도이다.
상기 도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템은 원자로 내부공간(10)의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기(101)가 구비되며, 원자로 내부공간(10)을 관측하는 수중카메라(102)가 일단부에 설치되는 수중로봇(100); 원자로 용기 상단부(20)에 설치된 복수대의 카메라(200); 상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부(300); 및 상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)를 포함한다.
상기 수중로봇(100)에는 원자로 내부공간(10) 임의의 위치에서 임의의 각도를 유지할 수 있어야 하므로 전후, 좌우, 상하이동 및 회전이 가능하도록 상기 수중로봇(100)의 수직과 수평방향으로 각각 2개의 추력기(thruster, 101)가 일정각도를 갖도록 배치하여 4-자유도를 가질 수 있도록 구성된다. 또한, 상기 수중로봇(100)에는 조작자가 원하는 영상을 얻을 수 있도록 원자로 내부공간(10)을 관측할 수 있는 수중카메라(102)가 일단부에 설치될 수 있다.
다음으로, 원자로 상부(20)에는 다중 영상을 얻기 위해 복수개의 카메라(200)가 설치될 수 있다. 상기 복수개 카메라(200)는 바람직하게는 3개 이상, 더욱 바람직하게는 4개 이상의 카메라를 설치하는 것이 보다 정밀한 다중 영상을 얻을 수 있다.
상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부가 원자로 외부 저방사선 구역에 설치되는데, 이는 기존에 위치센서가 수중로봇에 직접 부착되는 것과 비교하여 방사능 피폭을 줄일 수 있다. 상기 위치 측정부(300)는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함할 수 있으며, 이러한 구성을 가지는 위치측정부(300)에서 다중 영상을 이용하여 로봇의 위치를 3차원으로 구현하는 구체적인 방법에 대해서는 이하 로봇 위치 측정방법에서 상세히 설명한다.
상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)는 방사선 피폭이 없는 안전한 구역내에 설치된다.
상기 원격 제어부(400)는 위치 측정부에서 측정된 데이터를 바탕으로 피드백 받아 원자로 내부 용기 내에서 검사를 하기 위해서 원하는 위치로 로봇(100)을 이동시키거나 원하는 자세를 유지할 수 있도록 제어할 수 있다.
이하, 상기 위치 측정부(300)에서 실행하는 다중영상을 이용한 3차원 형상 복원 알고리즘을 통한 로봇 위치 측정 방법에 대해서 상세히 설명한다. 참고로 4개의 카메라를 이용하여 다중영상을 획득하고, 이를 통해 로봇(100)의 위치를 얻는 방법에 대해서 구체적으로 설명한다.
도 2는 본 발명에 따른 로봇위치 측정방법을 나타내는 단계도이다. 상기 도 2를 참조하면, 측정방법은 (a) 다수의 카메라에서 다중 영상을 획득하는 단계; (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계; (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계; (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계; (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및 (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계로 구성된다.
일반적으로 다수의 카메라에서 획득한 다시점 영상을 이용한 3차원 형상 복원 알고리즘은 visual hull, photo hull, 복셀 컬러링, space carving, 스테레오 비전 등 영상 내에서 이용하는 정보 및 카메라 구성 방식에 따라 여러 가지 알고리즘이 존재한다. 이 중, 본 발명에서는 로봇위치 측정을 위해 visual hull 알고리즘을 사용하는데, 상기 방식은 측정 대상의 실루엣을 획득하고 이를 3차원 공간상에 역영사(back-projection)하여 공간상의 교차 공간을 획득하는 방식이다.
도 3은 visual hull 개념도로서, 카메라 원점과 실루엣 이미지의 픽셀을 지나는 공간상의 광선을 구한 뒤, 이들의 교차점을 복셀, 룩업테이블, 에피폴라 제약 등을 이용하여 구하는 방법으로, 측정방법에서 (a) 다수의 카메라에서 다중 영상을 획득하는 단계를 구성한다.
다음으로, (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계에서 상기 카메라 보정은 실제 공간과 카메라의 픽셀 공간을 일치시키는 과정으로 초점거리, 영상 중심, 렌즈 왜곡 계수 등의 내부 파라미터를 얻는 내부 교정(intrinsic calibration)과 카메라의 실제 공간상의 위치, 즉 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동행렬을 획득하는 외부 교정(extrinsic calibration)으로 분류할 수 있다. 카메라 보정 과정을 끝내면 최종적으로 투영 행렬을 획득하게 되고 이를 이용하여 공간상의 한 점이 카메라 영상 위의 픽셀 공간에 투영되는 위치를 알 수 있다.
내부 파라미터를 구하는 방법으로 주로 사용되는 Zhang의 카메라 보정 방법을 이용하여 내부 보정(intrinsic calibration)을 수행한다. Zhang's calibration에서는 도 4와 같은 카메라 모델을 정의한다. 상기 도 4를 참조하면, ?M은 월드 좌표상의 한 점을 나타내며 m은 이 영상에 투영된 픽셀 좌표, c는 주요지점(principal point), α와 β는 x, y축에 대한 가로 세로 비율(aspect ratio)를 나타내며 초점 거리(focal length)와 곱해진다. 결과적으로 월드 좌표 M과 픽셀좌표 m 사이의 관계는 식 (1)과 같이 정의된다.
Figure 112013010175439-pat00001
여기에서 s는 스케일 요소(scale factor), γ는 스큐 매개변수(skew parameter), r과 t는 회전 매개 변수(rotation parameter)와 번역 매개 변수(translation parameter)를 나타낸다. 여기서 내부 매트릭스(intrinsic matrix)는 우변의 첫 번째 행렬을 말하며 aspect ratio가 반영된 focal length, principal point, skew parameter로 구성된다. 따라서 intrinsic matrix를 획득하기 위해선 다수의 월드-픽셀 좌표 쌍을 이용하여 해를 구해야 하며 도 5에 나와 있는 것과 같이 사전에 알고 있는 대상을 영상에서 측정하여 좌표쌍을 얻는 방법을 사용한다.
하기 표 1은 이러한 Zhang's calibration을 이용하여 카메라 4대의 내부 파라미터를 구한 결과이다. 이와 같은 내부 파라미터는 카메라의 초점거리 및 배율을 조작하지 않는 이상 최초 한번만 수행하면 된다.
(표 1)
Figure 112013010175439-pat00002
다음으로, 외부 파라미터를 구하기 위해서는 실제 공간상에 알고 있는 네 점의 좌표가 필요하다. 일반적으로 카메라보정용 큐브나 패턴을 사용하는데 실제 로봇 운용시 원자로 용기 내부에 카메라 보정용 큐브나 패턴을 설치할 수 없기 때문에 도 6에 나와 있는 것과 같이, 원자로 압력용기 바닥면 홀을 이용하여 카메라 보정을 수행한다. 이 때, 전역좌표축의 원점은 원자로 용기 바닥면의 정 중앙으로 한다.
도 7a는 실제 카메라의 위치이며, 도 7b는 외부 교정(extrinsic calibration)을 통해 얻어진 카메라의 위치를 3차원 도시한 것이다. 이러한 카메라의 위치는 extrinsic calibration의 수행결과로 획득한 회전행렬과 이동행렬을 이용하여 식 (2)와 같이 구할 수 있다.
C= -R -1T = -R TT (2)
여기에서, C는 월드 좌표 상에서의 카메라의 위치, R과 T는 extrinsic calibration을 통해 획득한 rotation과 translation matrix이다.
다음으로, (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계에 대해서 설명한다.
각각의 다중 영상에서 로봇의 실루엣을 측정하는 방법으로 원자로 용기 내부에 유색 물체는 수중 로봇이 유일하다는 가정으로 색조 탐지(hue detection)를 사용하였다. 이는 입력 영상을 HSI 색공간으로 변환한 다음로봇의 색조(hue) 범위를 이용하여 측정하는 방법으로 영상의 한 픽셀이 식 (4)와 같은 조건을 만족할 때 해당 지점을 실루엣 영역이라고 판단한다. 이 때, 노이즈제거 및 실루엣 내부를 채우기 위하여 모폴로지 연산을 수차례 수행한다. 식 (3)은 RGB 색상 공간에서 HIS 색상공간으로의 변환 방법을 나타낸다.
Figure 112013010175439-pat00003
Figure 112013010175439-pat00004

여기에서, Ixy, Sxy, Hxy는 영상의 x, y위치에서의 조도, 채도, 색조 값을 말하며,ITh와 STh는 그때의 임계값을 말한다. 이 두 값은 주변 광량에 따라 adaptive하게 결정되며 H min 과 H max는 사전 관측 값에 의해 결정된다.
도 8는 실제 로봇을 나타내는 정면도이고, 도 9은 각각의 카메라에서 로봇 실루엣을 획득한 결과이다.
다음으로, (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; 및 (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계에 대해서 설명한다.
상기 ⓒ단계에서 구한 로봇 실루엣 영역에 대해 타원 피팅을 수행하고 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구한다. 이와 같은 방법으로 로봇의 실제 좌표를 획득할 수 있으며 단 4개의 광선 교차점만 구하면 되므로 알고리즘 수행 속도 역시 향상되어 실시간 구현이 가능하다.
도 10을 참조하면, 실루엣 이미지에 RANSAC 타원피팅을 수행한 결과를 나타내는 사진이다. RANSAC 타원 피팅이란 conic equation에 주어진 다섯 개의 점을 이용하여 식 (5)를 만족하는 conic parameter를 구하는 것이다. 이 때, 일반적인RANSAC 알고리즘에서 그러하듯 사용하는 다섯 개의 점은 실루엣 영상에서 랜덤하게 선택 되며 inlier가 최대가 되거나 정해진 횟수에 도달할 때까지 반복 수행하여 최적 타원을 찾는다.
Figure 112013010175439-pat00005
도 10에 나타난 초록색 원은 타원 피팅 알고리즘을 통해 찾은 최적 타원을 나타내며 가운데의 노란색 원은 로봇 중심점을 나타낸다. 이 때, 각각의 다시점 영상에서 로봇의 중심점을 지나는 광선은 도 11에서 보이는 바와 같이 서로 정확히 교차하지 않는다. 이는 카메라 보정의 오차와 타원 피팅으로 구한 로봇의 중심점 좌표 오차 때문이다. 따라서 이러한 오차를 고려하여 광선의 교차점을 구하는 알고리즘이 필요하며 제안하는 방법은 다음과 같다.
1) 카메라 원점과 로봇 중앙점을 지나는 직선의 방정식을 구한다.
2) 전역 좌표계의 x, y축과 평행하고 z축 높이를 갖는 임의의 평면과 직선들과의 교차점을 구한다.
3) 평면의 z축 높이를 증가시키며 2)를 반복하여 각 교차점들이 이루는 사각 형의 넓이가 최소가 될 때의 z축 높이와 교차점의 중점을 찾는다.
이 때, 기준 평면과 각각의 광선의 교차점을 Pi = (xi, yi)라 하면 교차점들이 이루는 사각형의 넓이는 하기 식 (6)의 사선 공식을 통해 구할 수 있다. 넓이가 최소가 되는 평면의 z축 높이가 로봇의 z축 좌표이며, 교차점들의 중심점이 로봇의 x, y축 좌표가 된다.
Figure 112013010175439-pat00006
도 12는 교차점 측정을 통해 로봇의 위치를 구하는 방법의 개념도로서, 이와 같은 방법으로 로봇의 위치를 구하게 되면 일반적으로 3차원 복원 방식에서 사용하는 복셀을 이용한 교차영역 판정 기법보다 속도나 정확도 측면에서 우수한 성능을 보이게 된다. 한편, 도 13는 제안한 교차점 측정 알고리즘을 사용하여 로봇의 위치를 획득한 것이다.
이하, 본 발명에 따른 로봇 위치 측정 시스템 및 그 측정방법을 구체적으로 실시한 실시예에 대해 설명하도록 한다.
실험은 1/5 스케일 원자로 압력 용기목업에서 수행하였으며 목업은 압력 용기 내부 형상, 압력 용기 바닥면 홀, 수중 로봇, 수중 로봇 리프팅 장치로 구성되어 있다. 원자로 용기 상단에는 352x240 해상도의 컬러 카메라 4대를 장착하였다. 영상획득을 위해 DVR 장비를 사용하였으며 알고리즘 구동을 위한 PC의 사양은 인텔 i7 CPU와 메모리 16GB 이다. 전체 알고리즘 수행속도는 초당 22 frame/sec로 한 루프에 약 45 msec 정도 소요된다.
실험은 다음과 같은 순서로 이루어졌다. 우선 로봇의 실제 위치를 바닥에서부터 0.1m, 0.2m, 0.3m, 0.4m 이동시키고 각각의 높이에서 600 frame 동안의 측정 결과를 획득한다. 이 후 z축 높이의 평균과 최대, 최소 에러를 구한 뒤 표 2와 그래프로 도시하였다. 도 14a 내지 14d는 차례대로 0.1m실험 내지 0.4m실험을 나타내는 그래프로서, 로봇의 중심점 좌표가 매번 정확하게 측정 될 수 없기 때문에 값에 흔들림이 보이지만 하기 표 2를 보면 모든 측정에서 약 0.3% 이내의 오차가 나오는 것을 확인할 수 있다.
(표 2)
Figure 112013010175439-pat00007
다음으로 도 15는 원자로 목업에 장착된 모터를 이용하여 로봇을 등속 운동 시켰을 때의 위치 추정 결과이다. 측정결과가 로봇의 이동에 맞게 선형적으로 나오는 것을 확인할 수 있다. 이와 같이 로봇 위치 탐지 실험은 1/5 스케일원자로 압력 용기 목업에서 이루어졌으며, 수 mm 이내의 수중로봇 높이 정밀도 결과를 얻었다. 또한 로봇을 수직 높이 방향으로 등속 이동하면서 얻은 수중로봇의 위치 탐지 결과도 선형성을 보임으로써 제안한 알고리즘의 정확성을 검증하였으며, 향후 원자로 원격 검사, 수중 로봇의 제어에 활용할 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 원자로 내부 검사장비 또는 원격으로 정밀하게 로봇을 제어하는 분야에 적용된다.
10: 원자로 내부 20: 원자로 상단부
100: 수중로봇 101: 추력기
102: 수중 카메라 200: 복수개의 카메라
300: 위치 측정부 400: 원격 제어부

Claims (4)

  1. 원자로 내부공간(10)의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기(101)가 구비되며, 원자로 내부공간(10)을 관측하는 수중카메라(102)가 일단부에 설치되는 수중로봇(100);
    원자로 용기 상단부(20)에 설치된 복수대의 카메라(200);
    상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부(300); 및
    상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)를 포함하고,
    상기 복수대의 카메라를 통한 다중영상 처리는
    (a) 다수의 카메라에서 다중 영상을 획득하는 단계; (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계; (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계; (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계; (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및 (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계로 구성되는 것을 특징으로 하는 로봇 위치 측정 시스템.

  2. 제1항에 있어서,
    상기 위치 측정부(300)는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함하는 것을 특징으로 하는 로봇 위치 측정 시스템
  3. (a) 다수의 카메라에서 다중 영상을 획득하는 단계;
    (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계;
    (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계;
    (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계;
    (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계;
    (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및
    (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계를 포함하는 로봇 위치 측정방법
  4. 제3항에 있어서, 상기 (b) 단계는
    실제공간과 카메라의 픽셀 공간을 일치시키는 내부 파라미터를 얻는 과정 및 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동 행렬을 획득하는 외부 파라미터를 얻는 과정으로 분류되는 것을 특징으로 하는 로봇 위치 측정방법
KR1020130012254A 2013-02-04 2013-02-04 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 KR101438514B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130012254A KR101438514B1 (ko) 2013-02-04 2013-02-04 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130012254A KR101438514B1 (ko) 2013-02-04 2013-02-04 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법

Publications (2)

Publication Number Publication Date
KR20140099622A KR20140099622A (ko) 2014-08-13
KR101438514B1 true KR101438514B1 (ko) 2014-09-11

Family

ID=51745813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130012254A KR101438514B1 (ko) 2013-02-04 2013-02-04 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법

Country Status (1)

Country Link
KR (1) KR101438514B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185197B1 (ko) * 2014-10-17 2020-12-01 동우 화인켐 주식회사 유도 가열 장치
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
KR102172257B1 (ko) * 2017-12-14 2020-10-30 한국원자력연구원 사용후핵연료 검사를 위한 수상 로봇 및 검사 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015201A (ko) * 2003-08-04 2005-02-21 한국전력공사 원자로 내부구조물 검사 및 이물질제거용 수중로봇 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015201A (ko) * 2003-08-04 2005-02-21 한국전력공사 원자로 내부구조물 검사 및 이물질제거용 수중로봇 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
이승민, 원자로내 이동로봇용 3차원 위치 측정 및 탐지 시스템, 발행장소: 충남대학교, 2007년 8월 *
최영수, 원자로 검사용 원격 로봇시스템 구현, 발행장소: 충남대학교, 2010년 2월 *

Also Published As

Publication number Publication date
KR20140099622A (ko) 2014-08-13

Similar Documents

Publication Publication Date Title
US20210012532A1 (en) System and method for calibration of machine vision cameras along at least three discrete planes
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
US9672630B2 (en) Contour line measurement apparatus and robot system
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN110136208A (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
CN109840950B (zh) 得到真实尺寸3d模型的方法、勘测装置
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
CA2573728A1 (en) Method and apparatus for machine-vision
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JP2011027724A (ja) ３次元計測装置、その計測方法及びプログラム
CN106625673A (zh) 狭小空间装配系统及装配方法
US11446822B2 (en) Simulation device that simulates operation of robot
JP2018036189A (ja) キャリブレーション装置およびキャリブレーション方法
Ponte et al. Visual sensing for developing autonomous behavior in snake robots
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014002033A (ja) 画像処理装置、画像処理方法
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP2018048839A (ja) 三次元データ生成装置及び三次元データ生成方法、並びに三次元データ生成装置を備えた監視システム
JP2019536143A (ja) センサ計画のロボット感知装置および方法
Núnez et al. Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data.
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 6