KR101683763B1 - 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 - Google Patents
360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 Download PDFInfo
- Publication number
- KR101683763B1 KR101683763B1 KR1020150129787A KR20150129787A KR101683763B1 KR 101683763 B1 KR101683763 B1 KR 101683763B1 KR 1020150129787 A KR1020150129787 A KR 1020150129787A KR 20150129787 A KR20150129787 A KR 20150129787A KR 101683763 B1 KR101683763 B1 KR 101683763B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- image
- degree camera
- robot
- marker
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000004088 simulation Methods 0.000 title claims abstract description 86
- 239000003550 marker Substances 0.000 claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 양상에 따른 360도 카메라(20)를 이용한 증강현실 로봇 시뮬레이션 방법은, 상기 360도 카메라(20)로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 제 1 단계; 상기 평면 영상에서 증강현실 마커(40)를 인식하고 마커 정보를 연산해내는 과정을 적어도 실행하는 제 2 단계; 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 과정을 적어도 실행하는 제 3 단계; 상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 과정을 적어도 실행하는 제 4 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 360도 카메라를 이용하여 증강현실 로봇 시뮬레이션을 수행하는 시뮬레이션 시스템 및 시뮬레이션 방법에 관한 것이다.
로봇 하드웨어 테스트를 하기 위해서는 많은 시행착오나 비용이 소요되는바, 이러한 이유로 로봇 시뮬레이션의 필요성은 점차 높아지고 있다.
종래 로봇 시뮬레이션은 가상현실 환경에서 많이 실시되어 왔다. 그러나 가상현실의 '실제성 결여'로 인해 현실 공간에 대한 맥락정보가 결여되는 문제점이 있으며, 이러한 문제점을 해결하기 위해 증강현실 기반의 시뮬레이션이 최근 각광받고 있다. 아래 표는 시뮬레이션을 선택할 때 중요시되는 기준을 중요한 순으로 나열한 표이다.
| Rank | Most important criteria |
| 1 | Simulation very close to reality |
| 2 | Open-source |
| 3 | Same code for both real and simulated robot |
| 4 | Light and fast |
| 5 | Customization |
| 6 | No interpenetration between bodies |
[Serena Ivaldi & etc, "Tools for dynamics simulation of robots"]
시뮬레이션의 현실성은 사용자 측면에서 가장 중요시되는 선택기준이며, 본 발명은 이를 해결할 수 있는 증강현실 기술을 적용한 시뮬레이션에 관한 것이다.
최근 증강현실의 다양한 요소 기술들이 연구되고 있는데, 이 중에서 진행된 연구가 가장 많은 분야는 객체 인식 및 객체 추적이다. 이는 크게 센서기반, 컴퓨터시각 기반, 및 센서와 컴퓨터 시각을 결합한 하이브리드 기반으로 나뉜다. 컴퓨터 시각 기반의 추적 기술은 실세계 객체에 대한 카메라의 방향을 계산하기 위해 영상처리 기법을 사용하는데, 현재 증강현실의 추적 기술중 가장 활발히 연구되는 접근 방식으로 추적 기술의 연구 중 약 80%를 차지한다.
컴퓨터 시각 기반의 추적 기술에서는, 등록하려고 하는 객체에 대해 식별할 수 있는 인공적 마커(marker)를 지정하고 이러한 마커를 실세계 환경에 도입하며, 카메라로 입력된 영상에서 마커를 추적하도록 한다.
그런데 종래 증강현실 로봇 시뮬레이션과 이에 활용되었던 카메라는 일정 화각 이내의 제한적인 영역만을 촬영하고 처리할 수 있었다. 이로 인해 종래 증강현실 시뮬레이션에서는 마커가 화각 밖에 있을 경우 증강현실이 동작하지 않게 된다.
따라서 원하는 증강현실 객체가 포함된 증강현실 시뮬레이션을 위해서는 카메라의 자세를 변경하거나 이동하여 해당 객체가 포함되도록 해야 하는 번거로움이 있다.
나아가, 한꺼번에 여러 개의 증강현실 객체들을 포함시켜 동시에 시뮬레이션을 수행하여야 하는 경우에는 정확한 시뮬레이션이 어려운 경우가 많다. 예를 들어, 여러 대의 로봇 등이 길게 늘어서 있거나, 여러 대의 로봇 등이 'ㄷ'자 또는 'ㅁ'자 등의 형태로 배치되어 있는 경우에는 원거리 촬영과 처리로는 정확한 시뮬레이션이 불가능하다.
이러한 문제점을 해결하기 위하여, 파노라마 영상을 사용하는 방법을 상정해 볼 수 있지만, 일반 영상을 직선형태의 파노라마 영상으로 촬영·변환하는 과정을 필요로 하며, 이로 인한 많은 좌표 변환과 긴 처리 시간을 필요로 하는 문제가 있다.
상기한 종래 기술의 문제점 및 과제에 대한 인식은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이 아니므로 이러한 인식을 기반으로 선행기술들과 대비한 본 발명의 진보성을 판단하여서는 아니됨을 밝혀둔다.
본 발명의 목적은 사용자의 사용 편이성이 향상된 증강현실 시뮬레이션 시스템 및 방법을 제공하기 위한 것이다.
또한, 본 발명의 다른 목적은 여러 개의 증강현실 객체를 포함하는 시뮬레이션을 수행하는 경우에도 정확성이 향상된 증강현실 시뮬레이션이 가능한 증강현실 시뮬레이션 시스템 및 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법은, 컴퓨터에서 실행되며 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법으로서,
상기 360도 카메라로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 제 1 단계; 상기 평면 영상에서 증강현실 마커를 인식하고 마커 정보를 연산해내는 과정을 적어도 실행하는 제 2 단계; 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 과정을 적어도 실행하는 제 3 단계; 상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 과정을 적어도 실행하는 제 4 단계;를 포함하는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 제 1 단계에서의 보정에는 Distortion map이 사용되며, 상기 Distortion map은 보정 객체를 이용하여 Planar homography 행렬 연산과 왜곡 보정 파라미터 연산으로 생성되는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기한 증강현실 마커의 인식은, 데이터베이스에 저장된 마커 특징 정보와 일치하는 증강현실 마커를 상기 평면 영상에서 찾는 과정인 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 마커 정보는 마커의 위치, 방향 및 크기에 관한 정보를 포함하며, 상기 마커 정보는 상기 360도 카메라의 자세 추정을 위해 사용되는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 컴퓨터는 태블릿 PC인 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 태블릿 PC의 화면에 대한 사용자의 탭 또는 드래그에 따라 상기 제 3 단계에서 생성되는 제공 영상 영역 정보가 변경됨으로써,
상기 360도 카메라의 자세 변경이 없어도, 상기 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동되는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은, 사용자의 조작 입력에 따라, 상기 360도 카메라를 중심으로 적어도 전방 및 후방의 영역을 모두 포함하거나 적어도 좌측 및 우측의 영역을 모두 포함하는 것으로 선정될 수 있는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은 상기 평면 영상 중에서 이격되어 있는 적어도 2 이상의 선택 영역을 포함하는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법에 있어서, 상기 제 4 단계는, 상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하는 제 4-1 단계; 상기 보정된 마커 정보에 따라 증강 현실 객체의 위치 및 자세를 추정하는 제 4-2 단계; 상기 추정된 위치 및 자세에 따른 증강 현실 객체를 상기 평면 영상 중 제공할 영상에 반영하여 상기 증강현실 영상을 생성하는 제 4-3 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 양상에 따른 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템은 360도 카메라와, 상기 360도 카메라와 연결되며 소프트웨어가 탑재된 컴퓨터;를 포함하여 구성되며,
상기 소프트웨어가 탑재된 컴퓨터는, 상기 360도 카메라로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 기능; 상기 평면 영상에서 증강현실 마커를 인식하고 마커 정보를 연산해내는 기능;
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 기능; 상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 기능;를 포함하여 수행하는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템에 있어서, 상기 컴퓨터는 태블릿 PC이며, 상기 태블릿 PC의 화면에 대한 사용자의 탭 또는 드래그에 따라 상기 생성되는 제공 영상 영역 정보가 변경됨으로써, 상기 360도 카메라의 자세 변경이 없어도, 상기 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동되는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템에 있어서, 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은, 사용자의 조작 입력에 따라, 상기 360도 카메라를 중심으로 적어도 전방 및 후방의 영역을 모두 포함하거나 적어도 좌측 및 우측의 영역을 모두 포함하는 것으로 선정될 수 있는 것을 특징으로 한다.
상기한 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템에 있어서, 상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은, 상기 평면 영상 중에서 이격되어 있는 적어도 2 이상의 선택 영역을 포함하는 것을 특징으로 한다.
본 발명에서는 사용자의 화면 조작만으로도 용이하게 증강현실 영상의 표시 영역을 변경할 수 있으며, 이에 따라 사용자의 사용 편이성이 대폭 향상되는 효과가 있다.
또한, 본 발명에 따르면 증강현실 마커는 항상 카메라 화각 안에 존재하게 되어 사용자가 가상적으로 카메라의 자세와 각도를 자유롭게 조절할 수 있도록 하는 환경을 제공해주게 되며, 사용자는 보다 자유로운 위치와 각도에서 증강현실 화면정보를 제공받을 수 있는 효과가 있다.
또한, 본 발명에 따르면 카메라를 중심으로 여러 개의 증강현실 객체가 둘러싸는 환경, 또는 카메라를 중심으로 긴 이동 동선을 가진 환경 등에서 정확성이 향상된 증강현실 시뮬레이션이 가능토록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템으로 시뮬레이션을 수행하는 상황을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템에서 전용 소프트웨어가 탑재된 컴퓨터가 수행하는 기능을 개념적으로 도시한 기능 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법을 도시한 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 Distortion map을 구성하기 위한 과정을 예시한 플로우차트이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 마커 인식 등에 관한 과정을 도시한 플로우차트이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역 정보를 생성하기 위한 과정을 도시한 플로우차트이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 시뮬레이션 방법에서 마커 정보의 보정 등에 관한 과정을 도시한 플로우차트이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 카메라(20)를 둘러싸는 폭이 넓은 영역을 제공 영상 영역으로 한 경우의 예이다.
도 9는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역을 변경하는 예를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 촬영 영역에서 사용자가 선정한 복수의 특정 영역을 동시에 보여주는 분할 영상의 예로서, 도 10(A)는 가로로 분할 표시한 예이고 도 10(B)는 세로로 분할 표시한 예이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템에서 전용 소프트웨어가 탑재된 컴퓨터가 수행하는 기능을 개념적으로 도시한 기능 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법을 도시한 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 Distortion map을 구성하기 위한 과정을 예시한 플로우차트이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 마커 인식 등에 관한 과정을 도시한 플로우차트이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역 정보를 생성하기 위한 과정을 도시한 플로우차트이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 시뮬레이션 방법에서 마커 정보의 보정 등에 관한 과정을 도시한 플로우차트이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 카메라(20)를 둘러싸는 폭이 넓은 영역을 제공 영상 영역으로 한 경우의 예이다.
도 9는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역을 변경하는 예를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 촬영 영역에서 사용자가 선정한 복수의 특정 영역을 동시에 보여주는 분할 영상의 예로서, 도 10(A)는 가로로 분할 표시한 예이고 도 10(B)는 세로로 분할 표시한 예이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 명칭 및 도면 부호를 사용한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템으로 시뮬레이션을 수행하는 상황을 예시한 도면이다.
본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템은, 로봇(30) 등에 대한 증강현실 시뮬레이션을 수행하는 시스템으로서, 증강현실 마커(40), 360도 카메라(20) 및 전용의 소프트웨어가 탑재된 컴퓨터(10)를 포함한다.
컴퓨터(10)는 선호되기로 태블릿 PC로서 360도 카메라(20)와 연결되며, 360도 카메라(20)는 증강현실을 위한 영상을 촬영하는 장치이다. 360도 카메라(20)는 태블릿 PC에 고정설치되거나 별도의 거치기구를 이용하여 고정설치될 수도 있다. 360도 카메라(20)에서 촬영된 영상은 유선 또는 무선으로 태블릿 PC와 같은 컴퓨터(10)로 전달되고 전달된 영상은 컴퓨터(10)의 스크린에 표시될 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 시스템에서 전용 소프트웨어가 탑재된 컴퓨터가 수행하는 기능을 개념적으로 도시한 기능 블럭도이다.
전용 소프트웨어가 탑재된 컴퓨터는 영상 입력부(11), 영상 보정부(12), 증강현실 마커 추적부(13), 사용자 조작 처리부(14), 증강현실 제공부(15) 및 영상 디스플레이부(16)을 포함하는 기능블록을 구비한다.
영상 입력부(11)는 360도 카메라(20)로부터 촬영된 영상을 입력하는 기능을 수행하며, 영상 보정부(12)는 360도 카메라(20)로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 기능 등을 수행한다. 영상 보정부(12)가 왜곡되어 있는 영상을 보정하기 위하여 Distortion map이 사용될 수 있으며, 영상 보정부(12)는 사전에 보정 객체를 이용하여 Planar homography 행렬 연산과 왜곡 보정 파라미터 연산을 통하여 상기한 Distortion map을 생성해 놓을 수 있다.
증강현실 마커 추적부(13)는 보정으로 생성된 평면 영상에서 증강현실 마커(40)를 인식하고 마커 정보를 연산해내며 카메라의 자세를 추정하는 기능 등을 수행한다.
컴퓨터(10)의 내부 또는 통신으로 연결되는 외부에는, 증강 현실 시뮬레이션에 사용될 수 있는 마커들의 특징 정보가 저장된 데이터베이스를 구비하며, 증강현실 마커의 인식은 데이터베이스에 저장된 마커 특징 정보와 일치하는 증강현실 마커를 보정으로 생성된 평면 영상에서 찾는 과정이다. 마커 정보는 마커의 위치, 방향 및 크기에 관한 정보를 포함하며, 마커 정보는 360도 카메라(20)의 자세 추정을 위해 사용된다.
사용자 조작 처리부(14)는 사용자로부터 영상 정보의 표현 방법을 선택받고, 컴퓨터의 화면에 제공할 영상의 레이아웃을 구성하며, 사용자의 조작입력을 추적하여 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 기능 등을 수행한다. 태블릿 PC와 같은 컴퓨터(20)의 화면에 대한 사용자의 탭 또는 드래그에 따라, 생성되는 제공 영상 영역 정보가 변경됨으로써, 360도 카메라(20)의 자세 변경이 없어도, 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동된다.
증강현실 제공부(15)는 제공 영상 영역 정보에 따라 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 기능 등을 수행하는 바, 보정된 마커 정보에 따라 증강 현실 객체의 위치 및 자세를 추정하여 증강현실 영상의 생성에 이용한다. 영상 디스플레이부(16)는 생성된 증강현실 영상을 컴퓨터(10)의 스크린에 표시하는 기능을 수행한다.
이상 증강 현실 시뮬레이션 시스템의 컴퓨터가 수행하는 기능을 간략히 설명하였으나, 보다 구체적인 사항은 하기하는 증강현실 로봇 시뮬레이션 방법에 관한 설명을 통하여 보다 명확해질 것이다.
도 3은 본 발명의 일 실시예에 따른 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법을 도시한 플로우차트이다.
본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션은 전용 소프트웨어를 탑재한 컴퓨터(10)에서 실행되며, 먼저, 컴퓨터(10)는 360도 카메라(20)로부터 영상을 입력하고(S10), 360도 카메라(20)로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성한다(S11).
입력된 영상의 왜곡 보정에는 사전 생성되어 저장된 Distortion map이 사용될 수 있으며, Distortion map은 보정 객체를 이용하여 Planar homography 행렬 연산 및 왜곡 보정 파라미터 연산 등을 수행함으로써 생성된다.
360 카메라(20)가 제공해주는 영상은 원통형 왜곡이 있는 영상으로, 원점에서 벗어날수록 영상이 원래의 크기와 다르게 나타나며, 이는 마커 추적의 성능을 저하시키는 원인이 된다. 왜곡의 영향을 받지 않기 위해 360도 카메라(20)의 영상을 평면 영상으로 보정하며, 영상의 왜곡 보정에는 특징점이 다수 존재하고 규칙적인 패턴이 있는 객체인 보정객체를 이용한다.
도 4는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 Distortion map을 구성하는 과정을 예시한 플로우차트로서, 먼저 보정객체를 준비하며(S21), 준비된 보정객체의 영상 등을 이용하여 Planar homogrphy 행렬 연산(S22)과 왜곡 보정 파라미터 연산(S23)을 수행하며, 연산된 정보로써 Distortion map을 구성한다(S24). 구성된 Distortion map은 왜곡된 영상의 좌표로부터 왜곡 없는 영상의 좌표로 변환하는 과정에 사용된다. Distortion map을 이용한 영상 보정 기술은 공지된 기술이므로 보다 구체적인 설명은 생략한다.
도 3으로 돌아가, 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법은, 평면 영상에서 증강현실 마커를 인식하고 마커 정보를 연산해내며 카메라 자세를 추정하는 과정을 실행한다(S12).
로봇 시뮬레이션에 사용되는 증강현실 마커(40)는 마커마다 서로 다른 특징(점)을 가지고 있으며, 각각의 마커들이 가진 특징 정보는 데이터베이스에 미리 저장되어 있다. 증강현실 마커의 인식은, 데이터베이스에 저장된 마커 특징 정보와 일치하는 증강현실 마커를 보정으로 생성된 평면 영상에서 찾는 과정이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 마커 인식 등에 관한 과정을 예시한 플로우차트이다.
컴퓨터(10)는 데이터베이스에 저장된 마커 특징 정보들을 로딩하며(S31), 보정으로 생성된 평면 영상내에서 일치하는 마커 특징을 검출한 다음(S32), 일치하는 마커 특징을 가진 것을 증강 현실 마커로 인식한다(S33). 그리고 인식된 증강 현실 마커의 마커 정보를 연산해내는 바(S34), 마커 정보는 마커의 위치, 방향 및 크기에 관한 정보를 포함하며, 마커 정보는 후속하는 카메라 자세 추정(S35)을 위해 사용된다. 상기한 단계 S32 내지 단계 S34는 평면 영상내 존재하는 증강현실 마커(40)의 숫자만큼 반복 수행되거나, 한꺼번에 수행될 수 있다.
도 3으로 돌아가, 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법은, 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 과정 등을 수행한다(S13).
도 6은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역 정보를 생성하기 위한 과정을 도시한 플로우차트이다.
컴퓨터(10)는 사용자로부터 영상 정보 표현 방법을 선택받는 바(S41), 영상 정보 표현 방법은 파노라마 방식 및 분할 방식일 수 있다. 그리고 컴퓨터(10)는 태블릿 PC와 같은 컴퓨터의 화면에 제공할 영상 레이아웃을 구성하며(S42), 태블릿 PC와 같은 컴퓨터의 화면에서 탭 또는 드래그와 같은 사용자의 조작을 추적하고(S43), 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성한다(S44).
본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법은, 태블릿 PC의 화면에 대한 사용자의 탭 또는 드래그에 따라 생성되는 제공 영상 영역 정보가 변경됨으로써, 360도 카메라(20)의 자세 변경이 없어도, 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동되는 데 일 특징이 있다.
종래의 시뮬레이션 방법에서는 다른 각도의 영상을 확인하려면 시뮬레이션 콘텐츠를 비추고 있는 카메라의 자세를 변경하거나 이동해야 했다. 그러나 본 발명의 일 실시예에 따른 시뮬레이션 방법은 카메라의 이동 없이 사용자는 태블릿PC의 화면을 드래그 또는 탭하는 것과 같은 간단한 조작으로 다른 각도의 영상을 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 제공 영상 영역을 변경하는 예를 도시한 도면이다.
도 9(A)는 기본 영상으로 제공되는 영상 영역을 표시한 도면으로서, 태블릿PC의 화면 밖에 흐릿하게 표현되어 있는 것이 360도 카메라(20)가 제공할 수 있는 영상의 시야이다. 그리고 360도 카메라는 넓은 시야의 영상을 제공해줄 수 있기 때문에 드래그 또는 탭과 같은 간단한 조작으로 태블릿PC의 화면에서 보이는 영상의 영역을 용이하게 조작할 수 있다. 도 9(B)는 영상을 축소하여 표시되도록 조작했을 때의 예이며, 도 9(C)는 태블릿PC의 화면을 드래그해서 표시되는 영상 영역을 왼쪽 상단으로 이동했을 때의 예이다.
종래에는 카메라의 자세를 변경하거나 이동하여 증강현실 시뮬레이션에서 원하는 객체가 포함되도록 해야 하는 번거로움이 있었으나, 본 발명에서는 사용자의 화면 조작만으로도 용이하게 증강현실 영상의 표시 영역을 변경할 수 있으며, 이에 따라 사용자의 사용 편이성이 대폭 향상되는 효과가 있다.
본 발명에 따르면 증강현실 마커는 항상 카메라 화각 안에 존재하게 되며, 사용자가 가상적으로 카메라의 자세와 각도를 자유롭게 조절할 수 있도록 하는 환경을 제공해주게 된다. 본 발명에 따르면 증강현실 마커가 입력된 영상에서 항상 존재하며, 사용자는 보다 자유로운 위치와 각도에서 증강현실 화면정보를 제공받을 수 있는 효과가 있다.
그리고, 본 발명의 일 실시예에 따르면, 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은, 사용자의 조작 입력에 따라, 360도 카메라(20)를 중심으로 전방 및 후방의 영역을 모두 포함하거나 좌측 및 우측의 영역을 모두 포함하는 것으로 선정될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은, 평면 영상 중에서 이격되어 있는 적어도 2 이상의 선택 영역을 포함하도록 한다.
한꺼번에 여러 개의 증강현실 객체들을 포함시켜 동시에 시뮬레이션을 수행하여야 하는 경우에는 정확한 시뮬레이션이 어려운 경우가 많다. 특히, 여러 대의 로봇 등이 'ㄷ'자 또는 'ㅁ'자 등의 형태로 배치되어 있는 경우나, 한대의 로봇이라도 이동 동선이 길거나 이동 동선이 'ㄷ'자 또는 'ㅁ'자 등인 경우, 종래의 증강현실 시뮬레이션 방법으로는 정확한 동시 또는 연속 시뮬레이션이 불가능하였다.
그런데 본 발명에 따르면, 예를 들어 'ㄷ'자 또는 'ㅁ'자로 배치된 로봇들의 중앙에 본 발명에 따른 360도 카메라(20)(컴퓨터(10)를 함께 포함할 수 있다)를 위치시키거나, 이동 동선의 중앙에 위치시킨 후, 증강현실 로봇 시뮬레이션을 진행시킬 수 있으며, 이때 증강현실 영상에 포함시켜 제공할 영상 영역에는 원하는 로봇들이나 이동 동선이 모두 포함되도록 영상 영역을 지정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 카메라(20)를 둘러싸는 폭이 넓은 영역을 제공 영상 영역으로 한 경우의 예이다.
그리고 도 10은 본 발명의 일 실시예에 따른 증강현실 로봇 시뮬레이션 방법에서 360도 촬영 영역에서 사용자가 선정한 복수의 특정 영역을 동시에 보여주는 분할 영상의 예로서, 도 10(A)는 가로로 분할 표시한 예이고 도 10(B)는 세로로 분할 표시한 예이다.
분할 영상은 불필요한 영상 영역을 제외하고 사용자가 원하는 증강현실 객체를 중심으로 한 복수의 특정 영역을 분할하여 제공해줌으로써 원하는 객체에 초점을 맞춰 증강현실 시뮬레이션 정보를 제공받을 수 있게 한다. 도 10(A)의 예는 연속적 또는 동시에 여러 개의 로봇이 동작하는 것을 확인해야 할 경우 효과적인 영상 표현 방법이다. 이러한 영상 표현 방법은 사용자가 한 화면에서 주변 배경 없이 증강현실 시뮬레이션하고 싶은 객체만을 표현하며 동시에 여러 개의 증강 시뮬레이션을 확인할 수 있다. 도 10(B)의 예는 긴 동작을 가지고 있는 로봇 시뮬레이션 환경에 적합한 영상 표현 방법으로서, 이 표현 방법은 특별한 조작 없이 긴 동작을 이어서 볼 수 있게 한다.
본 발명에 따르면, 카메라를 중심으로 여러 개의 증강현실 객체가 둘러싸는 환경, 또는 카메라를 중심으로 긴 이동 동선을 가진 환경 등에서 정확성이 향상된 증강현실 시뮬레이션이 가능토록 하는 효과가 있다.
도 3으로 돌아와, 본 발명의 일 실시예에 따른 증강 현실 시뮬레이션 방법은, 제공 영상 영역 정보에 따라 마커 정보를 보정하고 보정된 마커 정보를 이용하여 증강 현실 영상을 생성한 후 디스플레이한다(S14). 증강현실 영상은 보정된 마커 정보를 적용하여 생성된다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 시뮬레이션 방법에서 마커 정보의 보정 등에 관한 과정을 도시한 플로우차트이다.
먼저, 컴퓨터(10)는 단계 S13에서 생성한 제공 영상 영역 정보에 따라 위치 등의 마커 정보를 보정하며(S51), 보정된 마커 정보에 따라 증강 현실 객체의 위치 및 자세를 추정한다(S52). 그리고 추정된 위치 및 자세에 따른 증강 현실 객체를 평면 영상 중 제공할 영상에 반영하여 증강현실 영상을 생성하며, 생성된 증강현실 영상을 컴퓨터(10)의 화면에 디스플레이한다(S54).
증강현실 영상은 증강현실 마커 추적부(13)와 사용자 조작 처리부(14)에서 획득한 정보를 기반으로 생성되는 바, 증강현실 마커(40)의 위치는 360도 카메라(20)의 영상에서 획득한 마커 정보를 기반으로 사용자 조작에 의해 확대, 축소, 이동된 영상 정보에 맞게 보정되며, 보정된 정보는 증강현실 기반의 로봇 시뮬레이션 영상 생성에 적용된다.
본 발명은 의료교육, 증강현실 기반 컴퓨터 보조 수술 및 가상 수술 시뮬레이션 등을 포함하는 의료분야와, 증강현실 기반 공정 검증, 증강현실 기반 생산 훈련 및 증강현실 기반 Factory planning 등을 포함하는 제조산업 분야와, 자동차 정비 및 자동차 조립 공정 등을 포함하는 자동차 분야 등에 적용되어 유용하게 사용될 수 있다.
10 : 태블릿PC등의 컴퓨터 20 ; 360도 카메라
30 : 로봇 40 : 증강현실 마커
30 : 로봇 40 : 증강현실 마커
Claims (13)
- 컴퓨터에서 실행되는 방법으로서,
360도 카메라로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 제 1 단계;
상기 평면 영상에서 증강현실 마커를 인식하고 마커 정보를 연산해내는 과정을 적어도 실행하는 제 2 단계;
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 과정을 적어도 실행하는 제 3 단계;
상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 과정을 적어도 실행하는 제 4 단계;를 포함하며,
상기 방법은 로봇에 대한 시뮬레이션에 이용되되,
복수의 로봇이 'ㄷ'자 또는 'ㅁ'자의 형태로 배치되어 있거나, 로봇의 이동 동선이 길거나 로봇의 이동 동선이 'ㄷ'자 또는 'ㅁ'자인 경우, 로봇에 대한 시뮬레이션에 이용되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 제 1 단계에서의 보정에는 Distortion map이 사용되며,
상기 Distortion map은 보정 객체를 이용하여 Planar homography 행렬 연산과 왜곡 보정 파라미터 연산으로 생성되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기한 증강현실 마커의 인식은,
데이터베이스에 저장된 마커 특징 정보와 일치하는 증강현실 마커를 상기 평면 영상에서 찾는 과정인,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 마커 정보는 마커의 위치, 방향 및 크기에 관한 정보를 포함하며,
상기 마커 정보는 상기 360도 카메라의 자세 추정을 위해 사용되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 컴퓨터는 태블릿 PC인,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 5에 있어서,
상기 태블릿 PC의 화면에 대한 사용자의 탭 또는 드래그에 따라 상기 제 3 단계에서 생성되는 제공 영상 영역 정보가 변경됨으로써,
상기 360도 카메라의 자세 변경이 없어도, 상기 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은,
사용자의 조작 입력에 따라, 상기 360도 카메라를 중심으로 적어도 전방 및 후방의 영역을 모두 포함하거나 적어도 좌측 및 우측의 영역을 모두 포함하는 것으로 선정될 수 있는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은,
상기 평면 영상 중에서 이격되어 있는 적어도 2 이상의 선택 영역을 포함하는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 청구항 1에 있어서,
상기 제 4 단계는,
상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하는 제 4-1 단계;
상기 보정된 마커 정보에 따라 증강 현실 객체의 위치 및 자세를 추정하는 제 4-2 단계;
상기 추정된 위치 및 자세에 따른 증강 현실 객체를 상기 평면 영상 중 제공할 영상에 반영하여 상기 증강현실 영상을 생성하는 제 4-3 단계;
를 포함하는 것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 방법. - 360도 카메라; 및
상기 360도 카메라와 연결되며 소프트웨어가 탑재된 컴퓨터;를 포함하여 구성되며,
상기 소프트웨어가 탑재된 컴퓨터는,
상기 360도 카메라로부터 입력된 영상의 왜곡을 보정하여 평면 영상을 생성하는 기능;
상기 평면 영상에서 증강현실 마커를 인식하고 마커 정보를 연산해내는 기능;
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역을 나타내는 제공 영상 영역 정보를 생성하는 기능;
상기 제공 영상 영역 정보에 따라 상기 마커 정보를 보정하고 보정된 마커 정보를 적용하여 증강현실 영상을 생성하는 기능;를 포함하여 수행하며,
상기 360도 카메라 및 상기 컴퓨터는 로봇에 대한 시뮬레이션에 이용되되,
복수의 로봇이 'ㄷ'자 또는 'ㅁ'자의 형태로 배치되어 있거나, 로봇의 이동 동선이 길거나 로봇의 이동 동선이 'ㄷ'자 또는 'ㅁ'자인 경우, 로봇에 대한 시뮬레이션에 이용되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템. - 청구항 10에 있어서,
상기 컴퓨터는 태블릿 PC이며,
상기 태블릿 PC의 화면에 대한 사용자의 탭 또는 드래그에 따라 상기 생성되는 제공 영상 영역 정보가 변경됨으로써,
상기 360도 카메라의 자세 변경이 없어도, 상기 증강현실 영상에 포함시켜 제공할 영상 영역이 축소, 확대 또는 이동되는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템. - 청구항 10에 있어서,
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은,
사용자의 조작 입력에 따라, 상기 360도 카메라를 중심으로 적어도 전방 및 후방의 영역을 모두 포함하거나 적어도 좌측 및 우측의 영역을 모두 포함하는 것으로 선정될 수 있는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템. - 청구항 10에 있어서,
상기 평면 영상 중에서 증강현실 영상에 포함시켜 제공할 영상 영역은,
상기 평면 영상 중에서 이격되어 있는 적어도 2 이상의 선택 영역을 포함하는,
것을 특징으로 하는 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150129787A KR101683763B1 (ko) | 2015-09-14 | 2015-09-14 | 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150129787A KR101683763B1 (ko) | 2015-09-14 | 2015-09-14 | 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101683763B1 true KR101683763B1 (ko) | 2016-12-07 |
Family
ID=57573235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150129787A KR101683763B1 (ko) | 2015-09-14 | 2015-09-14 | 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101683763B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190101621A (ko) | 2018-02-23 | 2019-09-02 | 주식회사 로로아트플랜 | Rc카 조종 및 실시간 영상 전송에 의한 미니어쳐랜드 투어 시스템 |
| CN111860213A (zh) * | 2020-06-29 | 2020-10-30 | 广州幻境科技有限公司 | 增强现实系统及其控制方法 |
| CN112650436A (zh) * | 2020-12-11 | 2021-04-13 | 深圳市越疆科技有限公司 | 基于增强现实的机器人操作方法、装置、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005167638A (ja) * | 2003-12-02 | 2005-06-23 | Sharp Corp | 移動体周囲監視装置、移動体および画像変換方法 |
| KR20060056050A (ko) * | 2004-11-19 | 2006-05-24 | 주식회사 일리시스 | 자동화된 360°파노라마 이미지 생성 방법 |
| KR20110103724A (ko) * | 2010-03-15 | 2011-09-21 | 한국과학기술원 | 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 |
| KR20150025115A (ko) * | 2013-08-28 | 2015-03-10 | 엘지전자 주식회사 | 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 |
-
2015
- 2015-09-14 KR KR1020150129787A patent/KR101683763B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005167638A (ja) * | 2003-12-02 | 2005-06-23 | Sharp Corp | 移動体周囲監視装置、移動体および画像変換方法 |
| KR20060056050A (ko) * | 2004-11-19 | 2006-05-24 | 주식회사 일리시스 | 자동화된 360°파노라마 이미지 생성 방법 |
| KR20110103724A (ko) * | 2010-03-15 | 2011-09-21 | 한국과학기술원 | 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 |
| KR20150025115A (ko) * | 2013-08-28 | 2015-03-10 | 엘지전자 주식회사 | 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190101621A (ko) | 2018-02-23 | 2019-09-02 | 주식회사 로로아트플랜 | Rc카 조종 및 실시간 영상 전송에 의한 미니어쳐랜드 투어 시스템 |
| CN111860213A (zh) * | 2020-06-29 | 2020-10-30 | 广州幻境科技有限公司 | 增强现实系统及其控制方法 |
| CN112650436A (zh) * | 2020-12-11 | 2021-04-13 | 深圳市越疆科技有限公司 | 基于增强现实的机器人操作方法、装置、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102062423B1 (ko) | 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 | |
| KR101865655B1 (ko) | 증강현실 상호 작용 서비스 제공 장치 및 방법 | |
| US7336814B2 (en) | Method and apparatus for machine-vision | |
| US6600475B2 (en) | Single camera system for gesture-based input and target indication | |
| JP2019536170A (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| CN111750820A (zh) | 影像定位方法及其系统 | |
| JP2016103230A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN109032348A (zh) | 基于增强现实的智能制造方法与设备 | |
| CN110362193A (zh) | 用手或眼睛跟踪辅助的目标跟踪方法及系统 | |
| JPH10124658A (ja) | 神経回路網を利用したカメラの映像歪補正方法 | |
| CN109910000A (zh) | 基于视觉的操纵系统的校准以及操作 | |
| US20080228433A1 (en) | Method and Device for Determining the Relative Position of a First Object with Respect to a Second Object, Corresponding Computer Program and a Computer-Readable Storage Medium | |
| KR101683763B1 (ko) | 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법 | |
| CN114022560A (zh) | 标定方法及相关装置、设备 | |
| DE102018113336A1 (de) | Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung | |
| CN109785373A (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| Du et al. | Eye-to-hand robotic tracking and grabbing based on binocular vision | |
| CN110322539B (zh) | 三维物体的三维模型切割过程显示方法、装置与电子设备 | |
| KR20190088379A (ko) | 자세 추정 방법, 추정된 자세를 이용하여 가상 객체를 디스플레이하는 방법, 및 이를 수행하는 장치들 | |
| KR102166586B1 (ko) | 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법 | |
| CN108053491A (zh) | 动态视角条件下实现平面目标三维跟踪和增强现实的方法 | |
| CN110517298A (zh) | 轨迹匹配方法和装置 | |
| CN115042184A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| JP7423387B2 (ja) | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |