KR20080029548A - 실사기반 이동기기 제어 방법 및 장치 - Google Patents

실사기반 이동기기 제어 방법 및 장치 Download PDF

Info

Publication number
KR20080029548A
KR20080029548A KR1020060096297A KR20060096297A KR20080029548A KR 20080029548 A KR20080029548 A KR 20080029548A KR 1020060096297 A KR1020060096297 A KR 1020060096297A KR 20060096297 A KR20060096297 A KR 20060096297A KR 20080029548 A KR20080029548 A KR 20080029548A
Authority
KR
South Korea
Prior art keywords
mobile device
image
moving
remote controller
unit
Prior art date
Application number
KR1020060096297A
Other languages
English (en)
Inventor
홍영진
최기완
이영범
이상국
이형기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060096297A priority Critical patent/KR20080029548A/ko
Priority to US11/802,907 priority patent/US20080082208A1/en
Priority to JP2007213668A priority patent/JP5122887B2/ja
Priority to CNA2007101492130A priority patent/CN101154110A/zh
Priority to EP07116377.8A priority patent/EP1926004A3/en
Publication of KR20080029548A publication Critical patent/KR20080029548A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0033—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle

Abstract

본 발명은 실사기반 이동기기 제어 방법 및 장치로, 더욱 상세하게는 사용자의 원격 제어기에 의해 촬영된 실제 영상에 의해 이동 기기를 이동시키는 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 실사기반 이동기기 제어 장치는 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 영상 획득부, 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 영상 출력부, 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 위치 검출부, 사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점을 선택되고, 선택된 지점의 위치를 실공간상 위치로 변환하는 이동위치 검출부 및 상기 선택된 지점의 실공간상 위치로 이동 기기를 이동시키는 이동 제어부를 포함한다
원격 제어, 실사기반 이동, 이동장치

Description

실사기반 이동기기 제어 방법 및 장치{System and method of moving device control based on real environment image}
도 1은 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 방법의 흐름도이다.
도 2는 원격 제어기의 출력부와 실제 공간상의 관계를 보여주는 개념도이다.
도 3은 평면 상의 단위 벡터에서 계산되는 두 개의 수직 단위 벡터를 보여주는 도면이다.
도 4는 이동 기기의 시작 위치와 이동할 위치 사이의 각도와 거리를 보여준다.
도 5는 본 발명의 또 다른 일 실시예에 따른 실사기반 이동기기 제어 방법의 흐름도이다.
도 6은 복수의 지점을 선택하여 이동시에 원격 제어기의 출력부와 실제 공간상의 관계를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 장치의 블록도이다.
*도면의 주요 부분에 대한 설명*
700: 영상 획득부 710: 영상 출력부
720: 위치 검출부 730: 이동위치 검출부
740: 이동 제어부
본 발명은 실사기반 이동기기 제어 방법 및 장치로, 더욱 상세하게는 사용자의 원격 제어기에 의해 촬영된 실제 영상에 의해 이동 기기를 이동시키는 방법 및 장치에 관한 것이다.
이동 기기의 이동을 제어하기 위하여 다양한 방법이 시도되고 있다. 이동 기기의 이동을 제어하기 위하여 사용되는 방법 중 하나는 상하좌우 버튼이 구비된 리모콘(Remocon)을 이용하여 이동기기의 움직임을 순간순간 제어하는 방법이다.
이러한 제어 방법은 사용자가 이동 기기에 마치 탑승하고 있는 상황을 상상하여 이동시킬 방향을 결정하고 해당 방향의 버튼 혹은 스틱을 조종해야 되므로, 이러한 조종시에 빈번한 실수가 발생되는 문제가 있다. 이와 함께, 이동 기기가 원하는 위치에 도달할 때까지 버튼을 계속 누르고 있거나 정지 시에 별도 버튼을 눌러주어야 하므로 번거로운 문제가 있다.
또 다른 종래기술로는 디스플레이가 구비된 리모콘을 이동 기기의 제어용으로 사용할 수 있다. 리모콘 상의 디스플레이에서는 미리 저장되어 있는 맵이 주어지고, 이러한 맵 상에서 이동 기기의 위치가 주어진다. 사용자는 디스플레상에 표시된 맵의 임의의 위치를 지정하면 이동 기기가 정해진 위치로 이동할 수 있다.
이러한 기능을 수행하기 위해서는 이동 기기에 자신의 위치를 파악할 수 있는 소프트웨어와 하드웨어가 미리 탑재되어 있어야 한다. 또한 이동 기기가 움직이는 공간상의 맵이 미리 주어지거나 이동 기기가 스스로 주행하면서 생성하여 주는 맵이 필요하다.
미국 공개 특허 US 2001-037163에서는 로봇에 장착된 카메라로부터 실사 화면 정보를 원격 제어기가 전송을 받아 원격 제어기의 모니터에서 표시되는 실사화면에서 이동할 지점을 선택하여 로봇을 이동시키는 방법 및 시스템을 보여준다.
이러한 시스템에서도 사용자가 마치 이동 기기에 탑승하고 있는 상황에서 이동 기기에 전방으로 보이는 화면에서 이동할 지점을 선택하여 이동하는 것으로써, 사용자는 로봇이 향하는 방향으로의 화면에 종속되는 문제가 있다.
따라서 원격 제어기에 의해 이동 기기를 이동시킬 수 있으면서, 이동 기기의 이동시킬 위치 및 이동 제어에 특수한 제약 없이 사용자로 하여금 간편하게 이동시키는 시스템이 필요하다.
본 발명은 상기와 같은 문제점을 고려하여 안출된 것으로서, 사용자의 제어기 화면에 나타나는 실사 영상에서 이동 기기를 원하는 위치로 이동시키는 것을 목적으로 한다.
이와 함께, 맵과 센서에 의한 위치 인식이 없이 실사 영상에 의하여 상대적인 위치 인식 및 이동을 구현하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 방법은 (a) 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 단계; (b) 상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 단계; (c) 상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 단계; (d) 사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점을 선택되고, 선택된 지점의 위치를 실공간상 위치로 변환하는 단계; 및 (e) 상기 선택된 지점의 실공간상 위치로 이동 기기를 이동시키는 단계를 포함한다.
상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 장치는 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 영상 획득부; 상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 영상 출력부; 상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 위치 검출부; 사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점을 선택되고, 선택된 지점의 위치를 실공간상 위치로 변환하는 이동위치 검출부; 및 상기 선택된 지점의 실공간상 위치로 이동 기기를 이동시키는 이동 제어부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 방법의 흐름도이다.
본 발명의 일 실시예에 따른 실사기반 이동기기 제어 방법은 영상을 획득하는 단계(S100), 획득된 영상을 원격 제어기에 출력하는 단계(S110), 출력된 영상에서 이동 기기의 위치를 검출하는 단계(S120), 출력된 영상에 이동 기기가 이동할 위치를 선택하고 이동할 위치를 실제 공간상으로 변환하는 단계(S130) 및 이동할 위치로 이동 기기를 이동시키는 단계(S140)를 포함할 수 있다.
영상을 획득하는 단계(S100)는 원격 제어기의 부착된 영상 획득 수단에 의해 영상을 획득한다. 영상 획득 수단으로는 카메라에 의해 수행될 수 있다. 사용자의 원격 제어기에는 이동 기기를 포함하는 공간상에 있는 영상을 카메라에 의해 획득한다.
획득된 영상을 출력하는 단계(S110)는 원격 제어기의 화면에 영상을 출력하는 단계를 수행한다. 획득된 영상은 3차원의 공간을 촬영한 이미지를 이차원적인 화면에 출력한다. 이러한 출력 화면은 예를 들어, LCD, CRT 등의 통상의 출력 수단에 의해 구현되고, 이를 원격 제어기에 구비하여 사용자로 하여금 획득된 영상을 볼 수 있도록 한다.
출력된 영상에서는 먼저 이동 기기의 위치를 검출하는 단계를 수행한다. 이동 기기의 위치는 출력 영상에서의 이동 기기를 검출하고, 이를 바탕으로 원격 제어기로부터 이동 기기의 위치를 계산할 수 있다(S120).
출력 영상에서 이동 기기를 검출하는 방법으로는 화면상에 출력된 마커(Marker)의 위치를 검출하는 방안이 있다.
출력 영상에서 이동 기기를 검출하는 방법은 이동 기기가 가진 고유의 정보를 활용할 수 있다. 출력 영상에서 특징적인 형상을 감지할 수 있도록 이동 기기에 크기 및 모양이 알려진 마커(Marker)를 위치시킨다. 예를 들어, 이동 기기가 주행하는 평면과 평행하게 이동기기 상부에 정사각형의 마커를 부착할 수 있다.
출력 영상에서는 영상 입력 수단에 의해 촬영된 영상의 윤곽선을 검출한다. 촬영된 이미지를 흑백 이미지로 변환하여 색상 성분과 밝기 성분을 제거함으로 보다 정확하게 이미지의 윤곽선을 검출할 수 있다.
이미지에서 다수의 선을 검출하는 방법으로 허프 변환(Hough Transform)을 사용할 수 있다. 허프 변환 기법은 잡음 성분을 포함한 이차원 영상의 데이터 점들을 계수 공간(Hough Space 또는 Parameter Space)으로 변환시켜 계수 공간에서 극 대값으로 표현되는 특정값을 검출함으로써 직선이나 윤곽선을 검출할 수 있다. 검출된 다수의 윤곽선에서 마크에 대응되는 형상을 검색하여 마커를 검출할 수 있다.
원격 제어기의 출력부에서 마커가 검출되어 출력 화면에서 이동 기기를 감지하면, 실제 공간 상에서의 이동 기기의 위치를 검출할 수 있다. 출력 영상은 이차원적인 영상에서 실제 공간 상의 3차원의 영상에 대하여 위치를 계산하는 방안으로 Fiducial Marker-based Tracking Algorithm 을 적용할 수 있다. 실공간상에서 원격 제어기로부터 이동기기의 위치를 검출하는 과정은 다음과 같다.
도 2는 원격 제어기의 출력부와 실제 공간상의 관계를 보여주는 개념도이며, 도 3은 평면 상의 단위 벡터에서 계산되는 두 개의 수직 단위 벡터를 보여주는 도면이다.
영상 입력 수단인 카메라와 실제 공간 상의 마커(Marker, 250) 위치 사이의 변환행렬 Tcm 은 다음 식에 의해 표현될 수 있다.
[식 1]
Figure 112006071767907-PAT00001
여기서, (Xc, Yc, Zc)는 카메라 좌표계에서의 마커의 위치이며, (Xm, Ym, Zm)은 실공간에서의 마커의 위치를 나타낸다. Tcm 은 마커의 위치를 카메라 좌표계와 실제 3차원 공간 상의 위치 사이의 변환관계를 나타내는 행렬이다. Tcm 은 다시 회 전변환행렬 R 과 위치변환행렬 T로 나타낼 수 있다.
[식 2]
Figure 112006071767907-PAT00002
원격 제어기의 출력부(220)에 나타나는 마커의 위치인 (xu, yu)는 카메라와 위치(Xc, Yc, Zc)와의 다음의 관계식에 의해 표현될 수 있다.
[식 3]
Figure 112006071767907-PAT00003
여기서 행렬 P는 원근 투영 행렬(Perspective projection matrix)이며 카메라 렌즈의 제조과정에서 렌즈의 곡률에 따라 물리적으로 결정되는 렌즈의 고유한 특성으로 제조업체에 의해 결정되기도 하고 렌즈 사용자가 구매초기 실험을 통한 측정(calibration)으로 결정되는 상수값을 행렬로 나타낸 것이다. h 는 원근 투영행렬을 통해 3차원 좌표를 2차원 좌표로 변환할 때 사용되는 변환상수이다.
예를 들어, 마커가 정사각형이라면 카메라에 촬영된 이미지에서는 두개의 평 행한 양변 직선의 방정식 식 4로 표현될 수 있다.
[식 4]
Figure 112006071767907-PAT00004
직선의 방정식은 입력영상으로부터 허프변환(Hough Transform) 등을 통해 구할 수 있으며, 상수 a1, a2, b1, b2, c1 및 c2 는 선조정(line fitting)을 통해 결정할 수 있다.
여기서는 이동기기가 상하운동을 하지 않고 실내공간의 바닥 위를 이동하기 때문에 마커의 위치가 z=0에 위치하는 평면으로 가정할 수 있으므로, 두개의 양변은 x-y 평면상에 위치하는 직선이 될 수 있다.
각각의 양변에 대응하는 단위 벡터를 u1과 u2로 가정하면, 이는 수직하지 아니하므로 도 3에서 도시하는 바와 같이 마커가 위치하는 평면에 서로 수직이 되는 단위 벡터인 v1과 v2를 정의하고, 양 벡터를 외적(Cross product)에 의해 생성되는 단위벡터를 v3로 하여, 변환행렬(Tcm)에서 회전 성분인 V3x3의 행렬, R 을 다음과 같이 구할 수 있다.
[식 5]
Figure 112006071767907-PAT00005
이와 함께 식 1과 3에 의하여 이동 성분(Translation component)인 T = (Wx, Wy, Wz)가 계산될 수 있다.
이상과 같이 변환행렬(Tcm)을 구하게 되고, 구해진 변환행렬을 식 1과 3에 대입하면 마커의 위치인 (Xm, Ym, Zm)이 계산될 수 있다. 다시 말하면, 마커의 크기와 모양이 알고 있는 상태에서, 원격 출력부에 출력된 마커의 변형을 감지하여 원격 출력부로부터 카메라의 위치를 알 수 있다. 마커(250)는 이동 기기(200)에 부착되어 있으므로 이동 기기(200)의 위치가 계산될 수 있다.
다시 도 1를 참고하면, 사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점을 선택하고, 선택된 지점의 위치를 실공간상 위치로 검출할 수 있다(S130). 사용자는 원격 제어기의 출력부에 표시되는 화면에서 이동기기를 이동한 지점을 선택할 수 있다. 선택하는 방법은 터치 스크린 방식에 의해서 화면상에 표시하거나 화면상에서 주어진 좌표에 의해 해당 지점의 좌표점을 입력할 수 있다.
원격 제어기의 화면에서 선택된 이동 기기의 이동할 위치는 실제 공간상에서 이동할 위치로 변환된다. 실제로 이동 기기가 이동하는 경로와 이동 기기가 위치하는 점은 실제 공간상에 있으므로, 화면에 의해서 선택된 지점은 실제 공간상의 위치로 변경되어야 한다. 따라서 화면상의 지점에서 이동 기기의 이동할 위치를 검출하기 위해서는 이차원적인 공간에서 3차원 공간상으로 변환이 필요하다.
도 2를 참고하여, 사용자가 이동 기기가 이동할 위치로서 원격 제어기의 출력부의 좌표상으로 (xd, yd)를 지정하였다고 가정하자. 따라서 사용자에 의해 선택 된 출력부에서의 좌표 (xd, yd) 지점을 실제 공간상에 이동 기기가 이동하여 할 지점인 (Xt, Yt, Zt)를 계산할 수 있다. 이러한 계산은 위에서 언급한 식 1과 3를 이용하고 변환행렬(Tcm)의 역행렬
Figure 112006071767907-PAT00006
을 (xd, yd)에 적용하여 구할 수 있다. 즉,
Figure 112006071767907-PAT00007
이다.
다만, 본 발명의 일 실시예에서는 이동 기기가 바닥과 같은 평면상으로 이동하기 때문에 이동 기기가 위치하는 위치 및 이동할 위치는 z 축의 값이 영이 된다. 따라서 로봇이 실제 공간상에서 위치하는 좌표는 (Xm, Ym, 0)이 되고, 이동 기기가 이동할 위치의 좌표는 (Xt, Yt, 0)이 된다.
다시 도 1를 참고하면, 실공간상에서 이동 기기가 이동할 위치가 검출되면, 이동 기기의 구동부에 의해서 이동 기기를 이동시키는 단계를 수행한다(S140). 이동 기기를 이동시키는 구동부는 장착된 모터 또는 엔진 등의 파워를 인가하는 동력부 및 바퀴나 무한 궤도 등의 이송부재를 포함한다.
도 4는 이동 기기의 시작 위치와 이동할 위치 사이의 각도와 거리를 보여준다.
이동 기기가 위치하는 지점에서 사용자에 의해서 지정된 위치로의 이동은 이동기기가 바닥면 또는 실내의 평면상에서 이루어진다. 따라서 평면상의 두 점 사이에 위치 관계는 좌표상의 두 점 또는 각도와 거리에 의해 도 4에서와 같이 나타낼 수 있다. 이동 기기의 초기의 위치와 각도가 각각 (Xm, Ym, θ0)이고 이동할 위치가 (Xt, Yt)이면 이동 기기가 회전할 각도(φ)와 이동할 거리(L)은 다음 식에 의해 계산될 수 있다.
[식 6]
Figure 112006071767907-PAT00008
따라서 구동부에 엔코더 또는 포텐셔미터 등의 거리를 감지하는 센서를 구비하여 일정 각도(φ)만큼 회전 후에 일정한 거리(L)를 이동하여 선택된 위치로 이동할 수 있다. 여기서 이동 기기의 초기의 각도(θ0)는 변환행렬(Tcm)에서 회전변환행렬(V) 부분만을 취하여 오일러 앵글(Euler angle)로 변환하면 초기의 각도를 구할 수 있다.
또는 사용자에 의해 이동할 위치를 저장하고, 이동 기기가 이동하면서 원격 제어기의 화면에 출력된 영상에서 이동 기기를 인식하는 피드백(Feedback)에 의해 이동할 위치로 이동하도록 제어하는 방법에 의하여 이동 기기를 이동시킬 수 있다.
이동 기기로 하여금 사용자가 지정한 위치로 이동하게 한 후에는 이동 기기의 고유한 기능을 수행하도록 할 수 있다. 예를 들어 청소용 로봇인 경우에는 지정한 위치로 이동한 이후에 그 지점을 청소하게 하거나, 그 지점을 포함하는 영역에 대하여 청소를 수행하도록 할 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따른 실사기반 이동기기 제어 방법을 보여주는 흐름도이며, 도 6은 복수의 지점을 선택하여 이동시에 원격 제어기의 출 력부와 실제 공간상의 관계를 보여준다.
본 발명의 일 실시예에 따른 실사기반 이동기기 제어 방법은 영상을 획득하는 단계(S100), 획득된 영상을 원격 제어기에 출력하는 단계(S110), 출력된 영상에서 이동 기기의 위치를 검출하는 단계(S120), 출력된 영상에 이동 기기가 이동할 복수의 위치를 선택하고 실제 공간상의 위치를 검출하는 단계(S530) 및 이동할 위치로 순차적으로 이동 기기를 이동시키는 단계(S540)를 포함할 수 있다.
출력된 영상에 이동 기기가 이동할 복수의 위치를 선택하고 실제 공간상의 위치를 검출하는 단계(S530) 및 이동할 위치로 순차적으로 이동 기기를 이동시키는 단계(S540)를 제외하고는 이미 상세히 설명하여 생략하기로 한다.
이동 기기의 이동할 위치를 사용자가 복수로 지정하는 경우에는 이동 기기가 이동할 경로가 될 수 있다. 다시 말해서, 복수로 지정된 위치를 직선상으로 이어주면 이동 기기가 이동할 경로를 나타낼 수 있다. 사용자에 의해서 원격 제어기의 출력 화면에서 이동 기기가 이동할 위치를 하나 이상 지정하면 지정된 위치를 실제 공간상의 위치로 변환한다(S530). 변환된 실제 공간상의 위치를 구동부에 의해 각각 이동시킴으로써 사용자에 의해 지정된 경로를 이동하게 할 수 있다(S540). 원격 제어기의 출력부에서 복수의 지점을 선택하고, 이러한 지점을 실제 공간상으로 변화시키는 것은 전술한 실시예에서 하나의 지점을 원격 제어기의 출력부에서 선택하고(S130), 선택된 지점을 실제 공간상으로 변화시키는 단계(S140)을 복수의 지점으로 확장함으로써 구현할 수 있다.
예를 들어, 도 6과 같이 이동 기기가 청소용 로봇에 해당하는 경우에는 사용 자에 의하여 청소용 로봇으로 하여금 청소하는 경로를 지정할 수 있다. 사용자는 원격 제어기의 출력부에 복수의 지점(예를 들어 P2에서 P7까지의 6개의 점)을 선택한다. 선택된 지점들에 대하여 실제 공간상으로 변환시키면 도 6에서 보는 바와 같이 P'2에서 P'7까지의 실공간상의 위치가 산출된다. 따라서 식 6에 의해 이동 기기를 회전 및 직진시킴으로써 선택된 지점으로 순차적으로 이동 할 수 있다. 따라서 본 발명의 일 실시예에 의해서 사용자가 청소용 로봇의 이동 경로를 지정하면 청소용 로봇은 지그재그, 나선형 또는 임의의 경로를 따라 이동하며 청소를 수행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 실사기반 이동기기 제어 장치의 블록도이다.
본 발명의 일 실시예에 따른 실사기반 이동기기 제어 장치는 영상 획득부(700), 영상 출력부(710), 위치 검출부(720), 이동위치 검출부(730) 및 이동 제어부(740)를 포함할 수 있다.
영상 획득부(700)는 원격 제어기에 부착된 영상 획득 수단에 의해 영상을 획득하는 역할을 한다. 영상 획득부는 이동 기기를 포함하는 공간상의 영상을 카메라 등의 영상 획득 수단에 의해 획득할 수 있다.
영상 출력부(710)는 획득된 영상을 원격 제어기에 구비된 화면에 출력하는 역할을 한다. 영상 출력부에 의해 이동 기기를 포함하는 영상을 사용자로 하여금 볼 수 있도록 화면을 제공한다.
위치 검출부(720)는 영상 출력부에 출력된 영상에서 이동 기기를 인식하고, 이동 기기의 위치를 검출하는 역할을 한다. 위치 검출부는 마커 인식부와 마커 위치 계산부를 포함할 수 있다. 출력된 영상에서 이동 기기를 인식하기 위한 방안으로 마커 인식부를 사용할 수 있다. 이동 기기에 크기 및 모양을 알고 있는 마커(Marker)를 부착하고, 출력된 영상에서 허프 변환 등에 의하여 윤곽선을 인식하여 마커를 추출할 수 있다. 추출된 마커는 이동 기기의 표식이므로, 마커로 인하여 이동 기기를 인식할 수 있다.
마커 위치 계산부는 마커가 위치하는 실제 공간상의 좌표를 계산할 수 있다. 마커의 인식은 영상 출력부에 표시된 이차원적인 영상에서 이루어지므로, 실제 공간상에서의 마커의 위치 즉 이동 기기의 위치를 검출하기 위하여는 이차원적 영상에서 3차원 영상으로의 변환이 요구된다. 따라서 마커의 변형에 의해 위치를 구할 수 있는 식 1 과 3을 이용하여 마커의 위치인 (Xm, Ym, Zm)를 계산할 수 있다.
이동위치 검출부(730)는 사용자에 의해서 이동 기기를 이동시킬 위치를 영상 출력부상의 영상에서 선택하고, 이를 실제 공간상의 위치로 변환하는 역할을 한다. 이동위치 검출부는 이동위치 입력부와 이동위치 변환부를 포함할 수 있다. 이동위치 입력부는 사용자에 의해 영상 출력부에 이동 기기가 이동한 위치를 입력받는 역할을 하며, 예를 들어 터치 스크린 또는 좌표값의 입력에 의해 이루어 질 수 있다.
이동위치 변환부는 이동 기기가 이동할 위치가 영상 출력부 상에서 입력되면, 이를 실제 공간상으로 변환하는 역할을 한다. 출력부 상의 한 점에서 실제 공간상의 점으로 변환하기 위해서는 식 1과 3에 주어진 출력부 상의 점의 좌표를 입 력하여 이동 기기가 이동할 공간상의 지점인 (Xt, Yt, Zt)를 계산할 수 있다.
이동 제어부(740)는 이동 기기를 이동할 공간상의 지점으로 이동시키는 역할을 한다. 이동 제어부는 장착된 모터 또는 엔진 등의 파워를 인가하는 동력부 및 바퀴나 무한퀘도 등의 이송부재를 포함할 수 있다. 이동 기기가 위치하는 지점과 이동할 지점이 주어지면, 두 점 사이에 거리와 방향이 주어지게 되므로 이동 제어부는 이동 기기를 회전시켜 이동할 지점으로 향하게 하고, 이동 거리만큼 이동 기기를 주행시켜 사용자에 의해 선택된 지점으로 이동시킨다.
본 발명의 또 다른 실시예에 의한 실사기반 이동기기 제어 장치에는 이동 기기를 이동 시킨 후에 이동 기기의 기능을 수행할 수 있는 기능 수행부를 더 포함할 수 있다. 이동 기기는 고유한 자신의 기능을 가질 수 있다. 예를 들어, 청소용 로봇의 경우에는 청소를 수행하는 것이 자신의 기능이다. 따라서 이동할 위치로 청소용 로봇이 이동한 후에 청소를 수행하도록 하는 기능 수행부를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 의한 실사기반 이동기기 제어 장치는 복수의 이동할 위치를 선택하고, 이동 기기를 순차적으로 선택된 위치로 이동시키는 기능을 수행할 수 있다.
이동위치 검출부에서는 사용자에 의해 영상 출력부상의 화면에서 복수의 이동 위치를 순차적으로 선택하고, 이를 실제 공간상의 위치로 변환할 수 있다. 따라서 사용자는 화면에서 복수의 이동할 위치를 선택함으로써 이동 기기의 경로를 지정해 주는 효과를 가질 수 있다.
이동 제어부는 복수의 이동할 위치를 순차적으로 각 지점에 이동시킴에 의해 사용자에 의해 선택된 경로를 따라 이동 기기를 이동시킨다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명은 다음과 같은 효과가 하나 혹은 그 이상이 있다.
첫째, 사용자의 원격 제어기 화면에 나타나는 실사 영상에서 이동 기기를 원하는 위치로 이동시킬 수 있다.
둘째, 맵과 센서에 의한 위치 인식이 없이 실사 영상에 의하여 원하는 위치로 이동 기기를 이동시킬 수 있다.
셋째, 사용자가 이동 기기가 이동할 경로를 지정하며 지정된 경로를 통하여 이동 기기를 이동시킬 수 있다.
넷째, 이동 기기에 자신의 위치 검출을 위한 센서 등이 불필요하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (20)

  1. (a) 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 단계;
    (b) 상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 단계;
    (c) 상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 단계;
    (d) 사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점을 선택되고, 선택된 지점의 위치를 실공간상 위치로 변환하는 단계; 및
    (e) 상기 선택된 지점의 실공간상 위치로 이동 기기를 이동시키는 단계를 포함하는, 실사기반 이동기기 제어 방법.
  2. 제 1항에 있어서,
    상기 이동 기기를 이동시킨 후에 이동 기기의 기능을 수행하는 단계를 더 포함하는, 실사기반 이동기기 제어 방법.
  3. 제 1항에 있어서, 상기 영상 입력 수단은
    영상을 촬영할 수 있는 카메라인, 실사기반 이동기기 제어 방법.
  4. 제 1항에 있어서, 상기 출력부는
    영상 입력 수단에 의해 촬영된 화면을 출력하며 사용자의 입력을 받는 터치 스크린 혹은 화면상에 좌표 입력이 가능한 문자입력수단을 구비한 디스플레이인, 실사기반 이동기기 제어 방법.
  5. 제 1항에 있어서, 상기 (c) 단계는
    이동 기기에 구비되어 크기와 모양이 알려진 마커(Marker)를 인식함에 의해 이동 기기를 인식하는 단계를 포함하는, 실사기반 이동기기 제어 방법.
  6. 제 6항에 있어서, 상기 (c) 단계는
    상기 출력된 영상에서의 검출된 마커의 변형 상태를 감지하여 실제 공간상에서의 마커의 위치를 계산하여 이동 기기의 위치를 검출하는 단계를 더 포함하는, 실사기반 이동기기 제어 방법.
  7. 제 1항에 있어서, 상기 (d) 단계는
    사용자에 의해 스크린 터치 또는 이동할 위치의 화면상의 좌표를 입력하여 이동 기기의 이동 위치를 선택하는 단계를 포함하는, 실사기반 이동기기 제어 방법.
  8. 제 7항에 있어서, 상기 (d) 단계는
    획득된 영상에서 선택된 이동 위치를 실제 공간에서의 위치로 변환하기 위해 획득된 영상에서의 이동 기기에 부착된 마커의 변형을 감지하여 실제 공간에서의 이동 위치를 검출하는 단계를 더 포함하는, 실사기반 이동기기 제어 방법.
  9. 제 1항에 있어서, 상기 (e) 단계는
    구동부에 의한 회전과 직진에 의해 이동 기기가 이동할 위치로 이동시키는 단계를 포함하는, 실사기반 이동기기 제어 방법.
  10. (a) 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 단계;
    (b) 상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 단계;
    (c) 상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 단계;
    (d) 사용자에 의하여 상기 출력부에 이동 기기가 이동할 복수의 지점이 순차적으로 선택되고 선택된 복수의 지점이 실공간상 위치로 변환되는 단계; 및
    (e) 상기 변환된 실공간상의 위치로 순차적으로 이동 기기를 이동시키는 단계를 포함하는, 실사기반 이동기기 제어 방법.
  11. 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 영상 획득부;
    상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 영상 출력부;
    상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 위치 검출부;
    사용자에 의하여 상기 출력부에 이동 기기가 이동할 지점이 선택되고, 선택된 지점의 위치를 실공간상 위치로 변환하는 이동위치 검출부; 및
    상기 선택된 지점의 실공간상 위치로 이동 기기를 이동시키는 이동 제어부를 포함하는, 실사기반 이동기기 제어 장치.
  12. 제 11항에 있어서,
    상기 이동 기기를 이동시킨 후에 이동 기기의 기능을 수행하는 기능 수행부를 더 포함하는, 실사기반 이동기기 제어 장치.
  13. 제 11항에 있어서, 상기 영상 입력 수단은
    영상을 촬영할 수 있는 카메라인, 실사기반 이동기기 제어 장치.
  14. 제 11항에 있어서, 상기 출력부는
    영상 입력 수단에 의해 촬영된 화면을 출력하며 사용자의 입력을 받는 터치 스크린 혹은 화면상에 좌표 입력이 가능한 문자입력수단을 구비한 디스플레이인, 실사기반 이동기기 제어 장치.
  15. 제 11항에 있어서, 상기 위치 검출부는
    이동 기기에 구비되어 크기와 모양이 알려진 마커(Marker)를 인식함에 의해 이동 기기를 인식하는 마커 인식부를 포함하는, 실사기반 이동기기 제어 장치.
  16. 제 15항에 있어서, 상기 위치 검출부는
    상기 출력된 영상에서의 검출된 마커의 변형 상태를 감지하여 실제 공간상에서의 마커의 위치를 계산하여 이동 기기의 위치를 검출하는 위치 계산부를 더 포함하는, 실사기반 이동기기 제어 장치.
  17. 제 11항에 있어서, 상기 이동위치 검출부는
    사용자에 의해 스크린 터치 또는 이동할 위치의 화면상의 좌표를 입력하여 이동 기기의 이동 위치를 입력하는 이동위치 입력부를 포함하는, 실사기반 이동기기 제어 장치.
  18. 제 17항에 있어서, 상기 이동위치 검출부는
    획득된 영상에서 선택된 이동 위치를 실제 공간에서의 위치로 변환하기 위해 획득된 영상에서의 이동 기기에 부착된 마커의 변형을 감지하여 실제 공간에서의 이동 위치를 검출하는 이동위치 변환부를 더 포함하는, 실사기반 이동기기 제어 장치.
  19. 제 11항에 있어서, 상기 이동 제어부는
    구동부에 의한 회전과 직진에 의해 이동 기기가 이동할 위치로 이동시키는, 실사기반 이동기기 제어 장치.
  20. 원격 제어기에 구비된 영상 입력 수단에 의해 이동 기기를 포함하는 영상을 획득하는 영상 획득부;
    상기 획득된 영상을 원격 제어기에 구비된 출력부에 출력하는 영상 출력부;
    상기 출력된 영상에서 이동 기기를 인식하여 원격 제어기로부터 이동 기기의 위치를 검출하는 위치 검출부;
    사용자에 의하여 상기 출력부에 이동 기기가 이동할 복수의 지점이 순차적으로 선택되고 선택된 복수의 지점이 실공간상 위치로 변환되는 이동위치 검출부 및
    상기 변환된 실공간상의 위치로 순차적으로 이동 기기를 이동시키는 이동 제어부를 포함하는, 실사기반 이동기기 제어 장치.
KR1020060096297A 2006-09-29 2006-09-29 실사기반 이동기기 제어 방법 및 장치 KR20080029548A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060096297A KR20080029548A (ko) 2006-09-29 2006-09-29 실사기반 이동기기 제어 방법 및 장치
US11/802,907 US20080082208A1 (en) 2006-09-29 2007-05-25 Method, apparatus, and medium for controlling mobile device based on image of real space including the mobile device
JP2007213668A JP5122887B2 (ja) 2006-09-29 2007-08-20 実写基盤移動機器の制御方法、装置および媒体
CNA2007101492130A CN101154110A (zh) 2006-09-29 2007-09-07 基于真实空间的图像来控制移动装置的方法、设备和介质
EP07116377.8A EP1926004A3 (en) 2006-09-29 2007-09-13 Method, apparatus, and medium for controlling mobile device based on image of real space including the mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060096297A KR20080029548A (ko) 2006-09-29 2006-09-29 실사기반 이동기기 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20080029548A true KR20080029548A (ko) 2008-04-03

Family

ID=39255803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060096297A KR20080029548A (ko) 2006-09-29 2006-09-29 실사기반 이동기기 제어 방법 및 장치

Country Status (5)

Country Link
US (1) US20080082208A1 (ko)
EP (1) EP1926004A3 (ko)
JP (1) JP5122887B2 (ko)
KR (1) KR20080029548A (ko)
CN (1) CN101154110A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140053764A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
CN103906605A (zh) * 2011-08-12 2014-07-02 泰科纳利亚法国公司 用于控制并联式冗余驱动自动装置的方法，相关的控制装置及自动装置
KR20150028152A (ko) * 2013-09-05 2015-03-13 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
KR20160022856A (ko) * 2016-02-17 2016-03-02 엘지전자 주식회사 로봇 청소기의 원격제어장치 및 그 제어방법
KR20160024898A (ko) * 2016-02-17 2016-03-07 엘지전자 주식회사 로봇 청소기의 원격제어장치 및 그 제어방법
KR20160084342A (ko) * 2016-06-29 2016-07-13 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치에 의해 제어되도록 구성되는 디바이스
US9940011B2 (en) 2008-10-23 2018-04-10 Samsung Electronics Co., Ltd. Remote control device and method of controlling other devices using the same
US10052004B2 (en) 2012-10-26 2018-08-21 Lg Electronics Inc. Robot cleaner system and control method of the same
WO2019083229A1 (ko) * 2017-10-27 2019-05-02 권대책 가상현실을 이용한 스피드 스프레이어 원격 조정 장치

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067205A (zh) * 2008-04-15 2011-05-18 美泰有限公司 用于玩具的触摸屏遥控设备
JPWO2010044277A1 (ja) * 2008-10-16 2012-03-15 株式会社テムザック 移動体ナビゲーション装置
US20100164745A1 (en) * 2008-12-29 2010-07-01 Microsoft Corporation Remote control device with multiple active surfaces
JP5560794B2 (ja) * 2010-03-16 2014-07-30 ソニー株式会社 制御装置、制御方法およびプログラム
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US8751063B2 (en) 2011-01-05 2014-06-10 Orbotix, Inc. Orienting a user interface of a controller for operating a self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
CN102611839A (zh) * 2011-01-20 2012-07-25 赣南师范学院 一种用于钉螺及其它陆地生物资源调查的自动照相装置
JP2012179682A (ja) * 2011-03-01 2012-09-20 Nec Corp 移動ロボットシステム、移動ロボット制御装置、該制御装置に用いられる移動制御方法及び移動制御プログラム
US8982076B2 (en) * 2011-09-10 2015-03-17 Rsupport Co., Ltd. Method of blocking transmission of screen information of mobile communication terminal while performing remote control using icon
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
CN103389486B (zh) * 2012-05-07 2017-04-19 联想(北京)有限公司 控制方法和电子设备
EP2850512A4 (en) * 2012-05-14 2016-11-16 Sphero Inc OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
CN102799183B (zh) * 2012-08-21 2015-03-25 上海港吉电气有限公司 一种用于散货堆场的流动机械视觉防撞保护系统及防撞方法
DE102012016868A1 (de) * 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
KR101394736B1 (ko) * 2012-09-13 2014-05-16 타이코에이엠피(유) 전방위 모니터링 주행장치 제어 시스템
JP2014155129A (ja) * 2013-02-12 2014-08-25 Tsubakimoto Chain Co 指示装置、コンピュータプログラム、移動体システム及び指示方法
JP2014154047A (ja) * 2013-02-12 2014-08-25 Tsubakimoto Chain Co 指示装置及びプログラム
JP2014154048A (ja) * 2013-02-12 2014-08-25 Tsubakimoto Chain Co 移動指示装置、コンピュータプログラム、移動指示方法及び移動体システム
TWI499223B (zh) 2013-06-07 2015-09-01 Pixart Imaging Inc 指向式機器人之遙控系統
CN107368200B (zh) * 2013-06-18 2020-06-02 原相科技股份有限公司 遥控装置
JP6259233B2 (ja) * 2013-09-11 2018-01-10 学校法人常翔学園 移動ロボット、移動ロボット制御システム、及びプログラム
US10937187B2 (en) * 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
CN104461318B (zh) * 2013-12-10 2018-07-20 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
KR102183012B1 (ko) 2014-05-28 2020-11-25 삼성전자주식회사 모바일 기기, 청소로봇 및 그 제어방법
CN104238418A (zh) * 2014-07-02 2014-12-24 北京理工大学 一种交互现实系统和方法
KR101575597B1 (ko) * 2014-07-30 2015-12-08 엘지전자 주식회사 로봇 청소 시스템 및 로봇 청소기의 제어방법
JP6826804B2 (ja) * 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
CN104526705A (zh) * 2014-11-21 2015-04-22 安徽省库仑动力自动化科技有限公司 一种用于大型工件清理的多点定位自动行走机器人
CN105169717B (zh) * 2015-07-22 2017-10-03 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法
CN105182978A (zh) * 2015-09-29 2015-12-23 江苏美的清洁电器股份有限公司 清扫装置、清扫系统和清扫方法
CN105476553B (zh) * 2015-11-25 2018-09-07 江苏美的清洁电器股份有限公司 智能吸尘器
KR20170077756A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
CN105751230B (zh) * 2016-03-31 2018-12-21 纳恩博（北京）科技有限公司 一种路径控制方法、路径规划方法、第一设备及第二设备
CN105867433A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种移动控制方法、移动电子设备及移动控制系统
CN109643489B (zh) * 2016-08-26 2022-05-03 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN106933227B (zh) * 2017-03-31 2020-12-18 联想(北京)有限公司 一种引导智能机器人的方法以及电子设备
JP2019171001A (ja) * 2017-09-29 2019-10-10 パナソニックＩｐマネジメント株式会社 自律移動掃除機、掃除方法、及びプログラム
CN110443825A (zh) * 2018-05-03 2019-11-12 香港商女娲创造股份有限公司 视觉追踪与人机互动系统及追随系统
WO2020159246A2 (ko) * 2019-01-30 2020-08-06 권도균 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
CN111657791A (zh) * 2019-03-07 2020-09-15 北京奇虎科技有限公司 一种遥控清扫方法和装置
CN112207812A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 设备控制方法、设备、系统及存储介质
CN111890352A (zh) * 2020-06-24 2020-11-06 中国北方车辆研究所 基于全景导航的移动机器人触控式遥操作控制方法
CN114403760B (zh) * 2021-12-22 2022-12-02 天津希格玛微电子技术有限公司 可移动载体的定位方法、装置和扫地机器人

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62212709A (ja) * 1986-03-14 1987-09-18 Mitsubishi Electric Corp 移動体の誘導制御方式
JP3369271B2 (ja) * 1993-10-18 2003-01-20 神鋼電機株式会社 無人ゴルフカートシステム
JP4014662B2 (ja) * 1995-09-18 2007-11-28 ファナック株式会社 ロボット教示操作盤
JPH1080886A (ja) * 1996-09-10 1998-03-31 Rekoode Onkyo:Kk 視覚制御ロボット
US6088469A (en) * 1996-09-30 2000-07-11 Sony Corporation Identifying apparatus and method, position detecting apparatus and method, robot apparatus and color extracting apparatus
US6845297B2 (en) * 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
EP2363774B1 (en) * 2000-05-01 2017-06-21 iRobot Corporation Method and system for remote control of mobile robot
WO2002099739A1 (en) * 2001-06-05 2002-12-12 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
JP4260634B2 (ja) * 2002-02-15 2009-04-30 富士通株式会社 画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2004355419A (ja) * 2003-05-30 2004-12-16 Hitachi Industries Co Ltd 物流システム
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423324B2 (en) 2008-10-23 2019-09-24 Samsung Electronics Co., Ltd. Remote control device and method of controlling other devices using the same
US10845986B2 (en) 2008-10-23 2020-11-24 Samsung Electronics Co., Ltd. Remote control device and method of controlling other devices using the same
US9940011B2 (en) 2008-10-23 2018-04-10 Samsung Electronics Co., Ltd. Remote control device and method of controlling other devices using the same
CN103906605A (zh) * 2011-08-12 2014-07-02 泰科纳利亚法国公司 用于控制并联式冗余驱动自动装置的方法，相关的控制装置及自动装置
KR20160026938A (ko) * 2012-10-26 2016-03-09 엘지전자 주식회사 로봇 청소기용 원격제어장치
KR20160024899A (ko) * 2012-10-26 2016-03-07 엘지전자 주식회사 로봇 청소기
KR20160026937A (ko) * 2012-10-26 2016-03-09 엘지전자 주식회사 로봇 청소기용 원격제어장치
KR20140053764A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
US10052004B2 (en) 2012-10-26 2018-08-21 Lg Electronics Inc. Robot cleaner system and control method of the same
US10058224B2 (en) 2012-10-26 2018-08-28 Lg Electronics Inc. Robot cleaner system and control method of the same
US10327617B2 (en) 2012-10-26 2019-06-25 Lg Electronics Inc. Robot cleaner system and control method of the same
KR20150028152A (ko) * 2013-09-05 2015-03-13 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법
KR20160024898A (ko) * 2016-02-17 2016-03-07 엘지전자 주식회사 로봇 청소기의 원격제어장치 및 그 제어방법
KR20160022856A (ko) * 2016-02-17 2016-03-02 엘지전자 주식회사 로봇 청소기의 원격제어장치 및 그 제어방법
KR20160084342A (ko) * 2016-06-29 2016-07-13 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치에 의해 제어되도록 구성되는 디바이스
WO2019083229A1 (ko) * 2017-10-27 2019-05-02 권대책 가상현실을 이용한 스피드 스프레이어 원격 조정 장치

Also Published As

Publication number Publication date
JP5122887B2 (ja) 2013-01-16
US20080082208A1 (en) 2008-04-03
CN101154110A (zh) 2008-04-02
EP1926004A2 (en) 2008-05-28
EP1926004A3 (en) 2013-12-18
JP2008090827A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
KR20080029548A (ko) 실사기반 이동기기 제어 방법 및 장치
US11803185B2 (en) Systems and methods for initializing a robot to autonomously travel a trained route
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US8265791B2 (en) System and method for motion control of humanoid robot
CN108451536B (zh) 自动地定位x射线系统的x射线源的方法和x射线系统
JP3842233B2 (ja) 画像処理装置及びロボットシステム
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
JP3859574B2 (ja) ３次元視覚センサ
JP7111114B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20150262002A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
JP2003533817A (ja) ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
KR20090050567A (ko) Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
JP2009129058A (ja) 位置特定装置および動作指示装置並びに自走式ロボット
CN112109069A (zh) 机器人示教装置以及机器人系统
JP5416489B2 (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
JP2006021300A (ja) 推定装置および把持装置
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
CN111158489B (zh) 一种基于摄像头的手势交互方法及手势交互系统
JP3953450B2 (ja) ３次元オブジェクト姿勢操作方法およびプログラム
KR101669850B1 (ko) 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
WO2022239291A1 (ja) 物体検知装置及び方法
JPH0973543A (ja) 画像処理装置
JP5536131B2 (ja) 位置特定装置および動作指示装置並びに自走式ロボット
CN116323103A (zh) 校准装置及校准的自动设定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
E801 Decision on dismissal of amendment
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080424

Effective date: 20091126