KR101016805B1 - 인간과 로봇의 상호 작용 구현 시스템 - Google Patents

Abstract

본 발명은 HRI가 보다 자연스럽게 이루어질 수 있도록 HRI를 간접적으로(indirectly) 구현하는 시스템에 관한 것으로, 사용자로부터의 소정 명령을 인식하여 상기 명령에 대한 실행 결과를 영상으로 투사하는 로봇을 구비하고, 상기 명령은 상기 로봇이 투사하는 영상을 매개로 상기 로봇에 전달되도록 한다. 이때 상기 로봇은 상기 로봇이 가진 다수의 정보가 영상으로 투사되는 면을 결정하는 투사면 결정부; 상기 다수의 정보를 상기 결정된 투사면에 영상으로 투사시키는 프로젝터; 상기 투사 영상을 촬상하는 카메라; 상기 카메라에 구비되며, 상기 사용자로부터 투사된 광 포인터가 상기 촬상된 투사 영상에 현출되었는지 판단하는 광 포인터 현출 여부 판단부; 상기 광 포인터가 현출된 경우, 상기 광 포인터가 상기 다수의 정보 중 특정 정보를 지시하는지 판단하여, 지시하는 것으로 판단하는 경우에는 상기 사용자로부터 상기 특정 정보의 보유 기능 실행 명령이 있는 것으로 인식하는 기능 실행 인식부; 및 상기 기능 실행 인식부로부터 상기 보유 기능의 실행 명령이 있음을 전달받아 상기 보유 기능을 실행하는 기능 실행부를 포함하고, 상기 기능 실행부는 상기 보유 기능의 실행 결과를 상기 프로젝터에 전송하여, 상기 프로젝터가 상기 실행 결과를 상기 결정된 투사면에 영상으로 투사하도록 하여 본 발명의 과제를 해결한다.

Description

인간과 로봇의 상호 작용 구현 시스템{System for configuring Human-Robot Interaction}

본 발명은 인간과 로봇의 상호 작용 구현 시스템에 관한 것으로, 보다 상세하게는 서로간의 상호 작용을 간접적으로(indirectly) 구현하는 시스템에 관한 것이며, 특히 로봇에 영상 투사기(빔 프로젝터(beam projector))를 구비시켜 투사된 영상을 매개로 인간과 로봇의 간접적 상호 작용을 구현하는 시스템에 관한 것이다.

최근 로봇의 개념은 단순히 인간을 대신하여 간단한 작업만을 수행하는 산업용 로봇에서 인간의 행동에 편의를 주는 더 나아가 인간과 직접적으로 의사소통하여 인간이 원하는 서비스를 제공하는 지능형 로봇(intelligent robot) 내지는 사회형 로봇(social robot)으로 발전하고 있다. 이에 따라 인간과 로봇의 상호 작용(의사소통)이 좀 더 자연스럽고 편리하게 수행되도록 인간-로봇 상호 작용(Human-Robot Interaction: HRI)의 구현 방안에 관한 연구들이 진행되고 있다.

현재, 통용되고 있는 대부분의 HRI는 로봇의 몸짓, 음성, 로봇에 부착된 디스플레이(터치스크린) 등을 이용한 '직접적(direct)' HRI에 의한다. 하지만 이러한 직접적 HRI는 기술의 미성숙과 인간 공학적 내지는 감성 공학적 측면에서 문제를 내포하고 있기 때문에, 상호 작용 자체가 매우 부자연스럽거나 불편하다. 예를 들어 인간의 키보다 현저히 작은 로봇이 작은 터치스크린 화면으로 정보를 제공한다면 사용자는 화면을 보기 위해 허리를 숙여야 하거나, 인간과 대화할 때와는 다르게 로봇의 몸체를 손으로 접촉하여 상호 작용하게 된다. 그리고 로봇이 인간의 형태를 하고 있을 때 사용자는 인간과 대화하듯 의사소통이 가능할 것이라고 기대하게 되지만 현재의 음성인식 기술, 제스처 인식 기술이 이러한 기대를 충족할 정도로 충분히 성숙되어 있지 아니하고 그 기술의 발달에 시간 및 비용이 과중하게 들 우려가 있다.

이처럼 인간과 로봇의 상호 작용을 위한 기반 기술들이 아직 성숙 단계에 이르지 못하였고, 직접적 HRI로는 인간과 로봇간 의사 전달의 불확실성 내지는 부자연성이 존재하기 때문에, 그 대안으로 간접적 HRI을 이용하는 몇 가지 연구들이 진행 중이다. 예를 들어 사람이 지시한 물체를 로봇이 레이저 빔을 이용하여 지시한 물체가 맞는지 확인하는 방안, 인간과 로봇이 의견을 교환하는 물체를 분명하게 하기 위해 로봇에 설치된 빔 프로젝터로 로봇이 인지하는 영역을 표시하는 방안 등이 있다. 하지만 이러한 방안들도 직접적 상호 작용을 보조하는데 그치는 경우가 대부분이다.

인간 상호간의 의사소통이 칠판이나 문서 등과 같은 '중간 매개체(mediate object)'를 통해 좀 더 효과적으로 이루어질 수 있는 것과 같이, 인간과 로봇도 이러한 중간 매개체에 해당하는 툴(tool)을 통해 간접적으로 의사소통 할 필요성 즉, 간접적 HRI의 필요성이 제기된다.

본 발명은 상기한 필요성에 부응하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 HRI가 보다 자연스럽게 이루어질 수 있도록 HRI를 간접적으로(indirectly) 구현하는 시스템을 제공하여 인간과 로봇의 상호 작용이 보다 자연스럽게 이루어지도록 하는 것이다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 인간과 로봇의 상호 작용 구현 시스템은 사용자로부터의 소정 명령을 인식하여 상기 명령에 대한 실행 결과를 영상으로 투사하는 로봇을 구비하고, 상기 명령은 상기 로봇이 가진 다수의 정보가 투사되는 영상을 매개로 상기 로봇에 전달되며, 상기 로봇은

상기 로봇이 가진 다수의 정보가 영상으로 투사되는 면을 결정하는 투사면 결정부; 상기 다수의 정보를 상기 결정된 투사면에 영상으로 투사시키는 프로젝터; 상기 투사 영상을 촬상하는 카메라; 상기 카메라에 구비되며, 상기 사용자로부터 투사된 광 포인터가 상기 촬상된 투사 영상에 현출되었는지 판단하는 광 포인터 현출 여부 판단부; 상기 광 포인터가 현출된 경우, 상기 광 포인터가 상기 다수의 정보 중 특정 정보를 지시하는지 판단하여, 지시하는 것으로 판단하는 경우에는 상기 사용자로부터 상기 특정 정보가 보유하는 기능의 실행 명령이 있는 것으로 인식하는 기능 실행 인식부; 및 상기 기능 실행 인식부로부터 상기 보유 기능의 실행 명령이 있음을 전달받아 상기 보유 기능을 실행하는 기능 실행부를 포함하고, 상기 기능 실행부는 상기 보유 기능의 실행 결과를 상기 프로젝터에 전송하여, 상기 프로젝터가 상기 실행 결과를 상기 결정된 투사면에 영상으로 투사하도록 하여 본 발명의 과제를 해결한다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 인간과 로봇의 상호 작용 구현의 또 다른 시스템은 사용자 단말로부터의 소정의 명령을 인식하여 그에 대한 실행 결과를 영상으로 투사하는 로봇을 구비하고, 상기 단말은 상기 로봇과 유선 또는 무선으로 연결되며 상기 로봇이 가진 다수의 정보가 투사되는 영상을 촬상하여 촬상된 영상을 매개로 상기 명령을 상기 로봇에 전달한다. 이때 상기 로봇은

상기 로봇이 가진 다수의 정보가 영상으로 투사되는 면을 결정하는 투사면 결정부; 상기 다수의 정보를 상기 결정된 투사면에 영상으로 투사시키는 프로젝터; 상기 결정된 투사면상에서 상기 다수의 정보를 포인팅하기 위한 마커(marker)를 생성하여 상기 프로젝터를 통해 투사시키는 마커 생성부; 상기 단말의 움직임을 감지하여 상기 투사된 마커를 상기 결정된 투사면상에서 상기 단말의 움직임 방향에 따라 이동시키는 마커 이동부; 및 상기 다수의 정보 중 상기 투사된 마커가 포인팅하고 있는 특정 정보가 보유하는 기능에 대한 상기 단말로부터의 실행 명령을 인식하여 상기 특정 정보가 보유하는 기능을 실행하는 기능 실행부를 포함하고, 상기 기능 실행부는 상기 보유 기능의 실행 결과를 상기 프로젝터에 전송하여 상기 실행 결과를 상기 결정된 투사면에 투사하도록 하거나, 상기 단말에 전송하여 본 발명의 과제를 해결한다.

본 발명에 따른 HRI 구현 방안은 기존의 직접적 HRI에서 상기한 기술들의 미성숙으로 인해 발생하는 정보 입출력 방식의 미비점을 보완하고 프로젝터(투사기)에 의해 투사되는 영상을 중간 매개체로 하여 로봇이 효과적으로 다수의 인간을 상대할 수 있고, 영상이 투사되는 면을 통해 보다 많은 정보를 다룰 수 있는 등의 장점을 제공한다. 특히 본 발명의 경우 프로젝터가 최적의 투사면에 로봇이 가진 다수의 정보를 투사하므로, 인간에게 정보를 보다 효과적으로 전달할 수 있어 HRI가 보다 자연스럽게 이루어질 수 있다.

또한 본 발명은 다수의 인간과 하나의 로봇이 상호 작용할 때 매우 효과적으로 기능할 수 있다. 실제 사물에 프로젝터를 이용하여 부가 정보를 투사하여 사용자가 획득할 수 있는 정보를 보강해주는 공간적 증강 현실(Spatial Augmented Reality) 기능을 이용하여 로봇이 단순한 정보 전달에서 벗어나 현실과 가상현실을 융합시키는 기능을 제공할 수 있는 기반이 될 수 있다.

이하, 본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1a 내지 도 1f는 본 발명의 바람직한 제1 구성에 관한 동작을 설명하기 위해 제시한 도면이다.

본 발명의 바람직한 제1 구성은, 도 1a에 제시된 바와 같이, 사용자(10)가 얻고자하는 정보를 제공하는 로봇(11)을 구비하는데, 본 발명에서 로봇(11)은 사용자(10)로부터 소정의 명령(예를 들어 정보 제공 명령, 특정 정보가 가진 기능의 실행 명령 등)을 인식하여 이 명령에 대한 실행 결과를 영상으로 투사하는 기능을 수행한다. 이러한 기능을 수행하기 위해 본 발명에 의한 로봇(11)은 투사면 결정부(111), 프로젝터(112), 카메라(113), 광 포인터 현출 여부 판단부(114), 기능 실행 인식부(115) 및 기능 실행부(116)를 포함하여 본 발명의 목적을 실현하거나 과제를 해결한다. 이하에서는 상기 각 부의 기능에 관해 상세히 설명한다.

투사면 결정부(111)는 로봇(11)이 가진 다수의 정보가 영상으로 투사되는 면을 결정하는 기능을 수행하는 부분으로서, 사용자(10)와 로봇(11)의 위치에 근거하여 최적의 투사면을 결정하는 기능을 수행한다. 투사면의 결정에 요구되는 변수는 사용자(10)와 로봇(11)의 위치뿐만이 아니라 다른 수많은 변수가 있을 수 있는데, 투사면의 넓이, 프로젝터(112)로부터 투사되는 빛(beam)의 진행 방향과 투사면의 각도, 로봇(11)과 투사면의 거리, 사용자(10)와 투사면의 거리 등 여러 변수를 그 예로 들 수 있다. 어떠한 경우이건 사용자(10)와 로봇(11)의 위치가 비중이 가장 큰 결정 변수가 되는데, 이는 그 이외의 변수들은 사용자(10)와 로봇(11)의 위치를 기반으로 하여 고려할 수 있기 때문이다.

투사면 결정의 일례를 전시물을 개시한 전시관(exhibition hall)을 예를 들어 도 1b 내지 도 1f를 참조하여 설명한다.

투사면 결정부(111)는 사용자의 위치, 설명 대상 물체의 위치와 사용자의 시야를 바탕으로 사용 가능한 거리(r, 사용자가 투사 영상을 자연스럽게 볼 수 있는 최대 거리)를 반지름으로 하는 반경 안에 있는 벽(wall)들을 바탕으로 각 벽(W_i)의 투사면 적합 지수(S_i)를 아래의 식에 의하여 구하고 최대의 투사면 적합 지수를 가지는 벽을 투사면으로 결정한다. 만일 도 1b에서 W₁, W₂와 같이 인접한 두 벽면의 각이 180도 이하일 때에는 두 벽면이 구석에 있다 판단하고 두 벽면의 양 끝점을 직선으로 연결하는 가상의 벽이 있다고 가정하고 투사면 적합 지수(S_i)를 구한다. S_i는 일례로 아래 식과 같이 여섯 지수(P_i, O_i ^R, D_i ^R, O_i ^H, D_i ^H, D_i ^W)에 각각 가중치(α, β, γ, δ, ε, η)를 부여한 값의 합으로 나타낼 수 있다.

.

P_i는 i번째 벽(W_i)의 폭(WD_i)에 대한 지수로서 가장 이상적인 투사면의 폭을 1m라 가정하고 0 내지 1m을 0 내지 1로 정규화(normalization)하여 Signoid 함수[도 1c]를 이용하여 scoring한다. 도 1c에서 가로축은 WD_i를, 세로축은 정규화된 P_i를 나타낸다.

, (0≤ P_i ≤1).

O_i ^R은 i번째 벽(W_i)의 중심점과 로봇(11)의 각도(θ_i ^R2W)에 대한 지수로 θ_i ^R2W가 90도인 경우를 가장 이상적이라 가정하고, 0 내지 180도를 0 내지 1로 정규화하여 θ_i ^R2W가 90도인 경우에 극대값을 갖는 이차함수(Quadratic function)[도 1d]를 이용하여 scoring한다.

, (0≤ O_i ^R ≤1).

O_i ^H는 i번째 벽(W_i)의 중심점과 사용자(10)의 각도에 대한 지수로 상기 O_i ^R와 마찬가지로 90도가 가장 좋다고 가정하고 이차함수[도 1d]를 이용하여 scoring 한다. 도 1d에서 가로축은 각도(라디안 단위)를, 세로축은 정규화된 O_i ^R 또는 O_i ^H를 나타낸다.

, (0≤ O_i ^H ≤1).

D_i ^R은 i번째 벽(W_i)의 중심점과 로봇(11)간 거리(d_i ^R2W)에 대한 지수로 d_i ^R2W이 1 내지 5m인 경우를 가장 이상적이라 가정하고, 0 내지 10m를 0 내지 1로 정규화하 여 N(0.3, 0.4²)를 따르는 정규분포(Normal distribution)[도 1e] 함수를 이용하여 scoring한다.

, (0≤ D_i ^R ≤1).

D_i ^H는 i번째 벽(W_i)과 사용자(10)간 거리(d_i ^H2W)에 대한 지수로 D_i ^R와 마찬가지로 d_i ^H2W이 1 내지 5m인 경우를 가장 이상적이라 가정하고, 0 내지 10m를 0 내지 1로 정규화하여 N(0.3, 0.4²)를 따르는 정규분포(Normal distribution)[도 1e] 함수를 이용하여 scoring을 한다. 도 1e에서 가로축은 d_i ^R2W 또는 d_i ^H2W를, 세로축은 정규화된 D_i ^R 또는 D_i ^H를 나타낸다.

, (0≤ D_i ^H ≤1).

D_i ^W는 i번째 벽(W_i)과 로봇(11)이 사용자(10)에게 정보를 제공할 대상 전시물(T)간 최소 거리에 대한 지수로 투사면과 목표 물체는 가까울수록 사용자(10)의 FoV(Field of View, 시각 만족도)를 만족시킬 가능성이 높기 때문에 0 내지 10m 사 이를 완만하게 감소하도록 코사인(cosine) 함수를 이용하여 0 내지 1로 정규화하여 scoring 한다.

, (0≤ D_i ^W ≤1).

S_i는 상기 구한 각 지수에 각각 가중치를 부여한 값의 합으로 구할 수 있다. 사용자(10)와 로봇(11)의 현 주변 상황에 따라 상기 각 지수에 가중치(weight factor)를 다르게 부여하여 상기 주변 상황에서 더 중요한 지수에 높은 가중치를 갖도록 하며, 각 가중치의 합은 1이 되도록 한다. 이렇게 구한 S_i가 만일 일정 문턱치(threshold) 이하인 경우에는 투사면 결정부(111)는 투사에 적합한 벽이 없는 것으로 간주하고 바닥을 최적의 투사면으로 결정한다.

도 1f는 최적의 투사면을 결정하는 경우에 실제로 있을 수 있는 몇 가지 상황을 시뮬레이션 한 결과이다. R은 로봇, H는 사용자, T는 전시물, P는 선택된 투사 면을 표시한다. 이 시뮬레이션에서 S_i의 가중치 요소들인 α와 β, γ는 0.08, δ는 0.16, 그리고 η와, ε는 0.30을 사용하였다. 도 1f에서 첫 번째 상황은 후보 투사면이 하나인 상황, 도 1f에서 두 번째 상황은 후보 투사면이 사용자 뒤에 위치하여 최적의 투사면으로 바닥을 선택하는 상황, 도 1f에서 세 번째 상황은 가상의 벽을 후보 투사면으로 선택한 상황, 도 1f에서 네 번째 상황은 투사 가능한 벽이 없어 바닥을 최적의 투사면으로 선택하는 상황이다.

프로젝터(112)는 상기 결정된(선택된) 투사면에 자신이 가진 다수의 정보를 영상으로 투사시킨다. 이때 프로젝터(112)는 어안렌즈(fish-eye lens)를 통하여 자신이 가진 여러 정보를 투사하게 되는데, 어안 렌즈를 통해 투사를 하는 이유는 어안 렌즈는 광각이 매우 크므로 다른 렌즈에 비해 동일 조건의 투사면에 시각적으로 보다 넓게 투사를 할 수 있는 효과가 있으며, 이는 결국 동시에 보다 많은 정보를 투사할 수 있는 장점이 있기 때문이다.

한편 어안 렌즈로 인한 투사는 상기와 같은 장점을 갖고 있으나, 그 투사된 영상의 모양은 어안 렌즈의 특성으로 인해 원형으로 왜곡된다(만곡 현상). 이러한 영상은 인간의 시각 특성에 매우 부자연스러운 것이므로, 이를 시각적으로 자연스러운 모양으로 보정된 영상을 투사하여야 사용자(10)와 로봇(11)간 상호 작용이 보다 원활히 구현될 수 있다. 이를 위해 프로젝터(112)는 보정부(1121)를 구비하여 이러한 보정을 수행하게 한다. 통상 인간은 방형(square shape)의 영상을 흔히 접하므로 방형 영상이 인간의 시각 특성상 제일 자연스러우며, 따라서 보정부(1121)는 투사될 영상을 방형으로 보정하게 된다.

방형 영상으로의 보정은 image warping이라는 영상 변형 기법을 통해 이루어지게 되는데, 이 기법은 미국 우주항공국(NASA)에서 인공위성을 통해 수신된 원형으로 왜곡된 영상들을 바로 펴기 위한 영상 처리 기법으로 널리 사용되어 왔다. 본 발명에서의 image warping 기법을 이용한 영상 보정의 구현예를 살펴보면 다음과 같다.

도 1g는 본 발명에서의 영상 보정의 구현예를 설명하기 위해 제시된 도면이다.

방형 영상으로의 보정을 위해서는, 프로젝터(112)에 어안 렌즈를 부착하지 않은 상태에서 프로젝터(112)로부터 투사되는 소스 영상과 이 투사 영상을 카메라(113)로 촬상한 영상의 관계(제1 관계), 프로젝터(112)에 어안 렌즈를 부착한 상태에서 프로젝터(112)로부터 투사되는 소스 영상의 카메라 촬상 영상과 가상 영상의 관계(제2 관계) 및 프로젝터(112)로부터 투사되는 소스 영상과 어안 렌즈를 통해 투사면에 실제로 투사되는 영상(보정 영상)간의 관계(제3 관계)를 규명해야 한다. 여기서 카메라(113)는 투사면에 투사된 영상을 촬상하기 위해 구비되는 것으로 하나 또는 다수개 구비되며, 본 발명의 제1 구성에서 사용자(10)는 투사면에 투사된 영상을 통해 소정의 명령을 로봇(11)에 전달하게 되는데 이러한 명령이 있음을 인지하는 것은 카메라(113)에 촬상된 영상을 매개로 이루어진다.

상기 제1 관계에 대해 살펴보면 다음과 같다.

본 관계는 프로젝터(112)에 어안 렌즈를 부착하지 않은 상태(On-axis)에서 구한다. 프로젝터(112)에 어안 렌즈를 부착하지 않은 상태에서 로봇(11)의 상단에서 직각 방향의 하단으로 격자 모양의 패턴(소스 패턴, 도 1g의 (A))을 투사하고 프로젝터(112)의 옆쪽에 구비되는 카메라(113)를 이용하여 투사된 소스 패턴을 촬상한다(도 1g의 (B)). 이렇게 촬상하여 얻어낸 격자 모양 패턴의 교차점들과 소스 패턴의 교차점들 간의 관계를 규정하는 행렬 H를 구하게 된다.

.

.

여기서 (u, v)는 카메라로 촬영한 격자 모양의 교차점들의 좌표이고 (x, y)는 상기 소스 패턴의 교차점들의 좌표이다. H는 행렬 A[2n][9]로부터 얻을 수 있는데, H를 얻기 위해 행렬 A[2n][9]에 SVD(Singular Value Decomposition)를 수행하여 행렬 A[2n][9]의 고유치(eigen value)와 고유벡터(eigen vector)를 얻어내고 이중 가장 작은 고유치를 갖는 고유 벡터를 H로 지정한다. w는 scaling factor이며, A[2n][9]는 1 차식으로 표현된 왜곡값 H를 구하기 위한 행렬로, H를 추측하기 위해 필요한 9개의 방정식의 해를 구하기 위한 행렬이다.

다음으로 제2 관계에 대해 살펴보면, 본 관계는 프로젝터(112)에 어안 렌즈를 부착한 상태(Off-axis)에서 소스 패턴을 카메라로 촬상한 격자 모양의 패턴(도 1g의 (C))과 이 패턴의 카메라의 위치에 따른 왜곡을 보정한 가상의 격자 모양의 패턴(virtual image, 도 1g의 (D)) 간의 관계로, 왜곡을 보정한 가상의 격자 모양의 패턴(도 1g의 (D))은 앞에서 구한 H의 역행렬(H^-1)을 카메라에 의해 촬영된 격자 모양의 패턴(도 1g의 (C))에 곱해주어 얻을 수 있다.

다음으로 제3 관계에 대해 살펴보면, 우선 소스 패턴(도 1g의 (A))에서의 교차점들과 가상의 격자 모양의 패턴(도 1g의 (D))의 각 선의 교차점들의 관계를 규 정하는 행렬 P를 아래의 식에 의해 구한다. 이때, (u, v)는 가상의 격자 모양의 패턴(도 1g의 (D))의 교차점들의 좌표이고 (x, y)는 소스 패턴(도 1g의 (A))의 교차점들의 좌표이다. P는 아래 행렬 A[2n][18]로부터 얻을 수 있는데, P를 얻기 위해 행렬 A[2n][18]에 SVD(Singular Value Decomposition)를 수행하여 행렬 A[2n][18]의 고유치(eigen value)와 고유벡터(eigen vector)를 얻어내고 이중 가장 작은 고유치를 갖는 고유 벡터를 P로 지정한다.

.

.

.

마지막으로 P의 역행렬(P^-1)을 프로젝터(112)에서 투사하고자 하는 소스 영 상에 적용하면 영상이 투사되기 전에 미리 왜곡되어 어안렌즈와 Off-axis 상황에 따른 투사 화면의 왜곡을 보정하고 원래 투사하고자 했던 방형(square shape) 영상(도 1g의 (E))을 투사할 수 있게 된다. A[2n][18]은 A[2n][9]와 마찬가지로 2차식으로 표현된 왜곡값 P를 구하기 위한 행렬로, P를 추측하기 위해 필요한 18개 방정식의 해를 구하기 위한 행렬이다.

도 1h에 프로젝터에 의해 투사된 방형으로 보정된 영상의 예가 제시되어 있다.

광 포인터 현출 여부 판단부(114)는 사용자(10)로부터 투사된 광 포인터가 촬상된 투사 영상에 현출되었는지 판단하는 기능을 수행하는 부분으로, 카메라(113) 자체에 구비되거나 카메라와 연계된다. 광 포인터는 현재 컴퓨터의 운영 체제로서 가장 광범위하게 쓰이는 윈도우즈 시스템에서의 마우스 클릭 이벤트에 해당하는 기능을 수행할 수 있도록 하기 위한 것으로, 사용자는 예를 들어 레이저 포인터를 이용하여 광 포인터를 투사할 수 있다.

한편 광 포인터 현출 여부 판단부(114)는 광 포인터에서 투사되는 빛이 가지는 주파수 대역을 가진 빛만을 통과시키는 대역 통과 필터(Band Pass Filter)로 구현되는 것이 바람직한데, 예를 들어 광 포인터로서 적색 레이저를 사용할 경우 650nm 대역만을 투과시키는, 녹색 레이저를 사용할 경우 530nm 대역만을 투과시키는 대역 통과 필터를 사용한다. 한편 카메라(113)는 투사면에 투사된 영상(특히 이 영상에 현출된 광 포인터)을 촬상하여 로봇(11)에 전달하기 위해 필요한 것으로, 어안 렌즈를 부착하지 아니한 카메라를 사용할 경우 투사면에 투사된 영상 전체를 촬영할 수 없기 때문에 여러 대의 카메라를 사용하여 투사된 영상을 촬상하게 된다. 이때 각각의 카메라에 의해 촬상된 영상으로부터 얻어낸 광 포인터의 위치가 프로젝터에 의해 투사된 영상 전체에서 어느 위치에 해당하는지를 규명해야 한다. 이 규명은 상기 H를 구하는 방식과 동일하다.

이를 위해 어안 렌즈와 Off-axis에 의한 왜곡이 보정되어 직사각형 형태의 투사면을 투사하고 있는 프로젝터로 격자 패턴을 투사한다. 투사된 격자 패턴을 각각의 카메라로 촬영하고 각 카메라가 촬상할 수 있는 영역의 가장자리 네 개의 꼭지점의 좌표와 이에 상응하는 소스 영상에서의 네 점의 좌표가 이루는 관계를 행렬 C_i(i는 카메라의 개수)로 규명한다. 각 카메라로부터 얻어낸 광 포인터의 위치(좌표)에 C_i를 곱하면 광 포인터가 소스 영상에서 지시하고 있는 위치를 파악할 수 있게 된다. 이때, C_i는 바로 상기 H에 해당하는 것이며, (u, v)는 카메라가 촬상한 영상에서의 네 점의 좌표이고 (x, y)는 소스 영상에서의 네 점의 좌표이다. C_i를 얻기 위해 A[2n][9] 행렬에 SVD를 수행하여 행렬의 고유값(eigen-value)과 고유벡터(eigen-vector)를 얻어내고 가장 작은 고유값에 해당하는 고유벡터를 C_i로 사용한다. 이 과정을 i번 반복하여 각 카메라의 C_i를 구한다.

기능 실행 인식부(115)는 광 포인터 현출 여부 판단부(114)에 의해 광 포인터가 현출되었다고 판단한 경우, 광 포인터가 투사면에 투사된 다수의 정보 중 특정 정보를 지시하는지 판단하여, 지시하는 것으로 판단하는 경우에는 사용자(10)로 부터 상기 특정 정보의 보유 기능 실행 명령이 있는 것으로 인식하는 기능을 수행하는 부분으로, 광 포인터가 자신이 현출된 위치의 일정 주위 영역을 소정 시간 동안 벗어나지 아니하는 경우를 윈도우즈 시스템에서의 마우스 클릭 이벤트처럼 인식하여 특정 정보의 보유 기능 실행 명령이 있는 것으로 인식하게 된다. 특정 정보의 지시 판단은 광 포인터가 현출된 위치의 좌표로부터 판단할 수 있다.

기능 실행부(116)는 기능 실행 인식부(115)로부터 상기 보유 기능의 실행 명령이 있음을 전달받아 상기 보유 기능을 실행하는 기능을 수행하는 부분으로, 보유 기능의 실행 결과를 프로젝터(112)에 전송하여 프로젝터(112)가 그 실행 결과를 상기 결정된 투사면에 영상으로 투사하도록 한다.

도 2a 내지 도 2b는 본 발명의 바람직한 제2 구성을 제시한 도면이다.

본 발명의 바람직한 제2 구성은, 제1 구성과 마찬가지로, 사용자 단말(20)을 통해 사용자가 얻고자하는 정보를 제공하는 로봇(21)을 구비하는데, 본 발명에서 로봇(21)은 사용자 단말(20)로부터 정보 제공 명령을 인식하여 이 명령에 대한 실행 결과를 영상으로 투사하는 기능을 수행한다. 한편 단말(20)은 로봇(21)과 유선 또는 무선으로 연결되고 로봇(21)이 투사하는 영상을 촬상하여 촬상된 영상을 통해 상기 명령을 상기 로봇에 전달한다.

이러한 기능을 수행하기 위해 본 발명에 의한 로봇(21)은 투사면 결정부(211), 프로젝터(212), 마커 생성부(213), 마커 이동부(214), 기능 실행부(215)를 포함한다.

한편 단말(20)은 로봇(21)과 유선 또는 무선으로 연결되어 로봇(21)이 투사 면에 투사하는 영상을 촬상하여 자신의 디스플레이부에 현출하며, 사용자는 단말(20)의 디스플레이부에 현출되는 촬상된 영상을 통해 소정의 명령을 로봇(21)에 전달하여 본 발명의 목적 내지는 과제를 해결한다. 이하에서는 본 제2 구성의 각 부의 기능에 관해 상세히 설명하되 제1 구성과 동일하게 기능을 수행하는 부(투사면 결정부(211), 프로젝터(212) 및 보정부(2121) 관련 사항)에 관해서는 그 설명을 생략한다.

마커 생성부(213)는 제1 구성의 경우와 같이 결정된 투사면상에서 로봇(21)이 가진 다수의 정보를 포인팅하기 위한 마커(marker)를 생성하여 프로젝터(212)를 통해 투사시키는 기능을 수행하는 부분이다. 마커는 윈도우즈 시스템의 커서에 해당한다.

한편 단말(20)이 다수인 경우, 마커 생성부(213)는 단말(20)의 개수만큼 마커를 생성하는데 동일한 모양 또는 각기 다른 모양으로 생성할 수 있다. 이 경우 마커 생성부(213)는 생성되는 각 마커에 고유의 ID를 부여하여 각 단말이 서로 간의 간섭이 없이 로봇(21)과 독립적으로 통신가능하게 할 수 있다. 이는 로봇(21)이 각 단말에 사용자 맞춤형으로 정보를 제공할 수 있음을 의미한다.

마커 이동부(214)는 단말(20)의 움직임을 감지하여 투사면에 투사된 마커를 투사면상에서 단말(20)의 움직임 방향에 따라 이동시키는 기능을 수행하는 부분이다. 이때 단말(20)은 자신의 디스플레이부에 투사면에 투사된 마커를 현출시키는 마커 현출부(201)를 구비하여 투사면에 투사된 마커를 자신의 디스플레이부에 현출시키도록 한다. 이는 사용자가 단말(20)을 이용하여 투사면에 투사된 마커를 이동 시킬 때 투사면 자체를 보면서 이동시키는 것보다는 단말(20)의 디스플레이부에 현출되는 투사면 영상을 보면서 마커의 이동을 느끼게 하는 것이 보다 자연스럽기 때문이다.

한편 마커 현출부(201)는 마커를 단말(20)의 디스플레이부 중앙에 현출시키게 함이 바람직하다. 이는 사용자가 자신의 단말(20)로 상기 투사된 영상을 촬상할 때 단말(20)의 디스플레이부의 중앙을 응시하면서 촬상하는 것이 인간의 시각 특성상 자연스러운 것이기 때문에 마커를 중앙에 현출시키는 것이다. 이는 단말(20)의 디스플레이부에 마커를 현출시킴에 있어 현출 위치를 단말(20)의 디스플레이부 중앙을 그 기준점이 되도록 하여, 단말(20)의 움직임이 발생하여 순간적으로 마커가 단말(20)의 디스플레이부의 중앙으로부터 이격되는 경우에도 마커가 단말(20)의 디스플레이부의 중앙을 지향하도록 하는 것이다.

도 2b에 단말(20)의 디스플레이부 중앙에 현출되는 마커의 예가 제시되어 있다. 예를 들어 만일 단말(20)을 오른쪽으로 이동시키면 단말(20)의 디스플레이부상에서 마커는 순간적으로 왼쪽으로 이동하게 되는데, 상기 언급한 바와 같이 마커는 항상 단말(20)의 디스플레이부 중앙을 현출의 기준 위치로 하므로 단말(20)의 디스플레이부상에서 마커가 왼쪽으로 이동하는 것은 투사면상에서는 오른쪽으로 이동하는 것이 된다. 따라서 단말(20)을 오른쪽으로 이동시키면 그에 따라 투사면상에서의 마커도 오른쪽으로 이동시킬 수 있게 되는 것이다.

기능 실행부(215)는 프로젝터(212)로부터 투사되는 다수의 정보 중 투사된 마커가 포인팅하고 있는 특정 정보가 보유하는 기능에 대해 단말(20)로부터의 실행 명령을 인식하여 특정 정보가 보유하는 기능을 실행하여, 상기 보유 기능의 실행 결과를 프로젝터(212)에 전송하여 상기 결정된 투사면에 투사하도록 하거나 단말(20)에 전송하는 기능을 수행하는 부분이다. 이때 상기 실행 명령은 단말(20)에 '기능 실행 버튼'을 구비시켜, 이 버튼의 눌림에 의해 수행되도록 한다. 버튼의 눌림은 윈도우즈 시스템에서의 클릭 이벤트에 해당한다.

도 3에 본 발명에 의한 제1 구성과 제2 구성에 의한 실현예가 총괄적으로 제시되어 있다. 중앙에 로봇이 위치해 있고 로봇이 보유하고 있는 다수 정보가 투사면(바닥)에 방형으로 보정된 영상으로 현출되어 있다. 도 3의 하단 그림 좌측은 사용자 단말(20, 예를 들어 UMPC, PDP 등)을 이용하여 로봇과 상호 작용하는 예를 보이고 있고, 도 3의 하단 그림 우측은 광 포인터(레이저 포인터)를 이용하여 로봇과 상호 작용하는 예를 보이고 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1a는 본 발명의 바람직한 구성을 제시한 도면이다.

도 1b 내지 도 1f는 본 발명에 의해 최적의 투사면을 결정하는 방안을 설명하기 위해 제시한 도면이다.

도 1g와 도 1h는 어안 렌즈를 통해 투사하는 영상(왜곡 영상)을 방형 영상으로 보정하는 방안을 설명하기 위해 제시한 도면이다.

도 2a는 본 발명의 바람직한 또 다른 구성을 제시한 도면이다.

도 2b는 마커 현출의 예를 제시한 도면이다.

도 3은 본 발명에 의한 실현예를 총괄적으로 제시한 도면이다.

Claims (10)

1. 사용자로부터의 소정 명령을 인식하여 상기 명령에 대한 실행 결과를 영상으로 투사하는 로봇을 구비하고, 상기 명령은 상기 로봇이 가진 다수의 정보가 투사되는 영상을 매개로 상기 로봇에 전달되며, 상기 로봇은

   상기 다수의 정보가 영상으로 투사되는 면을 결정하는 투사면 결정부;

   상기 다수의 정보를 상기 결정된 투사면에 영상으로 투사시키는 프로젝터;

   상기 투사된 영상을 촬상하는 카메라;

   상기 카메라에 구비되며, 상기 사용자로부터 투사된 광 포인터가 상기 촬상된 투사 영상에 현출되었는지 판단하는 광 포인터 현출 여부 판단부;

   상기 광 포인터가 현출된 경우, 상기 광 포인터가 상기 다수의 정보 중 특정 정보를 지시하는지 판단하여, 지시하는 것으로 판단하는 경우에는 상기 사용자로부터 상기 특정 정보가 보유하는 기능의 실행 명령이 있는 것으로 인식하는 기능 실행 인식부; 및

   상기 기능 실행 인식부로부터 상기 보유 기능의 실행 명령이 있음을 전달받아 상기 보유 기능을 실행하는 기능 실행부를 포함하고,

   상기 기능 실행부는 상기 보유 기능의 실행 결과를 상기 프로젝터에 전송하여, 상기 프로젝터가 상기 실행 결과를 상기 결정된 투사면에 영상으로 투사하도록 하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
2. 제 1 항에 있어서, 상기 투사면 결정부는

   상기 사용자와 로봇의 위치에 기반하여 상기 투사면을 결정하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
3. 제 1 항에 있어서, 상기 광 포인터 현출 여부 판단부는

   상기 광 포인터에서 투사되는 빛의 주파수 대역만을 통과시키는 대역 통과 필터인 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
4. 제 1 항에 있어서, 상기 기능 실행 인식부는

   상기 광 포인터가 상기 광 포인터의 일정 주위 영역을 소정 시간 벗어나지 아니하는 경우를 상기 특정 정보가 보유하는 기능을 실행하는 것으로 인식하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
5. 사용자 단말로부터의 소정의 명령을 인식하여 그에 대한 실행 결과를 영상으로 투사하는 로봇을 구비하고, 상기 단말은 상기 로봇과 유선 또는 무선으로 연결되고 상기 로봇이 가진 다수의 정보가 투사되는 영상을 촬상하여 촬상된 영상을 매개로 상기 명령을 상기 로봇에 전달하며, 상기 로봇은

   상기 다수의 정보가 영상으로 투사되는 면을 결정하는 투사면 결정부;

   상기 다수의 정보를 상기 결정된 투사면에 영상으로 투사시키는 프로젝터;

   상기 결정된 투사면상에서 상기 다수의 정보를 포인팅하기 위한 마 커(marker)를 생성하여 상기 프로젝터를 통해 투사시키는 마커 생성부;

   상기 단말의 움직임을 감지하여 상기 투사된 마커를 상기 결정된 투사면상에서 상기 단말의 움직임 방향에 따라 이동시키는 마커 이동부; 및

   상기 다수의 정보 중 상기 투사된 마커가 포인팅하고 있는 특정 정보가 보유하는 기능에 대한 상기 단말로부터의 실행 명령을 인식하여 상기 특정 정보가 보유하는 기능을 실행하는 기능 실행부를 포함하고,

   상기 기능 실행부는 상기 보유 기능의 실행 결과를 상기 프로젝터에 전송하여 상기 실행 결과를 상기 결정된 투사면에 영상으로 투사하도록 하거나, 상기 단말에 전송하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
6. 제 5 항에 있어서, 상기 투사면 결정부는

   상기 단말과 로봇의 위치에 기반하여 상기 투사면을 결정하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
7. 제 1 항 또는 제 5 항에 있어서, 상기 프로젝터는

   어안 렌즈(fish-eye lens)를 통해 상기 다수의 정보 또는 상기 실행 결과를 영상으로 투사하고,

   상기 어안 렌즈를 통해 투사될 영상의 모양을 방형(square shape)으로 보정하는 보정부를 포함하며,

   상기 보정부는 image warping 기법을 이용하여 상기 보정을 수행하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
8. 제 5 항에 있어서,

   상기 실행 명령은 상기 단말에 '기능 실행 버튼'을 구비시켜, 상기 기능 실행 버튼의 눌림에 의해 수행되도록 하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
9. 제 5 항에 있어서, 상기 단말은

   상기 마커를 자신의 디스플레이부에 현출시키는 마커 현출부를 포함하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.
10. 제 5 항에 있어서, 상기 마커 생성부는

    상기 단말이 다수인 경우, 상기 단말의 개수만큼 상기 마커를 생성하되 상기 생성되는 각 마커에 ID를 부여하여 상기 각 단말이 상기 로봇과 독립적으로 통신가능하게 하는 것을 특징으로 하는 인간과 로봇의 상호 작용 구현 시스템.

Images