KR101849414B1

KR101849414B1 - 신체 정보를 이용한 자유손 포인팅 처리장치

Info

Publication number: KR101849414B1
Application number: KR1020120145081A
Authority: KR
Inventors: 강석빈; 이수웅; 조현우; 이준석
Original assignee: 한국전자통신연구원
Priority date: 2012-12-13
Filing date: 2012-12-13
Publication date: 2018-04-16
Also published as: KR20140076736A

Abstract

3D 사용자 인터랙티브 처리장치에 있어서, 카메라를 통해 입력받은 영상의 칼라 이미지로부터 사용자 신체의 모션 벡터를 추출하여, 사용자의 신체 위치의 추정도를 높이기 위한 시스템이다. 사용자의 신체가 급작스럽게 움직였을 경우에도, 정확한 사용자의 신체 좌표를 구할 수 있으므로, 더욱 정확한 포인팅 기능을 제공할 수 있다. 또한 기존의 포인팅 영역이 직사각형에만 국한되었던 것에 반해, 포인팅 영역은 폐곡면의 다양한 형태일 수 있다.

Description

신체 정보를 이용한 자유손 포인팅 처리장치 {Freehand pointing processing apparatus using body information}

본 발명은 사용자의 신체정보를 이용하는 자유손 포인팅 처리장치에 관한 것이다.

종래에는 사용자간의 3D 인터랙티브 시스템에서 사용되는 신체 정보에 기반한 포인팅 기술은 인체 정보에 내재된 공간적, 시간적 불안정성에 영향을 받는다. 그로인해, 인체 정보에만 의존하는 종래의 기술들은 포인팅 위치의 부정확성, 불안정성, 끊김 현상에서 자유로울 수 없었다.

인체 정보에 따른 포인팅 장치의 기능 저하 문제인 부정확성, 불안정성, 끊김 현상을 해결하기 위해, 입력되는 인체 정보의 칼라 이미지를 분석하여 정확한 사용자 포인팅 처리장치를 제공한다.

상기 기술적 과제는, 칼라 영상을 입력받는 입력부와, 입력된 칼라 영상을 분석하여, 사용자의 위치 정보로부터 발생하는 오류를 보정하는 모션기반 보정부와, 포인팅 영역이 폐곡면인 가상 포인팅 영역 제어 및 사용자의 포인팅 위치를 출력하는 사용자 인터페이스부를 포함하는 신체 정보를 이용한 자유손 포인팅 처리방법에 의해 달성된다.

인체 정보를 입력받는 시스템에 있어서, 포인팅 영역이 직사각형에 국한되지 않고, 원, 다각형, 임의의 폐곡면 등으로 확장되어, 다양한 포인팅 처리방법이 제공된다. 종래에 신체 정보에만 기반한 포인팅 기술은 인체 정보의 공간적, 시간적 불안정성에 영향을 받았지만, 본 발명의 칼라 영상 데이터를 통한 모션 기반 보정부에 의해 신체정보가 보정되므로, 정확한 포인팅 위치를 추출해 낼 수 있다.

도 1 은 본 발명의 일 실시예에 따른 신체 정보를 이용한 자유손 포인팅 처리장치의 구성도이다.
도 2 는 일 실시예에 따른 사용자 포인팅 영역을 도시한다.
도 3 은 도 2에 도시된 사용자 포인팅 영역에서 사용자 포인팅 위치 좌표를 추출하는 것을 설명하기 위한 도면이다.
도 4 는 일 실시예에 따른 장치 포인팅 영역에서 장치 포인팅 위치 좌표를 추출하는 것을 설명하기 위한 도면이다.
도 5 내지 7은 일 실시예에 따른 모션기반 보정부의 동작을 설명하기 위한 도면이다.

이하 본 발명의 일 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하면 다음과 같다. 또한 본 발명은 이하의 실시예에 한정되는 것은 아니다.

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고하여 그 구성과 작용효과를 설명하면 다음과 같다.

도 1 은 본 발명의 일 실시예에 따른 신체 정보를 이용한 자유손 포인팅 처리방법의 구성도이다.

도 1 을 참조하면, 신체 정보를 이용한 자유손 포인팅 처리방법은 칼라 영상을 입력받는 입력부(10)를 포함할 수 있다. 또한, 사용자와 카메라와의 거리인 깊이정보를 처리하는 깊이정보 처리부(20)와, 깊이정보로부터 사용자 인체정보를 3D 위치로 인식하여, 머리, 팔, 다리, 어깨, 무릅 등의 위치를 출력하는 사용자 인지부(50)를 포함할 수 있다. 추가적 양상으로, 입력부(10)로부터 입력된 칼라 영상을 분석 처리하는 칼라영상 처리부(30)와, 칼라영상 처리부(30)로부터 입력받은 사용자 위치 정보의 오류를 보정하는 모션기반 보정부(60)를 포함 할 수 있다. 또한 추가적 양상으로, 사용자 인지부(50)와 모션기반 보정부(60)로부터 입력받은 사용자 신체정보를 통해 포인팅 대상 영역인 가상 윈도우 영역 제어 및 사용자의 포인팅 위치를 출력하는 사용자 인터페이스부(70)를 포함할 수 있다. 사용자 인터페이스부(70)로 입력받은 사용자 포인팅 위치가 출력되는 출력부(80)를 더 포함할 수 있다.

입력부(10)는 카메라와 사용자의 거리인 깊이정보와, 칼라 이미지 정보를 동시에 인식할 수 있는 깊이정보 카메라와 그를 구동하기 위한 디바이스 드라이버로 구성될 수 있다.

깊이정보 처리부(20)는 입력부(10)로부터 받은 사용자와 카메라 사이의 거리인 깊이정보를 파악하여, 그 값을 사용자의 개략적인 신체구조를 인식하도록 사용자 인지부(50)로 전달할 수 있다.

사용자 인지부(50)는 깊이정보 처리부(20)로부터 받은 깊이정보 값을 통해, 사용자의 인체를 3D 위치로 인식하여 사용자의 머리, 양팔, 양다리, 어깨, 무릎 등의 신체 위치를 추출할 수 있다.

칼라영상 처리부(30)는 입력부(10)로부터 받은 사용자의 칼라 영상 데이터를 처리하여 손 영역을 추출할 수 있다.

모션기반 보정부(60)는 칼라영상 처리부(30)로부터 입력받은 신체 영역을 추출한 칼라 영상 데이터 값을 통해, 움직이기 이전의 신체 좌표와 움직인 이후의 신체 좌표를 추출할 수 있다. 이때, 신체 영역이 급히 움직일 경우, 추출 좌표와 신체의 실제 좌표간에 오차가 있을 수 있다. 모션기반 보정부(60)는 오차가 발생한 좌표를 보정하기 위하여, 칼라영상 처리부(30)로부터 입력받은 칼라 이미지의 최근 n 프레임들로부터 누적된 모션 벡터 정보를 추출할 수 있다. 모션 벡터 정보는 신체 영역으로 추정된 부위의 일정 반경 이내의 모션 벡터 값들의 평균값으로 구해진다. 모션기반 보정부(60)가 신체 영역의 좌표를 추출해 내는 구체적인 과정은 도 5, 도 6, 도 7을 참조하여 후술한다.

사용자 인터페이스부(70)는 사용자 인지부(50)와 모션기반 보정부(60)로 부터 입력받은 사용자 신체정보를 기반으로하고, 사용자가 임의의 폐곡면으로 이루어진, 가상의 포인팅 영역을 설정한 후, 실제 사용자가 가리키는 포인팅 위치를 추출할 수 있다. 사용자 인터페이스부(70)가 신체 영역의 좌표를 추출해 내는 구체적인 과정은 도 2, 도 3, 도 4를 참조하여 후술한다.

출력부(80)는 사용자 인터페이스부(70)에서 추출된 사용자 신체 영역이 실제로 가르키는 포인팅 위치좌표를 디스플레이에 추출할 수 있다.

이하 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른, 사용자 인터페이스부(70)의 동작을 상세히 설명하기로 한다.

도 2 는 일 실시예에 따른 사용자 포인팅 영역(T3)을 도시한다.

본 발명의 일 실시예에 따르면, 사용자 포인팅 영역(T3)은 사용자의 신체 범위에 존재할 수 있다. 사용자 포인팅 영역(T3)은, 모니터와 같은 포인팅 대상 장치(T1)인 내의 장치 포인팅 영역(T2)이 임의의 비로 스케일링 반영되어 설정된다. 그로인해, 장치 포인팅 영역(T2)는 사용자 포인팅 영역(T3)과 크기의 차이만 있을 뿐 비슷한 형상일 수 있다. 장치 포인팅 영역(T2)과 사용자 포인팅 영역(T3)은 이에 한정되지 않으며, 원, 다각형 등 임의의 폐곡선의 형태가 가능하다.

사용자 포인팅 영역(T3)은 가상의 2D 평면이라 가정할 수 있다. 이때, 사용자 포인팅 영역(T3)의 중심 위치(100)는 하기의 <수학식 1>을 이용해 산출될 수 있다.

<수학식 1>

상기 <수학식 1>에서 p1은 사용자의 양 어깨의 중간점 좌표(x,y)이고, p2는 척추의 좌표이며,

는 설정 파라미터를 나타낸다.

사용자 포인팅 영역(T3)의 중심 위치(100)는 척추(p2)와 어깨 중심(p1)에서 일정 거리 떨어진 고정점일 수 있다.

도 3 은 도 2에 도시된 사용자 포인팅 영역(T3)에서 사용자 포인팅 위치(T4) 좌표를 추출하는 것을 설명하기 위한 도면이다.

사용자 포인팅 영역(T3)에서 중심점(100)이 추출되고, 사용자의 손 위치 좌표인 사용자 포인팅 위치(T4)가 하기의 <수학식 2>를 이용해 산출될 수 있다.

<수학식 2>

상기 <수학식 2>는 사용자 포인팅 위치(T4)의 좌표를 추출하기 위한 것으로, L은 사용자 포인팅 영역(T3)의 중심점(100)에서 손까지의 거리이고, R은 사용자 포인팅 영역(T3)의 중심점(100)에서 L의 연장선이 사용자 포인팅 영역(T3)의 외곽선과 만나는 점까지의 거리를 나타낸다.

도 4 는 일 실시예에 따른 장치 포인팅 영역(T2)에서 장치 포인팅 위치 좌표(T5)를 추출하는 것을 설명하기 위한 도면이다.

도 3 에서 얻어진 사용자 포인팅 위치(T4)에 대하여, 사용자 포인팅 영역(T3)의 중심점(100)에서 사용자 포인팅 영역(T3)의 외곽선까지의 거리 대 중심점(100)에서 사용자 포인팅 위치(T4)까지의 비인 d 와 또한

값에 의해, 최종적 손의 위치인 장치 포인팅 위치(T5)가 얻어질 수 있다.

장치 포인팅 영역(T2)의 중심(100)으로 부터 반경을 K라 하면, K에 대한 장치 포인팅 위치(T5)의 좌표 값은 하기 <수학식 3>을 이용해 산출될 수 있다.

<수학식 3>

상기 <수학식 3>은 장치 포인팅 위치(T5)의 좌표를 구하기 위한 수식으로, 도 3에서 구한 d와

값에 의해 최종적으로 장치 포인팅 위치(T5)의 좌표를 산출할 수 있다.

도 5 내지 도 7은 일 실시예에 따른 모션기반 보정부(60)의 동작을 설명하기 위한 도면이다.

모션기반 보정부(60)는 칼라영상 처리부(30)에서 입력받은 사용자의 신체정보를 통해, 사용자의 동작이 급작스럽게 이루어졌을 경우, 이를 보정하기 위해 칼라 영상의 이미지로부터 최근 n 프레임들을 이용하여 누적된 모션 벡터 정보를 획득한다.

동작의 일 실시예에 의하면, 도 5에 도시된 대로, 사용자의 이전 손 좌표(300)(Pt-1(x,y))가 급작스러운 동작으로 인해, 측정된 좌표(400)(Et(x,y))와 실제 손의 좌표가 다를 경우, 도 6에 도시된 대로, 최근의 n 개의 프레임을 이용하여 누적된 손의 모션 벡터(Vm(x,y,z))를 구할 수 있다.

도 7을 참조하면, 모션 벡터(Vm(x,y,z)) 값은 사용자 신체 위치 정보상, 손으로 추정된 부위의 일정 반경 이내의 모션 벡터 값들의 평균값으로 구해질 수 있다. 최종적인 손의 좌표(500)(Pt(x,y))는 하기 <수학식 4>를 이용해 산출될 수 있다.

<수학식 4>

상기 <수학식 4>는 최종적인 보정된 손의 좌표(500)(Pt(x,y))를 얻기 위한 것으로, Pt-1(x,y)는 사용자가 움직이기 이전의 손 좌표(300)를, Et(x,y)는 동작 이후 잘못 측정된 좌표(400)를, Vm(x,y)는 모션 벡터를 나타낸다. 또한,

는 적용 파라미터(adjustment parameter)를 나타내는 것으로, 사용자 인지부(50)에서 제공하는 사용자의 신체 위치 정보의 신뢰성을 바탕으로 하여 추정되며, 신뢰성이 최하일시에는 0, 최상일 시에는 1로 스케일링 된다. 상기 <수학식 4>과 잘못 측정된 좌표(400)(Et(x,y))를 보정하여 최종적인 손의 좌표(500)(Pt(x,y))를 추출할 수 있다.

10: 입력부
20: 깊이정보 처리부
30: 칼라영상 처리부
50: 사용자 인지부
60: 모션기반 보정부
70: 사용자 인터페이스부
80: 출력부
p1: 어깨중심 p2: 척추
T1: 포인팅 대상 장치 T2: 장치 포인팅 영역
T3: 사용자 포인팅 영역 T4: 사용자 포인팅 위치
T5: 장치 포인팅 위치
100: 사용자 포인팅 영역 중심
200: 장치 포인팅 영역 중심
300: 이전 손 좌표
400: 잘못 측정된 손 좌표
500: 보정된 손의 좌표

Claims

칼라 영상을 입력받는 입력부;
입력된 칼라 영상을 분석하여, 사용자의 위치 정보로부터 발생하는 오류를 벡터 정보를 이용하여 보정하는 모션기반 보정부; 및
포인팅 영역이 폐곡면인 가상 포인팅 영역을 제어하여 포인팅 위치를 출력하는 사용자 인터페이스부를 포함하고,
상기 사용자 인터페이스부는,
상기 포인팅 영역의 중심점을 추출하고, 상기 중심점에서 상기 사용자의 손까지의 거리 및 각도를 기초로 상기 포인팅 위치의 정보를 산출하는, 신체 정보를 이용한 자유손 포인팅 처리장치.
제1항에 있어서,
상기 입력부는,
카메라와 사용자의 거리인 깊이정보와 칼라 이미지 정보를 동시에 인식할 수 있는 카메라 및 상기 카메라를 구동할 수 있는 카메라 드라이버를 포함하는, 신체정보를 이용한 자유손 포인팅 처리장치.
제1항에 있어서,
상기 칼라 영상으로부터 사용자와 카메라의 거리인 깊이 정보를 처리하는 깊이정보 처리부;
상기 칼라 영상을 분석 처리하여 칼라 이미지인 신체 영역을 추출하는 칼라영상 처리부; 및
상기 깊이정보로부터 사용자 인체정보를 3D위치로 인식하여, 머리, 팔, 다리, 어깨 및 무릎을 포함하는 신체 부위의 위치에 대한 사용자 위치정보를 생성하는 사용자 인지부를 더 포함하는, 신체정보를 이용한 자유손 포인팅 처리장치.
제3항에 있어서,
상기 모션기반 보정부는,
상기 칼라영상 처리부가 추출한 신체 영역의 칼라 영상 데이터 값을 통해, 움직이기 이전의 신체 좌표와 움직인 이후의 신체 좌표를 추출하는, 신체정보를 이용한 자유손 포인팅 처리장치.
제4항에 있어서,
상기 모션기반 보정부는,
수신한 상기 칼라 이미지의 최근 n 프레임들로부터 누적된 모션 벡터 정보를 추출하고, 상기 모션 벡터 정보를 이용하여 상기 추출된 신체좌표와 실제 추출좌표간의 오차를 보정하는, 신체정보를 이용한 자유손 포인팅 처리장치.
칼라 영상을 입력받는 단계;
입력된 칼라 영상을 분석하여, 사용자의 위치 정보를 생성하고, 상기 생성한 사용자 위치정보의 오류를 모션 벡터 정보를 기초로 보정하여 사용자 신체정보를 생성하는 단계; 및
상기 사용자 신체정보를 통해 포인팅 대상 영역인 가상 윈도우 영역 제어 및 사용자의 포인팅 위치를 출력하는 단계를 포함하고,
상기 포인팅 위치를 출력하는 단계는,
상기 포인팅 대상 영역의 중심점을 추출하고, 상기 중심점에서 상기 사용자의 손까지의 거리 및 각도를 기초로 상기 사용자의 포인팅 위치의 정보를 산출하는, 신체정보를 이용한 자유손 포인팅 처리방법.
제6항에 있어서,
상기 칼라 영상을 입력받는 단계는,
카메라와 사용자의 거리인 깊이정보와 칼라 이미지 정보를 동시에 인식할 수 있는 카메라 및 상기 카메라를 구동할 수 있는 카메라 드라이버를 이용하여 칼라영상을 입력받는 단계를 포함하는, 신체정보를 이용한 자유손 포인팅 처리방법.
제6항에 있어서,
상기 칼라 영상으로부터 사용자와 카메라의 거리인 깊이 정보를 처리하는 단계;
상기 칼라 영상을 분석 처리하여 칼라 이미지인 신체 영역을 추출하는 단계; 및
상기 깊이정보로부터 사용자 인체정보를 3D위치로 인식하여, 머리, 팔, 다리, 어깨 및 무릎을 포함하는 신체 부위의 위치에 대한 사용자 위치정보를 생성하는 단계를 더 포함하는, 신체정보를 이용한 자유손 포인팅 처리방법.
제8항에 있어서,
상기 생성한 사용자 위치정보의 오류를 모션 벡터 정보를 기초로 보정하여 사용자 신체정보를 생성하는 단계는,
상기 추출한 신체 영역의 칼라 영상 데이터 값을 통해, 움직이기 이전의 신체 좌표와 움직인 이후의 신체 좌표를 추출하는 단계를 포함하는, 신체정보를 이용한 자유손 포인팅 처리방법.
제9항에 있어서,
상기 생성한 사용자 위치정보의 오류를 모션 벡터 정보를 기초로 보정하여 사용자 신체정보를 생성하는 단계는,
수신한 상기 칼라 이미지의 최근 n 프레임들로부터 누적된 모션 벡터 정보를 추출하고, 상기 모션 벡터 정보를 이용하여 상기 추출된 신체좌표와 실제 추출좌표간의 오차를 보정하는 단계를 더 포함하는, 신체정보를 이용한 자유손 포인팅 처리방법.