KR101883291B1 - 이동장치의 제스처 제어장치 및 방법 - Google Patents

Abstract

이동장치의 제스처 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자의 제스처를 통해 프로젝터를 제어하는 이동장치의 제스처 제어 장치 및 방법에 관한 것이다.
이를 달성하기 위하여, 이동장치의 제스처 제어 장치가, 사용자의 제스처를 촬영하는 카메라와; 상기 사용자의 제스처가 촬영된 제스처 프레임을 분석하여 상기 사용자의 제스처에 대응하는 프로젝터 제어명령을 검출하여 프로젝터로 전송하는 제스처 인식 코아 엔진을 포함하는 것을 특징으로 한다.

Description

이동장치의 제스처 제어장치 및 방법{DEVICE AND METHOD FOR CONTROLLING GESTURE}

본 발명은 이동장치의 제스처 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자의 제스처를 통해 프로젝터를 제어하는 이동장치의 제스처 제어 장치 및 방법에 관한 것이다.

오늘날 많은 장치들이 이동 장치와 연결되어 데이터를 교환할 수 있다. 결과적으로, 이제 상기와 같은 장치들을 동작하는 시스템의 제어 요소로서 이동 장치를 통합하는 것이 가능하다.

지금까지, 당해 분야에서는 제어 시스템을 표시하기 위하여 이동 장치의 유용한 애플리케이션을 제공하는데 실패하였다.

본 발명의 목적은 특정 장치를 위한 효율적인 제어 수단을 제공하기 위하여 이동 장치의 기능성을 이용하는 이동장치의 제스처 제어장치 및 방법을 제공하는 것이다.

또한 본 발명의 다른 목적은 사용자의 제스처를 통해 프로젝터를 제어하는 이동장치의 제스처 제어 장치 및 방법에 관한 것이다.

상기 목적을 달성하기 위한 이동장치의 제스처 제어 장치가, 사용자의 제스처를 촬영하는 카메라와; 상기 사용자의 제스처가 촬영된 프레임을 분석하여 상기 사용자의 제스처에 대응하는 프로젝터 제어명령을 검출하여 프로젝터로 전송하는 제스처 인식 코아 엔진을 포함하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 이동장치의 제스처 제어 방법은, 사용자의 제스처를 촬영하는 과정과; 상기 사용자의 제스처가 촬영된 프레임을 분석하여 상기 사용자의 제스처에 대응하는 프로젝터 제어명령을 검출하여 프로젝터로 전송하는 과정을 포함하는 것을 특징으로 한다.

이동장치의 제스처 제어장치 및 방법을 제공함으로써, 이동장치에서의 직접적인 조작 없이 사용자의 제스처만으로 이동장치에 구비되거나 별도로 분리된 특정장치(프로젝터)를 제어할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따라 카메라와 프로젝터를 구비하는 이동 전화기에서 프로젝터 제어동작을 설명하기 위한 도면.
도 2는 본 발명의 실시 예에 따른 이동 전화기가 사용자의 손 제스처에 의해 프로젝터가 제어될 수 있는 장소에 위치되는 것을 설명하기 위한 도면.
도 3은 본 발명의 실시 예에 따른 이동 전화기에서 사진의 이동을 위해 사용자가 프로젝터를 제어하는 동작을 설명하기 위한 도면.
도 4는 본 발명의 실시 예에 따른 이동 전화기에서 카메라의 프리뷰에서 서로 다른 조도 조건에 따라 다르게 보이는 제스처를 설명하기 위한 도면.
도 5는 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력되는 손의 제스처를 포함하는 프레임에 의해 발생되는 파형을 설명하기 위한 그래프를 보인 도면.
도 6은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 연속적으로 입력되는 손의 제스처를 포함하는 복수의 프레임에 의해 발생되는 파형을 설명하기 위한 그래프를 보인 도면.
도 7은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력된 프레임들에 대한 질량 중심의 위치를 보이기 위한 그래프를 보인 도면.
도 8은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력된 프레임들에 대한 필터링된 질량 중심의 위치를 보이기 위한 그래프를 보인 도면.
도 9는 본 발명의 실시 예에 따른 이동 전화기에서 제스처로 인식되는 동작을 보이는 도면.
도 10은 본 발명의 실시 예에 따른 이동 전화기에서 배경 영상 삭제의 메커니즘을 보이는 도면.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알 수 있듯이, 본 발명은 어떤 특정 장치와 함께 사용되도록 제한되지 않는다. 다만, 예시의 목적으로, 상세한 설명에서 이동 장치로써 이동 전화기를 예로 설명하고, 이동 전화기에 의해 제어되는 장치로 프로젝터가 참조될 것이다.

이동 전화기는 내장 프로젝터를 구비할 수 있으며, 따라서 하기의 예에서 상기와 같이 이동 전화기에 통합된 프로젝터가 참조될 것이다. 다만, 하기의 설명에서 더 상술되는 바와 같이, 본 발명에서 프로젝터가 이동 전화기에 통합되지 않을 때 역시 본 발명에 동일하게 적용하여 사용할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 자명하다.

도 1은 본 발명의 실시 예에 따라 카메라와 프로젝터를 구비하는 이동 전화기에서 프로젝터 제어동작을 설명하기 위한 도면이다.

상기 도 1을 참조하면, 이동 전화기(1)는 프로젝터(2)와 카메라(3)를 구비한다. 상기 프로젝터(2)는 상기 프로젝터(2)에 의해 투사되는 영상이 표시될 벽(4)을 향하고 있다. 본 발명에 따라 동작될 때, 상기 카메라(3)가 상기 발표자 쪽으로 향하도록 상기 이동 전화기가 위치됨에 따라, 발표자의 손의 움직임이 A평면 즉, 상기 이동전화기의 위에서 필수적으로 발생한다.

본 발명의 다른 실시 예에서, 상기 카메라(3)는 상기 이동 전화기의 위가 아니라 측면에서 발생되는 상기 발표자의 손의 움직임을 촬영하도록 다른 방향을 향할 수도 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알 수 있듯이, 상기 이동 전화기의 카메라와 상기 발표자의 손의 실제 위치 관계는 설정에 따라 달라질 수도 있다.

도 2는 본 발명의 실시 예에 따른 이동 전화기가 사용자의 손 제스처에 의해 프로젝터가 제어될 수 있는 장소에 위치되는 것을 설명하기 위한 도면으로서, 카메라(3)를 통해 촬영된 손 제스처에 의해 프로젝터(2)를 제어하는 동작을 도시하고 있다.

본 발명에 따라, 상기 카메라(3)는 상기 발표자의 손의 움직임을 촬영하고, 상기 촬영된 손의 움직임은 상기 프로젝터(2)를 위한 명령으로 번역된다. 예를 들어, 상기 손을 우측에서 좌측으로 스와핑(swiping)하는 것을 “다음 슬라이드”를 의미하고, 좌측에서 우측으로 스와핑(swiping)하는 것은 “이전 슬라이드”를 의미한다.

도 3은 본 발명의 실시 예에 따른 이동 전화기에서 사진의 이동을 위해 사용자가 프로젝터를 제어하는 동작을 설명하기 위한 도면이다. 상기 도 3에서와 같이, 좌측에서 우측으로 이동하는 손의 움직임이 카메라를 통해 촬영되면, “이전 슬라이드”라는 프로젝터 제어명령이 발생됨에 따라, 이동전화기의 표시부에는 이전 슬라이드에 해당하는 영상이 표시됨과 동시에 상기 영상은 프로젝터를 통해 투사된다. 부가적인 예는 가상의 버튼 제어를 구비하는 영화 재생기이다. 사용자가 영화를 재생을 원할 때, 사용자는 “재생” 명령으로 번역되도록 구성된 제스처를 손으로 만든다. 사용자에게 맞추어진 카메라(3)는 사용자의 움직임을 촬영하고, 알고리즘 엔진은 상기 카메라(3)에 의해 촬영된 프레임들을 분석한다. 상기 알고리즘 엔진은 상기 분석된 프레임들을 통해 사용자가 손으로 “재생” 버튼을 누르는 것으로 인식되는 제스처를 수행하였음을 검출하고, 상기 영화 재생기 애플리케이션을 위한 해당 이벤트를 검색한다. 그러면 상기 영화 재생기 애플리케이션은 영화의 재생을 시작하도록 호출한다.

도 4는 본 발명의 실시 예에 따른 이동 전화기에서 카메라의 프리뷰에서 서로 다른 조도 조건에 따라 다르게 보이는 제스처를 도시하고 있다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알 수 있듯이, 낮은 조명에서, 특히 비교적 어두운 곳에서 프로젝트를 조작할 때, 영상을 촬영하고 분석할 수 있는 것은 중요하다. 이러한 결과는 상기 이동 전화기의 카메라의 성능을 활용함으로써 가능해진다. 낮은 조명 조건에서 제스처 검출 작업을 잘 수행하는 로버스트 알고리즘(robust algorithm)은 배경 잡음을 필터링하고 사용자의 손(또는 사용자가 쥐고 있는 다른 객체)과 그 움직임의 패턴/방향을 검출함으로써 수행된다. 상기 검출은 움직임 방향과 직교하는 방향의 통합된 2차원 영상들로 이루어진 1차원 신호 패턴의 분석에 근거한다. 상기 신호 피크들의 분석으로 상기 제스처 검출이 이루어질 것이다.

낮은 조명에서 손의 제스처를 인식하기 위하여, 본 발명의 일 실시 예에서는 다음의 과정들을 수행한다.

1) 사용자가 상기 이동 전화기의 카메라 정면에서 손을 움직인다.

2) 상기 카메라가 상기 사용자의 손을 포함하는 프레임들을 촬영한다.

3) 상기 촬영된 프레임은 제스처 인식 코아 엔진으로 전달된다.

4) 인식을 위한 최소의 요건은 움직임의 방향을 판단하기 위한 사용자의 손이 포함된 연속적인 2개의 프레임이다.

5) N 개의 이전 프레임들의 이력이 저장된다.

6) 새로운 프레임이 도달할 때, 상기 프레임이 분석되고, 각 열 및 행의 평균 세기(intensity) 값들 및 세기에 의한 프레임의 질량 중심(center of mass: CoM)과 같은 통계가 산출된다.

7) 2개의 연속적인 프레임 간에 전체 세기 값들의 차이가 산출된다. 상기 산출은 프레임에서 변하지 않은 배경을 빼는 과정과 같이 수행된다.

8) 유효한(significant) 피크 위치를 발견하기 위하여 열 및 행 세기 합의 차이에 대한 결과 신호가 산출된다.

9) 상기 피크는 조도 세기와 관련된 세기의 조정 가능한 임계치를 초과해야 한다.

10) 연속적인 프레임들에서 피크 전파의 방향과 피크들의 크기에서 일치하는 것(correspondence)을 검색한다.

11) 프레임들 간의 질량 중심의 이동을 산출한다.

12) 임계치에 따라 질량 중심을 필터링하고, 국부 최소값을 발견한다.

13) 제스처를 검출하기 위하여 X 및 Y 차원에서 질량 중심의 이동 데이터를 결합한다.

14) 질량 중심으로 검출하기 위하여, 영상 블록들(2x2, 4x4)이 독립적으로 테스트된다.

15) 오검출을 줄이기 위하여 제스처 시작 및 종료 지점을 검출한다.

16) 모든 조건이 만족되면, 제스처가 인식되고 보고된다.

Z 축(수직) 방향의 제스처 검출

17) 입력 프레임으로부터 배경을 제거한다.

18) 배경 프레임으로부터 차이를 산출한다.

19) 질량 중심의 이동을 검출하기 위하여 동적 임계치를 사용한다.

검출 기준

1. | Sn -A|>D* EnvTh

2. | Sn |> BaseTh

3. Sn - Sn -1> Sth

여기서,

Sn: 프레임 n을 위한 질량 중심의 이동

A: 질량 중심 이동(CoM Shift)의 평균

D: 질량 중심 이동(CoM Shift)의 표준 편차

EnvTh: 평균 프레임 세기에 따른 산술적 임계치

BaseTh: (제스처 프레임 내에서와 제스처 프레임 밖에서 서로 다른)상수 임계치

Sth: 질량 중심 이동의 최초 편차를 위한 상수 임계치.

방향 추정:

1) 질량 중심의 전체 이동을 산출한다.

2) 수행된 제스처의 종류를 판단하기 위하여 제스처 수행 동안 질량 중심의 신호 변화를 분석한다.

3) 신호 변화가 있었거나 신호가 변하지 않았지만 질량 중심의 이동이 임계치보다 크다면, 상기 제스처는 위, 아래, 오른쪽 또는 왼쪽이다.

4) 그 외에는 Z 차원으로의 제스처이다.

제스처 분별을 위한 특징

1) 질량 중심의 이동 신호

2) 총 2차원 질량 중심의 이동

3) 질량 중심의 이동 방향

4) 제스처 기간

5) 유사 프레임의 수

6) 명암 대비

도 5는 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력되는 손의 제스처를 포함하는 프레임에 의해 발생되는 파형을 설명하기 위한 그래프로서, 1차원 공간에서 상기 프레임들이 분석될 때 상기 프레임들로부터 산출되는 손의 제스처에 따른 파형을 보이는 그래프이다.

또한 도 6은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 연속적으로 입력되는 손의 제스처를 포함하는 복수의 프레임에 의해 발생되는 파형을 설명하기 위한 그래프로서, 1차원 공간에서 상기 프레임들이 분석될 때 상기 프레임으로부터 산출되는 손의 제스처에 따른 복수의 프레임 파형을 보이는 그래프이다.

또한 도 7은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력된 프레임들에 대한 질량 중심의 위치를 보이기 위한 그래프로서, 시간 및 입력된 손의 제스처를 포함하는 프레임들의 함수로 사용되는 X-Y 평면에서 질량 중심의 위치를 보이기 위한 그래프이다.

또한 도 8은 본 발명의 실시 예에 따른 이동 전화기에서 카메라를 통해 입력된 프레임들에 대한 필터링된 질량 중심의 위치를 보이기 위한 그래프로서, 시간 및 입력된 손의 제스처를 포함하는 프레임들의 함수로 사용되는 X-Y 평면에서 국부 극값 추출 후에 필터링된 질량 중심의 위치를 보이기 위한 그래프이다.

또한 도 9는 본 발명의 실시 예에 따른 이동 전화기에서 제스처로 인식되는 동작을 보이는 도면으로서, 프레임 순서가 인지되는 동안 X-Y 평면에서 질량 중심의 이동이 제스처로 인식되는 동작을 보이는 도면이다.

또한 도 10은 본 발명의 실시 예에 따른 이동 전화기에서 배경 영상 삭제의 메커니즘을 보이는 도면으로서, 매우 낮은 밝기 조건에서 명암 대비를 형상시키기 위하여 사용되는 배경 영상 삭제의 메커니즘을 보이는 도면이다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알 수 있듯이, 본 발명은 이동 전화기와 예를 들어, 독립형 프로젝터나 컴퓨터와 같은 다른 장비 사이에 연결이 성립되는 한 상기와 같은 장비를 제어하는 것을 허용한다. 예를 들면, 이동 전화기와 상기 장비 사이의 연결은 Wi-Fi를 통해서 수행될 수 있고, 그 경우, 상기 이동 전화기는 발표자의 손의 움직임을 “판독”함으로써 상기 예에서와 같이 동작하지만, 내장된 장치에 내부적으로 전송하는 대신에 Wi-Fi를 통해서 외부 장비로 적절한 명령을 전송한다.

상기 예들 및 설명은 예시의 목적으로 제공되었으며 어떠한 방식으로도 본 발명을 제한할 의도는 없다. 카메라를 포함하여 제공되는 많은 다른 유형의 이동 장치들(예를 들어, PDA들)이, 본 발명의 범위를 초과하지 않고 어떠한 적절한 내장 또는 외부 장치와 함께 사용될 수 있다.

Claims (10)

1. 이동장치의 제스처 제어 장치에 있어서,
   사용자의 제스처를 촬영하는 카메라와,
   상기 사용자의 제스처가 촬영된 프레임을 분석하여 상기 사용자의 제스처에 대응하는 제어명령을 검출하여 상기 이동장치에 의해 제어되는 장치로 전송하는 프로세서를 포함하고,
   상기 프로세서는,
   상기 프레임에서 변하지 않는 배경을 제거하여 배경 잡음을 필터링하고,
   상기 배경 잡음이 필터링된 적어도 두 개의 연속적인 프레임들 간의 질량 중심의 이동을 검출하며,
   상기 질량 중심의 이동에 기반하여 상기 제스처에 대응하는 제어 명령을 검출하는 것을 특징으로 하는 이동장치의 제스처 제어장치.
2. 제1 항에 있어서,
   상기 제어되는 장치가 별도의 외부장치인 경우, 무선통신을 통해 상기 제어명령을 상기 제어되는 장치로 전송하는 것을 특징으로 하는 이동장치의 제스처 제어장치.
3. 제1 항에 있어서,
   상기 사용자의 제스처는 상기 사용자의 손 움직임에 따른 제스처인 것을 특징으로 하는 이동장치의 제스처 제어장치.
4. 삭제
5. 제1 항에 있어서,
   상기 이동장치는 이동전화기인 것을 특징으로 하는 이동장치의 제스처 제어장치.
6. 이동장치의 제스처 제어 방법에 있어서,
   사용자의 제스처를 촬영하는 과정과,
   상기 사용자의 제스처가 촬영된 프레임을 분석하여 상기 사용자의 제스처에 대응하는 제어명령을 검출하는 과정과,
   상기 제어명령을 상기 이동장치에 의해 제어되는 장치로 전송하는 과정을 포함하고,
   상기 제어명령을 검출하는 과정은,
   상기 프레임에서 변하지 않는 배경을 제거하여 배경 잡음을 필터링하는 과정과,
   상기 배경 잡음이 필터링된 적어도 두 개의 연속적인 프레임들 간의 질량 중심의 이동을 검출하는 과정과,
   상기 질량 중심의 이동에 기반하여 상기 제스처에 대응하는 제어명령을 검출하는 과정을 포함하는 것을 특징으로 하는 이동장치의 제스처 제어방법.
7. 제6 항에 있어서,
   상기 제어되는 장치가 별도의 외부장치인 경우, 무선통신을 통해 상기 제어명령을 상기 제어되는 장치로 전송하는 과정을 더 포함하는 것을 특징으로 하는 이동장치의 제스처 제어방법.
8. 제6 항에 있어서,
   상기 사용자의 제스처는 상기 사용자의 손 움직임에 따른 제스처인 것을 특징으로 하는 이동장치의 제스처 제어방법.
9. 삭제
10. 제6 항에 있어서,
    상기 이동장치는 이동전화기인 것을 특징으로 하는 이동장치의 제스처 제어방법.

Images