KR20110035609A

KR20110035609A - 움직임 감지 장치 및 방법

Info

Publication number: KR20110035609A
Application number: KR1020090093408A
Authority: KR
Inventors: 이보람; 방원철
Original assignee: 삼성전자주식회사
Priority date: 2009-09-30
Filing date: 2009-09-30
Publication date: 2011-04-06
Also published as: EP2309360A2; US8700356B2; EP2309360A3; US20110077903A1; CN102033628A; JP2011075559A

Abstract

하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정하고, 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정하며, 하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 상기 2축 중 어느 하나인 제3 각을 추정하는 움직임 감지 장치를 제공한다.

가속도, 각속도, 회전각, 센서

Description

움직임 감지 장치 및 방법{APPARATUS AND METHOD FOR SENSING MOTION}

본 발명의 실시예들은 움직임 감지 장치 및 방법에 관한 것이다.

휴대용 단말기 또는 핸드-헬드(hand-held)형 장치의 입력 방법으로 키패드 등을 이용하여 직접적으로 입력하는 방법도 있지만, 최근 들어서는 다양한 센서를 이용하여 사용자의 움직임 정보를 감지하고, 감지된 움직임 정보를 분석하여 입력 신호를 해당 장치의 입력 신호를 감지하는 방법으로 신호를 입력하는 방법도 많이 쓰이고 있다.

이러한, 사용자의 움직임에 의한 입력은 버튼이나 키보드 등의 I/O와 비교하여 보다 직관적이고 연속적인 입력이 가능하다는 점에서 그 활용 가치가 크며, 일반적으로 움직임을 추정하는 방법으로 회전각을 연산하여 해당 움직임 정보를 추정할 수 있다.

널리 쓰이는 움직임 감지 장치는, 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서를 이용하여 회전각을 추정하는 방법(AHRS: Attitude and Heading Reference System)이 있다.

자동차와 같이 2차원 운동을 하며 GPS 수신기를 이용해 heading 정보를 제공 받는 시스템의 경우는 상기 AHRS에서 지자기 센서를 제외하고 3축 가속도 센서와 3축 각속도 센서를 이용하여 회전각을 추정하는 방법(ARS: Attitude Reference System)을 이용하기도 한다.

이러한, 3축 가속도 센서와 3축 각속도 센서만을 이용하여 움직임 정보를 추정 방법은 특정 축에 있어서 절대적인 회전각을 알 수 없고, 상대적인 회전각 만을 알 수 있으며 편차(drift)에 의한 오차가 존재할 수 있어, 해당 특정 축 이 외의 나머지 축에 대한 회전각을 추정할 때 많이 이용한다.

본 발명의 일실시예에 따른 움직임 감지 장치는 하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정하는 제1 각 추정부, 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정하는 제2 각 추정부 및 하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정하는 제3 각 추정부를 포함한다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는, 기설정된 기울임각과 상기 하나 이상의 2축 각속도 센서의 출력 신호를 고려하여 추정되는 상기 제3 각이 기설정된 임계(threshold)값 범위를 초과하는 경우, 상기 제3 각을 추정하지 않도록 제어하거나, 기설정된 값으로 설정하는 설정부를 더 포함한다.

또한, 본 발명의 일실시예에 따른 사용자 인터페이스 방법은 단말기의 모션(motion) 정보를 센싱하는 단계 및 상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따른 움직임 감지 방법은 하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정하는 단계, 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정하는 단계 및 하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정하는 단계를 포함한 다.

또한, 본 발명의 일실시예에 따른 움직임 감지 방법은 기설정된 기울임각과 상기 하나 이상의 2축 각속도 센서의 출력 신호를 고려하여 추정되는 상기 제3 각이 기설정된 임계(threshold)값 범위를 초과하는 경우, 상기 제3 각을 추정하지 않도록 제어하거나, 기설정된 값으로 설정하는 단계를 더 포함한다.

본 발명의 일실시예에 따른 움직임 감지 장치는 다양한 방식의 회전각 측정 센서와 3축이 아닌 2축 각속도 센서만으로 회전각 추정이 가능해 비용을 절감할 수 있으며, 상기 센서를 통하여 추정할 수 있는 움직임 정보는 소형 휴대 기기의 인터렉션(interaction) 정보로 활용할 수 있다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 움직임 감지 장치를 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 움직임 감지 장치에 포함된 구성을 도시한 도면이다.

본 발명의 일실시예에 따른 움직임 감지 장치는 다양한 분야에 응용할 수 있으나, 설명의 용이성을 위하여 휴대용 기기에 적용된 예를 기초로 설명하도록 한다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)의 움직임 정보는 도 1에 도시된 바와 같이, 3차원 상에서 3축으로 표현될 수 있다. 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 도 2에 도시된 바와 같이, 장치에 포함된 회전각 측정 센서(200)와 2축 각속도 센서(300)를 이용하여 상기 움직임 정보가 어떻게 변하는지 여부를 추정할 수 있다

본 발명의 일실시예에 따른 회전각 측정 센서라 함은 다양한 방식의 회전각을 측정할 수 있는 센서, 예를 들어, 가속도 센서로 구성될 수도 있고, 그 외의 다양한 센서의 조합으로 구성될 수도 있다.

즉, 본 발명의 일실시예에 따른 회전각 측정 센서는 가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라, GPS 등의 다양한 방식의 회전각을 측정할 수 있는 센서로 구성될 수 있으며, 상기 다양한 센서들을 조합하여 구성할 수도 있다.

본 발명에 따른 움직임 감지 장치의 설명을 용이하게 하기 위하여, 아래에서 는 가속도 센서를 예를 들어 설명하나, 상기 가속도 센서에 한정되는 것은 아니다.

도 3은 본 발명의 일실시예에 따른 움직임 감지 장치의 움직임에 따른 회전각의 변화를 도시한 도면이다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)는, 도 3에 도시된 바와 같이 수평면에 대해 기울임 각(alpha)이 지속적으로 0이 아닌 값을 가지는 자유로운 회전 운동을 할 수 있는 바, 회전각을 추정함으로써 움직임 정보를 파악하고자 한다.

즉, 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 움직임 정보를 파악할 수 있는 회전각의 변환 관계를 추정할 수 있는 방법을 제공한다.

도 4는 본 발명의 일실시예에 따른 관성 기준 좌표계(Reference frame)와 관심 물체 또는 대상에 고정된 좌표계(body frame)의 회전 정도를 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 회전각에 대한 축 변화를 도시한 도면이다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)에서 추정하고자 하는 회전각이라 함은, 도 4에 도시된 바와 같이 관성 기준 좌표계(Reference frame)와 관심 물체 또는 대상에 고정된 좌표계(body frame)의 회전 정도를 나타내는 값을 기초로 추정할 수 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 3차원 회전 변환을 나타내는 3x3 DCM (Direction Cosine Matrix), 3축에 대한 회전을 일련의 순서를 가지고 표현하는 방법인 오일러 앵글(Euler angle), 또는 회전 방향 벡터와 회전의 크기를 이용한 표현 방법인 Queternion 등의 다양한 방법으로 회전각을 표기 할 수 있으며, 설명의 용이함을 위하여 도 5에 도시된 오일러 앵글(Euler angle)로 정의된 roll, pitch, yaw를 이용해 설명하도록 한다.

또 다른 예로, 본 발명의 일실시예에 따른 움직임 감지 장치는 카메라로 들어오는 연속되는 프레임간의 차를 연산하여 Optical Flow 등의 모션 벡터를 추출하는 영상 처리 방식에 적용되는 경우, 카메라의 상하좌우 움직임을 센싱 할 수 있다.

도 6은 본 발명의 일실시예에 따른 움직임 감지 장치의 구성을 도시한 블록도이다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)는 크게, 제1 각 추정부(110), 제2 각 추정부(120), 제3 각 추정부(130)로 구성된다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)의 제1 각 추정부(110)는 하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정한다.

즉, 본 발명의 일실시예에 따른 제1 각 추정부(110)는, 하나 이상의 제1 회전각 측정 센서의 출력 신호를 이용하여 상기 제1 각을 측정한다. 예를 들어, 본 발명의 일실시예에 따른 제1 각 추정부(110)는 하나 이상의 제1 회전각 측정 센서의 출력 신호를 이용하여 상기 회전각 중 오일러 앵글에 대한 회전(roll)각(상기 제1 각)을 연산할 수 있다.

이때, 본 발명의 일실시예에 따른 제1 각 추정부(110)는 상기 제1 각을 측정하는데 사용할 수 있는 다른 회전각 측정 센서가 있다면 이를 이용해 제1 각을 측정할 수도 있다.

또한, 본 발명의 일실시예에 따른 제1 각 추정부(110)는 상기 측정된 제1 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정 할 수 있는데, 예를 들어 측정된 제1 각이 둘 이상이면 칼만 필터(Kalman Filter)와 같은 알고리즘을 이용하여 최적의 제1 각을 추정할 수도 있다.

이때, 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 다양한 회전각 측정 센서를 이용하여 상기 제1 각을 연산할 수 있는데, 예를 들어, 가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라, GPS 등의 다양한 방식의 회전각을 측정할 수 있는 센서를 이용하여 상기 제1 각을 측정할 수 있다.

본 발명의 일실시예에 따른 움직임 감지 장치(100)의 제2 각 추정부(120)는, 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제2 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정한다.

또한, 본 발명의 일실시예에 따른 제2 각 추정부(120)는 상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 통하여 연산된 상기 제1 각 및 2축 각속도 센서의 출력 신호를 기반으로 상기 제2 각을 추정할 수 있다.

이때, 본 발명의 일실시예에 따르면 제2 각 추정부(120)는 제1 각 추정부(110)에서 사용한 회전각 측정 센서가 아닌 다른 회전각 측정 센서 및 2축 각속도 센서를 이용하여 상기 제2 각을 추정할 수도 있다.

즉, 본 발명의 일실시예에 따르면 상기 하나 이상의 제1 회전각 측정 센서와 상기 하나 이상의 제2 회전각 측정 센서는 서로 동일할 수도 있고, 상이할 수도 있 다.

예를 들어, 본 발명의 일실시예에 따른 제2 각 추정부(120)는 회전각 측정 센서의 출력 신호에 의해 연산되는 회전각 측정 센서의 피치(pitch)각, 앞서 제1 각 추정부(110)에 의하여 연산된 제1 각인 회전(roll)각 및 2축 각속도 센서(300)의 출력 신호를 이용하여 연산된 2축 각속도 센서(300)의 피치각을 융합하여 상기 제2 각인 최종 피치각을 추정할 수 있다.

또한, 본 발명의 일실시예에 따른 제2 각 추정부(120)는 상기 측정된 제2 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정 할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 통해 얻어진 피치각과 각속도 센서(300)의 출력 신호를 통해 이용해 얻어진 피치각의 특성을 잘 살려 융합하도록, 예를 들어, 칼만 필터(Kalman filter) 등을 통하여 상기 제2 각을 추정할 수 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치(100)의 제3 각 추정부(130)는 하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정한다.

즉, 본 발명의 일실시예에 따른 제3 각 추정부(130)는, 상기 제1 각, 상기 제2 각 및 상기 하나 이상의 2축 각속도 센서의 출력 신호를 기반으로 상기 제3 각을 추정할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 제3 각 추정부(130)는 상기 제1 각인 회전각, 상기 제2각인 피치각 및 2축 각속도 센서의 출력 신호를 이용하여 상기 제 3 각인 최종 편주(yaw)각을 추정 및 연산할 수 있다.

또한, 본 발명의 일실시예에 따른 제3 각 추정부(130)는 상기 추정된 제3 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정 할 수 있는데, 예를 들어 측정된 제3 각이 둘 이상이면 칼만 필터(Kalman Filter)와 같은 알고리즘을 이용하여 최적의 제3 각을 추정할 수도 있다.

한편, 본 발명의 일실시예에 따른 움직임 감지 장치(100)는 기설정된 기울임각과 2축 각속도 센서의 출력 신호를 고려하여 추정되는 상기 제2 각이 기설정된 임계(threshold)값 범위를 초과하는 경우, 상기 제3 각을 추정하지 않도록 제어하거나, 기설정된 값으로 설정하는 설정부(140)를 더 포함할 수도 있다.

즉, 본 발명의 일실시예에 따른 설정부(140)는 움직임 감지 장치(100) 의 기울임각(alpha)를 검사하고, 상기 기울임각(alpha)과 2축 각속도 센서(300)의 출력 신호를 이용하여 계산할 수 있는 제3 각인 yaw각이 임계값 범위를 넘어선 경우에는, 의미없는 동작으로 간주하여 상기 yaw각을 계산하지 않거나, 기설정된 특정 값으로 설정되도록 제어할 수 있다.

이때, 기울임각의 기초적인 정의는 특정 축에 대한 회전 운동의 관측 가능성(observability)을 상실하게 되는 회전 운동 또는 그 때의 회전각으로 정의할 수 있으며, 본 발명의 일실시예에 따른 기울임각은 다음과 같이 제2 각의 절대 값에 따라 결정되도록 정의할 수도 있다.

또한, 본 발명의 일실시예에 따른 설정부(140)는 상기 제3 각과 관련된 정보를 고려하여 상기 제3 각을 리셋할 수도 있다.

예를 들어, 본 발명의 일실시예에 따른 설정부(140)는 사용자가 휴대용 기기(움직임 감지 장치(100)가 포함된 기기)의 화면을 응시하기 위한 위치로 가져온 것으로 간주될 경우, 응용 분야 또는 필요에 따라 상기 제3 각인 편주(yaw)각을 0과 같은 특정 값으로 설정 할 수도 있다.

도 7은 본 발명의 일실시예에 따른 움직임 감지 방법을 도시한 흐름도이다.

본 발명의 일실시예에 따른 움직임 감지 방법을 통해 회전각을 추정하는 방법을 도 7을 참조하여 설명하도록 한다. 이때, 하기 수학식을 통하여 회전각을 구하는 방법은 본 발명의 일실시예일 뿐 하기 과정에 제한되는 것은 아니다.

본 발명의 일실시예에 따른 움직임 감지 장치는 하나 이상의 회전각 측정 센서를 이용하여 제1 각을 연산한다(710).

예를 들어, 본 발명의 일실시예에 따른 움직임 감지 장치는 하나 이상의 제1 회전각 측정 센서의 출력 신호로부터 측정된 중력 가속도를 기반으로, 수학식 1 내지 2를 통하여 제1 각인 회전(roll)각(Φ)과 회전각 측정 센서의 피치(pitch)각(θ)을 구할 수 있다.

한편, 3차원 회전 운동에서 오일러 앵글(Euler angle)의 시간 흐름(time propagation) 과 오일러 앵글의 변화량, 각속도와의 관계식은 수학식 3과 같다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정한다(720).

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 하나 이상의 제3 회전각 측정 센서 및 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정한다(730).

본 발명의 일실시예에 따르면, 상기 수학식 3을 기반으로 2축 각속도 센서의 출력 신호를 대입하여 상기 제2 각인 피치(pitch)각(θ)와 상기 제3 각인 편주(yaw)각(ψ)의 rate정보를 도출 할 수 있는 수학식 4 및 5를 구할 수 있다.

이때, 본 발명의 일실시예에 따른 움직임 감지 장치는, 상기 제2 각인 피치(pitch)각(θ)의 변화율을 구하는 수학식 4를 이용하여 상기 피치(pitch)각(θ)을 계산할 경우에, 회전각 측정 센서의 출력 신호를 수학식 1에 적용하여 계산한 상기 회전(roll)각(Φ)을 다시 수학식 4에 적용한 후, 다시 수학식 4를 적분하여 구할 수 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 하기 수학식 6과 같이 이산(discretize)된 식으로 상기 제2 각인 피치(pitch)각(θ)을 적분하여 계산할 수 있으며, 디지털 신호(digital signal)에 일반적으로 적용할 수 있는 수치 적분, 예를 들면 룽게 쿠타법(Runge-Kutta Method)를 이용하여 계산할 수도 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 편주(yaw)각(ψ)의 변화율을 구하는 수학식 5를 이용하여 상기 편주(yaw)각(ψ)을 계산하는 경우에, 회전각 측정 센서의 출력 신호를 수학식 1에 적용하여 계산한 해 계산한 회전(roll)각(Φ) 또는 수학식 6에서 구한 피치(pitch)각(θ)을 다시 수학식 6에 적용한 후, 다시 수학식 6을 적분하여 구할 수 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 하기 수학식 7와 같이 이산(discretize)된 식으로 상기 제3 각인 편주(yaw)각(ψ)을 적분하여 계산할 수 있으며, 디지털 신호(digital signal)에 일반적으로 적용할 수 있는 수치 적분, 예를 들면 룽게 쿠타법(Runge-Kutta Method)를 이용하여 계산할 수도 있다.

전술한 바와 같이, 본 발명의 일실시예에 따르면, 상기 제2 각인 피치(pitch)각(θ)은 회전각 측정 센서의 출력 신호로부터 계산할 수도 있고, 각속도 센서의 출력 신호로부터 계산할 수도 있으며, 두 신호를 함께 융합하여 추정할 수도 있다.

또한, 본 발명의 일실시예에 따르면, 두 센서의 특성을 보상할 수 있는 칼만 필터(KF: Kalman filter)를 이용하여 피치(pitch)각을 보정할 수도 있다.

또한, 본 발명의 일실시예에 따른 움직임 감지 장치는 단말기의 움직임에 따라 단말기에 다양한 방식으로 정보를 디스플레이 하는 것을 제어하는 사용자 인터페이스 장치에 적용할 수도 있다.

즉, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 본 발명의 움직임 감지 장치의 2축 각속도 센서를 이용하여 상하좌우 또는 패닝-틸팅(Panning-Tilting)과 같은 단말기의 수직 또는 수평 방향 움직임에 대한 움직임 정보를 기반으로 움직임에 따라서 자연스럽게 컨텐츠가 디스플레이 되는 것을 제어할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 인터페이스 장치는 단말기의 위치 또는 회전각 등을 측정하여 사용자 인터페이스(UI: User Interface) 정보로 이용할 수 있다.

이하, 본 발명의 일실시예에 따른 사용자 인터페이스 장치를 이용한 사용자 인터페이스 방법을 도 8을 참조하여 설명하도록 한다.

도 8은 본 발명의 일실시예에 따른 사용자 인터페이스 방법을 도시한 흐름도이다.

도 8에 도시된 같이, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 단말기의 모션(motion) 정보를 센싱하고(810), 상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어한다(820).

도 9는 본 발명의 일실시예에 따른 사용자 인터페이스 장치의 수평 또는 수직 방향 움직임에 따른 조작의 예를 도시한 도면이다.

도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 상기 모션 정보는 사용자가 상기 단말기를 쥔 상태(910)에서 상기 단말기의 수평(920)(930) 또는 수직(940)(950) 방향 움직임 정보를 의미한다. 예를 들어, 상기 수평 또는 수직 방향 움직임 정보는 상기 단말기가 수평 방향으로 움직이는 속도, 수평 방향으로 움직이는 각속도, 수평 방향으로 움직인 거리 또는 수평 방향으로 움직인 회전 각도를 측정한 수평 방향 정보 및 상기 단말기가 수직 방향으로 움직이는 속도, 수직 방향으로 움직이는 각속도, 수직 방향으로 움직인 거리 또는 수직 방향으로 움직인 회전 각도를 측정한 수직 방향 정보 등의 다양한 정보를 포함할 수 있다.

즉, 본 발명의 일실시예에 따른 모션 정보는 상기 단말기를 움직임에 따라 변화되는 위치 및 변화되는 회전각 모두를 포함한다.

도 10은 본 발명의 일실시예에 따른 단말기의 위치 이동에 따른 모션 정보 변화의 예를 도시한 도면이고, 도 11은 본 발명의 일실시예에 따른 단말기의 회전각 변화에 따른 모션 정보 변화의 예를 도시한 도면이다.

예를 들어, 도 10에 도시된 바와 같이 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 단말기가 1010의 위치에 있다가, 수평 위치 이동에 의하여 1020 또는 1030의 위치로 이동한 것을 인식한 경우, 모션 정보로 수평 이동에 따른 수평 방향 정보를 생성하거나, 수직 위치 이동에 의하여 1040 또는 1050의 위치로 이동한 것을 인식한 경우, 모션 정보로 수직 이동에 따른 수직 방향 정보를 생성할 수도 있다.

또 다른 예로, 도 11에 도시된 바와 같이 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 단말기가 1110의 상태에서 수평(좌우) 회전에 의하여 1120 또는 1130 방향의 회전한 경우, 상기 수평 회전에 따른 회전각을 모션 정보로 생성하거나 수직(상하) 회전에 의하여 1140 또는 1150 방향의 회전한 경우, 상기 수직 회전에 따른 회전각을 모션 정보로 생성할 수도 있다.

또한, 본 발명의 일실시예에 따른 상기 단말기는 사용자의 움직임을 감지하는 다양한 방식의 장치일 수 있으며, 상기 모션 정보는 상기 단말기 중 어느 하나 이상에 의해 센싱되는 수평 또는 수직 방향 움직임 정보이다.

즉, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 사용자가 손에 들 고 사용할 수 있는 단말기에 부가하여 사용할 수 있을 뿐만 아니라, 머리 또는 눈에 착용하여 사용하는 단말기 등에 부가하여 사용할 수도 있다.

따라서, 본 발명의 일실시예에 따른 사용자 인터페이스 장치에 의해 센싱되는 상기 모션 정보는 상기 단말기 중 어느 하나인 사용자가 손에 들고 사용 할 수 있는 단말기, 예를 들어, 핸드 헬드(handheld) 단말기의 수평 또는 수직 방향 움직임 정보일 수 있다.

또한, 본 발명의 일실시예에 따른 사용자 인터페이스 장치에 의해 센싱되는 상기 모션 정보는 상기 단말기 중 어느 하나인 사용자의 머리 또는 눈에 착용하는 단말기, 예를 들어, HMD(Head Mounted Display) 단말기의 수평 또는 수직 방향 움직임 정보일 수 있다.

이하, 본 발명의 일실시예에 따른 사용자 인터페이스 장치의 움직임에 따른 모션 정보를 센싱하는 방법을 설명하고자 하나, 하기 방법으로만 상기 모션 정보를 센싱하는 것은 아니다.

본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 단말기의 상기 모션(motion) 정보를 센싱함에 있어서, 상기 모션 정보에 대응하는 제1 각을 측정하는 단계 및 상기 모션 정보에 대응하는 제2 각을 측정하는 단계의 2단계를 통하여 상기 단말기의 모션 정보를 센싱 할 수 있다.

전술한 바와 같이, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 모션 정보에 대응하는 제1 각을 측정함에 있어 하나 이상의 회전각 측정 센서 및 하나 이상의 2축 각속도 센서에 의하여 측정되는 상기 수직 방향 정보를 기반으 로 상기 제1 각을 추정한다. 이때, 상기 제1 각은 수직 방향 정보를 기반으로 측정된 틸트(tilt) 정보를 의미한다.

본 발명의 일실시예에 따른 사용자 인터페이스 장치는 회전각 측정 센서로 각속도 센서, 가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라, GPS 중 어느 하나 이상을 사용할 수 있다.

또한, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 제2 각을 측정함에 있어, 상기 제1 각 및 하나 이상의 2축 각속도 센서에 의하여 측정되는 상기 수평 방향 정보를 기반으로 상기 제2 각을 추정한다.

이때, 상기 제2 각은 상기 제1 각 및 상기 2축 각속도 센서에 의하여 측정되는 상기 수평 방향 정보를 기반으로 추정된 팬닝(panning) 정보일 수 있다.

한편, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어함에 있어, 상기 단말기 상에 상기 컨텐츠의 일부 또는 전체 영역을 디스플레이 한 후, 상기 모션 정보에 대응하여 상기 컨텐츠의 일부 또는 전체 영역으로부터 공간적 가시 영역을 변경할 수 있다.

도 12 내지 도 14에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 모션 정보에 대응하는 방향으로 상기 컨텐츠의 일부 또는 전체 영역을 연속적으로 이동시켜 디스플레이 할 수 있다.

도 12는 본 발명의 일실시예에 따른 인터페이스 장치의 제1 사용 예를 도시한 도면이고, 도 13은 본 발명의 일실시예에 따른 인터페이스 장치의 제2 사용 예 를 도시한 도면이고, 도 14는 본 발명의 일실시예에 따른 인터페이스 장치의 제3 사용 예를 도시한 도면이다.

예를 들어, 도 12에 도시된 바와 같이 본 발명의 일실시예에 따른 인터페이스 장치가 실장 된 단말기를 사용자가 상하좌우 또는 팬닝-틸팅 등의 조작으로 상기 모션 정보를 변화 시킴에 따라, 본 발명의 일실시예에 따른 인터페이스 장치는 디스플레이 된 정보를 터치하여 이동시키는 것이 아니라, 마치 단말기 뒤에 디스플레이된 배경을 단말기의 디스플레이 창을 통하여 보는 것과 같이 단말기 자체를 이동시킴으로써, 디스플레이 되는 정보가 자동으로 이동하여 디스플레이 되도록 제어할 수 있다.

구체적인 예로, 도 13에 도시된 바와 같이 사용자는 본 발명의 일실시예에 따른 인터페이스 장치가 실장된 단말기를 상하좌우 또는 팬닝-틸팅 등의 조작을 통하여 움직임에 따라 메뉴 목록(menu tree) 정보가 이동되도록 디스플레이 시킬 수 있으며, 도 14에 도시된 바와 같이 지도의 경우에도 단말기의 움직임 만으로 터치 또는 버튼 조작 없이 지도의 일부분을 직관적으로 이동시켜 디스플레이 시킬 수 있다.

또한, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 상기 모션 정보에 대응하여 상기 하나 이상의 컨텐츠의 변화가 없도록 디스플레이 되는 컨텐츠의 장면을 홀딩(holding)시킬 수도 있다.

예를 들어, 본 발명의 일실시예에 따른 사용자 인터페이스 장치는 사용자가 상기 단말기를 움직임에 따라 모션 정보를 측정하기는 하나, 모션 정보에 의하여 컨텐츠의 디스플레이 변화가 없도록 제어할 수도 있다.

즉, 사용자는 상기 단말기의 마우스 패드 또는 터치 표면에서 임의의 아이콘 등을 이동시키기 위하여 마우스 또는 손가락을 들어 올림(lifting)에 따라 상기 단말기에 디스플레이 되는 정보를 이동시킬 수 있다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 일실시예에 따른 움직임 감지 장치를 도시한 도면이다.

도 2는 본 발명의 일실시예에 따른 움직임 감지 장치에 포함된 구성을 도시한 도면이다.

도 4는 본 발명의 일실시예에 따른 관성 기준 좌표계(Reference frame)와 관심 물체 또는 대상에 고정된 좌표계(body frame)의 회전 정도를 도시한 도면이다.

도 5는 본 발명의 일실시예에 따른 회전각에 대한 축 변화를 도시한 도면이다.

도 10은 본 발명의 일실시예에 따른 단말기의 위치 이동에 따른 모션 정보 변화의 예를 도시한 도면이다.

도 11은 본 발명의 일실시예에 따른 단말기의 회전각 변화에 따른 모션 정보 변화의 예를 도시한 도면이다.

도 12는 본 발명의 일실시예에 따른 인터페이스 장치의 제1 사용 예를 도시한 도면이다.

도 13은 본 발명의 일실시예에 따른 인터페이스 장치의 제2 사용 예를 도시한 도면이다.

도 14는 본 발명의 일실시예에 따른 인터페이스 장치의 제3 사용 예를 도시한 도면이다.

Claims

하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정하는 제1 각 추정부;

하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정하는 제2 각 추정부; 및

하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정하는 제3 각 추정부

를 포함하는 움직임 감지 장치.
제1항에 있어서,

상기 제1 각 추정부는,

상기 측정된 제1 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 장치.
제1항에 있어서,

상기 제2 각 추정부는,

상기 추정된 제2 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 장치.
제1항에 있어서,

상기 제3 각 추정부는,

상기 추정된 제3 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 장치.
제1항에 있어서,

상기 하나 이상의 제1 회전각 측정 센서, 상기 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제3 회전각 측정 센서는,

가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라 또는 GPS 중 어느 하나 이상인 움직임 감지 장치.
제1항에 있어서,

상기 제1 각 추정부는,

상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 이용하여 상기 제1 각을 측정하는 움직임 감지 장치.
제6항에 있어서,

상기 제2 각 추정부는,

상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 통하여 측정된 상기 제1 각 및 상기 하나 이상의 2축 각속도 센서의 출력 신호를 기반으로 상기 제2 각을 추정하는 움직임 감지 장치.
제7항에 있어서,

상기 제3 각 추정부는,

상기 제1 각, 상기 제2 각 및 상기 하나 이상의 2축 각속도 센서의 출력 신호를 기반으로 상기 제3 각을 추정하는 움직임 감지 장치.
제1항에 있어서,

기설정된 기울임각과 상기 하나 이상의 2축 각속도 센서의 출력 신호를 고려하여 추정되는 상기 제3 각이 기설정된 임계(threshold)값 범위를 초과하는 경우, 상기 제3 각을 추정하지 않도록 제어하거나 기설정된 값으로 설정하는 설정부

를 더 포함하는 움직임 감지 장치.
제9항에 있어서,

상기 설정부는,

상기 제3 각과 관련된 정보를 고려하여 상기 제3 각을 리셋(reset)하는 움직임 감지 장치.
단말기의 모션(motion) 정보를 센싱하는 단계; 및

상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어하는 단계

를 포함하는 사용자 인터페이스 방법.
제11항에 있어서,

상기 모션 정보는 상기 단말기의 수평 또는 수직 방향 움직임 정보를 포함하는 사용자 인터페이스 방법.
제12항에 있어서,

상기 단말기는 사용자의 움직임을 감지하는 하나 이상의 장치이고,

상기 모션 정보는 상기 단말기 중 어느 하나 이상에 의해 센싱되는 수평 또는 수직 방향 움직임 정보인 사용자 인터페이스 방법.
제13항에 있어서,

상기 단말기는 핸드 헬드(handheld), 머리 또는 눈에 착용하는 단말기, HMD(Head Mounted Display) 단말기 중 어느 하나 이상인 사용자 인터페이스 방법.
제12항에 있어서,

상기 단말기의 상기 모션(motion) 정보를 센싱하는 상기 단계는,

상기 모션 정보에 대응하는 제1 각을 측정하는 단계; 및

상기 모션 정보에 대응하는 제2 각을 측정하는 단계

를 포함하는 사용자 인터페이스 방법.
제15항에 있어서,

상기 수평 또는 수직 방향 움직임 정보는,

상기 단말기가 수평 방향으로 움직이는 속도, 수평 방향으로 움직이는 각속도, 수평 방향으로 움직인 거리 또는 수평 방향으로 움직인 회전 각도 중 어느 하나 이상을 측정한 수평 방향 정보 및 상기 단말기가 수직 방향으로 움직이는 속도, 수직 방향으로 움직이는 각속도, 수직 방향으로 움직인 거리 또는 수직 방향으로 움직인 회전 각도 중 어느 하나 이상을 측정한 수직 방향 정보

를 포함하는 사용자 인터페이스 장치.
제16항에 있어서,

상기 제1 각을 측정하는 단계는

하나 이상의 회전각 측정 센서 및 하나 이상의 2축 각속도 센서에 의하여 측정되는 상기 수직 방향 정보를 기반으로 상기 제1 각을 추정하는 단계

를 포함하는 사용자 인터페이스 방법.
제16항에 있어서,

상기 제1 각은 상기 수직 방향 정보를 기반으로 측정된 틸트(tilt) 정보인 사용자 인터페이스 방법.
제17항에 있어서,

상기 하나 이상의 회전각 측정 센서는 각속도 센서, 가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라 또는 GPS 중 어느 하나 이상인 사용자 인터페이스 방법.
제17항에 있어서,

상기 제2 각을 측정하는 단계는

상기 제1 각 및 상기 하나 이상의 2축 각속도 센서에 의하여 측정되는 상기 수평 방향 정보를 기반으로 상기 제2 각을 추정하는 단계

를 포함하는 사용자 인터페이스 방법.
제17항에 있어서,

상기 제2 각은 상기 수평 방향 정보를 기반으로 측정된 팬닝(panning) 정보인 사용자 인터페이스 방법.
제11항에 있어서,

상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어하는 상기 단계는,

상기 단말기 상에 상기 컨텐츠의 일부 또는 전체 영역을 디스플레이 하는 단계; 및

상기 모션 정보에 대응하여 상기 컨텐츠의 일부 또는 전체 영역으로부터 공간적 가시 영역을 변경하는 단계

를 포함하는 사용자 인터페이스 방법.
제22항에 있어서,

상기 모션 정보에 대응하여 상기 컨텐츠의 일부 또는 전체 영역으로부터 공간적 가시 영역을 변경하는 단계는,

상기 모션 정보에 대응하는 방향으로 상기 컨텐츠의 일부 또는 전체 영역을 연속적으로 이동시켜 디스플레이 하는 단계

를 포함하는 사용자 인터페이스 방법.
제22항에 있어서,

상기 센싱된 모션 정보에 대응하여 하나 이상의 컨텐츠의 디스플레이를 제어하는 상기 단계는,

상기 모션 정보에 대응하여 상기 하나 이상의 컨텐츠의 변화가 없도록 디스플레이 되는 컨텐츠의 장면을 홀딩(holding)하는 단계

를 더 포함하는 사용자 인터페이스 방법.
하나 이상의 제1 회전각 측정 센서를 이용하여 제1 각을 측정하는 단계;

하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제1 회전각 측정 센서와 상이한 하나 이상의 2축 각속도 센서를 이용하여 제2 각을 추정하는 단계; 및

하나 이상의 제3 회전각 측정 센서 및 상기 하나 이상의 2축 각속도 센서를 이용하여 제3 각을 추정하는 단계

를 포함하는 움직임 감지 방법.
제25항에 있어서,

상기 제1 각을 측정하는 단계는,

상기 측정된 제1 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 방법.
제25항에 있어서,

상기 제2 각을 추정하는 단계는,

상기 추정된 제2 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 방법.
제25항에 있어서,

상기 제3 각을 추정하는 단계는,

상기 추정된 제3 각이 둘 이상인 경우, 각 추정 알고리즘을 이용하여 하나의 각을 추정하는 움직임 감지 방법.
제25항에 있어서,

상기 하나 이상의 제1 회전각 측정 센서, 상기 하나 이상의 제2 회전각 측정 센서 및 상기 하나 이상의 제3 회전각 측정 센서는,

가속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라 또는 GPS 중 어느 하나 이상인 움직임 감지 방법.
제25항에 있어서,

상기 제1 각을 측정하는 단계는,

상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 이용하여 상기 제1 각을 측정하는 움직임 감지 방법.
제30항에 있어서,

상기 제2 각을 추정하는 단계는,

상기 하나 이상의 제1 회전각 측정 센서의 출력 신호를 통하여 측정된 상기 제1 각 및 상기 하나 이상의 2축 각속도 센서의 출력 신호를 기반으로 상기 제2 각을 추정하는 움직임 감지 방법.
제31항에 있어서,

상기 제3 각을 추정하는 단계는,

상기 제1 각, 상기 제2 각 및 상기 하나 이상의 2축 각속도 센서의 출력 신호를 기반으로 상기 제3 각을 추정하는 움직임 감지 방법.
제25항에 있어서,

기설정된 기울임각과 상기 하나 이상의 2축 각속도 센서의 출력 신호를 고려하여 추정되는 상기 제3 각이 기설정된 임계(threshold)값 범위를 초과하는 경우, 상기 제3 각을 추정하지 않도록 제어하거나, 기설정된 값으로 설정하는 단계

를 더 포함하는 움직임 감지 방법.
제33항에 있어서,

상기 제3 각과 관련된 정보를 고려하여 상기 제3 각을 리셋(reset)하는 단계

를 더 포함하는 움직임 감지 방법.
제11항 내지 제34항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.