KR20100032567A - 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법 - Google Patents

다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법 Download PDF

Info

Publication number
KR20100032567A
KR20100032567A KR1020080091512A KR20080091512A KR20100032567A KR 20100032567 A KR20100032567 A KR 20100032567A KR 1020080091512 A KR1020080091512 A KR 1020080091512A KR 20080091512 A KR20080091512 A KR 20080091512A KR 20100032567 A KR20100032567 A KR 20100032567A
Authority
KR
South Korea
Prior art keywords
portable device
data
user
distance
interaction data
Prior art date
Application number
KR1020080091512A
Other languages
English (en)
Other versions
KR100998404B1 (ko
Inventor
전재욱
송태훈
정순묵
박지환
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080091512A priority Critical patent/KR100998404B1/ko
Publication of KR20100032567A publication Critical patent/KR20100032567A/ko
Application granted granted Critical
Publication of KR100998404B1 publication Critical patent/KR100998404B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

휴대용 기기 등에 장착된 다수의 거리 센서, 가속도 센서 등을 통하여 사용자와 휴대용 기기 애플리케이션, 휴대용 기기와 휴대용 기기, 휴대용 기기와 정보가전기기 간의 상호작용을 가능케 하는 감성 인터페이스 장치 및 그 방법이 개시된다. 감성 인터페이스 장치는 제1 휴대용 기기와 사용자간의 거리를 측정할 수 있는 적어도 하나의 센서를 포함하는 거리 측정부, 제1 휴대용 기기의 3차원 위치 변화량을 측정할 수 있는 적어도 하나의 센서를 포함하는 가속도 측정부, 그리고 측정된 거리 및 측정된 3차원 위치 변화량 중 적어도 하나에 대응되는 상호작용 데이터를 생성하는 제어부를 구비한다. 따라서 버튼과 터치스크린 등의 접촉형 입력 방식에 비해 보다 다양하고 편리한 사용자 입력 형태를 제공하고, 휴대용 기기와 사용자, 휴대용 기기와 다른 휴대용 기기, 휴대용 기기와 다른 정보가전기기간의 연동뿐만 아니라 감성적 상호작용을 제공할 수 있다.
Figure P1020080091512
다중 센서, 휴대용 기기, 감성 인터페이스, 거리 센서, 가속도 센서

Description

다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법{APPARATUSES FOR SENSIBLE INTERFACE USING MULTIPLE SENSORS IN HANDHELD DEVICE AND METHODS USING THE SAME}
본 발명은 감성 인터페이스 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 휴대용 기기에 장착된 다수의 센서를 이용한 감성 인터페이스 장치 및 그 방법에 관한 것이다.
휴대용 기기의 컴퓨팅 파워와 통신 환경은 날로 향상되어 가고 있으며, 이러한 추세에 따라 휴대용 기기 사용자간의 영상 통화, 인터렉티브 게임(interactive game) 등의 다양한 애플리케이션이 등장하고 있다. 그러나 터치스크린을 채용하는 경향이 증가하고는 있으나, 사용자의 입력 인터페이스로는 여전히 키패드의 버튼이나 조이스틱, 조그셔틀 등의 방식이 주로 사용되고 있는 실정이다.
이러한 접촉형 입력 방식은 개인용 컴퓨터(personal computer, PC) 환경에서의 마우스, 타블렛 등을 이용한 방식에 비하여 입력이 불편하고 잦은 오류가 발생되는 문제가 있으며, 특히 정보통신기기에 익숙하지 않은 고령자나 움직임이 불편한 장애자의 경우 키패드의 버튼을 조작하는데 많은 어려움이 있다.
또한, 향후 휴대용 기기의 사용자 간의 상호작용(interaction)에 기반한 게임 등의 애플리케이션이 도입될 것으로 예상되는데 종래의 접촉형 입력 방식으로는 그 입력 형태의 제한이 커서 상호작용에 기반한 애플리케이션에 있어서 사용자 친숙한 환경을 제공하지 못한다.
따라서, 휴대용 기기 애플리케이션 측면에서는 보다 광범위한 사용자 입력 형태를 제공하고, 사용자 측면에서는 보다 접근용이한 방법을 제공할 수 있는 인터페이스의 개발이 요구되고 있다.
따라서 본 발명의 목적은 휴대용 기기와 사용자, 다른 휴대용 기기, 다른 정보가전기기 간의 인터페이스에 있어서 다양성 및 편의성을 개선하기 위하여 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법을 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치는, 제1 휴대용 기기와 사용자간의 거리를 측정할 수 있는 적어도 하나의 센서를 포함하는 거리 측정부와, 상기 제1 휴대용 기기의 3차원 위치 변화량을 측정할 수 있는 적어도 하나의 센서를 포함하는 가속도 측정부 및 상기 측정된 거리 및 상기 측정된 3차원 위치 변화량 중 적어도 하나에 대응되는 상호작용 데이터를 생성하는 제어부를 구비한다.
상기 상호작용 데이터는 휴대용 기기 애플리케이션 제어 데이터, MMI(Mobile to Mobile Interaction) 데이터, MIHAMI(Mobile to Information Home Appliance Machinery Interaction) 데이터 중 적어도 하나일 수 있다. 이 경우 상기 상호작용 데이터는 DMB 애플리케이션에 있어서 애플리케이션 실행, 애플리케이션 종료, 음량 증가, 음량 감소, 채널번호 증가 및 채널번호 감소에 대한 실행 명령 중 적어도 하나일 수 있다. 또한 이 경우 상기 상호작용 데이터는 게임 애플리케이션에 있어서 상기 제1 휴대용 기기를 소지한 사용자의 움직임 데이터일 수 있다. 또한 이 경우 상기 상호작용 데이터는 정보가전기기에 있어서 상기 제1 휴대용 기기의 3차원 위치 변화량에 대응하여 상기 정보가전기기 화면의 커서 또는 포인터를 이동시키는 명령, 상기 정보가전기기 화면의 특정 부분을 선택하는 명령 중 적어도 하나일 수 있다.
상기 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치는 상기 제1 휴대용 기기의 상기 제어부에서 생성된 상호작용 데이터를 제2 휴대용 기기 또는 정보가전기기로 송신하는 무선 송수신부를 추가로 구비할 수 있다. 이 경우 상기 제2 휴대용 기기의 제어부는, 인터랙티브 게임 애플리케이션에 있어서 상기 제1 휴대용 기기의 사용자의 동작에 대응되는 제1 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기의 사용자의 동작에 대응되는 제2 상호작용 데이터를 생성하여, 상기 제1 상호작용 데이터와 상기 제2 상호작용 데이터 일치 정도에 따라 상기 인터랙티브 게임 애플리케이션에 대해 미리 정하여진 제어를 할 수 있다.
상기 제1 휴대용 기기의 제어부는, 상기 제1 휴대용 기기가 미리 정하여진 시간 이상 움직이지 않는 경우, 미리 정하여진 이동통신 식별번호를 가진 제2 휴대용 기기로 상기 상호작용 데이터 또는 알림 메시지를 전송할 수 있다.
상기 무선 송수신부는 상기 제2 휴대용 기기로부터 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터를 정보가전기기로 송신할 수 있다. 이 경우 상기 제어부는 상기 제1 휴대용 기기의 상기 거리 측정부에서 측정된 거리, 상기 제1 휴대용 기기의 상기 가속도 측정부에서 측정된3차원 위치 변화량 및 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터 중 적어도 하나에 대응되는 상호작용 데이터를 생성할 수 있다.
상기 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치는 적어도 하나의 진동 모터를 포함하는 촉감 발생부를 추가로 구비할 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 휴대용 기기의 감성 인터페이스 방법은, 휴대용 기기와 사용자간의 거리 및 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계와, 상기 측정된 휴대용 기기와 사용자간의 거리 및 상기 측정된 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 휴대용 기기 애플리케이션 제어 데이터를 생성하는 단계 및 상기 생성된 휴대용 기기 애플리케이션 제어 데이터를 이용하여 휴대용 기기 애플리케이션의 동작을 제어하는 단계를 포함한다.
상기 휴대용 기기 애플리케이션 제어 데이터는, DMB 애플리케이션에 있어서 애플리케이션 실행, 애플리케이션 종료, 음량 증가, 음량 감소, 채널번호 증가 및 채널번호 감소에 대한 실행 명령 중 적어도 하나일 수 있다.
상기 휴대용 기기 애플리케이션 제어 데이터는 게임 애플리케이션에 있어서 상기 제1 휴대용 기기를 소지한 사용자의 움직임 데이터일 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 휴대용 기기의 감성 인터페이스 방법은, 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계와, 상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계와, 상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 제1 휴대용 기기와 사용자간의 거리 및 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계와, 상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 상기 제1 휴대용 기기의 MMI 데이터를 생성하는 단계 및 상기 접속된 제2 휴대용 기기로 상기 생성된 MMI 데이터를 송신하는 단계를 포함한다.
상기 휴대용 기기의 감성 인터페이스 방법은, 인터랙티브 게임 애플리케이션에 있어서, 상기 제2 휴대용 기기가, 상기 제1 휴대용 기기의 사용자의 동작에 대응되는 제1 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기의 사용자의 동작에 대응되는 제2 상호작용 데이터를 생성하여, 상기 제1 상호작용 데이터와 상기 제2 상호작용 데이터 일치 정도에 따라 상기 인터랙티브 게임 애플리케이션에 대해 미리 정하여진 제어를 하는 단계를 더 포함할 수 있다.
상기 휴대용 기기의 감성 인터페이스 방법은, 상기 접속된 제2 휴대용 기기 로부터 MMI 데이터를 수신하는 단계 및 상기 수신된 MMI 데이터에 대응하여 상기 제1 휴대용 기기의 동작을 제어하는 단계를 더 포함할 수 있다.
상기 휴대용 기기의 감성 인터페이스 방법은, 상기 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계에서의 검색 결과, 접속 가능한 제2 휴대용 기기가 존재하지 않는 경우 상기 제1 휴대용 기기의 이동통신망 사용 승인을 요청하는 단계 및 상기 이동통신망 사용 승인이 있는 경우 이동통신을 통하여 제2 휴대용 기기에 접속을 시도하는 단계를 더 포함할 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 휴대용 기기의 감성 인터페이스 방법은, 제1 휴대용 기기가 지원하는 정보가전기기 리스트를 표시하는 단계와, 상기 제1 휴대용 기기가 상호작용하고자 하는 정보가전기기를 선택하는 단계와, 상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계와, 상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 단계 및 상기 선택한 정보가전기기로 상기 생성한 MIHAMI 데이터를 송신하는 단계를 포함한다.
상기 MIHAMI 데이터는 상기 정보가전기기에 있어서 상기 제1 휴대용 기기의 3차원 위치 변화량에 대응하여 상기 정보가전기기 화면의 커서 또는 포인터를 이동시키는 명령, 상기 정보가전기기 화면의 특정 부분을 선택하는 명령 중 적어도 하나일 수 있다.
상기 휴대용 기기의 감성 인터페이스 방법은, 상기 제1 휴대용 기기가 제2 휴대용 기기와 연동할지를 선택하는 단계와, 상기 선택 결과 제2 휴대용 기기와 연동하는 경우 상기 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계와, 상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계 및 상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 상기 제1 휴대용 기기와 상기 제2 휴대용 기기 간에 MMI 데이터를 송수신하는 단계를 더 포함하되, 상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 단계는 상기 측정된 제1 휴대용 기기와 사용자간의 거리, 상기 제1 휴대용 기기의 3차원 위치 변화량 및 상기 제2 휴대용 기기로부터 수신한 MMI 데이터 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 것일 수 있다.
상기와 같은 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법에 따르면, 버튼과 터치스크린 등의 접촉형 입력 방식에 비해 보다 다양하고 편리한 사용자 입력 형태를 제공할 수 있다.
또한, 휴대용 기기와 사용자, 휴대용 기기와 다른 휴대용 기기, 휴대용 기기와 다른 정보가전기기간의 연동뿐만 아니라 감성적 상호작용을 제공할 수 있다.
그리고, 휴대용 기기에 대한 사용자 입력에 대응하는 피드백을 제공함으로써 사용자와 휴대용 기기간의 감성적 상호작용을 수행할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이 해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 입체적 배치도이다.
도 1을 참조하면 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기 기는 크게 전면 기구부(110), 전면 센서 회로부(120), 절연체(130), 측면 센서 회로부(140) 및 후면 기구부(150)를 포함한다.
상기 전면 기구부(110)는 휴대용 기기의 전면을 구성하고, 내부 회로부를 외부의 충격으로부터 보호한다.
상기 전면 센서 회로부(120)는 적어도 하나의 거리 센서(121), 적어도 하나의 진동 모터(122) 및 적어도 하나의 가속도 센서(123)를 포함한다. 구체적으로 상기 거리 센서(121)는 휴대용 기기 전방에 있는 물체와의 거리를 측정할 수 있는 센서로서, 적외선 센서, PSD(Position Sensitive Device, 위치검출소자), 포토센서, 초음파 센서 등일 수 있다. 상기 진동 모터(122)는 휴대용 기기 사용자의 특정 입력 또는 휴대용 기기의 특정 이벤트 시에 사용자에게 피드백을 하는 진동 장치이다. 상기 가속도 센서(123)는 가속도, 진동, 충격 등의 동적 힘을 감지하여 휴대용 기기의 3차원 공간 내 위치 변화 또는 운동 상태를 순시적으로 측정할 수 있는 센서이며, 자이로 센서, 기타 동등한 기능을 수행하는 센서로 대체될 수 있다.
상기 절연체(130)는 상기 전면 센서 회로부(120)와 상기 측면 센서 회로부(140)를 절연한다.
상기 측면 센서 회로부(140)는 적어도 하나의 거리 센서(141)를 포함한다. 구체적으로 상기 거리센서(141)는 휴대용 기기 상하측면에 있는 물체와의 거리를 측정할 수 있는 센서로서, 적외선 센서, PSD, 포토센서, 초음파 센서 등일 수 있다.
상기 후면 기구부(150)는 휴대용 기기의 후면을 구성하고, 내부 회로부를 외 부의 충격으로부터 보호한다.
상기 전면 센서 회로부(120)의 상기 거리 센서(121)와 상기 측면 센서 회로부(140)의 상기 거리 센서(141)는 휴대용 기기 사용자의 비접촉식 입력을 측정하는데, 상기 비접촉식 입력은 휴대용 기기와 사용자의 신체 일부간의 거리의 변화량 또는 다수의 거리 센서에서 감지되는 순서의 조합 등일 수 있다.
상기 전면 센서 회로부(120)의 상기 가속도 센서(123)는 휴대용 기기 사용자의 비접촉식 입력을 측정하는데, 상기 비접촉식 입력은 휴대용 기기 사용자에 의한 휴대용 기기의 3차원 위치 변화량 등일 수 있다.
상기 전면 센서 회로부(120)의 상기 진동 모터(122)는 상기 전면 센서 회로부(120) 또는 상기 측면 센서 회로부(140)에서 측정된 휴대용 기기 사용자의 비접촉식 입력에 대응하는 피드백 정보를 진동의 형태로 상기 휴대용 기기 사용자에게 전달할 수 있다.
도 2a 내지 도 2f는 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치의 동작을 설명하기 위한 개념도들이다.
사용자는 휴대용 기기의 상하측면에 배치된 거리 센서를 이용하여 휴대용 기기의 측면에 배치된 사용자의 양 손을 미리 정하여진 임계거리 이상 휴대용 기기에 접근시키거나 이격시킴으로써 휴대용 기기에 표시되는 컨텐츠 화면을 축소하거나 확대할 수 있다(도 2a). 또는 휴대용 기기의 전면에 배치된 거리 센서를 이용하여 휴대용 기기의 전면에 배치된 사용자의 손을 미리 정하여진 임계거리 이상 휴대용 기기에 접근시키거나 이격시킴으로써 휴대용 기기에 표시되는 컨텐츠 화면을 축소 하거나 확대할 수 있다(도 2a).
사용자가 휴대용 기기의 상하측면에서 시계방향 또는 반시계방향으로 손을 이동시키면, 휴대용 기기의 측면에 배치된 거리 센서가 휴대용 기기와 사용자의 손 사이의 거리를 측정하고, 복수의 거리 센서가 감지한 순서를 인식하여, 최종적으로 상기 측정된 거리 및 상기 감지한 순서가 사용자 입력으로서 휴대용 기기에 입력될 수 있다(도 2b).
또한 사용자가 휴대용 기기의 측면에서 상향 또는 하향으로 손을 이동시키면, 휴대용 기기의 측면에 배치된 거리 센서가 휴대용 기기와 사용자의 손 사이의 거리를 측정하고, 복수의 거리 센서가 감지한 순서를 인식하여, 최종적으로 상기 측정된 거리 및 상기 감지한 순서가 사용자 입력으로서 휴대용 기기에 입력될 수 있다(도 2c).
또한 사용자가 휴대용 기기의 상단부 또는 하단부에서 좌향 또는 우향으로 손을 이동시키면, 휴대용 기기의 상단부 또는 하단부에 배치된 거리 센서가 휴대용 기기와 사용자의 손 사이의 거리를 측정하고, 복수의 거리 센서가 감지한 순서를 인식하여, 최종적으로 상기 측정된 거리 및 상기 감지한 순서가 사용자 입력으로서 휴대용 기기에 입력될 수 있다(도 2d).
나아가 사용자가 휴대용 기기를 기울이거나(tilt), 회전시키거나(pan), 좌우로 흔들면(yaw), 휴대용 기기에 배치된 가속도 센서가 3차원 공간상의 휴대용 기기의 움직임 또는 위치를 측정하고, 최종적으로 상기 측정된 휴대용 기기의 움직임 또는 위치가 사용자 입력으로서 휴대용 기기에 입력될 수 있다(도 2e).
상기 입력을 받아들이는 휴대용 기기는 사용자에 의한 상기 입력에 대응하여 사용자와 휴대용 기기 애플리케이션, 휴대용 기기와 휴대용 기기, 휴대용 기기와 정보가전기기간의 상호작용에 이용되는 미리 정하여진 제어 신호를 생성할 수 있다. 휴대용 기기와 휴대용 기기간의 상호작용에 대한 예를 들면, 사용자 A의 휴대용 기기와 사용자 B의 휴대용 기기가 본 발명에 의해 연동되어 있다고 할 때, 사용자 A가 자신의 휴대용 기기를 좌향 이동하는 입력을 한 경우에, 사용자 B의 휴대용 기기에서는 좌측에 설치된 진동 모터가 진동을 발생시킴으로써 사용자 A의 입력에 대해 상호작용할 수 있다.
사용자에 의한 상기 입력 또는 다른 휴대용 기기로부터 전송된 상호작용 데이터에 대응하여, 휴대용 기기는 적어도 하나의 진동 모터를 이용하여 진동 위치와 진동 세기가 구별되는 촉각 피드백 정보를 사용자에게 제공할 수 있다(도 2f). 도 2f를 참조하면, 휴대용 기기의 상하좌우면에 진동 모터가 1개씩 배치되어 있는 것을 볼 수 있다.
도 3은 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치를 나타내는 블록도이다. 여기서, 휴대용 기기는 이동통신 단말기를 예로 들어 설명한다.
구체적으로 거리 측정부(310)는 제1 휴대용 기기와 사용자간의 거리를 측정하여, 상기 측정된 거리를 제어부(330)로 출력한다. 상기 거리 측정부(310)는 휴대용 기기와 사용자간의 시간 당 거리 측정값에 대한 데이터베이스를 가지고, 상기 데이터베이스에 저장된 시간 당 거리 측정값에 기초하여 휴대용 기기와 사용자간의 거리 변화량을 산출할 수 있다. 상기 거리 측정부(310)는 휴대용 기기와 사용자간의 거리를 측정할 수 있는 적어도 하나의 센서를 포함하며, 상기 센서는 적외선 센서, PSD, 포토센서 또는 초음파 센서일 수 있다.
가속도 측정부(320)는 상기 제1 휴대용 기기의 움직임에 의한 상기 제1 휴대용 기기의3차원 위치 변화량을 측정하여, 상기 측정된 3차원 위치 변화량을 상기 제어부(330)로 출력한다. 상기 가속도 측정부(320)는 상기 휴대용 기기와 사용자간의 시간 당 3차원 위치 변화량에 기초하여 상기 휴대용 기기의 속도 변화량을 산출할 수 있다. 상기 가속도 측정부(320)는 휴대용 기기의 움직임에 의한 3차원 위치 변화량 또는 속도 변화량을 측정할 수 있는 적어도 하나의 센서를 포함하며, 상기 센서는 가속도 센서 또는 자이로 센서일 수 있다.
상기 제어부(330)는 상기 거리 측정부(310)로부터는 상기 측정된 거리 및 거리 변화량 중 적어도 하나를 입력받고, 상기 가속도 측정부(320)로부터는 상기 측정된 3차원 위치 변화량 및 속도 변화량 중 적어도 하나를 입력받으며, 상기 입력받은 거리, 상기 입력받은 거리변화량, 상기 입력받은 3차원 위치 변화량 및 상기 입력받은 속도 변화량 중 적어도 하나에 대응되는 상호작용 데이터를 생성하고, 상기 생성된 상호작용 데이터를 휴대용 기기 애플리케이션, 무선 송수신부(340), 촉감 발생부(350)로 출력할 수 있다.
상기 상호작용 데이터는 휴대용 기기 애플리케이션 제어 데이터, MMI(Mobile to Mobile Interaction) 데이터, MIHAMI(Mobile to Information Home Appliance Machinery Interaction) 데이터 중 적어도 하나일 수 있다.
상기 휴대용 기기 애플리케이션 제어 데이터는 휴대용 기기 애플리케이션이 수행할 수 있는 동작에 대한 실행 명령을 의미한다. 예를 들어 상기 휴대용 기기 애플리케이션이 전화번호부 애플리케이션인 경우, 상기 상호작용 데이터는 애플리케이션 시작, 애플리케이션 종료, 이름 검색, 전화번호 검색, 분류별 검색, 전화번호 등록, 전화번호 삭제, 전화번호 수정, 최근 통화한 내역 표시, 최근 발신한 내역 표시, 최근 수신한 내역 표시 등에 대한 실행 명령일 수 있다.
다른 예를 들어 상기 휴대용 기기 애플리케이션이 휴대용 기기의 DMB 애플리케이션의 경우, 상기 상호작용 데이터는 DMB 애플리케이션 실행, DMB 애플리케이션 종료, 음량 증가, 음량 감소, 채널번호 증가, 채널번호 감소 등에 대한 실행 명령일 수 있다.
또 다른 예를 들어 상기 휴대용 기기 애플리케이션이 시각 장애인용 애플리케이션인 경우, 상기 상호작용 데이터는 상기 거리 측정부(310)에서 측정된 사용자 전방 물체와의 거리일 수 있다. 이 경우 상기 시각 장애인용 애플리케이션은 상기 측정된 사용자 전방 물체와의 거리를 입력받고, 미리 정하여진 임계거리 이하인 경우 시각 장애인에게 장애물이 있음을 알리는 경고 사운드 또는 진동을 출력할 수 있다.
상기 MMI 데이터는 본 발명에 따라 휴대용 기기가 인식할 수 있는 명령(command), 요청(request) 또는 정보(status, information) 등과 같은 휴대용 기기 간의 상호작용 데이터를 의미한다.
예를 들어 복수의 휴대용 기기간에 구동되는 인터랙티브 게임 애플리케이션 의 경우, 상기 상호작용 데이터는 게이머 캐릭터 표시, 게이머 캐릭터 상향 이동, 게이머 캐릭터 하향 이동, 게이머 캐릭터 좌향 이동, 게이머 캐릭터 우향 이동, 게이머 캐릭터 소정의 동작 수행, 메시지 전송, 메시지 표시, 특수 화면 효과 표시, 진동 출력 등에 대한 정보를 포함하는 것일 수 있다. 이 경우 가능한 실시예로서, 제1 휴대용 기기의 사용자가 특정 동작을 한 후, 상기 특정 동작에 대응하는 상호작용 데이터가 제2 휴대용 기기로 전송되고, 상기 제2 휴대용 기기의 사용자가 특정 동작을 하면, 상기 제1 휴대용 기기의 사용자와 상기 제2 휴대용 기기의 사용자의 동작의 일치 정도를 판단하여 상기 일치 정도에 따라 상기 인터랙티브 게임 애플리케이션에 대해 소정의 제어를 할 수 있다.
다른 예를 들어 복수의 휴대용 기기간에 구동되는 알림 애플리케이션의 경우, 상기 상호작용 데이터는 제1 휴대용 기기의 움직임이 발생하지 않는 시간에 대한 정보를 포함하는 것일 수 있다. 이 경우 상기 제1 휴대용 기기가 일정 시간 이상 움직임이 없을 때, 상기 제1 휴대용 기기의 사용자에게 문제가 발생한 것으로 보고 미리 정하여진 이동통신 식별번호를 가진 제2 휴대용 기기로 알림 메시지를 전송할 수 있다. 상기 알림 애플리케이션은 노약자와 상기 노약자의 보호자간에 응용될 수 있다.
상기 MIHAMI 데이터는 본 발명에 따라 정보가전기기가 인식할 수 있는 명령(command), 요청(request) 또는 정보(status, information) 등과 같은 휴대용 기기로부터 정보가전기기로의 상호작용 데이터를 의미한다. 상기 상호작용 데이터는 관련 정보가전기기 업계에서 통상적으로 사용되는 리모트 콘트롤 키코드일 수 있 다.
예를 들어 상기 정보가전기기가 텔레비전인 경우, 상기 상호작용 데이터는 텔레비전 켜기, 텔레비전 끄기, 음량 증가, 음량 감소, 채널번호 증가, 채널번호 감소, 채널 검색, 화면 밝기 증가, 화면 밝기 감소, 설정 메뉴 표시 등에 대한 실행 명령일 수 있다.
다른 예를 들어 상기 정보가전기기가 게임기이고 상기 게임기에서 실행되는 게임이 악기 연주 게임, 오케스트라 지휘 게임, 슈팅 게임 등과 같은 액션 게임인 경우, 상기 상호작용 데이터는 상기 휴대용 기기를 손에 쥔 사용자의 움직임 데이터일 수 있다. 예를 들어 상기 오케스트라 지휘 게임이 실행되고 있는 경우, 사용자가 상기 휴대용 기기를 손에 쥔 채로 지휘 동작을 하면, 상기 지휘 동작에 대한 움직임 데이터가 상기 게임기로 전송될 수 있고, 상기 움직임 데이터는 상기 휴대용 기기의 3차원 위치 변화량일 수 있다. 즉, 상기 액션 게임에서 종래의 게임 패드 또는 조이스틱을 사용한 입력 형태보다 팔을 휘두르는 등 게임 상의 동작과 상당히 유사한 형태의 입력이 가능하여, 사용자에게 감성적인 인터페이스를 제공할 수 있다.
또 다른 예를 들어 상기 정보가전기기가 PC(개인용 컴퓨터) 등인 경우, 상기 상호작용 데이터는 상기 정보가전기기 화면 상의 커서 또는 포인터의 이동 명령일 수 있다. 예를 들어, 도 2b 내지 도 2d를 참조하여 설명한 바와 같이 사용자가 상기 휴대용 기기의 주위에서 손을 이동시키는 동작을 하면, 상기 동작에 대응하는 마우스 이동 명령이 상기 정보가전기기로 전송될 수 있다. 즉, 사용자가 상기 휴대 용 기기의 주위에서 왼쪽에서 오른쪽으로 손을 이동하는 동작을 하면, 상기 손을 이동한 거리에 비례한 거리만큼 커서나 포인터를 왼쪽에서 오른쪽으로 이동시키는 명령이 상기 정보가전기기로 전송될 수 있어, 상기 정보가전기기의 마우스 등의 입력수단을 대체할 수 있다. 또는 사용자가 상기 휴대용 기기의 전면에서 접근하는 동작을 하면, 상기 정보가전기기의 특정 부분을 선택하는 명령이 상기 정보가전기기로 전송될 수 있다.
상기 휴대용 기기 애플리케이션은 최초 출시 시 휴대용 기기에 내장되거나, 출시 후 설치되거나, 휴대용 기기에 설치되지 아니하고 근거리무선통신망 또는 이동통신망 등의 무선통신망을 통해 접속하여 실행 가능한 응용 프로그램을 의미한다. 상기 응용 프로그램에는 전화번호부, 그림 파일 뷰어, 문서 뷰어, 카메라 애플리케이션, 게임 등이 포함될 수 있다.
상기 무선 송수신부(340)는 상기 제1 휴대용 기기의 상기 제어부(330)로부터 입력받은 상호작용 데이터를, 근거리무선통신망 또는 이동통신망 등의 무선통신망을 통하여, 제2 휴대용 기기 또는 정보가전기기로 송신할 수 있다. 상기 근거리무선통신은 802.11 WLAN 또는 802.15.1 Bluetooth 일 수 있다.
상기 무선 송수신부(340)는 상기 제2 휴대용 기기로부터 상기 제2 휴대용 기기가 생성한 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터를 정보가전기기로 송신할 수 있다. 이 경우 상기 제어부(330)는 상기 제1 휴대용 기기의 거리 측정부(310)에서 측정된 거리 및 거리변화량, 상기 제1 휴대용 기기의 가속도 측정부(320)에서 측정된3차원 위치 변화량 및 속도변화량, 그리고 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터 중 적어도 하나에 대응되는 상호작용 데이터를 생성할 수 있다. 즉, 상기 제1 휴대용 기기 자체의 측정값 이외에 상기 제2 휴대용 기기가 송신한 상호작용 데이터를 조합하여 상기 제1 휴대용 기기의 상호작용 데이터를 생성할 수 있다.
상기 촉감 발생부(350)는 상기 제어부(330)로부터 상호작용 데이터를 입력 받아, 상기 입력받은 상호작용 데이터에 대응하여 미리 정하여진 촉감 패턴을 발생시킨다. 상기 촉감 발생부(340)는 적어도 하나의 진동 모터를 포함할 수 있다. 예를 들어, 임의의 휴대용 기기 애플리케이션에서 사용자의 특정 입력이 부적절한 경우 진동 1번을 발생시키고, 사용자의 주의를 환기시켜야 하는 중요한 메시지의 표시 시에 진동 2번을 연속으로 발생시키는 등의 동작을 할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 4를 참조하면, 우선 휴대용 기기와 사용자간의 거리 및 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정한다(S410). 상기 측정 과정에 대해서는 도 3을 참조하여 거리 측정부(310) 및 가속도 측정부(320)에서 상술한 바와 같다.
그리고 상기 측정된 휴대용 기기와 사용자간의 거리 및 상기 측정된 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응하여 휴대용 기기 애플리케이션 제어 데이터를 생성한다(S420). 상기 휴대용 기기 애플리케이션 제어 데이터에 대해서는 도 3을 참조하여 상기 상호작용 데이터와 관련하여 상술한 바와 같다.
마지막으로 상기 생성된 휴대용 기기 애플리케이션 제어 데이터를 이용하여 소정의 휴대용 기기 애플리케이션의 동작을 제어한다(S430).
도 5는 본 발명의 또 다른 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 5를 참조하면, 우선 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색한다(S510). 상기 근거리무선통신은 802.11 WLAN 또는 802.15.1 Bluetooth 일 수 있다.
상기 검색 결과 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 제2 휴대용 기기에 접속을 시도한다(S520). 이 경우 접속 가능한 휴대용 기기가 복수개 있는 경우에는 하나 이상의 휴대용 기기를 선택하여 접속을 시도할 수 있다.
상기 접속을 시도한 상기 제2 휴대용 기기로부터 접속 승인이 나는 경우(S550), 상기 제1 휴대용 기기와 상기 제2 휴대용 기기간에 연동이 구축된다. 상기 제1 휴대용 기기는 상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정한다(S560). 상기 측정 과정에 대해서는 도 3을 참조하여 거리 측정부(310) 및 가속도 측정부(320)에서 상술한 바와 같다.
그리고 상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 상기 제1 휴대용 기기의 MMI 데이터를 생성한다(S570). 상기 MMI 데이터에 대해서는 도 3을 참조하여 상기 MMI 데이터와 관련하여 상술한 바와 같다.
상기 제1 휴대용 기기의 MMI데이터의 생성이 완료된 후, 상기 접속된 제2 휴대용 기기로 상기 제1 휴대용 기기의 생성된 MMI 데이터를 송신한다(S580). 상기 제2 휴대용 기기는 상기 제1 휴대용 기기의 MMI 데이터를 수신하고, 상기 MMI 데이터가 포함하는 명령, 요청 또는 정보에 따라 미리 정하여진 동작을 수행할 수 있다.
상기 제1 휴대용 기기는 상기 접속된 제2 휴대용 기기로부터 상기 제2 휴대용 기기가 생성한 MMI 데이터를 수신할 수 있고(S580), 그리고 상기 수신된 상기 제2 휴대용 기기의 MMI 데이터에 대응하여 상기 제1 휴대용 기기의 동작을 제어할 수 있다(S590). 즉, 상기 제1 휴대용 기기와 상기 제2 휴대용 기기는 상호 간에 MMI 데이터를 송수신하고, 각각 수신된 MMI 데이터에 대응하여 미리 정하여진 동작을 수행함으로써 상호작용할 수 있다.
상기 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계에서의 검색 결과, 접속 가능한 제2 휴대용 기기가 존재하지 않는 경우 상기 제1 휴대용 기기는 상기 제1 휴대용 기기의 사용자에게 이동통신망의 사용 승인을 요청할 수 있다(S530).
상기 제1 휴대용 기기의 사용자가 상기 제1 휴대용 기기의 이동통신망 사용을 승인하는 경우 상기 제1 휴대용 기기는 이동통신을 통하여 제2 휴대용 기기에 접속을 시도할 수 있다(S540). 이 경우 상기 제1 휴대용 기기의 사용자로부터 이동통신망 내 상기 제2 휴대용 기기의 접속번호를 직접 입력 받거나, 상기 제1 휴대용 기기에 저장된 접속번호 리스트로부터 선택 받아 접속을 시도할 수 있다. 이후의 과정은 상기 근거리무선통신을 통하여 접속 시도한 결과 제2 휴대용 기기로부터 접속 승인이 난 경우와 동일하다.
도 6은 본 발명의 또 다른 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 6를 참조하면, 우선 제1 휴대용 기기가 지원하는 정보가전기기 리스트를 표시한다(S610). 상기 "지원"이란 상기 제1 휴대용 기기가 본 발명에 따라 정보가전기기가 수신하여 인식하고 수행할 수 있는 MIHAMI 데이터를 생성할 수 있음을 의미한다. 상기 MIHAMI 데이터에 대해서는 도 3을 참조하여 상기 MIHAMI 데이터와 관련하여 상술한 바와 같다.
그리고 상기 표시된 정보가전기기 리스트 상에서 상기 제1 휴대용 기기의 사용자로부터 상기 제1 휴대용 기기가 상호작용할 정보가전기기를 선택 받는다(S620).
그리고 상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정한다(S680). 상기 측정 과정에 대해서는 도 3을 참조하여 거리 측정부(310) 및 가속도 측정부(320)에서 상술한 바와 같다.
상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성한다(S690).
마지막으로 상기 선택한 정보가전기기로 상기 생성한 MIHAMI 데이터를 송신한다(S695). 상기 정보가전기기는 상기 제1 휴대용 기기가 송신한 MIHAMI 데이터를 수신하고, 상기 MIHAMI 데이터가 포함하는 명령, 요청 또는 정보에 따라 미리 정하여진 동작을 수행할 수 있다. 이 경우 상기 정보가전기기는 상기 미리 정하여진 동작을 수행한 후, 동작 수행 결과를 상기 제1 휴대용 기기로 송신할 수 있고, 상기 제1 휴대용 기기는 상기 동작 수행 결과를 메시지, 사운드, 진동 등의 형태로 출력할 수 있다.
도 7은 본 발명의 또 다른 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
상기 도 7에 도시된 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법의 단계 중에서 제1 휴대용 기기가 지원하는 정보가전기기 리스트를 표시하는 단계(S610), 상기 제1 휴대용 기기가 상호작용하고자 하는 정보가전기기를 선택하는 단계(S620), 상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계(S680), 상기 선택한 정보가전기기로 상기 생성한 MIHAMI 데이터를 송신하는 단계(S695)는 도 6에 도시한 동일한 참조부호를 사용하며, 상기 도 6에 개시된 바와 그 기능 및 작용이 동일하다. 따라서 용이한 이해와 중복된 내용의 혼동을 회피하기 위해 동일한 구성요소에 대한 설명은 생략키로 한다.
도 7을 참조하면, 상기 제1 휴대용 기기가 상호작용하고자 하는 정보가전기기를 선택하는 단계(S620) 이후, 상기 제1 휴대용 기기의 사용자로부터 제2 휴대용 기기와 연동할지 여부를 선택받을 수 있다(S630).
상기 선택 결과 제2 휴대용 기기와 연동하는 경우 상기 제1 휴대용 기기로부 터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계(S640), 상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계(S650) 및 상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 상기 제1 휴대용 기기와 상기 제2 휴대용 기기 간에 MMI 데이터를 송수신하는 단계(S660, S670)는 도 3을 참조하여 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계(S510), 상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계(S520) 및 상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 상기 접속된 제2 휴대용 기기와 MMI 데이터를 송수신하는 단계(S550, S580)에서 상술한 바와 같다.
상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계(S680) 이후, 제1 휴대용 기기는 상기 측정된 제1 휴대용 기기와 사용자간의 거리, 상기 제1 휴대용 기기의 3차원 위치 변화량 및 상기 제2 휴대용 기기로부터 수신한 MMI 데이터 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성할 수 있다(S693). 즉, 상기 제1 휴대용 기기 자체의 측정값 이외에 상기 제2 휴대용 기기가 송신한 MMI 데이터를 조합하여, 상기 제1 휴대용 기기 및/또는 상기 제2 휴대용 기기와 정보가전기기가 상호작용할 MIHAMI 데이터를 생성할 수 있다.
게임기를 정보가전기기로 하고, 이동통신 단말기 2대 각각을 제1 휴대용 기 기 및 제2 휴대용 기기로 하여 상술한 동작을 예를 들어 설명한다. 상기 제1 휴대용 기기는 근거리무선통신망을 통하여 상기 제2 휴대용 기기와 연동하고, 상기 게임기에 대하여 조이스틱 키코드를 전송할 수 있다. 상기 제1 휴대용 기기의 사용자는 상기 게임기에서 구동되고 있는 게임의 제1 캐릭터를 조작하고, 상기 제2 휴대용 기기의 사용자는 상기 게임기에서 구동되고 있는 게임의 제2 캐릭터를 조작한다. 상기 제2 휴대용 기기의 사용자가 본 발명에 따라 비접촉식 입력을 하면, 상기 제2 휴대용 기기는 상기 입력에 대응하여 MMI 데이터를 생성하고, 상기 생성된 MMI 데이터를 상기 제1 휴대용 기기로 송신한다. 상기 제1 휴대용 기기는 상기 제2 휴대용 기기로부터 상기 MMI 데이터를 수신하고, 본 발명에 따라 상기 제1 휴대용 기기 상의 비접촉식 입력으로부터 생성된 MMI 데이터와 결합하여 MIHAMI 데이터를 생성한다. 예를 들어, 상기 MIHAMI 데이터는 상기 제1 캐릭터의 좌향 이동 및 상기 제2 캐릭터의 상향 이동 등의 정보를 포함할 수 있다. 상기 제1 휴대용 기기가 상기 게임기로 상기 MIHAMI 데이터를 송신하면, 상기 게임기는 상기 MIHAMI 데이터를 수신하고, 상기 수신된 MIHAMI 데이터에 따라 미리 정하여진 동작을 수행한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 입체적 배치도이다.
도 2a 내지 도 2f는 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치의 동작을 설명하기 위한 개념도들이다.
도 3은 본 발명의 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치를 나타내는 블록도이다.
도 4는 본 발명의 다른 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 6은 본 발명의 또 다른 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 방법을 나타내는 흐름도이다.
* 도면의 주요부분에 대한 부호의 설명 *
110 : 전면 기구부 120 : 전면 센서 회로부
130 : 절연체 140 : 측면 센서 회로부
150 : 후면 기구부 310 : 거리 측정부
320 : 가속도 측정부 330 : 제어부
340 : 무선 송수신부 350 : 촉감 발생부

Claims (21)

  1. 제1 휴대용 기기와 사용자간의 거리를 측정할 수 있는 적어도 하나의 센서를 포함하는 거리 측정부;
    상기 제1 휴대용 기기의 3차원 위치 변화량을 측정할 수 있는 적어도 하나의 센서를 포함하는 가속도 측정부; 및
    상기 측정된 거리 및 상기 측정된 3차원 위치 변화량 중 적어도 하나에 대응되는 상호작용 데이터를 생성하는 제어부를 구비하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  2. 제1항에 있어서, 상기 상호작용 데이터는
    휴대용 기기 애플리케이션 제어 데이터, MMI(Mobile to Mobile Interaction) 데이터, MIHAMI(Mobile to Information Home Appliance Machinery Interaction) 데이터 중 적어도 하나인 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  3. 제2항에 있어서, 상기 상호작용 데이터는,
    DMB 애플리케이션에 있어서 애플리케이션 실행, 애플리케이션 종료, 음량 증가, 음량 감소, 채널번호 증가 및 채널번호 감소에 대한 실행 명령 중 적어도 하나인 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  4. 제2항에 있어서, 상기 상호작용 데이터는,
    게임 애플리케이션에 있어서 상기 제1 휴대용 기기를 소지한 사용자의 움직임 데이터인 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  5. 제2항에 있어서, 상기 상호작용 데이터는,
    정보가전기기에 있어서 상기 제1 휴대용 기기의 3차원 위치 변화량에 대응하여 상기 정보가전기기 화면의 커서 또는 포인터를 이동시키는 명령, 상기 정보가전기기 화면의 특정 부분을 선택하는 명령 중 적어도 하나인 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  6. 제1항에 있어서,
    상기 제1 휴대용 기기의 상기 제어부에서 생성된 상호작용 데이터를 제2 휴대용 기기 또는 정보가전기기로 송신하는 무선 송수신부를 추가로 구비하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  7. 제6항에 있어서, 상기 제2 휴대용 기기의 제어부는,
    인터랙티브 게임 애플리케이션에 있어서 상기 제1 휴대용 기기의 사용자의 동작에 대응되는 제1 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기의 사용자 의 동작에 대응되는 제2 상호작용 데이터를 생성하여, 상기 제1 상호작용 데이터와 상기 제2 상호작용 데이터 일치 정도에 따라 상기 인터랙티브 게임 애플리케이션에 대해 미리 정하여진 제어를 하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  8. 제6항에 있어서, 상기 제1 휴대용 기기의 제어부는,
    상기 제1 휴대용 기기가 미리 정하여진 시간 이상 움직이지 않는 경우, 미리 정하여진 이동통신 식별번호를 가진 제2 휴대용 기기로 상기 상호작용 데이터 또는 알림 메시지를 전송하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  9. 제6항에 있어서, 상기 무선 송수신부는
    상기 제2 휴대용 기기로부터 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터를 정보가전기기로 송신하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  10. 제9항에 있어서, 상기 제어부는
    상기 제1 휴대용 기기의 상기 거리 측정부에서 측정된 거리, 상기 제1 휴대용 기기의 상기 가속도 측정부에서 측정된3차원 위치 변화량 및 상기 제2 휴대용 기기로부터 수신한 상호작용 데이터 중 적어도 하나에 대응되는 상호작용 데이터를 생성하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  11. 제1항에 있어서,
    적어도 하나의 진동 모터를 포함하는 촉감 발생부를 추가로 구비하는 것을 특징으로 하는 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치.
  12. 휴대용 기기와 사용자간의 거리 및 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계;
    상기 측정된 휴대용 기기와 사용자간의 거리 및 상기 측정된 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 휴대용 기기 애플리케이션 제어 데이터를 생성하는 단계; 및
    상기 생성된 휴대용 기기 애플리케이션 제어 데이터를 이용하여 휴대용 기기 애플리케이션의 동작을 제어하는 단계를 포함하는 휴대용 기기의 감성 인터페이스 방법.
  13. 제12항에 있어서, 상기 휴대용 기기 애플리케이션 제어 데이터는,
    DMB 애플리케이션에 있어서 애플리케이션 실행, 애플리케이션 종료, 음량 증가, 음량 감소, 채널번호 증가 및 채널번호 감소에 대한 실행 명령 중 적어도 하나인 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  14. 제12항에 있어서, 상기 휴대용 기기 애플리케이션 제어 데이터는,
    게임 애플리케이션에 있어서 상기 제1 휴대용 기기를 소지한 사용자의 움직임 데이터인 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  15. 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계;
    상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계;
    상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 제1 휴대용 기기와 사용자간의 거리 및 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계;
    상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 상기 제1 휴대용 기기의 MMI 데이터를 생성하는 단계; 및
    상기 접속된 제2 휴대용 기기로 상기 생성된 MMI 데이터를 송신하는 단계를 포함하는 휴대용 기기의 감성 인터페이스 방법
  16. 제15항에 있어서,
    인터랙티브 게임 애플리케이션에 있어서, 상기 제2 휴대용 기기가, 상기 제1 휴대용 기기의 사용자의 동작에 대응되는 제1 상호작용 데이터를 수신하고, 상기 제2 휴대용 기기의 사용자의 동작에 대응되는 제2 상호작용 데이터를 생성하여, 상기 제1 상호작용 데이터와 상기 제2 상호작용 데이터 일치 정도에 따라 상기 인터랙티브 게임 애플리케이션에 대해 미리 정하여진 제어를 하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  17. 제 15항에 있어서,
    상기 접속된 제2 휴대용 기기로부터 MMI 데이터를 수신하는 단계; 및
    상기 수신된 MMI 데이터에 대응하여 상기 제1 휴대용 기기의 동작을 제어하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  18. 제 15항에 있어서,
    상기 제1 휴대용 기기로부터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계에서의 검색 결과, 접속 가능한 제2 휴대용 기기가 존재하지 않는 경우 상기 제1 휴대용 기기의 이동통신망 사용 승인을 요청하는 단계; 및
    상기 이동통신망 사용 승인이 있는 경우 이동통신을 통하여 제2 휴대용 기기에 접속을 시도하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  19. 제1 휴대용 기기가 지원하는 정보가전기기 리스트를 표시하는 단계;
    상기 제1 휴대용 기기가 상호작용하고자 하는 정보가전기기를 선택하는 단계;
    상기 제1 휴대용 기기와 사용자간의 거리 및 상기 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나를 측정하는 단계;
    상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 단계; 및
    상기 선택한 정보가전기기로 상기 생성한 MIHAMI 데이터를 송신하는 단계를 포함하는 휴대용 기기의 감성 인터페이스 방법.
  20. 제19항에 있어서, 상기 MIHAMI 데이터는,
    상기 정보가전기기에 있어서 상기 제1 휴대용 기기의 3차원 위치 변화량에 대응하여 상기 정보가전기기 화면의 커서 또는 포인터를 이동시키는 명령, 상기 정보가전기기 화면의 특정 부분을 선택하는 명령 중 적어도 하나인 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
  21. 제 19항에 있어서,
    상기 제1 휴대용 기기가 제2 휴대용 기기와 연동할지를 선택하는 단계;
    상기 선택 결과 제2 휴대용 기기와 연동하는 경우 상기 제1 휴대용 기기로부 터 근거리무선통신을 통하여 접속 가능한 제2 휴대용 기기가 존재하는지 검색하는 단계;
    상기 검색 결과 접속 가능한 제2 휴대용 기기가 존재하는 경우 근거리무선통신을 통하여 상기 접속 가능한 제2 휴대용 기기에 접속을 시도하는 단계; 및
    상기 접속을 시도한 제2 휴대용 기기로부터 접속 승인이 있는 경우 상기 제1 휴대용 기기와 상기 제2 휴대용 기기 간에 MMI 데이터를 송수신하는 단계를 더 포함하되,
    상기 측정된 제1 휴대용 기기와 사용자간의 거리 및 상기 측정된 제1 휴대용 기기의 3차원 위치 변화량 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 단계는
    상기 측정된 제1 휴대용 기기와 사용자간의 거리, 상기 제1 휴대용 기기의 3차원 위치 변화량 및 상기 제2 휴대용 기기로부터 수신한 MMI 데이터 중 적어도 하나에 대응되는 MIHAMI 데이터를 생성하는 것을 특징으로 하는 휴대용 기기의 감성 인터페이스 방법.
KR1020080091512A 2008-09-18 2008-09-18 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법 KR100998404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080091512A KR100998404B1 (ko) 2008-09-18 2008-09-18 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080091512A KR100998404B1 (ko) 2008-09-18 2008-09-18 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100032567A true KR20100032567A (ko) 2010-03-26
KR100998404B1 KR100998404B1 (ko) 2010-12-03

Family

ID=42181728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080091512A KR100998404B1 (ko) 2008-09-18 2008-09-18 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100998404B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013036870A3 (en) * 2011-09-09 2013-05-16 Intel Corporation Spherical three-dimensional controller
KR101269223B1 (ko) * 2010-10-01 2013-06-13 주식회사 코리아퍼스텍 스마트폰을 이용한 원격 제어방법 및 장치
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
KR20160037237A (ko) * 2013-07-31 2016-04-05 후아웨이 테크놀러지 컴퍼니 리미티드 단말 장치상에서의 작업을 관리하는 방법, 및 단말 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101269223B1 (ko) * 2010-10-01 2013-06-13 주식회사 코리아퍼스텍 스마트폰을 이용한 원격 제어방법 및 장치
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
WO2013036870A3 (en) * 2011-09-09 2013-05-16 Intel Corporation Spherical three-dimensional controller
US9176577B2 (en) 2011-09-09 2015-11-03 Intel Corporation Spherical three-dimensional controller
KR20160037237A (ko) * 2013-07-31 2016-04-05 후아웨이 테크놀러지 컴퍼니 리미티드 단말 장치상에서의 작업을 관리하는 방법, 및 단말 장치
US9857943B2 (en) 2013-07-31 2018-01-02 Huawei Technologies Co., Ltd. Method for managing task on terminal device, and terminal device

Also Published As

Publication number Publication date
KR100998404B1 (ko) 2010-12-03

Similar Documents

Publication Publication Date Title
US10948950B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
KR100744902B1 (ko) 휴대 무선 조작기
US9369820B2 (en) Mobile communication device and application interface switching method
US8184100B2 (en) Inertia sensing input controller and receiver and interactive system using thereof
JP4044114B2 (ja) 把持式コンピュータインタラクティブデバイス
US8059089B2 (en) Input device and method, and character input method
CN1818840B (zh) 显示激励器
US20230083457A1 (en) Actionable-object controller and data-entry device for touchscreen-based electronics
US9411467B2 (en) Actionable-object controller and data-entry device for touchscreen-based electronics
US20150009148A1 (en) Universal User Interface Device
US20110260996A1 (en) Hand-held mobile device and method for operating the hand-held mobile device
US20090262074A1 (en) Controlling and accessing content using motion processing on mobile devices
CN102016758A (zh) 触觉使能用户接口
US20110115751A1 (en) Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
KR101872272B1 (ko) 제어 기기를 이용한 전자기기의 제어 방법 및 장치
US20090062005A1 (en) Method for adjusting sensing range and sensitivity and inertia interactive aparatus and system using thereof
KR100998404B1 (ko) 다중 센서를 이용한 휴대용 기기의 감성 인터페이스 장치 및 그 방법
JP6082190B2 (ja) プログラム、情報処理装置、画像表示方法及び表示システム
JP2013250772A (ja) プログラム、情報処理装置、画像表示方法及び表示システム
CN107016983A (zh) 一种钢琴操控方法、系统以及一种电子设备
TW200935274A (en) Method for determining input mode by motion sensing and an input apparatus for the same
KR20080017194A (ko) 무선 마우스 및 그의 구동 방법
KR20080113465A (ko) 햅틱 장치를 이용한 차량용 전자 기기의 동작 제어 장치 및이를 포함하는 차량용 전자 시스템
CN203606794U (zh) 一种手持式电脑的操控系统
KR101428471B1 (ko) 통화 중 햅틱컨텐츠 제공 시스템 및 방법, 그 단말기 및 햅틱서버

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee