KR101594404B1 - 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기 - Google Patents

대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기 Download PDF

Info

Publication number
KR101594404B1
KR101594404B1 KR1020140021886A KR20140021886A KR101594404B1 KR 101594404 B1 KR101594404 B1 KR 101594404B1 KR 1020140021886 A KR1020140021886 A KR 1020140021886A KR 20140021886 A KR20140021886 A KR 20140021886A KR 101594404 B1 KR101594404 B1 KR 101594404B1
Authority
KR
South Korea
Prior art keywords
sound wave
motion
speed
velocity
dimensional
Prior art date
Application number
KR1020140021886A
Other languages
English (en)
Other versions
KR20140108492A (ko
Inventor
강병훈
박호경
Original Assignee
한국산업기술대학교산학협력단
(주)이빛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, (주)이빛 filed Critical 한국산업기술대학교산학협력단
Publication of KR20140108492A publication Critical patent/KR20140108492A/ko
Application granted granted Critical
Publication of KR101594404B1 publication Critical patent/KR101594404B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기에 관한 것이다. 본 발명에 따른 입력장치는 기준 음파를 출력하는 음파 출력부와; 상호 상이한 위치에 설치되어, 상기 기준 음파가 상기 대상 물체의 움직임에 따른 도플러 효과에 의해 변형된 변형 음파를 각각 수신하는 복수의 음파 감지부와; 상기 각 음파 감지부에 의해 감지된 상기 변형 음파에 기초하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하는 모션 인식 제어부를 포함하는 것을 특징으로 한다. 이에 따라, 도플러 효과를 이용하면서도, 사람의 손과 같은 대상 물체의 3차원적인 움직임 및 속도, 예컨대, X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도, 그리고 Z축 방향으로의 움직임 및 속도를 구별하여 인식할 수 있는 대상 물체의 3차원적 움직임을 인식할 수 있다.

Description

대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기{INPUT APPARATUS FOR RECOGNIZING 3D MOTION AND VELOCITY OF OBJECT AND ELECTRONIC DEVICE USING THE SAME}
본 발명은 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기에 관한 것으로서, 보다 상세하게는 도플러 효과를 이용하여 사람의 손과 같은 대상 물체의 3차원적인 움직임(위치와 방향) 및 속도, 예컨대, X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도, 그리고 Z축 방향으로의 움직임 및 속도를 구별하여 인식할 수 있는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기에 관한 것이다.
최근 컴퓨터의 성능이 향상됨에 따라 컴퓨터 관련 연구자들의 관심은 인간과 컴퓨터와의 인터페이스에 집중되고 있다. 인간과 컴퓨터 간의 인터페이스는 사용자와 컴퓨터와의 대화 방법으로 이에 대한 연구가 전 세계적으로 활발히 진행되고 있다.
인간과 컴퓨터 간의 인터페이스를 위한 입력 장치로는 키보드와 마우스가 가장 대표적인 것으로 인식되고 있으며, 근래에 모바일 환경으로의 변화에 맞춰 감압식이나 정전방식의 터치스크린을 이용한 터치 방식의 입력 장치에 대한 연구 또한 활발해지고 있다.
이와 같은 인간과 컴퓨터 간의 인터페이스에 대한 다양한 연구의 목적 중 하나는 인간과 컴퓨터 사이의 의사 전달 경로를 증가시키는 것이다. 이러한 추세를 반영하여 근래에는 손이나 머리의 움직임, 음성 또는 눈동자의 움직임을 이용한 인간과 컴퓨터 간의 인터페이스 기술이 제안되고 있다.
하나의 예로, 사용자의 손 동작과 같은 사용자의 움직임을 감지하고, 이를 입력장치로 활용하는 기술이 제안되고 있는데, XBOX, 닌텐도위, 플레이스테이션과 같은 게임기의 폭넓은 보급은 사용자의 움직임을 전자기기의 입력으로 인식하는 기술의 발전을 더욱 가속화시키고 있다.
대표적인 예가 마이크로소프트사의 게임기인 XBOX의 키넥트(KINECT)이다. 키넥트(KINECT)에는 다수의 적외선을 조사하고 사용자로부터 반사되어오는 적외선을 수신하여 사용자의 움직임을 감지하는 기술이 적용되어 있다. 그러나, 적외선 조사와 이를 수신하기 위한 구성의 추가로 인해 제품 가격이 고가로 형성되는 단점이 있다.
한편, 일본공개특허 특계2005-250969호에 개시된 입력 장치 및 입력 방법은 도플러 효과(Doppler effect)를 이용한 입력 기술을 제안하고 있다. 상기 일본공개특허에 개시된 입력 장치는 마이크로파를 발생하는 마이크로파 발생 수단과, 임의의 물체로부터 반사되어오는 마이크로파를 수신하는 수신 수단을 구비하여, 두 신호의 비교, 즉 도플러 효과에 의한 마이크로파의 변화를 분석하여 이를 컴퓨터 등의 입력으로 이용하고 있다.
여기서, 상기 일본공개특허는 사용자의 움직임 속도와 움직임 시간을 구분하고, 이러한 구분을 컴퓨터 등의 입력으로 적용하는 기술을 개시하고 있다.
그런데, 상기 일본공개특허가 제안하는 기술은 움직임의 속도와 움직임 시간에 따른 구분을 입력으로 사용하는 점에서, 사용자와 컴퓨터 간의 인터페이스에 있어 중요한 요소인 직관성이 결여되는 문제가 있다.
예를 들어, 컴퓨터 화면에 있어, 좌우 화면 전환이나, 상하 스크롤의 경우, 직관적인 인터페이스는 사용자의 상하 움직임이나 좌우 움직임을 그 입력으로 사용하여야 하나, 상기 일본공개특허는 움직임의 속도나 시간을 이용하기 때문에 직관적일 수 없다.
상기 일본공개특허가 사용자의 3차원 공간 상에서의 좌우 움직임과 상하 움직임, 즉 3차원적 움직임을 식별하지 못하는 원인은 도플러 효과가 음원과 대상 물체의 상대적인 거리와 속도에 의해 영향을 받을 뿐, 3차원 공간 상에서의 방향성에 영향을 받지 않기 때문이다.
즉, 음원과 대상 물체 간의 거리가 동일하게, 동일한 속도로 좌우 방향으로 움직이거나 상하 방향으로 움직이는 경우, 수신된 음파는 동일한 파형을 가지게 되므로, 이를 구분할 수 없기 때문이다.
이에 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 도플러 효과를 이용하여 사람의 손과 같은 대상 물체의 3차원적인 움직임(위치와 방향) 및 속도, 예컨대, X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도, 그리고 Z축 방향으로의 움직임 및 속도를 구별하여 인식할 수 있는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기를 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치에 있어서, 기준 음파를 출력하는 음파 출력부와; 상호 상이한 위치에 설치되어, 상기 기준 음파가 상기 대상 물체의 움직임에 따른 도플러 효과에 의해 변형된 변형 음파를 각각 수신하는 복수의 음파 감지부와; 상기 각 음파 감지부에 의해 감지된 상기 변형 음파에 기초하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하는 모션 인식 제어부를 포함하는 것을 특징으로 하는 대상 물체의 3차원적 움직임을 인식할 수 있는 입력장치에 의해서 달상된다.
여기서, 상기 음파 출력부에 의해 출력되는 상기 기준 음파의 주파수는 16kHz 내지 44kHz 범위일 수 있다.
그리고, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파의 상대적인 변화를 분석하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하여, 지시(pointing), 선택(selection), 넘김(scroll), zoom-in(확대) 및 zoom-out(축소) 중 어느 하나로 인식할 수 있다.
또한, 상기 변형 음파는 상기 각 음파 감지부와 상기 대상 물체 간의 거리에 따라 다른 형태로 변형될 수 있다.
또한, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 위상차의 상대적인 변화량을 분석하여, 상기 대상 물체의 X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도를 구별할 수 있다.
그리고, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 상기 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별할 수 있다.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기에 있어서, 화면 상에 영상이 표시되는 디스플레이부와; 상기 디스플레이부의 화면 상에 영상이 표시되도록 영상신호를 상기 디스플레이부에 전송하는 정보 처리 단말부와; 기준 음파를 출력하는 음파 출력부와, 상호 상이한 위치에 설치되어 상기 기준 음파가 상기 대상 물체의 움직임에 따른 도플러 효과에 의해 변형된 변형 음파를 각각 수신하는 복수의 음파 감지부와, 상기 각 음파 감지부에 의해 감지된 상기 변형 음파에 기초하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하는 모션 인식 제어부를 갖는 입력장치를 포함하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기에 의해서도 달성될 수 있다.
여기서, 상기 디스플레이부는 평판 디스플레이 패널 형태로 마련되며; 상기 복수의 음파 감지부는 상기 평판 디스플레이 패널에 피에조 물질을 이용한 박막 형태로 설치될 수 있다.
그리고, 상기 음파 출력부에 의해 출력되는 상기 기준 음파의 주파수는 16kHz 내지 44kHz 범위일 수 있다.
또한, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파의 상대적인 변화를 분석하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하여, 지시(pointing), 선택(selection), 넘김(scroll), zoom-in(확대) 및 zoom-out(축소) 중 어느 하나로 인식할 수 있다.
그리고, 상기 변형 음파는 상기 각 음파 감지부와 상기 대상 물체 간의 거리에 따라 다른 형태로 변형될 수 있다.
또한, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 위상차의 상대적인 변화량을 분석하여, 상기 대상 물체의 X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도를 구별할 수 있다.
그리고, 상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 상기 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별할 수 있다.
상기와 같은 구성을 통해, 본 발명에 따르면, 도플러 효과를 이용하면서도, 사람의 손과 같은 대상 물체의 3차원적인 움직임(위치와 방향) 및 속도, 예컨대, X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도, 그리고 Z축 방향으로의 움직임 및 속도를 구별하여 인식할 수 있는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기가 제공된다.
도 1은 본 발명에 따른 전자기기의 구성의 예를 도시한 도면이고,
도 2는 본 발명에 따른 입력 장치의 구성을 도시한 도면이고,
도 3은 본 발명에 따른 입력 장치의 음파 출력부의 설치 예를 도시한 도면이고,
도 4는 본 발명에 따른 입력 장치의 작동 원리를 설명하기 위한 도면이고,
도 5 내지 도 9는 본 발명에 따른 입력 장치에 대한 실험 결과를 나타낸 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 전자기기의 예를 도시한 도면이다. 도 1을 참조하여 설명하면, 본 발명에 따른 전자기기는 디스플레이부(100), 정보 처리 단말부(300) 및 입력장치(10)를 포함한다.
디스플레이부(100)는 화면 상에 영상을 표시한다. 그리고, 정보 처리 단말부(300)는 디스플레이부(100)의 화면 상에 영상이 표시되도록 영상신호를 생성하여 디스플레이부(100)에 전송한다.
본 발명에 따른 실시예에서는 전자기기가, 도 1에 도시된 바와 같이, 컴퓨터 시스템의 형태로 마련되는 것을 예로 하고 있다. 즉, 디스플레이부(100)가 모니터이고, 정보 처리 단말부(300)가 컴퓨터 본체인 것을 예로 하고 있다. 이외에도, 모니터와 본체가 일체형인 컴퓨터, XBOX 등의 게임기기, TV 등과 같이 사용자의 움직임을 입력으로 사용 가능한 다른 전자기기도 본 발명이 적용 가능함은 물론이다.
한편, 본 발명에 따른 입력장치(10)는 대상 물체(Ob, 도 4 참조), 예컨대, 사용자의 손의 3차원적 움직임을 인식하여 이를 정보 처리 단말부(300)의 입력으로 전송한다. 여기서, 본 발명에 따른 입력장치(10)에서 '3차원적 움직임'은 위치와 방향을 포함하는 개념으로 사용되며, X축 방향으로의 움직임은 X축 방향으로의 위치 및 방향을, Y축 방향으로의 움직임은 Y축 방향으로의 위치 및 방향을, Z축 방향으로의 움직임은 Z축 방향으로 위치 및 방향을 포함하는 개념으로 정의된다.
도 2를 참조하여 설명하면, 본 발명에 따른 입력 장치는 음파 출력부(13), 복수의 음파 감지부(11a,11b,11c,11d) 및 모션 인식 제어부(12)를 포함한다.
음파 출력부(13)는 3차원적인 움직임의 인식을 위한 기준 음파를 출력한다. 여기서, 본 발명에서는 음파 출력부(13)가 16kHz 내지 44kHz 범위 내의 기준 음파를 출력하는 것을 예로 한다.
복수의 음파 감지부(11a,11b,11c,11d)는 음파 출력부(13)로부터 출력된 기준 음파를 수신한다. 여기서, 본 발명에 따른 음파 감지부(11a,11b,11c,11d)는 상호 상이한 위치에 설치된 상태로 기준 음파를 수신하는데, 이 때 기준 음파는 대상 물체(Ob), 즉 사람의 손의 움직임에 따른 도플러 효과에 의해 변형된 상태로 수신된다. 이하에서는 음파 감지부(13)에 의해 수신되는 음파를 변형 음파라 정의하여 설명한다.
본 발명에서는 음파 감지부(11a,11b,11c,11d)가, 도 3에 도시된 바와 같이, 디스플레이부(100)에 설치되는 것을 예로 한다. 예를 들어, 디스플레이부(100)가 LCD(Liquid Crystal Display) 방식의 평판 디스플레이 패널 형태로 마련되고, 음파 감지부(11a,11b,11c,11d)가 평판 디스플레이 패널에 피에조 물질을 이용한 박막 형태로 설치될 수 있다. 도 3에서는 음파 감지부(11a,11b,11c,11d)가 상하좌우 네 모서리 영역에 각각 설치되는 것을 예로 하고 있으나, 2개의 음파 감지부(11a,11b,11c,11d)가 양측에 각각 설치될 수 있음은 물론이다.
모션 인식 제어부(12)는 각각의 음파 감지부(11a,11b,11c,11d)에 의해 감지된 변형 음파에 기초하여, 대상 물체(Ob)의 3차원 공간 상에서의 적어도 2축 이상의 움직임을 구별하여 판별하게 된다. 즉, 모션 인식 제어부(12)는 각각의 음파 감지부(11a,11b,11c,11d)에 의해 감지된 변형 음파의 상대적인 변화를 분석함으로써, 대상 물체(Ob)의 3차원 공간 상에서의 적어도 2축 이상의 움직임을 구별하여 판별하게 된다.
예를 들어, 모션 인식 제어부(12)는 각 음파 감지부(11a,11b,11c,11d)에 의해 감지된 변형 음파를 처리하여 얻은 도플러 효과의 주파수 위상차의 상대적인 변화량을 이용하여 대상 물체(Ob)의 X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도를 판별할 수 있다.
또한, 모션 인식 제어부(12)는 각 음파 감지부(11a,11b,11c,11d)에 의해 감지된 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별할 수 있다.
이하에서는, 도 4를 참조하여, 한 쌍의 음파 감지부(11a,11b,11c,11d)를 통해 변형 음파가 수신되는 경우, 본 발명에 따른 모션 인식 제어부(12)가 좌우 방향으로의 움직임을 구분하는 예를 설명한다.
도 4에 도시된 바와 같이, 한 쌍의 음파 음파 감지부(11a,11b)는 상호 이격된 상태로 배치되고, 대상 물체(Ob)가 좌측에서 우축으로 움직이는 것으로 가정할 때, 대상 물체(Ob)가 좌측에 위치할 때 좌측 음파 감지부(11a)와 대상 물체(Ob) 간의 거리인 d1과 우측 음파 감지부(11b)와 대상 물체(Ob) 간의 거리인 D1는 다르게 된다.
이 때 대상 물체(Ob)가 우측으로 이동하게 되면 대상 물체(Ob)와 두 음파 감지부(11a,11b) 간의 거리는 상호 상이하고 최종 위치에서의 거리도 d2와 D2로 상호 상이하므로, 도플러 효과에 따른 변형 음파도 서로 다른 형태를 가지게 되는 바, 이를 분석함으로써 대상 물체(Ob)가 좌에서 우로 움직이고 있음을 판별할 수 있게 된다. 이는 대상 물체(Ob)가 우에서 좌로 움직일 때, 또는 상하로 움직일 때에도 동일하게 적용 가능하게 된다. 또한, 대상 물체(Ob)가 음파 감지부(11a,11b,11c,11d) 측으로 움직이는 경우에도 적용 가능하게 된다.
즉, 변형 음파는 각각의 음파 감지부(11a,11b,11c,11d)와 대상 물체(Ob) 간의 거리에 따라 다른 형태로 변형될 수 있는 바, 이를 이용하여 대상 물체(Ob)의 3차원적인 움직임, 예컨대 X축 방향으로의 움직임, Y축 방향으로의 움직임, 및 Z축 방향으로의 움직임을 구별할 수 있게 된다.
이하에서는 도 5 내지 도 9를 참조하여 본 발명에 따른 입력 장치(10)가 도플러 효과를 이용하여 3차원적 움직임을 구별할 수 있음을 예를 들어 설명한다. 실험에서는, 도 4에 도시된 바와 같이, 2개의 마이크를 상호 이격시킨 상태에 두고, 대상 물체(Ob)를 대신하여 음원을 도 4에 도시된 바와 같이 좌우로 이동시키며 2개의 마이크를 통해 수신된 음파를 분석하였다.
도 5 및 도 6은 음원을 좌우로 1000mm/s의 속도로 이동하여 실험한 결과로, 도 5 및 도 6은 각각의 마이크를 통해 수신된 음파를 분석한 그래프를 도시하고 있다.
이론적으로 도플러 효과에 따른 도플러 주파수는 음원과 물체가 가까워질 때 [수학식 1]을 통해 산출되고, 음원과 물체가 멀어질 때 [수학식 2]를 통해 산출된다.
[수학식 1]
Figure 112014018350714-pat00001
[수학식 2]
Figure 112014018350714-pat00002

여기서, f1은 도플러 주파수이고, f0는 최조 주파수이고, v는 음속, 즉 340m/s이고, vs는 이동 속도이다.
도 5의 (a) 및 도 6의 (b)는 주파수별 크기(Amplitude)를 나타낸 것으로, x축이 주파수이고, y축이 크기를 나타낸다. 도 5의 (b) 및 도 6의 (b)는 시간에 따른 주파수의 변화를 나타낸 그래프로, x축은 시간에 따른 프레임 수이고, y축은 주파수를 나타낸다.
도 5의 (b) 및 도 6의 (b)의 그래프는 통상적인 음파의 분석 과정, 예컨대, 아날로그 형태의 음파를 시간축을 기준으로 샘플링하고, FFT 변환을 통해 주파수 영역의 크기와 위상 정보를 추출하고, 관심 주파수, 즉 기준 음파의 주파수를 기준으로 일정 범위의 주위 데이터를 추출하며, 샘플 프레임에 따라 주파수의 변화량을 추출하여 획득될 수 있다.
도 5의 (b) 및 도 6의 (b)를 참조하여 설명하면, 음원의 좌우 이동에 따라 주파수 또한 주기적인 변화를 보이는데, 음원이 가까워 질수도록 주파수가 높아지고, 음원이 멀어질수록 주파수가 낮아짐을 확인할 수 있다.
그리고, 각각의 마이크, 즉 각각의 음파 감지부(11a,11b,11c,11d)에 의해 감지된 음원의 도플러 효과에 따른 주파수 위상차의 상대적인 변화에 따라 어느 음파 감지부(11a,11b,11c,11d)에 가까워지고 어느 음파 감지부(11a,11b,11c,11d)로부터 멀어지는지의 확인이 가능하게 됨으로써, 좌우 움직임, 즉 위치와 방향의 파악이 가능하게 된다.
도 7 및 도 8은 음원의 속도를 1200mm/s로 증가시켜 실험한 그래프를 나타낸 도면으로, 상술한 바와 같이 음원과의 상대적인 위치에 따라 각 마이크에 의해 수신된 음파의 주파수가 변화함을 확인할 수 있다.
또한, 1000mm/s와 1200mm/s의 구분, 즉 속도의 구분은 주파수의 변화 주기를 통해 확인이 가능하게 되므로, 3차원적인 움직임과 속도를 동시에 확인할 수 있게 된다.
도 9는 Z축 방향으로의 움직임에 따른 크기(Amplitude)의 변화를 나타낸 그래프이다. 도 9를 참조하여 설명하면, 동일한 속도로 움직이는 물체를 Z축 방향으로의 거리만 변화시켜 움직이면, 도 9에 도시된 바와 같이, 도플러 주파수 변화는 동일하나, Z축 방향으로의 거리가 멀어짐에 따라 주파수의 크기(Amplitude)가 커짐을 확인할 수 있다. 도 9에서 d1이 가장 가까운 거리이고, d4가 가장 먼 거리이다.
따라서, 주파수의 크기(Amplitude)의 변화에 따라 Z축 방향으로의 위치 및 방향을 판별할 수 있으며, 주파수 크기(Amplitude)의 변화를 측정시간으로 나누면, Z축 방향으로의 속도도 판별 가능하게 된다.
이에, 모션 인식 제어부(12)는 각 음파 감지부(11a,11b,11c,11d)에 의해 감지된 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별할 수 있다.
상기와 같은 구성을 통해, 모션 인식 제어부(12)는 대상 물체(Ob)의 3차원적 움직임, X축 방향, Y축 방향 및 Z축 방향 각각으로의 움직임, 즉 위치 및 방향과, 각각의 방향으로의 속도를 구별하여 판별하게 되고, 이를 통해 지시(pointing), 선택(selection), 넘김(scroll), zoom-in(확대), zoom-out(축소) 등의 모션을 인식하여 입력으로 적용할 수 있게 된다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100 : 디스플레이부 300 : 정보 처리 단말부
10 : 입력장치 11a,11b,11c,11d : 음파 감지부
12 : 모션 인식 제어부 13 : 음파 출력부

Claims (13)

  1. 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치에 있어서,
    기준 음파를 출력하는 음파 출력부와;
    상호 상이한 위치에 설치되어, 상기 기준 음파가 상기 대상 물체의 움직임에 따른 도플러 효과에 의해 변형된 변형 음파를 각각 수신하는 복수의 음파 감지부와;
    상기 각 음파 감지부에 의해 감지된 상기 변형 음파에 기초하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하는 모션 인식 제어부를 포함하며,
    상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 위상차의 상대적인 변화량을 분석하여, 상기 대상 물체의 X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도를 구별하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치.
  2. 제1항에 있어서,
    상기 음파 출력부에 의해 출력되는 상기 기준 음파의 주파수는 16kHz 내지 44kHz 범위인 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치.
  3. 제1항에 있어서,
    상기 모션 인식 제어부는
    상기 각 음파 감지부에 의해 감지된 상기 변형 음파의 상대적인 변화를 분석하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하여, 지시(pointing), 선택(selection), 넘김(scroll), zoom-in(확대) 및 zoom-out(축소) 중 어느 하나로 인식하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치.
  4. 제1항에 있어서,
    상기 변형 음파는 상기 각 음파 감지부와 상기 대상 물체 간의 거리에 따라 다른 형태로 변형되는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 상기 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치.
  7. 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기에 있어서,
    화면 상에 영상이 표시되는 디스플레이부와;
    상기 디스플레이부의 화면 상에 영상이 표시되도록 영상신호를 상기 디스플레이부에 전송하는 정보 처리 단말부와;
    기준 음파를 출력하는 음파 출력부와, 상호 상이한 위치에 설치되어 상기 기준 음파가 상기 대상 물체의 움직임에 따른 도플러 효과에 의해 변형된 변형 음파를 각각 수신하는 복수의 음파 감지부와, 상기 각 음파 감지부에 의해 감지된 상기 변형 음파에 기초하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하는 모션 인식 제어부를 갖는 입력장치를 포함하며,
    상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 위상차의 상대적인 변화량을 분석하여, 상기 대상 물체의 X축 방향으로의 움직임 및 속도, Y축 방향으로의 움직임 및 속도를 구별하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
  8. 제7항에 있어서,
    상기 디스플레이부는 평판 디스플레이 패널 형태로 마련되며;
    상기 복수의 음파 감지부는 상기 평판 디스플레이 패널에 피에조 물질을 이용한 박막 형태로 설치되는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
  9. 제7항에 있어서,
    상기 음파 출력부에 의해 출력되는 상기 기준 음파의 주파수는 16kHz 내지 44kHz 범위인 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
  10. 제7항에 있어서,
    상기 모션 인식 제어부는
    상기 각 음파 감지부에 의해 감지된 상기 변형 음파의 상대적인 변화를 분석하여 상기 대상 물체의 3차원 공간 상에서의 적어도 2축 이상의 움직임 및 속도를 구별하여 판별하여, 지시(pointing), 선택(selection), 넘김(scroll), zoom-in(확대) 및 zoom-out(축소) 중 어느 하나로 인식하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
  11. 제7항에 있어서,
    상기 변형 음파는 상기 각 음파 감지부와 상기 대상 물체 간의 거리에 따라 다른 형태로 변형되는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
  12. 삭제
  13. 제7항에 있어서,
    상기 모션 인식 제어부는 상기 각 음파 감지부에 의해 감지된 상기 변형 음파를 처리하여 얻은 도플러 효과의 주파수 크기(Amplitude)에 기초하여 상기 대상 물체의 Z축 방향으로의 움직임 및 속도를 판별하는 것을 특징으로 하는 대상 물체의 3차원적 움직임 및 속도를 입력으로 사용하는 전자 기기.
KR1020140021886A 2013-02-25 2014-02-25 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기 KR101594404B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130019635 2013-02-25
KR20130019635 2013-02-25

Publications (2)

Publication Number Publication Date
KR20140108492A KR20140108492A (ko) 2014-09-11
KR101594404B1 true KR101594404B1 (ko) 2016-02-17

Family

ID=51755596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140021886A KR101594404B1 (ko) 2013-02-25 2014-02-25 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기

Country Status (1)

Country Link
KR (1) KR101594404B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646449B1 (ko) * 2015-02-12 2016-08-05 현대자동차주식회사 시선 인식 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351605A (ja) 2001-05-28 2002-12-06 Canon Inc 座標入力装置
JP2009026111A (ja) * 2007-07-20 2009-02-05 Nec Corp 位置検出装置及びこれを用いた電気機器、位置検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
KR101217863B1 (ko) * 2009-09-30 2013-01-03 주식회사 릿치마이크로웨이브 마이크로파를 이용한 터치 패널 및 이에 있어서 터치된 위치 검출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351605A (ja) 2001-05-28 2002-12-06 Canon Inc 座標入力装置
JP2009026111A (ja) * 2007-07-20 2009-02-05 Nec Corp 位置検出装置及びこれを用いた電気機器、位置検出方法

Also Published As

Publication number Publication date
KR20140108492A (ko) 2014-09-11

Similar Documents

Publication Publication Date Title
KR101639383B1 (ko) 근접 터치 동작 감지 장치 및 방법
JP6052743B2 (ja) タッチパネルデバイスとタッチパネルデバイスの制御方法
US8179408B2 (en) Projective capacitive touch apparatus, and method for identifying distinctive positions
JP6411756B2 (ja) 接触子に基づいたハプティックフィードバック生成
US9678606B2 (en) Method and device for determining a touch gesture
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9733789B2 (en) Interfacing with a device via virtual 3D objects
EP3470963B1 (en) Control using movements
EP2406702B1 (en) System and method for interfaces featuring surface-based haptic effects
US20140189579A1 (en) System and method for controlling zooming and/or scrolling
US20170160871A1 (en) Vibrated waveguide surface for optical touch detection
US20140098049A1 (en) Systems and methods for touch-based input on ultrasound devices
US20120188285A1 (en) Enhanced pointing interface
EP2693311A1 (en) Operation device
TWI457798B (zh) 多點旋轉運動的識別方法及裝置
WO2015022498A1 (en) Touchless user interfaces
TWI581171B (zh) 多點手勢識別方法及多點平移手勢的識別裝置
CN104137045A (zh) 用户手势识别
WO2015121955A1 (ja) 電子機器、入力装置、及び駆動制御方法
TW201239739A (en) Method and device for identifying multipoint zoom movement
KR101594404B1 (ko) 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기
US10088906B2 (en) Method and apparatus for recognizing swipe operation of a user on a user interface
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR20160089717A (ko) 펜의 기울기 정보를 이용하여 3d 호버링 인식이 가능한 디지타이저 시스템
US20120218217A1 (en) Method for three-dimensional support of the manual operation of graphical user interfaces

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 5