KR20150068001A - 센서를 이용한 동작 인식 방법 및 장치 - Google Patents

센서를 이용한 동작 인식 방법 및 장치 Download PDF

Info

Publication number
KR20150068001A
KR20150068001A KR1020130153692A KR20130153692A KR20150068001A KR 20150068001 A KR20150068001 A KR 20150068001A KR 1020130153692 A KR1020130153692 A KR 1020130153692A KR 20130153692 A KR20130153692 A KR 20130153692A KR 20150068001 A KR20150068001 A KR 20150068001A
Authority
KR
South Korea
Prior art keywords
sensor
value
values
recognizing
motion recognition
Prior art date
Application number
KR1020130153692A
Other languages
English (en)
Inventor
정문식
이성오
최성도
차현희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130153692A priority Critical patent/KR20150068001A/ko
Priority to US14/564,762 priority patent/US9760181B2/en
Publication of KR20150068001A publication Critical patent/KR20150068001A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 동작범위가 상이한 복수의 센서들에서 연속적으로 객체에 대한 센서값들을 인식하는 단계, 상기 센서값들을 결합(fusion)하여 제어값을 생성하는 단계, 및 상기 제어값에 대응하는 기능을 실행하는 단계를 포함하는 센서를 이용한 동작 인식 방법을 제공한다.

Description

센서를 이용한 동작 인식 방법 및 장치{APPARATUS AND METHOD FOR RECOGNIZING GESTURE USING SENSOR}
본 발명은 센서를 이용하여 동작을 인식하는 방안에 관한 것이다.
일반적으로 휴대 단말기에서 동작을 감지하는 방법은 상, 하, 좌, 우의 동작을 인식하거나, 카메라를 이용하여 특정 동작을 감지하는 방법을 사용하고 있다. 그 중에서, 손 동작 인식(Hand Gesture Recognition) 기술은 다양한 센서들을 이용하여 손의 움직임, 손의 모양 등 손과 관련된 동작을 인식하는 기술을 의미한다. 종래의 손 동작 인식 방법은 터치센서, 근접센서, 카메라 센서 등 다양한 센서를 이용하여 손 동작을 인식하였다.
종래의 동작 인식 방법은 복수의 센서들을 이용하여 동작을 인식하기 때문에, 객체와의 거리가 변화하면 상기 객체의 동작을 인식하지 못하는 경우가 발생하고 있다. 왜냐하면, 각 센서마다 동작범위나 특성이 달라, 객체가 제1 센서의 동작범위에서 벗어나면, 상기 제1 센서를 대신에 제2 센서에서 상기 객체의 동작을 인식하면 되지만 상기 제1 센서와 상기 제2 센서 간에 연속적으로 객체의 동작을 인식하지 못하기 때문이다. 즉, 종래의 동작 인식 방법은 상기 제1 센서가 더 이상 객체의 동작을 인식할 수 없을 때 대신에 제2 센서에서 상기 객체의 동작을 연속적으로 인식하지 못한다는 단점이 있다.
본 발명의 일실시예는 동작범위가 상이한 복수의 센서들에서 끊김없이 연속적으로 객체의 동작을 인식할 수 있는 센서를 이용한 동작 인식 방법 및 장치를 제공함을 목적으로 한다.
본 발명의 일실시예에 따른 센서를 이용한 동작 인식 방법은 동작범위가 상이한 복수의 센서들에서 연속적으로 객체에 대한 센서값들을 인식하는 단계, 상기 센서값들을 결합(fusion)하여 제어값을 생성하는 단계, 및 상기 제어값에 대응하는 기능을 실행하는 단계를 포함한다.
본 발명의 일실시예에 따른 센서를 이용한 동작 인식 장치는 연속적으로 객체에 대한 센서값들을 인식하는 센서부, 및 상기 센서값들을 결합하여 제어값을 생성하고, 상기 제어값에 대응하는 기능을 실행하는 제어부를 포함한다.
본 발명의 일실시예에 따르면, 동작범위가 상이한 복수의 센서들에서 끊김없이 연속적으로 객체의 동작을 인식할 수 있다.
도 1은 본 발명의 일실시예에 따른 센서를 이용한 동작 인식 방법을 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 복수의 센서들의 동작범위를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 깊이값을 인식하는 일례를 도시한 도면이다.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 포인터값을 인식하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 객체를 추적하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 스와이프값을 인식하는 일례를 도시한 도면이다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 종류가 동일한 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 8a 및 도 8b는 본 발명의 일실시예에 따른 종류가 상이한 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 9a 및 도 9b는 본 발명의 일실시예에 따른 동일한 종류의 센서값들과 상이한 종류의 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 센서를 이용한 동작 인식 장치의 구성을 도시한 블록도이다.
이하, 첨부된 도면들을 참조하여 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명의 센서를 이용한 동작 인식 장치는 "전자장치"에 포함되어 수행될 수 있다.
본 발명에 따른 전자 장치는, 통신 기능 이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 일실시예에 따른 센서를 이용한 동작 인식 방법을 도시한 흐름도이다. 본 발명의 "센서를 이용한 동작 인식 방법"은 센서를 이용한 동작 인식 장치에 의해 수행될 수 있다.
도 1을 참고하면, 단계(110)에서 센서를 이용한 동작 인식 장치(이하, "동작 인식 장치"라 함)는 동작범위가 상이한 복수의 센서들에서 연속적으로 상기 객체에 대한 센서값들을 인식한다. 여기서, 상기 객체는 상기 동작 인식 장치가 동작을 인식하는 "대상"으로, 예를 들어, 사용자의 손일 수 있다.
종래에도 복수의 센서들을 이용하여 동작을 인식하고 있는데, 객체로부터의 거리가 변화하면, 각 센서마다 동작범위나 특성이 달라, 상기 객체의 동작을 연속적으로 인식하지 못하는 경우가 발생하고 있다. 즉, 상기 객체가 제1 센서의 동작범위에서 벗어나면, 상기 제1 센서를 대신에 제2 센서에서 상기 객체의 동작을 인식해야 하지만, 종래에는 상기 제1 센서와 상기 제2 센서는 연속적으로 상기 객체의 동작을 인식하지 못하였다.
따라서, 본 발명에서는 동작범위가 상이한 복수의 센서들에서 끊김없이(seamless) 연속적으로 상기 객체의 동작을 인식할 수 있도록 한다.
실시예로, 상기 동작 인식 장치는 상기 객체에 대한 센서값들을 인식하는 센서들로서 접촉센서, 근접센서, 카메라 센서 및 동적 시각 센서(Dynamic Vision Sensor) 중 적어도 하나를 이용할 수 있다. 상기 복수의 센서들은 동작범위나 특성이 서로 상이하다.
센서 종류 거리 Fps 전력 해상도 XY Z 휘도
근접센서 0~150 - Low (≤5) - HW HW High
동적 시각 센서 0~300 High
(≥120)
Low
(≤10)
120x120 SW SW -
카메라 센서 0~500 30 High
(≥100)
≥QVGA SW SW Low
(≥20)
도 2는 본 발명의 일실시예에 따른 복수의 센서들의 동작범위를 도시한 도면이다.
도 2 및 표 1을 참고하면, 센서들을 동작거리(mm)를 기준으로 나열하면, 접촉센서(210)는 동작 인식 장치의 일면으로부터 객체까지의 거리(또는 수직거리)가 '0~50(a)'이고, 근접센서(220)는 상기 거리가 '0~150(b)'이고, 동적 시각 센서(240)는 상기 거리가 '0~300(c)'이며, 카메라 센서(230)는 상기 거리가 '0~500'이다. 다만, 근접센서(220)의 동작각도(80°)는 카메라 센서(230)의 동작각도(70°) 및 동적 시각 센서(240)의 동작각도(70°)보다 크다.
또한, 초당 프레임 수(Frame Per Second; Fps)는 동적 시각 센서(240)가 카메라 센서(230)보다 높다. 동작전력(mW)은 근접센서(220)가 가장 낮고, 카메라 센서(230)가 가장 크다. 해상도는 카메라 센서(230)가 동적 시각 센서(240)보다 높다. 참고로, QVGA (Quarter Video Graphics Array)는 320x240의 해상도를 가진다. 휘도(Lux)는 근접센서(220)가 높고, 카메라 센서(230)의 휘도는 20 이하이다.
즉, 상기 복수의 센서들은 동작범위나 특성이 서로 상이하다. 따라서, 상기 복수의 센서들은 데이터의 수준에 따라 데이터 레벨(data-level), 특징 레벨(feature-level), 결정 레벨(decision-level)로 센서값을 출력할 수 있다. 따라서, 상기 동작 인식 장치는 각 센서에서 출력한 데이터 레벨, 특징 레벨, 결정 레벨을 이용하여 하나의 종합적인 제어값을 생성할 수 있다. 따라서, 상기 동작 인식 장치는 각 센서의 동작범위나 특성에 제한받지 않는 동작 인식 기술을 구현 가능하다.
실시예로, 상기 복수의 센서들은 상기 센서값으로서 깊이값, 포인터값 및 스와이프값 중 적어도 하나를 인식할 수 있다.
도 3은 본 발명의 일실시예에 따른 깊이값을 인식하는 일례를 도시한 도면이다.
도 3을 참고하면, 상기 동작 인식 장치는 객체를 상기 동작 인식 장치의 일면(화면)과 일방향으로 밀고 당기는 동작을 통하여 상기 일면으로부터의 거리를 깊이값으로 인식할 수 있다. 접촉센서(310)는 거리가 50mm까지 인식할 수 있고, 근접센서(320)는 상기 거리가 150mm까지 인식할 수 있으며, 카메라 센서(330) 및 동적 시각 센서(340)는 상기 거리가 300mm까지 인식할 수 있다. 따라서, 상기 동작 인식 장치는 상기 객체의 거리가 0~300까지 변화하더라도 접촉센서(310), 근접센서(320), 카메라 센서(330) 및 동적 시각 센서(340)에서 연속적으로 상기 객체에 대한 깊이값들을 인식할 수 있도록 한다. 상기 동작 인식 장치는 상기 깊이값에 대응하는 기능을 수행할 수 있다.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 포인터값을 인식하는 일례를 도시한 도면이다.
도 4a를 참고하면, 상기 동작 인식 장치는 객체를 공간 상의 포인터로 활용함으로써, 상기 센서값으로 포인터값을 인식할 수 있다. 예컨대, 상기 포인터값은 공간 상의 x, y, z 좌표값을 포함할 수 있다. 즉, 상기 포인터값을 인식하는 복수의 센서들(접촉센서, 근접센서, 카메라 센서, 동적 시각 센서)은 동작범위가 각각 상이하다. 그러나, 상기 복수의 센서들은 연속적으로 상기 객체에 대한 포인터값을 인식할 수 있다.
도 4b를 참고하면, 상기 동작 인식 장치는 상기 포인터값으로 부호(symbol)를 인식할 수도 있다. 예를 들어, 상기 부호는 주먹(fist, 401), 손바닥(palm, 402), OK(403), 승리(Victory, 404), 손바닥 벌리기(405), 곤지손가락 옆으로(406), 엄지손가락(Thumb-up, 407), 곤지손가락 위로(408), 곤지손가락 옆으로 하고 엄지손가락 위로(409) 등을 포함할 수 있다.
도 4c를 참고하면, 상기 동작 인식 장치는 부호에 대응하는 기능을 수행할 수 있다. 예를 들어, 상기 동작 인식 장치는 부호가 OK이면, '확대'라는 기능을 부여함으로써, 상기 동작 인식 장치의 화면을 확대 또는 축소할 수 있다.
도 5는 본 발명의 일실시예에 따른 객체를 추적하는 일례를 도시한 도면이다.
도 5를 참고하면, 상기 동작 인식 장치는 센서의 동작범위를 고려하여 접촉센서, 근접센서, 카메라 센서 및 동적 시각 센서 중 적어도 하나의 장착위치를 결정할 수 있다. 예를 들어, 동작 인식 장치가 "스마트폰"인 경우, 화면에는 접촉센서(510)를 장착하고, 화면 상단에는 근접센서(520), 카메라 센서(530)를 장착하면, 화면 하단에는 동적 시각 센서(540)를 장착할 수 있다.
이렇게, 각 센서가 장착된 후, 상기 동작 인식 장치는 각 센서의 동작범위나 특성을 고려하여 센서값을 이용하여 객체를 추적할 수 있다. 예를 들어, 화면 상단에 장착된 근접센서(520)와 카메라 센서(530)는 포인터값 인식이 용이하기 때문에, 상기 동작 인식 장치는 포인터값을 기준으로 객체를 추적할 수 있다(501). 또는, 화면 하단에 장착된 동적 시각 센서(540)는 객체의 모션 인식이 용이하기 때문에, 상기 동작 인식 장치는 모션값을 기준으로 객체를 추적할 수 있다(502). 여기서, 모션값은 스와이프값으로 해석할 수 있다.
따라서, 상기 동작 인식 장치는 접촉센서(510), 근접센서(520), 카메라 센서(530) 및 동적 시각 센서(540)가 인식할 수 없는 영역(도 2의 d)에서도 객체의 동작을 추적하여 객체의 동작을 인식할 수 있다.
도 6은 본 발명의 일실시예에 따른 스와이프값을 인식하는 일례를 도시한 도면이다.
도 6을 참고하면, 상기 동작 인식 장치는 손 동작 인식 기술인 핸드 스와이프 인식 기술을 활용함으로써, 센서값으로 스와이프(swipe)값을 인식할 수 있다. 스와이프값은 시간에 따라 객체의 깊이값이나 포인터값이 변화되는 센서값이다. 따라서, 상기 동작 인식 장치는 일정 시간 동안 상기 객체의 모션 또는 상기 객체의 속도에 따라 상기 스와이프값을 인식할 수 있다. 이때, 상기 객체에 대한 깊이값의 변경되어도, 상기 복수의 센서들은 연속적으로 상기 객체의 모션을 인식할 수 있다. 따라서, 상기 동작 인식 장치는 각 센서의 제한적인 동작범위와 상관없이 끊김없는 객체에 대한 동작을 인식할 수 있다.
다시 도 1의 단계(120)에서, 상기 동작 인식 장치는 상기 센서값들을 결합(fusion)하여 제어값을 생성한다. 즉, 복수의 센서들에서 인식한 센서값들은 동일하거나, 다를 수 있다. 따라서, 상기 동작 인식 장치는 동일 종류의 센서값 또는 상이한 종류의 센서값들을 결합하여 기능 수행을 위한 제어값을 생성할 수 있다.
실시예로, 상기 동작 인식 장치는 상기 센서값들의 종류가 동일한 경우, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제어값을 생성할 수 있다. 예들 들어, 접촉센서 및 근접센서에서 인식한 센서값은 절대값을 가지며, 카메라 센서 및 동적 시각 센서에서 인식한 센서값은 상대값을 가질 수 있다.
다른 실시예로, 상기 동작 인식 장치는 상기 센서값들의 종류가 상이한 경우, 센서값들을 갱신하고, 상기 갱신된 센서값들을 결합하여 제어값을 생성할 수 있다.
또 다른 실시예로, 상기 동작 인식 장치는 종류가 동일한 센서값들에 대하여, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제1 결합값을 생성하고, 종류가 상이한 센서값들에 대하여, 센서값들을 갱신하여 갱신된 센서값들을 결합하여 제2 결합값을 생성하며, 상기 제1 결합값 및 상기 제2 결합값을 결합하여 제어값을 생성할 수 있다.
단계(130)에서, 상기 동작 인식 장치는 상기 제어값에 대응하는 기능을 실행한다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 종류가 동일한 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 7a를 참고하면, 설명의 편의를 위해, 제1 센서(701)에서 인식한 깊이값을 제1 깊이값이라 하고, 제2 센서(702)에서 인식한 깊이값을 제2 깊이값이라 한다.
단계(703)에서, 상기 동작 인식 장치는 제1 센서(701)에서 제1 깊이값을 인식하였는지 확인할 수 있다. 인식된 경우, 단계(704)에서, 상기 동작 인식 장치는 제2 센서(702)에서 제2 깊이값을 인식하였는지 확인할 수 있다. 단계(705)에서, 상기 동작 인식 장치는 가중치 기법이나 필터기법을 이용하여 상기 제1 깊이값 및 상기 제2 깊이값을 결합할 수 있다. 일례로, 상기 동작 인식 장치는 상기 제1 깊이값에 제1 센서의 가중치를 적용하고, 상기 제2 깊이값에 제2 센서의 가중치를 적용한 후, 가중치를 적용한 두 깊이값의 합(sum)을 가중치의 합으로 나눌 수 있다.
단계(710)에서, 상기 동작 인식 장치는 단계(705)의 출력값을 제어값으로 생성할 수 있다.
또는, 제2 센서(702)에서 제2 깊이값을 인식하지 않은 경우, 단계(706) 및 단계(710)에서, 상기 동작 인식 장치는 제1 깊이값만으로 제어값을 생성할 수 있다.
또는, 제1 센서(701)에서 제1 깊이값을 인식하지 않은 경우, 단계(707)에서, 상기 동작 인식 장치는 제2 센서(702)에서 제2 깊이값을 인식하였는지 확인할 수 있다. 단계(708) 및 단계(710)에서, 상기 동작 인식 장치는 제2 깊이값만으로 제어값을 생성할 수 있다.
또는, 단계(709)에서, 상기 동작 인식 장치는 상기 제1 깊이값 또는 상기 제2 깊이값을 모두 인식할 수 없을 수도 있다.
도 7b를 참고하면, 단계(711a)에서, 상기 동작 인식 장치는 접촉센서(711)를 이용하여 제1 깊이값을 인식할 수 있다. 단계(712a)에서, 상기 동작 인식 장치는 근접센서(712)를 이용하여 제2 깊이값을 인식할 수 있다. 단계(713a)에서, 상기 동작 인식 장치는 카메라 센서(713)를 이용하여 제3 깊이값을 인식할 수 있다. 참고로, 접촉센서(711) 및 근접센서(712)에서 인식한 깊이값은 절대값을 가지며, 카메라 센서(713) 및 동적 시각 센서에서 인식한 깊이값은 상대값을 가질 수 있다.
단계(714)에서, 상기 동작 인식 장치는 상기 제1 깊이값 내지 상기 제3 깊이값을 결합할 수 있다. 예컨대, 상기 동작 인식 장치는 상기 제1 깊이값 및 제2 깊이값의 절대값끼리 가중치 기법이나 필터기법을 이용하여 결합하고, 제2 깊이값의 절대값 및 상기 제3 깊이값의 상대값끼리 매핑하고, 제1 깊이값의 절대값 및 상기 제3 깊이값의 상대값끼리 매핑할 수 있다.
단계(715)에서, 상기 동작 인식 장치는 상기 결합된 깊이값들로 제어값을 생성할 수 있다.
단계(716)에서, 상기 동작 인식 장치는 상기 제어값에 대응하는 기능을 실행할 수 있다. 상기 동작 인식 장치는 사전에 제어값에 대응하는 기능을 설정하고, 제어값별 기능을 저장부(도시하지 않음)에 저장할 수 있다. 예컨대, 상기 동작 인식 장치는 제1 제어값에 대하여 "DMB"를 설정하고, 제2 제어값에 대하여 "화면 확대"를 설정하며, 제3 제어값에 대하여 "화면 축소"를 설정할 수 있다.
도 8a 및 도 8b는 본 발명의 일실시예에 따른 종류가 상이한 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 8a를 참고하면, 단계(803)에서, 상기 동작 인식 장치는 제1 센서(801)에서 제1 깊이값을 인식하였는지 확인할 수 있다. 인식된 경우, 단계(804)에서, 상기 동작 인식 장치는 제2 센서(802)에서 제2 포인터값을 인식하였는지 확인할 수 있다. 단계(805)에서, 상기 동작 인식 장치는 상기 제1 깊이값 및 상기 제2 포인터값을 갱신(update)할 수 있다. 예컨대, 상기 동작 인식 장치는 상기 제1 깊이값이나 상기 제2 포인터값이 변경되었는지 확인할 수 있다.
단계(810)에서, 상기 동작 인식 장치는 단계(805)의 출력값을 제어값으로 생성할 수 있다.
또는, 제2 센서(802)에서 제2 포인터값을 인식하지 못한 경우, 단계(806)에서, 상기 동작 인식 장치는 제1 깊이값을 갱신할 수 있다. 단계(810)에서, 상기 동작 인식 장치는 상기 제1 깊이값만으로 제어값을 생성할 수 있다.
또는, 제1 센서(801)에서 제1 깊이값을 인식하지 못한 경우, 단계(807)에서, 상기 동작 인식 장치는 제2 센서(802)에서 제2 포인터값을 인식하였는지 확인할 수 있다. 단계(808)에서, 상기 동작 인식 장치는 제2 포인터값을 갱신할 수 있다. 이 경우, 단계(810)에서, 상기 동작 인식 장치는 제2 포인터값만으로 제어값을 생성할 수 있다.
또는, 제1 센서(801)에서 제1 깊이값을 인식하지 못하고, 제2 센서(802)에서 제2 포인터값을 인식하지 못한 경우, 단계(809)에서, 상기 동작 인식 장치는 이전의 제1 깊이값 및 이전의 제2 포인터값을 유지할 수 있다. 단계(810)에서, 상기 동작 인식 장치는 이전의 제1 깊이값 및 이전의 제2 포인터값을 결합하여 제어값을 생성할 수 있다. 참고로, 상기 이전의 제1 깊이값은 시간적으로 상기 제1 깊이값보다 먼저 인식한 깊이값을 의미한다.
도 8b를 참고하면, 단계(811a)에서, 상기 동작 인식 장치는 접촉센서(811)를 이용하여 제1 포인터값을 인식할 수 있다. 단계(812a)에서, 상기 동작 인식 장치는 근접센서(812)를 이용하여 제2 포인터값을 인식할 수 있다. 단계(813a) 및 단계(813b)에서, 상기 동작 인식 장치는 카메라 센서(813)를 이용하여 제3 포인터값 및 제3 스와이프값을 인식할 수 있다. 참고로, 접촉센서(811) 및 근접센서(812)에서 인식한 포인터값은 절대값을 가지며, 카메라 센서(813) 및 동적 시각 센서에서 인식한 포인터값은 상대값을 가질 수 있다.
단계(814)에서, 상기 동작 인식 장치는 상기 제1 포인터값 내지 상기 제3 포인터값을 결합하여 제1 결합값을 생성할 수 있다. 예컨대, 상기 동작 인식 장치는 상기 제1 포인터값 및 제2 포인터값의 절대값끼리 가중치 기법이나 필터기법을 이용하여 결합하고, 제2 포인터값의 절대값 및 상기 제3 포인터값의 상대값끼리 매핑하고, 제1 포인터값의 절대값 및 상기 제3 포인터값의 상대값끼리 매핑함으로써, 제1 결합값을 생성할 수 있다.
단계(815)에서, 상기 동작 인식 장치는 상기 제1 결합값(결합된 포인터값)에 상기 제3 스와이프값을 결합하여 제2 결합값을 생성할 수 있다. 이때, 상기 동작 인식 장치는 상기 제1 결합값을 갱신하고, 상기 제3 스와이프값을 갱신하며, 갱신된 제2 결합값 및 갱신된 제3 스와프값을 결합하여 제2 결합값을 생성할 수 있다.
단계(816)에서, 상기 동작 인식 장치는 상기 제2 결합값을 제어값으로 생성할 수 있다.
단계(817)에서, 상기 동작 인식 장치는 상기 제어값에 대응하는 기능을 실행할 수 있다.
도 9a 및 도 9b는 본 발명의 일실시예에 따른 동일한 종류의 센서값들과 상이한 종류의 센서값들을 결합하여 제어값을 생성하는 일례를 도시한 도면이다.
도 9a를 참고하면, 단계(903) 및 단계(904)에서, 상기 동작 인식 장치는 제1 센서(901)를 이용하여 제1 깊이값 및 제1 포인터값을 인식할 수 있다. 단계(905) 및 단계(906)에서, 상기 동작 인식 장치는 제2 센서(902)를 이용하여 제2 깊이값 및 제2 스와이프값을 인식할 수 있다.
단계(907)에서, 상기 동작 인식 장치는 가중치 기법이나 필터기법으로 상기 제1 깊이값의 절대값 및 제2 깊이값의 절대값을 결합하여 제1 결합값을 생성할 수 있다.
단계(908)에서, 상기 동작 인식 장치는 제1 포인터값 및 제2 스와이프값을 결합하여 제2 결합값을 생성할 수 있다. 예를 들어, 상기 동작 인식 장치는 상기 제1 포인터값을 갱신하고, 상기 제2 스와이프값을 갱신하며, 갱신된 제1 포인터값 및 갱신된 제2 스와프값을 결합하여 제2 결합값을 생성할 수 있다.
단계(909)에서, 상기 동작 인식 장치는 상기 제1 결합값 및 상기 제2 결합값을 결합하여 제어값을 생성할 수 있다.
도 9b를 참고하면, 단계(911a) 및 단계(911b)에서, 상기 동작 인식 장치는 접촉센서(911)를 이용하여 제1 스와이프값 및 제1 깊이값을 인식할 수 있다. 단계(912a) 및 단계(912b)에서, 상기 동작 인식 장치는 근접센서(912)를 이용하여 제2 스와이프값 및 제2 깊이값을 인식할 수 있다. 단계(913a) 및 단계(913b)에서, 상기 동작 인식 장치는 카메라 센서(913)를 이용하여 제3 스와이프값 및 제3 깊이프값을 인식할 수 있다. 참고로, 접촉센서(911) 및 근접센서(912)에서 인식한 스와이프값은 절대값을 가지며, 카메라 센서(813) 및 동적 시각 센서에서 인식한 스와이프값은 상대값을 가질 수 있다.
단계(914)에서, 상기 동작 인식 장치는 상기 제1 스와이프값 내지 상기 제3 스와이프값을 결합하여 제1 결합값을 생성할 수 있다. 예컨대, 상기 동작 인식 장치는 상기 제1 스와이프값 및 제2 스와이프값의 절대값끼리 가중치 기법이나 필터기법을 이용하여 결합하고, 제2 스와이프값의 절대값 및 상기 제3 스와이프값의 상대값끼리 매핑하고, 제1 스와이프값의 절대값 및 상기 제3 스와이프값의 상대값끼리 매핑함으로써, 제1 결합값을 생성할 수 있다.
단계(915)에서, 상기 동작 인식 장치는 상기 제1 깊이값 내지 상기 제3 깊이값을 결합하여 제2 결합값을 생성할 수 있다.
단계(916)에서, 상기 동작 인식 장치는 상기 제1 결합값 및 상기 제2 결합값을 결합할 수 있다. 상기 동작 인식 장치는 상기 제1 결합값을 갱신하고, 상기 제2 결합값을 갱신하며, 갱신된 제1 결합값 및 갱신된 제2 결합값을 결합할 수 있다.
단계(917)에서, 상기 동작 인식 장치는 단계(916)의 출력값을 제어값으로 생성할 수 있다.
단계(918)에서, 상기 동작 인식 장치는 상기 제어값에 대응하는 기능을 실행할 수 있다.
도 10은 본 발명의 일실시예에 따른 센서를 이용한 동작 인식 장치의 구성을 도시한 블록도이다.
도 10을 참고하면, 동작 인식 장치(1000)는 센서부(1010) 및 제어부(1060)를 포함한다.
실시예로, 센서부(1010)는 접촉센서(1020), 근접센서(1030), 카메라 센서(1040) 및 동적 시각 센서(1050) 중 적어도 하나를 포함할 수 있다. 제어부(1060)는 센서의 동작범위를 고려하여 접촉센서(1020), 근접센서(1030), 카메라 센서(1040) 및 동적 시각 센서(1050) 중 적어도 하나의 장착위치를 결정할 수 있다.
센서부(1010)는 연속적으로 객체에 대한 센서값들을 인식한다. 예컨대, 센서부(1010)는 상기 센서값으로서 상기 객체에 대한 깊이값, 상기 객체에 대한 포인터값 및 상기 객체에 대한 스와이프값 중 적어도 하나를 인식할 수 있다(도 2 내지 도 5 참고). 센서부(1010)는 일정 시간 동안 상기 객체의 모션 또는 상기 객체의 속도에 따라 상기 스와이프값을 인식할 수 있다. 센서부(1010)는 상기 객체에 대한 깊이값의 변경됨에 따라 접촉센서(1020), 근접센서(1030), 카메라 센서(1040) 및 동적 시각 센서(1050)가 연속적으로 상기 객체의 모션을 인식하도록 할 수 있다.
제어부(1060)는 상기 센서값들을 결합하여 제어값을 생성하고, 상기 제어값에 대응하는 기능을 실행한다. 제어부(1060)는 사전에 제어값에 대응하는 기능을 설정하고, 제어값별 기능을 저장부(도시하지 않음)에 저장할 수 있다. 예컨대, 제어부(1060)는 제1 제어값에 대하여 "DMB"를 설정하고, 제2 제어값에 대하여 "화면 확대"를 설정하며, 제3 제어값에 대하여 "화면 축소"를 설정할 수 있다.
실시예로, 제어부(1060)는 상기 센서값들의 종류가 동일한 경우, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제어값을 생성할 수 있다. 예들 들어, 접촉센서 및 근접센서에서 인식한 센서값은 절대값을 가지며, 카메라 센서 및 동적 시각 센서에서 인식한 센서값은 상대값을 가질 수 있다.
다른 실시예로, 제어부(1060)는 상기 센서값들의 종류가 상이한 경우, 센서값들을 갱신하고, 상기 갱신된 센서값들을 결합하여 제어값을 생성할 수 있다.
또 다른 실시예로, 제어부(1060)는 종류가 동일한 센서값들에 대하여, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제1 결합값을 생성하고, 종류가 상이한 센서값들에 대하여, 센서값들을 갱신하여 갱신된 센서값들을 결합하여 제2 결합값을 생성하며, 상기 제1 결합값 및 상기 제2 결합값을 결합하여 제어값을 생성할 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1000: 센서를 이용한 동작 인식 장치
1010: 센서부
1020: 접촉센서 1030: 근접센서
1040: 카메라 센서 1050: 동적 시각 센서
1060: 제어부

Claims (20)

  1. 동작범위가 상이한 복수의 센서들에서 연속적으로 객체에 대한 센서값들을 인식하는 단계;
    상기 센서값들을 결합(fusion)하여 제어값을 생성하는 단계; 및
    상기 제어값에 대응하는 기능을 실행하는 단계
    를 포함하는 센서를 이용한 동작 인식 방법.
  2. 제1항에 있어서,
    상기 인식하는 단계는,
    센서의 동작범위를 고려하여 접촉센서, 근접센서, 카메라 센서 및 동적 시각 센서(Dynamic Vision Sensor) 중 적어도 하나의 장착위치를 결정하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  3. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 센서값으로서 상기 객체에 대한 깊이값을 인식하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  4. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 센서값으로서 상기 객체에 대한 포인터값을 인식하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  5. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 센서값으로서 상기 객체에 대한 스와이프(swipe)값을 인식하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  6. 제5항에 있어서,
    상기 인식하는 단계는,
    일정 시간 동안 상기 객체의 모션 또는 상기 객체의 속도에 따라 상기 스와이프값을 인식하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  7. 제6항에 있어서,
    상기 인식하는 단계는,
    상기 객체에 대한 깊이값의 변경됨에 따라 상기 복수의 센서들이 연속적으로 상기 객체의 모션을 인식하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  8. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 센서값들의 종류가 동일한 경우, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제어값을 생성하는 단계를 포함하는 센서를 이용한 동작 인식 방법.
  9. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 센서값들의 종류가 상이한 경우, 센서값들을 갱신하는 단계; 및
    상기 갱신된 센서값들을 결합하여 제어값을 생성하는 단계
    를 포함하는 센서를 이용한 동작 인식 방법.
  10. 제1항에 있어서,
    상기 생성하는 단계는,
    종류가 동일한 센서값들에 대하여, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제1 결합값을 생성하는 단계;
    종류가 상이한 센서값들에 대하여, 센서값들을 갱신하여 갱신된 센서값들을 결합하여 제2 결합값을 생성하는 단계; 및
    상기 제1 결합값 및 상기 제2 결합값을 결합하여 제어값을 생성하는 단계
    를 포함하는 센서를 이용한 동작 인식 방법.
  11. 연속적으로 객체에 대한 센서값들을 인식하는 센서부; 및
    상기 센서값들을 결합하여 제어값을 생성하고, 상기 제어값에 대응하는 기능을 실행하는 제어부
    를 포함하는 센서를 이용한 동작 인식 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    센서의 동작범위를 고려하여 접촉센서, 근접센서, 카메라 센서 및 동적 시각 센서 중 적어도 하나의 장착위치를 결정하는, 센서를 이용한 동작 인식 장치.
  13. 제11항에 있어서,
    상기 센서부는,
    상기 센서값으로서 상기 객체에 대한 깊이값을 인식하는, 센서를 이용한 동작 인식 장치.
  14. 제11항에 있어서,
    상기 센서부는,
    상기 센서값으로서 상기 객체에 대한 포인터값을 인식하는, 센서를 이용한 동작 인식 장치.
  15. 제11항에 있어서,
    상기 센서부는,
    상기 센서값으로서 상기 객체에 대한 스와이프값을 인식하는, 센서를 이용한 동작 인식 장치.
  16. 제15항에 있어서,
    상기 센서부는,
    일정 시간 동안 상기 객체의 모션 또는 상기 객체의 속도에 따라 상기 스와이프값을 인식하는, 센서를 이용한 동작 인식 장치.
  17. 제16항에 있어서,
    상기 센서부는,
    상기 객체에 대한 깊이값의 변경됨에 따라 상기 복수의 센서들이 연속적으로 상기 객체의 모션을 인식하는, 센서를 이용한 동작 인식 장치.
  18. 제11항에 있어서,
    상기 제어부는,
    상기 센서값들의 종류가 동일한 경우, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제어값을 생성하는, 센서를 이용한 동작 인식 장치.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 센서값들의 종류가 상이한 경우, 센서값들을 갱신하고, 상기 갱신된 센서값들을 결합하여 제어값을 생성하는, 센서를 이용한 동작 인식 장치.
  20. 제11항에 있어서,
    상기 제어부는,
    종류가 동일한 센서값들에 대하여, 각 센서의 동작범위를 고려하여 각 센서값의 절대값 또는 각 센서값의 상대값을 결합하여 제1 결합값을 생성하고, 종류가 상이한 센서값들에 대하여, 센서값들을 갱신하여 갱신된 센서값들을 결합하여 제2 결합값을 생성하고, 상기 제1 결합값 및 상기 제2 결합값을 결합하여 제어값을 생성하는, 센서를 이용한 동작 인식 장치.
KR1020130153692A 2013-12-11 2013-12-11 센서를 이용한 동작 인식 방법 및 장치 KR20150068001A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130153692A KR20150068001A (ko) 2013-12-11 2013-12-11 센서를 이용한 동작 인식 방법 및 장치
US14/564,762 US9760181B2 (en) 2013-12-11 2014-12-09 Apparatus and method for recognizing gesture using sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153692A KR20150068001A (ko) 2013-12-11 2013-12-11 센서를 이용한 동작 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150068001A true KR20150068001A (ko) 2015-06-19

Family

ID=53271134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153692A KR20150068001A (ko) 2013-12-11 2013-12-11 센서를 이용한 동작 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US9760181B2 (ko)
KR (1) KR20150068001A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074836A (ko) * 2017-12-20 2019-06-28 (주)에이텍티앤 휴대용 정산기의 사용자 인터페이스 제어장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530219B1 (ko) 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치
US10260862B2 (en) 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
USD780222S1 (en) * 2015-11-09 2017-02-28 Naver Corporation Display panel with icon
CN112860053B (zh) * 2019-11-28 2024-02-20 京东方科技集团股份有限公司 手势识别装置、手势识别方法、计算机设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132546A1 (en) * 2007-04-30 2008-11-06 Sony Ericsson Mobile Communications Ab Method and algorithm for detecting movement of an object
US9305191B2 (en) * 2009-11-17 2016-04-05 Proventix Systems, Inc. Systems and methods for using a hand hygiene compliance system to improve workflow
US8704767B2 (en) * 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
JP5282661B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20110010906A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US20110267264A1 (en) * 2010-04-29 2011-11-03 Mccarthy John Display system with multiple optical sensors
DE112010005893T5 (de) * 2010-10-22 2013-07-25 Hewlett-Packard Development Company, L.P. Auswerten einer Eingabe relativ zu einer Anzeige
US20130009875A1 (en) * 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
KR102070598B1 (ko) 2012-04-13 2020-01-29 삼성전자주식회사 카메라 장치 및 그의 제어 방법
JP6316540B2 (ja) 2012-04-13 2018-04-25 三星電子株式会社Samsung Electronics Co.,Ltd. カメラ装置及びその制御方法
WO2014140827A2 (en) * 2013-03-14 2014-09-18 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
JP5802247B2 (ja) * 2013-09-25 2015-10-28 株式会社東芝 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074836A (ko) * 2017-12-20 2019-06-28 (주)에이텍티앤 휴대용 정산기의 사용자 인터페이스 제어장치

Also Published As

Publication number Publication date
US20150160737A1 (en) 2015-06-11
US9760181B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
US10942546B2 (en) Electronic device and method for processing gesture thereof
CN106415510B (zh) 数据处理方法及其电子设备
CN106293055B (zh) 电子设备以及用于提供其触觉反馈的方法
US9791920B2 (en) Apparatus and method for providing control service using head tracking technology in electronic device
KR102282003B1 (ko) 전자 장치 및 이의 표시 제어 방법
US10073493B2 (en) Device and method for controlling a display panel
US9720496B2 (en) Techniques for stabilizing a display scene output
KR20150129423A (ko) 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20150092588A (ko) 전자장치에서 플랙서블 디스플레이의 표시 제어 방법 및 장치
KR20150121949A (ko) 제스처를 인식하는 방법 및 장치
KR20150068001A (ko) 센서를 이용한 동작 인식 방법 및 장치
US10747357B2 (en) Coordinate measuring apparatus for measuring input position of a touch and a coordinate indicating apparatus and driving method thereof
KR20150122529A (ko) 전자장치의 터치 영역 손상에 따른 동작 제어 방법 및 장치
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
KR20170043076A (ko) 전자 장치 및 이의 제스처 처리 방법
US20170024124A1 (en) Input device, and method for controlling input device
KR20150082032A (ko) 전자 장치 및 전자 장치의 제어 방법
CN108885496B (zh) 信息处理装置、信息处理方法和程序
KR20150092962A (ko) 입력 처리 방법 및 그 전자 장치
KR20160035865A (ko) 오브젝트를 식별하는 전자 장치 및 방법
KR20150110032A (ko) 영상데이터 처리 전자장치 및 방법
US20130201157A1 (en) User interface device and method of providing user interface
KR102324398B1 (ko) 전자 장치 및 이의 화면 표시 제어 방법
US20180059811A1 (en) Display control device, display control method, and recording medium
KR20170059314A (ko) 입력 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right