KR102419506B1 - 공간 터치 제어장치 및 공간 터치 제어방법 - Google Patents

공간 터치 제어장치 및 공간 터치 제어방법 Download PDF

Info

Publication number
KR102419506B1
KR102419506B1 KR1020210006518A KR20210006518A KR102419506B1 KR 102419506 B1 KR102419506 B1 KR 102419506B1 KR 1020210006518 A KR1020210006518 A KR 1020210006518A KR 20210006518 A KR20210006518 A KR 20210006518A KR 102419506 B1 KR102419506 B1 KR 102419506B1
Authority
KR
South Korea
Prior art keywords
condition
control unit
display
control
spatial
Prior art date
Application number
KR1020210006518A
Other languages
English (en)
Inventor
최종현
Original Assignee
주식회사 베오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베오텍 filed Critical 주식회사 베오텍
Priority to KR1020210006518A priority Critical patent/KR102419506B1/ko
Application granted granted Critical
Publication of KR102419506B1 publication Critical patent/KR102419506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 공간 터치 제어장치는 소정의 콘텐츠를 출력하는 디스플레이; 깊이 정보를 포함하는 사용자 영상을 획득하는 깊이 카메라; 및 상기 디스플레이를 통해 출력되는 콘텐츠가 달라지도록, 상기 사용자 영상에 포함된 기 설정된 제어부위의 위치를 기초로 미리 정해진 조건 하에 상기 디스플레이를 제어하는 제어부;를 포함하며, 상기 미리 정해진 조건은 상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 시작되는 시작 조건 및 상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 유지되는 유지 조건을 구비하며, 상기 제어부는 상기 시작 조건을 만족하는 경우, 상기 유지 조건의 만족 여부를 판단할 수 있다.

Description

공간 터치 제어장치 및 공간 터치 제어방법{SPACE TOUCH CONTROLLING APPARATUS AND METHOD}
본 발명은 공간 터치 제어장치 및 공간 터치 제어방법에 관한 것이다.
최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치 스크린이 널리 사용되고 있다.
터치 스크린은 문자나 그림 정보를 미리 표시하여 사용자가 선택할 기능을 용이하게 파악할 수 있어 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 각종 점포에서 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양하게 활용되고 있다.
종래의 터치 스크린은 일반 모니터의 화면에 터치 패널을 덧붙여서 손끝이나 기타 물체가 소정 영역에 접촉할 때 해당 영역의 특성이 변화하는 것으로 사용자 입력을 인지하였다.
또한, 종래의 터치 스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 적용한 터치 패널이 물체의 접촉에 대해 특성이 변화하는 원리를 이용한다.
이러한 종래의 터치 스크린은 사용자가 직접 스크린을 터치해야 한다는 점에서 위생 문제가 있을 수 있으며, 또한 Drive-Thru 주문의 경우 스크린에 손이 닿지 않는 경우 차량에서 내려야 하는 불편이 있다. 또한, 사용자가 터치해야 함에 따라 터치 스크린의 크기의 제약이 있었다.
이를 해결하고자, 공간 터치 인식 기술이 제안되고 있다. 대한민국 등록특허 제10-1019255호(2011.02.24. 등록)에서는 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치를 개시하고 있다. 또한, 본 출원인의 등록특허 제10-2140927호(2020.07.29. 등록)에서는 공간 터치 제어방법을 개시하고 있다.
그러나, 선행특허에서는 사용자 지시수단이 진입하는 깊이를 감지하는 기술만을 개시하고 있을 뿐, 공간 터치를 위해 사용자 모션을 효율적으로 또한 신속히 파악하는 구성에 대해서는 개시하고 있지 않다.
본 발명은 상기와 같은 문제를 해결하기 위한 것으로서, 사용자의 공간 터치의도를 신속히, 정확하게 판단할 수 있는 공간 터치 제어장치 및 공간 터치 제어방법을 제공하고자 함이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 공간 터치 제어장치는 소정의 콘텐츠를 출력하는 디스플레이; 깊이 정보를 포함하는 사용자 영상을 획득하는 깊이 카메라; 및 상기 디스플레이를 통해 출력되는 콘텐츠가 달라지도록, 상기 사용자 영상에 포함된 기 설정된 제어부위의 위치를 기초로 미리 정해진 조건 하에 상기 디스플레이를 제어하는 제어부;를 포함하며, 상기 미리 정해진 조건은 상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 시작되는 시작 조건 및 상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 유지되는 유지 조건을 구비하며, 상기 제어부는 상기 시작 조건을 만족하는 경우, 상기 유지 조건의 만족 여부를 판단할 수 있다.
본 발명의 일 실시예에 따른 공간 터치 제어장치에 따르면, 사용자의 공간 터치의도를 신속히, 정확하게 판단할 수 있는 장점이 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 공간 터치 제어장치의 사시도이다.
도 2는 본 발명의 일 실시예에 따른 공간 터치 제어장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 랜드마크 포인트를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 순환 신경망 모델을 도시한 도면이다.
도 5은 본 발명의 일 실시예에 따른 공간 터치 제어방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 공간 터치 제어장치의 시작 조건을 설명하기 위한 개략도.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 공간 터치 제어장치의 시작 조선 및 유지 조건을 설명하기 위한 개념도.
도 10은 본 발명의 일 실시예에 따른 공간 터치 제어장치의 재활성화 조건을 설명하기 위한 개략도.
도 11은 본 발명의 일 실시예에 따른 공간 터치 제어장치의 재활성화 조건을 설명하기 위한 개념도.
도 12는 본 발명의 일 실시예에 따른 공간 터치 제어장치의 미리 정해진 조건을 설명하기 위한 개략도.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위하여, 본 발명의 기술적 사상과 관련성이 떨어지거나 당업자로부터 용이하게 도출될 수 있는 부분은 간략화 하거나 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 공간 터치 제어장치의 사시도이다. 도 1을 참조하면, 공간 터치 제어장치는 디스플레이(200), 깊이 카메라(600), 안면인식 센서(700) 및 제어부(미도시)를 포함할 수 있다.
공간 터치 제어장치에 의해 제공되는 공간 터치 제어방법은 사용자가 디스플레이(200)를 직접 터치하는 대신 소정의 공간 상에서 모션을 통해 디스플레이(200)에 출력된 컨텐츠를 제어하거나 소정의 입력값을 입력하는 방법일 수 있다.
일례로, 깊이 카메라(600)는 공간 터치 제어장치 전방에 위치한 사용자의 영상을 촬영하여 깊이 정보를 포함하는 사용자 영상을 획득할 수 있다. 예를 들어, 깊이 카메라(600)는 사용자가 소정의 공간 상에서 디스플레이(200)를 제어하기 위해 소정의 입력값을 입력하려는 사용자의 모션을 획득하기 위한 센싱 장치일 수 있다.
여기서, 깊이 카메라(600)는 삼각측량 방식의 3차원 레이저 스캐너, 구조 광선패턴을 이용한 깊이 카메라, 적외선(IR : Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight)3) 방식의 깊이 카메라 등을 포함할 수 있으나, 이에 한정되지 않는다. 즉, 깊이 카메라(600)는 사용자의 모션을 획득하는 장치로서 사용자의 모션을 획득할 수 있는 장치라면 당업자의 입장에서 다양하게 변경 가능하다.
예를 들어, 깊이 카메라(600)는 좌표계 원점에 놓인 적외선 프로젝터(IR projector)에서 발사된 적외선(IR) 신호가 목표물 A에서 반사되어 원점으로 되돌아오는 신호를 탐지하여 원점에서 목표물 A까지의 거리를 획득하는 적외선 센서일 수 있다.
예를 들어, 깊이 카메라(600)는 디스플레이(200)와 인접한 소정의 위치에 배치되어 디스플레이(200) 전방에 위치하는 사용자를 센싱할 수 있다.
안면인식 센서(700)는 사용자의 안면 영상을 획득할 수 있다. 예를 들어, 깊이 카메라(600)에 의해 사용자 영상이 획득되기 전, 안면인식 센서(700)에 의한 사용자의 안면 영상이 먼저 획득될 수 있다. 이러한 안면인식 센서(700)는 디스플레이(200)에 인접한 소정의 위치에 배치될 수 있으며, 영상을 획득하는 일반 카메라일 수 있다.
구체적으로, 제어부는 획득한 안면 영상에 기초하여 미리 정해진 활성화 조건을 만족하는 경우, 깊이 카메라(600)가 사용자 영상을 획득하도록 제어할 수 있다. 즉, 안면인식 센서(700)에 의한 안면인식 영상 획득 절차는 디스플레이(200) 주위에 위치하는 사람이 디스플레이(200)를 제어하고자 하는 사용자인지 여부를 판단하기 위해 구현되는 절차일 수 있다.
보다 구체적으로, 제어부는 안면인식 영상으로부터 해당 사람의 얼굴이 디스플레이(200)를 향하는 방향이며, 그 지속 기간이 미리 정해진 임계 시간 이상인 경우, 해당 사용자가 디스플레이(200)를 제어하고자 하는 사용자임을 판단할 수 있다.
즉, 제어부는 안면인식 센서(700)에 의해 획득한 사람의 영상에서 얼굴 영역을 검출할 수 있고, 얼굴 영역이 디스플레이(200)를 향하는 방향으로 임계 시간 이상 유지되는 경우, 즉 안면의 위치 및/또는 방향이 기 설정된 범위 내에 기 설정된 시간 이상 유지되는 경우, 미리 정해진 활성화 조건을 만족한다고 판단하고, 이후 깊이 카메라(600)에 의해 사용자 영상이 획득될 수 있다.
깊이 카메라(600)에 의해 사용자 영상이 획득된 후, 제어부는 사용자 영상으로부터 사용자의 모션을 검출할 수 있다. 여기서, 사용자의 모션을 검출하는 절차는 사용자의 모션 중에서 특정 영역 및/또는 특정 시간의 모션을 검출하는 단계를 의미할 수 있다.
예를 들어, 사용자의 모션을 검출하는 절차는 깊이 카메라(600)에 의해 획득된 사용자의 몸 전체 중 인터페이스 부위인 손 영역에 대한 모션을 검출하는 절차일 수 있다. 사용자의 모션을 검출하는 구체적인 절차는 후술하기로 한다.
이후, 제어부는 사용자의 모션이 미리 정해진 모션 조건을 충족하는 경우 해당 모션 조건에 따라 디스플레이(200)를 제어할 수 있다. 예를 들어, 미리 정해진 모션 조건은 사용자의 모션이 디스플레이(200)를 제어 가능한 모션인지 여부를 결정하는 기준 조건일 수 있다.
제어부는 디스플레이(200) 상에 표시되는 정보(콘텐츠)가 가변되도록 디스플레이(200)를 제어한다.
예를 들어, 디스플레이(200) 상에는 커서(I)가 표시될 수 있고, 제어부는 사용자의 모션에 기초하여 디스플레이(200) 상의 커서(I)가 움직이도록 및/또는 특정 아이콘을 클릭하도록 제어할 수 있다.
공간 터치 제어장치의 일예는 키오스크(KIOSK), 셋톱박스(Set-top Box), 멀티미디어 스트리밍 어댑터, 인공지능 음성인식 디바이스, 스마트 가전, 노트북, 데스크탑 PC 뿐만 아니라 유무선 통신이 가능한 모바일 단말을 포함할 수 있다. 모바일 단말은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 다만, 클라이언트(120)는 도 1에 도시된 형태 또는 앞서 예시된 것들로 한정 해석되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 공간 터치 제어장치의 블록도이다. 도 2를 참조하면, 공간 터치 제어장치(10)는 제어부(100), 디스플레이(200), 통신부(300), 메모리부(400), 인공지능부(500), 깊이 카메라(600) 및 안면인식 센서(700)를 포함할 수 있다.
제어부(100)는 기구축된 신경망 모델에 기초하여 깊이 카메라(600)에 의해 획득된 사용자 영상에 대한 모션 조건의 충족 여부를 결정할 수 있다.
제어부(100)는 인터페이스 부위의 3차원 상에서의 이동량에 기초하여 신경망 모델에 입력될 입력 데이터를 결정함으로써 사용자 모션을 효율적으로 파악할 수 있다.
또한, 제어부(100)는 샘플 이미지로부터 검출된 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 1차적으로 결정하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인 경우에만 복수의 분석 대상 이미지를 분석할 수 있다. 이에 따라, 유효한 이동량이 검출된 경우에만 모션 조건의 충족 여부를 결정함으로써, 작업 로드를 줄여 사용자 모션의 효율적인 검출이 가능하다.
구체적으로, 제어부(100)는 사용자 영상 중 기설정된 시간 동안의 영상에 포함되는 복수의 샘플 이미지를 추출할 수 있다. 예를 들어, 기설정된 시간은 1초일 수 있고, 복수의 샘플 이미지는 1초 동안의 사용자 영상에 포함된 복수의 이미지 중 예를 들어, 5개의 이미지일 수 있다.
제어부(100)는 복수의 샘플 이미지로부터 사용자의 모션을 검출하기 위해 기설정된 인터페이스 부위를 검출할 수 있다. 여기서, 인터페이스 부위는 손 영역일 수 있다. 예를 들어, 제어부(100)는 샘플 이미지와 기저장된 손의 이미지를 비교하여 몸 전체의 영역 중 인터페이스 부위로서 손 영역을 검출할 수 있다. 여기서, 손의 이미지는 메모리부(400)에 저장되어 있을 수 있다.
제어부(100)는 복수의 샘플 이미지 각각에 있어서, 인터페이스 부위 중 디스플레이(200)와 가장 가까운 지점(예컨대, 손가락 끝)부터 디스플레이(200)와 가장 먼 지점(예컨대, 손등)까지의 복수의 지점을 선정할 수 있다.
제어부(100)는 복수의 샘플 이미지 각각에 포함된 인터페이스 부위의 깊이 정보에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
예를 들어, 제어부(100)는 인터페이스 부위 중 복수의 랜드마크 포인트를 추출할 수 있다. 여기서, 랜드마크 포인트는 선정된 복수의 지점 중 특징이 되는 지점으로서, 예를 들어, 관절(꼭지점)에 대응하는 지점일 수 있다. 이와 달리, 랜드마크 포인트는 랜덤으로 결정될 수도 있다. 도 3에는 복수의 랜드마크 포인트(빨간점)이 도시되어 있다.
후술하는 바와 같이, 인터페이스 부위 전체에 대한 이동량을 계산하는 것이 아니라 랜드마크 포인트에 대한 이동량만을 계산함으로써 신경망 모델에 입력되는 입력 데이터를 최소화하여 사용자 모션을 효율적이고 신속하게 파악할 수 있다.
또한, 제어부(100)는 복수의 샘플 이미지 각각의 복수의 랜드마크 포인트 각각의 깊이값의 차이에 기초하여 각 랜드마크 포인트의 이동량을 결정할 수 있다. 예를 들어, 제어부(100)는 복수의 샘플 이미지 각각의 제 1 랜드마크 포인트의 깊이값의 차이에 기초하여 제 1 랜드마크 포인트의 이동량을 결정할 수 있다. 여기서, 랜드마크 포인트의 이동량은 시간이 경과함에 따라 랜드마크 포인트가 3차원 좌표에서 이동하는 정도를 의미할 수 있다.
예를 들어, 제어부(100)는 복수의 샘플 이미지 각각의 제 1 랜드마크 포인트의 시간별 좌표값에 기초하여 제 1 랜드마크 포인트의 이동량을 결정할 수 있다.
보다 구체적으로, 제어부(100)는 가장 빠른 시간의 샘플 이미지의 제 1 랜드마크 포인트의 좌표값과 가장 느린 시간의 샘플 이미지의 제 1 랜드마크 포인트의 3차원 상에서의 거리에 기초하여 제 1 랜드마크 포인트의 이동량을 결정할 수 있다.
제어부(100)는 모든 복수의 랜드마크 포인트의 이동량의 평균이 임계값 이상인지 여부에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
제어부(100)는 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인 경우, 기설정된 시간 및 기설정된 시간과 인접한 시간을 포함하는 제어 시간 동안의 영상에 포함되는 복수의 분석 대상 이미지를 추출할 수 있다.
제어부(100)는 복수의 샘플 이미지 각각에 포함된 인터페이스 부위의 3차원 상에서의 이동량을 분석하는 것과 동일한 방식으로 복수의 분석 대상 이미지 각각에 포함된 인터페이스 부위의 깊이 정보에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
구체적으로, 제어부(100)는 인터페이스 부위 중 복수의 랜드마크 포인트를 추출하고, 복수의 분석 대상 이미지 각각의 복수의 랜드마크 포인트 각각의 깊이값의 차이에 기초하여 각 랜드마크 포인트의 이동량을 결정할 수 있다.
또한, 제어부(100)는 가장 빠른 시간의 분석 대상 이미지의 제 1 랜드마크 포인트의 좌표값과 가장 느린 시간의 분석 대상 이미지의 제 1 랜드마크 포인트의 3차원 상에서의 거리에 기초하여 제 1 랜드마크 포인트의 이동량을 결정할 수 있다.
제어부(100)는 모든 복수의 랜드마크 포인트의 이동량의 평균이 임계값 이상인지 여부에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
제어부(100)는 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인 경우, 기구축된 신경망 모델에 기초하여 모션 조건의 충족 여부를 결정할 수 있다. 이때, 인공지능부(500)는 신경망 모델을 구축하고, 기수집된 학습 데이터에 기초하여 신경망 모델을 학습할 수 있다.
도 4는 본 발명의 일 실시예에 따른 신경망 모델에 입력되는 입력 데이터를 설명하기 위한 도면이다.
도 4를 함께 참조하면, 기구축된 신경망 모델은 순환 신경망(RNN: Recurrent Neural Network) 모델(400)일 수 있다. 순환 신경망은 시계열 데이터(time-series data)와 같이 시간의 흐름에 따라 변화하는 데이터를 학습하기 위한 딥러닝 모델로서, 기준 시점과 다음 시점에 네트워크를 연결하여 구성한 인공 신경망(ANN)일 수 있다.
순환 신경망 모델(400)은 각 시점(t-1, t, t+1 등)의 입력 정보를 입력받는 입력층, 각 시점의 입력 정보 및 이전 시점의 은닉 상태값(활성화 출력)에 기초하여 각 시점의 은닉 상태값을 계산하는 은닉층 및 각 시점의 은닉 상태값에 기초하여 결과를 출력하는 출력층을 포함할 수 있다.
예를 들어, 순환 신경망 모델(400)은 제 1 시간(t-1) 동안의 인터페이스 부위의 3차원 상에서의 제 1 이동량을 출력하는 제 1 네트워크(401), 제 2 시간(t) 동안의 인터페이스 부위의 3차원 상에서의 제 2 이동량을 출력하는 제 2 네트워크(402) 및 제 3 시간(t+1) 동안의 인터페이스 부위의 3차원 상에서의 제 3 이동량을 출력하는 제 3 네트워크(403)를 포함할 수 있다. 여기서, 제 1 네트워크(401), 제 2 네트워크(402) 및 제 3 네트워크(403)는 순차적으로 연결되어 순환 신경망 모델(400)을 이룬다. 도 4에는 순환 신경망 모델(400)의 네트워크로서 3개의 네트워크만을 도시하였으나, 순환 신경망 모델(400)이 3개 이상의 네트워크를 포함할 수 있음은 물론이다.
제어부(100)는 제어 시간 중 제 1 시간(t-1) 동안의 복수의 랜드마크 포인트의 3차원 좌표값을 제 1 네트워크(401)에 입력하여 제 1 시간 동안(t-1)의 인터페이스 부위의 3차원 상에서의 제 1 이동량을 출력할 수 있다.
이어서, 제어부(100)는 제어 시간 중 제 2 시간(t) 동안의 복수의 랜드마크 포인트의 3차원 좌표값 및 제 1 네트워크(401)의 은닉 상태값을 제 2 네트워크(402)에 입력하여 제 2 시간(t) 동안의 인터페이스 부위의 3차원 상에서의 제 2 이동량을 출력할 수 있다.
마찬가지로, 제어부(100)는 제어 시간 중 제 3 시간(t+1) 동안의 복수의 랜드마크 포인트의 3차원 좌표값 및 제 2 네트워크(402)의 은닉 상태값을 제 3 네트워크(403)에 입력하여 제 3 시간(t+1) 동안의 인터페이스 부위의 3차원 상에서의 제 3 이동량을 출력할 수 있다.
제어부(100)는 제 1 이동량, 제 2 이동량 및 제 3 이동량에 기초하여 상기 모션 조건의 충족 여부를 결정할 수 있다.
여기서, 모션 조건은 인공지능부(500)에 의한 딥러닝 학습을 통해 정의될 수 있다.
예를 들어, 인공지능부(500)는 커서(I)의 이동을 의도한 수 많은 사용자의 예시적인 모션을 학습하고, 커서(I)의 클릭을 의도한 수 많은 사용자의 예시적인 모션을 학습하여 미리 정해진 모션 조건을 정의 및 업데이트할 수 있다.
그 결과, 개발자가 상기 미리 정해지 모션 조건을 인위적으로 정의하지 않아도, 인공지능부(500)가 수 많은 모션에 대한 학습을 통해 상기 미리 정해진 모션 조건을 정의 및 업데이트할 수 있으며, 제어부(100)는 인공지능부(500)에 의해 정의된 상기 미리 정해진 모션 조건에 기초하여 디스플레이(200)를 제어할 수 있다. 여기서, 미리 정해진 모션 조건은 메모리부(400)에 저장 및 업데이트될 수 있다.
한편, 통신부(300)는 공간 터치 제어장치(10)가 서버(미도시) 및 사용자 단말(미도시) 등의 외부의 기기와 소정의 정보 및 데이터를 송수신하도록 할 수 있다.
도 5은 본 발명의 일 실시예에 따른 공간 터치 제어방법을 나타낸 흐름도이다.
도 5에 도시된 일 실시예에 따른 공간 터치 제어방법은 도 1 및 2에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 5에 도시된 일 실시예에 따라 수행되는 공간 터치 제어방법에도 적용된다.
도 5를 참조하면, 단계 S510에서 공간 터치 제어장치는 깊이 카메라로부터 깊이 정보를 포함하는 사용자 영상을 획득할 수 있다.
단계 S520에서 공간 터치 제어장치는 사용자 영상 중 기설정된 시간 동안의 영상에 포함되는 복수의 샘플 이미지를 추출할 수 있다.
단계 S530에서 공간 터치 제어장치는 복수의 샘플 이미지로부터 사용자의 모션을 검출하기 위해 기설정된 인터페이스 부위를 검출할 수 있다.
단계 S540에서 공간 터치 제어장치는 복수의 샘플 이미지 각각에 포함된 인터페이스 부위의 깊이 정보에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
단계 S550에서 공간 터치 제어장치는 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인 경우, 기설정된 시간 및 기설정된 시간과 인접한 시간을 포함하는 제어 시간 동안의 영상에 포함되는 복수의 분석 대상 이미지를 추출할 수 있다.
단계 S560에서 공간 터치 제어장치는 복수의 분석 대상 이미지 각각에 포함된 인터페이스 부위의 깊이 정보에 기초하여 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인지 여부를 결정할 수 있다.
단계 S570에서 공간 터치 제어장치는 인터페이스 부위의 3차원 상에서의 이동량이 기설정된 임계값 이상인 경우, 기구축된 신경망 모델에 기초하여 모션 조건의 충족 여부를 결정할 수 있다.
단계 S580에서 공간 터치 제어장치는 모션 조건의 충족 여부에 기초하여 디스플레이를 제어할 수 있다.
도 5를 통해 설명된 공간 터치 제어방법은 매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
이하에서는 도 6 내지 도 12를 참조하여, 본 발명의 일 실시예에 따른 공간 터치 제어장치에 대한 다른 실시예를 설명하겠다.
앞서, 도 1 내지 도 5를 참조하여 설명한 공간 터치 제어장치 및 제어방법과 동일하거나, 당업자의 입장에서 용이하게 유추할 수 있는 기술적 사상에 대해서는 그 설명을 생략하거나 간략히 하겠다.
일례로, 제어부(100)는 디스플레이(200)를 통해 출력되는 콘텐츠가 달라지도록, 상기 사용자 영상에 포함된 기 설정된 제어부위의 위치를 기초로 미리 정해진 조건 하에 상기 디스플레이(200)를 제어할 수 있다.
즉, 상기 제어부(100)는 상기 깊이 카메라(600)가 획득한 상기 사용자 영상에서 상기 제어부위의 위치 변화를 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
상기 디스플레이(200)의 제어는 상기 디스플레이(200)를 통해 출력되는 콘텐츠의 제어/변화를 의미할 수 있다.
여기서, 상기 제어부위는 상기 사용자 영상에 포함된 사용자의 손 부위를 의미할 수 있다.
즉, 상기 제어부(100)는 상기 사용자 영상에서 사용자의 손 부위의 위치 변화를 트래킹하여 손 부위의 위치 변화가 상기 미리 정해진 조건을 만족하는지 여부에 따라 상기 디스플레이(200)를 제어할 수 있다.
여기서, 상기 제어부위는 사용자의 손 부위로 설명하나, 손 부위에 한정되는 것은 아니며, 상기 공간 터치 제어장치의 설치 위치, 사용자, 환경 등에 따라 다양하게 변경될 수 있음은 자명하다.
다만, 설명의 편의를 위해 상기 제어부위는 사용자의 손 부위로 가정하고 설명하겠다.
한편, 상기 미리 정해진 조건은 상기 메모리부(400)에 미리 저장될 수 있다.
일례로, 상기 미리 정해진 조건은 사용자의 공간 터치 모션에 대응하여 상기 제어부(100)가 상기 디스플레이(200)를 제어하기 위한 조건을 의미할 수 있다.
일례로, 상기 미리 정해진 조건은 상기 제어부위의 위치를 기초로 상기 디스플레이(200)의 제어의 활성화가 시작되는 시작 조건 및 상기 제어부위의 위치를 기초로 상기 디스플레이(200)의 제어의 활성화가 유지되는 유지 조건을 구비할 수 있다.
또한, 상기 제어부(100)는 상기 시작 조건을 만족하는 경우, 상기 유지 조건의 만족 여부를 판단할 수 있다.
일례로, 상기 시작 조건은 사용자가 공간 터치를 통해 상기 디스플레이(200)를 제어하기 위해 상기 디스플레이(200)의 제어가 활성화가 시작되는 조건을 의미할 수 있다.
즉, 상기 디스플레이(200)는 상기 시작 조건을 만족하기 전에는 미리 정해진 콘텐츠를 단순히 출력할 뿐이며, 상기 시작 조건을 만족하는 경우에는 사용자의 공간 터치에 의해 제어되는 콘텐츠를 출력할 수 있다.
여기서, 일례로, 상기 유지 조건은 상기 시작 조건이 만족된 이후의 제어 기준이 되는 조건으로서, 상기 제어부(100)가 상기 제어부위를 실시간으로 트래킹하여 상기 제어부위의 위치 이동을 상기 디스플레이(200)를 제어하는 입력값으로 정의하는 조건으로서, 상기 제어부(100)가 사용자의 공간 터치에 대응하는 변화되는 콘텐츠를 출력하기 위해 상기 디스플레이(200)의 제어의 활성화가 유지되는 조건을 의미할 수 있다.
이를 보다 자세히 설명하자면, 상기 유지 조건은 상기 시작 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 있으며, 상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에 위치하는 조건일 수 있다.
상기 유지 조건은 아래에서 더욱 자세히 설명하겠다.
이하에서는, 도 6 내지 도 8을 참조하여 상기 시작 조건에 대해 더욱 자세히 설명하겠다.
일례로, 상기 시작 조건은 공간 터치 가능 영역(A) 내의 기 설정된 초기 임계영역(B1) 내에 상기 제어부위가 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 조건일 수 있다.
이를 보다 자세히 설명하자면, 도 6은 상기 디스플레이(200)의 제어의 활성화가 시작되기 전의 예시를 도시한 도면으로서, 상기 디스플레이(200)는 미리 입력된 콘텐츠(핸드백을 광고하는 영상)를 재생할 수 있으며, 일부 영역에는 "시작하기"의 아이콘(I)을 표시할 수 있다.
여기서, 상기 공간 터치 가능 영역(A)은 상기 깊이 카메라(600)가 상기 사용자 영상을 획득할 수 있는 영역을 의미할 수 있으며, 환언 하자면 사용자가 상기 디스플레이(200)를 제어할 수 있는 공간 터치가 가능한 영역을 의미할 수 있다.
또한, 상기 초기 임계영역(B1)은 상기 시작 조건의 만족 여부를 판단하기 위한 대상이 되는 영역을 의미할 수 있으며, 예를 들어 "시작하기"의 아이콘(I)을 터치할 수 있는 영역을 의미할 수 있다.
이 때, 상기 제어부(100)는 상기 사용자 영상을 기초로 상기 시작 조건을 만족하는지 여부를 실시간으로 판단할 수 있다.
즉, 상기 제어부(100)는 상기 초기 임계영역(B1) 내에 상기 사용자 영상 내의 상기 제어부위가 기 설정된 시간 이상 위치하는 경우 상기 시작 조건을 만족하는 것으로 판단할 수 있고, 또는 상기 초기 임계영역(B1) 내에 상기 사용자 영상 내의 상기 제어부위가 기 설정된 위치 변화가 발생한 경우 상기 시작 조건을 만족하는 것으로 판단할 수도 있다.
예를 들어, 도 7은 상기 공간 터치 가능 영역(A)과 상기 초기 임계영역(B1)을 간략히 표현한 개념도로서, K1 및 K2 각각은 사용자의 상기 제어부위의 위치를 간략히 표현한 것이다.
일례로, K1 및 K2 각각은 상기 제어부위(손 부위)의 중심점일 수도 있고, 손가락의 끝점을 의미할 수도 있다.
도 7에 도시한 바와 같이, 상기 사용자 영상에 포함된 상기 제어부위인 K1이 상기 초기 임계영역(B1) 내에 기 설정된 시간 이상 위치하는 경우 및/또는 기 설정된 위치 변화가 발생하는 경우, 상기 제어부(100)는 상기 시작 조건을 만족하는 것으로 판단하고, 이후 상기 유지 조건을 만족하는지 여부를 판단할 수 있다.
한편, 상기 사용자 영상에 포함된 상기 제어부위인 K2가 상기 초기 임계영역(B1) 내 위치하지 않는 경우, 상기 제어부(100)는 상기 시작 조건을 만족하지 않는 것으로 판단하고, 앞서 설명한 바와 같이, 상기 디스플레이(200)는 상기 시작 조건을 만족하기 전에는 K2의 위치 변화, 위치 시간과 관계없이 미리 정해진 콘텐츠를 단순히 출력할 수 있다.
한편, 상기 초기 임계영역(B1)은 상기 제어부위에 대한 상기 깊이 정보를 기초로 형성될 수 있다.
일례로, 상기 초기 임계영역(B1)은 상기 제어부위가 상기 깊이 카메라(600)를 기준으로 상대적으로 가까이 있는 경우 상대적으로 큰 영역을 가질 수 있고, 상대적으로 멀리 있는 경우 상대적으로 작은 영역을 가질 수 있다. 즉, 상기 초기 임계영역(B1)의 크기는 상기 깊이 카메라(600)를 기준으로 상기 제어부위가 멀어질수록 작아질 수 있다.
그 결과, 상기 깊이 카메라(600)를 통해 의도치 않게 획득된 상기 깊이 카메라(600)로부터 멀리 있는 상기 제어부위는 상대적으로 노이즈로 처리될 확률이 커질 수 있다.
이하에서는, 상기 시작 조건을 만족한 후, 구현되는 상기 유지 조건에 대해 더욱 자세히 설명하겠다.
상기 제어부(100)는 상기 시작 조건을 만족하는 경우에 한하여, 상기 제어부위가 상기 유지 조건을 만족하는지 여부를 판단할 수 있다.
일례로, 상기 유지 조건은 상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에 위치해야 유지되는 조건이며, 만약 상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역(A)을 벗어나는 경우 상기 제어부(100)는 더 이상 상기 유지 조건 만족 여부를 판단하지 않고 아래에서 설명되는 재활성화 조건 만족 여부를 판단할 수 있다.
또한, 상기 유지 조건은 상기 시작 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하여 상기 제어부위의 위치 이동과 대응되는 상기 디스플레이(200)를 제어하는 조건을 의미할 수 있다.
예들 들어, 도 7을 참조하여, 이를 보다 자세히 설명하자면, K1은 상기 시작 조건을 만족하고 K2는 상기 시작 조건을 만족하지 않는다고 가정할 때, 상기 유지 조건은 상기 공간 터치 가능 영역(A) 내에 K1과 K2가 존재하더라도, 상기 시작 조건을 만족하는 K1의 위치 변화만을 트래킹하여 상기 디스플레이(200)를 제어하며, K2의 위치 변화에 대해서는 노이즈 처리하는 조건일 수 있다.
그 결과, 상기 제어부(100)는 상기 시작 조건을 만족하는 K1만 특정하여 K1의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
예를 들어, 도 1에 도시한 바와 같이, 상기 유지 조건 하에서 상기 시작 조건을 만족하는 상기 제어부위가 위치 MENU1에서 MENU2로 이동하는 경우, 상기 제어부(100)는 상기 제어부위의 위치 이동과 대응되도록 커서(I)가 이동되도록 상기 디스플레이(200)를 제어할 수 있다.
한편, 여기서 일례로, 상기 유지 조건은 상기 시작 조건을 만족하는 상기 제어부위가 복수 개인 경우, 상기 초기 임계영역(B1)의 가상의 중심점(X1)으로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 있다.
이를 보다 자세히 설명하자면, 도 8에 도시한 바와 같이, 상기 시작 조건을 만족하는 상기 제어부위가 K1 및 K2로서 2개인 경우, 상기 유지 조건은 K1과 K2 중 상기 초기 임계영역(B1)의 가상의 중심점(X1)으로부터 2차원 및/또는 3차원적으로 가까운 위치에 있는 K1을 특정하여 K1의 위치 이동을 트래킹하는 조건일 수 있으며, 상대적으로 상기 초기 임계영역(B1)의 가상의 중심점(X1)으로부터 2차원 및/또는 3차원적으로 먼 위치에 있는 K2는 노이즈로 처리하는 조건일 수 있다.
따라서, 상기 제어부(100)는 K1만 특정하여 K1의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
한편, 여기서, 상기 유지 조건은 상기 시작 조건을 만족하는 상기 제어부위가 복수 개이나, 상기 초기 임계영역(B1)의 가상의 중심점(X1)으로부터 떨어진 각각의 상기 제어부위의 거리의 차이가 기 설정된 이격거리 미만인 경우, 상기 깊이 카메라(600)부로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 잇다.
도 9를 참조하여, 이를 보다 자세히 설명하자면, 상기 시작 조건을 만족하는 상기 제어부위가 K1 및 K2로서 2개이며, 상기 초기 임계영역(B1)의 가상의 중심점(X1)으로부터 2차원 및/또는 3차원적으로의 K1의 이격거리 및 K2의 이격거리 간의 차이가 기 설정된 이격거리 미만인 경우, 상기 유지 조건은 상기 깊이 카메라(600)에 의해 획득된 K1 및 K2의 깊이 정보를 비교하여, K1 및 K2 중 상기 디스플레이(200)에 더 가까운(또는, 상기 깊이 카메라(600)에 더 가까운) 상기 제어부위를 특정하여 위치 이동을 트래킹하는 조건일 수 있다.
따라서, 상기 제어부(100)는 K1 및 K2 중 상기 디스플레이(200)에 더 가까운 상기 제어부위를 특정하여, 해당 상기 제어부위의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
이하에서는, 도 10 및 도 11을 참조하여 재활성화 조건에 대해 더욱 자세히 설명하겠다.
일례로, 상기 미리 정해진 조건은 상기 제어부위가 상기 공간 터치 가능 영역(A)을 벗어나 상기 유지 조건을 만족하지 않는 경우, 상기 제어부위의 위치를 기초로 상기 디스플레이(200)의 제어의 재활성화가 시작되는 재활성화 조건을 더 구비할 수 있다.
여기서, 상기 제어부(100)는 상기 재활성화 조건을 만족하는 경우, 상기 유지 조건의 만족 여부를 판단할 수 있다.
일례로, 상기 재활성화 조건은 상기 유지 조건이 만족되지 않는 경우에 한하여 적용되는 조건일 수 있다.
예를 들어, 도 11을 참조하여 설명하자면, 도 11(a), (b), (c), (d)에 순차적으로 도시한 바와 같이, 상기 시작 조건을 만족하는 상기 제어부위인 K1이 상기 공간 터치 가능 영역(A)에서 우측 하단 쪽으로 이동하다가 상기 공간 터치 가능 영역(A)으로부터 벗어난 경우, 상기 유지 조건을 만족하지 않음에 따라, 상기 제어부(100)는 더 이상 상기 유지 조건 만족 여부를 판단하지 않고 상기 재활성화 조건 만족 여부를 판단할 수 있다.
여기서, 상기 시작 조건을 만족하는 상기 제어부위인 K1이 상기 공간 터치 가능 영역(A)으로부터 벗어났을 때, 상기 시작 조건을 만족하지 않는 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에 존재한다고 하더라도, 상기 제어부(100)는 더 이상 상기 유지 조건 만족 여부를 판단하지 않고 상기 재활성화 조건 만족 여부만을 판단할 수 있다.
여기서, 상기 재활성화 조건은 상기 공간 터치 가능 영역(A) 내의 기 설정된 재활성화 임계영역(B2) 내에 상기 제어부위가 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 조건일 수 있다.
이를 보다 자세히 설명하자면, 도 11(d)에서와 같이 상기 제어부위인 K1이 상기 공간 터치 가능 영역(A)에서 벗어나는 경우, 도 10에 도시한 바와 같이 상기 제어부(100)는 상기 디스플레이(200)를 제어하여 "계속 진행합니까?"라는 아이콘(I)을 기 설정된 시간 동안 표시할 수 있다.
이 경우, 상기 제어부(100)는 사용자가 이 전의 상기 유지 조건 하에 공간 터치하여 변화된 콘텐츠를 상기 디스플레이(200)를 통해 지속적으로 출력되도록 유지할 수 있다.
이 때, 상기 제어부(100)는 상기 제어부위가 상기 재활성화 조건을 만족하는지 여부를 실시간으로 판단할 수 있다.
만약, 상기 제어부위가 상기 재활성화 임계영역(B2) 내에 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 경우, 상기 제어부(100)는 상기 재활성화 조건을 만족하는 것으로 판단하여 상기 유지 조건 만족 여부를 판단할 수 있다.
여기서, 상기 재활성화 임계영역(B2)은 상기 재활성화 조건의 만족 여부를 판단하기 위한 대상이 되는 영역을 의미할 수 있으며, 예를 들어 "계속 진행합니까?"의 아이콘(I)을 터치할 수 있는 영역을 의미할 수 있다.
여기서 만약, 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에 있으나, 상기 재활성화 조건을 만족하지 않는 경우, 상기 제어부(100)는 상기 제어부위를 노이즈 처리하고, 지속적으로 기 설정된 시간 동안 "계속 진행합니까?"라는 아이콘(I)을 표시할 수 있다.
만약, 상기 제어부위가 상기 재활성화 조건을 만족하는 경우, 상기 제어부(100)는 상기 유지 조건하에 상기 재활성화 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
여기서, 일례로, 상기 재활성화 조건에서의 상기 기 설정된 시간은 상기 시작 조건에서의 상기 기 설정된 시간보다 짧을 수 있으며, 상기 재활성화 조건에서의 상기 기 설정된 위치 변화는 상기 시작 조건에서의 상기 기 설정된 위치 변화보다 작을 수 있다.
그 결과, 상기 재활성화 조건은 상대적으로 상기 시작 조건보다 정확하게 사용자의 공간 터치 의사 여부를 판단할 수 있는 기준이 될 수 있다.
한편, 상기 재활성화 임계영역(B2)의 위치 또는 크기는 초기 임계영역(B1)의 위치 또는 크기와 다를 수 있다.
일례로, 상기 재활성화 임계영역(B2)의 위치는 상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에서 기 설정된 시간 이상 위치 변화가 없는 지점을 중심으로 하는 영역에 형성될 수 있다.
도 11을 참조하여, 이를 보다 자세히 설명하자면, 도 11(a)에 도시한 상기 시작 조건을 만족하는 상기 제어부위인 K1의 위치에서 K1이 기 설정된 시간 이상 위치하였고, 이 후 도 11(b)에 도시한 K1의 위치에서 K1이 기 설정된 시간 이상 위치하였으며, 이 후 도 11(c)에 도시한 K1의 위치에서 K1이 기 설정된 시간 미만 위치한 후, 도 11(d)에 도시한 바와 같이 K1이 상기 공간 터치 가능 영역(A)에서 벗어났다고 가정할 때, 상기 재활성화 임계영역(B2)의 위치는 K1이 상기 공간 터치 가능 영역(A)에서 벗어나기 전, 기 설정된 시간 이상 위치한 최후의 위치인 도 11(b)의 K1의 위치를 중심점(X2)으로 하는 상기 재활성화 임계영역(B2)이 위치할 수 있다. 즉, 상기 재활성화 임계영역(B2)의 위치는 상기 유지 조건 하에서 상기 제어부위가 상기 공간 터치 가능 영역(A)을 벗어나기 전 상기 공간 터치 가능 영역(A) 내에서 기 설정된 시간 이상 위치 변화가 없는 최후의 위치에 위치될 수 있다.
그 결과, 사용자의 입장에서 상기 재활성화 조건을 만족시키는 제어가 용이할 수 있다.
한편, 상기 제어부(100)는 상기 재활성화 조건이 기 설정된 시간 이상 만족하지 않는 경우 상기 시작 조건의 만족 여부를 판단할 수 있으며, 이 때 상기 디스플레이(200)는 사용자가 공간 터치하여 변화된 콘텐츠를 출력하는 것이 아니라, 앞서 설명한 상기 시작 조건을 만족하기 전의 미리 정해진 콘텐츠를 출력할 수 있다.
한편, 상기 제어부(100)는 상기 재활성화 조건이 기 설정된 시간 내에 만족하는 경우 상기 유지 조건의 만족 여부를 판단할 수 있다.
이 때, 상기 유지 조건은 상기 재활성화 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역(A) 내에 위치하는 조건이며, 상기 재활성화 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 있다.
또한, 상기 유지 조건은 상기 재활성화 조건을 만족하는 상기 제어부위가 복수 개인 경우, 상기 재활성화 임계영역(B2)의 가상의 중심점(X2)으로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 있다.
또한, 상기 유지 조건은 상기 재활성화 조건을 만족하는 상기 제어부위가 복수 개이나, 상기 재활성화 임계영역(B2) 가상의 중심점(X2)으로부터 떨어진 각각의 상기 제어부위의 거리의 차이가 기 설정된 이격거리 미만인 경우, 상기 깊이 카메라(600)부로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건일 수 있다.
앞서 설명한 상기 미리 정해진 조건을 도 12를 참조하여 설명하자면, 우선 상기 제어부(100)는 상기 제어부위의 위치를 기초로 하여 상기 시작 조건을 만족하는지 여부를 판단할 수 있다.
여기서, 상기 시작 조건을 만족하는 경우, 상기 제어부(100)는 상기 유지 조건을 만족하는지 여부를 판단할 수 있다.
여기서, 상기 유지 조건을 만족하는 경우, 상기 제어부(100)는 상기 시작 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
그러나, 상기 유지 조건을 만족하지 않는 경우, 상기 제어부(100)는 상기 재활성화 조건을 만족하는지 여부를 판단할 수 있다.
여기서, 상기 재활성화 조건을 만족하는 경우 상기 제어부(100)는 상기 재활성화 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하여 상기 디스플레이(200)를 제어할 수 있다.
그러나, 상기 재활성화 조건을 기 설정된 시간 이상 만족하지 않는 경우, 상기 제어부(100)는 상기 시작 조건의 만족 여부를 판단할 수 있다.
한편, 본 발명의 다른 일 실시예에 따른 공간 터치 제어방법은 앞서 설명한 공간 터치 제어장치를 이용하여 디스플레이(200)에서 출력되는 콘텐츠를 제어하는 방법을 의미할 수 있다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100: 제어부
200: 디스플레이
300: 통신부
400: 메모리부

Claims (14)

  1. 공간 터치 제어장치에 있어서,
    소정의 콘텐츠를 출력하는 디스플레이;
    깊이 정보를 포함하는 사용자 영상을 획득하는 깊이 카메라; 및
    상기 디스플레이를 통해 출력되는 콘텐츠가 달라지도록, 상기 사용자 영상에 포함된 기 설정된 제어부위의 위치를 기초로 미리 정해진 조건 하에 상기 디스플레이를 제어하는 제어부;를 포함하며,
    상기 미리 정해진 조건은,
    상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 시작되는 시작 조건 및
    상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 유지되는 유지 조건을 구비하며,
    상기 제어부는,
    상기 시작 조건을 만족하는 경우,
    상기 유지 조건의 만족 여부를 판단하며,
    상기 시작 조건은,
    공간 터치 가능 영역 내의 기 설정된 초기 임계영역 내에 상기 제어부위가 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 조건이고,
    상기 초기 임계영역의 크기는,
    상기 제어부위에 대한 상기 깊이 정보를 기초로 형성되되,
    상기 깊이 카메라를 기준으로 상기 제어부위가 멀어질수록 작아지는,
    공간 터치 제어장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 유지 조건은,
    상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역 내에위치하는 조건이며,
    상기 시작 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  5. 제4항에 있어서,
    상기 유지 조건은,
    상기 시작 조건을 만족하는 상기 제어부위가 복수 개인 경우,
    상기 초기 임계영역의 가상의 중심점으로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  6. 제5항에 있어서,
    상기 유지 조건은,
    상기 시작 조건을 만족하는 상기 제어부위가 복수 개이나,
    상기 초기 임계영역의 가상의 중심점으로부터 떨어진 각각의 상기 제어부위의 거리의 차이가 기 설정된 이격거리 미만인 경우,
    상기 깊이 카메라부로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  7. 공간 터치 제어장치에 있어서,
    소정의 콘텐츠를 출력하는 디스플레이;
    깊이 정보를 포함하는 사용자 영상을 획득하는 깊이 카메라; 및
    상기 디스플레이를 통해 출력되는 콘텐츠가 달라지도록, 상기 사용자 영상에 포함된 기 설정된 제어부위의 위치를 기초로 미리 정해진 조건 하에 상기 디스플레이를 제어하는 제어부;를 포함하며,
    상기 미리 정해진 조건은,
    상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 시작되는 시작 조건 및
    상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 활성화가 유지되는 유지 조건을 구비하며,
    상기 제어부는,
    상기 시작 조건을 만족하는 경우,
    상기 유지 조건의 만족 여부를 판단하며,
    상기 시작 조건은,
    공간 터치 가능 영역 내의 기 설정된 초기 임계영역 내에 상기 제어부위가 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 조건이고,
    상기 유지 조건은,
    상기 시작 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역 내에 위치하는 조건이며,
    상기 시작 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하는 조건이며,
    상기 미리 정해진 조건은,
    상기 제어부위가 상기 공간 터치 가능 영역을 벗어나 상기 유지 조건을 만족하지 않는 경우,
    상기 제어부위의 위치를 기초로 상기 디스플레이의 제어의 재활성화가 시작되는 재활성화 조건을 더 구비하며,
    상기 제어부는,
    상기 재활성화 조건을 만족하는 경우,
    상기 유지 조건의 만족 여부를 판단하며,
    상기 재활성화 조건은,
    공간 터치 가능 영역 내의 기 설정된 재활성화 임계영역 내에 상기 제어부위가 기 설정된 시간 이상 위치하거나 기 설정된 위치 변화가 발생하는 조건이며,
    상기 재활성화 임계영역의 위치는,
    상기 유지 조건 하에서 상기 제어부위가 상기 공간 터치 가능 영역을 벗어나기 전 상기 공간 터치 가능 영역 내에서 기 설정된 시간 이상 위치 변화가 없는 최후의 위치인,
    공간 터치 제어장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 재활성화 조건에서의 상기 기 설정된 시간은,
    상기 시작 조건에서의 상기 기 설정된 시간보다 짧고,
    상기 재활성화 조건에서의 상기 기 설정된 위치 변화는,
    상기 시작 조건에서의 상기 기 설정된 위치 변화보다 작은,
    공간 터치 제어장치.
  10. 삭제
  11. 제7항에 있어서,
    상기 유지 조건은,
    상기 재활성화 조건을 만족하는 상기 제어부위가 상기 공간 터치 가능 영역 내에 위치하는 조건이며,
    상기 재활성화 조건을 만족하는 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  12. 제11항에 있어서,
    상기 유지 조건은,
    상기 재활성화 조건을 만족하는 상기 제어부위가 복수 개인 경우,
    상기 재활성화 임계영역의 가상의 중심점으로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  13. 제12항에 있어서,
    상기 유지 조건은,
    상기 재활성화 조건을 만족하는 상기 제어부위가 복수 개이나,
    상기 재활성화 임계영역의 가상의 중심점으로부터 떨어진 각각의 상기 제어부위의 거리의 차이가 기 설정된 이격거리 미만인 경우,
    상기 깊이 카메라부로부터 가까운 위치의 상기 제어부위의 위치 이동을 트래킹하는 조건인,
    공간 터치 제어장치.
  14. 제1항, 제4항 내지 제7항, 제9항, 제11항 내지 제13항 중 어느 한 항에 따른 공간 터치 제어장치를 이용하여 디스플레이를 제어하는 공간터치 제어방법.
KR1020210006518A 2021-01-18 2021-01-18 공간 터치 제어장치 및 공간 터치 제어방법 KR102419506B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210006518A KR102419506B1 (ko) 2021-01-18 2021-01-18 공간 터치 제어장치 및 공간 터치 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210006518A KR102419506B1 (ko) 2021-01-18 2021-01-18 공간 터치 제어장치 및 공간 터치 제어방법

Publications (1)

Publication Number Publication Date
KR102419506B1 true KR102419506B1 (ko) 2022-07-12

Family

ID=82419717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006518A KR102419506B1 (ko) 2021-01-18 2021-01-18 공간 터치 제어장치 및 공간 터치 제어방법

Country Status (1)

Country Link
KR (1) KR102419506B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200044A1 (ko) * 2022-04-13 2023-10-19 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051211A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20160080109A (ko) * 2014-01-03 2016-07-07 인텔 코포레이션 사용자 인터페이스 제어를 위한 시스템 및 기법
KR102140927B1 (ko) * 2020-02-11 2020-08-04 주식회사 베오텍 공간 터치 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051211A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR20160080109A (ko) * 2014-01-03 2016-07-07 인텔 코포레이션 사용자 인터페이스 제어를 위한 시스템 및 기법
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102140927B1 (ko) * 2020-02-11 2020-08-04 주식회사 베오텍 공간 터치 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200044A1 (ko) * 2022-04-13 2023-10-19 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법

Similar Documents

Publication Publication Date Title
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US11914792B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
US20190317594A1 (en) System and method for detecting human gaze and gesture in unconstrained environments
US10254847B2 (en) Device interaction with spatially aware gestures
CN112771453A (zh) 用于使用运动姿势控制电器的系统和方法
CN104254817A (zh) 快速手势重新约定
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
KR102616850B1 (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
US20150139483A1 (en) Interactive Controls For Operating Devices and Systems
KR102140927B1 (ko) 공간 터치 제어방법
KR101242848B1 (ko) 가상터치스크린을 생성과 제어하는 장치
US20200142495A1 (en) Gesture recognition control device
US9548012B1 (en) Adaptive ergonomic keyboard
KR20210057358A (ko) 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
KR102419506B1 (ko) 공간 터치 제어장치 및 공간 터치 제어방법
US9377866B1 (en) Depth-based position mapping
US9958946B2 (en) Switching input rails without a release command in a natural user interface
KR20150112198A (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
US11630569B2 (en) System, method and devices for touch, user and object sensing for IoT experiences
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
US9898183B1 (en) Motions for object rendering and selection
KR20230146726A (ko) 공간 터치 제어장치 및 공간 터치 제어방법
Ruser et al. " SmartPointer" buttonless remote control based on structured light and intuitive gestures
KR20180020594A (ko) 생체정보 연동형 스마트보드 시스템 및 그 방법
KR20210116838A (ko) 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant