KR102140927B1 - 공간 터치 제어방법 - Google Patents

공간 터치 제어방법 Download PDF

Info

Publication number
KR102140927B1
KR102140927B1 KR1020200016112A KR20200016112A KR102140927B1 KR 102140927 B1 KR102140927 B1 KR 102140927B1 KR 1020200016112 A KR1020200016112 A KR 1020200016112A KR 20200016112 A KR20200016112 A KR 20200016112A KR 102140927 B1 KR102140927 B1 KR 102140927B1
Authority
KR
South Korea
Prior art keywords
user
display
condition
motion
predetermined
Prior art date
Application number
KR1020200016112A
Other languages
English (en)
Inventor
최종현
Original Assignee
주식회사 베오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베오텍 filed Critical 주식회사 베오텍
Priority to KR1020200016112A priority Critical patent/KR102140927B1/ko
Application granted granted Critical
Publication of KR102140927B1 publication Critical patent/KR102140927B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어방법은 적외선 센서를 통해 사용자의 영상을 획득하는 사용자 영상 획득단계; 제어부를 통해 획득한 영상에서 사용자의 모션을 검출하는 모션 검출단계; 상기 제어부를 통해 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하는 디스플레이 제어단계;를 포함할 수 있다.

Description

공간 터치 제어방법{METHOD AND FOR SPACE TOUCH}
본 발명은 공간 터치 제어방법 및 장치에 관한 것으로서, 더욱 상세하게는 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어방법 및 장치에 관한 것이다.
최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치 스크린이 널리 사용되고 있다.
터치 스크린은 문자나 그림 정보를 미리 표시하여 사용자가 선택할 기능을 용이하게 파악할 수 있어 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 각종 점포에서 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양하게 활용되고 있다.
종래의 터치 스크린은 일반 모니터의 화면에 터치 패널을 덧붙여서 손끝이나 기타 물체가 소정 영역에 접촉할 때 해당 영역의 특성이 변화하는 것으로 사용자 입력을 인지하였다.
또한, 종래의 터치 스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 적용한 터치 패널이 물체의 접촉에 대해 특성이 변화하는 원리를 이용한다.
이러한 종래의 터치 스크린은 사용자가 직접 스크린을 터치해야 한다는 점에서 위생 문제가 있을 수 있으며, 또한 Drive-Thru 주문의 경우 스크린에 손이 닿지 않는 경우 차량에서 내려야 하는 불편이 있다.
또한, 사용자가 터치해야 함에 따라 터치 스크린의 크기의 제약이 있었다.
이를 해결하고자, 공간 터치 인식 기술이 제안되고 있다.
대한민국 등록특허 제10-1019255호(2011.02.24. 등록)에서는 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치를 개시하고 있다.
그러나, 사용자 지시수단이 진입하는 깊이를 감지하는 기술만 공지할 뿐 상용자 모션에 대한 정확한 구분, 공간 터치 기술의 활용에 대해서는 고려하지 못하고 있다.
본 발명은 상기와 같은 문제를 해결하기 위한 것으로서, 사용자의 모션의 정의에 대해 정확히 구분할 수 있으며, 공간 터치 기술을 활용하여 광고 산업에 적용될 수 있는 공간 터치 제어방법 및 장치를 제공하고자 함이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어방법은 적외선 센서를 통해 사용자의 영상을 획득하는 사용자 영상 획득단계; 제어부를 통해 획득한 영상에서 사용자의 모션을 검출하는 모션 검출단계; 상기 제어부를 통해 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하는 디스플레이 제어단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 공간 터치 제어방법에 의하면, 사용자의 모션의 정의에 대해 정확히 구분할 수 있으며, 공간 터치 기술을 활용하여 광고 산업에 적용될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 공간 터치 제어방법을 설명하기 위한 개략 사시도.
도 2는 본 발명의 일 실시예에 따른 공간 터치 제어방법을 설명하기 위한 사용자의 손을 도시한 개략도.
도 3은 제1 포인트와 제2 포인트를 설명하기 위한 그래프.
도 4는 본 발명의 일 실시예에 따른 공간 터치 제어방법을 광고 분야에 적용한 것을 도시한 개략 시시도.
도 5는 본 발명의 일 실시예에 따른 공간 터치 제어방법의 개략 순서도.
도 6은 본 발명의 다른 일 실시예에 따른 공간 터치 제어장치의 개략 구성 블록도.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
본 발명의 일 실시예에 따른 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어방법은 적외선 센서를 통해 사용자의 영상을 획득하는 사용자 영상 획득단계; 제어부를 통해 획득한 영상에서 사용자의 모션을 검출하는 모션 검출단계; 상기 제어부를 통해 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하는 디스플레이 제어단계;를 포함할 수 있다.
또, 상기 모션 검출단계는 상기 제어부를 통해 획득한 영상에서 손을 검출하는 손 검출단계, 상기 제어부를 통해 획득한 영상에서 검지를 검출하는 검지 검출단계 및 상기 제어부를 통해 획득한 영상에서 손의 위치 이동 여부 및 검지 위치 이동 여부를 검출하는 이동 검출단계를 포함하며, 상기 디스플레이 제어단계는 상기 제어부를 통해 손의 위치 이동 및 검지의 위치 이동에 기초하여 상기 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하는 디스플레이 제어단계;를 포함할 수 있다.
또, 상기 미리 정해진 모션 조건은 손에 대한 기 설정된 제1 포인트와 검지에 대한 기 설정된 제2 포인트의 변위에 대한 조건일 수 있다.
또, 상기 미리 정해진 모션 조건은 상기 제1 포인트와 상기 제2 포인트가 기 설정된 이동 임계값 이상으로 이동되는 경우와 상기 제1 포인트는 상기 이동 임계값 미만이고 상기 제2 포인트는 상기 이동 임계값 이상인 경우로 구분하는 조건일 수 있다.
또, 상기 미리 정해진 모션 조건은 인공지능부를 통해 결정될 수 있다.
또, 안면인식 센서를 통해 사용자의 안면 영상을 획득하는 안면 영상 획득단계;를 더 포함하며, 상기 제어부는 획득한 안면 영상에 기초하여 미리 정해진 활성화 조건을 만족하는 경우 상기 사용자 영상 획득 단계를 구현할 수 있다.
또, 상기 미리 정해진 활성화 조건을 만족하는 경우 상기 디스플레이를 통해 사용자에게 공간 터치 가능 알람을 제공하는 알람 제공 단계;를 더 포함할 수 있다.
또, 상기 미리 정해진 활성화 조건은 안면의 위치가 기 설정된 범위 내에 기 설정된 시간 이상 유지되는 조건일 수 있다.
또, 상기 제어부를 통해 획득한 안면 영상에서 사용자의 성별, 나이를 포함하는 사용자 정보를 산출하는 사용자 정보 산출단계; 및 메모리부를 통해 산출된 사용자 정보가 저장되는 사용자 정보 저장단계;를 더 포함할 수 있다.
또, 상기 사용자 정보 저장단계는 상기 미리 정해진 모션 조건을 만족하는 경우 구현될 수 있다.
본 발명의 다른 일 실시예에 따른 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어장치는 사용자의 영상을 획득하는 적외선 센서; 획득한 영상에서 사용자의 모션을 검출하는 제어부; 및 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상응하는 정보를 표시하는 디스플레이;를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 공간 터치 제어방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체가 더 포함될 수 있다.
각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 공간 터치 제어방법을 설명하기 위한 개략 사시도이다.
도 2는 본 발명의 일 실시예에 따른 공간 터치 제어방법을 설명하기 위한 사용자의 손을 도시한 개략도이다.
도 3은 제1 포인트와 제2 포인트를 설명하기 위한 그래프이다.
도 4는 본 발명의 일 실시예에 따른 공간 터치 제어방법을 광고 분야에 적용한 것을 도시한 개략 시시도이다.
도 5는 본 발명의 일 실시예에 따른 공간 터치 제어방법의 개략 순서도이다.
도 6은 본 발명의 다른 일 실시예에 따른 공간 터치 제어장치의 개략 구성 블록도이다.
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위하여, 본 발명의 기술적 사상과 관련성이 떨어지거나 당업자로부터 용이하게 도출될 수 있는 부분은 간략화 하거나 생략하였다.
도 1 내지 도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 공간 터치 제어방법은 사용자가 디스플레이(200)를 직접 터치하여 소정의 입력값을 입력하는 것이 아닌, 소정의 공간 상에서 모션을 통해 소정의 입력값을 입력하는 기술일 수 있다.
일례로, 상기 공간 터치 제어방법은 적외선 센서(600)를 통해 사용자의 영상을 획득하는 사용자 영상 획득단계(S30)를 포함할 수 있다.
일례로, 상기 적외선 센서(600)는 사용자가 소정의 공간 상에서 상기 디스플레이(200)를 제어하기 위해 소정의 입력값을 입력하려는 사용자의 모션을 획득하기 위한 센싱 장치일 수 있다.
일례로, 상기 적외선 센서(600)는 적외선을 통해 사용자의 모션을 획득하는 3D카메라일 수 있다.
일례로, 상기 적외선 센서(600)는 상기 디스플레이(200)와 인접한 소정의 위치에 배치되어 상기 디스플레이(200) 앞에 위치하는 사용자를 센싱할 수 있다.
한편, 사용자의 모션을 획득하는 장치로서 상기 적외선 센서(600)에만 한정되는 것은 아니며, 사용자의 모션을 획득할 수 있는 장치라면 당업자의 입장에서 다양하게 변경 가능하다.
여기서, 일례로, 상기 공간 터치 제어방법은 제어부(100)를 통해 획득한 영상에서 사용자의 모션을 검출하는 모션 검출단계(S40)를 더 포함할 수 있다.
일례로, 상기 제어부(100)는 상기 적외선 센서(600)로가 획득한 영상을 전달받아 소정의 사용자의 모션을 검출할 수 있다.
상기 모션 검출단계(S40)는 사용자의 모션 중에서 특정 영역 및/또는 특정 시간의 모션을 검출하는 단계를 의미할 수 있다.
일례로, 상기 모션 검출단계(S40)는 상기 적외선 센서(600)에 의해 획득된 사용자의 몸 전체 중 특정 영역인 손 영역에 대한 모션을 검출하는 단계를 의미할 수 있다.
일례로, 상기 제어부(100)는 상기 적외선 센서(600)에 의해 획득된 사용자의 몸 전체 에 대한 영상 중 미리 입력된 손의 이미지 비교하여 가장 유사한 영역을 손 영역으로 특정할 수도 있고, 또는 사용자의 몸 전체에 대한 깊이를 고려하여 상기 적외선 센서(600)와 가장 가까운 영역을 손 영역으로 특정할 수도 있다.
여기서, 일례로, 상기 공간 터치 제어방법은 상기 제어부(100)를 통해 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이(200)를 제어하는 디스플레이 제어단계(S50)를 더 포함할 수 있다.
일례로, 상기 디스플레이 제어단계(S50)는 상기 제어부(100)가 상기 디스플레이(200) 상에 표시되는 정보가 가변되도록 제어하는 단계를 의미할 수 있다.
일례로, 상기 디스플레이(200) 상에는 커서(I)가 표시될 수 있고, 상기 제어부(100)는 사용자의 모션을 판단하여 상기 미리 정해진 모션 조건과 비교하여 상기 디스플레이(200) 상의 커서(I)가 움직이도록 및/또는 특정 아이콘을 클릭하도록 제어할 수 있다.
상기 미리 정해진 모션 조건은 사용자의 모션이 상기 디스플레이(200)를 제어 가능한 모션인지 여부를 결정하는 기준 조건일 수 있다.
즉, 사용자의 모션이 상기 미리 정해진 모션 조건을 만족하는 경우 상기 제어부(100)는 그 조건에 대응되도록 상기 디스플레이(200)를 제어할 수 있다.
이하에서는, 상기 공간 터치 제어방법에서 상기 모션 검출단계(S40) 및 상기 디스플레이 제어단계(S50)에 대해 더욱 자세히 설명하겠다.
일례로, 상기 모션 검출단계(S40)는 상기 제어부(100)를 통해 획득한 영상에서 손을 검출하는 손 검출단계, 상기 제어부(100)를 통해 획득한 영상에서 검지를 검출하는 검지 검출단계 및 상기 제어부(100)를 통해 획득한 영상에서 손의 위치 이동 여부 및 검지 위치 이동 여부를 검출하는 이동 검출단계를 포함할 수 있다.
이를 보다 자세히 설명하자면, 도 2에 도시한 바와 같이, 상기 제어부(100)는 상기 적외선 센서(600)로부터 획득한 사용자에 대한 영상에서 손을 검출할 수 있다.
이 때, 상기 제어부(100)는 손에 대한 기 설정된 제1 포인트(P1)를 검출할 수 있다.
일례로, 상기 제1 포인트(P1)는 손에 대한 영역의 중심점일 수 있다.
또한, 상기 제어부(100)는 상기 적외선 센서(600)로부터 획득한 사용자에 대한 영상에서 검지를 검출할 수 있다.
상기 제어부(100)는 검지에 대해 손 영영으로부터 돌출된 영역으로 정의할 수 있다.
즉, 손 영역으로부터 돌출된 영역은 실제로 엄지든, 중지든 관계없이 검지로 정의할 수 있다.
이 때, 상기 제어부(100)는 검지에 대한 기 설정된 제2 포인트(P2)를 검출할 수 있다.
일례로, 상기 제2 포인트(P2)는 검지의 끝점일 수 있다.
여기서, 일례로, 상기 제어부(100)는 상기 적외선 센서(600)로부터 획득한 사용자에 대한 영상에서 정의한 상기 제1 포인트(P1) 및 상기 제2 포인트(P2)의 위치 변화를 검출할 수 있다.
일례로, 도 3에 도시한 바와 같이, 상기 제어부(100)는 상기 제1 포인트(P1) 및 상기 제2 포인트(P2)에 대해 3축 좌표 상에서 위치 변화되는 데이터를 산출할 수 있다.
여기서, 상기 디스플레이 제어단계(S50)는 상기 제어부(100)를 통해 손의 위치 이동 및 검지의 위치 이동(상기 제1 포인트 및 상기 제2 포인트의 위치 이동)에 기초하여 상기 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이(200)를 제어하는 디스플레이 제어단계(S50)를 포함할 수 있다.
일례로, 상기 미리 정해진 모션 조건은 손에 대한 기 설정된 상기 제1 포인트(P1)와 검지에 대한 기 설정된 상기 제2 포인트(P2)의 변위에 대한 조건일 수 있다.
이를 보다 자세히 설명하자면, 상기 미리 정해진 모션 조건은 상기 제1 포인트(P1)와 상기 제2 포인트(P2)가 기 설정된 이동 임계값 이상으로 이동되는지 여부에 대한 기준 조건일 수 있다.
예를 들어, 상기 제1 포인트(P1)만이 상기 이동 임계값 이상으로 이동된 경우(예를 들어, 상기 제2 포인트(P2)가 검출되지 않은 경우를 가정하에)에는 사용자가 상기 디스플레이(200)를 제어할 의사가 없는 것으로 판단하는 조건일 수 있으며, 상기 제1 포인트(P1)와 상기 제2 포인트(P2) 모두 상기 이동 임계값 이상으로 이동된 경우에는 그 이동 방향에 대응되도록 커서(I)를 상기 디스플레이(200)부 상에서 이동시키는 조인일 수 있다.
또한, 상기 제1 포인트(P1)는 상기 이동 임계값 미만으로 이동되나 상기 제2 포인트(P2)가 상기 이동 임계값 이상으로 이동된 경우 사용자가 '클릭'의 의사가 있는 것으로 판단하는 조건일 수 있다.
따라서, 상기 제어부(100)는 상기 제1 포인트(P1)와 상기 제2 포인트(P2)가 기 설정된 이동 임계값 이상으로 이동되는 경우, 상기 제1 포인트(P1)는 상기 이동 임계값 미만이고 상기 제2 포인트(P2)는 상기 이동 임계값 이상인 경우 및/또는 상기 제1 포인트(P1)는 상기 이동 임계값 이상이고 상기 제2 포인트(P2)는 상기 이동 임계값 미만인 경우 등으로 나누어 정의된 상기 미리 정해진 모션 조건에 따라 상기 디스플레이(200)를 제어할 수 있다.
한편, 상기 이동 임계값은 상기 제1 포인트(P1) 및 상기 제2 포인트(P2)에 대해 각각 구별되는 값으로 정의되어 미리 정해질 수 있다.
이하에서는, 상기 미리 정해진 모션 조건의 다른 일 실시예를 설명하겠다.
일례로, 상기 미리 정해진 모션 조건은 인공지능부(500)를 통해 결정되는 조건일 수 있다.
일례로, 상기 인공지능부(500)는 딥러닝 학습을 통해 상기 미리 정해진 모션 조건을 정의할 수 있다.
일례로, 상기 인공지능부(500)는 커서(I)의 이동을 의도한 수 많은 사용자의 예시적인 모션을 학습하고, 커서(I)의 클릭을 의도한 수 많은 사용자의 예시적인 모션을 학습하여 상기 미리 정해진 모션 조건을 정의/업데이트 할 수 있다.
그 결과, 개발자가 상기 미리 정해지 모션 조건을 인위적으로 정의하지 않아도, 상기 인공지능부(500)가 수 많은 모션에 대한 학습을 통해 상기 미리 정해진 모션 조건을 정의/업데이트할 수 있으며, 상기 제어부(100)는 상기 인공지능부(500)에 의해 정의된 상기 미리 정해진 모션 조건에 기초하여 상기 디스플레이(200)를 제어할 수 있다.
이하에서는, 상기 공간 터치 제어방법의 또 다른 진보된 기술에 대해 더욱 자세히 설명하겠다.
일례로, 상기 공간 터치 제어방법은 안면인식 센서(700)를 통해 사용자의 안면 영상을 획득하는 안면 영상 획득단계(S10)를 더 포함하며, 상기 제어부(100)는 획득한 안면 영상에 기초하여 미리 정해진 활성화 조건을 만족하는 경우 상기 사용자 영상 획득단계(S30)를 구현할 수 있다.
즉, 상기 공간 터치 제어방법은 상기 사용자 영상 획득단계(S30)가 구현되기 전, 상기 안면 영상 획득단계(S10)가 먼저 실행될 수 있다.
일례로, 상기 안면 영상 획득단계(S10)는 안면인식 센서(700)를 통해 소정의 공간에 위치하는 사람의 얼굴 영상을 획득하는 장치일 수 있다.
일례로, 상기 안면인식 센서(700)는 상기 디스플레이(200)에 인접한 소정의 위치에 배치될 수 있으며, 상기 디스플레이(200) 주위에 위치하는 사람의 영상을 획득할 수 있다.
일례로, 상기 안면인식 센서(700)는 영상을 획득하는 카메라일 수 있다.
한편, 일례로, 상기 안면 영상 획득단계(S10)는 상기 디스플레이(200) 주위에 위치하는 사람이 상기 디스플레이(200)를 제어하고자 하는 사용자인지 여부를 판단하기 위해 구현되는 단계일 수 있다.
일례로, 상기 미리 정해진 활성화 조건을 만족하는지 여부의 판단은 상기 제어부(100)에 의해 상기 안면 영상 획득단계(S10)에서 구현될 수 있다.
일례로, 상기 미리 정해진 활성화 조건은 상기 안면인식 센서(700)에 의해 획득한 사람의 영상을 기초로 해당 사람이 상기 디스플레이(200)를 제어하고자 하는 사용자인지 여부를 판단하는 기준 조건일 수 있다.
일례로, 상기 미리 정해진 활성화 조건은 상기 안면인식 센서(700)에 의해 획득한 사람의 영상에서 해당 사람의 얼굴이 상기 디스플레이(200)를 향하는 방향이며, 그 지속 기간이 미리 정해진 임계 시간 이상인 조건일 수 있으며, 이 조건을 만족하는 경우 상기 디스플레이(200)를 제어하고자 하는 사용자임으로 판단할 수 있다.
즉, 상기 제어부(100)는 상기 안면인식 센서(700)에 의해 획득한 사람의 영상에서 얼굴 영역을 검출할 수 있고, 얼굴 영역이 상기 디스플레이(200)를 향하는 방향으로 상기 임계 시간 이상 유지되는 경우, 즉 안면의 위치 및/또는 방향이 기 설정된 범위 내에 기 설정된 시간 이상 유지되는 경우, 상기 미리 정해진 활성화 조건을 만족한다고 판단하여 상기 사용자 영상 획득단계(S30)를 구현할 수 있다.
그 결과, 상기 제어부(100)는 획득한 안면 영상이 상기 미리 정해진 활성화 조건을 만족하는 경우 상기 적외선 센서(600)를 통해 사용자의 영상의 획득을 시작할 수 있다.
한편, 상기 공간 터치 제어방법은 상기 미리 정해진 활성화 조건을 만족하는 경우 상기 디스플레이(200)를 통해 사용자에게 공간 터치 가능 알람을 제공하는 알람 제공 단계(S20)를 더 포함할 수 있다.
즉, 상기 제어부(100)는 상기 미리 정해진 활성화 조건을 만족하는 경우 해당 상기 디스플레이(200)를 제어하여 "공간 터치를 사용해 보세요"라는 음성 및/또는 알람을 표시할 수 있다.
그 결과, 사용자는 상기 공간 터치 알람을 인식하여 공간 터치를 위한 모션을 할 수 있다.
한편, 상기 공간 터치 제어방법은 상기 제어부(100)를 통해 획득한 안면 영상에서 사용자의 성별, 나이를 포함하는 사용자 정보를 산출하는 사용자 정보 산출단계(S60) 및 메모리부(400)를 통해 산출된 사용자 정보가 저장되는 사용자 정보 저장단계(S70)를 더 포함할 수 있다.
일례로, 상기 사용자 정보 산출단계(S60)는 상기 안면인식 센서(700)를 통해 획득한 사용자의 안면 영상을 통해 상기 제어부(100)가 해당 사용자의 성별, 나이 등을 산출하는 단계를 의미할 수 있다.
일례로, 상기 제어부(100)는 사용자의 안면 영상을 기초로 하여 해당 사용자의 성별과 10대인지, 20대인지 여부에 대한 정보를 산출할 수 있다.
사용자 정보를 추출하기 위해 상기 인공지능부(500)가 이용될 수 있다.
일례로, 상기 인공지능부(500)는 사용자의 안면 영상에 대해 수 많은 학습 데이터를 통해 해당 사용자의 성별 및 나이를 산출할 수 있다.
여기서, 상기 사용자 정보 저장단계(S70)는 산출된 상기 사용자 정보를 상기 메모리부(400)에 저장할 수 있다.
일례로, 상기 사용자 정보 저장단계(S70)는 사용자의 안면 영상을 저장하는 것이 아니라, 안면 영상으로부터 산출된 상기 사용자 정보를 저장할 수 있다.
따라서, 개인 정보 보호가 구현될 수 있다.
여기서, 일례로, 상기 사용자 정보 저장단계(S70)는 상기 미리 정해진 모션 조건을 만족하는 경우 구현될 수 있다.
즉, 상기 사용자 정보 저장단계(S70)는 상기 안면 영상 획득단계(S10) 직후, 곧 바로 구현되는 것이 아니라, 상기 디스플레이 제어단계(S50)에서 상기 미리 정해진 모션 조건을 만족하여 상기 디스플레이(200)가 제어된 후 구현될 수 있다.
마찬가지로, 상기 사용자 정보 산출단계(S60)도 상기 미리 정해진 모션 조건을 만족하는 경우 구현될 수 있다.
이하에서는, 앞서 설명한 상기 공간 터치 제어방법이 광고 분야에 적용된 실시예를 설명하겠다.
일례로, 상기 디스플레이(200)는 쇼핑몰 앞, 건물 벽 등에 설치될 수 있다.
사람들은 지나가면서 상기 디스플레이(200)가 표시하는 광고들을 인지할 수 있다.
이 때, 일례로, 표시되는 광고는 핸드백 광고일 수 있다.
이 때, 광고에 관심있는 행인 중 한 명이 상기 디스플레이(200)부 앞에 멈춰 서서 광고를 응시할 수 있다.
이 때, 도 4에 도시한 바와 같이, 상기 안면인식 센서(700)는 상기 디스플레이(200) 앞에서 광고를 응시하는 이용자의 안면 영상을 획득하여 상기 안면 영상 획득단계(S10)가 구현될 수 있다.
상기 제어부(100)는 획득한 안면 영상에 기초하여 상기 미리 정해진 활성화 조건을 만족하는 경우 상기 디스플레이(200)를 통해 상기 공간 터치 가능 알람을 제공할 수 있다.
이용자는 상기 디스플레이(200)를 보면서 상기 디스플레이(200)를 제어하는 소정의 모션을 취할 수 있다.
이 경우, 상기 적외선 센서(600)는 사용자의 영상을 획득할 수 있으며, 상기 제어부(100)는 사용자의 영상에서 사용자의 모션을 검출할 수 있다.
만약, 사용자가 커서(I)를 왼쪽으로 옮겨 왼쪽의 핸드백을 클릭하는 모션을 한 경우, 상기 제어부(100)는 클릭된 핸드백에 대한 브랜드, 가격, 매장위치 등에 대한 상품정보를 상기 디스플레이(200)를 통해 표시할 수 있다.
이 때, 상기 제어부(100)는 상기 안면인식 센서(700)를 통해 획득한 사용자의 얼굴 영상에서 사용자 정보를 산출할 수 있으며, 상기 메모리부(400)에 산출한 상기 사용자 정보와 광고에 대한 정보(핸드백에 대한 정보)를 매칭하여 저장할 수 있다.
상기 메모리부(400)에 저장된 정보들은 향 후, 광고 마케팅의 활용에 사용될 수 있다.
앞서 설명한 바와 같이, 상기 공간 터치 제어방법은 사용자의 모션의 정의에 대해 정확히 구분할 수 있으며, 공간 터치 기술을 활용하여 광고 산업에 적용될 수 있는 효과가 있다.
본 발명의 다른 일 실시예에 따른 공간 터치 제어장치(10)는 앞서 설명한 공간 터치 제어방법을 구현하는 장치일 수 있다.
일례로, 도 6에 도시한 바와 같이, 상기 공간 터치 제어장치(10)는 사용자의 영상을 획득하는 상기 적외선 센서(600), 안면영상을 획득하는 상기 안면인식 센서(700), 획득한 영상에서 사용자의 모션을 검출하는 상기 제어부(100) 및 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상응하는 정보를 표시하는 상기 디스플레이(200)를 포함할 수 있다.
나아가, 상기 공간 터치 제어장치는 외부의 기기와 소정의 정보/데이터를 송수신하는 통신부(300), 소정의 정보/데이터를 저장하는 상기 메모리부(400), 소정의 조건 등을 산출하는 상기 인공지능부(500)를 더 포함할 수 있다.
또한, 본 발명의 다른 일 실시예로서, 상기 공간 터치 제어방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 더 포함할 수도 있다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100: 제어부
200: 디스플레이
300: 통신부
400: 메모리부
500: 인공지능부

Claims (12)

  1. 공간 터치를 통해 디스플레이를 제어하는 공간 터치 제어방법에 있어서,
    적외선 센서를 통해 사용자의 영상을 획득하는 사용자 영상 획득단계;
    제어부를 통해 획득한 영상에서 사용자의 모션을 검출하는 모션 검출단계;
    상기 제어부를 통해 사용자의 모션에 기초하여 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하는 디스플레이 제어단계;를 포함하며,
    - 상기 디스플레이의 제어는 상기 디스플레이에 표시되는 커서를 이동시키거나, 클릭하는 것을 포함 함 -
    상기 모션 검출단계는,
    상기 제어부를 통해 획득한 영상에서 손을 검출하는 손 검출단계,
    상기 제어부를 통해 획득한 영상에서 검지를 검출하는 검지 검출단계 및
    상기 제어부를 통해 획득한 영상에서 손의 위치 이동 여부 및 검지 위치 이동 여부를 검출하는 이동 검출단계를 포함하며,
    상기 디스플레이 제어단계는,
    상기 제어부를 통해 손의 위치 이동 및 검지의 위치 이동에 기초하여 상기 미리 정해진 모션 조건을 만족하는 경우 상기 디스플레이를 제어하며,
    상기 미리 정해진 모션 조건은,
    손에 대한 기 설정된 제1 포인트와 검지에 대한 기 설정된 제2 포인트의 변위에 대한 조건이며,
    상기 제1 포인트와 상기 제2 포인트가 기 설정된 이동 임계값 이상으로 이동되는 경우 상기 디스플레이에 표시되는 커서를 이동시키는 조건이고, 상기 제1 포인트는 상기 이동 임계값 미만이고 상기 제2 포인트는 상기 이동 임계값 이상인 경우 상기 디스플레이에 표시되는 커서를 클릭하는 조건이며,
    안면인식 센서를 통해 사용자의 안면 영상을 획득하는 안면 영상 획득단계;를 더 포함하며,
    상기 사용자 영상 획득 단계는,
    상기 안면 영상 획득단계를 통해 획득한 안면 영상이 상기 제어부를 통해 미리 정해진 활성화 조건을 만족하는 것으로 판단되는 경우 구현되며,
    상기 미리 정해진 활성화 조건을 만족하는 경우 상기 디스플레이를 통해 사용자에게 공간 터치 가능 알람을 제공하는 알람 제공 단계;를 더 포함하며,
    상기 미리 정해진 활성화 조건은,
    안면의 위치가 기 설정된 범위 내에 기 설정된 시간 이상 유지되는 조건이며,
    상기 제어부를 통해 획득한 안면 영상에서 사용자의 성별을 포함하는 사용자 정보를 산출하는 사용자 정보 산출단계; 및
    메모리부를 통해 산출된 사용자 정보가 저장되는 사용자 정보 저장단계;를 더 포함하고,
    상기 사용자 정보 저장단계 및 상기 사용자 정보 산출단계는,
    상기 디스플레이 제어단계에서 사용자의 모션이 상기 미리 정해진 모션 조건을 만족하여 상기 디스플레이를 제어하는 경우 구현되며 상기 미리 정해진 모션 조건을 만족하지 않아 상기 디스플레이를 제어하지 않는 경우 구현되지 않는,
    공간 터치 제어방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 미리 정해진 모션 조건은,
    인공지능부를 통해 결정되는,
    공간 터치 제어방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제1항 및 제5항 중 어느 한 항에 따른 공간 터치 제어방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020200016112A 2020-02-11 2020-02-11 공간 터치 제어방법 KR102140927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200016112A KR102140927B1 (ko) 2020-02-11 2020-02-11 공간 터치 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200016112A KR102140927B1 (ko) 2020-02-11 2020-02-11 공간 터치 제어방법

Publications (1)

Publication Number Publication Date
KR102140927B1 true KR102140927B1 (ko) 2020-08-04

Family

ID=72048939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200016112A KR102140927B1 (ko) 2020-02-11 2020-02-11 공간 터치 제어방법

Country Status (1)

Country Link
KR (1) KR102140927B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414378B1 (ko) * 2021-01-29 2022-06-30 주식회사 베오텍 드라이브 스루 공간터치 시스템 및 방법
KR102419507B1 (ko) * 2021-02-15 2022-07-12 주식회사 베오텍 드라이브 스루 공간터치 시스템 및 방법
KR102419506B1 (ko) * 2021-01-18 2022-07-12 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법
WO2023200044A1 (ko) * 2022-04-13 2023-10-19 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법
KR20230146285A (ko) * 2022-04-12 2023-10-19 광주과학기술원 비접촉식 화면 제어 시스템

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR20080031967A (ko) * 2005-08-22 2008-04-11 삼성전자주식회사 움직임 패턴 식별 장치 및 방법
KR20110108647A (ko) * 2010-03-29 2011-10-06 에스케이텔레콤 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
JP2012068690A (ja) * 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
KR20130054131A (ko) * 2011-11-16 2013-05-24 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20140061460A (ko) * 2011-08-19 2014-05-21 퀄컴 인코포레이티드 제품들 및 서비스들의 상호작용 프로모션을 위한 시스템 및 방법
US20150160785A1 (en) * 2013-12-11 2015-06-11 Microsoft Corporation Object Detection in Optical Sensor Systems
KR20150065829A (ko) * 2012-10-09 2015-06-15 퀄컴 엠이엠에스 테크놀로지스, 인크. 모바일 디바이스에 대한 귀 위치와 제스쳐 검출
KR20150068369A (ko) * 2012-09-27 2015-06-19 아날로그 디바이시즈 글로벌 무접촉 제스처 검출 시스템을 갖는 디바이스의 무접촉 제스처-기반 사용자 인터페이스의 록킹 및 언록킹
KR20150113627A (ko) * 2014-03-31 2015-10-08 전자부품연구원 깊이 센서 기반의 공간 터치 제어장치 및 방법
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080031967A (ko) * 2005-08-22 2008-04-11 삼성전자주식회사 움직임 패턴 식별 장치 및 방법
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR20110108647A (ko) * 2010-03-29 2011-10-06 에스케이텔레콤 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
JP2012068690A (ja) * 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
KR20140061460A (ko) * 2011-08-19 2014-05-21 퀄컴 인코포레이티드 제품들 및 서비스들의 상호작용 프로모션을 위한 시스템 및 방법
KR20130054131A (ko) * 2011-11-16 2013-05-24 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20150068369A (ko) * 2012-09-27 2015-06-19 아날로그 디바이시즈 글로벌 무접촉 제스처 검출 시스템을 갖는 디바이스의 무접촉 제스처-기반 사용자 인터페이스의 록킹 및 언록킹
KR20150065829A (ko) * 2012-10-09 2015-06-15 퀄컴 엠이엠에스 테크놀로지스, 인크. 모바일 디바이스에 대한 귀 위치와 제스쳐 검출
US20150160785A1 (en) * 2013-12-11 2015-06-11 Microsoft Corporation Object Detection in Optical Sensor Systems
KR20150113627A (ko) * 2014-03-31 2015-10-08 전자부품연구원 깊이 센서 기반의 공간 터치 제어장치 및 방법
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419506B1 (ko) * 2021-01-18 2022-07-12 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법
KR102414378B1 (ko) * 2021-01-29 2022-06-30 주식회사 베오텍 드라이브 스루 공간터치 시스템 및 방법
KR102419507B1 (ko) * 2021-02-15 2022-07-12 주식회사 베오텍 드라이브 스루 공간터치 시스템 및 방법
KR20230146285A (ko) * 2022-04-12 2023-10-19 광주과학기술원 비접촉식 화면 제어 시스템
KR102679286B1 (ko) 2022-04-12 2024-06-28 광주과학기술원 비접촉식 화면 제어 시스템
WO2023200044A1 (ko) * 2022-04-13 2023-10-19 주식회사 베오텍 공간 터치 제어장치 및 공간 터치 제어방법

Similar Documents

Publication Publication Date Title
KR102140927B1 (ko) 공간 터치 제어방법
US20210157412A1 (en) Systems and methods of direct pointing detection for interaction with a digital device
US10261685B2 (en) Multi-task machine learning for predicted touch interpretations
CN104956292B (zh) 多个感知感测输入的交互
US8810513B2 (en) Method for controlling interactive display system
US8723796B2 (en) Multi-user interactive display system
US9349131B2 (en) Interactive digital advertising system
US10120454B2 (en) Gesture recognition control device
US10001838B2 (en) Feature tracking for device input
JP2020052991A (ja) ジェスチャ認識に基づく対話型ディスプレイの方法及び装置
US20030048280A1 (en) Interactive environment using computer vision and touchscreens
US9268407B1 (en) Interface elements for managing gesture control
US20130246954A1 (en) Approaches for highlighting active interface elements
KR101208783B1 (ko) 무선 통신 장치 및 분할 터치 감지 사용자 입력 표면
CN107943273A (zh) 上下文压力感测触觉响应
CN105531719A (zh) 利用指纹传感器的用户输入
JP2012509544A (ja) 入力機構としての動き認識
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
KR20180132493A (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
Wu et al. A visual attention-based method to address the midas touch problem existing in gesture-based interaction
US9377866B1 (en) Depth-based position mapping
KR20190067433A (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
Cicek et al. Mobile head tracking for ecommerce and beyond
US11782548B1 (en) Speed adapted touch detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant