KR20180117952A - 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법 - Google Patents

딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법 Download PDF

Info

Publication number
KR20180117952A
KR20180117952A KR1020170051174A KR20170051174A KR20180117952A KR 20180117952 A KR20180117952 A KR 20180117952A KR 1020170051174 A KR1020170051174 A KR 1020170051174A KR 20170051174 A KR20170051174 A KR 20170051174A KR 20180117952 A KR20180117952 A KR 20180117952A
Authority
KR
South Korea
Prior art keywords
marker
dimensional
brightness
touch recognition
unit
Prior art date
Application number
KR1020170051174A
Other languages
English (en)
Other versions
KR101921140B1 (ko
Inventor
이수웅
권순오
안희경
이강원
이종일
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170051174A priority Critical patent/KR101921140B1/ko
Priority to PCT/KR2017/011272 priority patent/WO2018194227A1/ko
Publication of KR20180117952A publication Critical patent/KR20180117952A/ko
Application granted granted Critical
Publication of KR101921140B1 publication Critical patent/KR101921140B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission

Abstract

본 발명의 일 실시 예는 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 딥러닝을 이용하여 다양한 사용자입력을 인식, 판단하여 처리할 수 있는 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법을 제공한다. 본 발명의 실시 예에 따른 딥러닝을 이용한 3차원 터치 인식 장치는, 외측면에 사용자입력이 작용하고 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부; 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커; 사용자입력에 대응하여 변화하는 마커의 이미지로서의 마커이미지를 수집하는 촬상부; 시트의 내측면을 향해 광을 조사하는 조명부; 및 마커이미지를 분석하여 3차원 패턴을 생성하고, 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 딥러닝 결과값을 출력하는 분석부;를 포함한다.

Description

딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법 {3 DIMENSIONAL TOUCH SENSING APPARATUS USNIG DEEP LEARNING AND METHOD FOR SENSING 3 DIMENSIONAL TOUCH USNIG THE SAME}
본 발명은 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법에 관한 것으로, 더욱 상세하게는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 딥러닝을 이용하여 다양한 사용자입력을 인식, 판단하여 처리할 수 있는 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법에 관한 것이다.
현재 통상적으로 사용되는 입력장치로는, 마우스, 키보드, 터치패드, 트랙볼 등이 있으며, 이들은, 사용자가 해당 장치의 케이싱 및 주요부위를 적절한 힘으로 파지 또는 접촉하여 이동 및 클릭하여야 하는 등 사용자에게 다소 정교한 동작을 요구하고 있다.
그러나, 장애인이나 어린이, 노인의 경우, 상기와 같은 구성을 갖는 입력장치를 사용하는데 필요한 정교한 동작을 형성하는 것이 어렵거나 불가능할 수 있다는 문제점이 있다.
그리고, 이러한 사용자들도 쉽게 활용 가능한 입력장치 등의 개발이 이루어지고 있으나, 음성인식 등의 고도한 기술을 이용하거나, 특수한 구조를 채택하는 것이 일반적이어서, 대부분 구조가 복잡하고 생산 비용이 높다는 문제점이 있다.
최근에는, 딥러닝을 포함한 기계학습은 IoT 기술의 발달과 빅데이터 처리를 뒷받침할 수 있는 GPU를 비롯한 각종 하드웨어 발전으로 패턴 인식 분야의 활성화와 정확성 제고에 큰 기여를 하고 있으며, 이러한 딥러닝 등을 이용하여 인식에 대한 다양성과 정확성을 향상시킬 수 있다.
대한민국 등록특허 제10-1719278호(발명의 명칭: 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법)에는, 딥러닝 기술을 모듈화하며, 각 모듈별 In/Out 파라미터 속성 추출 및 훈련 데이터셋 분석, 딥러닝 시나리오의 자동화하는 콘텐츠 기반 딥러닝 분석도구를 탑재하며, 상기 콘텐츠 기반 딥러닝 분석도구를 통한 모듈간 IN/OUT의 파라미터 속성을 연동시키는 파라미터 속성 연동모듈과, 모듈간 연동이 가능한 동적 호출 인터페이스 연동모듈과, 상기 모듈간의 표준API 인터페이스 통합모듈과, 모듈의 태스킹 분석, 결과, 확인을 하나로 통합하는 One-pass 통합모듈 및 딥러닝 분석도구를 통한 분석 결과를 저장하는 분석 결과 저장소를 포함하는 통합GUI프레임워크가 개시되어 있다.
대한민국 등록특허 제10-1719278호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 복잡한 동작이 필요 없이 누름, 이동 등의 사용자입력을 구현할 수 있도록 하는 것이다.
그리고, 본 발명의 목적은, 딥러닝 알고리즘을 이용하여 장치에 입력된 3차원 패턴을 분석하도록 하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 외측면에 사용자입력이 작용하고 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부; 상기 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커; 상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지로서의 마커이미지를 수집하는 촬상부; 상기 시트의 내측면을 향해 광을 조사하는 조명부; 및 상기 마커이미지를 분석하여 3차원 패턴을 생성하고, 상기 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 딥러닝 결과값을 출력하는 분석부;를 포함한다.
본 발명의 실시 예에 있어서, 상기 딥러닝 알고리즘은 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나일 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커의 위치 변경 또는 명도 변화에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 상기 크기포인트마커의 위치 변경 또는 명도 변화, 및 상기 크기포인트마커를 중심으로 소정의 범위 내 위치하는 크기보조마커의 크기 또는 형상의 변화에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커의 위치 변경 또는 명도 변화에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 상기 명도포인트마커의 위치 변경 또는 명도 변화, 및 상기 명도포인트마커를 중심으로 소정의 범위 내 위치하는 명도보조마커의 크기 또는 형상의 변화에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 마커는, 원형의 형상으로 형성될 수 있다.
본 발명의 실시 예에 있어서, 상기 사용자입력 중 최초의 사용자입력인 시작입력이 상기 시트의 외측면에 작용 시 시각적 알림을 수행하는 시작알림부를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부로부터 상기 딥러닝 결과값을 전달 받고, 상기 딥러닝 결과값에 대응하는 제어신호를 외부 장비로 전달하는 제어부를 더 포함할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, (i) 상기 시트에 상기 사용자입력이 작용하는 단계; (ii) 상기 촬상부가 단위 시간 당 상기 시트의 내측면을 촬영하여 촬영된 상기 마커이미지를 상기 분석부로 전달하는 단계; (iii) 상기 분석부가 상기 마커이미지를 분석하여 상기 마커의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 생성하는 단계; 및 (iv) 상기 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하여 딥러닝 결과값을 출력하는 단계;를 포함한다.
본 발명의 실시 예에 있어서, 상기 (iii) 단계에서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커의 위치 변경에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 (iii) 단계에서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커의 위치 변경에 의해 상기 3차원 패턴을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 (iii) 단계에서, 상기 마커의 위치 변경에 의해 상기 마커의 3차원 변위 중 수평 변위를 측정할 수 있다.
본 발명의 실시 예에 있어서, 상기 (iii) 단계에서, 상기 마커의 명도 변화에 의해 상기 마커의 3차원 변위 중 수직 변위를 측정할 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식, 판단하여 처리할 수 있으므로, 장애인, 환자, 유아 등 정교한 거동이 어려운 사용자가 편리하게 이용할 수 있다는 것이다.
그리고, 본 발명의 효과는, 사용자입력에 의해 장치에 입력된 3차원 패턴을 딥러닝 알고리즘을 이용하여 분석 및 판단하므로, 다양한 사용자패턴에 대한 정확성을 향상시킬 수 있다는 것이다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 사시도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 시트에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이다.
도 4는 본 발명의 일 실시 예에 따른 시트에 대해 누름 동작이 작용하는 사항에 대한 모식도이다.
도 5는 본 발명의 일 실시 예에 따른 시트에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 6은 본 발명의 일 실시 예에 따른 시트에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 7은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 사시도이고, 도 2는 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 구성도이다.
도 1 및 도 2에서 보는 바와 같이, 본 발명의 딥러닝을 이용한 3차원 터치 인식 장치는, 외측면에 사용자입력이 작용하고 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트(110)를 구비하는 입력부(100); 시트(110)의 내측면을 따라 복수 개 배열되어 설치되는 마커(120); 사용자입력에 대응하여 변화하는 마커(120)의 이미지로서의 마커이미지를 수집하는 촬상부(200); 시트(110)의 내측면에 광을 조사하는 조명부(300); 및 마커이미지를 분석하여 3차원 패턴을 생성하고, 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 딥러닝 결과값을 출력하는 분석부(400);를 포함할 수 있다.
마커(120)는, 원형의 형상으로 형성될 수 있다.
본 발명의 실시 예에서는, 마커(120)가 원형이라고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 타원형, 정사각형, 다각형 등 다양한 형상으로 형성될 수 있다. 그리고, 마커(120)는, 선으로 형성되는 도형일 수 있고, 도형 내부에 색이 채워진 형태일 수도 있다.
복수 개의 마커(120)의 설치 패턴은, 소정의 개수의 행과 열을 갖고, 행과 행, 열과 열 사이의 간격을 동일하게 하거나, 동심원의 배열 등 다양한 패턴을 모두 고려할 수 있다.
바람직하게는, 복수 개의 마커(120)가 정방형의 배열을 형성할 수 있다.
이러한 경우, 마커이미지의 변화는, 마커(120)로 형성되는 배열의 열 또는 행 간의 간격 변화 또는 배열의 형상 변화에 의해 생성될 수 있다. 그리고, 마커이미지의 변화는, 마커(120) 자체의 크기 또는 형상의 변화에 의해 생성될 수 있음은 물론이다.
사용자입력은, 시트(110)의 외측면에 사용자의 신체 일부가 접촉된 상태에서, 사용자의 신체 일부가 정지 또는 동작하여 수행될 수 있다.
사용자의 실체 일부는, 손이나 손가락, 발이나 발가락, 팔꿈치 또는 무릎 등으로써, 시트(110)의 일면에 접촉하여 누름, 누름해제, 이동 등의 동작이 가능한 모든 신체 부위를 의미할 수 있다.
또한, 사용자입력을 발생하는 주체인 사용자는, 사람만으로 한정하지 않고, 기계, 로봇 기타 장치를 포함할 수 있다.
누름의 경우, 누르는 압력, 누름을 유지하는 시간을 한정하는 것은 아니다. 누름해제의 경우, 누름해제에 소요되는 시간 등을 특정한 범위 내로 한정할 것은 아니다. 나아가, 소정의 시간 동안 누름이 발생하고, 이후 즉시 누름해제가 발생하는 경우, 이를 클릭이라고 칭할 수 있다. 이동은, 사용자가 누름의 상태를 유지하면서, 시트(110) 일면의 한 지점에서부터 다른 지점으로 움직이는 것을 의미하는데, 움직이는 경로는 특정한 것에 한정되지 않으며, 직선, 곡선을 포함할 수 있으며, 곡선도, 원, 타원, 호, 스플라인 등을 포함할 수 있으나, 이에 한정할 것은 아니다.
촬상부(200)에는, CCD 등의 소자가 포함될 수 있는데, 이러한 예에 한정할 것은 아니다.
그리고, 촬상부(200)는, 촬영면 전체에 대한 촬영이 가능하도록 광각렌즈를 구비할 수 있다.
시트(110)는, 신축성이 있는 재질로 만들어질 수 있다.
시트(110)를 제외한 입력부(100)의 나머지 부위는, 시트(110)와 같이 신축성이 있는 재질로 형성될 수 있고, 또는, 시트(110)와 달리 신축성이 없는 재질로 형성될 수도 있다.
또한, 입력부(100)는, 내부 공간이 외부로부터 개방된 형상일 수 있고, 도 2에서 보는 바와 같이, 내부 공간이 외부로부터 폐쇄된 형상일 수도 있다.
조명부(300)는, LED 램프를 포함할 수 있다.
그리고, 사용자입력이 소정의 시간을 초과하여 발생하지 않는 경우, 자동으로 소등되는 등의 구성을 채택할 수도 있을 것이다.
도 3은 본 발명의 일 실시 예에 따른 시트(110)에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이고, 도 4는 본 발명의 일 실시 예에 따른 시트(110)에 대해 누름 동작이 작용하는 사항에 대한 모식도이며, 도 5는 본 발명의 일 실시 예에 따른 시트(110)에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다. 그리고, 도 6은 본 발명의 일 실시 예에 따른 시트(110)에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이며, 도 7은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.
여기서, 도 3의 (a), 도 4의 (a), 도 5의 (a) 및 도 6의 (a)는 각각의 사용자입력이 작용하고 있는 입력부에 대한 단면도일 수 있다. 그리고, 도 3의 (b), 도 4의 (b), 도 5의 (b) 및 도 6의 (b)는 각각의 사용자입력이 작용하고 있는 시트의 내측면에 대한 평면도일 수 있다.
도 3 내지 도 6에서, 도면 부호 121은, 크기포인트마커(121) 또는 명도포인트마커(121)를 나타낼 수 있다. 그리고, 도면 부호 122는, 크기보조마커(122) 또는 명도보조마커(122)를 나타낼 수 있다.
분석부(400)는, 복수 개의 마커(120) 중 촬상부(200)에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커(121)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단할 수 있다. 또는, 분석부(400)는, 복수 개의 마커(120) 중 촬상부(200)에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커(121)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단할 수 있다.
크기포인트마커(121)와 명도포인트마커(121)는 촬상부(200)에 인식되는 마커이미지를 기준으로 가장 크기가 큰 마커(120)와 가장 명도가 높은 마커(120)를 나타낼 수 있다. 특히, 명도포인트마커(121)의 경우, 촬상부(200)와 조명부(300)가 동일 방향에 위치하고 있어, 마커(120)의 위치가 촬상부(200)에 근접하는 경우 명도가 높아지는 현상을 이용하는 것일 수 있다.
3차원 패턴은, 2차원적인 수평 변위와 이러한 수평 변위에 수직인 수직 변위에 의한 위치 변경일 수 있다. 본 발명의 실시 예에서는, 도 3 내지 도 6에서 보는 바와 같이, 2차원적인 수평 변위는 x-y 평면 상 변위로 표현되고, 수직 변위는 x-y 평면에 수직인 z축에 대한 변위로 표현될 수 있다.
일 실시 예로써, 가장 크기가 크게 인식되는 마커(120)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단하는 사항에 대해 설명하기로 한다.
도 3에서 보는 바와 같이, 시트(110)에 최초로 사용자입력이 작용 시, 크기포인트마커(121)가 인식될 수 있다. 그리고, 도 4 내지 도 6에서 보는 바와 같이, 손을 이용하여 시트(110)의 외측면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 촬상부(200)에 대해 가장 크기가 크게 인식되는 크기포인트마커(121)의 위치가 변경될 수 있다. 여기서, 크기포인트마커(121)의 이동은, 복수 개의 마커(120) 중 촬상부(200)에 가장 크기가 크게 인식되는 마커(120)의 위치가 변함으로써 인식될 수 있다. 즉, 마커(120) 자체가 이동하는 것이 아닌 크기포인트마커(121)의 위치 변화를 인식하여 크기포인트마커(121)의 이동으로 판단할 수 있는 것이다.
그리고, 분석부(400)는, 크기포인트마커(121)의 위치 변경 또는 명도 변화, 및 크기포인트마커(121)를 중심으로 소정의 범위 내 위치하는 크기보조마커(122)의 크기 또는 형상의 변화에 의해 3차원 패턴을 판단할 수 있다.
소정의 범위는, 크기포인트마커(121)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 크기포인트마커(121)를 중심으로 L개(L은 임의의 정수)의 마커가 포함되는 원형의 범위일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 소정의 범위가 시트(110)의 내측면 전체 범위임을 배제하는 것은 아니다. (소정의 범위는, 도 5 및 도 6에서 점선으로 표시되어 있다.)
크기포인트마커(121)가 위치 변경하면 소정의 범위 내에 위치하는 크기보조마커(122)의 크기 또는 형상이 변화하고, 이에 대한 데이터가 분석부(400)에 미리 저장되거나, 딥러닝에 의해 학습되어 분석부(400)에 저장될 수 있다.
그리고, 분석부(400)는, 크기포인트마커(121)의 위치 변화 또는 명도 변화에 대한 이미지뿐만 아니라, 복수 개인 크기보조마커(122) 각각의 크기 또는 형상의 변화에 대한 이미지를 분석하여 3차원 패턴을 판단할 수 있다.
구체적으로, 도5 및 도 6에서 보는 바와 같이, 크기포인트마커(121)가 수평 변위 이동을 수행하는 경우, 크기포인트마커(121)의 위치 변경이 수행되면, 3X3배열의 소정의 범위 내 크기보조마커(122)의 크기 또는 형상이 변화하고, 크기포인트마커(121)의 이동과 크기보조마커(122) 크기 또는 형상 변화를 종합적으로 판단하여 3차원 패턴을 판단할 수 있다.
상기와 같은 크기포인트마커(121)의 위치 변경에 의해 손의 2차원적인 수평 변위를 측정할 수 있고, 크기포인트마커(121)의 명도 변화에 의해 손의 누름에 의한 수직 변위를 측정할 수 있어, 결론적으로 손에 의한 사용자입력에 대해 3차원 패턴을 판단할 수 있다.
다른 실시 예로써, 가장 명도가 높게 인식되는 마커(120)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 판단하는 사항에 대해 설명하기로 한다.
도 3에서 보는 바와 같이, 시트(110)에 최초로 사용자입력이 작용 시, 명도포인트마커(121)가 인식될 수 있다. 그리고, 도 4 내지 도 6에서 보는 바와 같이, 손을 이용하여 시트(110)의 외측면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 촬상부(200)에 대해 가장 명도가 높게 인식되는 명도포인트마커(121)의 위치가 변경될 수 있다. 여기서, 명도포인트마커(121)의 이동은, 복수 개의 마커(120) 중 촬상부(200)에 가장 명도가 높게 인식되는 마커(120)의 위치가 변함으로써 인식될 수 있다. 즉, 마커(120) 자체가 이동하는 것이 아닌 명도포인트마커(121)의 위치 변화를 인식하여 명도포인트마커(121)의 이동으로 판단할 수 있는 것이다.
그리고, 분석부(400)는, 명도포인트마커(121)의 위치 변경 또는 명도 변화, 및 명도포인트마커(121)를 중심으로 소정의 범위 내 위치하는 명도보조마커(122)의 크기 또는 형상의 변화에 의해 3차원 패턴을 판단할 수 있다.
소정의 범위는, 명도포인트마커(121)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 명도포인트마커(121)를 중심으로 L개(L은 임의의 정수)의 마커가 포함되는 원형의 범위일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 소정의 범위가 시트(110)의 내측면 전체 범위임을 배제하는 것은 아니다. (소정의 범위는, 도 5 및 도 6에서 점선으로 표시되어 있다.)
명도포인트마커(121)가 위치 변경하면 소정의 범위 내에 위치하는 명도보조마커(122)의 크기 또는 형상이 변화하고, 이에 대한 데이터가 분석부(400)에 미리 저장되거나, 딥러닝에 의해 학습되어 분석부(400)에 저장될 수 있다.
그리고, 분석부(400)는, 명도포인트마커(121)의 위치 변화 또는 명도 변화에 대한 이미지뿐만 아니라, 복수 개인 명도보조마커(122) 각각의 크기 또는 형상의 변화에 대한 이미지를 분석하여 3차원 패턴을 판단할 수 있다.
구체적으로, 도5 및 도 6에서 보는 바와 같이, 명도포인트마커(121)가 수평 변위 이동을 수행하는 경우, 명도포인트마커(121)의 위치 변경이 수행되면, 3X3배열의 소정의 범위 내 명도보조마커(122)의 크기 또는 형상이 변화하고, 명도포인트마커(121)의 이동과 명도보조마커(122) 크기 또는 형상 변화를 종합적으로 판단하여 3차원 패턴을 판단할 수 있다.
상기와 같은 명도포인트마커(121)의 위치 변경에 의해 손의 2차원적인 수평 변위를 측정할 수 있고, 명도포인트마커(121)의 명도 변화에 의해 손의 누름에 의한 수직 변위를 측정할 수 있어, 결론적으로 손에 의한 사용자입력에 대해 3차원 패턴을 판단할 수 있다.
구체적으로, 수평 변위와 수직 변위를 판단하는 사항에 대해 설명하기로 한다. (이하, 명도포인트마커(121)를 기준으로 하여 설명하기로 한다.)
도 3에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 최초의 누름 동작을 수행하는 경우, 시트(110) 내측면의 누름 동작이 수행된 부위에서 어느 하나의 마커(120)가 촬상부(200)에 근접하도록 이동하며 명도가 증가할 수 있다. 그리고, 명도가 증가한 마커(120)는 명도포인트마커(121)로 인식되고, 제1지점(P1)이 시작 좌표로 설정될 수 있다.
그리고, 도 4에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 최초의 누름 동작보다 더 강한 힘으로 누름 동작을 수행하는 경우, 더 강한 힘의 누름 동작에 의해 명도포인트마커(121)는 명도가 더 증가된 것으로 인식될 수 있고, 이러한 명도포인트마커(121)의 명도 변화에 의해 사용자입력에 의한 수직 변위를 측정할 수 있다. 즉, 제1지점(P1)에서 제2지점(P2)으로 3차원 좌표가 변경됨을 인식하여 측정할 수 있다.
그리고, 명도가 증가하는 것이 아닌 명도가 감소하는 경우, 즉, 명도포인트마커(121)가 촬상부(200)로부터 이격되어 명도가 감소하면, 도 4에서의 방향과 반대 방향으로 수직 변위가 형성될 수 있다.
도 5에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 하나의 방향으로 이동 동작을 수행하는 경우, 가장 큰 명도를 구비하는 마커(120)가 변경될 수 있고, 이와 같은 마커(120)의 변경에 의해 명도포인트마커(121)가 제2지점(P2)에서 제3지점(P3)으로 이동하는 것으로 인식될 수 있다.
또한, 도 6에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 다른 방향으로 이동 동작을 수행하는 경우, 가장 큰 명도를 구비하는 마커(120)가 변경될 수 있고, 이와 같은 마커(120)의 변경에 의해 명도포인트마커(121)가 제3지점(P3)에서 제4지점(P4)으로 이동하는 것으로 인식될 수 있다.
그리고, 상기와 같은 수평 변위와 수직 변위의 복합적인 변위에 의해 도 7에서 보는 바와 같은 3차원 패턴이 형성될 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치는, 3차원 패턴뿐만이 아니라, 수직 방향 또는 수평 방향의 힘을 검출할 수 있다.
도 4에서 보는 바와 같이, 누름 동작을 수행하면 수직 변위가 형성되고, 이러한 수직 변위에 시트(110)의 탄성계수를 곱하여 사용자입력에 의한 수직 방향의 힘을 측정할 수 있다.
따라서, 수직 방향의 힘을 검출하기 위해, 시트(110)의 탄성계수가 시트(110)의 각 지점마다 동일하도록 시트(110)는 제조될 수 있다.
도 5에서 보는 바와 같이, 이동 동작을 수행하면 수평 변위가 형성되고, 이때, 수평 방향 힘은, 사용자입력인 손의 누름 동작에 의해 시트(110)에 가해지는 수직항력(N)과 시트(110)의 마찰계수(μ)의 곱에 의해 계산되는 마찰력에 대응되는 힘으로 측정될 수 있다.
여기서, 시트(110)의 마찰계수는, 분석부(400)에 저장된 마찰계수기준데이터테이블을 참조하여 결정할 수 있다.
도 5에서 보는 바와 같이, 시트(110)에 누름 동작을 수행하여 수직 변위가 발생한 상태에서 손(사용자입력)을 이동하여 수평 변위를 발생시키므로, 시트(110)의 마찰계수는, 시트(110)의 표면에 대한 물성으로써의 표면마찰계수와 다를 수 있다.
본 발명의 수평 방향 힘 검출 방법에서 이용되는 시트(110)의 마찰계수는, 누름 동작에 의해 시트(110) 형상이 휘어지는 상태를 고려하여 정해지는 것으로, 입력부(100) 형성 후에 시트(110) 외측면에 대한 기계적 실험을 통해 획득되는 데이터에 의해 정해질 수 있다.
수평 방향의 힘은, 상기의 과정에 의해 정해지는 시트(110)의 마찰계수와 수직항력인 수직 방향 힘의 곱에 의해 계산될 수 있다.
딥러닝 알고리즘은 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나일 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치에 이용되는 딥러닝 알고리즘은 공지된 기술일 수 있다.
본 발명의 실시 예에서는 딥러닝 알고리즘으로 상기와 같은 신경망이 이용된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니다.
상기와 같이, 각각의 3차원 패턴은, 3차원의 좌표의 변화로 표현될 수 있으며, 도 7에서 보는 바와 같이, 각각의 3차원 패턴은 각각 3차원의 이미지로 표현되며 저장될 수 있다.
분석부(400)는, 각각의 3차원 패턴에 대해 딥러닝 알고리즘을 이용하여 학습을 수행하고, 학습된 데이터를 기반으로 사용자입력에 의한 3차원 패턴을 분석하여 판단하여 딥러닝 결과값을 도출할 수 있다.
구체적으로, 동일한 사용자가 동일한 3차원 패턴의 입력을 위해 사용자입력을 수행하더라도, 3차원 패턴을 형성하는 각 좌표의 위치는 차이가 날 수 있는데, 분석부(400)는 사용자가 입력한 3차원 패턴을 학습된 데이트를 기반으로 분석하고 판단하여, 사용자가 의도한 3차원 패턴의 사용자입력을 인식할 수 있다. 이에 따라, 사용자가 동일한 패턴이라고 판단하여 입력부(100)에 입력한 3차원 패턴이 3차원 좌표에 있어서 차이가 있더라도, 분석부(400)는 사용자입력에 의한 패턴이 사전에 저장된 3차원 패턴과 동일한 패턴이라고 판단하고, 이에 대한 딥러닝 결과값을 출력할 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치는, 사용자입력 중 최초의 사용자입력인 시작입력이 시트(110)의 외측면에 작용 시 시각적 알림을 수행하는 시작알림부를 더 포함할 수 있다.
상기와 같이 시트(110)의 외측면에 최초의 사용자입력이 작용하는 경우, 3차원 패턴의 형성이 시작될 수 있는데, 사용자는 최초의 사용자입력이 인식되고 있는지 확인하는 방법이 필요할 수 있다.
따라서, 최초의 사용자입력인 시작입력이 시트(110)의 외측면에 작용하면 시작알림부에서 광을 방출하도록 하여 3차원 패턴의 형성 시작을 사용자가 확인할 수 있다.
본 발명의 실시 예에서는, 시작알림부가 광을 방출하여 3차원 패턴 형성을 확인할 수 있도록 한다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 소리나 진동을 이용하여 3차원 패턴의 형성 시작을 사용자가 확인할 수 있도록 할 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치는, 분석부(400)로부터 딥러닝 결과값을 전달 받고, 딥러닝 결과값에 대응하는 제어신호를 외부 장비로 전달하는 제어부(500)를 더 포함할 수 있다.
각각의 3차원 패턴은 특정의 명령과 매칭될 수 있다. 구체적으로, 도 7과 같은 3차원 패턴이 형성되면, 외부 장비의 작동 시작이 수행된다고 매칭되는 경우, 도 7과 같은 3차원 패턴의 입력을 분석 및 판단한 분석부(400)로부터 제어부(500)로 딥러닝 결과값이 출력되고, 제어부(500)는 딥러닝 결과값에 매칭되는 제어신호를 외부 장비로 전달하여 외부 장비의 작동 시작이 수행될 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치를 구비한 컴퓨터를 제조할 수 있다.
분석부(400)에서 처리된 3차원 패턴에 대한 딥러닝 결과값이 제어부(500)를 거쳐 컴퓨터에 전달되고, 해당 3차원 패턴과 대응하는 명령이 컴퓨터에 전달되어 컴퓨커가 명령을 수행할 수 있다.
본 발명의 딥러닝을 이용한 3차원 터치 인식 장치를 구비한 로봇을 제조할 수 있다.
구체적인 일 실시 예로써, 3차원 패턴에 대응하여 작업을 수행하는 로봇의 말단이 이동할 수 있어, 본 발명의 딥러닝을 이용한 3차원 터치 인식 장치가 로봇을 조종하는 조종 장치로써 기능할 수 있다.
이하, 본 발명의 딥러닝을 이용한 3차원 터치 인식 장치를 이용한 3차원 터치 인식 방법을 설명하기로 한다.
첫째 단계에서, 시트(110)에 사용자입력이 작용할 수 있다.
둘째 단계에서, 촬상부(200)가 단위 시간 당 시트(110)의 내측면을 촬영하여 촬영된 마커이미지를 분석부(400)로 전달할 수 있다.
여기서, 단위 시간은, 밀리초(millisecond, ms)단위일 수 있고, 정밀도의 향상을 위하여, 밀리초(millisecond, ms)단위보다 더 작은 단위로 촬영을 수행할 수 있음은 물론이다.
셋째 단계에서, 분석부(400)가 마커이미지를 분석하여 마커(120)의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 생성할 수 있다.
여기서, 분석부(400)는, 복수 개의 마커(120) 중 촬상부(200)에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커(121)의 위치 변경에 의해 3차원 패턴을 판단할 수 있다. 또는, 분석부(400)는, 복수 개의 마커(120) 중 촬상부(200)에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커(121)의 위치 변경에 의해 3차원 패턴을 판단할 수 있다.
셋째 단계에서, 마커(120)의 위치 변경에 의해 마커(120)의 3차원 변위 중 수평 변위를 측정할 수 있다. 그리고, 마커(120)의 명도 변화에 의해 마커(120)의 3차원 변위 중 수직 변위를 측정할 수 있다.
넷째 단계에서, 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하여 딥러닝 결과값을 출력할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 입력부
110 : 시트
120 : 마커
121 : 크기포인트마커 또는 명도포인트마커
122 : 크기보조마커 또는 명도보조마커
200 : 촬상부
300 : 조명부
400 : 분석부
500 : 제어부

Claims (16)

  1. 외측면에 사용자입력이 작용하고 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부;
    상기 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커;
    상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지로서의 마커이미지를 수집하는 촬상부;
    상기 시트의 내측면을 향해 광을 조사하는 조명부; 및
    상기 마커이미지를 분석하여 3차원 패턴을 생성하고, 상기 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 딥러닝 결과값을 출력하는 분석부;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  2. 청구항 1에 있어서,
    상기 딥러닝 알고리즘은 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나인 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  3. 청구항 1에 있어서,
    상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커의 위치 변경 또는 명도 변화에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  4. 청구항 3에 있어서,
    상기 분석부는, 상기 크기포인트마커의 위치 변경 또는 명도 변화, 및 상기 크기포인트마커를 중심으로 소정의 범위 내 위치하는 크기보조마커의 크기 또는 형상의 변화에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  5. 청구항 1에 있어서,
    상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커의 위치 변경 또는 명도 변화에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  6. 청구항 5에 있어서,
    상기 분석부는, 상기 명도포인트마커의 위치 변경 또는 명도 변화, 및 상기 명도포인트마커를 중심으로 소정의 범위 내 위치하는 명도보조마커의 크기 또는 형상의 변화에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  7. 청구항 1에 있어서,
    상기 마커는, 원형의 형상으로 형성되는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  8. 청구항 1에 있어서,
    상기 사용자입력 중 최초의 사용자입력인 시작입력이 상기 시트의 외측면에 작용 시 시각적 알림을 수행하는 시작알림부를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  9. 청구항 1에 있어서,
    상기 분석부로부터 상기 딥러닝 결과값을 전달 받고, 상기 딥러닝 결과값에 대응하는 제어신호를 외부 장비로 전달하는 제어부를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 터치 인식 장치.
  10. 청구항 1 내지 청구항 8 중 어느 하나의 항에 의한 딥러닝을 이용한 3차원 터치 인식 장치를 구비한 컴퓨터.
  11. 청구항 1 내지 청구항 8 중 어느 하나의 항에 의한 딥러닝을 이용한 3차원 터치 인식 장치를 구비한 로봇.
  12. 청구항 1의 딥러닝을 이용한 3차원 터치 인식 장치를 이용한 3차원 터치 인식 방법에 있어서,
    (i) 상기 시트에 상기 사용자입력이 작용하는 단계;
    (ii) 상기 촬상부가 단위 시간 당 상기 시트의 내측면을 촬영하여 촬영된 상기 마커이미지를 상기 분석부로 전달하는 단계;
    (iii) 상기 분석부가 상기 마커이미지를 분석하여 상기 마커의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 생성하는 단계; 및
    (iv) 상기 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하여 딥러닝 결과값을 출력하는 단계;를 포함하는 것을 특징으로 하는 3차원 터치 인식 방법.
  13. 청구항 12에 있어서,
    상기 (iii) 단계에서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 크기가 크게 인식되는 마커인 크기포인트마커의 위치 변경에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 3차원 터치 인식 방법.
  14. 청구항 12에 있어서,
    상기 (iii) 단계에서, 상기 분석부는, 복수 개의 상기 마커 중 상기 촬상부에 의해 가장 명도가 높게 인식되는 마커인 명도포인트마커의 위치 변경에 의해 상기 3차원 패턴을 판단하는 것을 특징으로 하는 3차원 터치 인식 방법.
  15. 청구항 12에 있어서,
    상기 (iii) 단계에서, 상기 마커의 위치 변경에 의해 상기 마커의 3차원 변위 중 수평 변위를 측정하는 것을 특징으로 하는 3차원 터치 인식 방법.
  16. 청구항 12에 있어서,
    상기 (iii) 단계에서, 상기 마커의 명도 변화에 의해 상기 마커의 3차원 변위 중 수직 변위를 측정하는 것을 특징으로 하는 3차원 터치 인식 방법.
KR1020170051174A 2017-04-20 2017-04-20 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법 KR101921140B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170051174A KR101921140B1 (ko) 2017-04-20 2017-04-20 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
PCT/KR2017/011272 WO2018194227A1 (ko) 2017-04-20 2017-10-12 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170051174A KR101921140B1 (ko) 2017-04-20 2017-04-20 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법

Publications (2)

Publication Number Publication Date
KR20180117952A true KR20180117952A (ko) 2018-10-30
KR101921140B1 KR101921140B1 (ko) 2018-11-22

Family

ID=63855937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051174A KR101921140B1 (ko) 2017-04-20 2017-04-20 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법

Country Status (2)

Country Link
KR (1) KR101921140B1 (ko)
WO (1) WO2018194227A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092456A (ko) * 2019-01-07 2020-08-04 한림대학교 산학협력단 딥러닝 기반의 터치센서 측정 오류 보정 장치 및 방법
KR102268003B1 (ko) 2019-12-11 2021-06-21 한림대학교 산학협력단 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796708B (zh) * 2020-06-02 2023-05-26 南京信息工程大学 一种在触摸屏上再现图像三维形状特征的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100875138B1 (ko) * 2006-11-17 2008-12-22 실리콤텍(주) 촬상 센서를 이용한 입력장치 및 그 방법
JP4916994B2 (ja) * 2007-10-02 2012-04-18 アルプス電気株式会社 中空型スイッチ装置及びこれを備えた電子機器
KR101658576B1 (ko) * 2010-01-15 2016-09-22 삼성전자주식회사 이미지 데이터를 이용한 거리 측정 장치 및 방법
KR101177058B1 (ko) * 2010-12-02 2012-08-24 전자부품연구원 마커 기반 3차원 입체 시스템
KR101396203B1 (ko) * 2013-03-13 2014-05-19 한국생산기술연구원 에어 쿠션 동작 감지 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092456A (ko) * 2019-01-07 2020-08-04 한림대학교 산학협력단 딥러닝 기반의 터치센서 측정 오류 보정 장치 및 방법
KR102268003B1 (ko) 2019-12-11 2021-06-21 한림대학교 산학협력단 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법

Also Published As

Publication number Publication date
KR101921140B1 (ko) 2018-11-22
WO2018194227A1 (ko) 2018-10-25

Similar Documents

Publication Publication Date Title
US20200356238A1 (en) Virtual Interactions for Machine Control
US8923562B2 (en) Three-dimensional interactive device and operation method thereof
US8077147B2 (en) Mouse with optical sensing surface
JP5261786B2 (ja) ３次元触覚センサ及び３次元触覚センシング方法
KR101921140B1 (ko) 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
CN102033702A (zh) 影像显示装置及其显示控制方法
EP2056185A2 (en) Gesture recognition light and video image projector
EP2825938A1 (en) Extending the free fingers typing technology and introducing the finger taps language technology
JP2010128822A (ja) 生体認証装置、生体認証方法及び生体認証プログラム
US11640198B2 (en) System and method for human interaction with virtual objects
EP3201724A1 (en) Gesture based manipulation of three-dimensional images
US10078374B2 (en) Method and system enabling control of different digital devices using gesture or motion control
TWI553508B (zh) 物件感測裝置與方法
KR101910187B1 (ko) 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 방법
KR102233746B1 (ko) 소프트 촉각 센서를 이용한 3차원 외력 측정 장치 및 이를 이용한 외력의 3차원 위치와 방향 및 크기 측정 방법
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
KR100969927B1 (ko) 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
KR101801608B1 (ko) 쿠션에 구비되는 마커의 이미지처리를 이용하는 입력장치 및 이를 포함한 컴퓨팅장치를 위한 입력시스템
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
Mihara et al. A real‐time vision‐based interface using motion processor and applications to robotics
US20120206584A1 (en) Integrated input interface
Bahram et al. Caviar: A vibrotactile device for accessible reaching
JP2013134549A (ja) データ入力装置およびデータ入力方法
KR102019795B1 (ko) 구 형상의 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법
KR20190041277A (ko) 신축성 소재를 이용한 3차원 동작 입력 장치 및 이를 이용한 3차원 동작 입력 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right