KR20200121513A - 동작 인식 기반 조작 장치 및 방법 - Google Patents

동작 인식 기반 조작 장치 및 방법 Download PDF

Info

Publication number
KR20200121513A
KR20200121513A KR1020190044148A KR20190044148A KR20200121513A KR 20200121513 A KR20200121513 A KR 20200121513A KR 1020190044148 A KR1020190044148 A KR 1020190044148A KR 20190044148 A KR20190044148 A KR 20190044148A KR 20200121513 A KR20200121513 A KR 20200121513A
Authority
KR
South Korea
Prior art keywords
motion
user
external device
unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190044148A
Other languages
English (en)
Other versions
KR102192051B1 (ko
Inventor
이민호
이원희
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190044148A priority Critical patent/KR102192051B1/ko
Publication of KR20200121513A publication Critical patent/KR20200121513A/ko
Application granted granted Critical
Publication of KR102192051B1 publication Critical patent/KR102192051B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

적외선 카메라를 사용하여 객체를 촬영하여, 학습 네트워크 모델을 이용하여 카메라가 촬영한 영상에서 사용자가 있는지 인식하고, 사용자가 위치한 영역을 검출한 영상을 생성하며, 시간의 변화에 따른 사용자의 움직임의 변화를 인식하여 움직임의 종류를 학습 네트워크 모델을 이용하여 판단하고, 동작 판단 결과를 생성하고, 외부 장치에 대해 특성 정보를 고려하여 외부 장치에 대해 조작 명령을 생성하여 조작하는 동작 인식 기반 조작 장치를 개시하고 있다.

Description

동작 인식 기반 조작 장치 및 방법{DEVICE AND METHOD FOR RECOGNIZING MOTION USING DEEP LEARNING, RECORDING MEDIUM FOR PERFORMING THE METHOD}
본 발명은 동작 인식 기반 조작 장치 및 방법에 관한 것으로서, 더욱 상세하게는 실시간으로 촬영되는 영상에서 사용자, 사용자의 동작, 동작의 종류를 인식하여 장치를 조작하는 동작 인식 기반 조작 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다
컴퓨터, 스마트폰 등이 널리 보급 및 디지털 신호처리 기술이 발전해왔고, 근래에는 인공 지능, 영상인식(Video/Motion Recognition), 딥-러닝(Deep learning), 기계학습(Machine Learning) 등의 기술이 발전함으로써, 음성, 이미지, 동영상 또는 텍스트와 같은 데이터를 자동(Automation)으로 인식하여 데이터와 연관된 정보를 제공하거나 데이터와 관련된 서비스를 제공하는 지능형 서비스(Intelligent Service)가 다양한 분야에서 사용되고 있다
특히, 사용자와 기기 간의 자연스러운 상호작용 인터페이스(Natural User Interface: NUI) 기술에 대한 연구가 활발하며, 특히, 손 모양 및 손 동작 인식 기술과 같은 손을 이용한 인터페이스는 자연스럽고 직관적이 상호작용이 가능하며 부가적인 장비를 요구하지 않는 장점으n HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등에서 활발히 이용되고 있다.
인공 지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 인식 방식은 점차 딥-러닝 기반 인공 지능 방식으로 대체되고 있다.
이와 관련하여, 학습기반 인식 기술은 인식 대상이 되는 손 모양에 대한 데이터 베이스(Database)를 취득하고 이를 학습하여 생성한 모델을 통해 손 모양을 인식하는데, 기존의 머신 러닝을 기반으로 한 인식기는 높은 수준의 특징을 학습하기 어려웠고, 학습 환경 외의 환경에서 안정적인 성능을 얻지 못하는 한계가 있었다.
이에 따라, 실제 사용되는 다양한 환경에서도 높은 성능을 얻을 수 있는 방안의 필요성이 제기되고 있다.
한국등록특허 제10-1386592호 (2014.04.11.) 한국공개특허 제10-2012-0076477호 (2012.07.09.) 한국공개특허 제10-2008-0036423 호 (2008.04.28.)
본 발명의 일 측면은 학습 네트워크 모델을 이용하며, 사용자, 사용자의 동작, 동작의 종류를 인식하는 과정을 분리하여 인식 성능을 향상시키는 동작 인식 기반 조작 장치 및 방법을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른, 객체를 촬영하는 영상 입력부; 학습 네트워크 모델을 이용하여 영상 입력부에 의해 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출하는 사용자 검출부; 사용자 검출부에서 검출된 사용자가 위치한 영역에서 특정 시점의 프레임과 특정 시점으로부터 임계 시간이 지난 후의 프레임을 비교하여 변화량을 산출하고, 변화량이 임계값보다 크면 사용자의 움직임으로 인식하는 움직임 인식부; 학습 네트워크 모델을 이용하여 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성하는 동작 판단부; 및 동작 판단부의 동작 판단 결과에 따라 적어도 하나의 외부 장치를 조작하는 조작부;를 포함할 수 있다.
일 실시예에서, 사용자 검출부는, 복수의 사용자가 인식되면, 사용자가 위치한 영역을 모두 검출할 수 있다.
일 실시예에서, 움직임 인식부는, 검출된 사용자가 위치한 영역이 복수 개이면, 각각의 영역에서 사용자의 움직임이 있는지 여부를 인식할 수 있다.
일 실시예에서, 동작 판단부는, 움직임 인식부에서 복수의 사용자의 움직임이 인식되면, 각각에 대해 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 각각의 인식된 동작에 대응하여 복수 개의 동작 판단 결과를 생성할 수 있다.
일 실시예에서, 조작부는, 동작 판단 결과가 복수 개이면, 각각의 동작 판단 결과에 따라 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 복수 개의 동작 판단 결과가 각각 별개의 외부 장치를 조작하려는 것이면, 각각의 동작 판단 결과에 따라 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 복수 개의 동작 판단 결과가 동일한 조작을 수행하려는 것이면, 외부 장치와 가까운 사용자의 순서대로 동작 판단 결과에 따라 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 복수 개의 동작 판단 결과가 상반된 조작을 수행하려는 것이면, 외부 장치와 가장 가까운 곳에 위치하는 사용자의 동작 판단 결과에 따라 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 동작 판단 결과가 복수의 외부 장치를 조작할 수 있으면, 설정된 모드에 따라 하나의 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 설정된 모드가 거리 우선 모드인 경우, 사용자와 가까운 곳에 위치하는 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 설정된 모드가 시선 우선 모드인 경우, 사용자의 시선 방향에 위치하는 외부 장치를 조작할 수 있다.
일 실시예에서, 조작부는, 설정된 모드가 손 방향 우선 모드인 경우, 사용자의 손이 가리키는 방향에 위치하는 외부 장치를 조작할 수 있다.
본 발명의 실시예에 따른, 동작 인식 기반 조작 장치에 의해 수행되는 동작 인식 기반 조작 방법에 있어서, 동작 인식 기반 조작 장치가 객체를 촬영하는 단계; 동작 인식 기반 조작 장치가 학습 네트워크 모델을 이용하여 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출하는 단계; 동작 인식 기반 조작 장치가 사용자가 위치한 영역에서 특정 시점의 프레임과 임계 시간 후의 프레임을 비교하여 변화량을 산출하고, 변화량이 임계값보다 크면 사용자의 움직임으로 인식하는 단계; 동작 인식 기반 조작 장치가 학습 네트워크 모델을 이용하여 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성하는 단계; 동작 인식 기반 조작 장치는 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별하는 단계; 동작 인식 기반 조작 장치는 동작 판단 결과에 의해 조작 대상이 되는 외부 장치가 두 대 이상인 경우 하나의 외부 장치를 선택하는 단계; 및 상기 동작 인식 기반 조작 장치가 상기 동작 판단 결과에 따라 선택된 하나의 외부 장치를 조작하는 단계;를 포함할 수 있다.
일 실시예에서, 외부 장치를 조작하는 단계는, 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별하는 단계;를 더 포함할 수 있다.
일 실시예에서, 외부 장치를 조작하는 단계는 상기 동작 판단 결과에 의해 조작 대상이 되는 외부 장치가 두 대 이상인 경우 하나의 외부 장치를 선택하는 단계;를 더 포함할 수 있다.
상술한 본 발명의 일 측면에 따르면, 본 발명의 동작 인식 기반 조작 장치 및 방법에 의해 제공되는 효과는, 딥-러닝을 통해 화소, 명도 및 채도의 변화가 다양한 사용자 환경에서도 높은 인식 성능을 얻을 수 있어 제스처 인식 기반 입력 시스템 전반에 적용될 수 있는 범용성과 확장성을 제공할 수 있다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 동작 인식 기반 조작 장치의 구성을 나타내는 구성도이다.
도 2는 본 발명에 따른 사용자 검출부가 사용자를 인식하는 모습을 나타내는 도면이다.
도 3은 본 발명에 따른 움직임 인식부가 사용자의 손을 인식하는 모습을 나타내는 도면이다.
도 4는 본 발명에 따른 동작 판단부가 사용자의 손의 변화를 인식하는 모습을 나타내는 도면이다.
도 5는 사용자가 복수인 경우에 외부 장치를 조작하는 모습을 나타내는 도면이다.
도 6은 본 발명에 따른 동작 판단 결과가 복수의 외부 장치를 조작할 수 있는 경우 대상이 하나의 외부 장치를 조작하는 모습을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 동작 인식 기반 조작 방법을 나타내는 순서도이다.
도 8은 본 발명에 따른 사용자가 복수인 경우에 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별하는 단계를 세분화한 순서도이다.
도 9는 본 발명에 따른 동작 판단 결과가 복수의 외부 장치를 조작할 수 있는 경우 대상이 하나의 외부 장치를 조작하는 방법을 세분화한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 동작인식 장치의 구성을 나타내는 구성도이다.
도 1을 참조하면, 동작 인식 기반 조작 장치(10)는 영상 입력부(100), 사용자 검출부(300), 동작 판단부(700) 및 조작부(900)를 포함할 수 있다.
영상 입력부(100)는 적외선 카메라를 사용하여 객체를 촬영하며, 객체는 인식의 대상이 되는 사용자와 가구와 같은 물체를 포함하고, 피사체와의 거리는 집안 환경에 따라 다르게 설정할 수 있다.
사용자 검출부(300)는 학습 네트워크 모델을 이용하여 영상 입력부에 의해 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출할 수 있다.
사용자 검출부(300)와 관련하여 이하에서 도 2와 함께 설명한다.
도 2는 본 발명에 따른 사용자 검출부가 사용자를 인식하는 모습을 나타내는 도면이다.
도 2를 참조하면, 동작 인식 기반 조작 장치(10)의 영상 입력부(100)가 촬영한 영상에서 사용자(a3, a4)를 한 명인 경우(도 2a 참조)와 한 명 이상인 경우(도 2b 참조)의 모습을 알 수 있다.
사용자 검출부(300)는 영상 입력부(100)에 의해 촬영된 영상에서 2차원 합성곱 신경망(CNN, Convolutional Neural Network)과 같은 학습 네트워크 모델을 이용하여 사용자를 인식할 수 있다.
사용자 검출부(300)는 사용자(a3)를 인식하기 위해 다운 샘플링(down sampling) 과정과 업 샘플링(up sampling) 과정을 수행한다.
예를 들어, 영상 입력부(100)에 의해 촬영된 영상의 크기(L)가 416Х416 이라고 할 때, 사용자 검출부(300)는 다운 샘플링(down sampling)은 영상의 크기가 13Х13(=L/32)이 될 때까지 수행하여, 1차 특성 맵(feature map)을 구한다.
사용자 검출부(300)는 1차 특성 맵(feature map)에서 물체의 영역인지를 판단하고, 다시 물체인지 여부를 판별하여 객체 스코어(objectness score)를 구하고, 어떤 물체인지를 판별하여 분류 스코어(class score)를 구하여 사용자(a3), 소파(a1), 식탁(a2)과 같은 큰 객체(object)를 찾는다.
큰 객체(object)를 찾은 후, 사용자 검출부(300)는 업 샘플링(up sampling)을 수행하며, 영상의 크기가 26Х26(=L/16)인 2차 특성 맵(feature map)과 상의 크기가 52Х52(=L/8)인 3차 특성 맵(feature map)을 다시 구한다.
이 때, 업 샘플링(up sampling)을 수행할 때에는 다운 샘플링(down sampling) 과정에서 추출한 특성(feature)을 더하여 이전 정보를 포함시킨다.
3차 특성 맵(feature map)은 사용자(a3)의 손과 같은 작은 객체(object)를 찾는데 사용된다.
상술하는 과정에 따라, 사용자 검출부(300)의 학습 네트워크 모델은 촬영된 객체가 소파(a1), 식탁(a2)과 같은 사물인지 여부, 사물의 위치, 사물의 종류를 판별하여 사용자(a3, a5)를 인식하고, 사용자가 위치한 영역(a4, a6)을 검출할 수 있다.
움직임 인식부(500)는 사용자 검출부에서 검출된 사용자가 위치한 영역에서 특정 시점의 프레임과 특정 시점으로부터 임계 시간이 지난 후의 프레임을 비교하여 변화량을 산출하고, 변화량이 임계값보다 크면 사용자의 움직임으로 인식할 수 있다.
움직임 인식부(500)와 관련하여 이하에서 도 3 및 도 4와 함께 설명한다.
움직임 인식부(500)는 특정 시점(T)의 프레임(frame)과 특정 시점(T)으로부터 임계 시간(t)이 지난 후의 프레임(frame) 간의 차이를 비교하여 프레임 변화량(Frame difference)을 산출할 수 있다.
프레임 변화량(frame difference)은 사용자가 위치한 영역에 존재하는 모든 프레임의 차이를 합한 값이며, 움직임 인식부(500)는 변화량(Frame difference)이 임계값보다 크면 움직임이 있는 것으로 인식할 수 있다.
이 때, 임계값과 임계 시간(t)은 미리 지정한 값이다.
변화량(Frame difference)은 아래 수학식 1에 따라 계산될 수 있다.
[수학식 1]
Frame difference = |frame(T+t) - frame(T)|
여기서 T는 현재 시간을 의미하고, t는 임계 시간을 의미하며, frame(T)는 특정 시간 T에서 나타나는 프레임(frame)을 의미한다.
도 3은 본 발명에 따른 움직임 인식부가 사용자의 손을 인식하는 모습을 나타내는 도면이다.
도 3a 내지 도 3c를 참조하면, 움직임 인식부(500)는 사용자가 인식된 영역 내에서 작은 객체인 손을 인식하는 모습을 알 수 있다.
사용자 검출부(300)는 52×52(=L/8) 크기의 영상인 3차 특성 맵(feature map)에서 사용자의 손을 인식할 수 있으며, 사용자의 손의 모양에 따라 인식되는 영역(b1, b2, b3)의 크기가 달라진다.
사용자의 손이 주먹을 쥔 상태(도 3a 참조), 두 손가락만 편 상태(도 3b 참조) 및 손가락을 다 편상태(도 3c 참조)에서 각각 인식되는 영상의 크기가 다른 것을 알 수 있다.
도 4는 본 발명에 따른 동작 판단부가 사용자의 손의 변화를 인식하는 모습을 나타내는 도면이다.
도 4a 내지 도 4e를 참조하면, 움직임 인식부(500)는 사용자 검출부(300)에서 사용자가 위치한 영역을 검출한 영상에서 시간의 변화에 따른 사용자의 움직임의 변화를 인식할 수 있다.
움직임 인식부(500)는 다양한 동작을 인식할 수 있지만, 대표적인 동작인 좌우 이동(도 4a 참조)을 예로 설명한다.
움직임 인식부(500)는 업 샘플링(up sampling)된 영상에서 프레임의 변화를 계산하여 사용자의 손의 움직임을 인식할 수 있다.
움직임 인식부(500)는 도 3a 내지 도 3c의 영상에서는 프레임 변화량(Frame difference)도 없으므로 움직임이 없는 것으로 판단할 수 있고, 이 경우 동작 판단부(700)로 영상을 전달하지 않고, 인식 과정을 종료한다.
움직임 인식부(500)는 도 4a 및 도 4b의 경우처럼 프레임 변화량(Frame difference)이 있는 경우에는 사용자의 움직임이 있는 것으로 판단하게 되고, 이 경우 동작 판단부(700)로 영상을 전달할 수 있다.
동작 판단부(700)는 학습 네트워크 모델을 이용하여 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성할 수 있다.
동작 판단부(700)와 관련하여 이하에서 도 4와 함께 설명한다.
동작 판단부(700)는 움직임 인식부(500)에 의해 움직임의 변화가 인식된 영상에 대해서 사용자의 움직임의 종류를 3차원 합성곱 신경망(CNN, Convolutional Neural Network)과 같은 학습 네트워크 모델을 이용하여 사용자의 움직임이 어떤 종류의 동작인지 판단할 수 있다.
동작 판단부(700)는 3차원 컨볼루션 레이어(3d convolution layer), 3차원 맥스 풀링 레이어(3d max pooling layer)와 이 두 개의 레이어(layer)를 포함하는 인셉션 레이어(inception layer)로 구성된다.
동작 판단부(700)는 3차원 합성곱 신경망(CNN, Convolutional Neural Network)을 특성 맵(feature map)을 구하고, 특성 맵(feature map)으로부터 사용자의 움직임의 종류를 인식할 수 있다.
동작 판단부(700)는 특성 맵(feature map)으로부터 차원 인식을 위해 3차원 합성곱 신경망(CNN, Convolutional Neural Network)의 활성화 함수(activation)로 소프트 맥스 함수(softmax)를 사용하여 동작을 판단할 수 있다.
도 4a를 참조하면, 사용자의 손은 사용자를 기준으로 우측(c2)에서 좌측(c3)으로 이동한 것을 알 수 있다.
동작 판단부(700)는 최초 우측(c2)에 위치하는 손을 인식할 수 있고, 우측(c2)에서 좌측으로 이동하는 하는 과정을 인식하며, 최종적으로 좌측(c3)에 위치하는 손을 인식할 수 있다.
동작 판단부(700)는 두 손가락만을 편 상태로 우측(c2)에서 좌측(c3)으로 움직이는 동작, 위(c4)에서 아래(c5)로 움직이는 동작, 앞/뒤로 움직이는 동작 등의 3차원 움직임을 인식할 수 있다.
동작 판단부(700)는 사용자의 움직임의 동작의 종류에 따라 동작 판단 결과를 생성할 수 있다.
예를 들면, 두 손가락만을 편 상태로 왼쪽/오른쪽으로 움직이는 동작은 채널을 변경하는 것으로 동작 판단 결과를 생성할 수 있고, 위/아래로 움직이는 동작은 볼륨을 조절하는 것으로 동작 판단 결과를 생성할 수 있으며, 앞/뒤로 움직이는 동작은 영상을 정지 또는 다시 시작하는 것으로 동작 판단 결과를 생성할 수 있다.
위의 동작 판단 결과를 이해를 위해 예를 든 것일 뿐이며, 손가락을 펼친 상태나 좌우, 상하 움직임에 따라서 동작 판단 결과는 달라질 수 있다.
도 5는 사용자가 복수인 경우에 외부 장치를 조작하는 모습을 나타내는 도면이다.
도 5를 참조하면, 동작 인식 기반 조작 장치(10)의 사용자가 복수인 경우사용자 검출부(300), 움직임 인식부(500), 동작 판단부(700) 및 조작부(900)는 별개의 동작을 수행하게 된다.
사용자 검출부(300)는 복수의 사용자가 인식되면, 사용자가 위치한 영역을 모두 검출할 수 있다.
움직임 인식부(500)는 검출된 사용자가 위치한 영역이 복수 개이면, 각각의 영역에서 사용자의 움직임이 있는지 여부를 인식할 수 있다.
동작 판단부(700)는 움직임 인식부에서 복수의 사용자의 움직임이 인식되면, 각각에 대해 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 각각의 인식된 동작에 대응하여 복수 개의 동작 판단 결과를 생성할 수 있다.
조작부(900)는 동작 판단 결과가 두 개 이상이면, 정해진 알고리즘에 따라 동작 판단 결과를 선별하고, 선별된 동작 판단 결과에 따라 조작할 외부 장치를 선택한 후, 해당 외부 장치를 조작할 수 있다.
조작부(900)는 병렬 처리를 통해 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동일한 장치에 대해서 동일한 조작 또는 상반되는 조작을 수행할 수 있으므로 동작 판단 결과가 하나인 경우와 두 개 이상인 경우인지를 판단할 수 있다.
조작부(900)는 동작 판단 결과가 하나인 경우에는 해당 동작 판단 결과에 따라 조작을 수행하면 되기 때문에 해당 동작 판단 결과를 조작을 수행할 동작 판단 결과로 선별할 수 있다.
조작부(900)는 동작 판달 결과가 두 개 이상인 경우에는 각각의 동작 판단 결과가 별개의 외부 장치를 조작하는 것인지, 동일한 외부 장치를 조작하는 것인지를 판단할 수 있다.
조작부(900)는 복수의 동작 판단 결과가 별개의 외부 장치를 조작하는 것이면, 각각의 동작 판달 결과에 따라 외부 장치를 조작하면 된다. 따라서 각각의 동작 판단 결과를 조작을 수행할 동작 판단 결과로 선별할 수 있다.
조작부(900)는 복수의 동작 판단 결과가 동일한 외부 장치를 조작하는 것이면, 동일한 조작을 수행하는지 여부를 판단할 수 있다. 이는 동일한 조작을 수행하는 경우 동시에 생성된 동작 판단 결과에 따른 조작을 연속적으로 수행해야 하기 때문이다.
조작부(900)는 복수의 동작 판단 결과가 동일한 장치에 대해 동일한 조작을 수행하는 경우에는 복수의 동작 판단 결과에 따라 조작하려는 외부 장치와 거리가 가까운 순서대로 사용자의 동작 판단 결과를 선별하여 조작을 수행하게 할 수 있다.
조작부(900)는 복수의 동작 판단 결과가 동일한 외부 장치를 조작하는 것이면, 상반된 조작을 수행하는지 여부를 판단할 수 있다 상반된 조작을 수행하는 경우 둘 다 수행할 경우 결과적으로 하나도 수행하지 않는 것과 동일한 결과가 되므로 어느 하나의 동작 판단 결과만을 선별해서 조작을 수행하기 위한 것이다.
조작부(900)는 복수의 동작 판단 결과가 동일한 장치에 대해 상반된 조작을 수행하는 경우에는 조작하려는 외부 장치와 거리가 가장 가까운 곳에 위치하는 사용자의 동작 판단 결과를 선별할 수 있다.
그렇지 않은 경우는 동일한 장치에 대해 동일한 조작도 아니고, 상반된 조작도 아니므로 각각 수행하면 된다. 따라서 각각의 동작 판단 결과를 선별하여 조작을 수행하게 된다.
첫 번째 예로, 복수개의 동작 판단 결과가 별개의 외부 장치를 조작하려는 경우이다.
사용자 1(d1)은 셋톱 박스(d3)의 채널을 변경하기를 원하고, 사용자 2(d2)는 라디오(d4)의 볼륨을 변경하기를 원하는 경우이다.
이 경우 사용자 1(d1)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 채널을 변경하게 되고, 사용자 2(d2)에 대한 동작 판단 결과에 따라 라디오(d4)의 볼륨을 변경하게 된다.
두 번째 예로, 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 복수 개의 동작 판단 결과가 동일한 조작을 수행하려는 것이면, 외부 장치와 가까운 사용자의 순서대로 동작 판단 결과를 선별하여 조작을 수행할 수 있다.
예를 들면, 사용자 1(d1)과 사용자 2(d2) 모두가 셋톱 박스(d3)의 볼륨을 올리기를 원하는 경우이다.
조작하려는 외부 장치는 셋톱 박스(d3)이므로, 우선적으로 셋톱 박스(d3)와 사용자 1(d1)과의 거리(dist_d1)와 셋톱 박스(d3)와 사용자 2(d2)와의 거리(dist_d2)를 구한다.
각각의 거리(dist_d1, dist_d2)를 비교하여 셋톱 박스(d3)와 가까운 곳에 위치한 사용자 2(d2)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 볼륨을 올리게 되고, 그 다음으로 사용자 1(d1)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 볼륨을 다시 한번 올리게 된다.
세 번째 예로, 복수개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 경우로, 상반된 조작을 수행하려는 경우이다.
조작부(900)는 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 복수 개의 동작 판단 결과가 상반된 조작을 수행하려는 것이면, 외부 장치와 가장 가까운 곳에 위치하는 사용자의 동작 판단 결과를 수행할 수 있다.
예를 들면, 사용자 1(d1)은 셋톱 박스(d3)의 볼륨을 올리기를 원하고, 사용자 2(d2)는 셋톱 박스(d3)의 볼륨을 내리기를 원하는 경우이다.
조작하려는 외부 장치는 셋톱 박스(d3)이므로, 우선적으로 셋톱 박스(d3)와 사용자 1(d1)과의 거리(dist_d1)와 셋톱 박스(d3)와 사용자 2(d2)와의 거리(dist_d2)를 구한다.
각각의 거리(dist_d1, dist_d2)를 비교하여 셋톱 박스(d3)와 가까운 곳에 위치한 사용자는 사용자 2(d2)이므로 사용자 2(d2)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 볼륨을 내리게 된다.
네 번째 예로, 복수개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 경우로, 전혀 다른 조작을 수행하려는 경우이다.
예를 들면, 사용자 1(d1)은 셋톱 박스(d3)의 볼륨을 올리기를 원하고, 사용자 2(d2)는 셋톱 박스(d3)의 채널을 변경하기를 원하는 경우를 가정한다.
이 경우 사용자 1(d1)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 볼륨을 올리게 되고, 사용자 2(d2)에 대한 동작 판단 결과에 따라 셋톱 박스(d3)의 채널을 변경하게 된다.
조작부(900)는 동작 판단 결과에 따라 적어도 하나의 외부 장치를 조작할 수 있다.
외부 장치를 조작하는 것은 일반적인 가전 기기의 경우 적외선 리모컨에 의해 조작이 가능하므로 조작부(900)는 적외선으로 신호를 발신하는 것으로 외부 장치를 조작할 수 있다.
조작부(900)는 동작 판단부(700)의 동작 판단 결과가 하나의 장치를 조작하는 것인지 두 대 이상의 장치를 조작하는 것인지 판단할 수 있다.
조작부(900)는 조작할 수 있는 외부 장치가 한 대인 경우에는 해당 외부 장치를 조작 대상이 되는 외부 장치로 선택할 수 있다.
조작부(900)는 조작할 수 있는 외부 장치가 두 대 이상이면, 해당되는 외부 장치 중에서 전원 인가된 장치가 두 대 이상인지 판단할 수 있다.
일반적으로 사용자가 손을 움직이는 경우 하나의 외부 장치를 조작하려는 것으로 판단할 수 있기 때문에 외부 장치가 한 대인지 두 대 이상인지를 구분하여 조작을 수행하게 된다.
이 때, 조작부(900)는 하나의 외부 장치에만 전원이 인가된 경우에는 전원이 인가된 외부 장치를 조작 대상 장치로 선택할 수 있다.
전원이 인가된 외부 장치가 두 대 이상인 경우에는 미리 설정된 모드를 확인하여 조작 대상 장치로 하나의 외부 장치를 선택할 수 있다. 모드는 미리 설정할 수 있고, 사용자의 손의 움직임에 따라 차후에 변경할 수 있다.
설정된 모드에 따라 하나의 외부 장치를 조작하는 방법과 관련하여 이하에서 도 6과 함께 설명한다.
도 6은 본 발명에 따른 동작 판단 결과가 복수의 외부 장치를 조작할 수 있는 경우 대상이 하나의 외부 장치를 조작하는 모습을 나타내는 도면이다.
채널 변경은 프로젝터(e2), 텔레비전(e3), 셋톱 박스(e4) 및 라디오(e5)에 모두 적용될 수 있으므로 조작부(900)는 이 중에서 하나의 외부 장치를 선택해야 하므로, 이하에서는 동작 판단부(700)의 동작 판단 결과가 채널 변경인 경우를 예를 들어 설명한다.
도 6a를 참조하면, 조작부(900)는 영상에서 사용자와 사물과 같은 객체의 위치와 심도를 객체의 위치 정보 및 거리를 산출할 수 있다.
조작부(900)는 사용자의 명령을 받기 전에 프로젝터(e2), 텔레비전(e3), 셋톱 박스(e4) 및 라디오(e5)와 같은 외부 장치와의 위치 관계를 파악할 수 있고, 파악된 위치관계에 따라 외부 장치의 위치를 평면상에 X좌표와 Y좌표로 지정할 수 있다.
일 실시예에서, 조작부(900)는 설정된 모드가 거리 우선 모드인 경우, 사용자와 가까운 곳에 위치하는 외부 장치를 조작할 수 있다(도 6c 참조).
조작부(900)는 상술하는 위치 정보 및 거리를 이용하여 사용자와 외부 장치와의 거리를 구하고, 가장 가까운 곳에 위치하는 외부 장치를 선택하여 조작할 수 있다.
이 경우 미리 파악한 좌표로부터 거리를 계산할 수 있고, 이 결과에 따라 가장 작은 값을 가지는 장치인 라디오(e5)를 선택하여 조작할 수 있다.
일 실시예에서, 조작부(900)는 설정된 모드가 시선 우선 모드인 경우, 사용자의 시선 방향에 위치하는 외부 장치를 조작할 수 있다(도 6d 참조).
조작부(900)는 상술하는 위치 정보에 따라 사용자의 위치를 구하고, 사용자의 얼굴이 위치한 영역의 영상으로부터 사용자의 시선 방향을 구하여 사용자의 시선 방향에 위치하는 외부 장치를 선택하여 조작할 수 있다.
도 6d를 참조하면, 사용자(e1)는 왼쪽에 위치한 프로젝터(e2)를 바라보고 있으므로 조작부(900)는 프로젝터를 선택하여 조작할 수 있다.
일 실시예에서, 조작부(900)는 설정된 모드가 손 방향 우선 모드인 경우, 사용자의 손이 가리키는 방향에 위치하는 외부 장치를 조작할 수 있다(도 6e 참조).
조작부(900)는 상술하는 위치 정보에 따라 사용자의 위치를 구하고, 사용자의 손이 가리키는 방향을 구하여 사용자의 손의 방향에 위치하는 외부 장치를 선택하여 조작할 수 있다.
도 6e에서 사용자(e1)는 정면에 위치한 텔레비전(e3)을 가리키고 있으므로 조작부(900)는 텔레비전(e3)을 선택하여 조작할 수 있다.
도 7은 본 발명의 일 실시예에 따른 동작 인식 기반 조작 방법을 나타내는 순서도이다.
본 발명에 따른 동작 인식 기반 조작 방법은 상술한 본 발명에 따른 동작 인식 기반 조작 장치(10)에 의해 수행될 수 있다. 이를 위해, 본 발명에 따른 동작 인식 기반 조작 장치(10)는 후술하는 동작 인식 기반 조작 방법을 구성하는 각 단계를 수행하기 위한 애플리케이션(소프트웨어)이 미리 설치될 수 있다. 예를 들어, 사용자의 컴퓨터에는 본 발명에 따른 동작 인식 기반 조작 방법에 대한 플랫폼이 소프트웨어의 형태로 미리 설치될 수 있으며, 사용자는 컴퓨터에 설치된 소프트웨어를 실행하여 본 발명에 따른 동작 인식 기반 조작 방법이 제공하는 다양한 서비스를 제공받을 수 있다.
도 7을 참조하면, 동작 인식 기반 조작 장치(10)는 촬영 단계(S1100), 사용자를 인식하고, 검출하는 단계(S1200), 사용자의 움직임을 인식하는 단계(S1300), 사용자의 움직임의 종류를 인식하고, 동작 판단 결과를 생성하는 단계(S1400), 동작 판단 결과를 선별하는 단계(S1500), 외부 장치를 선택하는 단계(S1600) 및 동작 판단 결과에 따라 외부 장치를 조작하는 단계(S1700)를 포함할 수 있다.
동작 인식 기반 조작 장치(10)는 객체를 촬영할 수 있고(S1100), 학습 네트워크 모델을 이용하여 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출할 수 있다(S1200).
동작 인식 기반 조작 장치(10)는 사용자가 위치한 영역에서 특정 시점의 프레임과 임계 시간 후의 프레임을 비교하여 변화량을 산출하고, 변화량이 임계값보다 크면 사용자의 움직임으로 인식할 수 있다(S1300).
동작 인식 기반 조작 장치(10)는 학습 네트워크 모델을 이용하여 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성할 수 있다(S1400).
동작 인식 기반 조작 장치(10)는 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별할 수 있다(S1500).
동작 인식 기반 조작 장치(10)는 동작 판단 결과에 의해 조작 대상이 되는 외부 장치가 두 대 이상인 경우 하나의 외부 장치를 선택할 수 있다(S1600).
동작 인식 기반 조작 장치(10)는 동작 판단 결과에 따라 적어도 하나의 외부 장치를 조작할 수 있다(S1700).
상술한 각 단계들(S1100 내지 S1700)에 대한 구체적인 설명은 도 1 내지 도 6을 참조하여 상술하였으므로, 반복되는 설명은 생략하기로 한다.
도 8은 본 발명에 따른 사용자가 복수인 경우에 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별하는 단계를 세분화한 순서도이다.
도 8을 참조하면, 동작 인식 기반 조작 방법은 사용자가 복수인 경우 사용자를 인식하고, 복수개의 영역을 검출하는 단계(S1200), 복수 개의 사용자의 움직임을 인식하는 단계(S1300), 사용자의 움직임의 종류를 인식하고, 복수 개의 동작 판단 결과를 생성하는 단계(S1400), 복수 개의 동작 판단 결과 중에서 하나 이상의 동작 판단 결과를 선별하는 단계(S1500), 선별된 동작 판단 결과에 따라 조작이 대상이 되는 하나의 외부 장치를 선택하는 단계(S1600) 및 선별된 동작 판단 결과에 따라 선택된 외부 장치를 조작하는 단계(S1700)를 수행하게 된다.
사용자가 두 명 이상인 경우에는 사용자를 인식하고, 검출하는 단계(S1200), 사용자의 움직임을 인식하는 단계(S1300) 및 사용자의 움직임의 종류를 인식하고, 동작 판단 결과를 생성하는 단계(S1400)는 각각의 사용자에 대해 사용자가 한 명인 경우와 동일한 동작을 수행하되, 병렬 처리를 통해 동시에 수행할 수 있다.
두 명 이상의 사용자가 동시에 손을 움직여 조작을 시도하는 경우 별도의 절차가 필요하다(S1500).
병렬 처리를 통해 동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동일한 장치에 대해서 동일한 조작 또는 상반되는 조작을 수행할 수 있으므로 동작 판단 결과가 하나인 경우와 두 개 이상인 경우인지를 판단한다(S1510).
동작 판단 결과가 하나인 경우에는 해당 동작 판단 결과에 따라 조작을 수행하면 되기 때문에 하나의 동작 판단 결과를 조작을 수행할 동작 판단 결과로 선별할 수 있다(S1590).
동작 판달 결과가 두 개 이상인 경우에는 각각의 동작 판단 결과가 별개의 외부 장치를 조작하는 것인지, 동일한 외부 장치를 조작하는 것인지를 판단한다(S1530).
복수의 동작 판단 결과가 별개의 외부 장치를 조작하는 것이면, 각각의 동작 판달 결과에 따라 외부 장치를 조작하면 된다. 따라서 각각의 동작 판단 결과를 조작을 수행할 동작 판단 결과로 선별할 수 있다(S1590).
복수의 동작 판단 결과가 동일한 외부 장치를 조작하는 것이면, 동일한 조작을 수행하는지 여부를 판단할 수 있다(S1550). 이러한 판단은 동일한 조작을 수행하는 경우 동시에 생성된 동작 판단 결과에 따른 조작을 연속적으로 수행해야 하기 때문이다(S1550).
복수의 동작 판단 결과가 동일한 장치에 대해 동일한 조작을 수행하는 경우에는 복수의 동작 판단 결과에 따라 조작하려는 외부 장치와 거리가 가까운 순서대로 사용자의 동작 판단 결과를 선별하여 조작을 수행하게 할 수 있다(S1560).
복수의 동작 판단 결과가 동일한 외부 장치를 조작하는 것이면, 상반된 조작을 수행하는지 여부를 판단할 수 있다(S1570) 상반된 조작을 수행하는 경우 둘 다 수행할 경우 결과적으로 하나도 수행하지 않는 것과 동일한 결과가 되므로 어느 하나의 동작 판단 결과만을 선별해서 조작을 수행하기 위한 것이다(S1570).
복수의 동작 판단 결과가 동일한 장치에 대해 상반된 조작을 수행하는 경우에는 조작하려는 외부 장치와 거리가 가장 가까운 곳에 위치하는 사용자의 동작 판단 결과를 선별할 수 있다(S1580).
그렇지 않은 경우는 동일한 장치에 대해 동일한 조작도 아니고, 상반된 조작도 아니므로 각각 수행하면 된다. 따라서 각각의 동작 판단 결과를 조작을 수행할 동작 판단 결과로 선별하게 된다(S1590).
상술한 각 단계들(S1500 내지 S1590)에 대한 구체적인 설명은 도 5를 참조하여 상술하였으므로, 반복되는 설명은 생략하기로 한다.
도 9는 본 발명에 따른 동작 판단 결과에 의해 조작 대상이 되는 외부 장치가 두 대 이상인 경우 하나의 외부 장치를 선택하는 방법을 세분화한 순서도이다.
도 9를 참조하면, 동작 판단 결과가 복수의 외부 장치를 조작할 수 있는 경우에 설정된 모드에 따라 하나의 외부 장치를 조작할 수 있다.
상기 동작 판단 결과에 따라 조작할 수 있는 외부 장치 중에서 전원이 인가된 장치가 두 대 이상인지 판단할 수 있다(S1610).
일반적으로 사용자가 손을 움직이는 경우 하나의 외부 장치를 조작하려는 것으로 판단할 수 있기 때문에 외부 장치가 한 대인지 두 대 이상인지를 구분하여 조작을 수행하게 된다.
이 때, 조작할 수 있는 외부 장치가 한 대인 경우에는 해당 외부 장치를 조작 대상이 되는 외부 장치로 선택할 수 있다(S1620).
조작할 수 있는 외부 장치가 두 대 이상인 경우에는 해당 외부 장치에 전원 인가되었는지를 판단하고(S1630), 그 중에서 하나의 장치를 선택해야 한다.
전원이 인가되지 않은 장치는 조작을 수행할 수 없고, 사용자의 의도는 현재 전원이 인가된 장치를 조작하려는 것으로 판단할 수 있기 때문이다.
이 때, 하나의 외부 장치에만 전원이 인가된 경우에는 전원이 인가된 외부 장치를 조작 대상 장치로 선택할 수 있다(S1640).
전원이 인가된 외부 장치가 두 대 이상인 경우에는 미리 설정된 모드를 확인하여 조작 대상 장치로 하나의 외부 장치를 선택할 수 있다(S1650). 모드는 미리 설정할 수 있고, 사용자의 손의 움직임에 따라 차후에 변경할 수 있다.
외부 장치 선택을 위해서 설정 가능한 모드는 거리 우선 모드, 손 방향 우선 모드 및 시선 우선 모드가 있다.
설정된 모드가 거리 우선 모드인 경우, 사용자와 가까운 곳에 위치하는 외부 장치를 조작 대상 장치로 선택할 수 있다(S1661).
설정된 모드가 손 방향 우선 모드인 경우, 사용자의 손이 가리키는 방향에 위치하는 외부 장치를 조작 대상 장치로 선택할 수 있다(S1663).
설정된 모드가 시선 우선 모드인 경우, 사용자의 시선 방향에 위치하는 외부 장치를 조작 대상 장치로 선택할 수 있다(S1663).
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
상술한 각 단계들(S1610 내지 S1665)에 대한 구체적인 설명은 도 6을 참조하여 상술하였으므로, 반복되는 설명은 생략하기로 한다.
10: 동작 인식 기반 조작 장치
100: 영상 입력부
200: 사용자 검출부
300: 움직임 인식부
400: 동작 판단부
500: 조작부

Claims (15)

  1. 객체를 촬영하는 영상 입력부;
    학습 네트워크 모델을 이용하여 상기 영상 입력부에 의해 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출하는 사용자 검출부;
    상기 사용자 검출부에서 검출된 사용자가 위치한 영역에서 특정 시점의 프레임과 특정 시점으로부터 임계 시간 지난 후의 프레임을 비교하여 변화량을 산출하고, 상기 변화량이 임계값보다 크면 사용자의 움직임으로 인식하는 움직임 인식부;
    학습 네트워크 모델을 이용하여 상기 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성하는 동작 판단부; 및
    상기 동작 판단부의 동작 판단 결과에 따라 적어도 하나의 외부 장치를 조작하는 조작부;를 포함하는 동작 인식 기반 조작 장치.
  2. 제 1 항에 있어서, 상기 사용자 검출부는,
    복수의 사용자가 인식되면, 사용자가 위치한 영역을 모두 검출하는, 동작 인식 기반 조작 장치.
  3. 제 2 항에 있어서, 상기 움직임 인식부는,
    상기 검출된 사용자가 위치한 영역이 복수 개이면, 각각의 영역에서 사용자의 움직임이 있는지 여부를 인식하는, 동작 인식 기반 조작 장치.
  4. 제 3 항에 있어서, 상기 동작 판단부는,
    상기 움직임 인식부에서 복수의 사용자의 움직임이 인식되면, 각각에 대해 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 각각의 인식된 동작에 대응하여 복수 개의 동작 판단 결과를 생성하는, 동작 인식 기반 조작 장치.
  5. 제 4 항에 있어서, 상기 조작부는,
    상기 동작 판단 결과가 복수 개이면, 각각의 동작 판단 결과에 따라 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  6. 제 5 항에 있어서, 상기 조작부는,
    상기 복수 개의 동작 판단 결과가 각각 별개의 외부 장치를 조작하려는 것이면, 각각의 동작 판단 결과에 따라 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  7. 제 5 항에 있어서, 상기 조작부는,
    상기 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 상기 복수 개의 동작 판단 결과가 동일한 조작을 수행하려는 것이면, 상기 외부 장치와 가까운 곳에 위치하는 사용자의 순서로 동작 판단 결과에 따라 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  8. 제 5 항에 있어서, 상기 조작부는,
    상기 복수 개의 동작 판단 결과가 동일한 외부 장치를 조작하려는 것이고, 상기 복수 개의 동작 판단 결과가 상반된 조작을 수행하려는 것이면, 외부 장치와 가장 가까운 곳에 위치하는 사용자의 동작 판단 결과에 따라 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  9. 제 1 항에 있어서, 상기 조작부는,
    상기 동작 판단 결과가 복수의 외부 장치를 조작할 수 있는 것이고, 상기 복수의 외부 장치에 전원이 인가되어 있으면, 설정된 모드에 따라 하나의 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  10. 제 9 항에 있어서, 상기 조작부는,
    상기 설정된 모드가 거리 우선 모드인 경우, 사용자와 가까운 곳에 위치하는 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  11. 제 9 항에 있어서, 상기 조작부는,
    상기 설정된 모드가 시선 우선 모드인 경우, 사용자의 시선 방향에 위치하는 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  12. 제 9 항에 있어서, 상기 조작부는,
    상기 설정된 모드가 손 방향 우선 모드인 경우, 사용자의 손이 가리키는 방향에 위치하는 외부 장치를 조작하는, 동작 인식 기반 조작 장치.
  13. 동작 인식 기반 조작 장치에 의해 수행되는 동작 인식 기반 조작 방법에 있어서,
    상기 동작 인식 기반 조작 장치가 객체를 촬영하는 단계;
    상기 동작 인식 기반 조작 장치가 학습 네트워크 모델을 이용하여 상기 촬영된 객체가 사용자인지 인식하고, 사용자가 위치한 영역을 검출하는 단계;
    상기 동작 인식 기반 조작 장치가 상기 사용자가 위치한 영역에서 특정 시점의 프레임과 임계 시간 후의 프레임을 비교하여 변화량을 산출하고, 상기 변화량이 임계값보다 크면 사용자의 움직임으로 인식하는 단계;
    상기 동작 인식 기반 조작 장치가 학습 네트워크 모델을 이용하여 상기 사용자의 움직임이 어떤 종류의 동작인지 인식하고, 인식된 동작에 대응하는 동작 판단 결과를 생성하는 단계;
    상기 동작 인식 기반 조작 장치가 상기 동작 판단 결과에 따라 외부 장치를 조작하는 단계;를 포함하는 동작 인식 기반 조작 방법.
  14. 제 13 항에 있어서, 상기 외부 장치를 조작하는 단계는,
    동시에 생성된 동작 판단 결과가 두 개 이상인 경우 동작 판단 결과를 하나 이상 선별하는 단계;를 더 포함하는 동작 인식 기반 조작 방법.
  15. 제 13 항에 있어서, 상기 외부 장치를 조작하는 단계는,
    상기 동작 인식 기반 조작 장치는 상기 동작 판단 결과에 의해 조작 대상이 되는 외부 장치가 두 대 이상인 경우 하나의 외부 장치를 선택하는 단계;를 더 포함하는 동작 인식 기반 조작 방법.
KR1020190044148A 2019-04-16 2019-04-16 동작 인식 기반 조작 장치 및 방법 Active KR102192051B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190044148A KR102192051B1 (ko) 2019-04-16 2019-04-16 동작 인식 기반 조작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190044148A KR102192051B1 (ko) 2019-04-16 2019-04-16 동작 인식 기반 조작 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200121513A true KR20200121513A (ko) 2020-10-26
KR102192051B1 KR102192051B1 (ko) 2020-12-16

Family

ID=73006314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190044148A Active KR102192051B1 (ko) 2019-04-16 2019-04-16 동작 인식 기반 조작 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102192051B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080036423A (ko) 2006-10-23 2008-04-28 (주)싸이버텍홀딩스 개인 휴대 단말을 이용한 관광 안내 시스템, 장치 및 방법
KR20120076477A (ko) 2010-11-25 2012-07-09 주식회사 케이티 상점 추천 방법 및 시스템
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR101386592B1 (ko) 2012-07-25 2014-04-22 스핀노트 주식회사 선호도 조사가 가능한 설문조사방법 및 설문조사 단말기, 설문조사 단말기를 포함하는 정보제공장치
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2017010593A1 (ko) * 2015-07-16 2017-01-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 제스쳐 인식 장치
KR101883228B1 (ko) * 2017-02-16 2018-07-30 (주)더블유알티랩 제스처 인식 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080036423A (ko) 2006-10-23 2008-04-28 (주)싸이버텍홀딩스 개인 휴대 단말을 이용한 관광 안내 시스템, 장치 및 방법
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20120076477A (ko) 2010-11-25 2012-07-09 주식회사 케이티 상점 추천 방법 및 시스템
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR101386592B1 (ko) 2012-07-25 2014-04-22 스핀노트 주식회사 선호도 조사가 가능한 설문조사방법 및 설문조사 단말기, 설문조사 단말기를 포함하는 정보제공장치
WO2017010593A1 (ko) * 2015-07-16 2017-01-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 제스쳐 인식 장치
KR101883228B1 (ko) * 2017-02-16 2018-07-30 (주)더블유알티랩 제스처 인식 방법 및 장치

Also Published As

Publication number Publication date
KR102192051B1 (ko) 2020-12-16

Similar Documents

Publication Publication Date Title
WO2021185016A1 (en) Methods and systems for controlling device using hand gestures in multi-user environment
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
US11868543B1 (en) Gesture keyboard method and apparatus
JP7447302B2 (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
CN104956292B (zh) 多个感知感测输入的交互
KR101815020B1 (ko) 인터페이스 제어 장치 및 방법
US11573627B2 (en) Method of controlling device and electronic device
US9703371B1 (en) Obtaining input from a virtual user interface
JP2023511332A (ja) 拡張現実マップキュレーション
KR20210057358A (ko) 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
KR20220144889A (ko) 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
KR20140089858A (ko) 전자 장치 및 그의 제어 방법
US11755119B2 (en) Scene controlling method, device and electronic equipment
CN106200890B (zh) 遥控装置与根据至少一静态手势产生控制指令的方法
KR102192051B1 (ko) 동작 인식 기반 조작 장치 및 방법
EP3088991B1 (en) Wearable device and method for enabling user interaction
EP4384888A1 (en) Method and device for facilitating interactions with a peripheral device
US10845888B2 (en) Techniques for integrating different forms of input with different forms of output when interacting with an application
CN119225538B (zh) 一种掌上平板电脑的数据交互方法和系统
WO2023004600A1 (zh) 应用窗口控制方法、装置、交互平板及存储介质
Purkayastha Integrating gesture recognition and speech recognition in a touch-less human computer interaction system
LEE et al. Image Manipulation Interface using Depth-based Hand Gesture

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190416

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200814

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201030

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201210

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241202

Start annual number: 5

End annual number: 5