KR20230152312A - 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법 - Google Patents

사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법 Download PDF

Info

Publication number
KR20230152312A
KR20230152312A KR1020220051897A KR20220051897A KR20230152312A KR 20230152312 A KR20230152312 A KR 20230152312A KR 1020220051897 A KR1020220051897 A KR 1020220051897A KR 20220051897 A KR20220051897 A KR 20220051897A KR 20230152312 A KR20230152312 A KR 20230152312A
Authority
KR
South Korea
Prior art keywords
kinetic
control device
user
kinetic control
motion
Prior art date
Application number
KR1020220051897A
Other languages
English (en)
Other versions
KR102640496B1 (ko
Inventor
김주현
김민규
김정준
최지환
손동섭
김다영
서갑호
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020220051897A priority Critical patent/KR102640496B1/ko
Publication of KR20230152312A publication Critical patent/KR20230152312A/ko
Application granted granted Critical
Publication of KR102640496B1 publication Critical patent/KR102640496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)

Abstract

사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법이 개시된다. 키네틱 제어 장치는 사용자를 촬영한 영상 프레임이 입력되면 영상 프레임으로부터 사용자의 관절정보를 추출하고, 추출된 관절정보를 이용하여 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성하는 손 모션 인식부 및 복수의 키네틱 모듈을 포함하는 키네틱 디스플레이 장치에서 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 키네틱 제어부를 포함한다.

Description

사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법{Kinetic control device and method for supporting interaction based on user motion information}
본 발명은 키네틱 제어 장치에 관한 것으로, 더욱 상세하게는 사용자의 행동과 주변환경을 이용하여 키네틱 디스플레이 장치를 제어하는 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법에 관한 것이다.
최근 문화시설 및 공연 분야에서 소비자와 상호작용이 가능한 신개념의 실감형 디지털 문화 콘텐츠 산업이 성장하고 있으며, 그 중 하나로 키네틱 아트(kinetic art)가 주목받고 있다.
키네틱 아트는 움직임을 본질로 한 예술로써, 정지된 조각에 기계공학적 움직임을 부여하여 공기의 흐름이나 모터에 의해 동력을 얻는 기계 조작으로 구현될 수 있다. 또한 키네틱 아트는 움직이는 예술 작품으로 사람들의 이목을 집중시키고, 소재와 빛의 효과에 따라 움직임을 극대화할 수 있으며, 타 장르의 미디어 아트와 결합하여 광고, 브랜드 홍보, 전시회, 공공조형물, 공연 등에서 적극적으로 활용되고 있다.
한편 현재 제공되는 키네틱 아트의 경우, 사용자에게 콘텐츠를 일방적으로 제공하는 구조를 가짐으로써, 사용자의 흥미를 유발시키는데 한계를 가지고 있다.
한국등록특허공보 제10-1863275호(2018.05.31.)
본 발명이 해결하고자 하는 과제는 사용자의 손 모션 및 이동방향을 인식하고, 인식된 손 모션 및 이동방향을 이용하여 키네틱 디스플레이 장치의 영상 및 키네틱 모듈을 제어하는 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 주변환경에서 발생되는 소리를 인식하고, 인식된 소리를 더 이용하여 키네틱 디스플레이 장치의 영상 및 키네틱 모듈을 제어하는 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법을 제공하는 것이다.
상기 과제를 해결하기 위해 본 발명에 따른 키네틱 제어 장치는 사용자를 촬영한 영상 프레임이 입력되면 상기 영상 프레임으로부터 상기 사용자의 관절정보를 추출하고, 상기 추출된 관절정보를 이용하여 상기 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성하는 손 모션 인식부 및 복수의 키네틱 모듈을 포함하는 키네틱 디스플레이 장치에서 상기 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 키네틱 제어부를 포함한다.
또한 상기 손 모션 인식부는, 상기 관절정보 중 상기 사용자의 코와 엉덩이에 해당하는 관절에 대한 좌표를 이은 선분을 수직 기준선으로 설정하고, 상기 관절정보 중 상기 사용자의 양 어깨에 해당하는 관절에 대한 좌표를 이은 선분을 수평 기준선으로 설정하는 것을 특징으로 한다.
또한 상기 손 모션 인식부는, 상기 사용자의 손가락 관절 간의 각도 관계를 산출하여 데이터셋을 구축하고, 상기 구축된 데이터셋을 기초로 기계학습을 이용하여 손 모션을 예측하는 것을 특징으로 한다.
또한 상기 손 모션 인식부는, 상기 손가락 관절의 벡터 간 내적 결과를 역삼각함수(arccos)에 적용하여 상기 데이터셋을 구축하는 것을 특징으로 한다.
또한 상기 손 모션 인식부는, 상기 예측된 손 모션이 기 설정된 손 모션이면 상기 수직 기준선 및 상기 수평 기준선을 기초로 상기 사용자의 손목 관절에 대한 방향변수를 산출하는 것을 특징으로 한다.
또한 상기 손 모션 인식부는, 상기 영상 프레임 중 현재 영상 프레임과 이전 영상 프레임의 상기 손목 관절의 방향변수를 비교하여 상기 이동방향을 산출하는 것을 특징으로 한다.
또한 상기 손 모션 인식부는, 상기 사용자의 양손에 대한 모션정보를 생성하는 경우, 각각의 손에 대한 손 모션 및 이동방향을 산출하고, 상기 산출된 손 모션 및 이동방향의 상관관계를 추정하며, 상기 추정된 상관관계를 이용하여 상기 모션정보를 생성하는 것을 특징으로 한다.
또한 상기 키네틱 제어부는, 상기 모션정보에 대응하는 영상을 출력하기 위한 영상 제어신호 및 상기 모션정보에 대응하는 키네틱 모듈의 움직임을 출력하기 위한 키네틱 제어신호를 생성하는 것을 특징으로 한다.
또한 상기 키네틱 디스플레이 장치의 주변에서 발생되는 소리를 인식하는 소리 인식부를 더 포함하고, 상기 키네틱 제어부는, 상기 인식된 소리를 상기 모션정보에 더 포함시키고, 상기 키네틱 디스플레이 장치에서 상기 소리가 더 포함된 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 것을 특징으로 한다.
본 발명에 따른 키네틱 제어 방법은 키네틱 제어 장치가 사용자를 촬영한 영상 프레임을 입력받는 단계, 상기 키네틱 제어 장치가 상기 영상 프레임으로부터 상기 사용자의 관절정보를 추출하는 단계, 상기 키네틱 제어 장치가 상기 추출된 관절정보를 이용하여 상기 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성하는 단계 및 상기 키네틱 제어 장치가 복수의 키네틱 모듈을 포함하는 키네틱 디스플레이 장치에서 상기 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 단계를 포함한다.
본 발명의 실시예에 따르면 사용자의 모션정보에 포함된 손 모션 및 이동방향을 기반으로 키네틱 디스플레이 장치의 영상 출력 및 키네틱 모듈의 구동을 제어하여 사용자와 키네틱 디스플레이 장치 간의 상호작용을 지원할 수 있다.
또한 주변환경에서 발생되는 소리를 더 이용하여 키네틱 디스플레이 장치의 영상 출력 및 키네틱 모듈의 구동을 제어함으로써, 다양한 방향에 대한 상호작용을 유도할 수 있다.
도 1은 본 발명의 실시예에 따른 키네틱 상호 작용 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 키네틱 상호 작용 시스템의 구동을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 키네틱 제어 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 신체 관절을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 손 모션의 이동 방향을 구분하는 기준선을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 손가락 관절을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 손의 이동방향에 대한 방향변수를 산출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 손 모션 인식을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 손 모션을 기반으로 하는 키네틱 상호 작용을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 키네틱 제어 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 실시예에 따른 한 손의 모션 인식하는 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 실시예에 따른 양 손의 모션 인식하는 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 및 도면(이하 '본 명세서')에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 실시예에 따른 키네틱 상호 작용 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 키네틱 상호 작용 시스템의 구동을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 키네틱 상호 작용 시스템(300)은 사용자(350)의 행동 및 주변환경에 대응하는 콘텐츠를 키네틱 디스플레이 장치(200)로 출력한다. 키네틱 상호 작용 시스템(300)은 키네틱 제어 장치(100) 및 키네틱 디스플레이 장치(200)를 포함한다.
키네틱 제어 장치(100)는 사용자(350)를 촬영한 영상 프레임이 입력되면 영상 프레임으로부터 사용자(350)의 관절정보를 추출한다. 키네틱 제어 장치(100)는 추출된 관절정보를 이용하여 사용자(350)의 손 모션 및 이동방향을 포함한 모션정보를 산출한다. 이때 키네틱 제어 장치(100)는 키네틱 디스플레이 장치(200)의 주변에서 발생되는 소리를 인식하고, 인식된 소리를 손 모션 및 이동방향과 결합하여 모션정보를 생성할 수 있다. 키네틱 제어 장치(100)는 키네틱 디스플레이 장치(200)에서 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하고, 생성된 제어신호를 키네틱 디스플레이 장치(200)로 전달한다. 여기서 출력제어는 영상에 대한 재생, 되감기, 빨리 감기, 일시 정지, 정지 등과 같은 콘텐츠 제어 및 복수의 키네틱 모듈의 움직임 제어를 포함하고, 영상은 광고, 브랜드 홍보, 전시회, 공공조형물, 공연, 영화, 드라마, 뮤직비디오 등을 포함할 수 있다.
키네틱 디스플레이 장치(200)는 복수의 키네틱 모듈을 포함하고, 복수의 키네틱 모듈을 개별적으로 제어하여 키네틱 아트를 제공한다. 여기서 각 키네틱 모듈은 블록 형상으로 형성되고, 제어신호에 따라 축방향으로 움직이고, 영상을 출력한다. 키네틱 디스플레이 장치(200)는 모션정보를 기반으로 각 키네틱 모듈의 출력을 제어한다. 즉 키네틱 디스플레이 장치(200)는 모션정보에 따라 영상 및 키네틱 모듈을 동시에 제어함으로써, 관람자에게 볼륨감, 실감성 등과 같은 시각적 효과를 제공할 수 있다.
한편 키네틱 제어장치(100) 및 키네틱 디스플레이 장치(200)는 별개의 장치로 도면에 도시하고 설명하고 있으나, 이에 한정하지 않고, 하나의 장치로 구현될 수 있다. 예를 들어 키네틱 제어장치(100) 내에 키네틱 디스플레이 장치(200)가 포함되거나, 키네틱 디스플레이 장치(200) 내에 키네틱 제어장치(100)가 포함될 수 있다.
도 3은 본 발명의 실시예에 따른 키네틱 제어 장치를 설명하기 위한 블록도이고, 도 4는 본 발명의 실시예에 따른 신체 관절을 설명하기 위한 도면이며, 도 5는 본 발명의 실시예에 따른 손 모션의 이동 방향을 구분하는 기준선을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 손가락 관절을 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 손의 이동방향에 대한 방향변수를 산출하는 과정을 설명하기 위한 도면이고, 도 8은 본 발명의 실시예에 따른 손 모션 인식을 설명하기 위한 도면이며, 도 9는 본 발명의 실시예에 따른 손 모션을 기반으로 하는 키네틱 상호 작용을 설명하기 위한 도면이다.
도 1 내지 도 9를 참조하면, 키네틱 제어 장치(100)는 제어부(50)를 포함하고, 통신부(10), 카메라부(30) 및 저장부(70)를 더 포함할 수 있다.
통신부(10)는 키네틱 디스플레이 장치(100)와의 통신을 수행한다. 통신부(10)는 모션정보에 대응하는 콘텐츠를 출력하기 위한 제어신호를 키네틱 디스플레이 장치(200)로 전송한다. 여기서 제어신호는 영상에 대한 출력을 제어하는 영상 제어신호 및 키네틱 모듈의 형상에 대한 출력을 제어하는 키네틱 제어신호를 포함한다. 통신부(10)는 유무선 통신을 이용하여 통신을 할 수 있다.
카메라부(30)는 적어도 하나의 카메라를 포함하고, 키네틱 디스플레이 장치(200) 주변에 설치된다. 여기서 카메라는 저가의 웹캠 등일 수 있으며, 영상뿐만 아니라 소리(음성, 소음, 음악 등 포함)도 수집할 수 있다. 바람직하게는 카메라부(30)는 키네틱 디스플레이 장치(200)의 전방을 촬영할 수 있는 위치에 설치됨으로써, 키네틱 디스플레이 장치(200)를 바라보는 사용자를 촬영할 수 있도록 한다.
제어부(50)는 키네틱 제어 장치(100)의 전반적인 구동을 제어한다. 제어부(50)는 손 모션 인식부(51) 및 키네틱 제어부(55)를 포함하고, 소리 인식부(53)를 더 포함할 수 있다.
손 모션 인식부(51)는 카메라부(30)로부터 영상 프레임이 입력되면 영상 프레임으로부터 사용자의 관절정보를 추출한다. 손 모션 인식부(51)는 영상 프레임에 포함된 사용자의 관절을 세분화하여 관절정보를 추출할 수 있다. 이때 손 모션 인식부(51)는 오픈 라이브러리(예: 미디어파이프(Mediapipe) 등)를 이용하여 관절정보를 추출할 수 있다. 여기서 관절은 코(#0), 왼쪽 어깨(#11), 오른쪽 어깨(#12), 왼쪽 손목(#15), 오른쪽 손목(#16), 왼쪽 새끼 손가락(#17), 오른쪽 새끼 손가락(#18), 왼쪽 집게 손가락(#19), 오른쪽 집게 손가락(#20), 왼쪽 엄지 손가락(#21), 오른쪽 엄지 손가락(#22), 왼쪽 엉덩이(#23), 오른쪽 엉덩이(#24)를 포함한다.
손 모션 인식부(51)는 추출된 관절정보를 이용하여 사용자(350)의 손이 이동하는 방향을 산출하기 위한 기준선을 설정한다. 상세하게는 손 모션 인식부(51)는 관절정보 중 사용자의 코(#0)와 엉덩이(#23, #24)에 해당하는 관절의 좌표를 이은 선분을 수직 기준선(61)으로 설정한다. 손 모션 인식부(51)는 관절정보 중 사용자(350)의 양 어깨(#11, #12)에 해당하는 관절의 좌표를 이은 선분을 수평 기준선(62)으로 설정한다. 여기서 수직 기준선(61)은 손의 좌우 이동에 대한 기준이 되고, 수평 기준선(62)은 손의 상하 이동에 대한 기준이 된다.
손 모션 인식부(51)는 사용자(35)의 손가락 관절 간에 각도 관계를 산출하고, 산출된 각도 관계를 이용하여 데이터 셋을 구축한다. 이때 손 모션 인식부(51)는 도 6에 도시된 지정 모션에 따른 21개의 관절(4번 관절은 가상의 점)에 대한 벡터 간 내적 결과를 역삼각함수(accos)에 적용하여 데이터 셋을 구축할 수 있으며, [수학식 1], [수학식 2]를 통해 해당 과정을 표현할 수 있다.
여기서 v1은 이전 손가락 관절(Ji)에 대한 벡터 행렬을 의미하고, v1=[J0 J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 J11 J12 J13 J14 J15 J16 J17 J18 J19]로 표현할 수 있고, v2은 현재 손가락 관절에 대한 벡터 행렬을 의미하며, v2=[J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 J11 J12 J13 J14 J15 J16 J17 J18 J19 J20]로 표현할 수 있으며, u는 벡터 간의 내적을 의미한다.
여기서 θi는 i번째 내적에 관절 각도를 의미한다.
손 모션 인식부(51)는 구축된 데이터 셋을 기초로 기계학습을 이용하여 손 모션을 예측한다. 여기서 기계학습은 KNN(K-Nearest Neighbor) 알고리즘일 수 있으나, 이에 한정하지 않는다. KNN 알고리즘은 예측하려는 데이터 X가 주어지면 기존 데이터 중 속성이 비슷한 이웃을 검색하고, 데이터 X를 둘러싼 k개의 가장 가까운 이웃을 검색하며, 이웃 데이터 중 가장 많이 속해 있는 목표 클래스를 예측값으로 결정하는 방법이다.
손 모션 인식부(51)는 예측된 손 모션을 기 학습하여 패턴을 설정한 손 모션과 비교한다. 손 모션 인식부(52)는 예측된 손 모션이 기 설정된 손 모션이면 수직 기준선(61) 및 수평 기준선(62)을 기초로 사용자의 손목 관절(#15, #16)에 대한 위치를 산출한다. 손 모션 인식부(51)는 영상 프레임 중 현재 영상 프레임과 이전 영상 프레임의 손목 관절(#15, #16)에 대한 방향변수를 비교하여 손의 이동방향을 산출한다. 여기서 방향변수인 ccw는 인 1ⅹ2 행렬로써, 상하 및 좌우 판단값을 성분으로 가진다. 예를 들어 도 7과 같이 손 모션 인식부(51)는 상하 판단의 경우, 엉덩이(A)와 코(B)가 이어진 수직 기준선을 기초로 손목(C) 위치를 판단하여 ccw를 산출할 수 있고, 좌우 판단의 경우, 엉덩이(A)와 코(B)가 이어진 수평 기준선을 기초로 손목(C) 위치를 판단하여 ccw를 산출할 수 있다. 즉 손 모션 인식부(51)는 손목(C)이 반시계방향으로 회전(도 7의 (a))하거나, 시계방향으로 회전(도 7의 (b))하는 방향을 도 7의 (c)와 같이 방향변수로 표현할 수 있다.
손 모션 인식부(51)는 예측된 손 모션과, 이전 방향변수(ccw1) 및 현재 방향변수(ccw2)로 산출된 이동방향을 포함하는 모션정보를 이용하여 사용자(35)의 손동작을 인식할 수 있다. 예를 들어 사용자(350)가 손을 펴고, 펼친 손을 수직 기준선(61) 및 수평 기준선(62)을 기준으로 제4 사분면에 위치한 상태(도 8의 (a))에서 손을 제1 사분면으로 이동하면(도 8의 (b)) 손 모션 인식부(51)는 모션정보를 이용하여 손을 편 상태에서 위로 이동하였다고 인식할 수 있다. 또한 사용자(350)가 손을 편 상태에서 제4 사분면으로 이동하고(도 8의 (c)), 다시 제3 사분면으로 이동하며(도 8의 (d)), 또다시 제4 사분면으로 이동하면(도 8의 (e)) 손 모션 인식부(51)는 모션정보를 이용하여 손을 편 상태에서 아래로 이동한 후, 좌우로 이동하였다고 인식할 수 있다. 마지막으로 사용자(35)가 손을 편 상태에서 손을 쥐면(도 8의 (f)) 손 모션 인식부(51)는 모션정보를 이용하여 위치는 변화하지 않고, 손 모션을 편 상태에서 쥔 상태로만 변경하였다고 인식할 수 있다.
한편 손 모션 인식부(51)는 사용자(350)의 양손에 대한 모션정보를 생성하는 경우, 각각의 손에 대한 손 모션 및 이동방향을 산출한다. 손 모션 인식부(51)는 산출된 양손 모션 및 이동방향의 상관관계를 추정하고, 추정된 상관관계를 이용하여 모션정보를 생성한다. 여기서 상관관계에 의해 생성된 모션정보는 양손으로 표현할 때만 의미가 생기는 수화, 손 제스처 등을 포함할 수 있다.
소리 인식부(53)는 카메라부(30)로부터 영상 프레임이 입력되면 영상 프레임에 포함된 소리를 인식한다. 여기서 소리는 키네틱 디플레이 장치의 주변에서 발생되는 소리로써, 음성, 소음, 음악 등 포함할 수 있다. 소리 인식부(53)는 대푯값을 찾는 템플릿 기반 방식, 확률 분포에 기초한 통계학적인 접근법인 은닉 마르코프 모델(Hidden Markov Model, HMM) 등을 이용하여 소리를 인식할 수 있다.
키네틱 제어부(55)는 키네틱 디스플레이 장치(200)에서 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성한다. 여기서 출력제어는 영상에 대한 재생, 되감기, 빨리 감기, 일시 정지, 정지 등과 같은 콘텐츠 제어 및 복수의 키네틱 모듈의 움직임 제어를 포함한다.
상세하게는 키네틱 제어부(55)는 모션정보에 손 모션 및 이동방향이 포함되면 해당 손 모션 및 이동방향과 관련된 영상을 출력하도록 제어신호를 생성할 수 있다. 예를 들어 키네틱 제어부(55)는 손의 이동방향을 키네틱 디스플레이 장치(200)의 화면에 출력되도록 제어신호를 생성할 수 있다. 즉 키네틱 제어부(55)는 손이 왼쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 화면에 왼쪽 이동이라는 글씨가 출력되도록 제어신호를 생성하고(도 9의 (a)), 손이 위쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 화면에 위쪽 이동이라는 글씨가 출력되도록 제어신호를 생성하며(도 9의 (b)), 손이 오른쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 화면에 오른쪽 이동이라는 글씨가 출력되도록 제어신호를 생성하고(도 9의 (c)), 손이 아래 방향으로 이동되면 키네틱 디스플레이 장치(200)의 화면에 아래 이동이라는 글씨가 출력되도록 제어신호를 생성할 수 있다(도 9의 (d)).
또한 키네틱 제어부(55)는 모션정보에 포함된 손 모션 및 이동방향에 따라 관련된 영상 재생 또는 키네틱 모듈의 구동을 제어한다. 예를 들어 키네틱 제어부(55)는 손이 왼쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 키네틱 모듈이 왼쪽 방향으로 물결 움직임이 출력되도록 제어신호를 생성하고, 손이 위쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 키네틱 모듈이 위쪽 방향으로 물결 움직임이 출력되도록 제어신호를 생성하며, 손이 오른쪽 방향으로 이동되면 키네틱 디스플레이 장치(200)의 키네틱 모듈이 오른쪽 방향으로 물결 움직임이 출력되도록 제어신호를 생성하고, 손이 아래 방향으로 이동되면 키네틱 디스플레이 장치(200)의 키네틱 모듈이 아래 방향으로 물결 움직임 출력되도록 제어신호를 생성할 수 있다.
저장부(70)는 키네틱 제어 장치(100)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 저장부(70)는 카메라부(30)로부터 수집된 영상 프레임 및 소리에 대한 정보가 저장된다. 저장부(70)는 제어부(50)로부터 생성된 모션정보 및 제어신호가 저장된다. 또한 저장부(70)는 다양한 손 모션을 학습하여 설정된 패턴 정보가 저장된다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 10은 본 발명의 실시예에 따른 키네틱 제어 방법을 설명하기 위한 순서도이다.
도 1 및 도 10을 참조하면, 키네틱 제어 방법은 사용자의 모션정보에 포함된 손 모션 및 이동방향을 기반으로 키네틱 디스플레이 장치(200)의 영상 출력 및 키네틱 모듈의 구동을 제어하여 사용자와 키네틱 디스플레이(200) 장치 간의 상호작용을 지원할 수 있다. 이를 통해 키네틱 디스플레이 장치(200)에서 제공하는 키네틱 아트에 대한 광고 효과를 극대화할 수 있다.
S110 단계에서, 키네틱 제어 장치(100)는 손 모션을 인식을 한다. 키네틱 제어 장치(100)는 사용자를 촬영한 영상 프레임이 입력되면 영상 프레임으로부터 사용자의 관절정보를 추출한다. 여기서 관절정보는 코, 어깨, 손목, 손가락 및 엉덩이에 대한 관절정보일 수 있다. 키네틱 제어 장치(100)는 추출된 관절정보를 이용하여 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성한다.
S120 단계에서, 키네틱 제어 장치(100)는 키네틱 디스플레이 장치(200)에서 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성한다. 키네틱 제어 장치(100)는 모션정보에 대응하는 영상을 출력하기 위한 영상 제어신호 및 모션정보에 대응하는 키네틱 모듈의 움직임을 출력하기 위한 키네틱 제어신호를 생성할 수 있다. 여기서 키네틱 모듈의 움직임은 상하 이동뿐만 아니라 일정 각도로 틸팅(titing)되는 움직임도 포함할 수 있다.
도 11은 본 발명의 실시예에 따른 한 손의 모션 인식하는 방법을 설명하기 위한 순서도이다.
도 10 및 도 11을 참조하면, 키네틱 디스플레이 방법은 사용자의 관절정보를 이용하여 기준선을 설정하고, 설정된 기준선을 이용하여 한 손의 이동방향을 산출한다. 또한 키네틱 디스플레이 방법은 기계학습을 이용하여 한 손 모션을 예측한다. 이를 통해 키네틱 디스플레이 방법은 한 손 모션을 정확하게 인지할 수 있다.
S201 단계에서, 키네틱 제어 장치(100)는 i를 초기화한다. 키네틱 제어 장치(100)는 i를 1로 초기화한다.
S203 단계에서, 키네틱 제어 장치(100)는 현재 영상 프레임을 입력받는다. 키네틱 제어 장치(100)는 현재 촬영된 영상 프레임을 입력받는다.
S205 단계에서, 키네틱 제어 장치(100)는 사용자의 관절정보를 추출한다. 키네틱 제어 장치(100)는 코, 어깨, 손목, 손가락 및 엉덩이에 대한 관절정보를 추출할 수 있다.
S207 단계에서, 키네틱 제어 장치(100)는 추출된 관절정보를 이용하여 사용자의 손이 이동하는 방향을 산출하기 위한 기준선을 설정한다. 키네틱 제어 장치(100)는 관절정보 중 사용자의 코와 엉덩이에 해당하는 관절의 좌표를 이은 선분을 수직 기준선으로 설정한다. 키네틱 제어 장치(100)는 관절정보 중 사용자의 양 어깨에 해당하는 관절의 좌표를 이은 선분을 수평 기준선으로 설정한다. 여기서 수직 기준선은 손의 좌우 이동에 대한 기준이 되고, 수평 기준선은 손의 상하 이동에 대한 기준이 된다.
S209 단계에서, 키네틱 제어 장치(100)는 손 모션을 예측한다. 키네틱 제어 장치(100)는 사용자의 손가락 관절 간에 각도 관계를 산출하고, 산출된 각도 관계를 이용하여 데이터 셋을 구축한다. 키네틱 제어 장치(100)는 구축된 데이터 셋을 기초로 기계학습을 이용하여 손 모션을 예측한다. 여기서 기계학습은 KNN 알고리즘일 수 있으나, 이에 한정하지 않는다.
S211 단계에서, 키네틱 제어 장치(100)는 예측된 손 모션이 기 설정된 손 모션인지 판단한다. 키네틱 제어 장치(100)는 예측된 손 모션이 기 설정된 손 모션이면 S213 단계를 수행하고, 기 설정된 손 모션이 아니면 S201 단계를 수행한다.
S213 단계에서, 키네틱 제어 장치(100)는 방향변수를 산출한다. 키네틱 제어 장치(100)는 수직 기준선 및 수평 기준선을 기초로 손목 관절에 대한 방향변수를 산출한다. 여기서 방향변수는 상하 및 좌우 판단값의 성분을 포함한다.
S215 단계에서, 키네틱 제어 장치(100)는 i가 2인지 판단한다. 키네틱 제어 장치(100)는 i가 2이면 S221 단계를 수행하고, i가 2가 아니면 S217 단계를 수행한다.
S217 단계에서, 키네틱 제어 장치(100)는 i가 1일 때의 방향변수를 저장한다. 즉 키네틱 제어 장치(100)는 ccw1을 저장한다.
S219 단계에서, 키네틱 제어 장치(100)는 i를 2로 갱신하고, S203 단계를 수행한다.
S221 단계에서, 키네틱 제어 장치(100)는 현재 영상 프레임(i=2)에 대한 방향변수(ccw2)와 이전 영상 프레임(i=1)에 대한 방향변수(ccw1)를 비교하여 일치여부를 판단한다. 여기서 방향변수가 일치하는 것은 손이 이동하지 않았다는 것을 의미하고, 일치하지 않다는 것은 손이 이동하였다는 것을 의미한다. 키네틱 제어 장치(100)는 일치하면 S219 단계를 수행하고, 일치하지 않으면 S223 단계를 수행한다.
S223 단계에서, 키네틱 제어 장치(100)는 손 모션을 인식한다. 키네틱 제어 장치(100)는 예측된 손 모션, 이전 영상 프레임에 대한 방향변수(ccw1) 및 현재 영상 프레임에 대한 방향변수(ccw2)를 포함하는 모션정보를 생성한다. 키네틱 제어 장치(100)는 생성된 모션정보를 이용하여 손 모션을 인식한다.
도 12는 본 발명의 실시예에 따른 양 손의 모션 인식하는 방법을 설명하기 위한 순서도이다.
도 10 및 도 12를 참조하면, 키네틱 디스플레이 방법은 사용자의 관절정보를 이용하여 기준선을 설정하고, 설정된 기준선을 이용하여 양손의 이동방향을 산출한다. 또한 키네틱 디스플레이 방법은 기계학습을 이용하여 양손 모션을 예측한다. 이를 통해 키네틱 디스플레이 방법은 양손 모션을 정확하게 인지할 수 있다.
S301 단계에서, 키네틱 제어 장치(100)는 i를 초기화한다. 키네틱 제어 장치(100)는 i를 1로 초기화한다.
S303 단계에서, 키네틱 제어 장치(100)는 현재 영상 프레임을 입력받는다. 키네틱 제어 장치(100)는 현재 촬영된 영상 프레임을 입력받는다.
S305 단계에서, 키네틱 제어 장치(100)는 사용자의 관절정보를 추출한다. 키네틱 제어 장치(100)는 코, 어깨, 손목, 손가락 및 엉덩이에 대한 관절정보를 추출할 수 있다.
S307 단계에서, 키네틱 제어 장치(100)는 추출된 관절정보를 이용하여 사용자의 손이 이동하는 방향을 산출하기 위한 기준선을 설정한다. 키네틱 제어 장치(100)는 관절정보 중 사용자의 코와 엉덩이에 해당하는 관절의 좌표를 이은 선분을 수직 기준선으로 설정한다. 키네틱 제어 장치(100)는 관절정보 중 사용자의 양 어깨에 해당하는 관절의 좌표를 이은 선분을 수평 기준선으로 설정한다. 여기서 수직 기준선은 손의 좌우 이동에 대한 기준이 되고, 수평 기준선은 손의 상하 이동에 대한 기준이 된다.
S309 단계에서, 키네틱 제어 장치(100)는 왼손 모션을 예측한다. 키네틱 제어 장치(100)는 사용자의 손가락 관절 간에 각도 관계를 산출하고, 산출된 각도 관계를 이용하여 데이터 셋을 구축한다. 키네틱 제어 장치(100)는 구축된 데이터 셋을 기초로 기계학습을 이용하여 왼손 모션을 예측한다. 여기서 기계학습은 KNN 알고리즘일 수 있으나, 이에 한정하지 않는다.
S311 단계에서, 키네틱 제어 장치(100)는 예측된 왼손 모션이 기 설정된 왼손 모션인지 판단한다. 키네틱 제어 장치(100)는 예측된 왼손 모션이 기 설정된 왼손 모션이면 S317 단계를 수행하고, 기 설정된 왼손 모션이 아니면 S301 단계를 수행한다.
S313 단계에서, 키네틱 제어 장치(100)는 오른손 모션을 예측한다. 키네틱 제어 장치(100)는 사용자의 손가락 관절 간에 각도 관계를 산출하고, 산출된 각도 관계를 이용하여 데이터 셋을 구축한다. 키네틱 제어 장치(100)는 구축된 데이터 셋을 기초로 기계학습을 이용하여 오른손 모션을 예측한다. 여기서 기계학습은 KNN 알고리즘일 수 있으나, 이에 한정하지 않는다.
S315 단계에서, 키네틱 제어 장치(100)는 예측된 오른손 모션이 기 설정된 오른손 모션인지 판단한다. 키네틱 제어 장치(100)는 예측된 오른손 모션이 기 설정된 오른손 모션이면 S311 단계를 수행하고, 기 설정된 오른손 모션이 아니면 S301 단계를 수행한다.
S317 단계에서, 키네틱 제어 장치(100)는 양손에 대한 방향변수를 산출한다. 키네틱 제어 장치(100)는 수직 기준선 및 수평 기준선을 기초로 양손 손목 관절에 대한 방향변수를 산출한다. 여기서 방향변수는 상하 및 좌우 판단값의 성분을 포함한다.
S319 단계에서, 키네틱 제어 장치(100)는 i가 2인지 판단한다. 키네틱 제어 장치(100)는 i가 2이면 S325 단계를 수행하고, i가 2가 아니면 S321 단계를 수행한다.
S321 단계에서, 키네틱 제어 장치(100)는 i가 1일 때의 방향변수를 저장한다. 즉 키네틱 제어 장치(100)는 ccw1을 저장한다.
S323 단계에서, 키네틱 제어 장치(100)는 i를 2로 갱신하고, S303 단계를 수행한다.
S325 단계에서, 키네틱 제어 장치(100)는 현재 영상 프레임(i=2)에 대한 방향변수(ccw2)와 이전 영상 프레임(i=1)에 대한 방향변수(ccw1)를 비교하여 일치여부를 판단한다. 여기서 방향변수가 일치하는 것은 양손이 이동하지 않았다는 것을 의미하고, 일치하지 않다는 것은 적어도 하나의 한 손이 이동하였다는 것을 의미한다. 키네틱 제어 장치(100)는 일치하면 S327 단계를 수행하고, 일치하지 않으면 S323 단계를 수행한다.
S327 단계에서, 키네틱 제어 장치(100)는 손 모션을 인식한다. 키네틱 제어 장치(100)는 예측된 양손 모션, 이전 영상 프레임에 대한 양손 방향변수(ccw1) 및 현재 영상 프레임에 대한 양손 방향변수(ccw2)를 포함하는 모션정보를 생성한다. 키네틱 제어 장치(100)는 생성된 모션정보를 이용하여 손 모션을 인식한다. 이때 키네틱 제어 장치(100)는 양손 모션 및 이동방향의 상관관계를 추정하고, 추정된 상관관계를 이용하여 모션정보를 생성한다. 여기서 모션정보는 양손으로 표현할 때만 의미가 생기는 수화, 손 제스처 등을 포함할 수 있다.
도 13은 본 발명의 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 키네틱 제어 장치, 키네틱 디스플레이 장치 등) 일 수 있다.
컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 통신부
30: 카메라부
50: 제어부
51: 손 모션 인식부
53: 소리 인식부
55: 키네틱 제어부
70: 저장부
100: 키네틱 제어 장치
200: 키네틱 디스플레이 장치
210: 모듈 제어기
230: 영상 제어기
300: 키네틱 상호 작용 시스템
350: 사용자

Claims (10)

  1. 사용자를 촬영한 영상 프레임이 입력되면 상기 영상 프레임으로부터 상기 사용자의 관절정보를 추출하고, 상기 추출된 관절정보를 이용하여 상기 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성하는 손 모션 인식부; 및
    복수의 키네틱 모듈을 포함하는 키네틱 디스플레이 장치에서 상기 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 키네틱 제어부;
    를 포함하는 키네틱 제어 장치.
  2. 제 1항에 있어서,
    상기 손 모션 인식부는,
    상기 관절정보 중 상기 사용자의 코와 엉덩이에 해당하는 관절에 대한 좌표를 이은 선분을 수직 기준선으로 설정하고, 상기 관절정보 중 상기 사용자의 양 어깨에 해당하는 관절에 대한 좌표를 이은 선분을 수평 기준선으로 설정하는 것을 특징으로 하는 키네틱 제어 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 손 모션 인식부는,
    상기 사용자의 손가락 관절 간의 각도 관계를 산출하여 데이터셋을 구축하고, 상기 구축된 데이터셋을 기초로 기계학습을 이용하여 손 모션을 예측하는 것을 특징으로 하는 키네틱 제어 장치.
  4. 제 3항에 있어서,
    상기 손 모션 인식부는,
    상기 손가락 관절의 벡터 간 내적 결과를 역삼각함수(arccos)에 적용하여 상기 데이터셋을 구축하는 것을 특징으로 하는 키네틱 제어 장치.
  5. 제 3항에 있어서,
    상기 손 모션 인식부는,
    상기 예측된 손 모션이 기 설정된 손 모션이면 상기 수직 기준선 및 상기 수평 기준선을 기초로 상기 사용자의 손목 관절에 대한 방향변수를 산출하는 것을 특징으로 하는 키네틱 제어 장치.
  6. 제 5항에 있어서,
    상기 손 모션 인식부는,
    상기 영상 프레임 중 현재 영상 프레임과 이전 영상 프레임의 상기 손목 관절의 방향변수를 비교하여 상기 이동방향을 산출하는 것을 특징으로 하는 키네틱 제어 장치.
  7. 제 1항에 있어서,
    상기 손 모션 인식부는,
    상기 사용자의 양손에 대한 모션정보를 생성하는 경우, 각각의 손에 대한 손 모션 및 이동방향을 산출하고, 상기 산출된 손 모션 및 이동방향의 상관관계를 추정하며, 상기 추정된 상관관계를 이용하여 상기 모션정보를 생성하는 것을 특징으로 하는 키네틱 제어 장치.
  8. 제 1항에 있어서,
    상기 키네틱 제어부는,
    상기 모션정보에 대응하는 영상을 출력하기 위한 영상 제어신호 및 상기 모션정보에 대응하는 키네틱 모듈의 움직임을 출력하기 위한 키네틱 제어신호를 생성하는 것을 특징으로 하는 키네틱 제어 장치.
  9. 제 1항에 있어서,
    상기 키네틱 디스플레이 장치의 주변에서 발생되는 소리를 인식하는 소리 인식부;를 더 포함하고,
    상기 키네틱 제어부는,
    상기 인식된 소리를 상기 모션정보에 더 포함시키고, 상기 키네틱 디스플레이 장치에서 상기 소리가 더 포함된 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 것을 특징으로 하는 키네틱 제어 장치.
  10. 키네틱 제어 장치가 사용자를 촬영한 영상 프레임을 입력받는 단계;
    상기 키네틱 제어 장치가 상기 영상 프레임으로부터 상기 사용자의 관절정보를 추출하는 단계;
    상기 키네틱 제어 장치가 상기 추출된 관절정보를 이용하여 상기 사용자의 손 모션 및 이동방향을 포함한 모션정보를 생성하는 단계; 및
    상기 키네틱 제어 장치가 복수의 키네틱 모듈을 포함하는 키네틱 디스플레이 장치에서 상기 모션정보에 대응하는 출력제어를 하도록 제어신호를 생성하는 단계;
    를 포함하는 키네틱 제어 방법.
KR1020220051897A 2022-04-27 2022-04-27 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법 KR102640496B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220051897A KR102640496B1 (ko) 2022-04-27 2022-04-27 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220051897A KR102640496B1 (ko) 2022-04-27 2022-04-27 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230152312A true KR20230152312A (ko) 2023-11-03
KR102640496B1 KR102640496B1 (ko) 2024-02-23

Family

ID=88745441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051897A KR102640496B1 (ko) 2022-04-27 2022-04-27 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102640496B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
KR20130051319A (ko) * 2011-11-09 2013-05-20 포항공과대학교 산학협력단 신호 입력 장치 및 신호 입력 방법
KR20140101439A (ko) * 2011-12-16 2014-08-19 유니베르지테트 추 뤼베크 포즈를 추정하기 위한 방법 및 장치
KR20150083581A (ko) * 2014-01-10 2015-07-20 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
KR20160141369A (ko) * 2015-05-27 2016-12-08 주식회사 트라이앵글와이드 핀을 포함하는 디스플레이 소자, 핀을 사용하는 디스플레이 시스템, 그리고 이의 디스플레이 방법
KR20170136367A (ko) * 2016-06-01 2017-12-11 한국과학기술연구원 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법
KR20200078258A (ko) * 2018-12-21 2020-07-01 주식회사 알체라 관절 모델 정합 장치 및 방법
KR20210037005A (ko) * 2018-08-26 2021-04-05 레이아 인코포레이티드 사용자 추적 기능이 있는 멀티뷰 디스플레이, 시스템 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
KR20130051319A (ko) * 2011-11-09 2013-05-20 포항공과대학교 산학협력단 신호 입력 장치 및 신호 입력 방법
KR20140101439A (ko) * 2011-12-16 2014-08-19 유니베르지테트 추 뤼베크 포즈를 추정하기 위한 방법 및 장치
KR20150083581A (ko) * 2014-01-10 2015-07-20 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
KR20160141369A (ko) * 2015-05-27 2016-12-08 주식회사 트라이앵글와이드 핀을 포함하는 디스플레이 소자, 핀을 사용하는 디스플레이 시스템, 그리고 이의 디스플레이 방법
KR20170136367A (ko) * 2016-06-01 2017-12-11 한국과학기술연구원 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법
KR101863275B1 (ko) 2016-06-01 2018-05-31 한국과학기술연구원 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법
KR20210037005A (ko) * 2018-08-26 2021-04-05 레이아 인코포레이티드 사용자 추적 기능이 있는 멀티뷰 디스플레이, 시스템 및 방법
KR20200078258A (ko) * 2018-12-21 2020-07-01 주식회사 알체라 관절 모델 정합 장치 및 방법

Also Published As

Publication number Publication date
KR102640496B1 (ko) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110310175B (zh) 用于移动增强现实的系统和方法
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
US10394318B2 (en) Scene analysis for improved eye tracking
JP2023016806A (ja) 感覚式アイウェア
US9165381B2 (en) Augmented books in a mixed reality environment
US20190369742A1 (en) System and method for simulating an interactive immersive reality on an electronic device
CN104520849A (zh) 使用外在物理表达的搜索用户界面
US11399143B2 (en) Artificial intelligence display device
CN112037314A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
KR20210077482A (ko) 복수의 갱신 정보를 융합하여 인공 지능 모델을 갱신하는 인공 지능 서버 및 그 방법
KR20210070634A (ko) 인공 지능 장치 및 그의 동작 방법
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
Hegde et al. Gestar: Real time gesture interaction for ar with egocentric view
CN209895305U (zh) 手势交互系统
KR20210066328A (ko) 자연어 이해 모델을 학습시키기 위한 인공 지능 장치
KR102640496B1 (ko) 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법
KR102231909B1 (ko) 인공지능 장치
Ren et al. Immersive and perceptual human-computer interaction using computer vision techniques
KR20210073252A (ko) 인공 지능 장치 및 그의 동작 방법
KR20140078083A (ko) 증강 현실이 구현된 만화책
Gandage et al. Virtual Paint
Jain et al. [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices
CN114207671A (zh) 图像处理装置、图像处理方法和程序
KR20210059457A (ko) 이동 단말기
CN116030168B (zh) 中间帧的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant