KR20210073429A - 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템 - Google Patents

착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템 Download PDF

Info

Publication number
KR20210073429A
KR20210073429A KR1020200028278A KR20200028278A KR20210073429A KR 20210073429 A KR20210073429 A KR 20210073429A KR 1020200028278 A KR1020200028278 A KR 1020200028278A KR 20200028278 A KR20200028278 A KR 20200028278A KR 20210073429 A KR20210073429 A KR 20210073429A
Authority
KR
South Korea
Prior art keywords
user
hand gesture
integrated interface
hand
gesture recognition
Prior art date
Application number
KR1020200028278A
Other languages
English (en)
Inventor
김성흠
김성제
이민호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20210073429A publication Critical patent/KR20210073429A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시선 추적 시스템과 손동작 인식 시스템을 통합하고, 최종적으로 착용형 AR 장치 어플리케이션과 시선 추적, 그리고 손동작 인식 시스템을 통합하는 통합 인터페이스 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 통합 인터페이스 방법은, 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 단계; 통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 단계; 통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 단계; 및 통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 단계;를 포함하고, 이때, 선택 및 조작 단계는, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행된다. 이에 의해, 실시간으로 사용자의 양쪽 동공 위치에 대한 정보와 손동작 인식 정보를 기반으로, 커서를 움직이고, 객체를 선택 및 조작할 수 있어, 착용형 AR 장치의 사용자에게 편의성을 제공할 수 있다.

Description

착용형 AR 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템{Integration Interface Method and System based on Eye tracking and Gesture recognition for Wearable Augmented Reality Device}
본 발명은 착용형 AR(Augmented Reality) 장치를 위한 사용자의 시선 추적 및 손동작 인식 기반의 통합 인터페이스 방법 및 시스템에 관한 것으로, 더욱 상세하게는 시선 추적 시스템과 손동작 인식 시스템을 통합하고, 최종적으로 착용형 AR 장치 어플리케이션과 시선 추적, 그리고 손동작 인식 시스템을 통합하는 통합 인터페이스 방법 및 시스템에 관한 것이다.
가상현실은 사용자가 가상의 공간에 들어가게 되는 기술로써 대표적인 기기로는 오큘러스 리프트, 바이브 등이 있으며, 콘텐츠 조작을 위한 입력장치로써 전용 컨트롤러를 사용한다.
증강현실은 사용자가 눈으로 보는 현실세계에서 가상 객체를 증강시키는 기술의 특성상 사용자의 음성 인식이나 손동작 인식을 통해 콘텐츠 조작을 수행하며, 대표적인 기기로는 구글 글래스와 마이크로소프트 홀로렌즈가 있다. 구글 글래스는 측면 터치패드 및 음성 인식을 지원하고 홀로렌즈는 손동작 인식 및 음성 인식을 지원한다.
종래의 가상 혹은 증강현실 기기의 입력 장치로써 전용 컨트롤러, 터치패드, 음성 및 손동작 인식 등이 존재하나, 전용 컨트롤러는 크기가 크고 무거우며, 작고 가볍더라도 손에 쥐거나 착용해야 하며, 음성 인식은 크고 정확하게 말해야 하며, 터치 패드 혹은 손동작 인식은 사용자가 착용형 AR 장치의 높이까지 손을 올리거나 과도한 손동작을 요구함으로써 피로도를 야기한다는 점에서, 사용자 편의성을 감소시키는 문제점이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간으로 사용자의 양쪽 동공 위치에 대한 정보와 손동작 인식 정보를 기반으로, 커서를 움직이고, 객체를 선택 및 조작할 수 있는 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템을 제공함에 있다.
본 발명의 다른 목적은, 착용형 AR 장치의 사용자별로 고유 손동작을 신규 학습하거나, 기존에 정의되어 있는 손동작 학습 모델을 기반으로 사용자의 고유 손동작에 대해 추가 학습하거나, 기존 손동작 인식 정확도 향상을 위해 재학습을 수행할 수 있는 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 통합 인터페이스 방법은, 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 단계; 통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 단계; 통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 단계; 및 통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 단계;를 포함하고, 이때, 선택 및 조작 단계는, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행된다.
그리고 손동작 인식 단계는, 착용형 AR(Augmented Reality) 장치에서 하단 뷰를 향해 부착된 ToF 깊이 센서로부터 영상을 입력 받는 단계; 및 입력받은 영상에서 손동작을 인식하는 단계;를 포함할 수 있다.
또한, 선택 및 조작 단계는, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 및 회전 중 적어도 하나에 대응되는 조작 명령을 수행하되, 손동작의 지속 시간에 비례하여 가상 객체의 조작 정도(程度)가 결정될 수 있다.
그리고 선택 및 조작 단계는, 손동작 인식 결과가 'C' 모양인 경우, 가상 객체의 확대 명령이 수행되고, 손동작 인식 결과가 '0' 모양인 경우, 가상 객체의 축소 명령이 수행될 수 있다.
또한, 선택 및 조작 단계는, 손동작 인식 결과가 엄지손가락을 왼쪽 혹은 오른쪽으로 향하는 동작인 경우, 엄지손가락의 방향에 따라 가상 객체가 회전하는 회전 명령이 수행될 수 있다.
그리고 계산 단계는, 착용형 AR장치에서 사용자 눈을 향해 부착된 카메라로부터 눈 영상을 입력 받는 단계; 착용형 AR장치에서 사용자 전방을 향해 부착된 카메라로부터 전방 영상을 입력 받는 단계; 입력받은 눈 영상에서 동공 중심을 추적하는 단계; 입력받는 전방 영상과 동공 중심을 기반으로 기하학적 관계를 정의하는 사용자 캘리브레이션을 수행하는 단계; 및 사용자 캘리브레이션으로 정의된 기하학적 관계와 현재 동공 중심 위치를 기반으로 현재 시선 위치를 계산하는 단계;를 포함할 수 있다.
또한, 현재 시선 위치 계산 단계는, 사용자 캘리브레이션 수행 단계에서 시선 위치를 구하고자 하는 공간과 동공 움직임의 기하학적 관계를 정립하는 과정에서 타원을 중심으로 복수의 점들을 응시하는 작업이 수행되면, 복수의 시선 위치 계산 결과를 나타내는 복수의 커서가 생성되되, 각각의 커서 간 거리가 초점 인식 성공률에 따라 조정되어, 시선 추적 정확도가 임계치 미만인 경우 사용자 캘리브레이션 수행 단계가 재수행되도록 할 수 있다.
그리고 본 발명의 일 실시예에 따른, 통합 인터페이스 방법은, 통합 인터페이스 시스템이, 사용자의 손동작을 학습하는 단계;를 더 포함할 수 있다.
또한, 학습 단계는, 사용자만의 고유한 손동작을 신규 학습하는 단계; 및 기존 학습 모델을 기반으로 고유 손동작을 추가 학습하는 단계;를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 통합 인터페이스 시스템은, 사용자의 눈 영상을 생성하는 제1 카메라; 전방(前方) 영상을 생성하는 제2 카메라; 사용자의 손동작 데이터를 수집하는 ToF 깊이 센서; 및 제1 카메라를 통해 생성된 사용자의 눈 영상 및 제2 카메라를 통해 생성된 전방 영상을 이용하여 사용자의 시선 위치를 계산하고, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하며, ToF 깊이 센서를 통해 수집된 사용자의 손동작 데이터로부터, 손동작을 인식하고, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 프로세서;를 포함하고, 이때, 프로세서는, 객체의 조작 시, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행되도록 한다.
그리고 본 발명의 다른 실시예에 따른, 통합 인터페이스 방법은, 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 단계; 통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 단계; 통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 단계; 및 통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 단계;를 포함한다.
또한, 본 발명의 다른 실시예에 따른, 통합 인터페이스 시스템은, 사용자의 눈 영상을 생성하는 제1 카메라; 전방(前方) 영상을 생성하는 제2 카메라; 사용자의 손동작 데이터를 수집하는 ToF 깊이 센서; 및 제1 카메라를 통해 생성된 사용자의 눈 영상 및 제2 카메라를 통해 생성된 전방 영상을 이용하여 사용자의 시선 위치를 계산하고, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하며, ToF 깊이 센서를 통해 수집된 사용자의 손동작 데이터로부터, 손동작을 인식하고, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 실시간으로 사용자의 양쪽 동공 위치에 대한 정보와 손동작 인식 정보를 기반으로, 커서를 움직이고, 객체를 선택 및 조작할 수 있어, 착용형 AR 장치의 사용자에게 편의성을 제공할 수 있다.
더불어, 본 발명의 실시예들에 따르면, 착용형 AR 장치의 사용자별로 고유 손동작을 신규 학습하거나, 기존에 정의되어 있는 손동작 학습 모델을 기반으로 사용자의 고유 손동작에 대해 추가 학습하거나, 기존 손동작 인식 정확도 향상을 위해 재학습을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 착용형 AR 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 시스템의 설명에 제공된 도면,
도 2는 본 발명의 다른 실시예에 따른 착용형 AR 장치의 사시도,
도 3은 도 2에 도시된 착용형 AR 장치를 사용자가 착용한 상태가 도시된 도면,
도 4는 본 발명의 일 실시예에 따른 착용형 AR 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법의 설명에 제공된 도면,
도 5 내지 도 6은 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행 화면이 예시된 도면,
도 7은 동공 검출 및 추적 결과가 예시된 도면
도 8 내지 도 12는 착용형 AR 장치의 하단 뷰 영상이 예시된 도면, 그리고
도 13은, 손 동작 인식을 통해 가상 객체를 조작하는 모습이 예시된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 착용형 AR 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 시스템(이하에서는 '통합 인터페이스 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 실시예에 따른 통합 인터페이스 시스템은, 실시간으로 사용자의 양쪽 동공 위치에 대한 정보와 손동작 인식 정보를 기반으로, 커서를 움직이고, 객체를 선택 및 조작할 수 있으며, 착용형 AR 장치의 사용자별로 고유 손동작을 신규 학습하거나, 기존에 정의되어 있는 손동작 학습 모델을 기반으로 사용자의 고유 손동작에 대해 추가 학습하거나, 기존 손동작 인식 정확도 향상을 위해 재학습을 수행할 수 있다.
이를 위해, 통합 인터페이스 시스템은, 제1 카메라(110), 제2 카메라(120), ToF 깊이 센서(130), 프로세서(140) 및 디스플레이(150)를 포함할 수 있다.
제1 카메라(110)는, 사용자의 눈 영상을 생성하는 카메라이며, 제2 카메라(120)는, 사용자의 전방(前方) 영상을 생성하는 카메라이다.
제2 카메라(120)는, 사용자의 전방을 향해 point cloud 데이터를 취득하여, 전방 영상을 생성할 수 있다.
ToF 깊이 센서(130)는, 사용자의 손동작 데이터를 수집하는 센서이다.
프로세서(140)는, point cloud 데이터를 기반으로 가상 객체 데이터를 생성하고, 사용자의 동공을 추적 및 시선을 계산하고, 이를 기반으로 착용형 AR 장치의 콘텐츠에서 커서 이동(navigation)이나 객체 선택(selection)을 수행할 수 있다.
구체적으로, 프로세서(140)는, 제1 카메라(110)를 통해 생성된 사용자의 눈 영상 및 제2 카메라(120)를 통해 생성된 전방 영상을 이용하여 사용자의 시선 위치를 계산하고, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택할 수 있다.
또한, 프로세서(140)는, 손동작을 인식하고, 이를 기반으로 착용형 AR 장치를 이용하는 AR 콘텐츠에서 객체에 대한 선택 및 조작(manipulation)을 수행할 수 있다.
구체적으로, 프로세서(140)는, ToF 깊이 센서(130)를 통해 수집된 사용자의 손동작 데이터로부터, 손동작을 인식하고, 손동작 인식 결과를 기반으로 객체를 선택 및 조작할 수 있다.
또한, 프로세서(140)는, point cloud 데이터를 기반으로 3D AR 콘텐츠에 적용되는 가상 객체 데이터를 생성하여, 디스플레이(150)를 통해 출력되도록 하고, 객체의 조작 시, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행되도록 할 수 있다.
디스플레이(150)는, 제2 카메라(120)를 통해 생성된 전방 영상과 사용자 인터페이스 화면이 표시되는 디스플레이(150)이다.
도 2는 본 발명의 다른 실시예에 따른 착용형 AR 장치의 사시도이고, 도 3은 도 2에 도시된 착용형 AR 장치를 사용자가 착용한 상태가 도시된 도면이다.
본 실시예에 따른 착용형 AR 장치는, 제1 카메라(110), 제2 카메라(120), ToF 깊이 센서(130) 및 프로세서(140)가 구비될 수 있다.
제1 카메라(110-1, 110-2)는, 사용자 눈을 향하도록, 착용형 AR 장치 내부 좌측과 우측에 각각 설치되어, 사용자의 눈 영상을 생성할 수 있다.
제2 카메라(120)는, 착용형 AR 장치의 상부에서 전방을 향해 설치되어, 사용자의 전방 영상을 생성할 수 있다.
ToF 깊이 센서(130)는, 착용형 AR 장치의 하부에서 하단 뷰를 향해 설치되어, 사용자의 손동작 데이터를 수집할 수 있다.
프로세서(140)는, 착용형 AR 장치의 내측에 마련되어, 제1 카메라(110), 제2 카메라(120) 및 ToF 깊이 센서(130)를 통해 생성된 영상 및 데이터들을 수신하여, 커서 이동, 객체 선택, 객체 조작 등의 사용자 인터페이스를 위해 필요한 절차들을 처리할 수 있다
도 4는 본 발명의 일 실시예에 따른 착용형 AR 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법(이하에서는 '통합 인터페이스 방법'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 발명의 일 실시예에 따른 통합 인터페이스 시스템을 이용하는 통합 인터페이스 방법은, 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 계산 단계(S410), 통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 선택 단계(S420), 통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 인식 단계(S430) 및 통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 선택 및 조작 단계(S440)를 포함할 수 있다.
계산 단계(S410)에서는, 통합 인터페이스 시스템이, 착용형 AR장치에서 사용자 눈을 향해 부착된 카메라로부터 눈 영상을 입력 받고, 착용형 AR장치에서 사용자 전방을 향해 부착된 카메라로부터 전방 영상을 입력 받아, 입력받은 눈 영상에서 동공 중심을 추적하고, 입력받는 전방 영상과 동공 중심을 기반으로 도 5에 예시된 바와 같이 기하학적 관계를 정의하는 사용자 캘리브레이션을 수행할 수 있다.
여기서, 도 5는 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행 화면이 예시된 도면이다. 사용자 캘리브레이션은 통합 인터페이스 시작 시 최초 1회만 수행하며, 시선 위치 정확도 개선 등을 위해 재수행할 수 있다.
구체적으로 예를 들면, 통합 인터페이스 시스템은, 사용자 캘리브레이션 수행 과정에서 시선 위치를 구하고자 하는 공간과 동공 움직임의 기하학적 관계를 정립하는 과정에서 타원을 중심으로 복수의 점들을 응시하는 작업이 수행되면, 복수의 시선 위치 계산 결과를 나타내는 복수의 커서가 생성되되, 각각의 커서 간 거리가 초점 인식 성공률에 따라 조정될 수 있다.
도 6은, 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행 화면으로서, 도 5에 예시된 화면보다 상대적으로 초점 인식 성공률이 낮아 각각의 커서 간 거리가 조정(이격)된 화면이 예시된 도면이다.
구체적으로 통합 인터페이스 시스템은, 타원을 중심으로 총 9개의 점을 응시하는 과정을 통해 수행되며, 시선 추적 정확도에도 영향을 줄 수 있다. 즉, 통합 인터페이스 시스템은, 사용자 캘리브레이션 이후에 시선 위치를 나타내는 3개의 컬러 커서가 생성되며, 결과에 따라 정확도가 임계치 보다 높은 경우는 도 5에 예시된 바와 같이 한 점에 모이고, 임계치 미만인 경우 도 6에 예시된 바와 같이 퍼지게 된다.
즉, 통합 인터페이스 시스템은, 사용자 캘리브레이션 수행 과정에서 도 6에 예시된 바와 같이 시선 추적 정확도가 임계치 미만인 경우, 시선 위치 정확도 개선을 위해 사용자 캘리브레이션 수행 단계가 재수행되도록 할 수 있다.
그리고 사용자 캘리브레이션이 수행되면, 통합 인터페이스 시스템이, 사용자 캘리브레이션으로 정의된 기하학적 관계와 현재 동공 중심 위치를 기반으로 현재 시선 위치를 계산할 수 있다.
도 7은 동공 검출 및 추적 결과가 예시된 도면이다.
선택 단계(S420)에서는, 통합 인터페이스 시스템이, 계산된 시선 위치를 기반으로 착용형 AR 장치 상에서 커서를 이동하거나 일정 시간 동안 응시 혹은 깜박임 등을 이용하여 객체를 선택할 수 있다.
인식 단계(S430)에서는, 통합 인터페이스 시스템이, 착용형 AR 장치에서 하단 뷰를 향해 부착된 ToF 깊이 센서(130)로부터 영상을 입력 받고, 입력받은 영상에서 손동작이 인식되도록 할 수 있다.
선택 및 조작 단계(S440)에서는, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행될 수 있다.
이때, 착용형 AR 장치 상에서 객체 선택 및 조작은 사용자의 손동작 인식을 기반으로 수행된다. 사용자의 손동작을 인식하기 위해 착용형 AR 장치 하단 뷰를 향해 부착된 센서로부터 영상을 입력받고, 입력받은 영상을 이용하여 손동작을 인식할 수 있다.
예를 들면, 선택 및 조작 단계(S440)에서는, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 및 회전 중 적어도 하나에 대응되는 조작 명령을 수행하되, 손동작의 지속 시간에 비례하여 가상 객체의 조작 정도(程度)가 결정될 수 있다.
구체적으로 예를 들면, 선택 및 조작 단계(S440)에서는, 통합 인터페이스 시스템이, 도 8에 예시된 바와 같이 손동작 인식 결과가 'C' 모양인 경우, 가상 객체의 확대 명령이 수행되도록 할 수 있다.
또한, 선택 및 조작 단계(S440)에서는, 통합 인터페이스 시스템이, 도 9에 예시된 바와 같이 손동작 인식 결과가 '0' 모양인 경우, 가상 객체의 축소 명령이 수행되도록 할 수 있다.
그리고 선택 및 조작 단계(S440)에서는, 통합 인터페이스 시스템이, 도 10 내지 도 11에 예시된 바와 같이 손동작 인식 결과가 엄지손가락을 왼쪽 혹은 오른쪽으로 향하는 동작인 경우, 도 12에 예시된 바와 같이 엄지손가락의 방향에 따라 가상 객체가 회전하는 회전 명령이 수행되도록 할 수 있다.
또한, 선택 및 조작 단계(S440)에서는, 통합 인터페이스 시스템이, 도 13에 예시된 바와 같이 손동작 인식 결과가 'OK' 모양인 경우, 가상 객체의 조작 종료 명령을 수행할 수 있다.
이 밖에도, 선택 및 조작 단계(S440)에서는, 통합 인터페이스 시스템이, CNN 기반의 개선된 ResNet(101 layer)을 이용하여, 16가지 이상의 다양한 정적 손동작에 대한 인식을 수행하고, 해당 손동작에 대응되는 명령이 수행되도록 할 수 있다.
이러한 다양한 손동작 인식 결과를 기반으로 해당 손동작에 대응되는 명령이 수행되도록 하기 위해, 본 발명의 일 실시예에 따른 통합 인터페이스 방법은, 계산 단계 이전에, 통합 인터페이스 시스템이, 사용자의 손동작을 학습하는 학습 단계를 더 포함할 수 있다.
즉, 본 통합 인터페이스 방법은 손동작 인식을 위한 학습 방식으로 딥러닝 학습 방법을 이용할 수 있으며, 동적 손동작 인식을 위해 3차원 컨볼루션 신경망(3D CNN) 혹은 순환 신경망(RNN) 구조 LSTM(Long-Short Term Memory) 등을 이용할 수 있다.
그리고 학습 단계는, 사용자별로 고유한 손동작에 대한 신규 학습, 기존 학습 모델을 기반으로 고유 손동작을 학습하는 추가 학습, 정확도 향상을 위해 기존 학습 모델을 학습하는 재학습으로 분류할 수 있다. 따라서 사용자가 신규 학습, 추가 학습 혹은 재학습을 판단하여 학습을 진행할 수 있다.
예를 들면, 학습 단계에서는, 사용자만의 고유한 손동작을 신규 학습하고, 기존 학습 모델을 기반으로 고유 손동작을 추가 학습하거나 정확도 향상을 위해 기존 학습 모델을 재학습할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 제1 카메라
120 : 제2 카메라
130 : ToF 깊이 센서
140 : 프로세서
150 : 디스플레이

Claims (12)

  1. 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 단계;
    통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 단계;
    통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 단계; 및
    통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 단계;를 포함하고,
    선택 및 조작 단계는,
    손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행되는 것을 특징으로 하는 통합 인터페이스 방법.
  2. 청구항 1에 있어서,
    손동작 인식 단계는,
    착용형 AR(Augmented Reality) 장치에서 하단 뷰를 향해 부착된 ToF 깊이 센서로부터 영상을 입력 받는 단계; 및
    입력받은 영상에서 손동작을 인식하는 단계;를 포함하는 것을 특징으로 하는 통합 인터페이스 방법.
  3. 청구항 2에 있어서,
    선택 및 조작 단계는,
    손동작 인식 결과에 따라 가상 객체의 확대, 축소 및 회전 중 적어도 하나에 대응되는 조작 명령을 수행하되, 손동작의 지속 시간에 비례하여 가상 객체의 조작 정도(程度)가 결정되는 것을 특징으로 하는 통합 인터페이스 방법.
  4. 청구항 3에 있어서,
    선택 및 조작 단계는,
    손동작 인식 결과가 'C' 모양인 경우, 가상 객체의 확대 명령이 수행되고,
    손동작 인식 결과가 '0' 모양인 경우, 가상 객체의 축소 명령이 수행되는 것을 특징으로 하는 통합 인터페이스 방법.
  5. 청구항 3에 있어서,
    선택 및 조작 단계는,
    손동작 인식 결과가 엄지손가락을 왼쪽 혹은 오른쪽으로 향하는 동작인 경우, 엄지손가락의 방향에 따라 가상 객체가 회전하는 회전 명령이 수행되는 것을 특징으로 하는 통합 인터페이스 방법.
  6. 청구항 1에 있어서,
    계산 단계는,
    착용형 AR장치에서 사용자 눈을 향해 부착된 카메라로부터 눈 영상을 입력 받는 단계;
    착용형 AR장치에서 사용자 전방을 향해 부착된 카메라로부터 전방 영상을 입력 받는 단계;
    입력받은 눈 영상에서 동공 중심을 추적하는 단계;
    입력받는 전방 영상과 동공 중심을 기반으로 기하학적 관계를 정의하는 사용자 캘리브레이션을 수행하는 단계; 및
    사용자 캘리브레이션으로 정의된 기하학적 관계와 현재 동공 중심 위치를 기반으로 현재 시선 위치를 계산하는 단계;를 포함하는 것을 특징으로 하는 통합 인터페이스 방법.
  7. 청구항 6에 있어서,
    현재 시선 위치 계산 단계는,
    사용자 캘리브레이션 수행 단계에서 시선 위치를 구하고자 하는 공간과 동공 움직임의 기하학적 관계를 정립하는 과정에서 타원을 중심으로 복수의 점들을 응시하는 작업이 수행되면, 복수의 시선 위치 계산 결과를 나타내는 복수의 커서가 생성되되, 각각의 커서 간 거리가 초점 인식 성공률에 따라 조정되어, 시선 추적 정확도가 임계치 미만인 경우 사용자 캘리브레이션 수행 단계가 재수행되도록 하는 것을 특징으로 하는 통합 인터페이스 방법.
  8. 청구항 1에 있어서,
    통합 인터페이스 시스템이, 사용자의 손동작을 학습하는 단계;를 더 포함하는 것을 특징으로 하는 통합 인터페이스 방법.
  9. 청구항 8에 있어서,
    학습 단계는,
    사용자만의 고유한 손동작을 신규 학습하는 단계; 및
    기존 학습 모델을 기반으로 고유 손동작을 추가 학습하는 단계;를 포함하는 것을 특징으로 하는 통합 인터페이스 방법.
  10. 사용자의 눈 영상을 생성하는 제1 카메라;
    전방(前方) 영상을 생성하는 제2 카메라;
    사용자의 손동작 데이터를 수집하는 ToF 깊이 센서; 및
    제1 카메라를 통해 생성된 사용자의 눈 영상 및 제2 카메라를 통해 생성된 전방 영상을 이용하여 사용자의 시선 위치를 계산하고, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하며, ToF 깊이 센서를 통해 수집된 사용자의 손동작 데이터로부터, 손동작을 인식하고, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 프로세서;를 포함하고,
    프로세서는,
    객체의 조작 시, 손동작 인식 결과에 따라 가상 객체의 확대, 축소 또는 회전에 대한 명령이 수행되도록 하는 것을 특징으로 하는 통합 인터페이스 시스템.
  11. 통합 인터페이스 시스템이, 사용자의 눈 및 전방(前方) 영상을 이용하여, 사용자의 시선 위치를 계산하는 단계;
    통합 인터페이스 시스템이, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하는 단계;
    통합 인터페이스 시스템이, 사용자의 손동작 데이터로부터, 손동작을 인식하는 단계; 및
    통합 인터페이스 시스템이, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 단계;를 포함하는 통합 인터페이스 방법.
  12. 사용자의 눈 영상을 생성하는 제1 카메라;
    전방(前方) 영상을 생성하는 제2 카메라;
    사용자의 손동작 데이터를 수집하는 ToF 깊이 센서; 및
    제1 카메라를 통해 생성된 사용자의 눈 영상 및 제2 카메라를 통해 생성된 전방 영상을 이용하여 사용자의 시선 위치를 계산하고, 시선 위치 계산 결과를 기반으로, 커서를 이동 및 객체를 선택하며, ToF 깊이 센서를 통해 수집된 사용자의 손동작 데이터로부터, 손동작을 인식하고, 손동작 인식 결과를 기반으로 객체를 선택 및 조작하는 프로세서;를 포함하는 통합 인터페이스 시스템.
KR1020200028278A 2019-12-10 2020-03-06 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템 KR20210073429A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190163487 2019-12-10
KR20190163487 2019-12-10

Publications (1)

Publication Number Publication Date
KR20210073429A true KR20210073429A (ko) 2021-06-18

Family

ID=76623624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028278A KR20210073429A (ko) 2019-12-10 2020-03-06 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20210073429A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
KR102506037B1 (ko) * 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
CN114115532B (zh) * 2021-11-11 2023-09-29 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
KR102506037B1 (ko) * 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템
WO2024034924A1 (ko) * 2022-08-12 2024-02-15 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Similar Documents

Publication Publication Date Title
US10019074B2 (en) Touchless input
KR101302638B1 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US11256336B2 (en) Integration of artificial reality interaction modes
WO2018018857A1 (zh) 一种应用于vr设备的手势操控方法与装置
CN107357428A (zh) 基于手势识别的人机交互方法及装置、系统
US11573627B2 (en) Method of controlling device and electronic device
KR20210073429A (ko) 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템
CN105929946B (zh) 一种基于虚拟界面的自然交互方法
CN106547339B (zh) 计算机设备的控制方法和装置
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
CN109144262B (zh) 一种基于眼动的人机交互方法、装置、设备及存储介质
WO2022166448A1 (en) Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
KR101374316B1 (ko) 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
Manresa-Yee et al. Towards hands-free interfaces based on real-time robust facial gesture recognition
US11797081B2 (en) Methods, devices and media for input/output space mapping in head-based human-computer interactions
CN111273773B (zh) 一种头戴式vr环境的人机交互方法及系统
WO2021075103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Ansari et al. Air Pose Canvas with Hand Pose Estimation using Machine Learning
CN117193589A (zh) 界面交互控制方法、计算机设备和计算机可读存储介质
Babu et al. Touchless User Interface for Sketching Using Hand Gesture Recognition
Vardakis Gesture based human-computer interaction using Kinect.
CN117590947A (zh) 一种交互控制方法及电子设备
KR20240053070A (ko) 터치리스 이미지 기반 입력 인터페이스
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统