KR101772890B1 - 손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법 - Google Patents
손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법 Download PDFInfo
- Publication number
- KR101772890B1 KR101772890B1 KR1020160037120A KR20160037120A KR101772890B1 KR 101772890 B1 KR101772890 B1 KR 101772890B1 KR 1020160037120 A KR1020160037120 A KR 1020160037120A KR 20160037120 A KR20160037120 A KR 20160037120A KR 101772890 B1 KR101772890 B1 KR 101772890B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- hand
- feature
- lsp
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/6202—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
도 2는 손의 글로벌 좌표를 로컬 좌표로 변환하는 내용을 설명하기 위한 도면이다.
도 3은 사각 큐브로부터 추출된 정적 복셀 특징을 설명하기 위한 도면이다.
도 4 및 도 5는 정적 복셀 특징을 LSP 특징으로 인코딩하는 방법을 설명하기 위한 도면이다.
도 6은 손의 제 2 시퀀스 영상의 복수의 프레임 각각으로부터 획득된 제 2 LSP 특징에 기초하여 구성된 랜덤 포레스트의 트리를 나타내는 예시적인 도면이다.
도 7(a) 및 도 7(b)는 종래의 기술과 본 발명의 일 실시예에 따라 판단되는 물체의 종류의 정확도를 비교하기 위한 도면이다.
도 8은 종래의 기술과 본 발명의 일 실시예에 따라 판단되는 조작의 종류의 정확도를 비교하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 제스쳐 감지 장치의 구성을 나타내는 블록도이다.
910: 영상 획득부
930: 영상 처리부
950: 특징 추출부
970: 판단부
Claims (14)
- 사용자에게 착용된 깊이 카메라에 의해 촬영되는 손의 제 1 시퀀스 영상을 획득하는 단계;
상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각의 손에 복수의 복셀(voxel)로 나뉘어진 사각 큐브(rectangular cube)를 매핑하는 단계;
상기 복수의 프레임 각각에 대해, 상기 사각 큐브를 구성하는 복수의 복셀들의 정적 복셀 특징(static voxel feature)을 추출하고, 추출된 정적 복셀 특징을 인코딩하여 제 1 LSP 특징(layer shape pattern feature)을 획득하는 단계; 및
상기 제 1 LSP 특징을 랜덤 포레스트(random forest)에 입력하여, 상기 제 1 시퀀스 영상에서 손의 홀딩(holding) 제스쳐에 대응하는 물체의 종류와 손의 조작(manipulation) 제스쳐에 대응하는 조작의 종류를 판단하는 단계를 포함하고,
상기 랜덤 포레스트는, 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 알고 있는 손의 제 2 시퀀스 영상의 복수의 프레임 각각으로부터 획득된 제 2 LSP 특징에 기초하여 구성된 것을 특징으로 하는, 제스쳐 감지 장치에 의한 제스쳐 감지 방법.
- 제1항에 있어서,
상기 사각 큐브를 매핑하는 단계는,
상기 복수의 프레임 각각의 손을 구성하는 복수의 3차원 픽셀들을 내부에 포함하도록 상기 사각 큐브를 손에 매핑하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제1항에 있어서,
상기 정적 복셀 특징은,
상기 복수의 복셀들 각각의 내부에 포함된 상기 손의 3차원 픽셀들의 개수를 엘리먼트로 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제3항에 있어서,
상기 제스쳐 감지 방법은,
상기 사각 큐브를 구성하는 복수의 복셀 각각의 내부에 포함된 상기 손의 3차원 픽셀들의 개수를 정규화(normalization)하는 단계를 더 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제1항에 있어서,
상기 제 1 LSP 특징은,
상기 사각 큐브를 구성하는 복수의 복셀 플레인(voxel plane) 각각의 내부에 3차원 픽셀들이 포함된 정도를 나타내는 것을 특징으로 하는 제스쳐 감지 방법.
- 제5항에 있어서,
상기 제 1 LSP 특징을 획득하는 단계는,
상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각에서 손의 손바닥의 지향(orientation) 방향을 결정하는 단계;
상기 제 1 시퀀스 영상 내 복수의 프레임 각각에서의 소정 지점을 원점으로 하고, 상기 결정된 지향 방향에 따라 로컬 좌표의 각 축(axis)의 방향을 결정하는 단계; 및
상기 복수의 복셀 플레인에 대해 상기 로컬 좌표 상에서의 인덱스를 매핑하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제5항에 있어서,
로컬 좌표의 제 1 축 상의 어느 하나의 복셀 플레인에 대한 LSP 엘리먼트는,
상기 어느 하나의 복셀 플레인이 제 2 축 또는 제 3 축을 따라 n개의 층으로 구분되어 있는 경우, 각 층의 복셀 내의 3차원 픽셀의 밀도에 대응하여 상기 n개의 층 각각에 할당된 값이 나열된 값을 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제7항에 있어서,
상기 n개의 층 각각에 할당된 값을 나열할 때, 원점으로부터 가장 멀리 떨어진 층에 할당된 값은 가장 큰 자릿수(positional number)를 갖고, 상기 원점과 가장 가까운 층에 할당된 값은 가장 작은 자릿수를 갖도록 나열되는 것을 특징으로 하는 제스쳐 감지 방법.
- 제1항에 있어서,
상기 제스쳐 감지 방법은,
상기 랜덤 포레스트를 구성하는 단계를 더 포함하고,
상기 랜덤 포레스트를 구성하는 단계는,
상기 랜덤 포레스트의 트리 내 최상위 층의 스플릿 노드(split node)의 분할 함수(split function)를 정적(static) 함수로 결정하고, 상기 최상위 층의 스플릿 노드의 분할 함수의 파라미터를 최적화하는 단계; 및
상기 최상위 층의 스플릿 노드에서 나뉘어진 학습 데이터 세트를 입력받는 하위층의 스플릿 노드에 대해서는, 상기 학습 데이터 세트 중 동일한 홀딩 제스쳐 라벨로 라벨링된 데이터의 가장 큰 확률 두 번째로 큰 확률 사이의 차이가 임계값보다 큰 경우, 분할 함수를 동적(dynamic) 함수로 결정하고, 상기 차이가 임계값 이하인 경우, 분할 함수를 정적 함수로 결정하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제9항에 있어서,
상기 랜덤 포레스트를 구성하는 단계는,
상기 하위층의 스플릿 노드의 분할 함수가 동적 함수로 결정된 경우, 상기 하위층의 스플릿 노드의 하위층에 위치하는 모든 스플릿 노드에 대해서는 분할 함수를 동적 함수로 결정하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 제9항에 있어서,
상기 정적 함수는, 어느 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트를 나타내고,
상기 동적 함수는, 어느 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트와 다른 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트의 차이를 나타내는 것을 특징으로 하는 제스쳐 감지 방법.
- 제1항에 있어서,
상기 판단하는 단계는,
상기 랜덤 포레스트의 복수의 트리 각각에서 결정된 물체의 종류와 조작의 종류의 확률의 평균과 기 설정된 임계 값을 비교하여, 상기 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법.
- 하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 제스쳐 감지 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
- 사용자에게 착용된 깊이 카메라에 의해 촬영되는 손의 제 1 시퀀스 영상을 획득하는 영상 획득부;
상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각의 손에 복수의 복셀로 나뉘어진 사각 큐브를 매핑하는 영상 처리부;
상기 복수의 프레임 각각에 대해, 상기 사각 큐브를 구성하는 복수의 복셀들의 정적 복셀 특징을 추출하고, 추출된 정적 복셀 특징을 인코딩하여 제 1 LSP 특징을 획득하는 특징 추출부; 및
상기 제 1 LSP 특징을 랜덤 포레스트에 입력하여, 상기 제 1 시퀀스 영상에서 손의 홀딩 제스쳐에 대응하는 물체의 종류와 해당 물체에 대한 조작의 종류를 판단하는 판단부를 포함하고,
상기 랜덤 포레스트는, 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 알고 있는 손의 제 2 시퀀스 영상의 복수의 프레임 각각으로부터 획득된 제 2 LSP 특징에 기초하여 구성된 것을 특징으로 하는 제스쳐 감지 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160037120A KR101772890B1 (ko) | 2016-03-28 | 2016-03-28 | 손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160037120A KR101772890B1 (ko) | 2016-03-28 | 2016-03-28 | 손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101772890B1 true KR101772890B1 (ko) | 2017-08-31 |
Family
ID=59761186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160037120A Active KR101772890B1 (ko) | 2016-03-28 | 2016-03-28 | 손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101772890B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079177A (ja) | 2010-10-04 | 2012-04-19 | Panasonic Corp | 仮想物体操作装置 |
-
2016
- 2016-03-28 KR KR1020160037120A patent/KR101772890B1/ko active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079177A (ja) | 2010-10-04 | 2012-04-19 | Panasonic Corp | 仮想物体操作装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7486565B2 (ja) | クラウド支援型の新しい視点を利用したローカルマップデータの生成 | |
| US20230071839A1 (en) | Visual-Inertial Positional Awareness for Autonomous and Non-Autonomous Tracking | |
| US11948369B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous mapping | |
| US11094079B2 (en) | Determining a pose of an object from RGB-D images | |
| CN109298629B (zh) | 在未绘制地图区域中引导移动平台的系统及方法 | |
| Lai et al. | RGB-D object recognition: Features, algorithms, and a large scale benchmark | |
| WO2023015409A1 (zh) | 物体姿态的检测方法、装置、计算机设备和存储介质 | |
| CN109255749B (zh) | 自主和非自主平台中的地图构建优化 | |
| Jang et al. | Metaphoric hand gestures for orientation-aware VR object manipulation with an egocentric viewpoint | |
| CN109582124A (zh) | 姿势推定系统、姿势推定装置以及距离图像照相机 | |
| CN111324746B (zh) | 视觉定位方法、装置、电子设备和计算机可读存储介质 | |
| CN102184558A (zh) | 概率分布云的多质心压缩 | |
| KR101563297B1 (ko) | 영상에서 행동을 인식하는 방법 및 장치 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| WO2020197655A1 (en) | Action classification based on manipulated object movement | |
| CN111667005A (zh) | 一种采用rgbd视觉传感的人体交互系统 | |
| Kharroubi et al. | Marker-less mobile augmented reality application for massive 3d point clouds and semantics | |
| CN106445084A (zh) | 定位方法及采集设备 | |
| KR101225644B1 (ko) | 로봇의 물체 인식 및 자세 추정 방법 | |
| CN109840457B (zh) | 增强现实注册方法及增强现实注册装置 | |
| JP2026502110A (ja) | データセットの特異サンプリング | |
| WO2022097219A1 (ja) | 検出方法、検出装置及びプログラム | |
| CN113947635A (zh) | 图像定位方法、装置、电子设备以及存储介质 | |
| CN113536987A (zh) | 一种快速的室内场景理解方法 | |
| US20250292414A1 (en) | Multi-sensor subject tracking for monitored environments for real-time and near-real-time systems and applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| U11 | Full renewal or maintenance fee paid |
Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE) Year of fee payment: 9 |







