KR20100047990A - 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 - Google Patents
3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 Download PDFInfo
- Publication number
- KR20100047990A KR20100047990A KR1020080106949A KR20080106949A KR20100047990A KR 20100047990 A KR20100047990 A KR 20100047990A KR 1020080106949 A KR1020080106949 A KR 1020080106949A KR 20080106949 A KR20080106949 A KR 20080106949A KR 20100047990 A KR20100047990 A KR 20100047990A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- augmented reality
- virtual object
- mobile augmented
- pose
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
Claims (16)
- 단말기에 부착된 카메라;상기 단말기의 카메라를 이용하여 손 위에 3차원 가상물체를 생성하는 영상 처리부;상기 3차원 가상물체 및 상기 손의 영상을 출력하는 디스플레이부; 및상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 인터랙션부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제1항에 있어서,상기 영상 처리부는,상기 손의 영상에서 손 영역을 검출하는 손 영역 검출부;상기 손의 포즈를 결정하는 포즈 결정부; 및상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 가상물체 렌더링부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제2항에 있어서,상기 손 영역 검출부는,상기 손 영역의 색상을 검출하는 색상 검출부; 및배경에서 상기 색상과 동일한 영역을 제거하는 배경 필터부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제2항에 있어서,상기 포즈 결정부는,상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 손 분리부;상기 분리된 손 부분의 방향을 결정하는 손 방향 결정부; 및손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 포즈 계산부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제4항에 있어서,상기 손 분리부는,손 영역의 평균적인 방향에 수직한 두 외곽점들의 평균점을 산출하고, 상기 평균점에 수직인 상기 두 외곽점 세트 각각의 거리가 일정해지는 점을 손목 시작점으로 인식하여 손 부분을 분리하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제1항에 있어서,상기 인터랙션부는,상기 3차원 가상물체의 움직임에 대응하여 무게감을 느낄 수 있도록 제어하는 무게감 제어부; 및상기 3차원 가상물체의 움직임에 대응하여 촉감을 느낄 수 있도록 제어하는 촉감 제어부를 포함하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제6항에 있어서,복수 개의 진동 센서를 구비한 장갑을 더 포함하고,상기 무게감 제어부 및 상기 촉각 제어부는,상기 복수 개의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 제7항에 있어서,상기 진동 센서의 제어는,상기 단말기와 무선 통신하여 제어하는 것을 특징으로 하는 모바일 증강현실 시스템.
- 단말기의 카메라를 이용하여 손의 영상을 촬영하고 3차원 가상물체를 생성하는 단계;상기 손의 영상 및 상기 3차원 가상물체를 화면 출력하는 단계; 및상기 손의 움직임에 대응하여 상기 3차원 가상물체를 제어하는 단계를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제9항에 있어서,상기 생성하는 단계는,상기 손의 영상에서 손 영역을 검출하는 단계;상기 손의 포즈를 결정하는 단계; 및상기 손의 포즈에 대응하여 상기 3차원 가상물체를 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제10항에 있어서,상기 손 영역을 검출하는 단계는,상기 손 영역의 색상을 검출하는 단계; 및배경에서 상기 색상과 동일한 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제10항에 있어서,상기 손의 포즈를 결정하는 단계는,상기 손 영역 내의 복수 개의 외곽점을 이용하여 상기 손 영역에서 손 부분을 분리하는 단계;상기 분리된 손 부분의 방향을 결정하는 단계; 및손바닥의 길이 비를 이용하여 결정되는 프로젝션 모델로부터 손의 포즈를 계산하는 단계를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제12항에 있어서,손 부분을 분리하는 단계는,손 영역의 평균적인 방향에 수직한 두 외곽점들의 평균점을 산출하는 단계;상기 평균점에 수직인 상기 두 외곽점 세트 각각의 거리가 일정해지는 점을 손목 시작점으로 인식하여 손 부분을 분리하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제9항에 있어서,상기 제어하는 단계는,상기 3차원 가상물체의 움직임에 대응하여 무게감 및 촉감을 느낄 수 있도록 제어하는 단계를 포함하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제14항에 있어서,상기 무게감 및 촉감을 느낄 수 있도록 제어하는 단계는,진동 센서를 구비한 장갑의 진동 센서를 제어하여 손의 무게감 및 촉감을 제어하는 것을 특징으로 하는 모바일 증강현실 방법.
- 제15항에 있어서,상기 진동 센서의 제어는,상기 단말기와 무선 통신하여 제어하는 것을 특징으로 하는 모바일 증강현실 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080106949A KR100980202B1 (ko) | 2008-10-30 | 2008-10-30 | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080106949A KR100980202B1 (ko) | 2008-10-30 | 2008-10-30 | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100047990A true KR20100047990A (ko) | 2010-05-11 |
KR100980202B1 KR100980202B1 (ko) | 2010-09-07 |
Family
ID=42274821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080106949A KR100980202B1 (ko) | 2008-10-30 | 2008-10-30 | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100980202B1 (ko) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101156734B1 (ko) * | 2010-11-05 | 2012-06-14 | 전자부품연구원 | 테이블 타입 인터렉티브 3차원 시스템 |
KR101253675B1 (ko) * | 2011-05-12 | 2013-04-11 | 김기영 | 피사체의 이동정보를 이용하여 휴대장치의 명령을 처리하는 방법 |
KR101276313B1 (ko) * | 2013-02-27 | 2013-06-18 | 주식회사 케이쓰리아이 | 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템 |
WO2013089494A1 (ko) * | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | 가상 영상에 대한 촉감 제공 장치 및 방법 |
KR101318244B1 (ko) * | 2012-02-29 | 2013-10-15 | 한국과학기술연구원 | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 |
KR101409845B1 (ko) * | 2012-12-20 | 2014-06-19 | 전자부품연구원 | 영상 표시 장치 및 방법 |
KR101626375B1 (ko) * | 2015-06-30 | 2016-06-01 | 한양대학교 산학협력단 | 증강현실 물체를 감지하는 장갑형 촉각전달 장치 및 그 방법 |
WO2016200295A3 (ru) * | 2015-06-11 | 2017-02-02 | Виталий Витальевич АВЕРЬЯНОВ | Способ и устройство для взаимодействия с виртуальными объектами |
KR20170056831A (ko) * | 2015-11-16 | 2017-05-24 | 에스케이텔레콤 주식회사 | 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법 |
KR20200027029A (ko) * | 2017-07-31 | 2020-03-11 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 증강 현실 디스플레이를 위한 방법, 포즈 정보를 결정하기 위한 방법, 및 장치 |
KR20200057572A (ko) * | 2018-11-16 | 2020-05-26 | 주식회사 알체라 | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 |
KR20210034804A (ko) * | 2019-09-23 | 2021-03-31 | 주식회사 티디씨제이 | 촉감 수집 센서 및 가상 촉감 제공 장치 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117717A1 (en) | 2011-11-03 | 2013-05-09 | Shenzhen Super Perfect Optics Limited | 3d user interaction system and method |
KR101519589B1 (ko) * | 2013-10-16 | 2015-05-12 | (주)컴버스테크 | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 |
KR101865655B1 (ko) | 2014-06-26 | 2018-06-11 | 한국과학기술원 | 증강현실 상호 작용 서비스 제공 장치 및 방법 |
WO2015199502A1 (ko) * | 2014-06-26 | 2015-12-30 | 한국과학기술원 | 증강현실 상호 작용 서비스 제공 장치 및 방법 |
KR101501127B1 (ko) | 2015-02-04 | 2016-02-15 | (주)올포랜드 | 멀티미디어 융합 콘텐츠 제공을 위한 모바일 증강현실 시스템 |
CN105929933A (zh) * | 2015-12-22 | 2016-09-07 | 北京蚁视科技有限公司 | 一种用于三维显示环境中的交互识别方法 |
KR20230103241A (ko) | 2021-12-31 | 2023-07-07 | (주)모아지오 | 멀티 센서를 이용한 사용자 인터페이스 제공 장치 및 그 사용자 인터페이스 제공 방법과 이를 위한 컴퓨터 프로그램 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144366A (en) | 1996-10-18 | 2000-11-07 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
KR100556968B1 (ko) * | 2004-03-04 | 2006-03-03 | 한국과학기술원 | 유아의 난화교육을 위한 증강현실 디스플레이 장치 |
KR100659901B1 (ko) * | 2006-04-20 | 2006-12-20 | 엘지전자 주식회사 | 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기 |
KR100862349B1 (ko) * | 2007-01-08 | 2008-10-13 | 전자부품연구원 | 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 |
-
2008
- 2008-10-30 KR KR1020080106949A patent/KR100980202B1/ko active IP Right Grant
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101156734B1 (ko) * | 2010-11-05 | 2012-06-14 | 전자부품연구원 | 테이블 타입 인터렉티브 3차원 시스템 |
KR101253675B1 (ko) * | 2011-05-12 | 2013-04-11 | 김기영 | 피사체의 이동정보를 이용하여 휴대장치의 명령을 처리하는 방법 |
US9323330B2 (en) | 2011-12-15 | 2016-04-26 | Industry-University Cooperation Foundation Hanyang University | Apparatus and method for providing tactile sensation for virtual image |
WO2013089494A1 (ko) * | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | 가상 영상에 대한 촉감 제공 장치 및 방법 |
WO2013089490A1 (ko) * | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법 |
US9317121B2 (en) | 2011-12-15 | 2016-04-19 | Industry-University Cooperation Foundation Hanyang University | Apparatus and method for providing tactile sensation in cooperation with display device |
US8963834B2 (en) | 2012-02-29 | 2015-02-24 | Korea Institute Of Science And Technology | System and method for implementing 3-dimensional user interface |
KR101318244B1 (ko) * | 2012-02-29 | 2013-10-15 | 한국과학기술연구원 | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 |
KR101409845B1 (ko) * | 2012-12-20 | 2014-06-19 | 전자부품연구원 | 영상 표시 장치 및 방법 |
WO2014133252A1 (ko) * | 2013-02-27 | 2014-09-04 | 주식회사 케이쓰리아이 | 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템 |
KR101276313B1 (ko) * | 2013-02-27 | 2013-06-18 | 주식회사 케이쓰리아이 | 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템 |
WO2016200295A3 (ru) * | 2015-06-11 | 2017-02-02 | Виталий Витальевич АВЕРЬЯНОВ | Способ и устройство для взаимодействия с виртуальными объектами |
EP3309713A4 (en) * | 2015-06-11 | 2019-02-20 | Devar Entertainment Limited | METHOD AND DEVICE FOR INTERACTING WITH VIRTUAL OBJECTS |
US10713847B2 (en) | 2015-06-11 | 2020-07-14 | Devar Entertainment Limited | Method and device for interacting with virtual objects |
KR101626375B1 (ko) * | 2015-06-30 | 2016-06-01 | 한양대학교 산학협력단 | 증강현실 물체를 감지하는 장갑형 촉각전달 장치 및 그 방법 |
KR20170056831A (ko) * | 2015-11-16 | 2017-05-24 | 에스케이텔레콤 주식회사 | 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법 |
KR20200027029A (ko) * | 2017-07-31 | 2020-03-11 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 증강 현실 디스플레이를 위한 방법, 포즈 정보를 결정하기 위한 방법, 및 장치 |
KR20200057572A (ko) * | 2018-11-16 | 2020-05-26 | 주식회사 알체라 | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 |
KR20210034804A (ko) * | 2019-09-23 | 2021-03-31 | 주식회사 티디씨제이 | 촉감 수집 센서 및 가상 촉감 제공 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR100980202B1 (ko) | 2010-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100980202B1 (ko) | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 | |
EP3218781B1 (en) | Spatial interaction in augmented reality | |
JP6323040B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5936155B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
CN113238650B (zh) | 手势识别和控制的方法、装置及虚拟现实设备 | |
Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
JP6597235B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US9880623B2 (en) | Friction modulation for three dimensional relief in a haptic device | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
JP6165485B2 (ja) | 携帯端末向けarジェスチャユーザインタフェースシステム | |
US9979946B2 (en) | I/O device, I/O program, and I/O method | |
JP2015114818A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
CN111383345B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
CN110488972B (zh) | 用于空间交互中的额外模态的面部跟踪 | |
US20150381970A1 (en) | Input/output device, input/output program, and input/output method | |
KR101338958B1 (ko) | 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법 | |
KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
KR101582225B1 (ko) | 인터랙티브 증강현실 서비스 시스템 및 방법 | |
CN206195973U (zh) | 一种电子设备 | |
Maidi et al. | Interactive media control using natural interaction-based Kinect | |
JP2004070688A (ja) | 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130628 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140528 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160705 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20171214 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 10 |