KR20190036864A - VR observation telescope, driving method and application for VR observation using the same - Google Patents
VR observation telescope, driving method and application for VR observation using the same Download PDFInfo
- Publication number
- KR20190036864A KR20190036864A KR1020170126285A KR20170126285A KR20190036864A KR 20190036864 A KR20190036864 A KR 20190036864A KR 1020170126285 A KR1020170126285 A KR 1020170126285A KR 20170126285 A KR20170126285 A KR 20170126285A KR 20190036864 A KR20190036864 A KR 20190036864A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- virtual reality
- user
- image
- telescope
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/16—Housings; Caps; Mountings; Supports, e.g. with counterweight
- G02B23/18—Housings; Caps; Mountings; Supports, e.g. with counterweight for binocular arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 전망대 등에 설치되는 VR 망원경을 통해 가상현실 영상을 제공하되, 사용자의 손을 인식하는 립 모션 장치를 이용하여 가상현실 손의 움직임을 부가적으로 제공하는 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 어플리케이션에 관한 것이다.The present invention relates to a virtual reality view telescope that provides a virtual reality image through a VR telescope installed on an observatory or the like, and additionally provides movement of a virtual reality hand using a lip motion device that recognizes a user's hand, And more particularly, to a method and an apparatus for driving a virtual reality system.
일반적으로 전망용 망원경은 통일 전망대 등의 관광지나 63 빌딩이나 남산 타워와 같은 고층건물의 스카이 라운지 혹은 뛰어난 야외 배경이 있는 장소에 설치되어 관광객과 같은 사용자에게 제공된다.Generally, the telescope for viewing is provided to users such as tourists who are located in sightseeing gates such as Unification Observatory, Sky Lounge of high-rise building such as 63 Building or Namsan Tower, or a place with excellent outdoor background.
이러한 전망용 망원경은 한국등록실용신안 제20-0176094호 등을 통해 잘 알려진 바와 같이, 관광객이 동전을 넣고 일정 시간 조망하게 되어 있는 것으로 광도를 일정 시간만 열었다가 다시 닫는 방식을 사용한다.Such a telescope for viewing is known as a Korean Registered Utility Model No. 20-0176094, in which a tourist places a coin for a certain period of time and uses a method of opening and closing the brightness for a certain period of time.
그러나, 위와 같은 전망용 망원경은 야외 배경을 보기 위해 반드시 망원경의 시야가 닿은 특정의 장소에 설치되어야 하며, 그에 따라 이용객 역시 전망용 망원경이 설치된 장소를 방문해야 하는 문제가 있다.However, such a viewing telescope must be installed at a specific place where the sight of the telescope must reach in order to view the outdoor background, so that the user also has to visit the place where the observing telescope is installed.
또한, 시간과 비용을 투자하여 전망용 망원경이 설치된 장소를 방문하더라도 날씨가 흐리거나 미세먼지가 많은 날 등과 같이 주변환경 조건이 나쁘면 가시 거리가 짧아 야외 배경을 제대로 감상할 수 없는 문제가 있다.In addition, even if visiting the place where the observing telescope is installed by investing the time and the cost, there is a problem that the outdoor background can not be appreciated because the visibility distance is short if the weather conditions are bad or the surrounding environment condition is bad such as the fine dusty day.
다른 예로써, 한국등록특허 제10-0276433호에서는 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(AR: Augmented Reality)을 이용한 전망용 망원경을 제공한다.As another example, Korean Patent Registration No. 10-0276433 provides an astronomical telescope using an Augmented Reality (AR) in which a three-dimensional virtual image is superimposed on a real image or a background and displayed as a single image.
그러나, 증강현실을 이용한 전망용 망원경 역시 현실의 배경을 그 기초로 하기 때문에 여전히 사용자는 시간과 비용을 들여 현장을 방문해야 하고, 가시 거리가 나쁜 날에는 야외 배경을 볼 수 없는 문제가 있다.However, since the view telescope using the augmented reality is based on the background of reality, the user still has to visit the site with time and cost, and there is a problem that the outdoor background can not be seen on a bad day.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, VR 망원경을 통해 완전한 CG 영상인 가상현실 영상을 제공하되, 사용자의 손을 인식하는 립 모션 장치를 이용하여 가상현실 손의 움직임을 부가적으로 제공하는 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 어플리케이션을 제공하고자 한다.The present invention has been made to solve the above problems, and it is an object of the present invention to provide a virtual reality image which is a complete CG image through a VR telescope, A virtual reality view telescope, and a virtual reality view driving method and application using the virtual reality view telescope.
이를 위해, 본 발명에 따른 가상현실 전망용 망원경은 설정된 높이를 갖는 장치 몸체와; 상기 장치 몸체의 상부에 설치되며, 가상현실 영상을 제공하도록 전망용 망원경 형상의 디스플레이를 구비한 VR 망원경과; 상기 장치 몸체와 VR 망원경 사이에 설치되며, 상기 VR 망원경이 설정된 시야각 범위 내에서 회전되도록 지지하는 회전 지지부; 및 상기 가상현실 영상을 상기 디스플레이로 제공하는 영상장치;를 포함하는 것을 특징으로 한다.To this end, the virtual reality vision telescope according to the present invention comprises: a device body having a set height; A VR telescope installed at an upper portion of the apparatus body, the VR telescope having a telescopic display for viewing to provide a virtual reality image; A rotation support installed between the apparatus body and the VR telescope for supporting the VR telescope to be rotated within a set viewing angle range; And an image device for providing the virtual reality image to the display.
이때, 상기 영상장치는 상기 가상현실 영상을 저장하고 있는 영상 데이터베이스; 및 상기 영상 데이터베이스에 저장된 가상현실 영상을 신호처리하여 상기 VR 망원경의 디스플레이로 제공하는 가상현실 엔진;를 포함하는 것이 바람직하다.Here, the video apparatus may include a video database storing the virtual reality video; And a virtual reality engine for signal processing the virtual reality image stored in the image database and providing the signal to the display of the VR telescope.
또한, 상기 VR 망원경의 회전 각도에 따라 상기 가상현실 영상의 시선 방향을 바꾸도록, 상기 영상장치는 VR 망원경의 디스플레이로 제공되는 가상현실 영상을 변화시키는 것이 바람직하다.In order to change the viewing direction of the virtual reality image according to the rotation angle of the VR telescope, the imaging device preferably changes a virtual reality image provided as a display of the VR telescope.
또한, 상기 VR 망원경에 설치되며, 사용자의 손을 촬영하는 비접촉 센서; 및 상기 비접촉 센서에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 센싱부;를 더 포함하되, 상기 가상현실 엔진은 상기 비접촉 센서에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 디스플레이에 제공하는 것이 바람직하다.A non-contact sensor installed in the VR telescope for photographing a user's hand; And a lip motion sensing unit for calculating movement and position coordinates of a user's hand photographed by the non-contact sensor, wherein the virtual reality engine includes a virtual reality hand corresponding to a hand of a user photographed by the non- To the display together with the virtual reality image.
또한, 상기 가상현실 엔진은 상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것이 바람직하다.The virtual reality engine compares the three-dimensional coordinates of the virtual reality hand with the three-dimensional coordinates of the objects included in the virtual reality image to move the object when the object is touched by the virtual reality, .
또한, 상기 비접촉 센서를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 등록시키는 손 등록 모듈; 및 상기 손 등록 모듈로부터 사용자의 좌측 손 및 우측 손에 대한 영상 정보를 입력받아 저장하는 객체정보 데이터베이스;를 더 포함하되, 상기 립 모션 센싱부는 상기 객체정보 데이터베이스에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적하는 것이 바람직하다.A hand registration module for photographing and registering a user's left hand and right hand respectively through the contactless sensor; And an object information database for receiving and storing image information of a left hand and a right hand of the user from the hand registration module, wherein the lip motion sensing unit comprises: It is preferable that the information is compared with the hand image of the user being photographed by the non-contact sensor to distinguish the left hand and the right hand of the user and track the moving pattern.
또한, 상기 립 모션 센싱부는 상기 비접촉 센서에 의해 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신부와; 상기 프레임 수신부에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 추출부와; 상기 손 영역 추출부에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출부; 및 상기 특징점 추출부에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 판독부;를 포함하는 것이 바람직하다.The lip motion sensing unit may include a frame receiver for receiving an image frame including a user's hand photographed by the non-contact sensor; A hand region extracting unit which removes the background of the image frame received by the frame receiving unit and detects only the hand region; A feature point extracting unit for extracting, from the hand region images provided by the hand region extracting unit, coordinates of coordinates of a finger, a palm, and a wrist by respective feature points; And a hand gesture reading unit for calculating hand movements of a user using position coordinates of the feature points extracted by the feature point extracting unit.
또한, 상기 특징점 추출부에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 검출부; 및 상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭부;를 더 포함하여, 상기 가상현실 엔진은 사용자의 손이 상기 비접촉 센서가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것이 바람직하다.A hand coordinate detector for providing each of the minutiae points of the user's hand extracted by the minutiae point extractor as three-dimensional coordinates; And a coordinate matching unit for matching the three-dimensional coordinates of the minutiae points of the user's hand with the three-dimensional coordinates of the virtual reality hand, wherein the virtual reality engine comprises: It is preferable to convert the hand motion of the user into the motion of the virtual reality hand in the virtual reality image.
한편, 본 발명에 따른 전망용 가상현실 구동 방법은 상기 VR 망원경에 설치된 비접촉 센서를 이용하여 사용자의 손을 촬영하는 촬영단계와; 립 모션 센싱부에 의해 상기 비접촉 센서에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 판별단계; 및 가상현실 엔진에 의해 상기 비접촉 센서에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 VR 망원경에 구비된 디스플레이에 제공하는 가상현실 구현단계;를 포함하는 것을 특징으로 한다.Meanwhile, the virtual reality driving method for viewing according to the present invention includes: a photographing step of photographing a user's hand using a non-contact sensor installed in the VR telescope; A lip motion determination step of calculating movement and position coordinates of a user's hand photographed by the non-contact sensor by the lip motion sensing unit; And a virtual reality implementing step of providing a virtual reality hand corresponding to a hand of a user photographed by the non-contact sensor by the virtual reality engine to the display provided in the VR telescope together with the virtual reality image. do.
이때, 상기 가상현실 구현단계는 상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것이 바람직하다.At this time, the virtual reality realizing step compares the three-dimensional coordinates of the virtual reality hand with the three-dimensional coordinates of the objects included in the virtual reality image to move the object when the object is touched by the virtual reality, It is preferable to make it happen.
또한, 상기 립 모션 판별단계는 손 등록 모듈의 제어하에 상기 비접촉 센서로 사용자의 좌측 손 및 우측 손을 각각 촬영하는 기준 영상 촬영단계와; 상기 손 등록 모듈로부터 사용자의 좌측 손 및 우측 손에 대한 영상 정보를 입력받아 객체정보 데이터베이스에 저장하는 기준 영상 등록단계와; 상기 립 모션 센싱부는 상기 객체정보 데이터베이스에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하여 좌우 손 판별단계; 및 상기 립 모션 센싱부에 의해 판별된 사용자의 좌측 손과 우측 손의 위치좌표를 연속하여 분석함으로써 상기 좌측 손과 우측 손의 움직이는 패턴을 추적하는 손 추적단계;를 포함하는 것이 바람직하다.The lip motion determination step may include a reference image photographing step of photographing the left hand and the right hand of the user with the contactless sensor under the control of the hand registration module; A reference image registration step of receiving image information of a left hand and a right hand of a user from the hand registration module and storing the image information in an object information database; Wherein the lip motion sensor compares the left and right hands of the user registered in the object information database with the hand image of the user being photographed by the non-contact sensor to distinguish the left hand and the right hand of the user; And a hand tracking step of tracking a moving pattern of the left hand and the right hand by continuously analyzing the position coordinates of the left hand and the right hand of the user identified by the lip motion sensing unit.
또한, 상기 립 모션 판별단계는 프레임 수신부를 통해 상기 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신단계와; 손 영역 추출부에 의해 상기 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 검출단계와; 특징점 추출부에 의해 상기 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출단계; 및 손동작 판독부에 의해 상기 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 산출단계;를 포함하는 것이 바람직하다.The lip motion determination step may include a frame receiving step of receiving an image frame including the photographed user's hand through a frame receiving unit; A hand region detection step of removing a background of the received image frame by a hand region extraction unit and detecting only a hand region; A feature point extracting step of extracting a position coordinate of a finger, a palm and a wrist of each of the hand region images by respective feature points by a feature point extracting unit; And a hand movement calculation step of calculating a hand movement of the user by using the position coordinates of the extracted feature points by the hand movement reading unit.
또한, 손 좌표 검출부에 의해 상기 특징점 추출부에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 제공단계와; 상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭단계;를 더 포함하여, 상기 가상현실 구현단계에서는 사용자의 손이 상기 비접촉 센서가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것이 바람직하다.A hand coordinate providing step of providing each of the minutiae points of the user's hand extracted by the minutiae point extracting unit as three-dimensional coordinates by the hand coordinate detecting unit; And a coordinate matching step of matching the three-dimensional coordinates of the minutiae points of the user's hand with the three-dimensional coordinates of the virtual reality hand. In the virtual reality realizing step, It is preferable to convert the hand motion of the user into the motion of the virtual reality hand in the virtual reality image.
나아가, 본 발명에 따른 전망용 가상현실 구동 어플리케이션은 상기 VR 망원경에 설치된 비접촉 센서에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 센싱부; 및 상기 비접촉 센서에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 VR 망원경에 구비된 디스플레이에 제공하는 가상현실 엔진;를 포함하는 것을 특징으로 한다.Furthermore, the vision virtual reality driving application according to the present invention includes a lip motion sensing unit for calculating movement and position coordinates of a user's hand photographed by a non-contact sensor installed on the VR telescope; And a virtual reality engine for providing a virtual reality hand corresponding to a user's hand photographed by the non-contact sensor to a display provided in the VR telescope together with the virtual reality image.
이때, 상기 가상현실 엔진은 상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것이 바람직하다.At this time, the virtual reality engine compares the three-dimensional coordinates of the virtual reality hand with the three-dimensional coordinates of the objects included in the virtual reality image, and when the object is touched by the virtual reality, .
또한, 상기 비접촉 센서를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 객체정보 데이터베이스에 등록시키는 손 등록 모듈을 더 포함하되, 상기 립 모션 센싱부는 상기 객체정보 데이터베이스에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적하는 것이 바람직하다.The lip motion sensing unit may further include a hand registration module that photographs the left and right hands of the user through the non-contact sensor and registers the same in the object information database, wherein the lip motion sensing unit comprises: It is preferable that the image information is compared with the hand image of the user being photographed by the non-contact sensor to distinguish the left hand and the right hand of the user and track the moving pattern.
또한, 상기 립 모션 센싱부는 상기 비접촉 센서에 의해 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신부와; 상기 프레임 수신부에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 추출부와; 상기 손 영역 추출부에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출부; 및 상기 특징점 추출부에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 판독부;를 포함하는 것이 바람직하다.The lip motion sensing unit may include a frame receiver for receiving an image frame including a user's hand photographed by the non-contact sensor; A hand region extracting unit which removes the background of the image frame received by the frame receiving unit and detects only the hand region; A feature point extracting unit for extracting, from the hand region images provided by the hand region extracting unit, coordinates of coordinates of a finger, a palm, and a wrist by respective feature points; And a hand gesture reading unit for calculating hand movements of a user using position coordinates of the feature points extracted by the feature point extracting unit.
또한, 상기 특징점 추출부에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 검출부; 및 상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭부;를 더 포함하여, 상기 가상현실 엔진은 사용자의 손이 상기 비접촉 센서가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것이 바람직하다.A hand coordinate detector for providing each of the minutiae points of the user's hand extracted by the minutiae point extractor as three-dimensional coordinates; And a coordinate matching unit for matching the three-dimensional coordinates of the minutiae points of the user's hand with the three-dimensional coordinates of the virtual reality hand, wherein the virtual reality engine comprises: It is preferable to convert the hand motion of the user into the motion of the virtual reality hand in the virtual reality image.
이상과 같은 본 발명은 VR 망원경을 통해 완전한 CG 영상인 가상현실 영상을 제공한다. 따라서, 사용자는 시간과 비용을 들여 현장을 방문할 필요없이 어디서든 원하는 배경의 가상현실을 감상할 수 있으며, 날씨 등 외부 환경과 무관하게 관광을 할 수 있다.The present invention provides a virtual reality image that is a complete CG image through a VR telescope. Therefore, the user can enjoy the virtual reality of the desired background anywhere without having to visit the site with time and cost, and can tour regardless of the external environment such as the weather.
또한, 본 발명은 사용자의 손을 인식하는 립 모션 장치를 이용하여 가상현실의 손을 생성하고, 이를 상기한 가상현실 영상과 함께 제공한다. 따라서, 가상현실을 단순히 감상하는 것에서 더 나아가 가상현실 손으로 각종의 부가적인 기능 역시 제공할 수 있게 한다.In addition, the present invention generates a hand of a virtual reality using a lip motion device that recognizes a user's hand, and provides it with the virtual reality image. Therefore, it is possible to provide various additional functions from a virtual reality to a virtual reality.
도 1은 본 발명에 따른 가상현실 전망용 망원경을 나타낸 외관도이다.
도 2는 본 발명에 따른 가상현실 전망용 망원경의 영상장치를 나타낸 블록도이다.
도 3은 본 발명에 따른 가상현실 전망용 망원경을 통해 제공되는 가상현실 화면을 나타낸 일 예이다.
도 4는 상기 도 2의 손 등록 모듈의 구동 상태를 나타낸 일 예이다.
도 5는 상기 도 2의 립 모션 센싱부를 나타낸 블록도이다.
도 6은 본 발명에 따른 전망용 가상현실 구동 방법을 나타낸 흐름도이다.
도 7은 상기 도 7의 좌우손 구분방법을 나타낸 흐름도이다.
도 8은 상기 도 7의 립 모션 센싱방법을 나타낸 흐름도이다. FIG. 1 is an external view of a virtual reality vision telescope according to the present invention.
2 is a block diagram illustrating an imaging apparatus of a virtual reality view telescope according to the present invention.
FIG. 3 is an example of a virtual reality screen provided through a telescope for a virtual reality view according to the present invention.
4 is an example of a driving state of the hand registration module shown in FIG.
5 is a block diagram showing the lip motion sensing unit of FIG.
6 is a flowchart illustrating a method of driving a virtual reality for a view according to the present invention.
7 is a flowchart showing the left and right hand sorting method of FIG.
8 is a flowchart illustrating the lip motion sensing method of FIG.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 어플리케이션에 대해 상세히 설명한다.Hereinafter, a virtual reality view telescope according to a preferred embodiment of the present invention, a virtual reality view driving method and an application using the same will be described in detail with reference to the accompanying drawings.
먼저, 도 1과 같이, 본 발명에 따른 가상현실 전망용 망원경은 사용자가 눈을 가져다 대고 보면 다양한 가상현실(VR: Virtual Reality)의 컨텐츠를 보여주는 것으로, 장치 몸체(110), VR 망원경(120), 회전 지지부(130) 및 영상장치(140)를 포함한다.Referring to FIG. 1, a virtual reality view telescope according to an embodiment of the present invention displays various virtual reality (VR) contents when a user views the virtual reality view. The virtual reality view telescope includes a
이러한 본 발명은 통일 전망대 등의 관광지나 남산 타워와 같은 고층건물의 스카이 라운지를 비롯하여 실내 및 실외를 불문하고 어디든 설치되어 사용자에게 야외 배경, 건축물, 문화재, 동식물 등 다양한 가상현실 영상 컨텐츠를 제공한다.The present invention provides various virtual reality image contents such as an outdoor background, a building, a cultural property, an animal and a plant, etc. to the user regardless of whether it is indoor or outdoor, including a sightseeing spot of Unification Observatory or a sky lounge of a high-
이를 위해 장치 몸체(110)는 설정된 높이를 갖는다. 바람직하게는 사용자가 눈을 대고 가상현실을 볼 수 있도록 이용객의 통상적인 신장(height)을 고려하여 설계한다. To this end, the
또한, 장치 몸체(110)는 그 저부에 지지판(111)을 구비하여 바닥면에 안정적으로 설치하고, 필요시에는 상기 지지판(111)에 볼트나 리벳을 체결하여 바닥면에 고정 설치한다. 그 외 캐스터(caster)와 같은 바퀴를 구비할 수도 있다.In addition, the
또한, 장치 몸체(110)에는 다수의 버튼(112)을 구비하여 이용시작/이용종료는 물론 가상현실 컨텐츠의 선택, 가상현실 영상의 구현 모드, 회전 지지부(130)의 조작(예: 회전, 상승/하강) 등 다양한 기능을 제공할 수 있다.In addition, the
또한, 장치 몸체(110)의 측부에는 개폐 가능한 도어(113)를 설치하여, 도어(113)를 열고 장치 몸체(110) 내부에 설치된 각종 부품의 유지보수 및 프로그램 이나 컨텐츠의 업데이트를 가능하게 한다.A
VR 망원경(120)은 상술한 장치 몸체(110)의 상부에 설치되며, 가상현실 영상을 제공하도록 일반적인 전망대의 전망용 망원경 형상으로 이루어진 디스플레이(121)를 구비한다. 즉, 광학 망원경과 동일 유사한 외형을 제공하여 최대한 전망대의 느낌을 제공한다.The
이러한 VR 망원경(120)에 눈을 가져다 대면 사용자가 있는 후방측의 보호 렌즈를 통해 디스플레이(121)가 보이며, 디스플레이(121)에는 후술할 영상장치(140)를 통해 제공되는 가상현실 화면이 제공된다.When the user views the
VR 망원경(120)에 구비된 비접촉 센서(122)는 사용자의 손을 촬영하는 것으로, 후술하는 바와 같이 사용자가 VR 망원경(120)을 통해 가상현실 영상을 보면서 손 동작으로 다양한 부가 기능을 구현할 수 있게 한다.The
회전 지지부(130)는 장치 몸체(110)와 VR 망원경(120) 사이에 설치되는 것으로 그 하단부는 장치 몸체(110)에 연결되고, 상단부에는 VR 망원경(120)이 설치된다.The
이러한 회전 지지부(130)는 VR 망원경(120)이 설정된 시야각 범위 내에서 회전될 수 있도록 VR 망원경(120)을 지지한다.The rotation support
예컨대, 회전 지지부(130)는 장치 몸체(110)에 고정 설치되며 중공부를 갖는 가이드(131) 및 상기 가이드(131)의 중공부에서 작동 가능하게 설치된 구동축(132)을 포함하며, 구동축(132)에 VR 망원경(120)이 설치된다.For example, the
따라서, VR 망원경(120)이 구동축(132)에 의해 회전될 수 있다. 이때, 구동축(132)의 회전 각도를 검출하는 회전각 센서(revolution sensor)를 포함하여, VR 망원경(120)의 회전에 따라 파노라마 방식으로 가상현실 영상을 변환시킬 수 있다.Thus, the
물론, 회전 지지부(130)의 구동축(132)을 실린더 로드 사용하는 경우에는 장치 몸체(110) 내부에 배치된 실린더에 의해 구동축(132)을 상하로 작동시킴에 따라 사용자의 신장에 따라 VR 망원경(120)을 상하로 이동시킬 수 있게 한다.Of course, when the
영상장치(140)는 가상현실 영상을 VR 망원경(120)에 구비된 디스플레이(121)에 제공하는 것으로, 후술하는 바와 같이 증강현실(AR: Augmented Reality) 등과 다르게 완전한 CG 영상인 가상현실 영상을 제공한다.The
이를 위해 도 2와 같이, 영상장치(140)는 영상 데이터베이스(141) 및 가상현실 엔진(142)을 포함한다. 바람직한 다른 실시예로써 립 모션 센싱부(143), 손 등록 모듈(144) 및 객체정보 데이터베이스(145)를 더 포함한다.2, the
이때, 영상 데이터베이스(141)에는 상술한 바와 같이 다양한 가상현실 영상이 저장되어 있다. 따라서, 가상현실 엔진(142)은 영상 데이터베이스(141)에 저장된 가상현실 영상을 신호처리하여 VR 망원경(120)에 제공한다.At this time, various virtual reality images are stored in the
'가상현실 영상'은 상술한 바와 같이 완전한 CG 영상 이외에 사전(예: 날씨가 좋은 날 미리 촬영)에 각종 장소에서 촬영해둔 영상 그 자체나, 사전에 촬영해둔 영상을 CG처리한 영상 역시 포함하는 것으로 정의한다. As described above, the 'virtual reality image' includes not only the complete CG image but also the image itself taken in various places in a dictionary (for example, a day on a good weather day) or a CG image processed in advance define.
또한, 도 3에 일 예로 도시한 바와 같이 가상현실 영상은 특정한 문화재가 있는 지역의 영상을 포함한다. 물론, 상술한 바와 같이 다른 배경 및 동식물 등도 제공될 수 있으며, 화면 영역도 동그라미 대신 직사각형을 비롯한 다른 방식으로 제공될 수 있다.In addition, as shown in an example in FIG. 3, a virtual reality image includes an image of a region having a specific cultural property. Of course, other backgrounds, plants, animals and the like may also be provided as described above, and the screen area may be provided in other ways, including a rectangle instead of a circle.
다만, VR 망원경(120)의 회전 각도에 따라 가상현실 영상의 시선 방향 역시 바꾸도록, 영상장치(140)는 VR 망원경(120)의 디스플레이(121)로 제공되는 가상현실 영상을 변화시키는 것이 바람직하다. 따라서 파노라마 방식 등으로 최대한 현실감 있는 영상을 사용자에게 제공한다.In order to change the viewing direction of the virtual reality image according to the rotation angle of the
비접촉 센서(122)는 VR 망원경(120)에 설치되는 것으로 바람직하게는 VR 망원경(120)의 전방측에 설치되며, 대표적으로 립 모션(leap motion) 기기의 구현이 가능한 적외선 센서가 사용된다.The
적외선 센서는 사용자의 손을 감지하기 위한 비접촉 방식의 센서로써, 물체에서 방사되는 적외선 방사 에너지를 검지기에 의해 검출하고 물체의 방사 온도를 전기 신호로 꺼내어 2차원의 가시상으로 표현한다.The infrared sensor is a non-contact type sensor for detecting the user's hand. The infrared radiation energy radiated from the object is detected by a sensor, and the radiation temperature of the object is taken out as an electrical signal and expressed as a two-dimensional visual image.
이러한 적외선 센서는 일 예로 VR 망원경(120)의 정면부 좌우에 2개(혹은 그 이상)가 설치되어 3차원을 구현할 수 있도록 하며, 바람직하게는 초광각 135°이상의 시야와 인식 거리(Z축 방향 깊이) 30Cm 이상의 성능을 갖는다.For example, two (or more) infrared sensors are provided on the left and right sides of the front portion of the
립 모션 센싱부(143)는 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출한다. 이때, 가상현실 엔진(142)은 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 가상현실 영상과 함께 디스플레이(121)에 제공한다.The lip
따라서, 가상현실 엔진(142)은 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트(문화재, 동식물, 특정 지형 등)들의 3차원 좌표를 비교하여, 가상현실 손으로 오브젝트를 터치시 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있게 한다.Therefore, the
예컨대, 사용자가 비접촉 센서(122)의 초광각 시야 이내에서 손을 움직이면 그에 동기하여 가상현실 손 역시 가상현실 영상 내에서 움직이므로, 동물이나 물건 등의 오브젝트를 움직이거나, 지형물이나 문화재를 터치시 그에 대한 상세설명 노출과 같은 이벤트가 발생하도록 할 수 있다.For example, when a user moves his or her hand within the ultra wide-angle field of view of the
물론, 비접촉 센서(122)를 더 탑재함에 따라 가상현실 영상에 표시되는 가상현실 손을 이용하여 제공될 수 있는 부가 기능으로서, 화면 조작(화면 좌우 이동, 줌인/줌아웃, 영상 선택 등)을 비롯하여 다양한 것을 포함할 수 있다.Of course, as an additional function that can be provided using a virtual reality hand displayed on a virtual reality image by further mounting the
손 등록 모듈(144)은 사용자가 본 발명의 가상현실 전망용 망원경 장치를 사용시 VR 망원경(120)에 설치된 비접촉 센서(122)를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 등록시킨다.The
손 등록 모듈(144)이 작동시 센서 장치의 프로그램은 비활성화 상태에 두고 정지된 영상을 촬영하는 것이 바람직하다. 예컨대, 손의 움직임을 추적하는 립 모션 센싱부(143)를 일시적으로 비활성화시켜 두고 손을 촬영하는 것이 바람직하다.When the
이와 같이 사용자의 좌측 손 및 우측 손을 등록시키는 이유는 적외선 센서와 같은 비접촉 센서(122)가 사용자의 손을 촬영하여 그 동작을 검출시 좌측 손과 우측 손을 서로 구분하기 위한 것이다.The reason why the left hand and the right hand of the user are registered in this manner is for the
적외선 센서와 같은 비접촉 센서(122)는 손의 윤곽을 감지할 수 있을 뿐, 손의 질감까지는 정확히 구분할 수 없다. 따라서, 일 예로 왼손 '손바닥'과 오른손 '손등'을 촬영한 경우 이들 윤곽선을 구분하기 어려우므로 가상현실 영상의 제공시 사용될 좌우 손을 각각 등록시킨다.The
도 4에 도시된 바와 같이, 손 등록 모듈(144)은 일 예로 VR 망원경(120)의 디스플레이(121)를 통해 4각 형상의 손 촬영 위치(RA)를 표시하고 거기에 좌측 손(H-L)과 우측 손(R-H)을 각각 위치시킨 상태에서 손을 촬영하고 등록시킬 수 있다.4, the
다만, 비접촉 센서(122) 앞에 좌우 손을 위치시키면 손 등록 모듈(144)이 좌우 손의 중심점을 각각 포커싱하여 사용자의 좌우 손을 각각 촬영하여 등록시킬 수도 있음은 자명할 것이다.However, if the left and right hands are positioned in front of the
또한, 도 4에서는 사용자가 좌우 손 모두 손등을 보이게 촬영하였지만 좌우 손 모두 손바닥을 보이거나, 둘 중 한 손만 손바닥을 보이게 촬영할 수도 있으며, 나아가 손의 측면을 보이게 촬영할 수도 있다.In FIG. 4, although the user views both the right and left hands to look at the hand, both the right and left hands may show the palm of the hand, or only one of the hands may show the palm of the hand, or the side of the hand may be photographed.
객체정보 데이터베이스(145)는 이상과 같은 손 등록 모듈(144)로부터 사용자의 좌우 손에 대한 영상 정보를 입력받아 저장한다. 따라서, 후술하는 바와 같이 립 모션 센싱부(143)에서 확장된 라이브러리 클래스를 이용하여 인식 오류를 차단할 수 있게 한다.The
즉, 립 모션 센싱부(143)는 객체정보 데이터베이스(145)에 등록된 좌우 손의 영상 정보를 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적한다. 추적된 손의 움직임은 가상현실 손으로 구현되어 디스플레이(121)에 표출된다.That is, the lip
따라서, 사용자가 손을 맞잡거나 겹치는 등 복잡한 동작을 해도 가상현실 손이 뒤틀리거나 사라지는 등의 문제를 해결한다. 또한, 사용자의 손이 비접촉 센서(122)의 초광각 시야 범위 외부로 이동하였다가 다시 그 범위 내로 진입해도 명확하게 가상현실 손을 표현할 수 있게 한다.Therefore, the virtual reality hand is twisted or disappears even if the user performs complex operations such as catching or overlapping hands. Further, even if the user's hand moves outside the ultra-wide viewing range of the
립 모션 센싱부(143)는 일 예로 립 모션(Leap motion)을 사용하기 위한 라이브러리인 Leap Motion SDK(Software Development Kit) 및 오큘러스 리프트 HMD를 사용하기 위한 라이브러리인 Oculus Rift SDK를 설치하거나, 혹은 위와 같은 SDK를 이용하여 개발한 어플리케이션을 실행하여 구현될 수 있다.For example, the lip
물론, 구동용 플랫폼으로써 립 모션 런타임(Leap motion runtime) 및 Leap Motion SDK를 이용하여 개발한 어플리케이션을 설치하여 구현될 수도 있다. 상기 런타임(runtime)은 컴파일이나 가상머신이 사용하는 기본코드의 라이브러리나 프로그램이 실행되는 전자적 장치를 의미한다.Of course, it can be implemented by installing an application developed using Leap motion runtime and Leap Motion SDK as a driving platform. The runtime refers to a library of basic code used by a compilation or a virtual machine, or an electronic device in which a program is executed.
이러한 립 모션 센싱부(143)는 비접촉 센서(122)를 통해 영상 정보를 받아들여 X축, Y축, Z축을 결정하고 결정한 X축, Y축, Z축을 기초로 3D 형상을 구조화시킨다. 또한 3D 형상의 특징점을 추출하고, 특징점이 움직이는 궤도를 연속적으로 추적 및 분석하여 손의 움직임을 인식한다.The lip
이를 위해, 도 5와 같이 립 모션 센싱부(143)는 프레임 수신부(143a), 손 영역 추출부(143b), 특징점 추출부(143c) 및 손동작 판독부(143d)를 포함한다. 바람직한 다른 실시예로써 손 좌표 검출부(143e) 및 좌표 매칭부(143f)를 더 포함할 수도 있다.5, the lip
여기서, 상기 프레임 수신부(143a)는 비접촉 센서(122)에 의해 촬영된 영상 프레임을 수신한다. 각각의 영상 프레임에는 사용자의 손과 함께 배경이 포함된다. 배경은 아래에서 설명하는 바와 같이 손 영역 추출부(143b)에서 제거된다.Here, the
바람직한 실시예로써 프레임 수신부(143a)는 X축, Y축, Z축을 포함한 3방향에서 손가락, 손바닥 및 손목이 포함된 영상을 수신하고, 초당 60~100 프레임으로 인식함으로써 동작마다 프레임을 구분한다.In a preferred embodiment, the
손 영역 추출부(143b)는 상기한 프레임 수신부(143a)에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출한다.The hand
여기서 배경은 사용자의 실제 손 영역 이외의 모든 것을 의미하는 것으로, 사용자의 손은 손끝, 손가락, 손바닥 형상 등을 확인함으로써 배경과 구분한다.Here, the background means everything other than the actual hand area of the user, and the user's hand is distinguished from the background by checking the fingertip, finger, palm shape, and the like.
따라서, 사용자의 손동작 이외에 신체의 다른 부위나 주변 사물의 움직임을 배제하고, 이들에 의한 오동작을 방지한다. Therefore, it is possible to exclude movement of other parts of the body or surrounding objects in addition to the hand movements of the user, thereby preventing malfunction caused by these movements.
특징점 추출부(143c)는 상기한 손 영역 추출부(143b)에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출한다. 손가락은 손가락 끝 및 손가락 마디 등을 포함하여 이들 역시 세부 특징점으로 할 수 있다.The feature
가상현실에서 가상의 손동작 기능 구현 알고리즘을 설계하기 위해서는 일 실시예로써 SIFT(Scale Invariant Feature Transform) 기반의 특징점 추출 알고리즘으로 특징점을 추출한다.In order to design an algorithm for realizing a virtual hand motion function in a virtual reality, feature points are extracted by a feature point extraction algorithm based on SIFT (Scale Invariant Feature Transform) as an embodiment.
예컨대, 손가락 끝을 구분시 손의 외곽선에 대한 곡률 데이터를 검출하고, 검출된 곡률 데이터 중 곡률이 큰 5개의 점에 대한 좌표값을 추출하며, 이러한 좌표값들을 순차적으로 손가락 끝점 좌표값들에 대응시켜 위치 좌표를 측정한다.For example, when dividing a fingertip, curvature data for an outline of a hand is detected, and coordinate values for five points having a large curvature are extracted from the detected curvature data. The coordinate values are sequentially mapped to the finger end coordinate values And the position coordinates are measured.
곡률을 검출하기 위해서는 외곽선 위의 임의의 간격 n을 가지는 점들 중 인접한 점들을 이용하고, 외곽선의 점들 중 k번째 점을 중심으로 하여 양쪽으로 n 간격만큼 떨어져 인접한 두 점을 이용하여 곡률 데이터를 계산한다.In order to detect the curvature, curvature data is calculated using two adjacent points among the points having an arbitrary interval n on the outline, and using two adjacent points spaced apart by n intervals on both sides of the outermost point as the center .
손동작 판독부(143d)는 특징점 추출부(143c)에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출한다. 이와 같이 산출된 손 움직임에 따라 VR 망원경(120)의 디스플레이(121)를 통해 보여지는 가상현실의 손이 움직인다.The hand-
구체적으로, 손동작 판독부(143d)는 사용자 손의 특징점들에 위치좌표를 벡터값으로 변환하고, 영상 프레임별 벡터값의 변화에 따라 사용자 손의 움직임을 검출한다. 이때 바람직하게는 손의 움직임 속도 및 압력 역시 검출하여 실제와 유사한 동작을 제공한다.Specifically, the hand-
손동작 판독부(143d)에 의해 확인된 사용자의 손 움직임은 가상현실 엔진(142)에 제공되고, 가상현실 엔진(142)은 사용자의 손에 대응하는 가상현실 손을 생성하여 디스플레이(121)로 출력한다. 이때, 영상 데이터베이스(141)에 저장된 가상현실 영상도 함께 출력된다.The hand movement of the user identified by the hand
따라서, 사용자가 비접촉 센서(122)의 초광각 시야 이내에서 손을 움직이면 그에 동기하여 가상현실 손 역시 가상현실 영상 내에서 움직이므로, 동물이나 물건 등의 오브젝트를 움직이거나, 지형물이나 문화재를 터치시 그에 대한 부가설명과 같은 이벤트가 발생하도록 할 수 있게 한다.Therefore, when a user moves his / her hand within the ultra wide-angle field of view of the
물론, 비접촉 센서(122)를 탑재함에 따라 가상현실 영상에 표시되는 가상현실 손을 이용하여 제공될 수 있는 부가 기능으로는 화면 조작(화면 좌우 이동, 줌인/줌아웃, 영상 선택 등)을 비롯하여 다양한 것을 포함할 수 있다.Of course, the additional functions that can be provided by using the virtual reality hand displayed on the virtual reality image by mounting the
손 좌표 검출부(143e)는 상기한 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 3차원 좌표(X, Y, Z)로 제공한다. 3차원 공간 좌표의 제공을 위해 VR 망원경(120)의 정면에 구비된 비접촉 센서(122)는 2개 이상 구비된다.The hand coordinate detecting
좌표 매칭부(143f)는 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 보정을 한다. 즉, 가상현실 손이 가상현실 영상 내에서 움직이도록 3차원 좌표를 보정한다. The coordinate
따라서, 가상현실 엔진(142)은 사용자의 손이 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 사용자의 손 움직임을 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시킬 수 있게 한다.Accordingly, the
위와 같이 좌표 매칭부(143f)에 의해 매칭된 정보는 일 실시예로써 손동작 판독부(143d)에 제공됨으로써, 가상현실 영상을 제공 중 계속해서 손의 움직임을 반영할 수 있게 한다.The information matched by the coordinate matching
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 가상현실 전망용 망원경을 이용한 전망용 가상현실 구동 방법에 대해 설명한다. Hereinafter, a method for driving a virtual reality for viewing using a virtual reality view telescope according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.
다만, 본 발명의 전망용 가상현실 구동 방법은 위에서 설명한 가상현실 전망용 망원경의 구동 방법에 해당하므로 가급적 중복적인 설명은 생략한다.However, since the virtual reality driving method of the present invention corresponds to the driving method of the virtual reality view telescope described above, redundant description is omitted as much as possible.
먼저, 본 발명은 장치 몸체(110) 내에 설치된 별도의 메인 보드 또는 VR 망원경(120)에 디스플레이(121)와 함께 설치된 영상장치(140)를 통해 가상현실 영상을 VR 망원경(120)에 구비된 디스플레이(121)에 제공한다. 따라서, 사용자가 VR 망원경(120)에 눈을 가져다 대면 디스플레이(121)를 통해 가상현실 영상이 보여진다.First, the present invention provides a virtual reality image through a
또한, VR 망원경(120)에는 일 실시예로써 적외선 센서와 같은 비접촉 센서(122)가 설치되어 있어서, 사용자가 손을 움직이면 가상현실 엔진(142)에서 사용자의 손에 대응하는 가상현실 손을 생성하여 가상현실 영상과 함께 가상현실 손을 제공한다.In addition, the
더욱 구체적으로, 도 6에 도시된 바와 같이 본 발명은 크게 촬영단계(S110)와, 립 모션 판별단계(S120) 및 가상현실 구현단계(S130)를 포함한다.More specifically, as shown in FIG. 6, the present invention largely includes an imaging step S110, a lip motion determination step S120, and a virtual reality implementation step S130.
이때, 촬영단계(S110)에서는 VR 망원경(120)에 설치된 비접촉 센서(122)를 이용하여 손 동작을 확인할 수 있도록 사용자의 손을 연속하여 촬영한다. 촬영된 사용자의 손은 영상 프레임으로써 후술하는 립 모션 판별단계(S120)에 제공된다.At this time, in the photographing step S110, the user's hands are consecutively photographed so that the hand operation can be confirmed by using the
비접촉 센서(122)로는 적외선 센서가 사용될 수 있는데, VR 망원경(120)의 정면부 좌우에 2개(혹은 그 이상)가 설치되어 3차원을 구현하며, 바람직하게는 초광각 135°이상의 시야와 인식 거리(Z축 방향 깊이) 30Cm 이상의 성능을 갖는다.An infrared sensor may be used as the
립 모션 판별단계(S120)에서는 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 영상장치(140)의 립 모션 센싱부(143)로 추출한다. 손 동작은 초당 60~100의 영상 프레임을 연속적으로 분석하여 확인한다.In the lip motion determination step S120, the lip
가상현실 구현단계(S130)에서는 가상현실 엔진(142)을 이용하여 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 가상현실 영상과 함께 VR 망원경(120)의 디스플레이(121)에 제공한다.In the virtual reality realization step S130, a virtual reality hand corresponding to a user's hand photographed by the
다만, 가상현실 구현단계(S130)는 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교함으로써, 상술한 바와 같이 가상현실 손으로 오브젝트를 터치시 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것이 바람직하다.In the virtual reality realization step S130, the three-dimensional coordinates of the virtual reality hand and the three-dimensional coordinates of the objects included in the virtual reality image are compared with each other. As described above, Lt; RTI ID = 0.0 > event. ≪ / RTI >
한편, 도 7과 같이, 상술한 립 모션 판별단계(S120)는 초기 사용시 좌우 손의 등록 및 구분을 위해, 기준 영상 촬영단계(S120a), 기준 영상 등록단계(S120b), 좌우 손 판별단계(120c) 및 손 추적단계(120d)를 포함한다.7, the lip motion determination step S120 includes a reference image capturing step S120a, a reference image registration step S120b, and a left / right hand determination step 120c And a hand tracking step 120d.
이러한 립 모션 판별단계(S120)는 일 실시예로써 사용자가 가상현실 전망용 망원경을 통해 가상현실 영상을 제공받는 사용 상태 이전의 사용 초기에 실시하는 것이 바람직하다.It is preferable that the lip motion determination step S120 is performed at the beginning of use prior to the use state in which the user is provided with the virtual reality image through the virtual reality vision telescope.
이때, 기준 영상 촬영단계(S120a)에서는 손 등록 모듈(144)의 제어하에 비접촉 센서(122)로 사용자의 좌측 손 및 우측 손을 각각 촬영한다. 이를 통해 후속으로 가상현실 영상이 재생 중 비접촉 센서(122)로 손 동작을 검출시 좌우 손을 서로 정확히 구분할 수 있게 한다.At this time, in the reference image capturing step S120a, the left hand and the right hand of the user are photographed by the
다만, 손 등록 모듈(144)이 작동시 센서 장치의 프로그램은 비활성화 상태에 두고 정지된 영상을 촬영하는 것이 바람직하다. 예컨대, 손의 움직임을 추적하는 립 모션 센싱부(143)를 일시적으로 비활성화시켜 두고 정지된 상태의 손을 촬영한다.However, when the
기준 영상 등록단계(S120b)에서는 이상과 같은 손 등록 모듈(144)로부터 사용자의 좌측 손 및 우측 손에 대한 영상 정보를 입력받아 객체정보 데이터베이스(145)에 저장한다. 저장된 객체정보는 차후 가상현실 구현시 립 모션 센싱부(143)에 제공된다.In the reference image registration step S120b, the image information about the left hand and the right hand of the user is received from the
좌우 손 판별단계(120c)에서는 립 모션 센싱부(143)에서 가상현실 구현시 객체정보 데이터베이스(145)에 등록된 좌측 손 및 우측 손의 영상 정보를 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분한다.In the left and right hand discrimination step 120c, the lip
손 추적단계(120d)에서는 립 모션 센싱부(143)에 의해 판별된 사용자의 좌측 손과 우측 손의 위치좌표를 연속하여 분석함으로써 좌측 손과 우측 손이 움직이는 패턴을 추적한다. In the hand tracking step 120d, the coordinates of the left hand and the right hand of the user determined by the lip
따라서, 사용자가 손을 맞잡거나 겹치는 등 복잡한 동작을 해도 가상현실 손이 뒤틀리거나 사라지는 등의 문제를 해결한다. 또한, 사용자의 손이 비접촉 센서(122)의 초광각 시야 범위 외부로 이동하였다가 다시 그 범위 내로 진입해도 가상현실 손을 정확히 표현할 수 있게 한다.Therefore, the virtual reality hand is twisted or disappears even if the user performs complex operations such as catching or overlapping hands. Further, even if the user's hand moves outside the ultra-wide viewing range of the
한편, 상기한 손 추적단계(120d)에서 추적된 손 동작은 이하에서 설명하는 바와 같이 가상현실 손으로써 가상현실 영상과 함께 디스플레이(121)에 출력된다.Meanwhile, the hand motion tracked in the hand tracking step 120d is output to the
이를 위해, 도 8과 같이, 립 모션 판별단계(S120)는 프레임 수신단계(S121), 손 영역 검출단계(S122), 특징점 추출단계(S123) 및 손동작 산출단계(S124)를 포함한다. 바람직한 실시예로 손 좌표 제공단계(S125) 및 좌표 매칭단계(S126)를 더 포함한다.8, the lip motion determination step S120 includes a frame reception step S121, a hand region detection step S122, a feature point extraction step S123, and a hand movement calculation step S124. The preferred embodiment further includes a manual coordinate providing step (S125) and a coordinate matching step (S126).
이때, 프레임 수신단계(S121)에서는 프레임 수신부(143a)를 통해 촬영된 사용자의 손이 포함된 영상 프레임을 수신한다. 즉, 프레임 수신부(143a)는 적외선 카메라와 같은 비접촉 센서(122)에 의해 촬영된 영상 프레임을 수신한다.At this time, in the frame receiving step S121, the image frame including the hand of the user photographed through the
수신된 각각의 영상 프레임에는 사용자의 손과 함께 배경을 포함된다. 사용자의 실제 손 이외의 각종 사물을 포함한 배경은 아래에서 설명하는 바와 같이 손 영역 추출부(143b)에서 제거된다.Each received image frame includes the background with the user's hand. The background including various objects other than the user's actual hand is removed from the hand
바람직한 실시예로써 프레임 수신부(143a)는 X축, Y축, Z축을 포함한 3방향에서 손가락, 손바닥 및 손목이 포함된 영상을 수신하고, 초당 60~100 프레임으로 인식함으로써 동작마다 프레임을 구분한다.In a preferred embodiment, the
손 영역 검출단계(S122)에서는 손 영역 추출부(143b)를 이용하여 이상과 같이 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출한다.In the hand region detection step S122, the background is removed from the received image frame using the hand
여기서 배경은 손 이외의 모든 것을 의미하는 것으로 사용자의 손은 손끝, 손가락, 손바닥 형상 등을 확인하여 구분한다.Here, the background means everything except the hand, and the user's hand identifies and identifies the fingertip, the finger, and the shape of the palm.
따라서, 사용자의 손동작 이외에 신체의 다른 부위나 주변 사물의 움직임을 배제하고, 이들에 의한 오동작을 방지한다. Therefore, it is possible to exclude movement of other parts of the body or surrounding objects in addition to the hand movements of the user, thereby preventing malfunction caused by these movements.
다음, 특징점 추출단계(S123)에서는 특징점 추출부(143c)에 의해 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출한다. 손가락은 손가락 끝 및 손가락 마디 등을 포함하여 이들 역시 세부 특징점으로 할 수 있다. 추출된 각각의 특징점들은 손의 움직임을 판단하는 기준이 된다.Next, in the feature point extraction step S123, the feature
특징점은 일 예로 SIFT 기반의 특징점 추출 알고리즘으로 추출할 수 있으며, 예컨대, 손가락 끝을 구분시 손의 외곽선에 대한 곡률 데이터를 검출하고, 검출된 곡률 데이터 중 곡률이 큰 5개의 점을 특징점으로 추출한다.For example, the feature points may be extracted using a SIFT-based feature point extraction algorithm. For example, when discriminating the fingertip, curvature data for the outline of the hand is detected and five points having a large curvature are extracted as feature points from the detected curvature data .
다음, 손동작 산출단계(S124)에서는 손동작 판독부(143d)에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출한다. 즉, 각 특징점들의 위치좌표를 시간순으로 추적하여 위치좌표의 이동을 손의 움직임으로 인식한다.Next, in the hand movement calculation step S124, the hand movement of the user is calculated using the position coordinates of the minutiae points extracted by the hand
이와 같이 산출된 손 동작에 따라 VR 망원경(120)을 통해 보여지는 가상현실의 손이 움직이며, 가상현실 손의 위치좌표와 가상현실 영상에 포함된 오브젝트의 위치좌표를 비교하여 각종의 부가 기능을 제공한다.According to the hand motion thus calculated, the hand of the virtual reality viewed through the
구체적으로, 손동작 판독부(143d)는 사용자 손의 특징점들에 위치좌표를 벡터값으로 변환하고, 영상 프레임별 벡터값의 변화에 따라 사용자 손의 움직임을 검출하여 자연스러운 움직임을 제공한다.Specifically, the hand-
손동작 판독부(143d)에 의해 확인된 사용자의 손 동작은 가상현실 엔진(142)에 제공됨에 따라 상술한 가상현실 구현단계(S130)가 실행되며, 가상현실 엔진(142)에 의해 손 동작에 대응하는 가상현실 손과 함께 가상현실 영상이 디스플레이(121)로 출력된다.The hand operation of the user identified by the hand
손 좌표 제공단계(S125)에서는 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 손 좌표 검출부(143e)에 의해 3차원 좌표(X, Y, Z)로 제공한다. 3차원 공간 좌표의 제공을 위해 VR 망원경(120)의 정면에 구비된 비접촉 센서(122)는 2개 이상 구비된다.In the hand coordinate providing step S125, each of the minutiae points of the user's hand extracted by the
좌표 매칭단계(S126)에서는 사용자 손의 특징점들에 대한 3차원 좌표를 가상현실 손의 3차원 좌표와 매칭시키는 보정을 한다. 즉, 가상현실 손이 가상현실 영상 내에서 움직이도록 3차원 좌표를 보정한다. In the coordinate matching step S126, the three-dimensional coordinates of the minutiae points of the user's hand are corrected to match the three-dimensional coordinates of the virtual reality hand. That is, the three-dimensional coordinates are corrected so that the virtual reality hand moves within the virtual reality image.
따라서, 가상현실 구현단계(S130)에서는 사용자의 손이 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 사용자의 손 움직임을 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시킬 수 있게 한다.Accordingly, in the virtual reality realization step S130, the user's hand movement can be converted into the virtual reality hand movement in the virtual reality image even if the user's hand is present within the ultra wide angle view covered by the
위와 같이 좌표 매칭부(143f)에 의해 매칭된 정보는 일 실시예로써 손동작 판독부(143d)에 제공됨으로써, 가상현실 영상을 제공 중 계속해서 손의 움직임을 반영할 수 있게 한다.The information matched by the coordinate matching
이하, 본 발명에 따른 가상현실 전망용 망원경을 위한 전망용 가상현실 구동 어플리케이션에 대해 설명한다.Hereinafter, a virtual reality driving application for a virtual reality viewing telescope according to the present invention will be described.
본 발명에 따른 전망용 가상현실 구동 어플리케이션은 서버를 통해 다운로드 가능하게 제공될 수 있으며, 그 외 하드디스크, 광학 기록장치 및 USB와 같은 데이터저장수단을 통해 제공될 수 있다.The virtual reality driving application for viewing according to the present invention may be provided as downloadable through a server, or may be provided through a data storage means such as another hard disk, an optical recording device, and a USB.
또한, 본 발명에 따른 전망용 가상현실 구동 어플리케이션은 가상현실 전망용 망원경 기기의 메모리에 저장되고, 가상현실 전망용 망원경 기기에 구비된 프로세서에 의해 실행된다.In addition, the virtual reality driving application for viewing according to the present invention is stored in a memory of the virtual reality viewing telescope device and is executed by a processor provided in the virtual reality viewing telescope device.
이러한 본 발명의 어플리케이션은 VR 망원경(120)에 설치된 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 센싱부(143) 및 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 가상현실 영상과 함께 디스플레이(121)에 제공하는 가상현실 엔진(142)을 포함한다.The application of the present invention includes a lip
이때, 가상현실 엔진(142)은 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 가상현실 손으로 오브젝트를 터치시 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것이 바람직하다.At this time, the
또한, 본 발명의 어플리케이션은 비접촉 센서(122)를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 가상현실 전망용 망원경에 구비된 객체정보 데이터베이스(145)에 등록시키는 손 등록 모듈(144)을 더 포함한다.The application of the present invention further includes a
따라서, 립 모션 센싱부(143)는 객체정보 데이터베이스(145)에 등록된 좌측 손 및 우측 손의 영상 정보를 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적하게 된다.Therefore, the lip
나아가, 립 모션 센싱부(143)는 비접촉 센서(122)에 의해 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신부(143a)와, 프레임 수신부(143a)에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 추출부(143b)를 포함한다.Further, the lip
또한, 손 영역 추출부(143b)에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출부(143c) 및 특징점 추출부(143c)에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 판독부(143d)를 포함한다.The feature
또한, 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 검출부(143e) 및 사용자 손의 특징점들에 대한 3차원 좌표를 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭부(143f)를 더 포함한다.The hand coordinate
따라서, 가상현실 엔진(142)은 사용자의 손이 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시킬 수 있게 한다.Accordingly, the
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다. The specific embodiments of the present invention have been described above. It is to be understood, however, that the scope and spirit of the present invention is not limited to these specific embodiments, and that various modifications and changes may be made without departing from the spirit of the present invention. If you have, you will understand.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Therefore, it should be understood that the above-described embodiments are provided so that those skilled in the art can fully understand the scope of the present invention. Therefore, it should be understood that the embodiments are to be considered in all respects as illustrative and not restrictive, The invention is only defined by the scope of the claims.
110: 장치 몸체 120: VR 망원경
121: 디스플레이 122: 비접촉 센서(적외선 센서)
130: 회전 지지부 140: 영상장치
141: 영상 데이터베이스 142: 가상현실 엔진
143: 립 모션 센싱부 143a: 프레임 수신부
143b: 손 영역 추출부 143c: 특징점 추출부
143d: 손동작 판독부 143e: 손 좌표 검출부
143f: 좌표 매칭부 144: 손 등록 모듈
145: 객체정보 데이터베이스110: Device body 120: VR telescope
121: Display 122: Non-contact sensor (Infrared sensor)
130: rotation support part 140: imaging device
141: image database 142: virtual reality engine
143: Lip
143b: hand
143d: hand
143f: coordinate matching unit 144: hand registration module
145: object information database
Claims (18)
상기 장치 몸체(110)의 상부에 설치되며, 가상현실 영상을 제공하도록 전망용 망원경 형상의 디스플레이(121)를 구비한 VR 망원경(120)과;
상기 장치 몸체(110)와 VR 망원경(120) 사이에 설치되며, 상기 VR 망원경(120)이 설정된 시야각 범위 내에서 회전되도록 지지하는 회전 지지부(130); 및
상기 가상현실 영상을 상기 디스플레이(121)로 제공하는 영상장치(140);를 포함하는 것을 특징으로 하는 가상현실 전망용 망원경.A device body (110) having a set height;
A VR telescope 120 installed at an upper portion of the apparatus body 110 and having a display 121 of a telescopic shape for viewing to provide a virtual reality image;
A rotation support part 130 installed between the apparatus body 110 and the VR telescope 120 for supporting the VR telescope 120 to rotate within a predetermined viewing angle range; And
And a display device (140) for providing the virtual reality image to the display (121).
상기 영상장치(140)는,
상기 가상현실 영상을 저장하고 있는 영상 데이터베이스(141); 및
상기 영상 데이터베이스(141)에 저장된 가상현실 영상을 신호처리하여 상기 VR 망원경(120)의 디스플레이(121)로 제공하는 가상현실 엔진(142);을 포함하는 것을 특징으로 하는 가상현실 전망용 망원경.The method according to claim 1,
The imaging device 140 may include:
An image database 141 storing the virtual reality image; And
And a virtual reality engine (142) for signal processing the virtual reality image stored in the image database (141) and providing the signal to the display (121) of the VR telescope (120).
상기 VR 망원경(120)의 회전 각도에 따라 상기 가상현실 영상의 시선 방향을 바꾸도록, 상기 영상장치(140)는 VR 망원경(120)의 디스플레이(121)로 제공되는 가상현실 영상을 변화시키는 것을 특징으로 하는 가상현실 전망용 망원경.3. The method of claim 2,
The image device 140 changes the virtual reality image provided to the display 121 of the VR telescope 120 so as to change the viewing direction of the virtual reality image according to the rotation angle of the VR telescope 120 Virtual reality view telescope.
상기 VR 망원경(120)에 설치되며, 사용자의 손을 촬영하는 비접촉 센서(122); 및
상기 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 센싱부(143);를 더 포함하되,
상기 가상현실 엔진(142)은 상기 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 디스플레이(121)에 제공하는 것을 특징으로 하는 가상현실 전망용 망원경.3. The method of claim 2,
A non-contact sensor 122 installed in the VR telescope 120 for photographing a user's hand; And
And a lip motion sensing unit (143) for calculating movement and position coordinates of a user's hand photographed by the non-contact sensor (122)
Wherein the virtual reality engine (142) provides a virtual reality hand corresponding to a user's hand photographed by the non-contact sensor (122) to the display (121) together with the virtual reality image telescope.
상기 가상현실 엔진(142)은,
상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것을 특징으로 하는 가상현실 전망용 망원경.5. The method of claim 4,
The virtual reality engine 142,
Dimensional coordinate of the virtual reality hand and the three-dimensional coordinate of the objects included in the virtual reality image so that the object can be moved or another event can be generated when the object is touched by the virtual reality hand Virtual reality telescope.
상기 비접촉 센서(122)를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 등록시키는 손 등록 모듈(144); 및
상기 손 등록 모듈(144)로부터 사용자의 좌측 손 및 우측 손에 대한 영상 정보를 입력받아 저장하는 객체정보 데이터베이스(145);를 더 포함하되,
상기 립 모션 센싱부(143)는 상기 객체정보 데이터베이스(145)에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적하는 것을 특징으로 하는 가상현실 전망용 망원경.5. The method of claim 4,
A hand registration module 144 for photographing and registering the left hand and the right hand of the user respectively through the non-contact sensor 122; And
And an object information database 145 for receiving and storing the image information of the left hand and the right hand of the user from the hand registration module 144,
The lip motion sensing unit 143 compares the image information of the left hand and the right hand registered in the object information database 145 with the hand image of the user taking the image by the non-contact sensor 122, Wherein the left and right hands are separated and each moving pattern is tracked.
상기 립 모션 센싱부(143)는,
상기 비접촉 센서(122)에 의해 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신부(143a)와;
상기 프레임 수신부(143a)에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 추출부(143b)와;
상기 손 영역 추출부(143b)에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출부(143c); 및
상기 특징점 추출부(143c)에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 판독부(143d);를 포함하는 것을 특징으로 하는 가상현실 전망용 망원경.5. The method of claim 4,
The lip motion sensing unit 143,
A frame receiving unit (143a) for receiving an image frame including a user's hand photographed by the non-contact sensor (122);
A hand region extracting unit 143b for removing the background of the image frame received by the frame receiving unit 143a and detecting only the hand region;
A feature point extracting unit 143c for extracting the position coordinates of the finger, the palm and the wrist from the hand region images provided by the hand region extracting unit 143b as respective feature points; And
And a hand gesture reading unit (143d) for calculating hand movements of the user using the position coordinates of the minutiae points extracted by the minutiae point extracting unit (143c).
상기 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 검출부(143e); 및
상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭부(143f);를 더 포함하여,
상기 가상현실 엔진(142)은 사용자의 손이 상기 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것을 특징으로 하는 가상현실 전망용 망원경.8. The method of claim 7,
A hand coordinate detecting unit 143e for providing each of the minutiae points of the user's hand extracted by the minutiae point extracting unit 143c as three-dimensional coordinates; And
And a coordinate matching unit (143f) for matching the three-dimensional coordinates of the minutiae points of the user's hand with the three-dimensional coordinates of the virtual reality hand,
The virtual reality engine 142 converts the hand motion of the user into the motion of the virtual reality hand in the virtual reality image regardless of whether the user's hand is within an ultra wide angle view covered by the noncontact sensor 122 Virtual reality view telescope.
상기 VR 망원경(120)에 설치된 비접촉 센서(122)를 이용하여 사용자의 손을 촬영하는 촬영단계(S110)와;
립 모션 센싱부(143)에 의해 상기 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 판별단계(S120); 및
가상현실 엔진(142)에 의해 상기 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 VR 망원경(120)에 구비된 디스플레이(121)에 제공하는 가상현실 구현단계(S130);를 포함하는 것을 특징으로 하는 전망용 가상현실 구동 방법.10. A virtual reality driving method for a view using a virtual reality view telescope as in any one of claims 1 to 8,
A photographing step S110 of photographing a user's hand using the non-contact sensor 122 installed on the VR telescope 120;
A lip motion determination step (S120) of calculating movement and position coordinates of a user's hand photographed by the lip motion sensing unit (143) by the non-contact sensor (122); And
A virtual reality hand corresponding to the hand of the user photographed by the non-contact sensor 122 by the virtual reality engine 142 is provided to the display 121 provided in the VR telescope 120 together with the virtual reality image And a virtual reality realization step (S130).
상기 가상현실 구현단계(S130)는,
상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것을 특징으로 하는 전망용 가상현실 구동 방법.10. The method of claim 9,
The virtual reality realization step (S130)
Dimensional coordinate of the virtual reality hand and the three-dimensional coordinate of the objects included in the virtual reality image so that the object can be moved or another event can be generated when the object is touched by the virtual reality hand A method for driving a virtual reality.
상기 립 모션 판별단계(S120)는,
손 등록 모듈(144)의 제어하에 상기 비접촉 센서(122)로 사용자의 좌측 손 및 우측 손을 각각 촬영하는 기준 영상 촬영단계(S120a)와;
상기 손 등록 모듈(144)로부터 사용자의 좌측 손 및 우측 손에 대한 영상 정보를 입력받아 객체정보 데이터베이스(145)에 저장하는 기준 영상 등록단계(S120b)와;
상기 립 모션 센싱부(143)는 상기 객체정보 데이터베이스(145)에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하여 좌우 손 판별단계(120c); 및
상기 립 모션 센싱부(143)에 의해 판별된 사용자의 좌측 손과 우측 손의 위치좌표를 연속하여 분석함으로써 상기 좌측 손과 우측 손의 움직이는 패턴을 추적하는 손 추적단계(120d);를 포함하는 것을 특징으로 하는 전망용 가상현실 구동 방법.10. The method of claim 9,
The lip motion determination step (S120)
A reference image capturing step (S120a) for capturing the left hand and the right hand of the user respectively by the non-contact sensor (122) under the control of the hand registration module (144);
A reference image registration step (S120b) for receiving image information on the left hand and the right hand of the user from the hand registration module (144) and storing the image information in the object information database (145);
The lip motion sensing unit 143 compares the image information of the left hand and the right hand registered in the object information database 145 with the hand image of the user taking the image by the non-contact sensor 122, Right hand discrimination step 120c by dividing the right hand; And
And a hand tracking step (120d) for tracking a moving pattern of the left hand and the right hand by continuously analyzing the position coordinates of the left hand and the right hand of the user determined by the lip motion sensing unit (143) A method for driving a virtual reality for viewing.
상기 립 모션 판별단계(S120)는,
프레임 수신부(143a)를 통해 상기 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신단계(S121)와;
손 영역 추출부(143b)에 의해 상기 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 검출단계(S122)와;
특징점 추출부(143c)에 의해 상기 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출단계(S123); 및
손동작 판독부(143d)에 의해 상기 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 산출단계(S124);를 포함하는 것을 특징으로 하는 전망용 가상현실 구동 방법.10. The method of claim 9,
The lip motion determination step (S120)
A frame receiving step (S121) of receiving an image frame including the photographed user's hand through a frame receiving unit (143a);
A hand region detection step (S122) of removing the background of the received image frame by the hand region extraction unit (143b) and detecting only the hand region;
A feature point extracting step (S123) of extracting a position coordinate of a finger, a palm, and a wrist of each hand region image by respective feature points by a feature point extracting unit (143c); And
(S124) of calculating a hand motion of a user using the position coordinates of the extracted minutiae points by a hand-movement reading unit (143d).
손 좌표 검출부(143e)에 의해 상기 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 제공단계(S125)와;
상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭단계(S126);를 더 포함하여,
상기 가상현실 구현단계(S130)에서는 사용자의 손이 상기 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것을 특징으로 하는 가상현실 전망용 망원경.13. The method of claim 12,
A hand coordinate providing step (S125) of providing each of the minutiae points of the user's hand extracted by the minutiae extracting section 143c by the hand coordinate detecting section 143e as three-dimensional coordinates;
A coordinate matching step (S126) of matching three-dimensional coordinates of the minutiae points of the user's hand with three-dimensional coordinates of the virtual reality hand,
In the virtual reality realization step S130, the hand movement of the user is converted into the movement of the virtual reality hand in the virtual reality image, regardless of whether the user's hand is within an ultra wide angle view covered by the non-contact sensor 122 Features a virtual reality view telescope.
상기 어플리케이션은 상기 가상현실 전망용 망원경의 메모리에 저장되고, 프로세서에 의해 실행되며,
상기 어플리케이션은,
상기 VR 망원경(120)에 설치된 비접촉 센서(122)에 의해 촬영된 사용자의 손의 움직임 및 위치좌표를 산출하는 립 모션 센싱부(143); 및
상기 비접촉 센서(122)에 의해 촬영된 사용자의 손에 대응하는 가상현실 손을 상기 가상현실 영상과 함께 상기 VR 망원경(120)에 구비된 디스플레이(121)에 제공하는 가상현실 엔진(142);를 포함하는 것을 특징으로 하는 전망용 가상현실 구동 어플리케이션.10. A virtual reality viewing application for viewing in which the virtual reality view telescope is driven as in any one of claims 1 to 8,
Wherein the application is stored in a memory of the virtual reality view telescope and is executed by a processor,
The application comprises:
A lip motion sensing unit 143 for calculating movement and position coordinates of the user's hand photographed by the non-contact sensor 122 installed on the VR telescope 120; And
A virtual reality engine 142 for providing a virtual reality hand corresponding to a user's hand photographed by the non-contact sensor 122 to the display 121 provided in the VR telescope 120 together with the virtual reality image; Wherein the virtual reality application is a virtual reality application.
상기 가상현실 엔진(142)은,
상기 가상현실 손의 3차원 좌표와 가상현실 영상에 포함된 오브젝트들의 3차원 좌표를 비교하여, 상기 가상현실 손으로 오브젝트를 터치시 상기 오브젝트를 움직이거나 별도의 이벤트가 발생할 수 있도록 하는 것을 특징으로 하는 전망용 가상현실 구동 어플리케이션.15. The method of claim 14,
The virtual reality engine 142,
Dimensional coordinate of the virtual reality hand and the three-dimensional coordinate of the objects included in the virtual reality image so that the object can be moved or another event can be generated when the object is touched by the virtual reality hand Virtual reality driving application for viewing.
상기 비접촉 센서(122)를 통해 사용자의 좌측 손 및 우측 손을 각각 촬영하여 객체정보 데이터베이스(145)에 등록시키는 손 등록 모듈(144)을 더 포함하되,
립 모션 센싱부(143)는 상기 객체정보 데이터베이스(145)에 등록된 좌측 손 및 우측 손의 영상 정보를 상기 비접촉 센서(122)에 의해 촬영 중인 사용자의 손 영상과 비교하여 사용자의 좌측 손과 우측 손을 구분하고 각각 움직이는 패턴을 추적하는 것을 특징으로 하는 전망용 가상현실 구동 어플리케이션.15. The method of claim 14,
And a hand registration module (144) for photographing the left hand and the right hand of the user through the non-contact sensor (122) and registering them in the object information database (145)
The lip motion sensing unit 143 compares the image information of the left hand and the right hand registered in the object information database 145 with the hand image of the user taking the image by the non-contact sensor 122, Wherein the virtual reality driving application is a virtual reality driving application that distinguishes hands and tracks moving patterns.
상기 립 모션 센싱부(143)는,
상기 비접촉 센서(122)에 의해 촬영된 사용자의 손이 포함된 영상 프레임을 수신하는 프레임 수신부(143a)와;
상기 프레임 수신부(143a)에 의해 수신된 영상 프레임 중 배경을 제거하고 손 영역만을 검출하는 손 영역 추출부(143b)와;
상기 손 영역 추출부(143b)에서 제공된 손 영역 영상 중 손가락, 손바닥 및 손목의 위치좌표를 각각의 특징점으로 추출하는 특징점 추출부(143c); 및
상기 특징점 추출부(143c)에 의해 추출된 특징점들의 위치좌표를 이용하여 사용자의 손 움직임을 산출하는 손동작 판독부(143d);를 포함하는 것을 특징으로 하는 전망용 가상현실 구동 어플리케이션.15. The method of claim 14,
The lip motion sensing unit 143,
A frame receiving unit (143a) for receiving an image frame including a user's hand photographed by the non-contact sensor (122);
A hand region extracting unit 143b for removing the background of the image frame received by the frame receiving unit 143a and detecting only the hand region;
A feature point extracting unit 143c for extracting the position coordinates of the finger, the palm and the wrist from the hand region images provided by the hand region extracting unit 143b as respective feature points; And
And a hand gesture reading unit (143d) for calculating hand movements of the user using the position coordinates of the extracted feature points by the feature point extracting unit (143c).
상기 특징점 추출부(143c)에서 추출된 사용자 손의 각 특징점들을 3차원 좌표로 제공하는 손 좌표 검출부(143e); 및
상기 사용자 손의 특징점들에 대한 3차원 좌표를 상기 가상현실 손의 3차원 좌표와 매칭시키는 좌표 매칭부(143f);를 더 포함하여,
상기 가상현실 엔진(142)은 사용자의 손이 상기 비접촉 센서(122)가 커버하는 초광각 시야 이내 중 어디에 존재해도 상기 사용자의 손 움직임을 상기 가상현실 영상 내에서 가상현실 손의 움직임으로 전환시키는 것을 특징으로 하는 전망용 가상현실 구동 어플리케이션.
18. The method of claim 17,
A hand coordinate detecting unit 143e for providing each of the minutiae points of the user's hand extracted by the minutiae point extracting unit 143c as three-dimensional coordinates; And
And a coordinate matching unit (143f) for matching the three-dimensional coordinates of the minutiae points of the user's hand with the three-dimensional coordinates of the virtual reality hand,
The virtual reality engine 142 converts the hand motion of the user into the motion of the virtual reality hand in the virtual reality image regardless of whether the user's hand is within an ultra wide angle view covered by the noncontact sensor 122 Virtual reality driving applications.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170126285A KR20190036864A (en) | 2017-09-28 | 2017-09-28 | VR observation telescope, driving method and application for VR observation using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170126285A KR20190036864A (en) | 2017-09-28 | 2017-09-28 | VR observation telescope, driving method and application for VR observation using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190036864A true KR20190036864A (en) | 2019-04-05 |
Family
ID=66104258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170126285A KR20190036864A (en) | 2017-09-28 | 2017-09-28 | VR observation telescope, driving method and application for VR observation using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190036864A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200115368A (en) | 2019-03-27 | 2020-10-07 | 다보(주) | Telescope type viewing system having mobile device for augmented reality |
| KR20220078366A (en) * | 2020-12-03 | 2022-06-10 | 경일대학교산학협력단 | Apparatus and method for rehabilitation training using hand tracking |
| KR20230011146A (en) * | 2021-07-13 | 2023-01-20 | 주식회사 리모샷 | A apparatus for providing VR contents to visitors |
| KR20240079283A (en) | 2022-11-28 | 2024-06-05 | 주식회사 수인 | Tour guide method using augmented reality and augmented reality based tour guide system using the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200176094Y1 (en) | 1999-03-26 | 2000-03-15 | Si Heum Baek | Observation telescope equipped with opening and shutting device to intercept the light by hold and open system |
| KR100276433B1 (en) | 1998-10-10 | 2001-02-01 | 정선종 | Sightseeing Telescope System Using Augmented Reality and Its Operation Method |
-
2017
- 2017-09-28 KR KR1020170126285A patent/KR20190036864A/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100276433B1 (en) | 1998-10-10 | 2001-02-01 | 정선종 | Sightseeing Telescope System Using Augmented Reality and Its Operation Method |
| KR200176094Y1 (en) | 1999-03-26 | 2000-03-15 | Si Heum Baek | Observation telescope equipped with opening and shutting device to intercept the light by hold and open system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200115368A (en) | 2019-03-27 | 2020-10-07 | 다보(주) | Telescope type viewing system having mobile device for augmented reality |
| KR20220078366A (en) * | 2020-12-03 | 2022-06-10 | 경일대학교산학협력단 | Apparatus and method for rehabilitation training using hand tracking |
| KR20230011146A (en) * | 2021-07-13 | 2023-01-20 | 주식회사 리모샷 | A apparatus for providing VR contents to visitors |
| KR20240079283A (en) | 2022-11-28 | 2024-06-05 | 주식회사 수인 | Tour guide method using augmented reality and augmented reality based tour guide system using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4007899B2 (en) | Motion detection device | |
| US9330307B2 (en) | Learning based estimation of hand and finger pose | |
| US8488888B2 (en) | Classification of posture states | |
| CN102449577B (en) | Virtual desktop coordinate transformation | |
| US20110292036A1 (en) | Depth sensor with application interface | |
| US20140139429A1 (en) | System and method for computer vision based hand gesture identification | |
| JP4768196B2 (en) | Apparatus and method for pointing a target by image processing without performing three-dimensional modeling | |
| JP5205187B2 (en) | Input system and input method | |
| TWI682326B (en) | Tracking system and method thereof | |
| JP6571108B2 (en) | Real-time 3D gesture recognition and tracking system for mobile devices | |
| KR20190036864A (en) | VR observation telescope, driving method and application for VR observation using the same | |
| CN107004279A (en) | Natural user interface camera calibrated | |
| CN111353355B (en) | Motion tracking system and method | |
| JP2015532077A (en) | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image | |
| US20160210761A1 (en) | 3d reconstruction | |
| EP3869468A1 (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
| JP2009258884A (en) | User interface | |
| JP2000148381A (en) | Input image processing method, input image processor and recording medium on which input image processing program has been recorded | |
| GB2345538A (en) | Optical tracker | |
| JP6810442B2 (en) | A camera assembly, a finger shape detection system using the camera assembly, a finger shape detection method using the camera assembly, a program for implementing the detection method, and a storage medium for the program. | |
| JP2934190B2 (en) | Hand gesture recognition device | |
| Haubner et al. | Recognition of dynamic hand gestures with time-of-flight cameras | |
| KR100265492B1 (en) | An apparatus and a method for detecting movement of a head | |
| Kim et al. | Pointing gesture-based unknown object extraction for learning objects with robot | |
| De Kler | Integration of the ARToolKitPlus optical tracker into the Personal Space Station |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |