KR20190111218A - Method of providing virtual reality based on footprint image pattern analysis - Google Patents

Method of providing virtual reality based on footprint image pattern analysis Download PDF

Info

Publication number
KR20190111218A
KR20190111218A KR1020180033053A KR20180033053A KR20190111218A KR 20190111218 A KR20190111218 A KR 20190111218A KR 1020180033053 A KR1020180033053 A KR 1020180033053A KR 20180033053 A KR20180033053 A KR 20180033053A KR 20190111218 A KR20190111218 A KR 20190111218A
Authority
KR
South Korea
Prior art keywords
foot
user
walking
image
virtual reality
Prior art date
Application number
KR1020180033053A
Other languages
Korean (ko)
Other versions
KR102054818B1 (en
Inventor
류지훈
김성인
이혜인
정재환
장민옥
장민우
안건상
조진표
Original Assignee
(주)일렉콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)일렉콤 filed Critical (주)일렉콤
Priority to KR1020180033053A priority Critical patent/KR102054818B1/en
Publication of KR20190111218A publication Critical patent/KR20190111218A/en
Application granted granted Critical
Publication of KR102054818B1 publication Critical patent/KR102054818B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • G06K9/00348
    • G06K9/4604
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • G06K2009/4666

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

The present invention relates to a method for providing virtual reality to recognize a walking motion of a user based on a foot image pattern of the user and synchronize the movement of an avatar in a virtual space with the movement of the user. More specifically, the present invention relates to a method for providing virtual reality based on foot image pattern analysis, which comprises the following steps: projecting the infrared light, which is emitted along the upper surface of the footplate, on the foot of the user located on the footplate which can transmit infrared rays; taking the reflected light reflected by the foot of the user located on the footplate with a camera provided under the footplate to obtain a foot image; analyzing a change pattern of the obtained foot image to recognize the walking motion of the user including the walking direction, the walking speed and the walking type; and synchronizing the recognized walking motion of the user with the movement of the avatar in the virtual space. Accordingly, the method is capable of effectively providing various types of walking simulations within the virtual reality through accurate recognition of the walking motion by the intention of the user with a simple configuration without a separate contact sensor for the user located on a footplate.

Description

족적 영상 패턴 분석 기반 가상현실 제공 방법{Method of providing virtual reality based on footprint image pattern analysis}Method of providing virtual reality based on footprint image pattern analysis

본 발명은 사용자의 족적 영상 패턴을 기반으로 사용자의 보행 동작을 인식하여, 가상공간 내의 아바타의 움직임을 사용자의 움직임과 동기화 시키는 가상현실 제공 방법에 관한 것으로서, 보다 상세하게는 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공할 수 있는 족적 영상 패턴 분석 기반 가상현실 제공 방법에 관한 것이다.The present invention relates to a virtual reality providing method for recognizing a walking motion of a user based on a foot image pattern of a user and synchronizing the movement of an avatar in a virtual space with the movement of the user. Projecting infrared rays irradiated along the upper surface of the footrest on the foot of the user located to capture the reflected light reflected by the foot of the user located on the footboard with a camera provided under the footrest to obtain a foot image, By analyzing the pattern of change and recognizing the walking behavior of the user, that is, the direction of walking, the walking speed and the walking type, and synchronizing the recognized walking behavior of the user with the avatar movement in the virtual space, Accurate according to user's intention with simple configuration without contact sensor Walking through the motion recognition effectively simulate various types of gait pattern analysis relates to the mark image-based virtual reality provides methods that can be provided in a virtual reality.

가상현실(virtual reality) 시스템이란 사용자의 동작과 그와 연동되는 환경변화를 가상공간에 재현함으로써, 사용자가 가상현실의 움직임을 실제 움직임과 같이 느낄 수 있게 하는 것이다.The virtual reality system is to reproduce the movement of the user and the environment changes associated with it in the virtual space, so that the user can feel the movement of the virtual reality as the actual movement.

종래의 가상현실 장치는, 화면을 통해 다양한 형태의 입체 시뮬레이션 영상을 제공하고, 사용자가 화면상에서 벌어지는 상황에 따라 집적 컨트롤러를 조작함으로써, 사용자에게 현실감 있는 그래픽 환경을 제공하였으나, 최근에는, 사용자의 실제동작(motion)을 가상현실에 접목시키는 로코모션(locomotion) 장치를 통해, 사용자가 가상현실의 움직임을 더욱 현실처럼 느낄 수 있는 환경을 제공하고 있다.The conventional virtual reality device provides a realistic graphic environment to a user by providing various types of stereoscopic simulation images through a screen and manipulating an integrated controller according to a situation that a user takes place on the screen. Through a locomotion device that combines motion with virtual reality, a user can feel the motion of virtual reality more realistically.

이러한 로코모션 장치에는 사용자의 손동작을 인식하기 위한 상체 모션인식 장치와, 사용자의 보행을 인식하기 위한 트레드밀(treadmill)장치가 대표적이며, 특히 트레드밀 장치에는 사용자의 일방향 보행만을 인식하는 궤도형 트레드밀 형태와, 사용자의 전방위 보행을 인식하기 위한 미끄럼판 트레드밀 형태로 구분된다.Such locomotion devices are typically upper body motion recognition devices for recognizing user's hand movements, and treadmill devices for recognizing the user's walking. In particular, the treadmill device has an orbital treadmill type for recognizing a user's one-way walking. In addition, it is divided into a sliding treadmill type for recognizing the user's walking in all directions.

최근에는 가상현실 콘텐츠의 발전으로 인해 단순 직진보행만을 인식하는 궤도형 트레드밀 형태로는 콘텐츠 내의 아바타의 움직임을 구현하는데 한계를 가지므로, 전방위 이동과 점프 등의 동작 인식이 가능한 미끄럼판 트레드밀 형태가 주로 개발되고 있다.Recently, due to the development of virtual reality content, the track treadmill type that recognizes simple straight walks has a limitation in realizing the movement of avatars in the content. Therefore, the sliding treadmill type that can recognize motion such as omnidirectional movement and jump is mainly used. Is being developed.

도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면이다.1 is a view showing the structure of a conventional walking detection device of the sliding plate treadmill type.

도 1을 참고하면, 대한민국 등록특허 제10-1435366호 “보행 감지 인터페이스 기기 및 이를 이용한 보행 정보 제공 방법”에서 개시하고 있는 미끄럼판 트레드밀 형태의 보행감지 인터페이스 기기의 경우, 받침대(40)로 지지되는 원형의 미끄럼판인 보행유도부(10)와 이러한 보행유도부(10)상에 마련된 다수의 압전 센서인 보행감지부(20)와 중앙에 사용자가 대기할 수 있는 정지부(30)를 구비한 구성으로써, 사용자가 보행유도부(10)상에서 보행을 실시하면, 사용자의 족부와 접하는 다수개의 보행감지부(20)에 의해 사용자의 보행방향이나, 보행속도 등을 인식하여 가상현실 상의 아바타와 동기화한다.Referring to FIG. 1, in the case of a sliding treadmill type walk detection interface device disclosed in Korean Patent Registration No. 10-1435366 “Walking detection interface device and a method for providing walking information using the same”, the support 40 is supported by a pedestal 40. By having a walking guide portion 10 that is a circular sliding plate and a plurality of piezoelectric sensor walking detection portion 20 provided on the walking guide portion 10 and the stop portion 30 that the user can wait in the center When the user walks on the walking induction part 10, the plurality of walking detection units 20, which are in contact with the foot of the user, recognize the walking direction, the walking speed, and the like of the user and synchronize with the avatar on the virtual reality.

그러나, 이러한 보행감지 방식의 경우, 압전 센싱방식으로, 상기 보행감지부(20)와 같은 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하므로, 보행방향이나, 보행속도감지에 있어 사용자 족부에 의해 제대로 압박되거나 롤링되지 못할 경우, 인지의 오류가 일어나, 정확도가 떨어지고, 다수의 압전센서에 의해 장치가 비대해지고 복잡해지는 등의 문제점이 있다.However, in the case of the gait detection method, the piezoelectric sensing method, because a plurality of piezoelectric sensors such as the gait detection unit 20 is in direct contact with the user's foot or pressed or rolled in a way to detect the walking, In the walking speed detection, if the user's foot is not properly pressed or rolled, a recognition error occurs, the accuracy is lowered, and the apparatus is enlarged and complicated by a plurality of piezoelectric sensors.

또한, 이러한 미끄럼판 트레드밀 방식은, 전진 보행을 수행하기에는 적합하나, 후진 보행의 경우, 사용자가 뒷걸음질로 미끄럼판을 이동하면서 균형감각을 상실하여 넘어지거나, 원하는 동작 수행이 어려운 문제점이 상존하며, 사용자의 시야 전체를 디스플레이 하는 헤드마운트 디스플레이(HMD) 방식으로 가상현실을 구현할 경우, 균형감각 상실의 문제점이 배가 된다.In addition, the sliding plate treadmill method is suitable for performing forward walking, but in the case of backward walking, the user loses the sense of balance while moving the sliding plate by backward walking, or there is a problem that it is difficult to perform a desired operation. When the virtual reality is implemented by the head mounted display (HMD) method of displaying the entire field of view, the problem of loss of balance is doubled.

따라서 별도의 부가적인 신체 장착구성 없이도 정확한 보행 방향판단이 가능하고, 전/후진은 물론, 좌우 이동 등에 대한 인식이 가능한 가상현실 제공 방법에 대한 개발 필요성이 증대되고 있다.Therefore, there is an increasing need for development of a virtual reality providing method capable of accurately determining a walking direction without an additional body mounting configuration and recognizing forward and backward as well as left and right movement.

대한민국 등록특허 제10-1435366호(등록일 : 2014.08.22)의 “보행 감지 인터페이스 기기 및 이를 이용한 보행 정보 제공 방법”Republic of Korea Patent Registration No. 10-1435366 (Registration Date: 2014.08.22) "Pedestrian detection interface device and method of providing pedestrian information using the same"

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이도, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공하는 것을 목적으로 한다.The present invention is to solve the above problems, by projecting the infrared light irradiated along the upper surface of the foot on the foot of the user located on the foot through the infrared transmission reflected light reflected by the foot of the user located on the foot to the foot A foot image is obtained by using a camera provided, and the walking pattern of the user is recognized by analyzing the change pattern of the foot image, thus recognizing the walking direction, the walking speed, and the walking type. By synchronizing with the movement of the avatar in the virtual space, it is possible to effectively provide various types of walking simulations in the virtual reality by recognizing accurate walking motions according to the user's intention with a simple configuration without the need of a separate touch sensor for the user located on the footrest. The purpose.

상기와 같은 목적을 달성하기 위해 적외선 투과 가능한 발판 하부에 구비되는 카메라를 통해 상기 발판 상에 위치한 사용자의 족부로부터 반사되는 사용자 족적의 적외선 영상을 촬영하여, 촬영된 족적 영상 패턴을 분석하여 가상현실을 제공하는 방법에 있어서, 상기 카메라를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계; 상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계; 상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계; 상기 사용자 동체주시 방향을 기준으로 발판 저면 영상에 가상의 방위영역을 설정하는 단계; 설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계; 및 상기 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계;를 포함하여 구성되는 것을 특징으로 한다.In order to achieve the above object, the infrared ray image of the user's foot reflected from the foot of the user located on the foothold is photographed through a camera provided under the footboard capable of transmitting infrared rays, and the photographed foot image pattern is analyzed to analyze virtual reality. A method comprising: acquiring a scaffold bottom image including a foot reflected light of a user through the camera; Extracting a foot image from the obtained scaffold bottom image; Determining a moving body heading direction of the moving body of the user through the extracted foot image; Setting a virtual azimuth region on a scaffold bottom image based on the direction of the user's fuselage; Determining a walking direction of the user by recognizing a bearing area where the foot image is located according to the set azimuth area, and determining a walking speed and a walking type of the user according to a detection frequency of the foot image; And synchronizing the movement of the user with the movement of the avatar in the virtual space according to the walking direction, the walking speed, and the walking form.

본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법은, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행판단이 가능하며, 또한 발판의 영역을 구획별로 구분하여 사용자의 보행동작 시, 전ㆍ후진은 물론, 좌ㆍ우 이동 등에 대한 인식이 가능함으로써, 기존 압전센싱에 기반한 가상현실 제공 방법에 비하여 사용 편의성을 향상시키는 동시에, 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공 하는 효과가 있다.In accordance with the present invention, the method for providing a virtual reality based foot image pattern analysis includes projecting infrared rays irradiated along the upper surface of the foot to the foot of the user positioned on the foot which can transmit infrared light, thereby scaffolding the reflected light reflected by the foot of the user positioned on the foot. Acquire foot prints by using a camera provided on the lower part, and analyze the change pattern of the foot prints thus obtained to recognize the walking motion of the user, that is, the walking direction, the walking speed, and the walking type. By synchronizing the movement with the movement of the avatar in the virtual space, it is possible to determine the correct walking according to the user's intention with a simple configuration without a separate contact sensor for the user located on the footrest, and also to divide the foothold area by section During walking, the driver can recognize not only forward and backward movements but also left and right movements. As a result, the convenience of use is improved as compared with the conventional method of providing virtual reality based on piezoelectric sensing, and it is effective to effectively provide various types of walking simulations in the virtual reality through accurate walking motion recognition.

도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면
도 2는 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법에 적용되는 족적영상 획득 장치의 구조를 보여주는 도면
도 3은 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 순차적으로 보여주는 순서도
도 4는 본 발명의 일 실시예에서 발판 저면에 투영된 족부 반사광으로부터 얻어지는 족적이미지를 보여주는 도면
도 5는 본 발명의 일 실시예에서 사용자가 무릎앉아 자세를 취할 시 족적 이미지 및 이에 따른 패턴박스 형태를 보여주는 도면
도 6은 본 발명의 일 실시예에서 사용자 동체주시 방향에 따른 발판상의 방위영역 설정을 보여주는 도면
도 7은 본 발명의 일 실시예에서 족적 이미지가 위치하는 방위영역에 따라 사용자의 보행방향을 인식하는 과정을 보여주는 도면
1 is a view showing the structure of a conventional walking detection device of the sliding plate treadmill type
2 is a diagram showing the structure of a foot image acquisition device applied to a method for providing a foot-based image analysis based virtual reality according to an embodiment of the present invention;
3 is a flowchart sequentially showing a method of providing foot-based image pattern analysis-based virtual reality according to an embodiment of the present invention.
4 is a view showing foot images obtained from the foot reflected light projected on the bottom surface of the scaffold in an embodiment of the present invention;
5 is a view showing the foot image and the pattern box shape according to the foot when the user takes a sitting position in one embodiment of the present invention
Figure 6 is a view showing the setting of the bearing area on the scaffolding according to the user fuselage direction in one embodiment of the present invention
FIG. 7 is a view illustrating a process of recognizing a walking direction of a user according to an azimuth region in which foot images are located in an embodiment of the present invention.

이하, 본 발명의 실시예에 대하여 상세히 설명하지만, 본 발명은 그 요지를 이탈하지 않는 한 이하의 실시예에 한정되지 않는다.EMBODIMENT OF THE INVENTION Hereinafter, although the Example of this invention is described in detail, this invention is not limited to a following example, unless the summary is exceeded.

도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면으로서, 앞서 설명한 바와 같이, 압전 센싱방식으로, 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하므로, 보행방향이나, 보행속도감지에 있어 제대로 압박되거나 롤링되지 못할 경우, 인지의 오류가 일어나, 보행인식 정확도가 떨어지고, 다수의 압전센서에 의해 장치가 비대해지고 복잡해지는 등의 문제점이 있었다.1 is a view illustrating a structure of a conventional sliding plate treadmill type walk detection device. As described above, in the piezoelectric sensing method, a plurality of piezoelectric sensors are directly contacted with a user's foot to be pressed or rolled. As it detects walking, when it is not pressed or rolled properly in the direction of walking or speed of walking, a recognition error occurs and walking recognition accuracy decreases, and a plurality of piezoelectric sensors increase the size and complexity of the device. there was.

또한, 이러한 센서 감지 방식은 전진 보행을 수행하기에는 적합하나, 후진 보행의 경우, 사용자가 뒷걸음질로 미끄럼판을 이동하면서 균형감각을 상실하여 넘어지거나, 원하는 동작 수행이 어려운 문제점이 상존하므로, 군사 훈련이나, 슈팅게임을 위한 전술 시뮬레이션용 가상현실 시스템과 같이, 보행방향의 전환이 급작스럽게 진행되거나, 옆걸음, 후진 등의 이동이 자주 요구되는 시뮬레이션에는 적용하기 어려운 문제점이 있다.In addition, such a sensor detection method is suitable for performing forward walking, but in the case of backward walking, the user loses his or her sense of balance while moving the sliding plate with backward walking, or there is a problem that it is difficult to perform a desired motion. As in the virtual reality system for tactical simulation for a shooting game, there is a problem that it is difficult to apply to a simulation in which the change of walking direction is suddenly progressed or the movement of sideways, backward, etc. is frequently required.

도 2는 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법에 적용되는 족적영상획득 장치의 구조를 보여주는 도면이다.FIG. 2 is a diagram illustrating a structure of a foot image acquisition device applied to a foot image analysis method based on virtual foot pattern providing method according to an exemplary embodiment.

도 2를 참고하여 설명하면, 본 발명의 일 실시예에 따른 족적영상획득 장치는, 적외선 투과성의 발판(100); 상기 발판(100)의 상면을 따라 상기 발판(100)의 중심방향으로 적외선을 투사하는 광원부(200); 및 상기 발판(100) 하부에 구비되어 적외선에 의해 반사되는 사용자 족부의 반사광을 촬영하여 족적영상을 획득하는 카메라(300); 및 가상현실을 사용자에게 시청각적으로 구현하는 디스플레이(400)를 포함하여 구성될 수 있다.Referring to Figure 2, foot print image acquisition apparatus according to an embodiment of the present invention, infrared transmissive scaffold 100; A light source unit 200 projecting infrared rays along the upper surface of the scaffold 100 toward the center of the scaffold 100; And a camera 300 provided below the scaffold 100 to capture the reflected light of the user foot reflected by infrared rays to obtain a foot image. And a display 400 that visually implements virtual reality to a user.

이를 보다 구체적으로 설명하면, 발판(100)의 외주면을 따라 구비되는 광원부(200)가 적외선 투과성 재질(아크릴, 폴리카보네이트 등)로 형성된 발판(100)의 상면을 따라, 발판(100)의 상면 중앙을 향해 적외선을 투사하면, 투사된 적외선은 사용자의 족부에 부딪혀 주변으로 산란 반사되는데, 이 중, 발판(100)의 하부로 반사되는 적외선은 적외선 투과성의 발판(100)을 투과하여 발판(100)하부로 반사되며, 발판(100) 하부에 마련된 카메라(300)가 이러한 반사광을 촬영함으로써 족적 이미지를 획득하게 된다.In more detail, the light source unit 200 provided along the outer circumferential surface of the scaffold 100 is along the upper surface of the scaffold 100 formed of an infrared transmissive material (acrylic, polycarbonate, etc.), and the center of the upper surface of the scaffold 100. When the infrared light is projected toward the infrared ray, the projected infrared rays hit and scatter scattered around the user's foot. Among them, the infrared rays reflected to the bottom of the footrest 100 pass through the footboard 100 that is transparent to the footrest 100. Reflected downward, the camera 300 provided under the scaffold 100 captures the reflected light to acquire foot images.

또한, 이후의 본 발명의 설명에서 후술되는 바와 같이, 획득된 족적 이미지의 분석을 통해 사용자의 보행방향, 보행속도 및 보행형태 등을 파악하여 가상현실 내의 아바타의 움직임을 이와 동기화 시킴으로써, 디스플레이(400)를 통해 가상현실을 표출하여 사용자에게 현실감 있는 가상현실을 제공할 수 있다.In addition, as described below in the following description of the present invention, by analyzing the acquired foot image, the user grasps a walking direction, a walking speed, a walking shape, and the like to synchronize the movement of the avatar in the virtual reality with the display 400 By expressing the virtual reality through) can provide a realistic virtual reality to the user.

이때, 가상현실을 제공하는 디스플레이(400)는, 헤드 마운트 디스플레이(HMD) 또는 전방위 스크린 방식의 디스플레이 스크린 등을 이용할 수 있다.In this case, the display 400 for providing virtual reality may use a head mounted display (HMD) or an omnidirectional screen display screen.

도 3은 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 순차적으로 보여주는 순서도이다.3 is a flowchart sequentially showing a method of providing foot-based image pattern based virtual reality according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명은 앞에서 설명한 족적영상 획득장치를 이용하여, 사용자의 보행동작을 인식함으로써, 가상공간 내의 아바타의 움직임과 사용자의 움직임을 동기화 시키는 가상현실 제공 방법에 관한 것으로서, 카메라(300)를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계(S100); 상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계(S200); 상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계(S300); 상기 사용자의 동체주시 방향을 기준으로 발판 저면영상에 가상의 방위영역을 설정하는 단계(S400); 설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계(S500); 및 상기 사용자의 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계(S600);를 포함하여 족적 영상 패턴 분석 기반으로 보행판단을 수행함으로써, 사용자 족부와 직접 접촉되는 센서장치 없이 정확한 보행 방향판단이 가능하도록 하고 있다.As shown in FIG. 3, the present invention relates to a virtual reality providing method for synchronizing a user's movement with an avatar in a virtual space by recognizing a walking motion of a user using the foot image obtaining apparatus described above. Obtaining a scaffold bottom image including the foot reflected light of the user through the camera 300 (S100); Extracting a foot image from the obtained scaffold bottom image (S200); Determining a moving body heading direction of the moving body of the user through the extracted foot image (S300); Setting a virtual azimuth region in the scaffolding bottom image based on the user's fuselage direction (S400); Determining a walking direction of the user by recognizing a bearing area where the foot image is located according to the set azimuth area, and determining a walking speed and a walking type of the user according to the detection frequency of the foot image (S500); And synchronizing the movement of the user and the movement of the avatar in the virtual space according to the walking direction, the walking speed, and the walking type of the user (S600). Accurate walking direction determination is possible without the sensor device in direct contact with the sensor.

이하 도 3의 순서도에 도시된 본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 도 4 내지 도 7을 참조하여 보다 상세히 설명한다.Hereinafter, a method for providing a virtual reality-based virtual reality providing method according to the present invention shown in the flowchart of FIG. 3 will be described in more detail with reference to FIGS. 4 to 7.

도 4는 본 발명의 일 실시예에서 발판 저면에 투영된 족부 반사광으로부터 얻어지는 족적 이미지를 보여주는 도면이다.FIG. 4 is a view showing foot images obtained from the foot reflected light projected on the bottom surface of the scaffold in one embodiment of the present invention.

이를 구체적으로 살펴보면, 먼저 발판(100) 저면 영상을 획득하는 단계(S100)에서는, 도 4에서 보여지는 바와 같이, 광원부(200)의해 사용자의 족부로 투사된 적외선이 주변으로 산란반사하여 반사된 반사광이 족적의 외주면 형상을 그대로 나타내므로, 발판(100)의 저면을 촬영하는 카메라(300)에 의해 이러한 족적 형상의 적외선 반사광을 포함하는 발판(100)저면 영상을 획득하게 된다.In detail, first, in the step (S100) of acquiring the bottom image of the scaffold 100, as shown in FIG. 4, the reflected light reflected by the scattered and reflected infrared rays of the user's foot by the light source unit 200 is reflected. Since the shape of the outer circumferential surface of the foot is displayed as it is, the bottom image of the footrest 100 including the infrared reflected light of the foot shape is obtained by the camera 300 photographing the bottom of the footrest 100.

이 후, 상기와 같이 획득된 발판(100) 저면 영상 중, 족적 이미지만을 선택적으로 인식하는 족적 이미지 추출단계(S200)를 수행하는데, 이러한 족적 이미지의 추출은, 먼저, 족적 이미지의 추출 속도를 높이기 위하여 상기 획득된 발판 저면 영상을 이진화 처리하게 된다.Subsequently, the foot image extraction step (S200) of selectively detecting only foot images is performed from the bottom image obtained in the scaffold 100 as described above. The extraction of the foot images, first, speeds up the extraction of the foot images. In order to binarize the obtained scaffold bottom image.

이는, 발판 저면 영상의 이진화를 통하여 족적 이미지 추출을 위한 이미지 필터링에 필요한 연산 속도를 높여주기 위한 작업으로서, 이러한 연산속도 향상을 통해 족적 감지를 단시간 내에 즉각적으로 수행할 수 있도록 한다.This is a task to increase the computational speed required for image filtering to extract the foot image through the binarization of the scaffold bottom image, and thus it is possible to immediately perform the foot detection in a short time through the improvement of the computation speed.

이후, 상기와 같이 이진화한 발판 저면 영상에서 족적 이외의 노이즈 반사광을 제거하게 되는데, 이는, 족적의 평균적인 사이즈를 사전에 인지하도록 하여, 이러한 족적 사이즈에 미달되는 작은 크기의 반사광이나, 노이즈 이미지들을 판별하여 자동으로 제거하도록 함으로써, 발판 저면 영상에서 족적을 제외한 불필요한 반사광을 삭제하여 족적 이미지 추출을 용이하게 하도록 한다. Then, the noise reflected light other than foot prints is removed from the binarized scaffold bottom image as described above, so that the average size of the foot prints is recognized in advance, so that the reflected light or noise images having a smaller size than the foot prints are detected. By discriminating and automatically removing, unnecessary reflection light except for foot prints is removed from the scaffold bottom image to facilitate foot image extraction.

따라서, 족적 이미지를 추출함에 있어, 발판 저면 영상에 대한 이진화 및 노이즈 반사광의 제거를 수행함으로써, 족적 이미지 추출의 정확성 및 연산속도를 높일 수 있도록 할 수 있다.Therefore, in extracting foot prints, it is possible to increase the accuracy and calculation speed of foot print image extraction by performing binarization on the scaffold bottom image and removing noise reflection light.

다음으로, 사용자의 동체가 주시하고 있는 방향을 판단하는 단계(S300)에서는, 양 족적의 방향을 추정하고, 이러한 각 족적 방향의 중심선을 추출하여 사용자의 동체가 주시하고 있는 방향을 인지하게 된다. Next, in step S300 of determining the direction of the user's fuselage, the direction of both feet is estimated, and the centerline of each of the footprints is extracted to recognize the direction of the user's fuselage.

이를 구체적으로 설명하면, 먼저, 추출된 족적 이미지에서, 양 발의 족적 이미지의 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하고, 이렇게 형성된 한쌍의 패턴박스 내의 족적이 향하고 있는 방향을 판단하여, 판단된 방향에 따라 패턴박스를 길이방향으로 양분하는 한쌍의 가상의 족적 중심선을 생성하여, 이러한 한쌍의 족적 중심선의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단하게 된다.In detail, first, in the extracted foot image, a pair of imaginary pattern boxes incorporating the outer circumferential surface of the foot image of both feet are formed, and the direction of the foot marks in the pair of pattern boxes formed as described above is determined and judged. By generating a pair of imaginary foot center line dividing the pattern box in the longitudinal direction according to the direction, the center direction of dividing the angle of the pair of foot center line is determined as the user's fuselage direction.

상세하게는, 먼저, 패턴박스의 형성은, 상기 족적 이미지를 추출하는 단계에서 추출된 한쌍의 족적 이미지의 외주면을 인식하고, 이러한 각각의 족적 이미지의 외주면을 내입할 수 있는 한쌍의 직사각형 형상 패턴박스를 생성하는 것이다.Specifically, first, the formation of the pattern box, a pair of rectangular pattern box that can recognize the outer circumferential surface of the pair of foot image extracted in the step of extracting the foot image, and can embed the outer circumferential surface of each foot image To generate.

이후, 상기 패턴박스 상에 족적 중심선을 각각 생성하게 되는데, 이는 패턴박스가 형성된 각 족적이 향하고 있는 방향을 추정하기 위한 것으로, 이러한 족적 방향의 추정은, 족적 형상 중, 길이방향의 양 끝단을 추정하여, 양 끝단의 형상 중, 폭이 상대적으로 좁고 둥근 끝단을 후면, 폭이 상대적으로 넓고 불규칙한 끝단을 전면으로 판단하여, 족적의 방향을 인식하며, 패턴박스를 길이방향으로 양분하는 가상의 족적 중심선을 각각 생성하여 각 족적 이미지의 중심 방향을 파악한다.Then, each foot center line is generated on the pattern box, which is for estimating the direction of each foot on which the pattern box is formed, and the estimation of the foot direction is performed by estimating both ends in the longitudinal direction of the foot shape. In the shape of both ends, a relatively narrow and round end is judged as the rear, a relatively wide and irregular end is considered as the front, and the foot foot is recognized, and the imaginary foot center line dividing the pattern box in the longitudinal direction Create each to identify the center direction of each foot image.

다음으로, 사용자의 동체가 주시하고 있는 방향의 판단은, 상기와 같이 각각 생성된 한쌍의 족적 중심선의 사이의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단한다.Next, the determination of the direction that the user's fuselage is watching determines the central direction that bisects the angles between the pair of foot centerlines generated as described above as the user's fuselage direction.

이와 같은 방식을 통해 본 발명에서는, 사용자 신체에 부착하는 부가적인 장치 없이도, 양 족적 이미지를 기반으로 사용자의 동체가 주시하고 있는 방향을 정확하게 추정하는 것이 가능하다.In this manner, in the present invention, it is possible to accurately estimate the direction that the user's fuselage is looking on based on bilateral images without additional devices attached to the user's body.

한편, 본 발명에서는, 상술한 바와 같이 사용자의 동체가 주시하고 있는 방향을 판단하는 단계(S300)이후, 사용자가 서있는 상태인지 또는 무릎앉아 상태인지를 판단하는 좌립(坐立)여부 판단 단계를 더 포함할 수도 있다.On the other hand, in the present invention, after the step (S300) of judging the direction that the user's fuselage is watching as described above, the step of determining whether the user is standing or knee sitting state further It may also include.

도 5는 본 발명의 일 실시예에서 사용자가 무릎앉아 자세를 취할 시 족적 이미지 및 이에 따른 패턴박스 형태를 보여주는 도면이다.5 is a view showing a foot image and a pattern box shape according to the user's knees to take a posture in an embodiment of the present invention.

도 5의 (a)에서 보여지는 것과 같이, 사용자가 무릎앉아 자세를 취할 경우, 양발의 족적 이미지 중 하나가 다른 하나에 비하여 길이가 줄어들게 되는데, 이는 무릎앉아 자세가, 양 족부 중 한쪽은 온전히 발판(100)상에 지지되고, 다른 한쪽은 뒤꿈치가 발판(100)에서 떨어진 상태로 접촉되기 때문으로, 이러한 양 족적의 길이차이를 인지하여 사용자가 서있는 상태인지 또는 무릎앉아 상태인지를 판단할 수 있다.As shown in (a) of FIG. 5, when the user sits on the knee, one of the foot images of the feet is reduced in length compared to the other, which is the knee sitting position, and one of both feet is fully footed. It is supported on the (100), because the other side is in contact with the heel away from the footrest 100, it is possible to determine whether the user is standing or kneeling state by recognizing the difference in the length of both feet. .

즉, 도 5의 (b)에서와 같이, 이 경우에도 추출된 족적 이미지에서 양 발의 족적 이미지 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하게 되는데, 이러한 한쌍의 패턴박스 각각의 길이를 상호 대조하여, 한 패턴박스의 길이가 다른 하나의 길이에 비하여 상대적으로 일정비율 이하의 작은 길이로 형성되고, 또한 이상태가 소정의 시간동안 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하게 된다.That is, as shown in (b) of FIG. 5, in this case, a pair of imaginary pattern boxes incorporating the foot circumferential surface of both feet in the extracted foot image are formed, and the length of each of the pair of pattern boxes is contrasted with each other. Thus, when the length of one pattern box is formed to be a relatively small length less than a certain ratio compared to the length of the other, and also if this state is maintained for a predetermined time, it is determined that the user is sitting on the knees.

이때, 일반적으로 사용자의 족부 형태에 따라, 한쌍의 족적 이미지의 크기가 상호 조금씩 다를 수 있는데, 사용자가 무릎앉아 자세를 취하고 있는지 명확하게 판단하기 위해서는, 상호 대조되는 한쌍의 패턴박스 중, 상대적으로 작은 패턴박스의 길이에 대하여 무릎앉아자세로 판단할 기준치를 설정한다. At this time, the size of a pair of foot image may be slightly different from each other, depending on the shape of the foot of the user, in order to clearly determine whether the user is sitting on the knee, the relatively small of the pair of contrasting pattern box Set the standard value to be judged by the kneeling position with respect to the length of the pattern box.

즉, 상대적으로 작은 패턴박스의 길이가 다른 패턴박스의 길이와 비교하여 미리 설정된 일정 비율 이하일 경우, 사용자가 무릎앉아 자세를 취하고 있는 것으로 판단한다.That is, when the length of the relatively small pattern box is less than a predetermined ratio compared to the length of the other pattern box, it is determined that the user is sitting on the knees.

예로써, 본 발명의 일 실시예에서는 한쌍의 패턴박스 중, 상대적으로 작은 패턴박스의 길이가 다른 패턴박스의 길이 대비 70% 이하인 상태로, 일정시간, 예로써 1초 이상의 시간동안 그대로 유지되는 경우 무릎앉아 상태로 판단한다. For example, in one embodiment of the present invention, when the length of the relatively small pattern box of the pair of pattern box is 70% or less than the length of the other pattern box, it is maintained for a certain time, for example, for more than 1 second Judging by sitting on the knee.

따라서, 이러한 족적 이미지의 분석만으로 사용자 신체에 부착하는 부가적인 장치 없이, 사용자의 좌립동작을 판단할 수 있다.Therefore, it is possible to determine the user's left hand movement without the additional device attached to the user's body only by analyzing the foot image.

도 6은 본 발명의 일 실시예에서 사용자 동체주시 방향에 따른 발판상의 방위영역 설정을 보여주는 도면이다.6 is a view showing the setting of the azimuth on the footrest according to the user's fuselage direction in one embodiment of the present invention.

방위영역을 설정하는 단계(S400)에서는, 도 6에서 보여지는 것과 같이, 사용자 동체 주시선의 방향을 기준으로, 발판(100) 저면 이미지 상에 가상의 방위영역을 설정하게 된다.In the setting of the azimuth region (S400), as shown in FIG. 6, a virtual azimuth region is set on the bottom image of the footrest 100 based on the direction of the user's trunk gaze line.

이러한 방위영역은, 바람직하게는, 도 6의 (a)에 도시된 바와 같이, 상기 발판(100)을 전ㆍ후ㆍ좌ㆍ우 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 8개 영역으로 구분하도록 하고, 도 6의 (b)에 도시된 바와 같이, 사용자가 보행동작 중, 방향을 전환하여 사용자 동체 주시선의 방향이 변경되면, 변경된 방향에 따라 방위영역도 동기화 하도록 한다.Such azimuth region is preferably such that the footrest 100 is divided into eight regions: front, rear, left, right and front left, front right, rear left, rear as shown in FIG. 6 (a). 6 (b), when the user switches directions during the walking operation and the direction of the user's body gaze line changes, the azimuth region is also synchronized according to the changed direction.

이때, 상기 방위영역은, 도 6에서 보여지는 것과 같이, 중앙과 전방을 동일 영역으로 인식하도록 하도록 하는데, 이는, 중앙에서 제자리걸음을 수행하더라도, 전진 보행을 수행하는 것으로 인식할 수 있도록 하기 위함으로, 전방영역과 중앙영역을 포함하는 영역을 전진보행 수행영역으로 판단하도록 한다.At this time, the azimuth region, as shown in Figure 6, so that the center and the front to be recognized as the same area, in order to be able to be recognized as performing the forward walking, even if you perform the step in the center In this case, the area including the front area and the center area is determined as the forward walking performance area.

이후, 보행방향, 보행속도 및 보행형태 판단 단계(S500)에서는, 사용자의 보행에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 인식된 방위영역에 따른 사용자의 보행방향을 판단하는 동시에, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단한다.Then, in the walking direction, the walking speed and the walking shape determination step (S500), in accordance with the user's walking, the direction of the foot image is recognized to determine the walking direction of the user according to the recognized bearing area, The walking speed and walking type of the user are determined according to the detection frequency of the image.

도 7은 본 발명의 일 실시예에서 족적 이미지가 위치하는 방위영역에 따라 사용자의 보행방향을 인식하는 과정을 보여주는 도면이다.FIG. 7 is a view illustrating a process of recognizing a walking direction of a user according to an azimuth region in which foot images are located in an embodiment of the present invention.

먼저, 도 7을 참고하면, 방위영역에 따른 보행방향의 판단은, 족적 이미지가 전방과 중앙영역을 포함하는 전진영역에 위치할 경우 전진보행으로 판단하고, 족적 이미지가 좌영역에 위치할 경우 좌걸음, 우영역에 위치할 경우 우걸음, 후영역에 위치할 경우 후진걸음으로 판단하며, 또한, 족적 이미지가 전좌영역ㆍ전우영역ㆍ후좌영역 또는 후우영역에 위치하는 경우 각 방향에 맞는 사선걸음의 보행방향으로 판단할 수 있다.First, referring to FIG. 7, the determination of the walking direction according to the azimuth area is determined as a forward walk when the foot image is located in the forward area including the front and center areas, and when the foot image is located in the left area, the left direction is determined. If it is located in the front area, the front area, the front right area, the rear left area, or the rear right area, it is determined to be the right step when the step is located in the right area and the rear area. It can be judged in the direction of walking.

기본적으로 이러한 보행방향의 판단은 도 7의 (a)와 같이, 양 족적 이미지가 모두 목적하는 해당 방위영역 내로 진입한 경우에 해당 방위영역에 대한 보행방향으로 판단한다.Basically, the determination of the walking direction is determined as the walking direction of the corresponding defense area when both bilateral images enter the target defense area as shown in FIG.

또한, 도 7의 (b) 및 (c)와 같이 양 족적 이미지 중, 하나는 전진영역에 위치하고, 다른 하나는 전진영역 이외의 타 방위영역에 위치하였을 시에는 사용자 동체 주시선의 위치를 판별하여 해당 방위영역에 따른 보행방향을 판단한다.In addition, as shown in (b) and (c) of FIG. 7, when one of the bilateral images is located in the forward area and the other is located in the other azimuth area other than the forward area, the position of the user's fuselage gaze line is determined. Determine the walking direction according to the direction of defense.

예로써, 도 7에서 보여지는 바와 같이, 한쌍의 족적 이미지 중, 하나는 전방영역에 위치하고, 다른 하나는 우영역에 위치한 경우, 도 7의 (b)와 같이 양 족적 이미지 사이에 형성되는 사용자 동체 주시선이 전방영역 내에 위치하면 전진 보행으로 판단하고, 도 7의 (c)와 같이, 사용자 동체 주시선이 우영역 내에 있으면, 사용자가 전방을 주시하며 우로 옆걸음 이동하는 것으로 판단한다.For example, as shown in FIG. 7, when one of the pair of foot images is located in the front region and the other is located in the right region, a user body formed between the two foot images as shown in FIG. 7B. If the gaze line is located in the front region, it is determined to be a forward walk. As shown in (c) of FIG. 7, if the gaze line of the user body is within the right region, it is determined that the user watches the front and moves sideways to the right.

따라서, 기존의 압전 센싱방식으로, 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하는 방식에서는 인지하지 못하였던 좌우 옆걸음, 후진걸음 등의 보행형태 인식을 가능하게 하여, 군사 훈련이나, 슈팅게임을 위한 전술 시뮬레이션용 가상현실 시스템에서 요구되는 다양한 보행양태의 인식이 가능하다.Therefore, in the conventional piezoelectric sensing method, a plurality of piezoelectric sensors are directly contacted with the foot of the user, and the walking type recognition, such as left and right side steps, backward steps, etc. In this way, it is possible to recognize various types of walking required in virtual reality systems for tactical simulation for military training or shooting games.

다음으로, 보행속도의 산출은, 사용자의 보행에 따라, 한쌍의 족적 이미지가 번갈아 인식되는 검출 빈도를 확인하여 사용자의 이동 속도를 판단하는 것으로, 사용자가 보행을 위하여 족부를 들었다 다시 발판(100)상에 놓는 과정을 한걸음으로 인식하여 이러한 걸음의 빈도 측정으로 보행속도를 판단하게 된다.Next, the calculation of the walking speed is to determine a moving frequency of the user by checking a detection frequency in which a pair of foot images are alternately recognized according to the user's walking, and the user lifts the foot for walking. Recognizing the process of putting on a step to determine the walking speed by measuring the frequency of these steps.

이 때, 인식된 보행속도에 따라, 가상현실 내의 아바타의 보폭을 산정하게 되는데, 이는 실제 보행에 있어서도 보행속도가 증가하면 이에 비례하여 보폭이 증가하는 것을 모사하기 위한 것으로서, 산출되는 보행속도 증가에 비례하여 아바타의 보폭을 증가하도록 하고, 이러한 보폭의 제어는 산출되는 보행속도를 그대로 반영하여 제어하거나, 보행속도를 단계적인 보행형태로 구분하여 이러한 보행형태에 따른 단계적인 제어를 수행할 수 있다.In this case, the stride length of the avatar in the virtual reality is calculated according to the recognized walking speed, which is to simulate the increase in the walking speed in proportion to the increase in the walking speed. The stride length of the avatar may be increased in proportion, and the control of the stride length may be performed by reflecting the calculated walking speed as it is, or the stepping control may be performed by classifying the walking speed into stepped walking patterns.

산출되는 보행속도를 그대로 반영하여 보폭을 제어하는 경우에는, 일 예로서 본 실시예에서는 족적 이미지의 검출빈도가 초당 3회 이내의 저속일 경우, 아바타의 최소 보폭을 30cm 이상 50cm 미만의 범위에서 산정하고, 검출빈도가 초당 7회 이상의 고속일 경우, 최대 보폭을 1.5m 이상 2m 미만의 범위에서 산정하는 것으로, 즉, 30cm 내지 2m 내의 범위에서 아바타의 보폭을 제어할 수 있다.In the case of controlling the stride length by reflecting the calculated walking speed, as an example, in the present embodiment, the minimum stride length of the avatar is calculated within the range of 30 cm or more and less than 50 cm when the detection frequency of the foot image is low within 3 times per second. In addition, when the detection frequency is 7 or more times per second, the maximum stride length is calculated in the range of 1.5 m or more and less than 2 m, that is, the stride length of the avatar can be controlled in the range of 30 cm to 2 m.

보행속도를 단계적인 보행형태로 구분하는 경우에는, 보행속도에 따라, 일반걸음, 속보 및 달리기의 3단계 또는, 일반걸음, 속보, 달리기 및 전력질주의 4단계 등으로 구분할 수 있다.When the walking speed is divided into stepped walking forms, the walking speed may be divided into three steps of general walking, breaking and running, or four steps of general walking, breaking, running, and sprinting.

일 예로써, 본 실시예에서는 족적 이미지 검출 빈도가 1초에 3회 이내이면 일반 걸음, 3회 이상 5회 이내이면 속보, 5회 이상 7회 이내이면 달리기, 7회 이상은 전력질주로 판단할 수 있고, 이러한 보행형태의 구분에 따라, 가상공간 내에서 동작하는 아바타의 보폭은, 일반 보행의 경우 30cm 이상 50cm 미만, 속보의 경우 50cm 이상 80cm 미만, 달리기의 경우 80cm 이상 1.5m 미만, 전력질주의 경우 1.5m 이상 2m 미만의 범주로 제어하여 보행형태에 따른 보폭변화를 아바타에 반영하도록 할 수 있다.For example, in the present embodiment, if the foot image detection frequency is within 3 times per second, the general step, breaking more than 3 times or less than 5 times, running if less than 5 times or less than 7 times, and determining 7 times or more as sprint According to the classification of the walking type, the stride of the avatar operating in the virtual space is 30 cm or more and less than 50 cm for general walking, 50 cm or more and less than 80 cm for breaking news, 80 cm or more and less than 1.5 m for running, sprint In the case of 1.5m or more and less than 2m in the category can be controlled to reflect the change in the stride length according to the walking type.

따라서, 사용자가 불규칙한 빈도의 보행을 실시하더라도, 검출 빈도범위가 지정하는 보행형태로 인식하도록 함으로써, 보행속도 산출에 따른 연산속도를 단축시키고, 안정적인 보행속도 인식을 가능하게 한다.Therefore, even if the user walks at an irregular frequency, the user recognizes the walking pattern as designated by the detection frequency range, thereby shortening the calculation speed according to the walking speed calculation and enabling stable walking speed recognition.

마지막으로, 아바타의 움직임을 동기화 시키는 단계(S600)에서는, 상기와 같이 파악된 보행방향, 보행속도 및 보행형태에 따라, 디스플레이(400)에서 표출하는 가상공간 내의 아바타의 움직임을 동기화 시킨다.Finally, in the step S600 of synchronizing the movements of the avatars, the movements of the avatars in the virtual space displayed on the display 400 are synchronized according to the walking direction, the walking speed, and the walking form.

즉, 사용자 동체 주시선에 따라 인지된 사용자의 동체주시 방향과, 설정된 방위영역 내의 사용자 족적의 위치에 따른 보행방향, 족적 이미지의 검출빈도에 따른 보행속도 및 보행형태를 종합적으로 판단하여, 가상현실내의 아바타의 움직임을 판단된 보행방향, 보행속도 및 보행형태로 동기화 하는 것이다.That is, the virtual reality is determined by comprehensively determining the direction of the user's fuselage perceived according to the user's fuselage line, the walking direction according to the position of the user's foot in the set azimuth region, the walking speed and the walking type according to the detection frequency of the foot image. Synchronize the movement of the avatar within the determined walking direction, walking speed and walking form.

따라서, 상기와 같이 인지된 보행방향, 보행속도 및 보행형태가 동기화된 가상현실을 디스플레이(400)를 통해 사용자에게 제공함으로써, 사용자가 의도한 동작대로 정확히 가상현실 내 아바타를 컨트롤할 수 있으므로, 가상현실에 대한 몰입감 증대로 인한 훈련 시뮬레이션 효과를 극대화 할 수 있다.Thus, by providing the virtual reality synchronized with the recognized walking direction, walking speed, and walking type as described above to the user through the display 400, since the user can control the avatar in the virtual reality exactly as the user intended, the virtual Training simulation effects can be maximized due to increased immersion into reality.

이상에서 설명한 바와 같이, 본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법은, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행판단이 가능하며, 또한 발판의 영역을 구획별로 구분하여 사용자의 보행동작 시, 전ㆍ후진은 물론, 좌ㆍ우 이동 등에 대한 인식이 가능함으로써, 기존 압전센싱에 기반한 가상현실 제공 방법에 비하여 사용 편의성을 향상시키는 동시에, 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공 하는 효과가 있다.As described above, the foot image analysis method based on the virtual reality providing method according to the present invention, by projecting the infrared radiation irradiated along the upper surface of the foot on the foot of the user located on the foot which can transmit infrared rays to the foot of the user located on the foot The foot light image is obtained by photographing the reflected light reflected by the user, and the change pattern of the foot image is acquired to recognize the walking motion of the user, that is, the walking direction, the walking speed, and the walking type, thereby recognizing the walking motion of the recognized user. By synchronizing with the movement of the avatar in the virtual space, it is possible to determine the correct walking according to the user's intention with a simple configuration, without a separate contact sensor for the user located on the footrest, and also to separate the area of the foothold by section In operation, it is possible to recognize not only forward and backward movements, but also left and right movements. Compared to the existing method of providing virtual reality based on piezoelectric sensing, it is easy to use and at the same time, it is effective to effectively provide various types of walking simulations in virtual reality through accurate walking motion recognition.

본 발명은, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.The present invention is not limited by the above-described embodiment and the accompanying drawings, and it is common knowledge in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It is clear to those who have

100 : 발판 200 : 광원부
300 : 카메라 400 : 디스플레이
100: scaffold 200: light source
300: camera 400: display

Claims (14)

적외선 투과 가능한 발판 하부에 구비되는 카메라를 통해 상기 발판 상에 위치한 사용자의 족부로부터 반사되는 사용자 족적의 적외선 영상을 촬영하여, 촬영된 족적 영상 패턴을 분석하여 가상현실을 제공하는 방법에 있어서,
상기 카메라를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계;
상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계;
상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계;
상기 사용자 동체주시 방향을 기준으로 발판 저면 영상에 가상의 방위영역을 설정하는 단계;
설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계; 및
상기 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계;를
포함하여 구성되는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
In the method of providing a virtual reality by photographing the infrared image of the user's foot reflected from the foot of the user located on the footrest through a camera provided under the infrared transmission footrest, and analyzing the photographed foot image pattern,
Obtaining a scaffold bottom image including the foot reflected light of the user through the camera;
Extracting a foot image from the obtained scaffold bottom image;
Determining a moving body heading direction of the moving body of the user through the extracted foot image;
Setting a virtual azimuth region on a scaffold bottom image based on the direction of the user's fuselage;
Determining a walking direction of the user by recognizing a bearing area where the foot image is located according to the set azimuth area, and determining a walking speed and a walking type of the user according to a detection frequency of the foot image; And
Synchronizing the movement of the user with the movement of the avatar in the virtual space according to the walking direction, walking speed, and walking type;
Method of providing a virtual reality based on foot image pattern analysis, characterized in that configured to include.
제 1항에 있어서,
상기 사용자의 동체주시 방향을 판단하는 단계는,
추출된 족적 이미지에서, 양 발의 족적 이미지 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하고,
상기 한쌍의 패턴박스 각각에서, 각각의 족적이 향하고 있는 방향을 판단하여, 판단된 방향에 따라 패턴박스를 길이방향으로 양분하는 한쌍의 가상의 족적 중심선을 생성하며,
상기 한쌍의 족적 중심선의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 1,
Determining the user's fuselage direction direction,
From the extracted foot image, form a pair of imaginary pattern boxes incorporating the foot circumference of the foot image of both feet,
In each of the pair of pattern boxes, judging the direction in which each foot is directed, and generates a pair of virtual foot line center for dividing the pattern box in the longitudinal direction according to the determined direction,
Foot image pattern analysis-based virtual reality providing method characterized in that for determining the center direction dividing the angle of the pair of foot center line in the user's fuselage direction.
제 2항에 있어서,
상기 사용자의 동체주시 방향을 판단하는 단계 이후에,
상기 추출된 족적 이미지를 통해 사용자의 좌립(坐立)여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 2,
After determining the moving direction of the user's fuselage,
The method according to the foot image analysis, characterized in that it further comprises the step of determining whether the user's left by the extracted foot image.
제 3항에 있어서,
상기 사용자의 좌립여부를 판단하는 단계에서는,
상기 한쌍의 패턴박스 각각의 길이를 대조하여, 한 패턴박스의 길이가 다른 패턴박스의 길이에 비하여 일정 비율 이하인 상태로 미리 설정된 일정시간 이상 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 3, wherein
In the step of determining whether the user is left,
In contrast to the length of each of the pair of pattern box, when the length of one pattern box is maintained for a predetermined time or less in a predetermined ratio or less than the length of the other pattern box, it is determined that the user has taken the position to knee A method for providing virtual reality based on foot image pattern analysis.
제 4항에 있어서,
상기 사용자의 좌립여부를 판단하는 단계에서는,
한 패턴박스의 길이가 다른 패턴박스의 길이 대비 70% 이하인 상태로 1초 이상 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 4, wherein
In the step of determining whether the user is left,
If the length of one pattern box is maintained for more than 1 second in a state that is less than 70% of the length of the other pattern box, the foot image pattern analysis-based virtual reality providing method, characterized in that it is determined that the user is sitting on the knee.
제 1항에 있어서,
상기 족적 이미지를 추출하는 단계에서는,
상기 획득된 발판 저면 영상을 이진화 하고,
상기 이진화한 발판 저면 영상에서 족적 이미지 이외의 노이즈 반사광을 제거하여 족적 이미지를 추출하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 1,
In the step of extracting the foot image,
Binarizing the obtained scaffolding bottom image,
Foot image image analysis-based virtual reality providing method characterized in that the foot image extracted by removing noise reflected light other than the foot image from the binarized scaffold bottom image.
제 1항에 있어서,
상기 가상의 방위영역의 설정은,
상기 사용자의 동체주시방향을 기준으로 상기 발판을 전ㆍ후ㆍ좌ㆍ우 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 8개 영역으로 구분하여 설정하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 1,
The setting of the virtual azimuth region is
And based on the user's fuselage visual direction, the footrest is divided into eight areas including front, rear, left, right, front left, front right, rear left, and rear right.
제 7항에 있어서,
상기 방위영역에 따른 보행방향의 판단은,
사용자의 족적 이미지가 위치하는 발판상의 구분 영역에 따라, 사용자의 보행을 전진, 후진, 좌ㆍ우 옆걸음 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 사선방향 걸음으로 구분하여 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 7, wherein
The determination of the walking direction according to the azimuth region,
Foot prints characterized in that the user's gait is classified into forward, backward, left and right side steps, and diagonally step of front left, front right, rear left, and right sides according to the separated area on the foothold where the foot image of the user is located. Pattern analysis-based virtual reality providing method.
제 1항에 있어서,
상기 보행속도의 산출은,
사용자의 보행에 따른 족적 이미지의 검출 빈도를 바탕으로 보행속도를 산출하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 1,
The calculation of the walking speed is,
Foot image analysis based on virtual foot pattern providing method, characterized in that for calculating the walking speed based on the frequency of detecting foot image according to the user's walking.
제 9항에 있어서,
상기 산출된 보행속도에 따라, 가상현실 내의 아바타의 보폭을 산정하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 9,
Based on the calculated walking speed, the footsteps of the avatar in the virtual reality foot pattern image analysis based virtual reality providing method, characterized in that.
제 10항에 있어서,
상기 아바타의 보폭은, 상기 산출된 보행속도의 증가에 비례하여 증가하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 10,
The stride length of the avatar, the footstep image pattern analysis-based virtual reality providing method characterized in that the increase in proportion to the increase in the walking speed.
제 10항에 있어서,
상기 아바타의 보폭은 보행속도에 따라 30cm 이상 2m 미만의 범위에서 산정되는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 10,
The stride length of the avatar is based on foot image pattern analysis based virtual reality, characterized in that it is calculated in the range of more than 30cm or less than 2m.
제 1항에 있어서,
상기 보행형태의 판단은,
상기 산출된 보행속도에 따라 아바타의 움직임을 일반 걸음, 속보 및 달리기의 3단계 또는 일반 걸음, 속보, 달리기 및 전력질주의 4단계로 구분하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 1,
The determination of the walking form,
According to the calculated walking speed, the movement of the avatar is divided into three steps of general steps, breaking news and running, or general steps, breaking news, running and power sprinting.
제 13항에 있어서,
상기 판단된 보행형태에 따라,
일반 보행의 경우 30cm 이상 50cm 미만, 속보의 경우 50cm 이상 80cm 미만, 달리기의 경우 80cm 이상 1.5m 미만, 전력질주의 경우 1.5m 이상 2m 미만으로 가상현실 내의 아바타의 보폭을 제어하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
The method of claim 13,
In accordance with the determined walking pattern,
Footsteps, characterized by controlling the stride length of the avatar in the virtual reality to 30cm or more and less than 50cm, breaking and more than 50cm or more and less than 80cm, running, 80cm or more and less than 1.5m, and sprinting 1.5m or more and less than 2m. Method of providing virtual reality based on image pattern analysis.
KR1020180033053A 2018-03-22 2018-03-22 Method of providing virtual reality based on footprint image pattern analysis KR102054818B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180033053A KR102054818B1 (en) 2018-03-22 2018-03-22 Method of providing virtual reality based on footprint image pattern analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180033053A KR102054818B1 (en) 2018-03-22 2018-03-22 Method of providing virtual reality based on footprint image pattern analysis

Publications (2)

Publication Number Publication Date
KR20190111218A true KR20190111218A (en) 2019-10-02
KR102054818B1 KR102054818B1 (en) 2019-12-12

Family

ID=68422827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180033053A KR102054818B1 (en) 2018-03-22 2018-03-22 Method of providing virtual reality based on footprint image pattern analysis

Country Status (1)

Country Link
KR (1) KR102054818B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511756A (en) * 2021-01-18 2021-03-16 上海庸别数码通讯有限公司 Energy-saving tracking type monitoring camera equipment
CN116327503A (en) * 2023-03-29 2023-06-27 俞鑫 Nursing device for patient after operation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435366B1 (en) 2013-05-24 2014-09-02 허홍 Interface device sensing of walking and method of giving the data using this device
KR101827912B1 (en) * 2016-07-05 2018-02-12 주식회사 인디고엔터테인먼트 Walkable virtual reality apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435366B1 (en) 2013-05-24 2014-09-02 허홍 Interface device sensing of walking and method of giving the data using this device
KR101827912B1 (en) * 2016-07-05 2018-02-12 주식회사 인디고엔터테인먼트 Walkable virtual reality apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511756A (en) * 2021-01-18 2021-03-16 上海庸别数码通讯有限公司 Energy-saving tracking type monitoring camera equipment
CN112511756B (en) * 2021-01-18 2021-08-31 杭州翔毅科技有限公司 Energy-saving tracking type monitoring camera equipment
CN116327503A (en) * 2023-03-29 2023-06-27 俞鑫 Nursing device for patient after operation

Also Published As

Publication number Publication date
KR102054818B1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP5865910B2 (en) Depth camera based on structured light and stereoscopic vision
KR101581594B1 (en) Real time billiard assistant system
US8032842B2 (en) System and method for three-dimensional interaction based on gaze and system and method for tracking three-dimensional gaze
CA2691992C (en) Information inputting device, information outputting device and method
KR101118654B1 (en) rehabilitation device using motion analysis based on motion capture and method thereof
US20070098250A1 (en) Man-machine interface based on 3-D positions of the human body
CN106020436A (en) Image analyzing apparatus and image analyzing method
JP2021503646A (en) VR walking mechanism and walking method in virtual reality scene
KR102060129B1 (en) A activity motion recognition method and device using a multifacted sensing
KR102054818B1 (en) Method of providing virtual reality based on footprint image pattern analysis
WO2016031313A1 (en) Physical condition-detecting apparatus, physical condition-detecting method, and physical condition-detecting program
KR101818198B1 (en) Apparatus and method for evaluating Taekwondo motion using multi-directional recognition
KR101961266B1 (en) Gaze Tracking Apparatus and Method
US20230062630A1 (en) Touch recognition method and device having lidar sensor
Wendt Real-walking models improve walking-in-place systems
KR20190130761A (en) User-recognized walking motion measurement system and method for measuring walking motion using the same
KR20020011851A (en) Simulation game system using machine vision and pattern-recognition
KR20160035497A (en) Body analysis system based on motion analysis using skeleton information
JP6932946B2 (en) Detection system, detection method, and detection program
KR20230055352A (en) Content provision and user evaluation method, and content provision and user evaluation system
JPH10228540A (en) Walk pattern processor
CA3149314A1 (en) Detection method for golf club and sensing apparatus using the same
KR20150011559A (en) Method for Offering Multiple Player Game using Motion Sensor of Single and Apparatus thereof
JP2023027012A (en) Moving image determination method
KR101587263B1 (en) Sensing device and screen shooting simulation system having thesame

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right