KR102054818B1 - 족적 영상 패턴 분석 기반 가상현실 제공 방법 - Google Patents

족적 영상 패턴 분석 기반 가상현실 제공 방법 Download PDF

Info

Publication number
KR102054818B1
KR102054818B1 KR1020180033053A KR20180033053A KR102054818B1 KR 102054818 B1 KR102054818 B1 KR 102054818B1 KR 1020180033053 A KR1020180033053 A KR 1020180033053A KR 20180033053 A KR20180033053 A KR 20180033053A KR 102054818 B1 KR102054818 B1 KR 102054818B1
Authority
KR
South Korea
Prior art keywords
user
foot
walking
image
virtual reality
Prior art date
Application number
KR1020180033053A
Other languages
English (en)
Other versions
KR20190111218A (ko
Inventor
류지훈
김성인
이혜인
정재환
장민옥
장민우
안건상
조진표
Original Assignee
(주)일렉콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)일렉콤 filed Critical (주)일렉콤
Priority to KR1020180033053A priority Critical patent/KR102054818B1/ko
Publication of KR20190111218A publication Critical patent/KR20190111218A/ko
Application granted granted Critical
Publication of KR102054818B1 publication Critical patent/KR102054818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G06K9/00348—
    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G06K2009/4666—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 사용자의 족적 영상 패턴을 기반으로 사용자의 보행 동작을 인식하여, 가상공간 내의 아바타의 움직임을 사용자의 움직임과 동기화 시키는 가상현실 제공 방법에 관한 것으로서, 보다 상세하게는 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공할 수 있는 족적 영상 패턴 분석 기반 가상현실 제공 방법에 관한 것이다.

Description

족적 영상 패턴 분석 기반 가상현실 제공 방법{Method of providing virtual reality based on footprint image pattern analysis}
본 발명은 사용자의 족적 영상 패턴을 기반으로 사용자의 보행 동작을 인식하여, 가상공간 내의 아바타의 움직임을 사용자의 움직임과 동기화 시키는 가상현실 제공 방법에 관한 것으로서, 보다 상세하게는 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공할 수 있는 족적 영상 패턴 분석 기반 가상현실 제공 방법에 관한 것이다.
가상현실(virtual reality) 시스템이란 사용자의 동작과 그와 연동되는 환경변화를 가상공간에 재현함으로써, 사용자가 가상현실의 움직임을 실제 움직임과 같이 느낄 수 있게 하는 것이다.
종래의 가상현실 장치는, 화면을 통해 다양한 형태의 입체 시뮬레이션 영상을 제공하고, 사용자가 화면상에서 벌어지는 상황에 따라 집적 컨트롤러를 조작함으로써, 사용자에게 현실감 있는 그래픽 환경을 제공하였으나, 최근에는, 사용자의 실제동작(motion)을 가상현실에 접목시키는 로코모션(locomotion) 장치를 통해, 사용자가 가상현실의 움직임을 더욱 현실처럼 느낄 수 있는 환경을 제공하고 있다.
이러한 로코모션 장치에는 사용자의 손동작을 인식하기 위한 상체 모션인식 장치와, 사용자의 보행을 인식하기 위한 트레드밀(treadmill)장치가 대표적이며, 특히 트레드밀 장치에는 사용자의 일방향 보행만을 인식하는 궤도형 트레드밀 형태와, 사용자의 전방위 보행을 인식하기 위한 미끄럼판 트레드밀 형태로 구분된다.
최근에는 가상현실 콘텐츠의 발전으로 인해 단순 직진보행만을 인식하는 궤도형 트레드밀 형태로는 콘텐츠 내의 아바타의 움직임을 구현하는데 한계를 가지므로, 전방위 이동과 점프 등의 동작 인식이 가능한 미끄럼판 트레드밀 형태가 주로 개발되고 있다.
도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면이다.
도 1을 참고하면, 대한민국 등록특허 제10-1435366호 “보행 감지 인터페이스 기기 및 이를 이용한 보행 정보 제공 방법”에서 개시하고 있는 미끄럼판 트레드밀 형태의 보행감지 인터페이스 기기의 경우, 받침대(40)로 지지되는 원형의 미끄럼판인 보행유도부(10)와 이러한 보행유도부(10)상에 마련된 다수의 압전 센서인 보행감지부(20)와 중앙에 사용자가 대기할 수 있는 정지부(30)를 구비한 구성으로써, 사용자가 보행유도부(10)상에서 보행을 실시하면, 사용자의 족부와 접하는 다수개의 보행감지부(20)에 의해 사용자의 보행방향이나, 보행속도 등을 인식하여 가상현실 상의 아바타와 동기화한다.
그러나, 이러한 보행감지 방식의 경우, 압전 센싱방식으로, 상기 보행감지부(20)와 같은 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하므로, 보행방향이나, 보행속도감지에 있어 사용자 족부에 의해 제대로 압박되거나 롤링되지 못할 경우, 인지의 오류가 일어나, 정확도가 떨어지고, 다수의 압전센서에 의해 장치가 비대해지고 복잡해지는 등의 문제점이 있다.
또한, 이러한 미끄럼판 트레드밀 방식은, 전진 보행을 수행하기에는 적합하나, 후진 보행의 경우, 사용자가 뒷걸음질로 미끄럼판을 이동하면서 균형감각을 상실하여 넘어지거나, 원하는 동작 수행이 어려운 문제점이 상존하며, 사용자의 시야 전체를 디스플레이 하는 헤드마운트 디스플레이(HMD) 방식으로 가상현실을 구현할 경우, 균형감각 상실의 문제점이 배가 된다.
따라서 별도의 부가적인 신체 장착구성 없이도 정확한 보행 방향판단이 가능하고, 전/후진은 물론, 좌우 이동 등에 대한 인식이 가능한 가상현실 제공 방법에 대한 개발 필요성이 증대되고 있다.
대한민국 등록특허 제10-1435366호(등록일 : 2014.08.22)의 “보행 감지 인터페이스 기기 및 이를 이용한 보행 정보 제공 방법”
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이도, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위해 적외선 투과 가능한 발판 하부에 구비되는 카메라를 통해 상기 발판 상에 위치한 사용자의 족부로부터 반사되는 사용자 족적의 적외선 영상을 촬영하여, 촬영된 족적 영상 패턴을 분석하여 가상현실을 제공하는 방법에 있어서, 상기 카메라를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계; 상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계; 상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계; 상기 사용자 동체주시 방향을 기준으로 발판 저면 영상에 가상의 방위영역을 설정하는 단계; 설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계; 및 상기 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계;를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법은, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 발판 하부에 구비되는 카메라를 통해 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행 형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행판단이 가능하며, 또한 발판의 영역을 구획별로 구분하여 사용자의 보행동작 시, 전ㆍ후진은 물론, 좌ㆍ우 이동 등에 대한 인식이 가능함으로써, 기존 압전센싱에 기반한 가상현실 제공 방법에 비하여 사용 편의성을 향상시키는 동시에, 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공 하는 효과가 있다.
도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면
도 2는 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법에 적용되는 족적영상 획득 장치의 구조를 보여주는 도면
도 3은 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 순차적으로 보여주는 순서도
도 4는 본 발명의 일 실시예에서 발판 저면에 투영된 족부 반사광으로부터 얻어지는 족적이미지를 보여주는 도면
도 5는 본 발명의 일 실시예에서 사용자가 무릎앉아 자세를 취할 시 족적 이미지 및 이에 따른 패턴박스 형태를 보여주는 도면
도 6은 본 발명의 일 실시예에서 사용자 동체주시 방향에 따른 발판상의 방위영역 설정을 보여주는 도면
도 7은 본 발명의 일 실시예에서 족적 이미지가 위치하는 방위영역에 따라 사용자의 보행방향을 인식하는 과정을 보여주는 도면
이하, 본 발명의 실시예에 대하여 상세히 설명하지만, 본 발명은 그 요지를 이탈하지 않는 한 이하의 실시예에 한정되지 않는다.
도 1은 기존의 미끄럼판 트래드밀 형태의 보행감지 기기의 구조를 보여주는 도면으로서, 앞서 설명한 바와 같이, 압전 센싱방식으로, 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하므로, 보행방향이나, 보행속도감지에 있어 제대로 압박되거나 롤링되지 못할 경우, 인지의 오류가 일어나, 보행인식 정확도가 떨어지고, 다수의 압전센서에 의해 장치가 비대해지고 복잡해지는 등의 문제점이 있었다.
또한, 이러한 센서 감지 방식은 전진 보행을 수행하기에는 적합하나, 후진 보행의 경우, 사용자가 뒷걸음질로 미끄럼판을 이동하면서 균형감각을 상실하여 넘어지거나, 원하는 동작 수행이 어려운 문제점이 상존하므로, 군사 훈련이나, 슈팅게임을 위한 전술 시뮬레이션용 가상현실 시스템과 같이, 보행방향의 전환이 급작스럽게 진행되거나, 옆걸음, 후진 등의 이동이 자주 요구되는 시뮬레이션에는 적용하기 어려운 문제점이 있다.
도 2는 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법에 적용되는 족적영상획득 장치의 구조를 보여주는 도면이다.
도 2를 참고하여 설명하면, 본 발명의 일 실시예에 따른 족적영상획득 장치는, 적외선 투과성의 발판(100); 상기 발판(100)의 상면을 따라 상기 발판(100)의 중심방향으로 적외선을 투사하는 광원부(200); 및 상기 발판(100) 하부에 구비되어 적외선에 의해 반사되는 사용자 족부의 반사광을 촬영하여 족적영상을 획득하는 카메라(300); 및 가상현실을 사용자에게 시청각적으로 구현하는 디스플레이(400)를 포함하여 구성될 수 있다.
이를 보다 구체적으로 설명하면, 발판(100)의 외주면을 따라 구비되는 광원부(200)가 적외선 투과성 재질(아크릴, 폴리카보네이트 등)로 형성된 발판(100)의 상면을 따라, 발판(100)의 상면 중앙을 향해 적외선을 투사하면, 투사된 적외선은 사용자의 족부에 부딪혀 주변으로 산란 반사되는데, 이 중, 발판(100)의 하부로 반사되는 적외선은 적외선 투과성의 발판(100)을 투과하여 발판(100)하부로 반사되며, 발판(100) 하부에 마련된 카메라(300)가 이러한 반사광을 촬영함으로써 족적 이미지를 획득하게 된다.
또한, 이후의 본 발명의 설명에서 후술되는 바와 같이, 획득된 족적 이미지의 분석을 통해 사용자의 보행방향, 보행속도 및 보행형태 등을 파악하여 가상현실 내의 아바타의 움직임을 이와 동기화 시킴으로써, 디스플레이(400)를 통해 가상현실을 표출하여 사용자에게 현실감 있는 가상현실을 제공할 수 있다.
이때, 가상현실을 제공하는 디스플레이(400)는, 헤드 마운트 디스플레이(HMD) 또는 전방위 스크린 방식의 디스플레이 스크린 등을 이용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 순차적으로 보여주는 순서도이다.
도 3에 도시된 바와 같이, 본 발명은 앞에서 설명한 족적영상 획득장치를 이용하여, 사용자의 보행동작을 인식함으로써, 가상공간 내의 아바타의 움직임과 사용자의 움직임을 동기화 시키는 가상현실 제공 방법에 관한 것으로서, 카메라(300)를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계(S100); 상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계(S200); 상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계(S300); 상기 사용자의 동체주시 방향을 기준으로 발판 저면영상에 가상의 방위영역을 설정하는 단계(S400); 설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계(S500); 및 상기 사용자의 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계(S600);를 포함하여 족적 영상 패턴 분석 기반으로 보행판단을 수행함으로써, 사용자 족부와 직접 접촉되는 센서장치 없이 정확한 보행 방향판단이 가능하도록 하고 있다.
이하 도 3의 순서도에 도시된 본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법을 도 4 내지 도 7을 참조하여 보다 상세히 설명한다.
도 4는 본 발명의 일 실시예에서 발판 저면에 투영된 족부 반사광으로부터 얻어지는 족적 이미지를 보여주는 도면이다.
이를 구체적으로 살펴보면, 먼저 발판(100) 저면 영상을 획득하는 단계(S100)에서는, 도 4에서 보여지는 바와 같이, 광원부(200)의해 사용자의 족부로 투사된 적외선이 주변으로 산란반사하여 반사된 반사광이 족적의 외주면 형상을 그대로 나타내므로, 발판(100)의 저면을 촬영하는 카메라(300)에 의해 이러한 족적 형상의 적외선 반사광을 포함하는 발판(100)저면 영상을 획득하게 된다.
이 후, 상기와 같이 획득된 발판(100) 저면 영상 중, 족적 이미지만을 선택적으로 인식하는 족적 이미지 추출단계(S200)를 수행하는데, 이러한 족적 이미지의 추출은, 먼저, 족적 이미지의 추출 속도를 높이기 위하여 상기 획득된 발판 저면 영상을 이진화 처리하게 된다.
이는, 발판 저면 영상의 이진화를 통하여 족적 이미지 추출을 위한 이미지 필터링에 필요한 연산 속도를 높여주기 위한 작업으로서, 이러한 연산속도 향상을 통해 족적 감지를 단시간 내에 즉각적으로 수행할 수 있도록 한다.
이후, 상기와 같이 이진화한 발판 저면 영상에서 족적 이외의 노이즈 반사광을 제거하게 되는데, 이는, 족적의 평균적인 사이즈를 사전에 인지하도록 하여, 이러한 족적 사이즈에 미달되는 작은 크기의 반사광이나, 노이즈 이미지들을 판별하여 자동으로 제거하도록 함으로써, 발판 저면 영상에서 족적을 제외한 불필요한 반사광을 삭제하여 족적 이미지 추출을 용이하게 하도록 한다.
따라서, 족적 이미지를 추출함에 있어, 발판 저면 영상에 대한 이진화 및 노이즈 반사광의 제거를 수행함으로써, 족적 이미지 추출의 정확성 및 연산속도를 높일 수 있도록 할 수 있다.
다음으로, 사용자의 동체가 주시하고 있는 방향을 판단하는 단계(S300)에서는, 양 족적의 방향을 추정하고, 이러한 각 족적 방향의 중심선을 추출하여 사용자의 동체가 주시하고 있는 방향을 인지하게 된다.
이를 구체적으로 설명하면, 먼저, 추출된 족적 이미지에서, 양 발의 족적 이미지의 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하고, 이렇게 형성된 한쌍의 패턴박스 내의 족적이 향하고 있는 방향을 판단하여, 판단된 방향에 따라 패턴박스를 길이방향으로 양분하는 한쌍의 가상의 족적 중심선을 생성하여, 이러한 한쌍의 족적 중심선의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단하게 된다.
상세하게는, 먼저, 패턴박스의 형성은, 상기 족적 이미지를 추출하는 단계에서 추출된 한쌍의 족적 이미지의 외주면을 인식하고, 이러한 각각의 족적 이미지의 외주면을 내입할 수 있는 한쌍의 직사각형 형상 패턴박스를 생성하는 것이다.
이후, 상기 패턴박스 상에 족적 중심선을 각각 생성하게 되는데, 이는 패턴박스가 형성된 각 족적이 향하고 있는 방향을 추정하기 위한 것으로, 이러한 족적 방향의 추정은, 족적 형상 중, 길이방향의 양 끝단을 추정하여, 양 끝단의 형상 중, 폭이 상대적으로 좁고 둥근 끝단을 후면, 폭이 상대적으로 넓고 불규칙한 끝단을 전면으로 판단하여, 족적의 방향을 인식하며, 패턴박스를 길이방향으로 양분하는 가상의 족적 중심선을 각각 생성하여 각 족적 이미지의 중심 방향을 파악한다.
다음으로, 사용자의 동체가 주시하고 있는 방향의 판단은, 상기와 같이 각각 생성된 한쌍의 족적 중심선의 사이의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단한다.
이와 같은 방식을 통해 본 발명에서는, 사용자 신체에 부착하는 부가적인 장치 없이도, 양 족적 이미지를 기반으로 사용자의 동체가 주시하고 있는 방향을 정확하게 추정하는 것이 가능하다.
한편, 본 발명에서는, 상술한 바와 같이 사용자의 동체가 주시하고 있는 방향을 판단하는 단계(S300)이후, 사용자가 서있는 상태인지 또는 무릎앉아 상태인지를 판단하는 좌립(坐立)여부 판단 단계를 더 포함할 수도 있다.
도 5는 본 발명의 일 실시예에서 사용자가 무릎앉아 자세를 취할 시 족적 이미지 및 이에 따른 패턴박스 형태를 보여주는 도면이다.
도 5의 (a)에서 보여지는 것과 같이, 사용자가 무릎앉아 자세를 취할 경우, 양발의 족적 이미지 중 하나가 다른 하나에 비하여 길이가 줄어들게 되는데, 이는 무릎앉아 자세가, 양 족부 중 한쪽은 온전히 발판(100)상에 지지되고, 다른 한쪽은 뒤꿈치가 발판(100)에서 떨어진 상태로 접촉되기 때문으로, 이러한 양 족적의 길이차이를 인지하여 사용자가 서있는 상태인지 또는 무릎앉아 상태인지를 판단할 수 있다.
즉, 도 5의 (b)에서와 같이, 이 경우에도 추출된 족적 이미지에서 양 발의 족적 이미지 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하게 되는데, 이러한 한쌍의 패턴박스 각각의 길이를 상호 대조하여, 한 패턴박스의 길이가 다른 하나의 길이에 비하여 상대적으로 일정비율 이하의 작은 길이로 형성되고, 또한 이상태가 소정의 시간동안 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하게 된다.
이때, 일반적으로 사용자의 족부 형태에 따라, 한쌍의 족적 이미지의 크기가 상호 조금씩 다를 수 있는데, 사용자가 무릎앉아 자세를 취하고 있는지 명확하게 판단하기 위해서는, 상호 대조되는 한쌍의 패턴박스 중, 상대적으로 작은 패턴박스의 길이에 대하여 무릎앉아자세로 판단할 기준치를 설정한다.
즉, 상대적으로 작은 패턴박스의 길이가 다른 패턴박스의 길이와 비교하여 미리 설정된 일정 비율 이하일 경우, 사용자가 무릎앉아 자세를 취하고 있는 것으로 판단한다.
예로써, 본 발명의 일 실시예에서는 한쌍의 패턴박스 중, 상대적으로 작은 패턴박스의 길이가 다른 패턴박스의 길이 대비 70% 이하인 상태로, 일정시간, 예로써 1초 이상의 시간동안 그대로 유지되는 경우 무릎앉아 상태로 판단한다.
따라서, 이러한 족적 이미지의 분석만으로 사용자 신체에 부착하는 부가적인 장치 없이, 사용자의 좌립동작을 판단할 수 있다.
도 6은 본 발명의 일 실시예에서 사용자 동체주시 방향에 따른 발판상의 방위영역 설정을 보여주는 도면이다.
방위영역을 설정하는 단계(S400)에서는, 도 6에서 보여지는 것과 같이, 사용자 동체 주시선의 방향을 기준으로, 발판(100) 저면 이미지 상에 가상의 방위영역을 설정하게 된다.
이러한 방위영역은, 바람직하게는, 도 6의 (a)에 도시된 바와 같이, 상기 발판(100)을 전ㆍ후ㆍ좌ㆍ우 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 8개 영역으로 구분하도록 하고, 도 6의 (b)에 도시된 바와 같이, 사용자가 보행동작 중, 방향을 전환하여 사용자 동체 주시선의 방향이 변경되면, 변경된 방향에 따라 방위영역도 동기화 하도록 한다.
이때, 상기 방위영역은, 도 6에서 보여지는 것과 같이, 중앙과 전방을 동일 영역으로 인식하도록 하도록 하는데, 이는, 중앙에서 제자리걸음을 수행하더라도, 전진 보행을 수행하는 것으로 인식할 수 있도록 하기 위함으로, 전방영역과 중앙영역을 포함하는 영역을 전진보행 수행영역으로 판단하도록 한다.
이후, 보행방향, 보행속도 및 보행형태 판단 단계(S500)에서는, 사용자의 보행에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 인식된 방위영역에 따른 사용자의 보행방향을 판단하는 동시에, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단한다.
도 7은 본 발명의 일 실시예에서 족적 이미지가 위치하는 방위영역에 따라 사용자의 보행방향을 인식하는 과정을 보여주는 도면이다.
먼저, 도 7을 참고하면, 방위영역에 따른 보행방향의 판단은, 족적 이미지가 전방과 중앙영역을 포함하는 전진영역에 위치할 경우 전진보행으로 판단하고, 족적 이미지가 좌영역에 위치할 경우 좌걸음, 우영역에 위치할 경우 우걸음, 후영역에 위치할 경우 후진걸음으로 판단하며, 또한, 족적 이미지가 전좌영역ㆍ전우영역ㆍ후좌영역 또는 후우영역에 위치하는 경우 각 방향에 맞는 사선걸음의 보행방향으로 판단할 수 있다.
기본적으로 이러한 보행방향의 판단은 도 7의 (a)와 같이, 양 족적 이미지가 모두 목적하는 해당 방위영역 내로 진입한 경우에 해당 방위영역에 대한 보행방향으로 판단한다.
또한, 도 7의 (b) 및 (c)와 같이 양 족적 이미지 중, 하나는 전진영역에 위치하고, 다른 하나는 전진영역 이외의 타 방위영역에 위치하였을 시에는 사용자 동체 주시선의 위치를 판별하여 해당 방위영역에 따른 보행방향을 판단한다.
예로써, 도 7에서 보여지는 바와 같이, 한쌍의 족적 이미지 중, 하나는 전방영역에 위치하고, 다른 하나는 우영역에 위치한 경우, 도 7의 (b)와 같이 양 족적 이미지 사이에 형성되는 사용자 동체 주시선이 전방영역 내에 위치하면 전진 보행으로 판단하고, 도 7의 (c)와 같이, 사용자 동체 주시선이 우영역 내에 있으면, 사용자가 전방을 주시하며 우로 옆걸음 이동하는 것으로 판단한다.
따라서, 기존의 압전 센싱방식으로, 다수의 압전 센서가 사용자의 족부와 직접적으로 접하여 압박되거나, 롤링하는 방식으로 보행을 감지하는 방식에서는 인지하지 못하였던 좌우 옆걸음, 후진걸음 등의 보행형태 인식을 가능하게 하여, 군사 훈련이나, 슈팅게임을 위한 전술 시뮬레이션용 가상현실 시스템에서 요구되는 다양한 보행양태의 인식이 가능하다.
다음으로, 보행속도의 산출은, 사용자의 보행에 따라, 한쌍의 족적 이미지가 번갈아 인식되는 검출 빈도를 확인하여 사용자의 이동 속도를 판단하는 것으로, 사용자가 보행을 위하여 족부를 들었다 다시 발판(100)상에 놓는 과정을 한걸음으로 인식하여 이러한 걸음의 빈도 측정으로 보행속도를 판단하게 된다.
이 때, 인식된 보행속도에 따라, 가상현실 내의 아바타의 보폭을 산정하게 되는데, 이는 실제 보행에 있어서도 보행속도가 증가하면 이에 비례하여 보폭이 증가하는 것을 모사하기 위한 것으로서, 산출되는 보행속도 증가에 비례하여 아바타의 보폭을 증가하도록 하고, 이러한 보폭의 제어는 산출되는 보행속도를 그대로 반영하여 제어하거나, 보행속도를 단계적인 보행형태로 구분하여 이러한 보행형태에 따른 단계적인 제어를 수행할 수 있다.
산출되는 보행속도를 그대로 반영하여 보폭을 제어하는 경우에는, 일 예로서 본 실시예에서는 족적 이미지의 검출빈도가 초당 3회 이내의 저속일 경우, 아바타의 최소 보폭을 30cm 이상 50cm 미만의 범위에서 산정하고, 검출빈도가 초당 7회 이상의 고속일 경우, 최대 보폭을 1.5m 이상 2m 미만의 범위에서 산정하는 것으로, 즉, 30cm 내지 2m 내의 범위에서 아바타의 보폭을 제어할 수 있다.
보행속도를 단계적인 보행형태로 구분하는 경우에는, 보행속도에 따라, 일반걸음, 속보 및 달리기의 3단계 또는, 일반걸음, 속보, 달리기 및 전력질주의 4단계 등으로 구분할 수 있다.
일 예로써, 본 실시예에서는 족적 이미지 검출 빈도가 1초에 3회 이내이면 일반 걸음, 3회 이상 5회 이내이면 속보, 5회 이상 7회 이내이면 달리기, 7회 이상은 전력질주로 판단할 수 있고, 이러한 보행형태의 구분에 따라, 가상공간 내에서 동작하는 아바타의 보폭은, 일반 보행의 경우 30cm 이상 50cm 미만, 속보의 경우 50cm 이상 80cm 미만, 달리기의 경우 80cm 이상 1.5m 미만, 전력질주의 경우 1.5m 이상 2m 미만의 범주로 제어하여 보행형태에 따른 보폭변화를 아바타에 반영하도록 할 수 있다.
따라서, 사용자가 불규칙한 빈도의 보행을 실시하더라도, 검출 빈도범위가 지정하는 보행형태로 인식하도록 함으로써, 보행속도 산출에 따른 연산속도를 단축시키고, 안정적인 보행속도 인식을 가능하게 한다.
마지막으로, 아바타의 움직임을 동기화 시키는 단계(S600)에서는, 상기와 같이 파악된 보행방향, 보행속도 및 보행형태에 따라, 디스플레이(400)에서 표출하는 가상공간 내의 아바타의 움직임을 동기화 시킨다.
즉, 사용자 동체 주시선에 따라 인지된 사용자의 동체주시 방향과, 설정된 방위영역 내의 사용자 족적의 위치에 따른 보행방향, 족적 이미지의 검출빈도에 따른 보행속도 및 보행형태를 종합적으로 판단하여, 가상현실내의 아바타의 움직임을 판단된 보행방향, 보행속도 및 보행형태로 동기화 하는 것이다.
따라서, 상기와 같이 인지된 보행방향, 보행속도 및 보행형태가 동기화된 가상현실을 디스플레이(400)를 통해 사용자에게 제공함으로써, 사용자가 의도한 동작대로 정확히 가상현실 내 아바타를 컨트롤할 수 있으므로, 가상현실에 대한 몰입감 증대로 인한 훈련 시뮬레이션 효과를 극대화 할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 족적 영상 패턴 분석 기반 가상현실 제공 방법은, 적외선 투과 가능한 발판 상에 위치한 사용자의 족부에 발판 상면을 따라 조사되는 적외선을 투사하여 발판 상에 위치한 사용자의 족부에 의해 반사된 반사광을 촬영하여 족적 영상을 획득하고, 이렇게 획득된 족적 영상의 변화 패턴을 분석하여 사용자의 보행동작, 즉, 보행방향이나 보행속도 및 보행형태를 인식하여, 인식된 사용자의 보행동작을 가상공간 내의 아바타의 움직임과 동기화 시킴으로써, 발판 상에 위치한 사용자에 대한 별도의 접촉 센서 없이, 간단한 구성만으로 사용자의 의도에 따른 정확한 보행판단이 가능하며, 또한 발판의 영역을 구획별로 구분하여 사용자의 보행동작 시, 전ㆍ후진은 물론, 좌ㆍ우 이동 등에 대한 인식이 가능함으로써, 기존 압전센싱에 기반한 가상현실 제공 방법에 비하여 사용 편의성을 향상시키는 동시에, 정확한 보행동작 인식을 통해 다양한 형태의 보행 모사를 효과적으로 가상현실 내에 제공 하는 효과가 있다.
본 발명은, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
100 : 발판 200 : 광원부
300 : 카메라 400 : 디스플레이

Claims (14)

  1. 적외선 투과 가능한 발판 하부에 구비되는 카메라를 통해 상기 발판 상에 위치한 사용자의 족부로부터 반사되는 사용자 족적의 적외선 영상을 촬영하여, 촬영된 족적 영상 패턴을 분석하여 가상현실을 제공하는 방법에 있어서,
    상기 카메라를 통해 사용자의 족부 반사광을 포함하는 발판 저면 영상을 획득하는 단계;
    상기 획득된 발판 저면 영상에서 족적 이미지를 추출하는 단계;
    상기 추출된 족적 이미지를 통해 사용자의 동체가 향하고 있는 동체주시 방향을 판단하는 단계;
    상기 사용자 동체주시 방향을 기준으로 발판 저면 영상에 가상의 방위영역을 설정하는 단계;
    설정된 방위영역에 따라, 족적 이미지가 위치하는 방위영역을 인식하여, 사용자의 보행방향을 판단하고, 족적 이미지의 검출 빈도에 따라 사용자의 보행속도와 보행형태를 판단하는 단계; 및
    상기 보행방향, 보행속도 및 보행형태에 따라, 사용자의 움직임과 가상공간 내의 아바타의 움직임을 동기화 시키는 단계;를 포함하여 구성되되,
    상기 사용자의 동체주시 방향을 판단하는 단계에서는,
    추출된 족적 이미지에서, 양 발의 족적 이미지 외주면을 내입하는 한쌍의 가상의 패턴박스를 형성하고,
    상기 한쌍의 패턴박스 각각에서, 각각의 족적이 향하고 있는 방향을 판단하여, 판단된 방향에 따라 패턴박스를 길이방향으로 양분하는 한쌍의 가상의 족적 중심선을 생성하며,
    상기 한쌍의 족적 중심선의 사잇각을 양분하는 중심방향을 사용자의 동체주시 방향으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 사용자의 동체주시 방향을 판단하는 단계 이후에,
    상기 추출된 족적 이미지를 통해 사용자의 좌립(坐立)여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  4. 제 3항에 있어서,
    상기 사용자의 좌립여부를 판단하는 단계에서는,
    상기 한쌍의 패턴박스 각각의 길이를 대조하여, 한 패턴박스의 길이가 다른 패턴박스의 길이에 비하여 일정 비율 이하인 상태로 미리 설정된 일정시간 이상 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  5. 제 4항에 있어서,
    상기 사용자의 좌립여부를 판단하는 단계에서는,
    한 패턴박스의 길이가 다른 패턴박스의 길이 대비 70% 이하인 상태로 1초 이상 유지되는 경우, 사용자가 무릎앉아 자세를 취한 것으로 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  6. 제 1항에 있어서,
    상기 족적 이미지를 추출하는 단계에서는,
    상기 획득된 발판 저면 영상을 이진화 하고,
    상기 이진화한 발판 저면 영상에서 족적 이미지 이외의 노이즈 반사광을 제거하여 족적 이미지를 추출하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  7. 제 1항에 있어서,
    상기 가상의 방위영역의 설정은,
    상기 사용자의 동체주시방향을 기준으로 상기 발판을 전ㆍ후ㆍ좌ㆍ우 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 8개 영역으로 구분하여 설정하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  8. 제 7항에 있어서,
    상기 방위영역에 따른 보행방향의 판단은,
    사용자의 족적 이미지가 위치하는 발판상의 구분 영역에 따라, 사용자의 보행을 전진, 후진, 좌ㆍ우 옆걸음 및 전좌ㆍ전우ㆍ후좌ㆍ후우의 사선방향 걸음으로 구분하여 판단하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  9. 제 1항에 있어서,
    상기 보행속도의 산출은,
    사용자의 보행에 따른 족적 이미지의 검출 빈도를 바탕으로 보행속도를 산출하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  10. 제 9항에 있어서,
    상기 산출된 보행속도에 따라, 가상현실 내의 아바타의 보폭을 산정하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  11. 제 10항에 있어서,
    상기 아바타의 보폭은, 상기 산출된 보행속도의 증가에 비례하여 증가하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  12. 제 10항에 있어서,
    상기 아바타의 보폭은 보행속도에 따라 30cm 이상 2m 미만의 범위에서 산정되는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  13. 제 9항에 있어서,
    상기 보행형태의 판단은,
    상기 산출된 보행속도에 따라 아바타의 움직임을 일반 걸음, 속보 및 달리기의 3단계 또는 일반 걸음, 속보, 달리기 및 전력질주의 4단계로 구분하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
  14. 제 13항에 있어서,
    상기 판단된 보행형태에 따라,
    일반 보행의 경우 30cm 이상 50cm 미만, 속보의 경우 50cm 이상 80cm 미만, 달리기의 경우 80cm 이상 1.5m 미만, 전력질주의 경우 1.5m 이상 2m 미만으로 가상현실 내의 아바타의 보폭을 제어하는 것을 특징으로 하는 족적 영상 패턴 분석 기반 가상현실 제공 방법.
KR1020180033053A 2018-03-22 2018-03-22 족적 영상 패턴 분석 기반 가상현실 제공 방법 KR102054818B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180033053A KR102054818B1 (ko) 2018-03-22 2018-03-22 족적 영상 패턴 분석 기반 가상현실 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180033053A KR102054818B1 (ko) 2018-03-22 2018-03-22 족적 영상 패턴 분석 기반 가상현실 제공 방법

Publications (2)

Publication Number Publication Date
KR20190111218A KR20190111218A (ko) 2019-10-02
KR102054818B1 true KR102054818B1 (ko) 2019-12-12

Family

ID=68422827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180033053A KR102054818B1 (ko) 2018-03-22 2018-03-22 족적 영상 패턴 분석 기반 가상현실 제공 방법

Country Status (1)

Country Link
KR (1) KR102054818B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511756B (zh) * 2021-01-18 2021-08-31 杭州翔毅科技有限公司 一种节能型追踪式监控摄像设备
CN116327503A (zh) * 2023-03-29 2023-06-27 俞鑫 一种病人术后用护理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827912B1 (ko) * 2016-07-05 2018-02-12 주식회사 인디고엔터테인먼트 보행 가능한 가상 현실 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435366B1 (ko) 2013-05-24 2014-09-02 허홍 보행 감지 인터페이스 기기 및 이를 이용한 보행 정보 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827912B1 (ko) * 2016-07-05 2018-02-12 주식회사 인디고엔터테인먼트 보행 가능한 가상 현실 장치

Also Published As

Publication number Publication date
KR20190111218A (ko) 2019-10-02

Similar Documents

Publication Publication Date Title
JP5865910B2 (ja) 構造化光および立体視に基づく深度カメラ
CA2691992C (en) Information inputting device, information outputting device and method
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
US20070098250A1 (en) Man-machine interface based on 3-D positions of the human body
CN106020436A (zh) 图像分析装置及图像分析方法
JP2021503646A (ja) Ｖｒ歩行機構及び仮想現実シーンにおける歩行方法
KR102060129B1 (ko) 다면 센싱을 이용한 동작 인식방법 및 장치
KR102054818B1 (ko) 족적 영상 패턴 분석 기반 가상현실 제공 방법
JP3655618B2 (ja) 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム
KR20170010157A (ko) 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
WO2016031313A1 (ja) 体調検出装置、体調検出方法及び体調検出プログラム
KR101818198B1 (ko) 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
JP7327449B2 (ja) 検出システム
US20230062630A1 (en) Touch recognition method and device having lidar sensor
Wendt Real-walking models improve walking-in-place systems
KR20190130761A (ko) 사용자 인식 보행 동작 측정 시스템 및 이를 이용한 보행 동작 측정 방법
KR20020011851A (ko) 인공시각과 패턴인식을 이용한 체감형 게임 장치 및 방법.
JP2016222383A (ja) 乗客コンベアの乗り込み案内装置および乗客コンベアの乗り込み案内方法
KR101527188B1 (ko) 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법
CA3149314A1 (en) Detection method for golf club and sensing apparatus using the same
WO2023022072A1 (ja) 動画像判定方法
JPH10228540A (ja) 歩行パターン処理装置
KR102672715B1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 보행 분석 방법 및 장치
KR101587263B1 (ko) 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right