KR20180094762A - Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same - Google Patents

Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same Download PDF

Info

Publication number
KR20180094762A
KR20180094762A KR1020170059696A KR20170059696A KR20180094762A KR 20180094762 A KR20180094762 A KR 20180094762A KR 1020170059696 A KR1020170059696 A KR 1020170059696A KR 20170059696 A KR20170059696 A KR 20170059696A KR 20180094762 A KR20180094762 A KR 20180094762A
Authority
KR
South Korea
Prior art keywords
image
coordinate
infrared
foot
infrared ray
Prior art date
Application number
KR1020170059696A
Other languages
Korean (ko)
Other versions
KR101913179B1 (en
Inventor
이상혁
우재현
김기섭
이상덕
Original Assignee
주식회사 애틱팹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애틱팹 filed Critical 주식회사 애틱팹
Publication of KR20180094762A publication Critical patent/KR20180094762A/en
Application granted granted Critical
Publication of KR101913179B1 publication Critical patent/KR101913179B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Disclosed are an infrared sensing footing device for accurately and precisely determining and tracking the position and motion of a user′s foot using an infrared optical detection method, a method for detecting two-dimensional image using the same and a program. The present invention includes an infrared ray radiating part that emits an infrared ray radially and parallel to the certain height of a foot plate; an infrared ray photographing part for receiving reflected light reflected at one side of a foot touching the foot plate; and a control part for analyzing the image received by the infrared ray photographing part and processing a coordinate value on the foot plate to determine the position and the motion of the foot.

Description

적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램{Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same}FIELD OF THE INVENTION [0001] The present invention relates to an infrared sensing footrest device, a two-dimensional image sensing method using the same,

본 발명은 가상현실 트레드밀 장치에 적용되는 적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램에 관한 것이다.The present invention relates to an infrared sensing scaffolding device applied to a virtual reality treadmill, a two-dimensional image sensing method using the same, and a program.

최근의 VR(virtual reality) 장치는 고글 또는 헤드마운트 디스플레이(HMD, Head Mounted Display)를 통해 사용자에게 몰입감 있는 360도 3차원 가상체험을 제공하기 위하여 가상현실 트레드밀 장치가 함께 사용되고 있다.Recent virtual reality (VR) devices have been used together with virtual reality treadmill devices to provide a 360 degree three-dimensional virtual experience that is immersive to the user through goggles or head mounted displays (HMDs).

가상현실 트레드밀 장치는 사용자가 VR 콘텐츠를 편하고 몰입감 있게 경험 할 수 있는 환경을 제공하기 위한 것으로, 현재 VR의 문제점 중 하나인 부자연스러운 공간이동, Room scale의 제한된 공간활용 방식을 극복하고 최소한의 공간을 이용하여 VR내 무한공간을 자연스럽게 이동할 수 있도록 하는 것이다.The virtual reality treadmill device is intended to provide an environment in which the user can experience comfortable and immersive experience of VR contents. The virtual reality treadmill device overcomes the limited space utilization method of unnatural space movement and room scale, which is one of the problems of VR, So that the infinite space in the VR can be moved smoothly.

사용자가 실제 현실에서 움직이듯 직관적으로 발걸음 동작을 하면 그 동작을 인식하여 VR 콘텐츠 내의 공간이동으로 구현하고 있다.When a user intuitively performs a stepping motion as if it is moving in a real world, the movement is recognized and implemented as a space movement in the VR content.

이를 위하여 더욱 정확하고 정밀하게 발의 위치 및 움직임을 판단하고 추적하는 기술의 개발이 필요한 실정이다.For this purpose, it is necessary to develop a technique for judging and tracking the foot position and movement more accurately and precisely.

일본 공개특허공보 제2008-67737호 (2008년03월27일)Japanese Patent Application Laid-Open No. 2008-67737 (Mar. 27, 2008)

본 발명이 해결하고자 하는 과제는 적외선 광학 검출방식을 이용하여 사용자 발의 위치 및 움직임을 더욱 정확하고 정밀하게 판단 및 추적하는 적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램을 제공하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide an infrared sensing stepping device for accurately and precisely determining and tracking the position and motion of a user's foot using an infrared optical detection method, a two-dimensional image detecting method using the same, and a program.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems which are not mentioned can be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치는, 발판의 일정 높이에 방사형으로 평행하게 적외선을 방출하는 적외선 방출부; 상기 발판에 접촉되는 발의 일측에 반사된 반사광을 수광하는 적외선 촬영부; 및 상기 적외선 촬영부에서 수광된 영상을 분석하고, 상기 발판상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an infrared ray scooping apparatus comprising: an infrared ray emitting unit that emits infrared rays radially and parallel to a predetermined height of a foot plate; An infrared ray photographing unit for receiving reflected light reflected at one side of a foot contacting the foot plate; And a control unit for analyzing the image received by the infrared ray photographing unit and processing coordinate values on the foot plate to determine the foot position and movement.

상기 적외선 방출부와 상기 적외선 촬영부를 일체형으로 포함하는 센싱 모듈을 더 포함하고, 상기 센싱 모듈은 상기 발판을 중심으로 그 외각에 복수개가 배치되되, 서로 마주보지 않도록 비대칭 위치에 배치될 수 있다.And a sensing module including the infrared ray emitting unit and the infrared ray photographing unit integrally. The sensing module may be disposed at an outer periphery of the foot plate, and may be disposed at an asymmetric position so as not to face each other.

상기 적외선 촬영부는 2차원 적외선 카메라인 것이 바람직하다.The infrared ray photographing unit is preferably a two-dimensional infrared camera.

상기 제어부는, 블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용할 수 있다.The controller may apply a blob detection algorithm in which image binarization is applied to a flood fill algorithm to detect the image by applying a blob detection algorithm and to minimize a load.

상기 제어부의 블랍 검출 알고리즘은, 원형의 상기 발판에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하고, 2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하고, 분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하여 영상을 분할하여 영상을 검출할 수 있다.The blob detection algorithm of the control unit applies a monochromatic bit map to the circular foot plate, converts the monochromatic bit map into an array form to mask the ROI, corrects the distortion according to the camera angle and the angle of view using the two- , The number of coordinates to be divided can be set, and the number of each case can be calculated and the image can be divided by dividing the image.

본 발명의 다른 특징에 따른 영상 검출 방법은, 적외선 방출부가 발판의 일정 높이에 방사형으로 평행하게 적외선을 방출하는 단계; 적외선 촬영부가 상기 발판에 접촉하는 발의 일측에 반사되는 반사광을 수광하는 단계; 및 제어부가 상기 적외선 촬영부에서 수광된 영상을 분석하고, 상기 발판상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image detecting method including: emitting infrared rays radially and parallel to a fixed height of a foot plate; Receiving infrared light reflected from one side of a foot contacting the foot plate; And analyzing the image received by the infrared ray photographing unit and processing the coordinate values on the foot plate to determine the foot position and the movement.

상기 발의 위치 및 움직임을 판단하는 단계는, 블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용할 수 있다.Wherein the step of determining the position and motion of the foot comprises the steps of: detecting a blob detection algorithm by applying a blob detection algorithm, and applying a blob detection algorithm to the flood fill algorithm to minimize the load, Can be applied.

상기 블랍 검출 알고리즘은, 원형의 발판에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하는 관심영역 마스킹단계; 2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하는 좌표 변환 단계; 분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하는 영상 분할 단계를 포함할 수 있다.The blob detection algorithm may include a ROI masking step of applying a monochromatic bitmap to a circular footstool and converting the monochromatic bitmap into an array form to mask an area of interest; A coordinate conversion step of correcting distortion due to a camera angle and an angle of view using a two-dimensional conversion table; And an image dividing step of calculating the number of each case by setting the number of coordinates to be divided.

상기 좌표 변환 단계는; X = 0인 점을 Y좌표계의 기준점으로 잡고, Y축 방향의 1차원 변환 테이블을 생성하는 단계; 상기 테이블을 기준으로 해서 X좌표의 변위가 커짐에 따라 Y의 출력비가 변환되는 변환 비율을 결정하는 단계;Wherein the coordinate transformation step comprises: Generating a one-dimensional transformation table in the Y-axis direction by holding a point of X = 0 at a reference point of the Y-coordinate system; Determining a conversion ratio at which the output ratio of Y is converted as the displacement of the X coordinate increases with reference to the table;

Y축의 길이에 따라 X좌표계가 변화하는 기울기를 구해 상기 2차원 변환 테이블을 생성하는 단계를 포함할 수 있다.And generating the two-dimensional conversion table by obtaining a slope in which the X-coordinate system changes according to the length of the Y-axis.

상기 영상 분할 단계는; 좌표 집합의 분산을 계산하여 영상에 표시된 좌표 집합이 몇 개의 터치로 인식할 것인지를 결정하는 단계; 상기 분산이 지정한 수치를 넘을 경우 최소 자승법을 이용한 1차 추세선을 그려 어떤 좌표 그룹에 개별 좌표를 소속시킬 것인지를 결정하는 단계; 2개의 좌표계에서 각각 2그룹으로 나누어 좌표계의 적합성을 판단하는 단계를 포함할 수 있다.Wherein the image segmentation step comprises: Calculating a variance of the set of coordinates and determining how many touches the coordinate set displayed on the image is to be recognized; If the variance exceeds a predetermined value, drawing a first trend line using a least squares method to determine which coordinate group belongs to each of the coordinate groups; And judging conformity of the coordinate system by dividing the two groups into two groups of two coordinate systems.

상기 좌표계의 적합성을 판단하는 단계는; 전체 좌표 집합의 중심점을 지나는 상기 1차 추세선에 직교하는 직선을 구하고, 이 직선을 기준으로 양쪽의 2그룹으로 분할하는 단계; 양쪽 그룹의 각각의 표준편차를 구해서 표준편차가 적은 좌표계를 선택하는 단계를 포함할 수 있다.The step of determining suitability of the coordinate system includes: Obtaining a straight line orthogonal to the primary trend line passing the center point of the entire coordinate set and dividing the straight line into two groups on the basis of the straight line; And obtaining a standard deviation of each of the groups, and selecting a coordinate system having a small standard deviation.

상기 1차 추세선은 XY좌표계와 YX좌표계에서 서로 다르게 그려지는 것이 바람직하다.It is preferable that the primary trend line is drawn differently in the XY coordinate system and the YX coordinate system.

본 발명의 또 다른 특징은, 하드웨어인 컴퓨터와 결합되어, 상기 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된, 적외선 센싱 발판 장치를 이용한 영상 검출 프로그램을 제공할 수 있다.According to another aspect of the present invention, there is provided an image detecting program using an infrared sensing scaffold, which is stored in a recording medium, in combination with a computer, which is hardware, to execute any one of the methods described above.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 일실시에에 따른 적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램에 의하면, 적외선 광학 검출방식을 이용하여 특정 높이에 설치된적외선 장치로부터 방출된 적외선이 사용자의 발에 맺히게 되면 2차원 적외선 촬영부를 통해 발에 맺힌 상을 추적하고 촬영된 영상을 분석하여 VR 콘텐츠내 이동으로 구현함으로써, 사용자 발의 위치 및 움직임을 더욱 정확하고 정밀하게 판단 및 추적하는 효과가 있다.According to the infrared sensing footrest device, the two-dimensional image sensing method and the method using the infrared sensing footrest device according to an embodiment of the present invention, when the infrared rays emitted from the infrared device installed at a specific height are formed on the user's feet using the infrared optical sensing method, The image formed on the foot is tracked through the 3D infrared radiographing unit, and the photographed image is analyzed and implemented as a movement in the VR content, so that the position and motion of the user's foot can be more accurately and accurately judged and tracked.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치를 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치의 측면에서 본 작동 개념도,
도 3은 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치의 평면에서 본 작동 개념도,
도 4 내지 도 8은 본 발명의 일 실시예에 따른 영상 검출 방법을 나타낸 순서도,
도 9는 본 발명에 따른 마스킹 처리한 화면을 나타낸 도면,
도 10은 본 발명에 따른 Y좌표계의 기준점으로 잡고, Y축 방향의 1차원 변환 테이블을 만드는 과정을 나타낸 도면,
도 11은 본 발명에 따른 Y축 출력 그래프,
도 12는 본 발명에 따른 좌표집합의 분산을 계산하는 과정을 나타낸 도면,
도 13은 본 발명에 따른 Y축 방향으로 분포된 좌표 집합을 나타낸 그래프,
도 14는 본 발명에 따른 좌표계의 적합성을 판단하기 위해 두 좌표계에서 각각 2그룹으로 나눈 화면을 나타낸 도면,
도 15는 본 발명에 따른 서로 다른 그룹의 응집도를 나타낸 도면이다.
1 is a block diagram showing an infrared sensing footrest according to an embodiment of the present invention.
FIG. 2 is a conceptual view illustrating operation of the infrared sensing footrest according to the embodiment of the present invention,
FIG. 3 is a plan view of the operation of the infrared sensing footrest according to the embodiment of the present invention,
4 to 8 are flowcharts illustrating an image detecting method according to an embodiment of the present invention,
9 is a view showing a masked screen according to the present invention,
10 is a diagram illustrating a process of creating a one-dimensional transformation table in the Y-axis direction by holding the reference point of the Y-coordinate system according to the present invention,
11 is a Y-axis output graph according to the present invention,
12 is a diagram illustrating a process of calculating a variance of a coordinate set according to the present invention;
13 is a graph showing a coordinate set distributed in the Y-axis direction according to the present invention,
FIG. 14 is a view showing a screen divided into two groups in two coordinate systems to determine suitability of the coordinate system according to the present invention; FIG.
15 is a view showing the degree of coagulation of different groups according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein, Is provided to fully convey the scope of the present invention to a technician, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element. Like reference numerals refer to like elements throughout the specification and "and / or" include each and every combination of one or more of the elements mentioned. Although "first "," second "and the like are used to describe various components, it is needless to say that these components are not limited by these terms. These terms are used only to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical scope of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense that is commonly understood by one of ordinary skill in the art to which this invention belongs. In addition, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치를 나타낸 블록도이다.1 is a block diagram showing an infrared sensing footrest according to an embodiment of the present invention.

도시된 바와 같이, 본 발명은 적외선 광학 검출방식을 이용하여 특정 높이에 설치된 적외선 장치로부터 방출된 적외선이 사용자의 발에 맺히게 되면 2차원 적외선(IR) 카메라를 통해 발에 맺힌 상을 추적하고 촬영된 영상을 분석하여 VR 콘텐츠내 이동으로 구현할 수 있다.As shown in the drawing, when infrared rays emitted from an infrared device installed at a specific height are formed on a user's foot using an infrared optical detection system, the image formed on the foot is tracked through a two-dimensional infrared (IR) camera, The video can be analyzed and implemented as moving within VR content.

이를 위하여, 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치는 발판(21)과, 적외선 방출부(53), 적외선 촬영부(55)를 갖는 복수의 센싱 모듈(51)과, 그리고 제어부(57)를 포함한다.The infrared sensing footrest according to an embodiment of the present invention includes a footrest 21, a plurality of sensing modules 51 having an infrared ray emitting unit 53, an infrared ray photographing unit 55, and a controller 57 ).

본 발명의 센싱 모듈(51)은 발광부와 수광부가 일체형으로 이루어지는데, 발광부로는 방사형 적외선 방출부(53)를, 수광부로 적외선 촬영부(55)를 사용한다.In the sensing module 51 of the present invention, the light emitting unit and the light receiving unit are integrated. The infrared emitting unit 53 is used as the light emitting unit, and the infrared ray photographing unit 55 is used as the light receiving unit.

상기 센싱 모듈(51)은 보다 정확한 발의 위치를 파악하기 위하여, 상기 발판(21)을 중심으로 복수개의 센싱 모듈(51)이 배치될 수 있다.The sensing module 51 may include a plurality of sensing modules 51 disposed around the footrest 21 in order to more accurately grasp the position of the foot.

특히, 상기 센싱 모듈(51)은 적외선의 간섭을 방지하여 위하여 발판(21)을 중심으로 서로 마주보지 않도록 비대칭 위치에 배치되는 것이 바람직하다.In particular, the sensing module 51 is preferably disposed at an asymmetric position so as not to face each other about the footrest 21 in order to prevent interference of infrared rays.

상기 센싱 모듈(51)은 마주보는 위치의 대칭을 방지하기 위하여 적어도 3개 이상의 홀수개가 설치될 수 있다. 즉, 도 3에 도시된 바와 같이, 원형의 상기 발판(21)의 둘레에 3개의 센싱 모듈(51)이 서로 마주보지 않도록 비대칭 위치에 배치된다.At least three or more odd sensing modules 51 may be installed to prevent symmetry of the facing positions. That is, as shown in FIG. 3, three sensing modules 51 are arranged in an asymmetric position around the circular pedestal 21 so as not to face each other.

적외선 방출부(53)는 발판(21)의 일정 높이에서 방사형으로 평행하게 적외선을 방출한다.The infrared ray emitting portion 53 emits infrared rays radially and parallelly at a certain height of the footrest 21. [

적외선 촬영부(55)는 상기 발판(21)에 접촉된 발의 일측에 반사되는 반사광을 수광한다. 상기 적외선 촬영부(55)는 2차원 적외선 카메라가 적용될 수 있다.The infrared ray photographing unit 55 receives reflected light reflected on one side of the foot that is in contact with the foot plate 21. [ The infrared ray photographing unit 55 may be a two-dimensional infrared camera.

따라서, 적외선 방출부(53)는 발판(21)에 평행하게 적외선을 쏘아주고, 이때 발이 발판(21) 바닥에 접촉하지 않으면 반사광이 없다. 발이 발판(21) 바닥에 접촉하면 적외선 방출부(53)에서 쏜 적외선이 반사되어 적외선 촬영부(55)로 수광되는 것이다.Accordingly, the infrared ray emitting portion 53 emits infrared rays in parallel with the footstool 21, and there is no reflected light unless the foot touches the bottom of the footstep 21. FIG. When the feet contact the floor of the footrest 21, infrared rays shot by the infrared ray emitting portion 53 are reflected and received by the infrared ray photographing portion 55.

적외선 촬영부(55)에서는 특정 형태의 반사광에 대한 영상을 잡을 수 있고, 영상 처리를 통해 반사광의 좌표를 측정할 수 있다.The infrared ray photographing unit 55 can capture an image of a specific type of reflected light and measure the coordinates of the reflected light through image processing.

수광부에 해당하는 적외선 촬영부(55)는 크게 상을 맺히게 해주는 렌즈(미도시)와, 빛의 세기를 아날로그 신호로 변환해주는 반도체 소자(미도시)로 구성된다. 반도체 소자로는 일종의 조도 센서 2차원 배열로, CCD타입과 CMOS타입이 선택적으로 적용될 수 있다. 색상은 CCD패널 위에 RGB 필터를 붙여 구현할 수 있다.The infrared ray photographing unit 55 corresponding to the light receiving unit includes a lens (not shown) for largely forming an image and a semiconductor device (not shown) for converting the intensity of the light into an analog signal. As a semiconductor device, a CCD type and a CMOS type can be selectively applied as a kind of two-dimensional array of ambient light sensors. Color can be implemented by attaching RGB filter on CCD panel.

적외선 촬영부(55)는 IR 밴드패스 필터(미도시)가 부착된 이미지 센서(미도시)를 사용하거나, 렌즈에 IR 밴드패스 필터를 직접 붙여서 사용할 수 있다.The infrared ray photographing unit 55 may use an image sensor (not shown) equipped with an IR band-pass filter (not shown) or may be used by attaching an IR band-pass filter directly to the lens.

적외선 촬영부(55)는 렌즈와 이미지센서로 결합되어 있는 카메라 모듈이 적용될 수 있다. 카메라 모듈의 타입은 보드형태로 된 것과, FFC케이블로 연결된 형태가 있으며 용도에 따라서 선택 적용이 가능하다.The infrared ray photographing unit 55 may be a camera module coupled with a lens and an image sensor. The camera module type is connected to the board type and the FFC cable, and can be selectively applied according to the application.

구체적인 실시예로, 본 발명의 카메라에 삽입된 이미지 센서는 프레임 크기에 따라 VGA 또는 QVGA 해상도를 적용할 수 있고, 해상도에 따라 데이터의 처리 속도를 조절할 수 있다. 렌즈는 IR 밴드패스 필터가 삽입된 것을 선정할 수 있다.In a specific embodiment, the image sensor inserted into the camera of the present invention can apply VGA or QVGA resolution depending on the frame size, and can control the processing speed of data according to the resolution. The lens can be selected with an IR bandpass filter inserted.

제어부(57)는 상기 적외선 촬영부(55)에서 수광된 영상을 분석하고, 상기 발판상의 좌표값을 처리하여 발의 위치 및 움직임을 판단한다. 제어부(57)는 통상의 MCU가 적용될 수 있다.The control unit 57 analyzes the image received by the infrared ray photographing unit 55 and processes coordinate values on the foot plate to determine the foot position and movement. The control unit 57 may be a normal MCU.

구체적인 실시예로서, 고속의 카메라 프레임을 빠르게 받아서 처리하기 위해 DCMI인터페이스가 있는 MCU를 사용할 수 있다.As a specific example, an MCU with a DCMI interface can be used to quickly receive and process high-speed camera frames.

상기 제어부(57)는 상기 복수의 센싱 모듈(51)에 각각 설치될 수 있고, 도시되지 않은 각각의 통신라인 또는 통신수단을 통하여 모듈 외부에 하나로 설치되어 상기 복수의 센싱 모듈(51)을 통합 제어할 수 있다.The control unit 57 may be installed in each of the plurality of sensing modules 51 and may be installed outside the module through respective communication lines or communication means not shown, can do.

상기 제어부(57)는, 블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용할 수 있다.The controller 57 may apply a blob detection algorithm that detects the image by applying a blob detection algorithm and applies an image binarization to a flood fill algorithm to minimize the load have.

영상처리에서 이진화는 어떤 주어진 임계값(threshold)보다 밝은 픽셀들은 모두 흰색으로, 그렇지 않은 픽셀들은 모두 검은색으로 바꾸는 것을 지칭한다. 본 발명은 특정 조건에 따라 전역 고정 이진화(Global fixed thresholding) 또는 지역 가변 이진화(Locally adaptive thresholding)를 선택적으로 적용할 수 있다.In image processing, binarization refers to changing all pixels that are lighter than a given threshold to white, and all pixels that are not. The present invention can selectively apply global fixed thresholding or locally adaptive thresholding according to a specific condition.

더욱 구체적으로, 상기 제어부(57)의 블랍 검출 알고리즘은, 원형의 발판(21)에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하고, 2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하고, 분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하여 영상을 분할하여 영상을 검출할 수 있다.More specifically, the blob detection algorithm of the control unit 57 applies a monochromatic bitmap to the circular footstool 21, converts the monochromatic bitmap into an array form to mask the region of interest, and uses a two- , The number of coordinates to be divided can be set, the number of each case can be calculated, and the image can be divided by dividing the image.

도 2는 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치의 측면에서 본 작동 개념도이고, 도 3은 본 발명의 일 실시예에 따른 적외선 센싱 발판 장치의 평면에서 본 작동 개념도이다.FIG. 2 is a conceptual view of operation of the infrared sensing footrest according to an embodiment of the present invention, and FIG. 3 is a conceptual view illustrating operation of the infrared sensing footrest according to an embodiment of the present invention.

도시된 바와 같이, 적외선 센싱 발판 장치는 3개의 센싱 모듈(51)을 구비할 수 있으며, 3개의 센싱 모듈(51)은 발판(21)의 둘레를 따라 등간격을 이루거나 또는 불규칙한 간견으로 배치되고, 각 센싱 모듈(51)에서 취득한 데이터를 결합하여 발 움직임을 산출할 수 있다.3, the infrared sensing pedestal device may include three sensing modules 51, and three sensing modules 51 may be arranged at regular intervals or irregularly along the perimeter of the footrest 21 , The data acquired by each sensing module 51 can be combined to calculate the foot motion.

예를 들어, 발판(21)의 중심을 기준으로 120도 간격으로 각각의 센싱 모듈(51)이 배치될 수 있으며, 각 센싱 모듈(51)은 각각의 검출 범위 내에서 사용자(1)의 발의 움직임에 대한 데이터를 획득할 수 있게 된다.For example, each sensing module 51 may be disposed at an interval of 120 degrees with respect to the center of the foot plate 21, and each sensing module 51 senses the motion of the foot of the user 1 within each detection range, Lt; / RTI >

상기 센싱 모듈(51)은 상기 발판을 중심으로 그 외각에 3개가 배치되되, 서로 마주보지 않도록 비대칭 위치에 배치되는 것이다.Three sensing modules (51) are disposed on the outer periphery of the foot plate, and are disposed at asymmetric positions so as not to face each other.

여기서, 센싱 모듈(51)은 다른 실시예로서, 한 쌍 이하 또는 4개 이상의 모듈이 발판(21)의 사방 위치에 마련될 수도 있다.Here, the sensing module 51 may be provided in a different position from the pedestal 21 in four or more modules.

또한, 도시된 바와 같이 발판(21)으로부터 특정 높이 일 예로서, 발판(21)으로부터 5∼10mm 높이의 위치에 설치된 적외선 방출부(53)로부터 방출된 적외선이 사용자(1)의 발에 맺히게 되면, 적외선 방출부(53)의 하측에 위치하는 2차원 적외선 카메라(55)를 통해 촬영된 영상은 제어부(57)를 통해 분석되어 사용자(1)의 발의 이동 데이터를 생성한다. As shown in the drawing, when infrared rays emitted from the infrared ray emitting portion 53 installed at a position 5 to 10 mm higher than the footrest 21 at a specific height from the footrest 21 are formed on the foot of the user 1 Dimensional infrared camera 55 located below the infrared ray emitting unit 53 is analyzed through the control unit 57 to generate movement data of the foot of the user 1. [

제어부(57)는 각 센싱 모듈(51)에서 전달된 이동 데이터를 통합하여 하나의 공간 좌표로 재구성 및 발의 중심점을 산출하고, 분석된 사용자(1)의 발의 이동 데이터를 통합된 공간 좌표상에 이동 명령으로 전환하여, VR 콘텐츠에서 활용 가능한 데이터로 생성한다.The controller 57 integrates the movement data transmitted from each sensing module 51 to calculate the center point of the reconstruction and footing as one spatial coordinate and moves the movement data of the foot of the user 1 analyzed on the integrated spatial coordinate Command to generate data usable in the VR content.

이하에서는 첨부된 도 4 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 영상 검출 방법을 상세히 설명한다.Hereinafter, an image detecting method according to an embodiment of the present invention will be described in detail with reference to FIGS.

도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 검출 방법은, 컴퓨터 또는 장치 내에 포함된 제어부에서 구현되기 위하여, 적외선 영상을 입력하는 단계(S100); 상기 적외선 영상의 이미지를 분석하는 단계(S200) 및 분석된 영상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는 단계(S300)를 포함한다.Referring to FIG. 4, an image detection method according to an exemplary embodiment of the present invention includes: inputting an infrared image (S100) to be implemented in a control unit included in a computer or an apparatus; A step S200 of analyzing the image of the infrared image, and a step S300 of processing the coordinates of the analyzed image to determine the position and movement of the foot.

구체적으로, 상기 영상을 처리하여 발의 위치 및 움직임을 판단하는 단계(S300)는, 상기 제어부(57)가 블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용하여 영상을 검출할 수 있다.More specifically, in step S300 of determining the foot position and motion by processing the image, the controller 57 detects the image by applying a blob detection algorithm. In order to minimize the load, The image can be detected by applying a blob detection algorithm applying image binarization to the Flood Fill algorithm.

일 실시예로서, 적외선 방출부(53)는 발판(21)에 평행하게 빛을 쏘아주고, 이때 발이 발판(21) 바닥에 접촉하지 않으면 반사광이 없으나, 발이 발판(21) 바닥에 접촉하면 적외선 방출부(53)에서 쏜 빛(적외선)이 반사되어 적외선 촬영부(55)로 인식된다.The infrared ray emitting portion 53 emits light in parallel to the footstool 21 and at this time there is no reflected light unless the foot touches the bottom of the footstool 21 but when the foot touches the bottom of the footstep 21, Light (infrared ray) shot by the unit 53 is reflected and recognized by the infrared ray photographing unit 55.

적외선 촬영부(55)에서는 특정 형태의 반사광에 대한 영상을 잡을 수 있고, 제어부(57)에서 영상 처리를 통해 반사광의 좌표를 측정할 수 있다.The infrared ray photographing unit 55 can capture an image of a specific type of reflected light, and the control unit 57 can measure the coordinates of the reflected light through image processing.

즉, 제어부(57)는 분석된 영상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는데, 구체적으로는 블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 분석한다.That is, the controller 57 processes the coordinate values of the analyzed image to determine the foot position and movement. Specifically, the controller 57 analyzes the image by applying a blob detection algorithm.

이때, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용할 수 있다.At this time, a blob detection algorithm applying image binarization (Thresholding) to the flood fill algorithm can be applied to minimize the load.

또한, 제어부(57)는 미리 설정된 특정 조건에 따라 전역 고정 이진화(Global fixed thresholding) 또는 지역 가변 이진화(Locally adaptive thresholding)를 선택적으로 적용하여 영상 처리 효율을 상승시킬 수 있다.In addition, the control unit 57 may selectively apply global fixed thresholding or locally adaptive thresholding according to preset predetermined conditions to increase image processing efficiency.

도 5를 참조하면, 본 발명의 일 실시예에 따른 상기 블랍 검출 알고리즘은, 원형의 발판(21)에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하는 관심영역 마스킹단계(S310); 2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하는 좌표 변환 단계(S320); 분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하는 영상 분할 단계(S330)를 포함한다.Referring to FIG. 5, the blob detection algorithm according to an embodiment of the present invention includes an interest area masking step S310 of applying a monochrome bitmap to a circular footstool 21 and converting the monochromatic bitmap into an array form, ; A coordinate conversion step (S320) of correcting a distortion (Distortion) according to the camera angle and the angle of view using the two-dimensional conversion table; And an image dividing step (S330) of setting the number of coordinates to be divided and calculating the number of each case.

관심영역 마스킹단계(S310)에서는 환경적인 요인을 줄이기 위해 원형의 발판에 대해 마스킹을 한다. 마스킹 처리한 화면은 도 9에 도시된 바와 같다. 이를 위해서는 단색 비트맵으로 그림을 그리고 배열의 형태로 변환해주는 도구가 필요하며, 실제 적용예로서 XBM 포맷을 사용할 수 있다.In the interest area masking step (S310), masking is performed on the circular footstool to reduce environmental factors. The screen subjected to the masking processing is as shown in Fig. To do this, you need a tool to convert the picture to a monochrome bitmap and convert it to an array. You can use the XBM format as a practical example.

좌표 변환 단계(S320)에서 좌표변환을 위하여 2차원 테이블을 사용한다. 또한, 카메라 각도와 화각에 따른 왜곡을 보정하기 위해 별도의 변환 도구를 사용할 수 있다.In the coordinate transformation step S320, a two-dimensional table is used for coordinate transformation. In addition, a separate conversion tool can be used to compensate for camera angles and distortion depending on the angle of view.

도 6을 참조하면, 본 발명의 일 실시예에 따른 상기 좌표 변환 단계(S320)는; X = 0인 점을 Y좌표계의 기준점으로 잡고, Y축 방향의 1차원 변환 테이블을 생성하는 단계(S321); 상기 테이블을 기준으로 해서 X좌표의 변위가 커짐에 따라 Y의 출력비가 변환되는 변환 비율을 결정하는 단계(S322); Y축의 길이에 따라 X좌표계가 변화하는 기울기를 구해 상기 2차원 변환 테이블을 생성하는 단계(S323)를 포함한다.Referring to FIG. 6, the coordinate transformation step S320 according to an embodiment of the present invention includes: A step (S321) of holding a point of X = 0 at a reference point of the Y coordinate system and generating a one-dimensional conversion table in the Y-axis direction; Determining a conversion ratio at which the output ratio of Y is converted as the displacement of the X coordinate becomes larger with reference to the table (S322); And a step (S323) of generating the two-dimensional conversion table by obtaining a slope in which the X-coordinate system changes according to the length of the Y-axis.

이때, 도 10에 도시된 바와 같이, 먼저, X = 0인 점을 Y좌표계의 기준점으로 잡고, Y축 방향의 1차원 변환 테이블을 만든다. At this time, as shown in FIG. 10, first, a point of X = 0 is set as a reference point of the Y coordinate system, and a one-dimensional conversion table in the Y-axis direction is created.

이를 기준으로 해서 X좌표의 변위가 커짐에 따라 Y의 출력비가 달라진다는 사실을 토대로 변환 비율을 결정한다.Based on this fact, the conversion ratio is determined based on the fact that the output ratio of Y changes as the displacement of the X coordinate becomes larger.

Y축의 길이에 따라 X좌표계의 입력 폭은 거의 선형으로 변하기 때문에 기울기를 구해 변환 테이블을 생성한다(도 11의 Y축 출력 그래프 참조).Since the input width of the X-coordinate system varies almost linearly with the length of the Y-axis, the gradient is calculated to generate a conversion table (see Y-axis output graph in FIG. 11).

도 7을 참조하면, 본 발명의 일 실시예에 따른 상기 영상 분할 단계(S330)는; 좌표 집합의 분산을 계산하여 영상에 표시된 좌표 집합이 몇 개의 터치로 인식할 것인지를 결정하는 단계(S331); 상기 분산이 지정한 수치를 넘을 경우 최소 자승법을 이용한 1차 추세선을 그려 어떤 좌표 그룹에 개별 좌표를 소속시킬 것인지를 결정하는 단계(S332); 2개의 좌표계에서 각각 2그룹으로 나누어 좌표계의 적합성을 판단하는 단계(S333)를 포함한다.Referring to FIG. 7, the image segmenting step S330 according to an embodiment of the present invention includes: Calculating a variance of the coordinate set and determining (S331) how many touches the coordinate set displayed on the image is to be recognized; If the variance exceeds the specified value, a primary trend line using the least squares method is drawn to determine which coordinate group belongs to each coordinate group (S332); And a step (S333) of determining suitability of the coordinate system by dividing the two groups into two groups of two coordinate systems.

본 발명의 영상 처리의 대상은 인체의 "발"이다. 적외선 반사광은 발의 전면에 생기기 때문에, 다각도에서 측정한 반사광의 좌표의 연관성을 찾기란 어려운 일이고, 환경적인 요인에 민감할 수 밖에 없다. 발의 크기, 신발의 모양 등에 따라서 형성되는 좌표 집합의 형태는 다양하기 때문에 "발"은 "두 개"라는 사실에 집중할 필요가 있다. 위 내용을 바탕으로 영상 분할은, 분할할 좌표의 수량을 0~2개로 정하고, 각 경우의 수를 계산할 수 있는 알고리즘을 고안해야 한다.The object of the image processing of the present invention is the "foot" of the human body. Since the infrared reflected light is generated on the front of the foot, it is difficult to find the correlation of the coordinates of the reflected light measured at various angles, and it is sensitive to environmental factors. Since the form of the coordinate set formed by the size of the foot, the shape of the shoe, etc. varies, it is necessary to focus on the fact that the "foot" is "two". Based on the above information, we should design an algorithm that can calculate the number of each case by setting the number of coordinates to be divided to 0 ~ 2.

따라서 먼저, 영상에 표시된 좌표 집합이 1개의 터치로 인식할 것인지 2개의 터치로 인식할 것인지를 결정하기 위해 좌표집합의 분산을 계산한다(도 12 참조).Accordingly, first, the variance of the coordinate set is calculated to determine whether the coordinate set displayed on the image is recognized as one touch or two touches (see FIG. 12).

만약 분산이 지정한 수치를 넘으면 어떤 좌표 그룹에 개별 좌표를 소속시킬 것인지를 결정해야 하는데, 이를 위해 최소 자승법을 이용한 1차 추세선을 그린다. 추세선은 XY좌표계와 YX좌표계에서 다르게 그려지는데, 그 이유는 최소 자승법 계산의 기준이 되는 값이 XY 좌표계에서는 Y값, YX좌표계에서는 X값이기 때문이다.If the variance exceeds the specified number, it is necessary to determine to which coordinate group the individual coordinate belongs. For this purpose, draw a first trend line using the least squares method. The trend line is drawn differently in the XY coordinate system and the YX coordinate system because the value used as the basis of the least squares method is the Y value in the XY coordinate system and the X value in the YX coordinate system.

예를 들어 도 13과 같이 Y축 방향으로 분포된 좌표 집합은 XY좌표계에서는 Y변위를 최소화하는 방향으로 직선의 계수가 정해지기 때문에 노란색 그래프(a)와 같이 나올 수 밖에 없다. 하지만, 분포로 봤을 때 YX좌표계에서 표시한 분홍색(b)이 더 적합해 보인다.For example, as shown in FIG. 13, a set of coordinates distributed in the Y-axis direction can not be obtained as shown in the yellow graph (a) because a linear coefficient is determined in a direction that minimizes the Y displacement in the XY coordinate system. However, the pink (b) displayed in the YX coordinate system seems more appropriate when viewed as a distribution.

도 8을 참조하면, 본 발명의 일 실시예에 따른 상기 좌표계의 적합성을 판단하는 단계(S333)는; 전체 좌표 집합의 중심점을 지나는, 추세선에 직교하는 직선을 구하고, 이 직선을 기준으로 양쪽의 2그룹으로 분할하는 단계(S333a); 양쪽 그룹의 각각의 표준편차를 구해서 표준편차가 적은 좌표계를 선택하는 단계(S333b)를 포함한다. 상기 1차 추세선은 XY좌표계와 YX좌표계에서 서로 다르게 그려지는 것이 바람직하다.Referring to FIG. 8, the step of determining conformity of the coordinate system (S333) according to an embodiment of the present invention includes: A step (S333a) of obtaining a straight line passing through the center point of the entire set of coordinates and orthogonal to the trend line, and dividing the line into two groups on the basis of the straight line; And a step (S333b) of obtaining a standard deviation of each of the two groups and selecting a coordinate system having a small standard deviation. It is preferable that the primary trend line is drawn differently in the XY coordinate system and the YX coordinate system.

여기서, 좌표계의 적합성을 판단하기 위해 먼저 두 좌표계에서 각각 2그룹으로 나눈다. 그룹을 나누기 위해서 전체 좌표 집합의 중심점을 지나는, 추세선에 직교하는 직선을 구하고, 이 직선을 기준으로 양쪽 그룹을 나눈다(도 14 참조).Here, in order to judge the suitability of the coordinate system, firstly, the two coordinate systems are divided into two groups. In order to divide the group, a straight line orthogonal to the trend line passing through the center point of the entire coordinate set is obtained, and both groups are divided based on this straight line (see Fig. 14).

도 14에 표시된 두 직선은 각각의 좌표계에서 구한 추세선의 수선이다. 이를 기준으로 그룹을 나누고 각각의 표준편차를 구해서 표준편차가 적은 좌표계를 선택하면 된다.The two straight lines shown in Fig. 14 are the perpendicular lines of the trend lines obtained from the respective coordinate systems. You can divide the groups based on this, obtain the standard deviation of each, and select a coordinate system with a small standard deviation.

특히, 좌표계에 수직 혹은 수평으로 분포된 좌표 집합은 어떤 좌표계를 사용하는지에 따라 추세선이 완전히 다르게 그려지므로 위의 예제와 같이 그룹의 응집도가 다를 수 밖에 없다(도 15 참조).In particular, the coordinate sets distributed vertically or horizontally in the coordinate system have different degrees of cohesion, as shown in the above example, because the trend line is drawn differently depending on which coordinate system is used (refer to FIG. 15).

이상에서 전술한 본 발명의 일 실시예에 따른 영상 검출 방법은, 하드웨어인 컴퓨터(즉, 로컬 컴퓨터 또는 서버)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.As described above, the image detecting method according to an embodiment of the present invention can be implemented as a program (or application) to be executed in combination with a computer (i.e., a local computer or a server) which is hardware and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program may be stored in a computer-readable medium such as C, C ++, JAVA, machine language, or the like that can be read by the processor (CPU) of the computer through the device interface of the computer, And may include a code encoded in a computer language of the computer. Such code may include a functional code related to a function or the like that defines necessary functions for executing the above methods, and includes a control code related to an execution procedure necessary for the processor of the computer to execute the functions in a predetermined procedure can do. Further, such code may further include memory reference related code as to whether the additional information or media needed to cause the processor of the computer to execute the functions should be referred to at any location (address) of the internal or external memory of the computer have. Also, when the processor of the computer needs to communicate with any other computer or server that is remote to execute the functions, the code may be communicated to any other computer or server remotely using the communication module of the computer A communication-related code for determining whether to communicate, what information or media should be transmitted or received during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The medium to be stored is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and is capable of being read by a device. Specifically, examples of the medium to be stored include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, but are not limited thereto. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed to a network-connected computer system so that computer-readable codes may be stored in a distributed manner.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with the embodiments of the present invention may be embodied directly in hardware, in software modules executed in hardware, or in a combination of both. The software module may be a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, a CD- May reside in any form of computer readable recording medium known in the art to which the invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

21 : 발판
51 : 센싱 모듈
53 : 적외선 방출부
55 : 적외선 촬영부
57 : 제어부
21: Scaffolding
51: Sensing module
53: Infrared ray emitting portion
55: infrared ray photographing unit
57:

Claims (13)

발판의 일정 높이에 방사형으로 평행하게 적외선을 방출하는 적외선 방출부;
상기 발판에 접촉되는 발의 일측에 반사된 반사광을 수광하는 적외선 촬영부; 및
상기 적외선 촬영부에서 수광된 영상을 분석하고, 상기 발판상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는 제어부;를 포함하는 적외선 센싱 발판 장치.
An infrared ray emitting portion emitting radiantly parallel infrared rays at a predetermined height of the footstool;
An infrared ray photographing unit for receiving reflected light reflected at one side of a foot contacting the foot plate; And
And a control unit for analyzing the image received by the infrared ray photographing unit and processing coordinate values on the foot plate to determine a foot position and a motion.
제1항에 있어서,
상기 적외선 방출부와 상기 적외선 촬영부를 일체형으로 포함하는 센싱 모듈을 더 포함하고,
상기 센싱 모듈은 상기 발판을 중심으로 그 외각에 복수개가 배치되되, 서로 마주보지 않도록 비대칭 위치에 배치되는 적외선 센싱 발판 장치.
The method according to claim 1,
Further comprising a sensing module integrally including the infrared ray emitting unit and the infrared ray photographing unit,
Wherein the sensing module is disposed at an outer periphery of the foot plate, the infrared sensing sensing device being disposed at an asymmetric position so as not to face each other.
제1항에 있어서,
상기 적외선 촬영부는 2차원 적외선 카메라인 적외선 센싱 발판 장치.
The method according to claim 1,
Wherein the infrared ray photographing unit is a two-dimensional infrared ray camera.
제1항에 있어서,
상기 제어부는,
블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용하는 적외선 센싱 발판 장치.
The method according to claim 1,
Wherein,
An infrared sensing scaffold for detecting the image by applying a blob detection algorithm and applying a blob detection algorithm applying image binarization to a flood fill algorithm to minimize a load.
제4항에 있어서,
상기 제어부의 블랍 검출 알고리즘은,
원형의 상기 발판에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하고, 2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하고, 분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하여 영상을 분할하여 영상을 검출하는 적외선 센싱 발판 장치.
5. The method of claim 4,
Wherein the blob detection algorithm of the control unit comprises:
A monochromatic bitmap is applied to the circular scaffold and converted into an array form to mask the region of interest, a distortion (distortion) according to the camera angle and angle of view is corrected using a two-dimensional transformation table, And detecting an image by dividing the image by calculating the number of each case.
컴퓨터에서 구현되는,
적외선 영상을 획득하는 단계;
상기 적외선 영상의 이미지를 분석하는 단계; 및
분석된 영상의 좌표값을 처리하여 발의 위치 및 움직임을 판단하는 단계;
를 포함하는 영상 검출 방법.
Implemented on a computer,
Obtaining an infrared image;
Analyzing the image of the infrared image; And
Processing coordinate values of the analyzed image to determine a foot position and a motion;
/ RTI >
제6항에 있어서,
상기 발의 위치 및 움직임을 판단하는 단계는,
블랍 검출(Blob Detection) 알고리즘을 적용하여 상기 영상을 검출하되, 부하를 최소화하기 위해 플러드 필(Flood Fill) 알고리즘에 영상 이진화(Thresholding)를 적용한 블랍 검출 알고리즘을 적용하여 영상을 검출하는 영상 검출 방법.
The method according to claim 6,
The step of determining the position and movement of the foot,
A method for detecting an image by applying a blob detection algorithm to detect the image and applying a blob detection algorithm applying image binarization to a flood fill algorithm to minimize a load.
제7항에 있어서,
상기 블랍 검출 알고리즘은,
원형의 발판에 단색 비트맵을 적용하고 배열 형태로 변환하여 관심영역을 마스킹하는 관심영역 마스킹단계;
2차원 변환 테이블을 사용하여 카메라 각도와 화각에 따른 왜곡(Distortion)을 보정하는 좌표 변환 단계; 및
분할할 좌표의 수량을 설정하여 각 경우의 수를 계산하는 영상 분할 단계;를 포함하는 영상 검출 방법.
8. The method of claim 7,
Wherein the blob detection algorithm comprises:
A region of interest masking step of applying a monochromatic bitmap to a circular footing and converting it into an array form to mask an area of interest;
A coordinate conversion step of correcting distortion due to a camera angle and an angle of view using a two-dimensional conversion table; And
And an image dividing step of setting the number of coordinates to be divided and calculating the number of each case.
제8항에 있어서,
상기 좌표 변환 단계는;
X = 0인 점을 Y좌표계의 기준점으로 잡고, Y축 방향의 1차원 변환 테이블을 생성하는 단계;
상기 테이블을 기준으로 해서 X좌표의 변위가 커짐에 따라 Y의 출력비가 변환되는 변환 비율을 결정하는 단계; 및
Y축의 길이에 따라 X좌표계가 변화하는 기울기를 구해 상기 2차원 변환 테이블을 생성하는 단계;를 포함하는 영상 검출 방법.
9. The method of claim 8,
Wherein the coordinate transformation step comprises:
Generating a one-dimensional transformation table in the Y-axis direction by holding a point of X = 0 at a reference point of the Y-coordinate system;
Determining a conversion ratio at which the output ratio of Y is converted as the displacement of the X coordinate increases with reference to the table; And
And generating a 2D conversion table by obtaining a slope in which an X coordinate system changes according to a length of the Y axis.
제8항에 있어서,
상기 영상 분할 단계는;
좌표 집합의 분산을 계산하여 영상에 표시된 좌표 집합이 몇 개의 터치로 인식할 것인지를 결정하는 단계; 및
상기 분산이 지정한 수치를 넘을 경우 최소 자승법을 이용한 1차 추세선을 그려 어떤 좌표 그룹에 개별 좌표를 소속시킬 것인지를 결정하는 단계;
2개의 좌표계에서 각각 2그룹으로 나누어 좌표계의 적합성을 판단하는 단계;를 포함하는 영상 검출 방법.
9. The method of claim 8,
Wherein the image segmentation step comprises:
Calculating a variance of the set of coordinates and determining how many touches the coordinate set displayed on the image is to be recognized; And
If the variance exceeds a predetermined value, drawing a first trend line using a least squares method to determine which coordinate group belongs to individual coordinates;
And determining the suitability of the coordinate system by dividing the two groups into two groups in two coordinate systems.
제10항에 있어서,
상기 좌표계의 적합성을 판단하는 단계는;
전체 좌표 집합의 중심점을 지나는 상기 1차 추세선에 직교하는 직선을 구하고, 이 직선을 기준으로 양쪽의 2그룹으로 분할하는 단계; 및
양쪽 그룹의 각각의 표준편차를 구해서 표준편차가 적은 좌표계를 선택하는 단계;를 포함하는 영상 검출 방법.
11. The method of claim 10,
The step of determining suitability of the coordinate system includes:
Obtaining a straight line orthogonal to the primary trend line passing the center point of the entire coordinate set and dividing the straight line into two groups on the basis of the straight line; And
Obtaining a standard deviation of each of the groups, and selecting a coordinate system having a small standard deviation.
제10항에 있어서,
상기 1차 추세선은 XY좌표계와 YX좌표계에서 서로 다르게 그려지는 영상 검출 방법.
11. The method of claim 10,
Wherein the primary trend line is drawn differently in the XY coordinate system and the YX coordinate system.
하드웨어인 컴퓨터와 결합되어, 제6항 내지 제12항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된, 적외선 센싱 발판 장치를 이용한 영상 검출 프로그램.12. An image detection program using an infrared sensing scaffold, stored in a recording medium, for executing the method of any one of claims 6 to 12 in combination with a computer which is hardware.
KR1020170059696A 2017-02-16 2017-05-15 Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same KR101913179B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170020882 2017-02-16
KR1020170020882 2017-02-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180127152A Division KR20180118584A (en) 2017-02-16 2018-10-24 Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same

Publications (2)

Publication Number Publication Date
KR20180094762A true KR20180094762A (en) 2018-08-24
KR101913179B1 KR101913179B1 (en) 2019-01-14

Family

ID=61001936

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020170035208A KR101815530B1 (en) 2016-07-29 2017-03-21 Chair type virtual reality controller
KR1020170059696A KR101913179B1 (en) 2017-02-16 2017-05-15 Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same
KR1020170183598A KR20180094773A (en) 2017-02-16 2017-12-29 Chair type virtual reality controller
KR1020180127152A KR20180118584A (en) 2017-02-16 2018-10-24 Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170035208A KR101815530B1 (en) 2016-07-29 2017-03-21 Chair type virtual reality controller

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020170183598A KR20180094773A (en) 2017-02-16 2017-12-29 Chair type virtual reality controller
KR1020180127152A KR20180118584A (en) 2017-02-16 2018-10-24 Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same

Country Status (1)

Country Link
KR (4) KR101815530B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074535A (en) * 2020-11-27 2022-06-03 대한민국(국립재활원장) Rehabilitation Mobility Function Evaluation System and Method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6270414B2 (en) * 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
JP4230999B2 (en) * 2002-11-05 2009-02-25 ディズニー エンタープライゼス インコーポレイテッド Video-operated interactive environment
JP4580373B2 (en) * 2006-09-12 2010-11-10 株式会社タイトー Experience-based game console
KR101492372B1 (en) * 2014-04-23 2015-02-12 (주)스페이스링크 Virtual Reality Simulation Apparatus Having Motion Control Unit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074535A (en) * 2020-11-27 2022-06-03 대한민국(국립재활원장) Rehabilitation Mobility Function Evaluation System and Method

Also Published As

Publication number Publication date
KR20180118584A (en) 2018-10-31
KR101913179B1 (en) 2019-01-14
KR20180094773A (en) 2018-08-24
KR101815530B1 (en) 2018-01-05

Similar Documents

Publication Publication Date Title
KR101954855B1 (en) Use of intensity variations of light patterns for depth mapping of objects in a volume
JP5865910B2 (en) Depth camera based on structured light and stereoscopic vision
CN204480228U (en) motion sensing and imaging device
EP1456806B1 (en) Device and method for calculating a location on a display
US9569005B2 (en) Method and system implementing user-centric gesture control
CN104380338B (en) Information processor and information processing method
RU2455676C2 (en) Method of controlling device using gestures and 3d sensor for realising said method
JP6377863B2 (en) Enhancement of depth map representation by reflection map representation
US7623250B2 (en) Enhanced shape characterization device and method
US11276225B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
US20190354799A1 (en) Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features
US10310619B2 (en) User gesture recognition
JP7162079B2 (en) A recording medium for recording a method, system and computer program for remotely controlling a display device via head gestures
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
EP3910451B1 (en) Display systems and methods for aligning different tracking means
CN106803284B (en) Method and device for constructing three-dimensional image of face
KR101913179B1 (en) Apparatus for Infrared sensing footing device, Method for TWO-DIMENSIONAL image detecting and program using the same
JP2017219942A (en) Contact detection device, projector device, electronic blackboard system, digital signage device, projector device, contact detection method, program and recording medium
US9239635B2 (en) Method and apparatus for graphical user interface interaction on a domed display
Gaspar et al. Accurate infrared tracking system for immersive virtual environments
WO2023275669A1 (en) Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant