WO2020213786A1 - Virtual interactive content execution system using body movement recognition - Google Patents

Virtual interactive content execution system using body movement recognition Download PDF

Info

Publication number
WO2020213786A1
WO2020213786A1 PCT/KR2019/007315 KR2019007315W WO2020213786A1 WO 2020213786 A1 WO2020213786 A1 WO 2020213786A1 KR 2019007315 W KR2019007315 W KR 2019007315W WO 2020213786 A1 WO2020213786 A1 WO 2020213786A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
player
interactive content
event
digital camera
Prior art date
Application number
PCT/KR2019/007315
Other languages
French (fr)
Korean (ko)
Inventor
고종필
Original Assignee
주식회사 지티온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190071560A external-priority patent/KR102275702B1/en
Application filed by 주식회사 지티온 filed Critical 주식회사 지티온
Publication of WO2020213786A1 publication Critical patent/WO2020213786A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens

Definitions

  • the present invention relates to a system for executing virtual interactive contents using body movement recognition, and more particularly, a system for executing virtual interactive contents by generating a predetermined event by recognizing a specific motion of a player's upper body and/or lower body with a digital camera. It is about.
  • a virtual interactive content execution technology that projects content such as a game on a large screen such as a wall, recognizes and tracks a player's motion or a thrown object such as a ball thrown by the player, and links with the execution of the content has recently been in the spotlight.
  • virtual interactive contents that can be enjoyed indoors regardless of environmental conditions such as outdoor temperature, fine dust concentration, rainfall, and snowfall are gradually being introduced.
  • One of the conventional virtual interactive content execution systems uses an infrared (IR) camera to track the movement of a player or a thrown object.
  • the IR camera module of this system includes at least one infrared light irradiation module and at least one light sensor module, and uses the lag or phase shift of the modulated optical signal for all pixels of the captured image.
  • ToF method Time-Of-Flight measurement
  • Patent Document 0001 relates to an object-throwing game display system, an IR camera that recognizes reflection information of infrared light of an object thrown on the front of the display, and recognized by the IR camera It includes a computer that obtains the location information by receiving the information of the infrared light.
  • Patent Document 0001 Since the technology of Patent Document 0001 identifies the position of the thrown object using infrared rays, in order to obtain a recognition rate enough to play a normal game, the game space should not be exposed to daylight or maintain illumination below a predetermined standard. Therefore, there is a limitation to playing the game in a closed room under low-illumination lighting or to play the game with the window covered with a blackout curtain so as not to be exposed to daylight.
  • infrared rays due to the nature of infrared rays, it is difficult to play a game smoothly in a high temperature environment above a predetermined temperature or above a predetermined humidity. For example, in a hot indoor game hall on a summer day, an outdoor court in broad daylight, or an indoor or outdoor court in the case of fog or rain, the recognition rate of a thrown object is significantly lowered.
  • Patent Document 0001 relates to a technology for tracking the thrown object thrown by the player, but the same problem occurs with the technology for tracking the player's motion with an infrared camera.
  • Another of the conventional interactive content execution systems is to install a touch plate using a piezoelectric sensor on the floor, and when the player makes various actions on the touch plate while watching the interactive content projected on the wall screen, the player's foot moves by the piezoelectric sensor Is detected and reflected in the execution of interactive content.
  • the present invention has been proposed to solve the above-mentioned problems, and an object of the present invention is to provide a virtual interactive content execution system that is not affected by environmental factors of a play place such as illumination, temperature, and humidity.
  • Another object of the present invention is to provide a virtual interactive content execution system that can dramatically improve the recognition rate by learning in advance various features of a person through repetitive pre-analysis in order to quickly and accurately identify a player from a play video. Is to do.
  • An embodiment of the present invention for achieving the above object, a digital camera for photographing the movement of the player; And a recognition module that identifies a movement pattern of a part of the player's body in the image captured by the digital camera, and when the movement pattern of the part of the body matches a preset pattern, transmitting an event including the identifier of the pattern to the interactive content application.
  • a digital camera for photographing the movement of the player
  • a recognition module that identifies a movement pattern of a part of the player's body in the image captured by the digital camera, and when the movement pattern of the part of the body matches a preset pattern, transmitting an event including the identifier of the pattern to the interactive content application.
  • It relates to an interactive content execution system using body movement recognition, comprising: an application driving device that executes a conversion engine including an event module.
  • the recognition module tracks the movement of a part of the body based on the distance to the body part of the player, and the event module includes an identifier of the corresponding pattern when the movement distance and the movement direction of the body part coincide with a preset pattern. And deliver the generated event to the interactive content application.
  • the digital camera has at least two image sensors, and the recognition module estimates a distance between the digital camera and a body part of the player by using a difference in angle of view of the image sensors.
  • the recognition module identifies movement of at least one of the player's left arm, right arm, left foot, and right foot.
  • the event module generates an event for at least one of a movement of the body part, a walk, a jump, and a movement in any one of a plurality of preset directions.
  • the digital camera includes at least one image sensor, and in this case, the recognition module includes a distance between the digital camera and a body part of the player based on the size of the body part of the player in the image captured by the digital camera.
  • a stage installed on the floor may be further included in order to provide a visual guide to the player about the preset movement direction and movement range.
  • it may further include a machine learning server that analyzes a plurality of image data including a person and learns pattern information for identifying a person from a background in the image in advance.
  • virtual interactive content can be enjoyed without being affected by environmental factors such as illumination, temperature, and humidity.
  • content can be enjoyed comfortably in an indoor space with sufficiently bright lighting even on hot, cold, or high concentration of fine dust, and content can be enjoyed on an outdoor court in an area where the temperature and weather suitable for exercise are maintained.
  • a touch sensor such as a piezoelectric element or the like is not required to recognize a player's body motion, inconvenience of using the system due to a failure can be prevented in advance.
  • the conversion engine generating the event and the virtual interactive content receiving the event are independently executed, there is no need to modify the virtual interactive content to maintain compatibility between the two programs. Therefore, the productivity of interactive content development is increased while the universality of the conversion engine is guaranteed.
  • FIG. 1 is a conceptual diagram schematically showing the configuration of a virtual interactive content execution system according to a first embodiment.
  • FIG. 2 is a block diagram showing a detailed configuration of a system for executing virtual interactive content according to the first embodiment.
  • 3 and 4 are block diagrams showing a system configuration of a modified embodiment of the first embodiment.
  • 5A through 5C illustrate various embodiments of a stage.
  • MODULE refers to a unit that processes a specific function or operation, and may mean hardware or software, or a combination of hardware and software.
  • interactive content refers to content that outputs or executes various results in response to a user's real-time action, not content that is unilaterally played or executed according to a predetermined plot. .
  • content is not executed using conventional input means such as a mouse or a touch pad (hereinafter referred to as'mouse, etc.'), but the actual content is executed on a separate computer device, but the execution image of the content is beamed.
  • Directly projected onto a wall, floor, or ceiling (hereinafter referred to as'wall surface') through a projector, projected onto a screen installed on a wall, etc., or through a display device (for example, a digital TV or digital monitor) installed on a wall.
  • Is output, and the player uses a mouse through various movements such as jumping, walking, moving the right or left arm, or moving the right or left leg on the directional bearing plate placed on the floor while looking at the wall on which the image of the content is displayed.
  • virtual interactive content refers to interactive content that induces dynamic movement or movement of a player.
  • virtual interactive content can be understood as a concept including all kinds of content that can induce a player's kinetic action. Therefore, it is obvious to those skilled in the art that it may be implemented as media content such as a tap dance game using a floor touch in nine directions, a game that experiences virtual historical relics using walking and arm movements.
  • Embodiment 1 relates to a virtual interactive content execution system that recognizes a player's body movement using a stereo camera.
  • FIG. 1 is a conceptual diagram schematically showing the configuration of a virtual interactive content execution system according to a first embodiment.
  • a digital camera 10 for photographing a user's action is disposed on the wall opposite to the wall on which the interactive content is projected, or on the ceiling or on either side of the wall, and the interactive content is executed on a separate application driving device 20 do.
  • An image output device 30 that receives an image of interactive content from the application driving device 20 and outputs it to the wall surface is disposed on the wall or ceiling opposite the wall surface on which the content is projected.
  • a stage 50 is disposed on the floor to provide a visual guide to the player regarding a predetermined orientation and reach distance.
  • FIG. 2 is a block diagram showing a detailed configuration of a system for executing virtual interactive content according to the first embodiment.
  • the system of Example 1 includes a digital camera 10, an application driving device 20 and an image output device 30, and includes at least one of a machine learning server 40 and a stage 50. It may contain more.
  • the digital camera 10 photographs a motion scene of the player and transmits the photographed image data to the application driving device 20.
  • the digital camera 10 uses an application driving device 20 and a wired communication interface such as USB, RJ-45, or a short-range or broadband wireless communication interface or communication protocol such as Bluetooth, IEEE 802.11, and LTE. Can be connected.
  • a wired communication interface such as USB, RJ-45, or a short-range or broadband wireless communication interface or communication protocol such as Bluetooth, IEEE 802.11, and LTE. Can be connected.
  • the communication interface or communication protocol mentioned here is only an example, and any communication interface and protocol for smoothly transmitting image data can be used.
  • a stereo-type measurement algorithm can be used.
  • the same object is photographed using two camera modules (image sensors) separated from each other, and the distance to the object is estimated by using the angle difference caused by the discrepancy between the viewpoints between the two camera modules.
  • the digital camera 10 of Example 1 includes at least two 2D image sensor modules (not shown).
  • the application driving device 20 executes the conversion engine 21 and the interactive content application 22.
  • the application driving device 20 may install and execute the conversion engine 21 and the interactive content application 22 together in a single device such as a desktop PC, a notebook computer, a mobile tab, a smartphone, and a server.
  • the application driving device 20 may install and execute the conversion engine 21 on a single device such as a desktop PC illustrated above, and install and execute the interactive content application 22 on a separate server 20-1.
  • FIG. 3 is a block diagram showing the system configuration of such a modified embodiment.
  • the conversion engine 21 is installed and executed on the digital camera 10, and only interactive content applications are executed on the application driving device 20, and the digital camera 10 and the application driving device 20 are It can be connected through a local area network or an LTE or 5G broadband network.
  • 4 is a block diagram showing the system configuration of this modified embodiment.
  • the conversion engine 21 When it is detected that the player's arm or foot moves in a predetermined pattern, the conversion engine 21 generates an event corresponding to the pattern, and transmits the generated event to the interactive content application 22. To this end, the conversion engine 21 may include a recognition module 21-1 and an event module 21-2.
  • the recognition module 21-1 identifies the player by processing the image data sent from the camera 10, and uses a stereotype technique to determine between the camera 10 and the player's moving body (for example, a moving right foot). Estimate the distance.
  • the identification of the player and the estimation of the distance to the moving body will be collectively defined as tracking. Tracking may be performed on all frames of image data sent from the camera 10, or intermittently performed on frames of preset intervals in consideration of the burden of load of the conversion engine 21 due to frequent tracking. It could be.
  • the recognition module 21-1 may be included in the conversion engine 21 or may be installed in the digital camera 10 as firmware.
  • the digital camera 10 provides tracking information including the distance to the object and the coordinates of the object instead of image data to the event module 21-2 of the conversion engine 21 do.
  • the event module 21-2 determines whether the player's body movement matches a predetermined pattern, generates an event including an identification flag of the movement pattern, and transmits the generated event to the interactive content application.
  • the principle of the event module 21-2 determining whether the player's body movement matches a predetermined pattern may be implemented with various algorithms. For better understanding, an example of executing interactive content using the movement of the legs of the player's body will be described.
  • an algorithm for recognizing a pattern when a player moves his or her feet in a specific direction may be implemented as follows.
  • the recognition module 21-1 first estimates the distance between the camera 10 and the right foot, and the camera 10 and the left foot from the captured image of the player standing at the center of the stage 50 and waiting, Set as the reference value for pattern recognition.
  • the recognition module 21-1 first analyzes only the image of the stage 50, but estimates the distance to the center point using the division line displayed on the upper surface of the stage 50, or separates and recognizes the stage object in the image.
  • the distance to the center point may be estimated, and the distance to the center point may be regarded as the player's initial position and set as a reference value for pattern recognition.
  • the recognition module 21-1 continuously tracks the movement of the player's left foot and right foot and transmits it to the event module 21-2, and the event module 21-2 determines the movement distance and the movement direction of the left foot in advance. If the movement distance and direction of movement of the left foot of the set pattern match, it is determined that movement of the pattern has occurred, and an event of the pattern is generated.
  • the event module 21-2 keeps the player's left foot at 10 o'clock from the reference point.
  • a predetermined distance the distance to the upper left area of the stage
  • it is recognized as a “left foot 10 o'clock pattern”, and a “left foot 10 o'clock event” with a flag pointing to the upper left area of the stage is generated.
  • an algorithm for recognizing a pattern in which the player jumps in place may be implemented as follows.
  • the recognition module 21-1 continuously tracks the movements of the player's left and right feet and transmits them to the event module 21-2.
  • the event module 21-2 recognizes as a "jumping pattern” and generates a "jumping event” when the movement direction of the left foot and the right foot is vertical and the movement distance is greater than a preset height.
  • an algorithm for recognizing a pattern of a player walking in place may be implemented as follows.
  • the recognition module 21-1 continuously tracks the movements of the player's left and right feet and transmits them to the event module 21-2.
  • the event module 21-2 recognizes as a “walking pattern” and recognizes as a “walking event” when it is determined that the movement direction of the left foot and the right foot is vertical and the movement distance is more than a preset height, but the left foot and the right foot alternately move up and down. Occurs.
  • the event module 21-2 generates an event including an identifier of the determined pattern and transmits it to the interactive content application 22.
  • GUI Graphical user interface
  • the interactive dancing content 22 whose score is counted is executed, interactive dancing
  • the content 22 converts the inactive footprint into an active footprint image when a "left foot movement event" is received from the event module 21-2 while an inactive footprint image at 10 o'clock is displayed on the screen. It can be run as a plot that counts a predetermined score.
  • the educational interactive content 22 is executed to listen to commentary on a specific relic while visiting ancient relics one by one on the wall screen.
  • a "walking event” is received from the event module 21-2
  • the content 22 continuously outputs a scene according to the forward walking on the screen.
  • a "walking stop event” is received from the event module 21-2, and the stationary scenery at that point is output.
  • the “right arm 10 o'clock event” is received from the event module 21-2, the description of the relic may be executed as a narrated plot.
  • a virtual reality (VR) headset is used as the image output device 30, the interestingness of the content may be doubled.
  • the term “event” may be understood as a concept including any event for inputting a user's instruction to the interactive content application 22. Therefore, the event transmitted from the conversion engine 21 to the interactive content application 22 may be an event related to the aforementioned arm/leg movement, but in addition to the left mouse click event, the mouse right click event, the mouse movement event, the mouse It can be variously defined as a double click event or a mouse wheel click event.
  • the event generated by the conversion engine 21 is compatible with the operating system in which the interactive content application 22 is executed. Alice, the developer of the interactive content application 22, does not need to discuss compatibility with Bob, the developer of the conversion engine 21 in advance, so the conversion engine 21 of the present invention is sold on the market. It has the advantage of being able to apply any interactive content to be applied without a separate modification for interfacing.
  • the image output device 30 may be any type of device as long as it has a function of outputting a content image on a wall or the like.
  • a beam projector for example, a beam projector, a display device such as a large TV or monitor mounted on a wall, and an augmented reality headset may be used as the image output device 30.
  • the image output device 30 is connected to the application driving device 20 through a cable or wireless communication.
  • the machine learning server 40 includes a machine learning engine (not shown) that learns various characteristics for identifying an object based on image data sent from the camera 10.
  • the machine learning server 40 uses the object based on at least one of a typical human shape, an arm position, a leg position, and a body silhouette for distinguishing a man and a woman. You can find a certain pattern to identify
  • the machine learning server 40 may receive image data through an application driving device 20 connected to the digital camera 10 or may be directly connected to the digital camera 10 to receive image data.
  • the machine learning server 40 finds a specific pattern to more clearly identify a person by repeatedly analyzing dozens to hundreds of different image data captured on a person (or male and female).
  • the recognition module 21-1 of the conversion engine 21 can easily identify the player from the image data using identification pattern information, which is a result obtained by learning in advance by the machine learning module 40.
  • the machine learning server 40 may learn only one object for one content, but if control is required with a plurality of objects according to the type of content, it may pre-learn to identify a plurality of different objects for one content. have.
  • the stage 50 provides a reference point for the player's initial position, and provides a visual direction guide so that the player can easily point a specific direction using the lower body's feet or the upper body's arms.
  • 5A to 5C illustrate various embodiments of the stage 50.
  • the stage 50 includes an external layout OL having a predetermined width, and includes a partition line IL for dividing and distinguishing an inner area of the external layout OL.
  • the player stands on the stage 50 and moves the left foot and/or the right foot of the lower body with reference to the division line IL to perform an action corresponding to a desired event action.
  • the stage 50 is divided into 9 by a division line IL, and the player sees the front, rear, left, right, center, diagonal lines, and mixed motions thereof through 9 divisions. It is possible to do it clearly.
  • the embodiment of FIG. 5B is an example of displaying the external layout OL and the division line IL using the laser light source L.
  • the external layout (OL) and division line (IL) displayed on the floor may have a function to guide the movement of the lower body of the player, and in the case of the external layout (OL) and division line (IL) displayed on the wall, the player It can have a function to guide the upper body motion of the.
  • FIG. 5C is an example of displaying the external layout OL and the partition line IL in a predetermined space using the hologram device H.
  • the hologram by the hologram device (H) is preferably projected onto a space where photographing is possible in the photographing device (10), and the player wants to move the upper body's left arm and/or right arm by referring to the division line (IL) from one side of the hologram. It is possible to take an action corresponding to the event action.
  • FIGS. 5A to 5C may be used separately or may be mixed and used. That is, it is possible to selectively use the embodiment of FIG. 5A or 5B to guide the lower body motion and apply the embodiment of FIG. 5B to the wall surface or selectively use the embodiment of FIG. 5C to guide the upper body motion. .
  • the paint of the partition line or the material of the stage does not need to be limited to any specific ones.
  • the partition line may be displayed using a general colored paint such as paint or ink, and the stage may be implemented as a mat made of artificial fiber.
  • the stage 50 may not be a component that must be provided. That is, in another embodiment, a separate stage 50 having substantiality is not disposed on the floor. Instead, if the content is executed and the user stands at a location in the shooting target area of the camera 10 and does not move for a preset time, the application driving device 20 recognizes the location as the initial location of the player. And when the player moves the upper body arm or lower body foot in 9 directions based on experience and sense, the application driving device 20 generates an event corresponding to each movement by tracking the movement of the arm and/or foot. Let it.
  • the entire or partial functions of the virtual interactive content execution system described above may be provided in a recording medium that can be read through a computer by tangibly implementing a program of instructions for implementing it.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks.
  • Magneto-optical media and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, USB memory, and the like.
  • the computer-readable recording medium may be a transmission medium such as an optical or metal wire or a waveguide including a carrier wave for transmitting a signal specifying a program command or a data structure.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like, in addition to machine language codes such as those produced by a compiler.
  • the hardware device may be configured to operate as one or more software modules to perform the operation of the present invention and vice versa.

Abstract

The present invention relates to a virtual interactive content execution system using body movement recognition and, more specifically, to a system for executing a virtual interactive content by recognizing a particular motion of an upper body and/or a lower body of a player by means of a digital camera and generating a predetermined event. The present invention allows movement of a player to be precisely recognized without a physical touch sensor, thereby reducing an economic burden from system establishment and eliminating inconvenience which may be caused by frequent failure of a sensor.

Description

신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템Virtual interactive content execution system using body movement recognition
본 발명은 신체 움직임 인식을 이용하는 가상 인터렉티브 컨텐츠 실행 시스템에 관한 것으로, 더욱 상세하게는 디지털카메라로 플레이어의 상체 및/또는 하체의 특정 동작을 인식하여 미리 정해진 이벤트를 발생시킴으로써 가상 인터렉티브 컨텐츠를 실행하는 시스템에 관한 것이다.The present invention relates to a system for executing virtual interactive contents using body movement recognition, and more particularly, a system for executing virtual interactive contents by generating a predetermined event by recognizing a specific motion of a player's upper body and/or lower body with a digital camera. It is about.
벽면과 같은 대형 화면에 게임 등의 컨텐츠를 투사하고 플레이어의 동작이나 플레이어가 던지는 공 등의 투척물을 인식 및 추적하여 컨텐츠의 실행과 연동하는 가상 인터렉티브 컨텐츠 실행 기술이 최근 각광을 받고 있다. 특히 스포츠 교육 분야에서는 실외의 온도나 미세먼지 농도, 강우, 강설 등의 환경 조건에 상관없이 실내에서 즐길 수 있는 가상 인터렉티브 컨텐츠가 서서히 도입되고 있는 추세이다.A virtual interactive content execution technology that projects content such as a game on a large screen such as a wall, recognizes and tracks a player's motion or a thrown object such as a ball thrown by the player, and links with the execution of the content has recently been in the spotlight. In particular, in the field of sports education, virtual interactive contents that can be enjoyed indoors regardless of environmental conditions such as outdoor temperature, fine dust concentration, rainfall, and snowfall are gradually being introduced.
종래의 가상 인터렉티브 컨텐츠 실행 시스템 중 하나는 적외선(IR) 카메라를 이용하여 플레이어의 동작 또는 투척물의 이동을 추적한다. 이 시스템의 IR카메라 모듈은 적어도 하나의 적외선 광 조사 모듈과 적어도 하나의 광 센서 모듈을 포함하며, 촬영된 이미지의 모든 픽셀에 대하여 변조된 광 신호의 지연(lag) 또는 위상 천이(shift)를 이용하여 카메라와 투척물 간의 거리를 측정하는 소위 ToF 기법(Time-Of-Flight measurement)을 이용한다.One of the conventional virtual interactive content execution systems uses an infrared (IR) camera to track the movement of a player or a thrown object. The IR camera module of this system includes at least one infrared light irradiation module and at least one light sensor module, and uses the lag or phase shift of the modulated optical signal for all pixels of the captured image. Thus, the so-called ToF method (Time-Of-Flight measurement) is used to measure the distance between the camera and the thrown object.
대한민국 특허공개 제10-2012-0114767호(특허문헌 0001)는 사물 투척형 게임 디스플레이 시스템에 관한 것으로, 디스플레이 전면에 투척되는 물체의 적외선 빛의 반사정보를 인식하는 IR 카메라와, 상기 IR 카메라에 인식된 적외선 빛의 정보를 수신하여 위치 정보를 획득하는 컴퓨터를 포함하여 이루어진다. Republic of Korea Patent Publication No. 10-2012-0114767 (Patent Document 0001) relates to an object-throwing game display system, an IR camera that recognizes reflection information of infrared light of an object thrown on the front of the display, and recognized by the IR camera It includes a computer that obtains the location information by receiving the information of the infrared light.
특허문헌 0001의 기술은 적외선을 이용하여 투척물의 위치를 파악하기 때문에 정상적인 게임을 수행할 수 있을 정도의 인식률을 얻기 위해서는 게임 공간이 소정의 기준 이하로 조도가 유지되거나 주광에 노출되지 말아야 한다. 따라서 밀폐된 실내에서 낮은 조도의 조명 하에 게임을 수행하든지, 주광에 노출되지 않도록 창문을 암막 커튼으로 가린 채 게임을 수행해야 하는 제약이 있다. Since the technology of Patent Document 0001 identifies the position of the thrown object using infrared rays, in order to obtain a recognition rate enough to play a normal game, the game space should not be exposed to daylight or maintain illumination below a predetermined standard. Therefore, there is a limitation to playing the game in a closed room under low-illumination lighting or to play the game with the window covered with a blackout curtain so as not to be exposed to daylight.
아울러 적외선의 특성상 소정 온도 이상의 고온 환경이나 소정의 습도 이상에서는 원활한 게임 수행이 어려운 제약도 있다. 예를 들어 여름 날의 더운 실내 게임장이나 대낮의 실외 코트, 안개가 끼거나 우천 시의 실내 또는 실외 코트에서는 투척 물체의 인식률이 대폭 저하되는 문제가 발생한다.In addition, due to the nature of infrared rays, it is difficult to play a game smoothly in a high temperature environment above a predetermined temperature or above a predetermined humidity. For example, in a hot indoor game hall on a summer day, an outdoor court in broad daylight, or an indoor or outdoor court in the case of fog or rain, the recognition rate of a thrown object is significantly lowered.
특허문헌 0001은 플레이어가 던진 투척물을 추적하는 기술에 관한 것이지만 적외선 카메라로 플레이어의 동작을 추적하는 기술에 대하여도 동일한 제약에 따른 문제점이 발생한다.Patent Document 0001 relates to a technology for tracking the thrown object thrown by the player, but the same problem occurs with the technology for tracking the player's motion with an infrared camera.
종래 인터렉티브 컨텐츠 실행 시스템 중 다른 하나는 바닥에 압전 센서에 의한 터치 플레이트를 설치하고, 플레이어가 벽체 스크린에 투사되는 인터렉티브 컨텐츠를 보면서 터치 플레이트 위에서 여러 가지 동작을 취하면, 압전 센서에 의해 플레이어의 발의 움직임이 감지되어 인터렉티브 컨텐츠의 실행에 반영되는 방식이다.Another of the conventional interactive content execution systems is to install a touch plate using a piezoelectric sensor on the floor, and when the player makes various actions on the touch plate while watching the interactive content projected on the wall screen, the player's foot moves by the piezoelectric sensor Is detected and reflected in the execution of interactive content.
그러나 터치 플레이트에 플레이어의 하중이 지속적으로 가해지면서 누적되는 충격에 의해 압전 센서가 빈번하게 고장나는 문제가 있고, 터치 플레이트에 지속적으로 전원을 공급해야 하므로 컨텐츠 실행 장소가 전원선 등으로 복잡해져 시각적으로도 유려하지 못하였다.However, there is a problem that the piezoelectric sensor frequently breaks due to the accumulated impact as the player's load is continuously applied to the touch plate, and since power must be continuously supplied to the touch plate, the content execution place becomes complicated with power lines, etc. It wasn't smooth.
본 발명은 위의 언급된 문제점들을 해결하기 위해 제안된 것으로서, 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않는 가상 인터렉티브 컨텐츠 실행 시스템을 제공하는 것을 일 목적으로 한다.The present invention has been proposed to solve the above-mentioned problems, and an object of the present invention is to provide a virtual interactive content execution system that is not affected by environmental factors of a play place such as illumination, temperature, and humidity.
본 발명의 다른 일 목적은 플레이어를 플레이 영상 중에서 신속하고 정확하게 식별해 내기 위해 사람이 가지는 여러 가지 특징을 반복적인 사전 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있는 가상 인터렉티브 컨텐츠 실행 시스템을 제공하는 것이다.Another object of the present invention is to provide a virtual interactive content execution system that can dramatically improve the recognition rate by learning in advance various features of a person through repetitive pre-analysis in order to quickly and accurately identify a player from a play video. Is to do.
위의 목적을 달성하기 위한 본 발명의 일 실시예는, 플레이어의 움직임을 촬영하는 디지털 카메라; 및 상기 디지털 카메라의 촬영 영상에서 플레이어의 신체 일부의 움직임 패턴을 식별하는 인식 모듈과, 상기 신체 일부의 움직임 패턴이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치를 포함하는 것을 특징으로 하는 신체 움직임 인식을 이용한 인터렉티브 컨텐츠 실행 시스템에 관한 것이다.An embodiment of the present invention for achieving the above object, a digital camera for photographing the movement of the player; And a recognition module that identifies a movement pattern of a part of the player's body in the image captured by the digital camera, and when the movement pattern of the part of the body matches a preset pattern, transmitting an event including the identifier of the pattern to the interactive content application. It relates to an interactive content execution system using body movement recognition, comprising: an application driving device that executes a conversion engine including an event module.
상기 인식 모듈은, 플레이어의 신체 일부와의 거리를 기반으로 신체 일부의 이동을 트래킹하며, 상기 이벤트 모듈은 신체 일부의 이동 거리 및 이동 방향이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 발생시키고, 발생된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달한다.The recognition module tracks the movement of a part of the body based on the distance to the body part of the player, and the event module includes an identifier of the corresponding pattern when the movement distance and the movement direction of the body part coincide with a preset pattern. And deliver the generated event to the interactive content application.
상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지며, 상기 인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 플레이어의 신체 일부와의 거리를 추정한다.The digital camera has at least two image sensors, and the recognition module estimates a distance between the digital camera and a body part of the player by using a difference in angle of view of the image sensors.
상기 인식 모듈은, 플레이어의 왼팔, 오른팔, 왼발, 오른발 중 적어도 하나의 움직임을 식별한다.The recognition module identifies movement of at least one of the player's left arm, right arm, left foot, and right foot.
상기 이벤트 모듈은, 상기 신체 일부의 움직임으로부터 걷기, 점프, 미리 설정된 복수의 방향 중 어느 한 방향으로의 이동 중 적어도 하나에 대한 이벤트를 발생시킨다.The event module generates an event for at least one of a movement of the body part, a walk, a jump, and a movement in any one of a plurality of preset directions.
상기 디지털 카메라의 다른 실시예는 적어도 하나의 이미지 센서를 가지며, 이 경우 상기 인식 모듈은, 상기 디지털 카메라의 촬영 영상 속 플레이어의 신체 일부의 크기를 기초로 상기 디지털 카메라와 플레이어의 신체 일부와의 거리를 추정한다.Another embodiment of the digital camera includes at least one image sensor, and in this case, the recognition module includes a distance between the digital camera and a body part of the player based on the size of the body part of the player in the image captured by the digital camera. Estimate
플레이어에게 미리 설정된 이동 방향 및 이동 범위에 대한 시각적인 가이드를 제공하기 위해 바닥에 설치되는 스테이지를 더 포함할 수 있다.A stage installed on the floor may be further included in order to provide a visual guide to the player about the preset movement direction and movement range.
또한 사람이 포함된 복수의 영상 데이터를 분석하여 영상 속의 배경으로부터 사람을 식별하기 위한 패턴 정보를 미리 학습하는 머신러닝 서버를 더 포함할 수 있다.In addition, it may further include a machine learning server that analyzes a plurality of image data including a person and learns pattern information for identifying a person from a background in the image in advance.
본 발명의 실시예들에 의하면 조도나 온도, 습도 등과 같은 플레이 장소의 환경적 요인들에 영향 받지 않고 가상 인터렉티브 컨텐츠를 즐길 수 있다. 일례로 덥거나 춥거나 미세먼지 농도가 높은 날에도 충분히 밝은 조명의 실내 공간에서 쾌적하게 컨텐츠를 즐길 수 있고, 운동에 적절한 온도와 날씨가 유지되는 지역에서는 실외 코트에서도 컨텐츠를 즐길 수 있다.According to embodiments of the present invention, virtual interactive content can be enjoyed without being affected by environmental factors such as illumination, temperature, and humidity. For example, content can be enjoyed comfortably in an indoor space with sufficiently bright lighting even on hot, cold, or high concentration of fine dust, and content can be enjoyed on an outdoor court in an area where the temperature and weather suitable for exercise are maintained.
본 발명의 실시예들에 의하면 플레이어의 신체 동작을 인식하기 위해 압전 소자 등과 같은 터치센서를 요구하지 않으므로 고장에 의한 시스템의 사용 불편함을 미연에 방지할 수 있다.According to embodiments of the present invention, since a touch sensor such as a piezoelectric element or the like is not required to recognize a player's body motion, inconvenience of using the system due to a failure can be prevented in advance.
본 발명의 실시예들에 의하면 플레이어를 플레이 영상 중에서 신속하고 정확하게 식별해 내기 위해 사람이 가지는 여러 가지 특징을 반복적인 분석을 통해 미리 학습함으로써 인식율을 획기적으로 향상시킬 수 있다. According to embodiments of the present invention, in order to quickly and accurately identify a player from a play image, various characteristics of a person may be learned in advance through repetitive analysis, thereby dramatically improving a recognition rate.
본 발명의 실시예들에 의하면 이벤트를 발생시키는 변환 엔진과 이벤트를 수신하는 가상 인터렉티브 컨텐츠가 독립적으로 실행되므로 두 프로그램 간에 호환성을 유지하기 위해 가상 인터렉티브 컨텐츠를 수정할 필요가 없다. 따라서 인터렉티브 컨텐츠 개발의 생산성이 증대되는 한편 변환 엔진의 범용성이 보장된다.According to embodiments of the present invention, since the conversion engine generating the event and the virtual interactive content receiving the event are independently executed, there is no need to modify the virtual interactive content to maintain compatibility between the two programs. Therefore, the productivity of interactive content development is increased while the universality of the conversion engine is guaranteed.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.1 is a conceptual diagram schematically showing the configuration of a virtual interactive content execution system according to a first embodiment.
도 2는 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다.2 is a block diagram showing a detailed configuration of a system for executing virtual interactive content according to the first embodiment.
도 3 및 도 4는 실시예 1의 변형 실시예의 시스템 구성을 도시한 블록도이다.3 and 4 are block diagrams showing a system configuration of a modified embodiment of the first embodiment.
도 5a 내지 도 5c는 스테이지에 대한 다양한 실시예들을 도시한 것이다.5A through 5C illustrate various embodiments of a stage.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, or substitutes included in the spirit and scope of the present invention.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, processes, operations, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the possibility of addition or presence of elements or numbers, processes, operations, components, parts, or combinations thereof is not preliminarily excluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms including technical or scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.The term "MODULE" described herein refers to a unit that processes a specific function or operation, and may mean hardware or software, or a combination of hardware and software.
본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어디든 동일한 부호들로 나타내고 있음에 유의해야 한다.Terms and words used in the present specification and claims are not limited to their usual or dictionary meanings and should not be interpreted, and the inventor may appropriately define the concept of terms in order to describe his own invention in the best way. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. In addition, unless there are other definitions in the technical terms and scientific terms used, they have the meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention in the following description and accompanying drawings Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted. The drawings introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. In addition, the same reference numbers throughout the specification indicate the same elements. It should be noted that the same components in the drawings are indicated by the same reference numerals wherever possible.
본 발명의 명세서에서 “인터렉티브 컨텐츠”라 함은 미리 정해진 구성(plot)대로 일방적으로 재생 또는 실행되는 컨텐츠가 아니라 사용자의 실시간 행위(action)에 반응하여 그에 따른 다양한 결과물을 출력 또는 실행하는 컨텐츠를 말한다. In the specification of the present invention, the term "interactive content" refers to content that outputs or executes various results in response to a user's real-time action, not content that is unilaterally played or executed according to a predetermined plot. .
또한 마우스나 터치패드(이하 '마우스 등'이라 함)와 같은 통상의(conventional) 입력 수단을 이용하여 컨텐츠를 실행하는 것이 아니라, 실제 컨텐츠는 별도의 컴퓨터 장치에서 실행되지만 그 컨텐츠의 실행 영상은 빔 프로젝터를 통해 벽면이나 바닥, 또는 천정(이하 '벽면 등'이라 함)에 직접 투사되거나, 벽면 등에 설치된 스크린 막에 투사되거나, 벽면 등에 설치되는 디스플레이 장치(예를 들면 디지털 TV나 디지털 모니터)를 통해 출력되고, 플레이어는 컨텐츠의 영상이 디스플레이 되는 벽면 등을 보면서 바닥에 배치되는 방향 방위판 위에서 점핑하거나, 걷거나, 오른 팔 또는 왼팔을 움직이거나, 오른 다리 또는 왼 다리를 움직이는 등의 다양한 동작을 통해 마우스 등의 입력 수단과 동일한 효과를 가상으로 구현하는 인터렉티브 컨텐츠를 말한다.In addition, content is not executed using conventional input means such as a mouse or a touch pad (hereinafter referred to as'mouse, etc.'), but the actual content is executed on a separate computer device, but the execution image of the content is beamed. Directly projected onto a wall, floor, or ceiling (hereinafter referred to as'wall surface') through a projector, projected onto a screen installed on a wall, etc., or through a display device (for example, a digital TV or digital monitor) installed on a wall. Is output, and the player uses a mouse through various movements such as jumping, walking, moving the right or left arm, or moving the right or left leg on the directional bearing plate placed on the floor while looking at the wall on which the image of the content is displayed. It refers to interactive content that virtually implements the same effect as an input means such as.
본 발명의 명세서에서 "가상 인터렉티브 컨텐츠"라 함은 플레이어의 역동적인 움직임 또는 운동을 유도하는 인터렉티브 컨텐츠를 총칭한다. 그러나 그 명칭에도 불구하고 "가상 인터렉티브 컨텐츠"라 함은 플레이어의 운동(kinetic action)을 유도할 수 있는 모든 종류의 컨텐츠를 포함하는 개념으로 이해될 수 있다. 따라서 9개 방향의 바닥 터치를 이용한 탭 댄스 게임, 걷기 및 팔 움직임을 이용하여 가상의 역사 유적을 체험하는 게임 등의 미디어 컨텐츠로 구현될 수도 있음은 당업자에게 자명하다.In the specification of the present invention, "virtual interactive content" refers to interactive content that induces dynamic movement or movement of a player. However, despite its name, "virtual interactive content" can be understood as a concept including all kinds of content that can induce a player's kinetic action. Therefore, it is obvious to those skilled in the art that it may be implemented as media content such as a tap dance game using a floor touch in nine directions, a game that experiences virtual historical relics using walking and arm movements.
<실시예 1><Example 1>
실시예 1은 스테레오 카메라를 이용하여 플레이어의 신체 움직임을 인식하는 가상 인터렉티브 컨텐츠 실행 시스템에 관한 것이다. Embodiment 1 relates to a virtual interactive content execution system that recognizes a player's body movement using a stereo camera.
도 1은 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 구성을 개략적으로 도시한 개념도이다.1 is a conceptual diagram schematically showing the configuration of a virtual interactive content execution system according to a first embodiment.
도 1에서 보듯, 인터렉티브 컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정 또는 어느 일 측 벽면에는 사용자의 액션을 촬영하는 디지털 카메라(10)가 배치되고, 인터렉티브 컨텐츠는 별도로 마련된 애플리케이션 구동 장치(20)에서 실행된다.As shown in Fig. 1, a digital camera 10 for photographing a user's action is disposed on the wall opposite to the wall on which the interactive content is projected, or on the ceiling or on either side of the wall, and the interactive content is executed on a separate application driving device 20 do.
컨텐츠가 투사되는 벽면의 반대쪽 벽면 또는 천정에는, 애플리케이션 구동 장치(20)로부터 인터렉티브 컨텐츠의 영상을 전송 받아 벽면을 향해 출력하는 영상 출력 장치(30)가 배치된다. 또한 바닥에는 플레이어에게 미리 정해진 방위 및 다달음 거리(reach distance)에 관한 시각적인 가이드를 제공하기 위한 스테이지(50)가 배치된다.An image output device 30 that receives an image of interactive content from the application driving device 20 and outputs it to the wall surface is disposed on the wall or ceiling opposite the wall surface on which the content is projected. In addition, a stage 50 is disposed on the floor to provide a visual guide to the player regarding a predetermined orientation and reach distance.
도 2는 실시예 1의 가상 인터렉티브 컨텐츠 실행 시스템의 세부 구성을 도시한 블록도이다. 2 is a block diagram showing a detailed configuration of a system for executing virtual interactive content according to the first embodiment.
도 2를 참고하면, 실시예 1의 시스템은 디지털 카메라(10), 애플리케이션 구동 장치(20) 및 영상 출력 장치(30)를 포함하며, 머신러닝 서버(40) 및 스테이지(50) 중 적어도 하나를 더 포함할 수 있다.Referring to FIG. 2, the system of Example 1 includes a digital camera 10, an application driving device 20 and an image output device 30, and includes at least one of a machine learning server 40 and a stage 50. It may contain more.
디지털 카메라(10)는 플레이어의 움직임 장면을 촬영하고, 촬영된 영상 데이터를 애플리케이션 구동 장치(20)로 전송한다.The digital camera 10 photographs a motion scene of the player and transmits the photographed image data to the application driving device 20.
용이한 데이터의 전송을 위해 디지털 카메라(10)는 애플리케이션 구동 장치(20)와 USB, RJ-45 등과 같은 유선 통신 인터페이스나, 블루투스, IEEE 802.11, LTE와 같은 근거리 또는 광대역 무선 통신 인터페이스 또는 통신 프로토콜로 연결될 수 있다. 여기에 언급한 통신 인터페이스 또는 통신 프로토콜은 예시에 불과하며 영상 데이터를 원활하게 전송하기 위한 어떠한 통신 인터페이스 및 프로토콜도 사용 가능하다.For easy data transmission, the digital camera 10 uses an application driving device 20 and a wired communication interface such as USB, RJ-45, or a short-range or broadband wireless communication interface or communication protocol such as Bluetooth, IEEE 802.11, and LTE. Can be connected. The communication interface or communication protocol mentioned here is only an example, and any communication interface and protocol for smoothly transmitting image data can be used.
영상 데이터에서 플레이어를 식별하고 카메라(10)와 플레이어의 왼팔 간의 거리, 카메라(10)와 오른팔 간의 거리, 카메라(10)와 플레이어의 왼발 간의 거리, 카메라(10)와 오른발 간의 거리 중 적어도 하나를 추정하기 위해 스테레오 타입 기법의 알고리즘(stereo-type measurement algorithm)이 사용될 수 있다. 스테레오 타입 기법은 이격된 두 개의 카메라 모듈(이미지 센서)를 이용하여 동일 객체를 촬영하고, 두 카메라 모듈 간 시점의 불일치에 의해 발생하는 각도 차이를 이용하여 객체와의 거리를 추정한다.Identify the player from the image data and determine at least one of the distance between the camera 10 and the player's left arm, the distance between the camera 10 and the right arm, the distance between the camera 10 and the left foot of the player, and the distance between the camera 10 and the right foot. To estimate, a stereo-type measurement algorithm can be used. In the stereotype technique, the same object is photographed using two camera modules (image sensors) separated from each other, and the distance to the object is estimated by using the angle difference caused by the discrepancy between the viewpoints between the two camera modules.
실시예 1의 시스템은 스테레오 타입 기법을 이용하므로 실시예 1의 디지털 카메라(10)는 적어도 2개의 2D 이미지 센서 모듈(미도시)을 포함한다.Since the system of Example 1 uses a stereo type technique, the digital camera 10 of Example 1 includes at least two 2D image sensor modules (not shown).
애플리케이션 구동 장치(20)는 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 실행한다. The application driving device 20 executes the conversion engine 21 and the interactive content application 22.
애플리케이션 구동 장치(20)는 데스크탑 PC, 노트북, 모바일 탭, 스마트폰, 서버와 같은 단일 장치 내에 변환 엔진(21)과 인터렉티브 컨텐츠 애플리케이션(22)을 함께 설치 및 실행할 수 있다.The application driving device 20 may install and execute the conversion engine 21 and the interactive content application 22 together in a single device such as a desktop PC, a notebook computer, a mobile tab, a smartphone, and a server.
또는 애플리케이션 구동 장치(20)는 위의 예시된 데스크탑 PC 등의 단일 장치에 변환 엔진(21)이 설치 및 실행되고, 별도의 서버(20-1)에 인터렉티브 컨텐츠 애플리케이션(22)을 설치 및 실행할 수도 있다. 도 3은 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.Alternatively, the application driving device 20 may install and execute the conversion engine 21 on a single device such as a desktop PC illustrated above, and install and execute the interactive content application 22 on a separate server 20-1. have. 3 is a block diagram showing the system configuration of such a modified embodiment.
또는 변환엔진(21)은 디지털 카메라(10)에 설치되어 실행되고, 인터렉티브 컨텐츠 애플리케이션만 애플리케이션 구동 장치(20)에서 실행되며, 디지털 카메라(10)와 애플리케이션 구동 장치(20)는 Wifi나 LAN 등과 같은 근거리 통신망 또는 LTE나 5G 광대역 통신망을 통해 연결될 수 있다. 도 4는 이와 같은 변형 실시예의 시스템 구성을 도시한 블록도이다.Alternatively, the conversion engine 21 is installed and executed on the digital camera 10, and only interactive content applications are executed on the application driving device 20, and the digital camera 10 and the application driving device 20 are It can be connected through a local area network or an LTE or 5G broadband network. 4 is a block diagram showing the system configuration of this modified embodiment.
변환 엔진(21)은 플레이어의 팔 또는 발이 미리 정해진 패턴으로 움직인 것이 감지된 때 그 패턴에 상응하는 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다. 이를 위해 변환 엔진(21)은 인식 모듈(21-1) 및 이벤트 모듈(21-2)을 포함할 수 있다.When it is detected that the player's arm or foot moves in a predetermined pattern, the conversion engine 21 generates an event corresponding to the pattern, and transmits the generated event to the interactive content application 22. To this end, the conversion engine 21 may include a recognition module 21-1 and an event module 21-2.
인식 모듈(21-1)은 카메라(10)가 보내온 영상 데이터를 프로세싱 하여 플레이어를 식별하고, 스테레오 타입 기법을 이용하여 카메라(10)와 플레이어의 움직인 신체(예를 들면 움직인 오른 발) 간의 거리를 추정한다. 플레이어의 식별과 움직인 신체와의 거리 추정을 통칭하여 트래킹(tracking)이라 정의하기로 한다. 트래킹은 카메라(10)가 보내온 영상 데이터의 모든 프레임에 대해 수행될 수도 있고, 잦은 트래킹에 따른 변환 엔진(21)의 처리 부담(burden of load)을 고려하여 미리 설정된 간격의 프레임에 대하여 간헐적으로 수행될 수도 있다.The recognition module 21-1 identifies the player by processing the image data sent from the camera 10, and uses a stereotype technique to determine between the camera 10 and the player's moving body (for example, a moving right foot). Estimate the distance. The identification of the player and the estimation of the distance to the moving body will be collectively defined as tracking. Tracking may be performed on all frames of image data sent from the camera 10, or intermittently performed on frames of preset intervals in consideration of the burden of load of the conversion engine 21 due to frequent tracking. It could be.
또한 인식 모듈(21-1)은 변환 엔진(21)에 포함될 수도 있고, 디지털 카메라(10)에 펌웨어로 설치될 수도 있다. 디지털 카메라(10)에 펌웨어로 설치될 경우, 디지털 카메라(10)는 영상 데이터 대신 객체와의 거리 및 객체의 좌표를 포함하는 트래킹 정보를 변환 엔진(21)의 이벤트 모듈(21-2)에 제공한다.Further, the recognition module 21-1 may be included in the conversion engine 21 or may be installed in the digital camera 10 as firmware. When installed as firmware in the digital camera 10, the digital camera 10 provides tracking information including the distance to the object and the coordinates of the object instead of image data to the event module 21-2 of the conversion engine 21 do.
이벤트 모듈(21-2)은 플레이어의 신체 움직임이 미리 정해진 패턴과 일치하는 여부를 판단하고, 움직임 패턴의 식별 플래그를 포함한 이벤트를 생성하고, 생성된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전송한다.The event module 21-2 determines whether the player's body movement matches a predetermined pattern, generates an event including an identification flag of the movement pattern, and transmits the generated event to the interactive content application.
이벤트 모듈(21-2)이 플레이어의 신체 움직임이 미리 정해진 패턴과 일치하는 여부를 판단하는 원리는 다양한 알고리즘으로 구현될 수 있다. 이해를 돕기 위해 플레이어의 신체 중 다리의 움직임을 이용하여 인터렉티브 컨텐츠를 실행하는 예를 들어 설명한다.The principle of the event module 21-2 determining whether the player's body movement matches a predetermined pattern may be implemented with various algorithms. For better understanding, an example of executing interactive content using the movement of the legs of the player's body will be described.
우선 일례로, 플레이어가 특정 방위로 발을 움직일 때의 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다. First, as an example, an algorithm for recognizing a pattern when a player moves his or her feet in a specific direction may be implemented as follows.
즉, 인식 모듈(21-1)은 스테이지(50)의 정 중앙 위에 위치하여 대기 중인 플레이어의 촬영 영상으로부터 카메라(10)와 오른쪽 발, 카메라(10)와 왼쪽 발 간의 거리를 우선 추정하고, 이것을 패턴 인식의 기준값으로 설정한다. 또는 인식 모듈(21-1)은 스테이지(50)의 영상만을 먼저 분석하되, 스테이지(50)의 상부면에 표시된 구획선을 이용하여 중앙 지점까지의 거리를 추정하거나 영상 속 스테이지 객체를 분리 인식한 후 중앙 지점까지의 거리를 추정하고, 그 중앙 지점까지 거리를 플레이어의 초기 위치로 간주하여 패턴 인식의 기준값으로 설정할 수도 있다.That is, the recognition module 21-1 first estimates the distance between the camera 10 and the right foot, and the camera 10 and the left foot from the captured image of the player standing at the center of the stage 50 and waiting, Set as the reference value for pattern recognition. Alternatively, the recognition module 21-1 first analyzes only the image of the stage 50, but estimates the distance to the center point using the division line displayed on the upper surface of the stage 50, or separates and recognizes the stage object in the image. The distance to the center point may be estimated, and the distance to the center point may be regarded as the player's initial position and set as a reference value for pattern recognition.
이후, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송하고, 이벤트 모듈(21-2)은 왼발의 이동 거리와 이동 방향이 미리 설정된 패턴의 왼발의 이동 거리, 이동방향과 일치하면 해당 패턴의 움직임이 발생한 것으로 판단하고, 해당 패턴의 이벤트를 발생시킨다.Thereafter, the recognition module 21-1 continuously tracks the movement of the player's left foot and right foot and transmits it to the event module 21-2, and the event module 21-2 determines the movement distance and the movement direction of the left foot in advance. If the movement distance and direction of movement of the left foot of the set pattern match, it is determined that movement of the pattern has occurred, and an event of the pattern is generated.
구체적인 예로, 플레이어가 정 중앙에 서 있다가 왼발을 10시 방향으로 내밀되 스테이지(50)의 좌측 상부 영역에까지 내밀게 되면, 이벤트 모듈(21-2)은 플레이어의 왼발이 기준점으로부터 10시 방향으로 계속 멀어지다가 미리 정해진 거리(스테이지의 좌측 상부 영역까지의 거리)에 도달하면 “왼발 10시 방향 패턴”으로 인식하고, 스테이지 좌측 상부 영역을 가리키는 플래그가 포함된 “왼발 10시 방향 이벤트”를 발생시킨다.As a specific example, when the player stands in the center and extends his left foot at 10 o'clock, but extends to the upper left area of the stage 50, the event module 21-2 keeps the player's left foot at 10 o'clock from the reference point. When moving away and reaching a predetermined distance (the distance to the upper left area of the stage), it is recognized as a “left foot 10 o'clock pattern”, and a “left foot 10 o'clock event” with a flag pointing to the upper left area of the stage is generated.
다른 일례로, 플레이어가 제 자리에서 점핑하는 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다.As another example, an algorithm for recognizing a pattern in which the player jumps in place may be implemented as follows.
즉, 먼저 설명한 예와 같이 기준값이 설정된 상태에서, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송한다. 이벤트 모듈(21-2)은 왼발 및 오른발의 이동 방향이 수직 방향이고 이동 거리가 미리 설정된 높이 이상이면 “점핑 패턴”으로 인식하여 “점핑 이벤트”를 발생시킨다.That is, in a state in which the reference value is set as in the above-described example, the recognition module 21-1 continuously tracks the movements of the player's left and right feet and transmits them to the event module 21-2. The event module 21-2 recognizes as a "jumping pattern" and generates a "jumping event" when the movement direction of the left foot and the right foot is vertical and the movement distance is greater than a preset height.
또 다른 일례로, 플레이어가 제 자리에서 걷는 패턴을 인식하는 알고리즘은 다음과 같이 구현될 수 있다.As another example, an algorithm for recognizing a pattern of a player walking in place may be implemented as follows.
즉, 먼저 설명한 예와 같이 기준값이 설정된 상태에서, 인식 모듈(21-1)은 플레이어의 왼발 및 오른발의 움직임을 지속적으로 추적하여 이벤트 모듈(21-2)로 전송한다. 이벤트 모듈(21-2)은 왼발 및 오른발의 이동 방향이 수직 방향이고 이동 거리가 미리 설정된 높이 이상이되 왼발과 오른발이 번갈아 가면서 상하로 이동하는 것으로 판단되면 “걷기 패턴”으로 인식하여 “걷기 이벤트”를 발생시킨다.That is, in a state in which the reference value is set as in the above-described example, the recognition module 21-1 continuously tracks the movements of the player's left and right feet and transmits them to the event module 21-2. The event module 21-2 recognizes as a “walking pattern” and recognizes as a “walking event” when it is determined that the movement direction of the left foot and the right foot is vertical and the movement distance is more than a preset height, but the left foot and the right foot alternately move up and down. Occurs.
본 명세서에 추가적으로 상세히 설명하지 않더라도 10시 방향 외에, 12시 방향, 1시반 방향, 3시 방향, 4시반 방향, 6시 방향, 7시반 방향, 9시 방향 등의 왼발 및 오른발의 움직임 패턴을 식별하는 원리 역시 당업자라면 전술한 알고리즘의 원리를 이용하여 용이하게 구현 가능할 것이다. 또한 플레이어의 발 뿐만 아니라 왼팔 및 오른팔의 움직임 패턴 역시 대동소이한 원리를 이용하여 구현 가능할 것이다.Even if not described in further detail in the present specification, in addition to the 10 o'clock direction, identify movement patterns of the left and right feet such as 12 o'clock, 1:30, 3 o'clock, 4:30, 6 o'clock, 7:30, and 9 o'clock. The principle of this can also be easily implemented by those skilled in the art using the principle of the above-described algorithm. In addition, not only the player's feet, but also the movement patterns of the left and right arms can be implemented using similar principles.
이벤트 모듈(21-2)은 판별된 패턴의 식별자를 포함하는 이벤트를 생성하여 인터렉티브 컨텐츠 애플리케이션(22)에 전달한다. The event module 21-2 generates an event including an identifier of the determined pattern and transmits it to the interactive content application 22.
마이크로 소프트사의 윈도우즈(Windows)나 애플사의 맥 OS(MAC OS)와 같은 그래픽 유저 인터페이스(GUI) 기반의 운영체제 및 그러한 운영체제에서 실행되는 애플리케이션들은 소위 이벤트 구동 방식(event driven)으로 사용자의 지시를 입력 받는다.Graphical user interface (GUI)-based operating systems such as Microsoft's Windows or Apple's MAC OS, and applications running on those operating systems receive user instructions in a so-called event driven method. .
인터렉티브 컨텐츠 애플리케이션(22)은 위와 같은 UI 기반의 운영체제에서 실행되는 것으로 개발되었다고 전제할 때, 이벤트 모듈(21-2)로부터 이벤트가 수신되면, 그 이벤트 안에 포함된 패턴의 식별자에 따라 미리 정해진 컨텐츠 플롯을 실행한다. Assuming that the interactive content application 22 is developed to run on the UI-based operating system as described above, when an event is received from the event module 21-2, a predetermined content plot according to the identifier of the pattern included in the event Run.
구체적인 예로, 벽면 스크린에 연속적으로 탭 댄스의 발자국 형상이 랜덤으로 출력되고 플레이어가 왼발 또는 오른발을 움직여서 스크린 안의 발자국 대로 따라하면 점수가 카운팅되는 인터렉티브 댄싱 컨텐츠(22)가 실행된다고 가정할 때, 인터렉티브 댄싱 컨텐츠(22)는 스크린에 10시 방향의 비활성 발자국 이미지가 출력된 상태에서 이벤트 모듈(21-2)로부터 “왼발 10시 방향 이동 이벤트”가 수신되면, 비활성 발자국을 활성 발자국 이미지로 전환시키는 한편 플레이어에게 미리 정해진 점수를 카운트해 주는 플롯으로 실행될 수 있다. As a specific example, assuming that the shape of the footsteps of tap dance is continuously randomly output on the wall screen and the player moves his left or right foot and follows the footsteps on the screen, it is assumed that the interactive dancing content 22 whose score is counted is executed, interactive dancing The content 22 converts the inactive footprint into an active footprint image when a "left foot movement event" is received from the event module 21-2 while an inactive footprint image at 10 o'clock is displayed on the screen. It can be run as a plot that counts a predetermined score.
다른 구체적인 예로, 벽면 스크린에 고대 유적을 하나 하나 찾아가면서 특정 유적에 대해 해설을 듣는 교육용 인터렉티브 컨텐츠(22)가 실행된다고 가정한다. 컨텐츠(22)는 이벤트 모듈(21-2)로부터 “걷기 이벤트”가 수신되면 스크린에 전방 걷기에 따른 광경을 지속적으로 출력한다. 그러다가 플레이어가 특정 유물의 앞에서 정지하면 이벤트 모듈(21-2)로부터 “걷기 정지 이벤트”를 수신 받고 그 지점의 정지된 풍광을 출력한다. 그리고 이벤트 모듈(21-2)로부터 “오른 팔 10시 방향 이벤트”가 수신되면 해당 유물에 대한 설명이 나레이션되는 플롯으로 실행될 수 있다. 이러한 종류의 컨텐츠는 영상출력장치(30)로 가상현실(VR) 헤드셋을 이용할 경우 컨텐츠의 흥미로움이 배가될 수 있을 것이다. As another specific example, it is assumed that the educational interactive content 22 is executed to listen to commentary on a specific relic while visiting ancient relics one by one on the wall screen. When a "walking event" is received from the event module 21-2, the content 22 continuously outputs a scene according to the forward walking on the screen. Then, when the player stops in front of a specific artifact, a "walking stop event" is received from the event module 21-2, and the stationary scenery at that point is output. In addition, when the “right arm 10 o'clock event” is received from the event module 21-2, the description of the relic may be executed as a narrated plot. For this type of content, when a virtual reality (VR) headset is used as the image output device 30, the interestingness of the content may be doubled.
한편, 실시예 1을 포함한 본 발명의 모든 실시예들에 있어서 “이벤트”라 함은 인터렉티브 컨텐츠 애플리케이션(22)에 사용자의 지시를 입력하기 위한 그 어떠한 이벤트라도 모두 포함하는 개념으로 이해될 수 있다. 따라서 변환 엔진(21)이 인터렉티브 컨텐츠 애플리케이션(22)에 전달하는 이벤트는 전술한 팔/다리의 움직임에 관한 이벤트가 될 수도 있지만, 그 외에도 마우스 좌 클릭 이벤트, 마우스 우 클릭 이벤트, 마우스 이동 이벤트, 마우스 더블 클릭 이벤트, 마우스 휠 클릭 이벤트 등으로 다양하게 정의될 수 있다.Meanwhile, in all embodiments of the present invention including the first embodiment, the term “event” may be understood as a concept including any event for inputting a user's instruction to the interactive content application 22. Therefore, the event transmitted from the conversion engine 21 to the interactive content application 22 may be an event related to the aforementioned arm/leg movement, but in addition to the left mouse click event, the mouse right click event, the mouse movement event, the mouse It can be variously defined as a double click event or a mouse wheel click event.
변환 엔진(21)이 생성하는 이벤트는 인터렉티브 컨텐츠 애플리케이션(22)이 실행되는 운영체제와 호환된다. 인터렉티브 컨텐츠 애플리케이션(22)의 개발자인 앨리스(Alice)는 변환 엔진(21)의 개발자인 밥(Bob)과 호환성에 대해 미리 협의할 필요가 없으며, 따라서 본 발명의 변환 엔진(21)은 시중에 판매되는 어떠한 인터렉티브 컨텐츠라도 인터페이싱을 위한 별도의 수정 없이 적용이 가능해지는 장점을 가진다.The event generated by the conversion engine 21 is compatible with the operating system in which the interactive content application 22 is executed. Alice, the developer of the interactive content application 22, does not need to discuss compatibility with Bob, the developer of the conversion engine 21 in advance, so the conversion engine 21 of the present invention is sold on the market. It has the advantage of being able to apply any interactive content to be applied without a separate modification for interfacing.
다음으로, 영상 출력 장치(30)는 벽면 등에 컨텐츠 영상을 출력할 수 있는 기능을 가지기만 하면 어떠한 종류의 장치라도 상관없다. Next, the image output device 30 may be any type of device as long as it has a function of outputting a content image on a wall or the like.
예를 들어 빔 프로젝터, 벽면에 거치되는 대형 TV나 모니터와 같은 디스플레이 장치, 증강현실 헤드셋이 영상 출력 장치(30)로 사용될 수 있다. 영상 출력 장치(30)는 케이블이나 무선 통신을 통해 애플리케이션 구동 장치(20)와 연결된다.For example, a beam projector, a display device such as a large TV or monitor mounted on a wall, and an augmented reality headset may be used as the image output device 30. The image output device 30 is connected to the application driving device 20 through a cable or wireless communication.
머신러닝 서버(40)는 카메라(10)가 보내온 영상 데이터를 기반으로 객체를 식별하기 위한 여러 가지 특성을 학습하는 머신러닝 엔진(미도시)을 포함한다.The machine learning server 40 includes a machine learning engine (not shown) that learns various characteristics for identifying an object based on image data sent from the camera 10.
예를 들어 인식 대상의 객체가 플레이어라면, 머신러닝 서버(40)는 통상적인 사람의 형상, 팔의 위치, 다리의 위치, 남성과 여성을 구별하기 위한 신체 실루엣 중 적어도 하나의 특성을 기초로 객체를 식별하기 위한 일정한 패턴을 발견할 수 있다.For example, if the object to be recognized is a player, the machine learning server 40 uses the object based on at least one of a typical human shape, an arm position, a leg position, and a body silhouette for distinguishing a man and a woman. You can find a certain pattern to identify
머신러닝 서버(40)는 디지털 카메라(10)와 연결된 애플리케이션 구동 장치(20)를 통해 영상 데이터를 제공 받을 수도 있고, 디지털 카메라(10)와 직접 연결되어 영상 데이터를 제공 받을 수도 있다.The machine learning server 40 may receive image data through an application driving device 20 connected to the digital camera 10 or may be directly connected to the digital camera 10 to receive image data.
머신러닝 서버(40)는 사람(또는 남성 및 여성)에 대하여 촬영된 수십 개 내지 수백 개의 서로 다른 영상 데이터를 반복적으로 분석함으로써 사람을 보다 분명하게 식별하기 위한 특정 패턴을 발견한다. The machine learning server 40 finds a specific pattern to more clearly identify a person by repeatedly analyzing dozens to hundreds of different image data captured on a person (or male and female).
변환 엔진(21)의 인식 모듈(21-1)은 머신러닝 모듈(40)이 미리 학습하여 도출한 결과물인 식별 패턴 정보를 이용하여 영상 데이터로부터 플레이어를 용이하게 식별할 수 있다.The recognition module 21-1 of the conversion engine 21 can easily identify the player from the image data using identification pattern information, which is a result obtained by learning in advance by the machine learning module 40.
한편 머신러닝 서버(40)는 일 컨텐츠에 대하여 하나의 객체만을 학습할 수도 있지만 컨텐츠의 종류에 따라서 복수의 객체로 컨트롤이 필요한 경우에는 일 컨텐츠에 대해 서로 다른 복수의 객체들을 식별하도록 미리 학습할 수도 있다.On the other hand, the machine learning server 40 may learn only one object for one content, but if control is required with a plurality of objects according to the type of content, it may pre-learn to identify a plurality of different objects for one content. have.
마지막으로, 스테이지(50)는 플레이어의 최초 위치에 대한 기준점을 제공하고 플레이어가 하체의 발 또는 상체의 팔을 이용하여 용이하게 특정 방향을 점지할 수 있도록 시각적인 방향 가이드를 제공한다.Finally, the stage 50 provides a reference point for the player's initial position, and provides a visual direction guide so that the player can easily point a specific direction using the lower body's feet or the upper body's arms.
도 5a 내지 도 5c는 스테이지(50)에 대한 다양한 실시예들을 도시한 것이다.5A to 5C illustrate various embodiments of the stage 50.
도 5a의 실시예에 따른 스테이지(50)는 소정 넓이의 외부 레이아웃(OL)을 포함하며, 외부 레이아웃(OL)의 내부 영역을 나누어 구별하기 위한 구획선(IL)을 포함한다. 플레이어는 스테이지(50) 위에 서서 구획선(IL)을 참고하여 하체의 왼발 및/또는 오른발을 움직임으로써 원하는 이벤트 동작에 대응하는 동작을 취하는 것이 가능하다.The stage 50 according to the embodiment of FIG. 5A includes an external layout OL having a predetermined width, and includes a partition line IL for dividing and distinguishing an inner area of the external layout OL. The player stands on the stage 50 and moves the left foot and/or the right foot of the lower body with reference to the division line IL to perform an action corresponding to a desired event action.
특히, 도 5a의 실시예에서는 스테이지(50)가 구획선(IL)에 의해 9개로 분할되며, 플레이어는 9개의 구획을 통해 앞, 뒤, 좌, 우, 중앙, 대각선 및 이를 혼합한 동작 등을 보다 명확하게 수행하는 것이 가능하다.In particular, in the embodiment of FIG. 5A, the stage 50 is divided into 9 by a division line IL, and the player sees the front, rear, left, right, center, diagonal lines, and mixed motions thereof through 9 divisions. It is possible to do it clearly.
다음으로, 도 5b의 실시예는 레이저 광원(L)을 이용하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 일례이다. 도 5b의 실시예는 도 5a 실시예와 마찬가지로 레이저 광원(L)을 바닥면에 조사하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 것이 가능할 뿐 아니라 레이저 광원(L)을 벽면에 조사하여 외부 레이아웃(OL)과 구획선(IL)을 표시하는 것도 가능하다.Next, the embodiment of FIG. 5B is an example of displaying the external layout OL and the division line IL using the laser light source L. In the embodiment of FIG. 5B, as in the embodiment of FIG. 5A, it is possible to display the external layout OL and the division line IL by irradiating the laser light source L on the bottom surface, as well as irradiating the laser light source L on the wall surface. It is also possible to display the external layout OL and the division line IL.
여기서, 바닥면에 표시되는 외부 레이아웃(OL)과 구획선(IL)의 경우 플레이어의 하체 동작을 안내하기 위한 기능을 가질 수 있으며, 벽면에 표시되는 외부 레이아웃(OL)과 구획선(IL)의 경우 플레이어의 상체 동작을 안내하기 위한 기능을 가질 수 있다.Here, the external layout (OL) and division line (IL) displayed on the floor may have a function to guide the movement of the lower body of the player, and in the case of the external layout (OL) and division line (IL) displayed on the wall, the player It can have a function to guide the upper body motion of the.
마지막으로, 도 5c의 실시예는 홀로그램 장치(H)를 이용하여 외부 레이아웃(OL)과 구획선(IL)을 일정 공간에 표시하는 일례이다. 홀로그램 장치(H)에 의한 홀로그램은 촬영장치(10)에서 촬영이 가능한 공간에 투영되는 것이 바람직하며, 플레이어는 홀로그램 일 측에서 구획선(IL)을 참고하여 상체의 왼팔 및/또는 오른팔을 움직임으로써 원하는 이벤트 동작에 대응하는 동작을 취하는 것이 가능하다.Finally, the embodiment of FIG. 5C is an example of displaying the external layout OL and the partition line IL in a predetermined space using the hologram device H. The hologram by the hologram device (H) is preferably projected onto a space where photographing is possible in the photographing device (10), and the player wants to move the upper body's left arm and/or right arm by referring to the division line (IL) from one side of the hologram. It is possible to take an action corresponding to the event action.
여기서, 도 5a 내지 도 5c의 실시예는 각각 별도로 사용하는 것도 가능하며 혼합하여 사용하는 것도 가능하다. 즉, 하체 동작을 안내 받기 위하여 도 5a 또는 도 5b의 실시예를 선택적으로 사용하고 상체 동작을 안내 받기 위하여 도 5b의 실시예를 벽면에 적용하거나 도 5c의 실시예를 선택적으로 사용하는 것이 가능하다. Here, the embodiments of FIGS. 5A to 5C may be used separately or may be mixed and used. That is, it is possible to selectively use the embodiment of FIG. 5A or 5B to guide the lower body motion and apply the embodiment of FIG. 5B to the wall surface or selectively use the embodiment of FIG. 5C to guide the upper body motion. .
스테이지(50)는 단순히 플레이어에게 시각적으로 방향성을 가이드하는 역할을 제공할 뿐이므로 구획선의 도료나 스테이지의 재질 등은 특정한 어떤 것들에 제한될 필요가 없다. 일례로, 구획선은 페인트나 잉크 등의 일반적인 착색 도료를 이용하여 표시할 수 있고 스테이지는 인조 섬유 재질의 매트로 구현될 수 있다. Since the stage 50 merely provides a visually guiding direction to the player, the paint of the partition line or the material of the stage does not need to be limited to any specific ones. For example, the partition line may be displayed using a general colored paint such as paint or ink, and the stage may be implemented as a mat made of artificial fiber.
한편 본 발명에서 스테이지(50)는 반드시 구비되어야 하는 구성요소가 아닐 수 있다. 즉, 또 다른 실시예에서, 바닥에는 실체성을 가지는 별도의 스테이지(50)는 배치되지 않는다. 대신 컨텐츠가 실행되고 사용자가 카메라(10)의 촬영 대상 영역 중 임의의 위치에 서서 미리 설정된 시간 동안 움직이지 않으면 애플리케이션 구동장치(20)는 해당 위치를 플레이어의 초기 위치로 인식한다. 그리고 플레이어가 경험과 감에 의지하여 9가지 방향에 대해 상체의 팔을 움직이거나 하체의 발을 움직이면, 애플리케이션 구동장치(20)는 팔 및/또는 발의 움직임을 추적함으로써 각 움직임에 상응하는 이벤트를 발생시킨다.Meanwhile, in the present invention, the stage 50 may not be a component that must be provided. That is, in another embodiment, a separate stage 50 having substantiality is not disposed on the floor. Instead, if the content is executed and the user stands at a location in the shooting target area of the camera 10 and does not move for a preset time, the application driving device 20 recognizes the location as the initial location of the player. And when the player moves the upper body arm or lower body foot in 9 directions based on experience and sense, the application driving device 20 generates an event corresponding to each movement by tracking the movement of the arm and/or foot. Let it.
이상에서 설명한 가상 인터렉티브 컨텐츠 실행 시스템의 전체 또는 부분적 기능들은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며 그 반대도 마찬가지이다.It will be easily understood by those skilled in the art that the entire or partial functions of the virtual interactive content execution system described above may be provided in a recording medium that can be read through a computer by tangibly implementing a program of instructions for implementing it. . The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. Magneto-optical media and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, USB memory, and the like. The computer-readable recording medium may be a transmission medium such as an optical or metal wire or a waveguide including a carrier wave for transmitting a signal specifying a program command or a data structure. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like, in addition to machine language codes such as those produced by a compiler. The hardware device may be configured to operate as one or more software modules to perform the operation of the present invention and vice versa.
또한 본 발명은 위에서 설명한 실시예들에 한정되지 아니하며, 적용범위가 다양함은 물론이고 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.In addition, the present invention is not limited to the above-described embodiments, and of course, various modifications can be implemented without departing from the gist of the present invention as claimed in the claims, as well as various application ranges.

Claims (8)

  1. 플레이어의 움직임을 촬영하는 디지털 카메라; 및A digital camera that photographs the movement of the player; And
    상기 디지털 카메라의 촬영 영상에서 플레이어의 신체 일부의 움직임 패턴을 식별하는 인식 모듈과, 상기 신체 일부의 움직임 패턴이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 이벤트 모듈을 포함하는 변환 엔진을 실행하는 애플리케이션 구동 장치Recognition module for identifying a movement pattern of a part of the player's body in the image captured by the digital camera, and an event that transmits an event including the identifier of the pattern to the interactive content application when the movement pattern of the body part matches a preset pattern Application driving device that runs a conversion engine including a module
    를 포함하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.Virtual interactive content execution system using body movement recognition, comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 인식 모듈은, 플레이어의 신체 일부와의 거리를 기반으로 신체 일부의 이동을 트래킹하며,The recognition module tracks movement of a part of the body based on the distance to the part of the body of the player,
    상기 이벤트 모듈은 신체 일부의 이동 거리 및 이동 방향이 미리 설정된 패턴과 일치하면 해당 패턴의 식별자가 포함된 이벤트를 발생시키고, 발생된 이벤트를 인터렉티브 컨텐츠 애플리케이션에 전달하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.The event module generates an event including an identifier of the pattern when the movement distance and movement direction of a body part coincide with a preset pattern, and transmits the generated event to an interactive content application. Virtual interactive content execution system.
  3. 제2항에 있어서,The method of claim 2,
    상기 디지털 카메라는 적어도 두 개의 이미지 센서를 가지며,The digital camera has at least two image sensors,
    상기 인식 모듈은, 상기 이미지 센서들의 화각 차이를 이용하여 상기 디지털 카메라와 상기 플레이어의 신체 일부와의 거리를 추정하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.The recognition module estimates a distance between the digital camera and a body part of the player by using a difference in angle of view of the image sensors. A system for executing virtual interactive contents using body movement recognition.
  4. 제3항에 있어서,The method of claim 3,
    상기 인식 모듈은, 플레이어의 왼팔, 오른팔, 왼발, 오른발 중 적어도 하나의 움직임을 식별하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.The recognition module is a virtual interactive content execution system using body motion recognition, characterized in that the recognition module identifies a movement of at least one of a left arm, a right arm, a left foot, and a right foot of the player.
  5. 제4항에 있어서,The method of claim 4,
    상기 이벤트 모듈은, 상기 신체 일부의 움직임으로부터 걷기, 점프, 미리 설정된 복수의 방향 중 어느 한 방향으로의 이동 중 적어도 하나에 대한 이벤트를 발생시키는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.The event module generates an event for at least one of a movement of the body part, a walk, a jump, and a movement in any one of a plurality of preset directions. .
  6. 제1항에 있어서,The method of claim 1,
    상기 디지털 카메라는 적어도 하나의 이미지 센서를 가지며,The digital camera has at least one image sensor,
    상기 인식 모듈은, 상기 디지털 카메라의 촬영 영상 속 플레이어의 신체 일부의 크기를 기초로 상기 디지털 카메라와 플레이어의 신체 일부와의 거리를 추정하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.The recognition module estimates a distance between the digital camera and a body part of the player based on the size of a body part of the player in an image captured by the digital camera.
  7. 제1항에 있어서,The method of claim 1,
    플레이어에게 미리 설정된 이동 방향 및 이동 범위에 대한 시각적인 가이드를 제공하기 위해 바닥에 설치되는 스테이지를 더 포함하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.A virtual interactive content execution system using body movement recognition, further comprising a stage installed on the floor to provide a visual guide to the player about a preset movement direction and movement range.
  8. 제1항에 있어서,The method of claim 1,
    사람이 포함된 복수의 영상 데이터를 분석하여 영상 속의 배경으로부터 사람을 식별하기 위한 패턴 정보를 미리 학습하는 머신러닝 서버를 더 포함하는 것을 특징으로 하는 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템.A virtual interactive content execution system using body movement recognition, further comprising a machine learning server that analyzes a plurality of image data including a person and learns pattern information for identifying a person from a background in the image in advance.
PCT/KR2019/007315 2019-04-17 2019-06-18 Virtual interactive content execution system using body movement recognition WO2020213786A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190045098 2019-04-17
KR10-2019-0045098 2019-04-17
KR1020190071560A KR102275702B1 (en) 2019-04-17 2019-06-17 system for executing virtual interactive contents software using recognition of player's kinetic movement
KR10-2019-0071560 2019-06-17

Publications (1)

Publication Number Publication Date
WO2020213786A1 true WO2020213786A1 (en) 2020-10-22

Family

ID=72837405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007315 WO2020213786A1 (en) 2019-04-17 2019-06-18 Virtual interactive content execution system using body movement recognition

Country Status (1)

Country Link
WO (1) WO2020213786A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379781A (en) * 2020-12-10 2021-02-19 深圳华芯信息技术股份有限公司 Man-machine interaction method, system and terminal based on foot information identification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071059A (en) * 2011-12-20 2013-06-28 엘지전자 주식회사 Mobile terminal and method for controlling thereof
KR20140046197A (en) * 2012-10-10 2014-04-18 주식회사 씨씨 An apparatus and method for providing gesture recognition and computer-readable medium having thereon program
KR20150035854A (en) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 A dart game apparatus capable of authentification using throw line on a remote multi mode
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (en) * 2018-09-10 2019-03-29 주식회사 큐랩 Data management system for physical measurement data by performing sports contents based on augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071059A (en) * 2011-12-20 2013-06-28 엘지전자 주식회사 Mobile terminal and method for controlling thereof
KR20140046197A (en) * 2012-10-10 2014-04-18 주식회사 씨씨 An apparatus and method for providing gesture recognition and computer-readable medium having thereon program
KR20150035854A (en) * 2015-02-17 2015-04-07 주식회사 홍인터내셔날 A dart game apparatus capable of authentification using throw line on a remote multi mode
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
KR101963682B1 (en) * 2018-09-10 2019-03-29 주식회사 큐랩 Data management system for physical measurement data by performing sports contents based on augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379781A (en) * 2020-12-10 2021-02-19 深圳华芯信息技术股份有限公司 Man-machine interaction method, system and terminal based on foot information identification
CN112379781B (en) * 2020-12-10 2023-02-28 深圳华芯信息技术股份有限公司 Man-machine interaction method, system and terminal based on foot information identification

Similar Documents

Publication Publication Date Title
US9015638B2 (en) Binding users to a gesture based system and providing feedback to the users
CA2757057C (en) Managing virtual ports
CN102257456B (en) Correcting angle error in a tracking system
CN102414641B (en) Altering view perspective within display environment
US20180150686A1 (en) Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US5704836A (en) Motion-based command generation technology
US20180117465A1 (en) Interactive in-room show and game system
US20060192852A1 (en) System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
CN102449641A (en) Color calibration for object tracking
CN105073210A (en) User body angle, curvature and average extremity positions extraction using depth images
WO2016208930A1 (en) Automatic aiming system and method for mobile game
CN101919241A (en) Dual-mode projection apparatus and method for locating a light spot in a projected image
WO2017105120A1 (en) Baseball practice apparatus, sensing apparatus and sensing method utilized thereby, and method for controlling ball pitching
US11173375B2 (en) Information processing apparatus and information processing method
CN107408003A (en) Message processing device, information processing method and program
CN110559632A (en) intelligent skiing fitness simulation simulator and control method thereof
WO2020213786A1 (en) Virtual interactive content execution system using body movement recognition
JP7315489B2 (en) Peripheral tracking system and method
KR102275702B1 (en) system for executing virtual interactive contents software using recognition of player&#39;s kinetic movement
WO2016204335A1 (en) Device for providing augmented virtual exercise space by exercise system based on immersive interactive contents and method therefor
KR101692267B1 (en) Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof
CN210583568U (en) Wisdom skiing body-building simulator
US20190151751A1 (en) Multi-dimensional movement recording and analysis method for movement entrainment education and gaming
WO2011115364A2 (en) Apparatus for processing image data to track location of light source
WO2016072738A1 (en) Apparatus for controlling lighting devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925006

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19925006

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 25/04/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19925006

Country of ref document: EP

Kind code of ref document: A1