WO2013094820A1 - 체감형 학습 장치 및 방법 - Google Patents

체감형 학습 장치 및 방법 Download PDF

Info

Publication number
WO2013094820A1
WO2013094820A1 PCT/KR2012/001492 KR2012001492W WO2013094820A1 WO 2013094820 A1 WO2013094820 A1 WO 2013094820A1 KR 2012001492 W KR2012001492 W KR 2012001492W WO 2013094820 A1 WO2013094820 A1 WO 2013094820A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object region
blocks
contact
divided
Prior art date
Application number
PCT/KR2012/001492
Other languages
English (en)
French (fr)
Inventor
이영훈
강찬휘
김종철
김현호
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to US14/365,464 priority Critical patent/US20140342344A1/en
Publication of WO2013094820A1 publication Critical patent/WO2013094820A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Definitions

  • the present invention relates to a learning apparatus and method, and more particularly to a tangible learning apparatus and method.
  • Typical devices for the user to operate the game include a keyboard, a mouse, and a joystick.
  • the operation devices are universal devices that cannot utilize the characteristics of each game, and can not fully utilize the characteristics of the game in airplane games, car games, and fighting games.
  • Korean Utility Model Publication No. 20-239844 a haptic game device using artificial vision and pattern recognition
  • the motion of the human body in the chroma key screen is photographed and set as a basic dance.
  • a technique is described in which mimicking a moving picture character is compared with a result of a stationary image and scoring the result.
  • this technology requires a chroma key screen to distinguish between background and people in its implementation method, and in analyzing the user's motion form, it is necessary to detect changes in color, brightness, and saturation that occur when a user appears. For example, there is a problem that users cannot easily enjoy a haptic game or learning, such as a requirement that there is no moving moving object that causes confusion with the human body of the subject in front of the camera.
  • the present invention provides a device and method that can improve the learning effect of the learner by utilizing the characteristics of the game without wasting space at a low cost without using a chroma key screen or a blue screen to provide.
  • the image of the learner divided the image into a plurality of blocks, the image divided into a plurality of blocks at a predetermined time interval image
  • a splitter a difference image extractor configured to extract a difference image by comparing the change of the image divided at the time interval, an object region generator configured to connect the extracted difference images to generate a first object region as one object region;
  • a contact determining unit that determines whether the second object area contacts the first object area and the background object appearing on the game screen, and when the first object area and the second object area come into contact with each other, the background Motion control to apply an animation change to an object and cause the haptic learning device to perform a predetermined motion in response to the animation change. It includes.
  • the image divider divides the image divided into the plurality of blocks at the predetermined time intervals, and divides the image into an nth frame that is a current image and an n + 1th frame that is a subsequent image of the current image. do.
  • the object region generating unit extracts a 3D vector based on a result of comparing the change of the image in the difference image extracting unit, and determines the connectivity of coordinate values distributed in the 3D vector.
  • the one object region is generated by performing region optimization on regions where the difference images are connected to each other.
  • the object region generator extracts the 3D vector by searching for a block identical or similar to a reference time frame using the extracted difference image block.
  • the object region generating unit generates the second object region by dividing the image of the background object into a plurality of blocks.
  • the object region generating unit generates the size of a block constituting the second object region equal to the size of a block constituting the first object region.
  • the object region generating unit generates a size of a block constituting the second object region different from that of a block constituting the first object region.
  • the contact determining unit may include a plurality of images of a plurality of images divided at a predetermined time interval and a value calculated as a percentage of an area where the first object region and the second object region overlap each other. It is determined whether the contact is made using one or more of the values calculated as percentages that overlap each other.
  • the operation controller may be configured to move the first object region when the first object region and the second object region are in contact with each other based on the 3D vector extracted from the object region generator. To predict.
  • the operation controller applies an animation change to the background object in correspondence to the predicted movement direction of the first object area.
  • the haptic learning method comprises the steps of (a) dividing the image of the photographed learner into a plurality of blocks, (b) predetermined image divided into the plurality of blocks (C) extracting a difference image by comparing the change of the image divided by the time interval, (d) extracting a 3D vector based on a result of comparing the change of the image, Generating a first object region in which the difference image is connected to each other based on the connectivity of coordinate values distributed in the three-dimensional vector, (e) displaying the first object region and an image of a background object appearing on a game screen; Determining whether the second object region divided into a plurality of blocks is in contact; and (f) when the first object region and the second object region are in contact with each other, the predicted based on the three-dimensional vector Therefore, the moving direction of the first object region, corresponding to the change and animation to animate the changes in the background object, and a step of controlling said tangible learning apparatus to
  • the step (b) is divided into a predetermined time interval such that the image divided into the plurality of blocks has 30 frames per second.
  • the step (e) may include (e-1) calculating, as a percentage, an area where the first object area and the second object area overlap each other, (e-2) the predetermined time Calculating, as a percentage, how many images of the plurality of images divided at intervals overlap each other; and (e-3) the value calculated in the step (e-1) and the value calculated in the step (e-2). Determining whether the contact is made using one or more of the values.
  • the present invention is not limited to the embodiments disclosed below, but may be configured in different forms, and the present embodiments are intended to complete the disclosure of the present invention and to provide general knowledge in the technical field to which the present invention belongs. It is provided to fully inform those who have the scope of the invention.
  • the learning effect of the learner can be improved by utilizing the characteristics of the game without wasting space at a low cost.
  • FIG. 1 is a schematic diagram of a haptic learning device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a keybot according to an embodiment of the present invention.
  • 3 and 4 are flowcharts illustrating processes of a haptic learning method according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining contact determination of a touch determination unit according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a learning screen according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a learning screen according to another embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a haptic learning device according to an embodiment of the present invention.
  • the haptic learning device 100 can learn the learner by looking at his / her own image displayed through an image camera, can perform learning through body movements, and have a character shape familiar to children's learners. have.
  • the haptic learning device 100 according to an embodiment of the present invention will be referred to as a kids robot, that is, a kibot 100.
  • the keybot 100 may include an image camera for capturing a learner's image, and may include a display device for displaying the learner's image captured through the image camera.
  • the image camera may be embedded in the keybot 100 or may be connected to a USB type image camera.
  • the display device may also be located on the front of the keybot 100 to display the learner's appearance, or may be connected to an external display device to transmit the learner's movements captured by the image camera to the external display device. .
  • the learner may proceed to a larger screen than the display device mounted in the keybot 100.
  • the key bot 100 may include an LED light emitter and a voice output device, and while learning through the learner's movement, operations corresponding to the learner's movement, for example, color change and lighting of the LED emitter are lit. You can adjust the speed and output the sound (effect sound).
  • the keybot 100 may extract the learner's motion captured by the image camera as a three-dimensional vector, and interact with the background object displayed on the learning screen according to the learner's motion, and display it on the display device.
  • the keybot 100 responds to the above-described various operations according to the learner's movement and the learner's progress according to the learner's movement, thereby inducing the learner to participate voluntarily with interest.
  • FIG. 2 is a block diagram showing the configuration of a key bot 100 according to an embodiment of the present invention.
  • Keybot 100 is the image camera 110, the image segmentation unit 120, the difference image extraction unit 130, the object region generating unit 140, the contact determination unit 150, operation
  • the controller 160 and the display unit 170 are included.
  • the image camera 110 captures the learner in real time
  • the image divider 120 divides the image of the learner captured in real time into a plurality of blocks.
  • the image dividing unit 120 may divide the learner's image captured by the image camera 110 into 8 ⁇ 8 blocks, and various sizes such as 4 ⁇ 4, 16 ⁇ 16, and 32 ⁇ 32. It can be divided into blocks of.
  • the smaller the size of the block the higher the accuracy of grasping the learner's movement, but the higher the precision, the more the processing speed is affected. It is desirable to consider.
  • the image divider 120 divides the image divided into a plurality of blocks at a predetermined time interval as described above.
  • the image dividing unit 120 may divide and divide a time interval such that an image divided into 8 ⁇ 8 blocks has 30 frames per second.
  • the image divider 120 may divide the time interval to be less than 30 frames or more than 30 frames per second. You can also choose to divide.
  • the difference image extractor 130 extracts the difference image by comparing the change of the image divided by 30 frames per second (each frame divided into 8 ⁇ 8 blocks) by the image divider 120.
  • the difference image extracting unit 130 extracts the difference image by comparing the change of the image over time of the n th frame, which is the current image, and the n + 1 th frame, which is a subsequent image of the current image, at 30 frames per second. Can be.
  • the difference image may be composed of blocks changed from two images (n, n + 1) divided into 8 ⁇ 8 blocks.
  • the object region generator 140 connects the difference images extracted by the difference image extractor 130 to generate one object region.
  • the object region generator 140 extracts a 3D vector by searching for a block that is the same as or similar to the reference time frame by using the difference image extracted by the difference image extractor 130.
  • the object region generator 140 may represent a direction in which the learner's movement is changed as a three-dimensional vector having two-dimensional x and y values and a z value along a time axis.
  • the object region generator 140 searches for regions (blocks) in which the difference images are connected to each other based on the connectivity of coordinate values distributed in the 3D vector, and performs region optimization on the found regions, thereby photographing the learners.
  • a portion of the image in which a movement occurs and the movement is changed may be generated as one object region (hereinafter, referred to as a 'learner object region').
  • the object region generator 140 may generate an object region for a background object appearing on the game screen.
  • the object region generator 140 may generate an object region (hereinafter, referred to as a background object region) in which an image of the background object is divided into a plurality of blocks, and the background object region may be divided into 8 ⁇ 8 blocks. In addition, it can be divided into blocks of various sizes, such as 4 ⁇ 4, 16 ⁇ 16.
  • the contact determiner 150 determines whether the learner object area is in contact with the background object area.
  • the contact determination unit 150 is one of a value calculated as a percentage of an area where the learner object area and a background object area overlap each other, and a value calculated as a percentage of how many images of 30 frames per second are overlapped with each other. The above can be used to determine whether or not the contact.
  • the operation controller 160 may predict the moving direction of the learner object region based on the 3D vector extracted from the object region generator 140.
  • the operation controller 160 may predict a moving direction of the learner object region and apply an animation change to the background object corresponding to the predicted moving direction.
  • the motion controller 160 may apply an animation change in which the background object falls downward.
  • the motion controller 160 may apply an animation change to the background object and control the keybot 100 to perform a predetermined operation in response to the animation change.
  • the motion controller 160 lights up the LED lighting part of the keyboard 100 in response thereto, or “Well done! Mission success! ”
  • the display unit 170 is located in the front portion of the key bot 100 to display the learner's movement taken through the image camera 110, it can be displayed by overlapping the learner's appearance and the game screen.
  • the components illustrated in FIG. 2 mean software components or hardware components such as a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and perform predetermined roles. .
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • components are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • a component may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and subs. Routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • Components and the functionality provided within those components may be combined into a smaller number of components or further separated into additional components.
  • 3 and 4 are flowcharts illustrating processes of a haptic learning method according to an embodiment of the present invention.
  • FIGS. 3 and 4 will be described with reference to the keybot 100 illustrated in FIG. 1.
  • the keybot 100 divides (spatial divides) an image of a learner photographed in real time through the image camera 110 into 8 ⁇ 8 blocks.
  • the captured learner's image may be divided into blocks of various sizes such as 4 ⁇ 4, 16 ⁇ 16, and 32 ⁇ 32.
  • the keybot 100 divides (time divides) the video divided into 8 ⁇ 8 blocks by setting a time interval to have 30 frames per second (S302).
  • the keybot 100 extracts the difference image by comparing the change of the divided image at 30 frames per second (each frame divided into 8 ⁇ 8 blocks) (S303).
  • the keybot 100 extracts a 3D vector by searching for a block that is the same as or similar to the reference time frame by using the extracted difference image (S304).
  • the keybot 100 searches for regions (blocks) in which the difference images are connected to each other based on the connectivity of coordinate values distributed in the 3D vector, and performs region optimization on the retrieved regions, thereby among the images of the learners.
  • a motion is generated and a part where the motion is changed is generated as a learner individual region (S305).
  • the keybot 100 divides the image of the background object appearing on the game screen into 8 ⁇ 8 blocks to generate a background object area (S306).
  • the background object area may be divided into blocks of various sizes, such as 4 ⁇ 4 and 16 ⁇ 16, in addition to 8 ⁇ 8 blocks.
  • the keybot 100 determines whether or not the learner object region is in contact with the background object region (S307).
  • the key bot 100 uses one or more of a value calculated as a percentage of an area where the learner object area and a background object area overlap each other, and a value calculated as a percentage of how many images of 30 frames per second are overlapped with each other. The contact can be determined.
  • the keybot 100 applies an animation change to the background object according to the moving direction of the learner object area, and responds to the animation change.
  • the control 100 to perform a predetermined operation (S308).
  • FIG. 5 is a view for explaining contact determination of a touch determination unit according to an exemplary embodiment of the present invention.
  • a background object area divided into 8x8 blocks (64 blocks in total) and a learner object area consisting of 29 blocks are shown.
  • the shape of the region may not be similar to the shape of the hand as shown in FIG. 5, but is illustrated similarly to the shape of the hand for convenience of description.
  • the number of blocks in which the learner object area and the background object area overlap each other is 6, which is (6/64) ⁇ 100% when converted into a percentage.
  • FIG. 6 is a diagram illustrating a learning screen according to an embodiment of the present invention.
  • an animation may be executed in which the pineapple on the tree is placed in a basket at the bottom of the screen.
  • the keybot 100 is pineapple! It can output a voice, and can light up the LED light emitting unit of the keybot 100 several times per second.
  • FIG. 7 is a diagram illustrating a learning screen according to another embodiment of the present invention.
  • the learner can proceed by learning by touching the background object using his hand.
  • the learner can use the hand to select a clean background object with leaves.
  • the key bot 100 Since then, the key bot 100 said, “Wow ⁇ Good job! Let's go to the next step? ”You can continue learning by outputting the voice, and at this time, the LED light emitting part of the key bot 100 may be lit several times per second to output the celebration music.
  • the keybot 100 may induce the learner's voluntary participation while outputting a voice “Would you like to select another?”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

체감형 학습 장치 및 방법이 개시된다. 체감형 학습 장치는, 촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부, 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부, 상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부, 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부를 포함한다.

Description

체감형 학습 장치 및 방법
본 발명은 학습 장치 및 방법에 관한 것으로서, 보다 상세하게는 체감형 학습 장치 및 방법에 관한 것이다.
사용자가 게임을 조작하는 대표적인 장치로는 키보드, 마우스, 조이스틱 등이 있다.
상기 조작 장치들은 각 게임의 특성을 살릴 수 없는 보편적인 장치로서 비행기 게임, 자동차 게임, 격투 게임 등에는 그 게임의 특성을 충분히 살릴 수 없다.
또한, 이 모든 장치들은 의자에 앉아 정적으로 즐기는 방식을 취하는 소극적인 방법으로 장시간 의자에 앉아 있을 때 몸에 무리가 가고 쉽게 피곤하게 한다.
최근에는, 게임 시스템의 고급화와 높은 수요자의 욕구에 맞춰 많은 체감형 게임들이 존재하고 있고, 앞으로도 개발되고 있다.
자동차 내부를 실제로 만들고 그 안에서 모니터를 바라보며 레이싱을 하는 게임, 총모양의 장치를 이용하여 모니터의 적을 향해 손으로 방아쇠를 방기며 사격하는 게임, 스키 발판을 이용하여 모니터에서 높은 산을 활강하는 게임, 소방차 소화기를 배치하여 모니터에 불이 난 장소를 소화기를 들고 불을 끄는 게임 등 다양한 체감형 게임들이 존재한다.
또한, 이러한 체감형 게임들을 학습에 응용하여 학습의 효과를 높이려는 시도가 활발하게 이루어지고 있다.
그러나, 상기한 바와 같은 체감형 게임 또는 체감형 학습 방법들은 고비용의 하드웨어와 넓은 장소를 요구하게 된다. 즉, 고비용으로 인해 사용자가 부담해야 하는 가격이 높아지며, 큰 면적으로 인해 여러 가지 게임이나 학습 콘텐츠들을 배치하는데 큰 부담이 되는 문제가 있었다.
이에, 한국등록실용신안공보 제20-239844호(인공 시각과 패턴 인식을 이용한 체감형 게임 장치)에서, 크로마키 스크린(외곽 음영 추출용 배경) 안에 있는 인체의 동작을 촬영하여, 기본 춤으로 설정된 동영상 캐릭터 춤을 흉내내면 그 결과를 정지된 상태의 표준 영상과 비교하여 채점을 하는 기술을 개시하였다.
그러나, 이 기술은 그 구현 방법에 있어 배경과 사람을 구분해 내기 위해 크로마키 스크린을 필수로 하며, 사용자의 동작 형태를 분석함에 있어 사용자 등장 시 발생되는 색상, 명도 및 채도의 변화를 감지해야 하므로, 카메라 전방에 피사체의 인체와 혼돈을 유발시키는 움직이는 운동 물체가 없는 것을 필수 조건으로 하는 등, 사용자들이 간편하게 체감형 게임이나 학습을 즐길 수 없는 문제가 있다.
상술한 종래 기술의 문제점을 해결하기 위해, 본 발명은 크로마키 스크린이나 블루 스크린을 사용하지 않고도 적은 비용으로 공간의 낭비 없이, 게임의 특성을 살려 학습자의 학습 효과를 향상시킬 수 있는 장치 및 방법을 제공한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 체감형 학습 장치는, 촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부, 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부, 상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부, 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부를 포함한다.
본 발명의 일 측면에서, 상기 영상 분할부는 상기 복수의 블록으로 분할된 영상을 상기 미리 정해진 시간 간격으로 분할하되, 현재 영상인 n번째 프레임과 상기 현재 영상의 이후 영상인 n+1번째 프레임으로 분할한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 차영상 추출부에서 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 상기 차영상이 서로 연결된 영역에 대해 영역 최적화를 수행함으로써 상기 하나의 객체 영역을 생성한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 추출된 차영상의 블록을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 상기 3차원 벡터를 추출한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 배경 객체의 이미지를 다수의 블록으로 분할하여 상기 제 2 객체 영역을 생성한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 동일하게 생성한다.
또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 서로 다르게 생성한다.
또한, 본 발명의 일 측면에서, 상기 접촉 판단부는 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단한다.
또한, 본 발명의 일 측면에서, 상기 동작 제어부는 상기 객체 영역 생성부로부터 추출된 3차원 벡터에 기초하여, 상기 제 1 객체 영역과 제 2 객체 영역의 접촉 시, 상기 제 1 객체 영역의 이동 방향을 예측한다.
또한, 본 발명의 일 측면에서, 상기 동작 제어부는 상기 예측된 제 1 객체 영역의 이동 방향에 대응하여 상기 배경 객체에 애니메이션 변화를 적용시킨다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 체감형 학습 방법은 (a) 촬영된 학습자의 영상을 복수의 블록으로 분할하는 단계, (b) 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 단계, (c) 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 단계, (d) 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여, 상기 차영상이 서로 연결된 제 1 객체 영역을 생성하는 단계, (e) 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체의 이미지를 다수의 블록으로 분할한 제 2 객체 영역의 접촉 여부를 판단하는 단계 및 (f) 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 3차원 벡터에 기초하여 예측된 상기 제 1 객체 영역의 이동 방향에 따라서, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 제어하는 단계를 포함한다.
본 발명의 일 측면에서, 상기 (b) 단계는 상기 복수의 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할한다.
또한, 본 발명의 일 측면에서, 상기 (e) 단계는 (e-1) 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출하는 단계, (e-2) 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출하는 단계 및 (e-3) 상기 (e-1) 단계에서 산출된 값 및 상기 (e-2) 단계에서 산출된 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는 단계를 포함한다.
상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
전술한 본 발명의 체감형 학습 장치 및 방법의 과제 해결 수단 중 하나에 의하면, 적은 비용으로 공간의 낭비 없이, 게임의 특성을 살려 학습자의 학습 효과를 향상시킬 수 있다.
또한, 화상 카메라를 통해 입력된 영상에서 물체의 움직임이 포착되면 이를 객체화함으로써, 학습자의 신체 각 부위를 코드로 분리하는 등의 연산 부담을 감소시킬 수 있다.
또한, 학습자가 능동적으로 학습에 참여할 수 있도록 게임의 특성을 살려 학습을 진행하므로, 학습에 대한 재미와 몰입도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 체감형 학습 장치의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 키봇의 구성을 도시한 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 체감형 학습 방법의 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 접촉 판단부의 접촉 판단을 설명하기 위한 도면이다.
도 6는 본 발명의 일 실시예에 따른 학습 화면을 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 학습 화면을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
참고로, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, 그 중간에 다른 구성 요소를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 ‘포함’한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 체감형 학습 장치의 개요도이다.
본 발명의 일 실시예에 따른 체감형 학습 장치(100)는 학습자가 화상 카메라를 통해 디스플레이된 자신의 모습을 바라보며, 몸 동작을 통해 학습을 진행할 수 있으며, 어린이 학습자들에게 친근한 캐릭터 형상을 가질 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 체감형 학습 장치(100)를 키즈 로봇(Kids Robot), 즉, 키봇(Kibot)(100)이라 칭하도록 한다.
본 발명의 일 실시예에 따른 키봇(100)은 학습자의 모습을 촬영하기 위한 화상 카메라를 포함할 수 있으며, 화상 카메라를 통해 촬영된 학습자의 모습을 디스플레이하기 위한 디스플레이 장치를 포함할 수 있다.
여기서 화상 카메라는 키봇(100)에 내장될 수도 있고, USB 형식의 화상 카메라와 연결될 수도 있다.
또한, 디스플레이 장치 역시 키봇(100)의 전면부에 위치하여 학습자의 모습을 디스플레이할 수도 있고, 외부의 디스플레이장치와 연결되어, 화상 카메라를 통해 촬영된 학습자의 움직임을 외부의 디스플레이장치로 전송할 수도 있다.
이 경우, 학습자는 키봇(100)의 내부에 장착된 디스플레이 장치보다 더 큰 화면으로 학습을 진행할 수도 있다.
또한, 키봇(100)은 LED 발광부와 음성 출력 장치를 포함할 수 있으며, 학습자의 움직임을 통해 학습을 진행하면서, 학습자의 움직임에 대응하는 동작들, 예를 들어, LED 발광부의 색상 변화, 점등 속도 조절 및 음성(효과음) 출력을 수행할 수 있다.
이를 위해 키봇(100)은 화상 카메라로 촬영된 학습자의 움직임을 3차원 벡터로 추출하고, 학습자의 움직임에 따라서 학습 화면에 표시된 배경 객체와 상호 작용하도록 하며, 이를 디스플레이 장치에 표시할 수 있다.
또한, 학습자의 움직임에 따라서, 그리고 학습자의 움직임에 따른 학습의 진행에 따라서 키봇(100)이 상기한 다양한 동작으로 반응하게 되므로, 학습자로 하여금 학습에 흥미를 가지고 자발적으로 참여하도록 유도할 수 있다.
도 2는 본 발명의 일 실시예에 따른 키봇(100)의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 키봇(100)은 화상 카메라(110), 영상 분할부(120), 차영상 추출부(130), 객체 영역 생성부(140), 접촉 판단부(150), 동작 제어부(160) 및 디스플레이부(170)를 포함한다.
각 구성 요소를 설명하면, 화상 카메라(110)는 학습자를 실시간으로 촬영하고, 영상 분할부(120)는 실시간으로 촬영된 학습자의 영상을 복수의 블록으로 분할한다.
예를 들어, 영상 분할부(120)는 화상 카메라(110)를 통해 촬영된 학습자의 영상을 8×8 블록으로 분할할 수 있으며, 이 외에도 4×4, 16×16 및 32×32 등 다양한 크기의 블록으로 분할할 수 있다.
참고로, 블록의 크기가 작을수록 학습자의 움직임을 파악하는 정밀도는 높아질 수 있으나, 정밀도가 높아질 수록 처리 속도에 영향을 주게 되므로, 학습 내용과 진행 방식에 따라서 적절한 블록수의 분할과 그에 따른 처리 속도를 고려하는 것이 바람직하다.
이하에서는, 화상 카메라(110)를 통해 촬영된 학습자의 영상을 8×8 블록으로 분할하는 경우를 설명하도록 한다.
또한, 영상 분할부(120)는 상기한 바와 같이 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할한다.
예를 들어, 영상 분할부(120)는 8×8 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할할 수 있으며, 이 외에도 초당 30프레임 미만 또는 30프레임을 초과하도록 시간 간격을 정하여 분할할 수도 있다.
이하에서는, 영상 분할부(120)가 초당 30프레임의 영상에서 각 프레임을 8×8 블록으로 분할하는 경우를 설명하도록 한다.
한편, 차영상 추출부(130)는 영상 분할부(120)에서 초당 30프레임(각 프레임은 8×8 블록으로 분할된)으로 분할된 영상의 변화를 비교하여 차영상을 추출한다.
즉, 차영상 추출부(130)는 초당 30개의 프레임에서, 현재 영상인 n번째 프레임과, 현재 영상의 이후 영상인 n+1번째 프레임의 시간에 따른 영상의 변화를 비교하여 차영상을 추출할 수 있다.
이때, 차영상은 8×8 블록으로 분할된 두 영상(n, n+1)에서 변화된 블록으로 구성될 수 있다.
한편, 객체 영역 생성부(140)는 차영상 추출부(130)에서 추출된 차영상을 연결하여 하나의 객체 영역을 생성한다.
상세히 설명하면, 객체 영역 생성부(140)는 차영상 추출부(130)에서 추출된 차영상을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 3차원 벡터를 추출한다.
이때, 객체 영역 생성부(140)는 학습자의 움직임이 변경된 방향을 2차원 x, y값과 시간축에 따른 z값을 가지는 3차원 벡터로 나타낼 수 있다.
이후, 객체 영역 생성부(140)는 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 차영상이 서로 연결된 영역(블록)을 검색하고, 검색된 영역에 대해 영역 최적화를 수행함으로써, 학습자를 촬영한 영상 중에서 움직임이 발생하고 그 움직임이 변화된 부분을 하나의 객체 영역(이하, ‘학습자 객체 영역’이라 칭함)으로 생성할 수 있다.
또한, 객체 영역 생성부(140)는 게임 화면에 등장하는 배경 객체에 대해서도 객체 영역을 생성할 수 있다.
객체 영역 생성부(140)는 배경 객체의 이미지를 다수의 블록으로 분할한 객체 영역(이하, ‘배경 객체 영역’이라 칭함)을 생성할 수 있는데, 배경 객체 영역은 8×8 블록으로 분할될 수 있으며, 이 외에도 4×4, 16×16 등 다양한 크기의 블록으로 분할될 수 있다.
참고로, 배경 객체 영역의 블록 크기가 작을수록 학습자 객체 영역과 배경 객체 영역의 겹쳐짐 여부를 더욱 정밀하게 판단할 수 있으나, 정밀도가 높아질 수록 처리 속도에 영향을 주게 되므로, 학습 내용과 진행 방식에 따라서 적절한 블록수의 분할과 그에 따른 처리 속도를 고려하는 것이 바람직하다.
한편, 접촉 판단부(150)는 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단한다.
이를 위해, 접촉 판단부(150)는 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 초당 30프레임의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 접촉 여부를 판단할 수 있다.
이에 대한 상세한 설명은 도 5를 참조하여 후술하도록 한다.
한편, 동작 제어부(160)는 객체 영역 생성부(140)로부터 추출된 3차원 벡터에 기초하여 학습자 객체 영역의 이동 방향을 예측할 수 있다.
즉, 동작 제어부(160)는 학습자 객체 영역과 배경 객체 영역의 접촉 시, 학습자 객체 영역의 이동 방향을 예측하고, 예측된 이동 방향에 대응하여 배경 객체에 애니메이션 변화를 적용시킬 수 있다.
예를 들어, 학습자 객체 영역과 배경 객체 영역의 접촉 시, 학습자 객체 영역의 이동 방향이 아래 방향으로 예측된 경우, 동작 제어부(160)는 배경 객체가 아래 방향으로 추락하는 애니메이션 변화를 적용할 수 있다.
이후, 동작 제어부(160)는 배경 객체에 애니메이션 변화를 적용시키고, 애니메이션 변화에 대응하여 키봇(100)이 미리 정해진 동작을 수행할 수 있도록 제어할 수 있다.
예를 들어, 배경 객체가 아래 방향으로 추락하는 애니메이션 변화가 적용된 경우, 동작 제어부(160)는 이에 대응하여 키봇(100)의 LED 점등부를 점등하거나, “잘 했어! 미션 성공!”이라는 음성을 출력할 수 있다.
한편, 디스플레이부(170)는 키봇(100)의 전면부에 위치하여 화상 카메라(110)를 통해 촬영된 학습자의 움직임을 디스플레이하되, 학습자의 모습과 게임 화면을 오버랩시켜 디스플레이할 수 있다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 ‘구성 요소들’은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 체감형 학습 방법의 과정을 도시한 흐름도이다.
이하, 도 1에 도시된 키봇(100)을 참조하여 도 3 및 도 4의 흐름도를 설명하도록 한다.
먼저, 키봇(100)은 화상 카메라(110)를 통해 실시간으로 촬영된 학습자의 영상을 8×8 블록으로 분할(공간 분할)한다(S301).
참고로, 촬영된 학습자의 영상은 4×4, 16×16 및 32×32 등 다양한 크기의 블록으로 분할할 수 있다.
S301 후, 키봇(100)은 8×8 블록으로 분할된 영상을 초당 30프레임을 가지도록 시간 간격 정하여 분할(시간 분할)한다(S302).
S302 후, 키봇(100)은 초당 30프레임(각 프레임은 8×8 블록으로 분할된)으로 분할된 영상의 변화를 비교하여 차영상을 추출한다(S303).
S303 후, 키봇(100)은 추출된 차영상을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 3차원 벡터를 추출한다(S304).
S304 후, 키봇(100)은 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 차영상이 서로 연결된 영역(블록)을 검색하고, 검색된 영역에 대해 영역 최적화를 수행함으로써, 학습자를 촬영한 영상 중에서 움직임이 발생하고 그 움직임이 변화된 부분을 학습자 개체 영역으로 생성한다(S305).
S305 후, 키봇(100)은 게임 화면에 등장하는 배경 객체의 이미지를 8×8 블록으로 분할하여 배경 객체 영역을 생성한다(S306).
참고로, 배경 객체 영역은 8×8 블록 외에도 4×4, 16×16 등 다양한 크기의 블록으로 분할될 수 있다.
S306 후, 키봇(100)은 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단한다(S307).
여기서 키봇(100)은 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 초당 30프레임의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 접촉 여부를 판단할 수 있다.
S307 판단 결과, 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐지면, 즉, 접촉되면, 키봇(100)은 학습자 객체 영역의 이동 방향에 따라서 배경 객체에 애니메이션 변화를 적용시키고, 애니메이션 변화에 대응하여 키봇(100)이 미리 정해진 동작을 수행하도록 제어한다(S308).
도 5는 본 발명의 일 실시예에 따른 접촉 판단부의 접촉 판단을 설명하기 위한 도면이다.
8×8 블록(총 64 블록)으로 분할된 배경 객체 영역과 29개의 블록으로 구성된 학습자 객체 영역이 도시되어 있다.
참고로, 학습자 객체 영역은 차영상을 연결한 것이므로, 영역의 형상이 도 5에 도시된 바와 같이 손의 형상과 유사하지 않을 수 있으나, 설명의 편의 상 손의 형상과 유사하게 도시하였다.
도 5에 도시된 바와 같이, 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 블록의 개수는 6개이며, 이를 백분율로 환산하면 (6/64)×100%이다.
또한, 초당 30프레임에서 몇 개의 프레임이 도 5와 같이 서로 겹쳐져 있었는지를 백분율로 산출하여 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따른 학습 화면을 도시한 도면이다.
학습자가 손을 이용하여 나무에 달린 파인애플과 겹쳐진 상태에서 손을 아래로 움직이는 동작을 취하는 경우, 나무에 달린 파인애플이 화면 하단의 바구니에 담겨지는 애니메이션이 실행될 수 있다.
이때, 키봇(100)은 영어 발음으로 pineapple! 이라는 음성을 출력할 수 있으며, 키봇(100)의 LED 발광부를 초당 수회 점등시킬 수 있다.
도 7은 본 발명의 다른 실시예에 따른 학습 화면을 도시한 도면이다.
키봇(100)에서 특정 단어를 영어 발음으로 출력하면, 학습자는 손을 이용하여 해당 배경 객체에 접촉함으로써 학습을 진행할 수 있다.
예를 들어, ‘clean’이란 단어가 영어 발음으로 출력되면, 학습자는 손을 이용하여 나뭇잎이 그려진 clean 배경 객체를 선택할 수 있다.
이후, 키봇(100)은 “와우~ 잘했어! 우리 다음 단계로 가볼까?”라는 음성을 출력하여 학습을 계속 진행할 수 있으며, 이때, 키봇(100)의 LED 발광부를 초당 수회 점등하면서 축하 음악을 출력할 수도 있다.
만일, 학습자가 나뭇잎이 그려진 clean 배경 객체가 아닌 다른 배경 객체를 선택하는 경우, 키봇(100)은 “다른 것을 선택해볼래?”라는 음성을 출력하면서, 학습자의 자발적인 참여를 유도할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이동통신 분야, 로봇 산업 분야에 이용될 수 있다.

Claims (13)

  1. 체감형 학습 장치에 있어서,
    촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부,
    상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부,
    상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부,
    상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및
    상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부
    를 포함하는, 체감형 학습 장치.
  2. 제 1 항에 있어서,
    상기 영상 분할부는 상기 복수의 블록으로 분할된 영상을 상기 미리 정해진 시간 간격으로 분할하되, 현재 영상인 n번째 프레임과 상기 현재 영상의 이후 영상인 n+1번째 프레임으로 분할하는, 체감형 학습 장치.
  3. 제 1 항에 있어서,
    상기 객체 영역 생성부는 상기 차영상 추출부에서 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 상기 차영상이 서로 연결된 영역에 대해 영역 최적화를 수행함으로써 상기 하나의 객체 영역을 생성하는, 체감형 학습 장치.
  4. 제 3 항에 있어서,
    상기 객체 영역 생성부는 상기 추출된 차영상의 블록을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 상기 3차원 벡터를 추출하는, 체감형 학습 장치.
  5. 제 1 항에 있어서,
    상기 객체 영역 생성부는 상기 배경 객체의 이미지를 다수의 블록으로 분할하여 상기 제 2 객체 영역을 생성하는, 체감형 학습 장치.
  6. 제 5 항에 있어서,
    상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 동일하게 생성하는, 체감형 학습 장치.
  7. 제 5 항에 있어서,
    상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 서로 다르게 생성하는, 체감형 학습 장치.
  8. 제 1 항에 있어서,
    상기 접촉 판단부는 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는, 체감형 학습 장치.
  9. 제 3 항에 있어서,
    상기 동작 제어부는 상기 객체 영역 생성부로부터 추출된 3차원 벡터에 기초하여, 상기 제 1 객체 영역과 제 2 객체 영역의 접촉 시, 상기 제 1 객체 영역의 이동 방향을 예측하는, 체감형 학습 장치.
  10. 제 9 항에 있어서,
    상기 동작 제어부는 상기 예측된 제 1 객체 영역의 이동 방향에 대응하여 상기 배경 객체에 애니메이션 변화를 적용시키는, 체감형 학습 장치.
  11. 체감형 학습 방법에 있어서,
    (a) 촬영된 학습자의 영상을 복수의 블록으로 분할하는 단계,
    (b) 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 단계,
    (c) 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 단계,
    (d) 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여, 상기 차영상이 서로 연결된 제 1 객체 영역을 생성하는 단계,
    (e) 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체의 이미지를 다수의 블록으로 분할한 제 2 객체 영역의 접촉 여부를 판단하는 단계 및
    (f) 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 3차원 벡터에 기초하여 예측된 상기 제 1 객체 영역의 이동 방향에 따라서, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 제어하는 단계
    를 포함하는, 체감형 학습 방법.
  12. 제 11 항에 있어서,
    상기 (b) 단계는 상기 복수의 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할하는, 체감형 학습 방법.
  13. 제 11 항에 있어서,
    상기 (e) 단계는
    (e-1) 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출하는 단계,
    (e-2) 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출하는 단계 및
    (e-3) 상기 (e-1) 단계에서 산출된 값 및 상기 (e-2) 단계에서 산출된 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는 단계
    를 포함하는, 체감형 학습 방법.
PCT/KR2012/001492 2011-12-21 2012-02-28 체감형 학습 장치 및 방법 WO2013094820A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/365,464 US20140342344A1 (en) 2011-12-21 2012-02-28 Apparatus and method for sensory-type learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0139497 2011-12-21
KR1020110139497A KR101410410B1 (ko) 2011-12-21 2011-12-21 체감형 학습 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2013094820A1 true WO2013094820A1 (ko) 2013-06-27

Family

ID=48668679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001492 WO2013094820A1 (ko) 2011-12-21 2012-02-28 체감형 학습 장치 및 방법

Country Status (3)

Country Link
US (1) US20140342344A1 (ko)
KR (1) KR101410410B1 (ko)
WO (1) WO2013094820A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026834A1 (ko) * 2015-08-13 2017-02-16 이철우 반응형 영상 생성방법 및 생성프로그램
US10332563B2 (en) 2015-08-13 2019-06-25 Chul Woo Lee Method and program for generating responsive image
US11003264B2 (en) 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
CN113426101A (zh) * 2021-06-22 2021-09-24 咪咕互动娱乐有限公司 教学方法、装置、设备及计算机可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
USD772240S1 (en) * 2013-10-31 2016-11-22 King.Com Ltd. Game display screen or portion thereof with graphical user interface
USD771642S1 (en) * 2013-10-31 2016-11-15 King.Com Ltd. Game display screen or portion thereof with graphical user interface
WO2018048227A1 (ko) * 2016-09-07 2018-03-15 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771277B2 (en) * 2000-10-06 2004-08-03 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2008302005A (ja) * 2007-06-07 2008-12-18 Taito Corp 投影した影を利用するゲーム装置
US7597622B2 (en) * 2004-03-31 2009-10-06 Konami Digital Entertainment Co., Ltd. Game device, computer control method, and computer-readable information storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7702161B2 (en) * 2005-10-28 2010-04-20 Aspeed Technology Inc. Progressive differential motion JPEG codec
US20080242415A1 (en) * 2007-03-27 2008-10-02 Nazeer Ahmed Motion-based input for platforms and applications
JP4327868B2 (ja) * 2007-06-29 2009-09-09 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体。
US20090082114A1 (en) * 2007-09-24 2009-03-26 Victoria Stratford Interactive transforming animated handheld game
KR20110015356A (ko) * 2009-08-07 2011-02-15 한국전자통신연구원 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
KR101677718B1 (ko) * 2010-04-14 2016-12-06 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
JP5806003B2 (ja) * 2011-06-01 2015-11-10 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲーム制御方法およびゲームシステム
WO2013086601A1 (en) * 2011-12-12 2013-06-20 The University Of British Columbia System and method for determining a depth map sequence for a two-dimensional video sequence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6771277B2 (en) * 2000-10-06 2004-08-03 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device
US7597622B2 (en) * 2004-03-31 2009-10-06 Konami Digital Entertainment Co., Ltd. Game device, computer control method, and computer-readable information storage medium
JP2008302005A (ja) * 2007-06-07 2008-12-18 Taito Corp 投影した影を利用するゲーム装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026834A1 (ko) * 2015-08-13 2017-02-16 이철우 반응형 영상 생성방법 및 생성프로그램
US10332563B2 (en) 2015-08-13 2019-06-25 Chul Woo Lee Method and program for generating responsive image
US11003264B2 (en) 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
US11360588B2 (en) 2016-09-07 2022-06-14 Chui Woo Lee Device, method, and program for generating multidimensional reaction-type image, and method, and program for reproducing multidimensional reaction-type image
US12086335B2 (en) 2016-09-07 2024-09-10 Momenti, Inc. Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
CN113426101A (zh) * 2021-06-22 2021-09-24 咪咕互动娱乐有限公司 教学方法、装置、设备及计算机可读存储介质
CN113426101B (zh) * 2021-06-22 2023-10-20 咪咕互动娱乐有限公司 教学方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR101410410B1 (ko) 2014-06-27
US20140342344A1 (en) 2014-11-20
KR20130071978A (ko) 2013-07-01

Similar Documents

Publication Publication Date Title
WO2013094820A1 (ko) 체감형 학습 장치 및 방법
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2018054056A1 (zh) 一种互动式运动方法及头戴式智能设备
US6624853B1 (en) Method and system for creating video programs with interaction of an actor with objects of a virtual space and the objects to one another
US10717001B2 (en) System and method for saving tracked data in the game server for replay, review and training
CN105378596B (zh) 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
WO2016064121A1 (ko) 가상 피팅 장치 및 이의 가상 피팅 방법
CN109087379B (zh) 人脸表情的迁移方法和人脸表情的迁移装置
WO2014142406A1 (ko) 슈팅 게임이 기록된 컴퓨터 판독 가능한 기록매체
WO2019151793A1 (en) Apparatus and method for sharing a virtual reality environment
CN106730815B (zh) 一种易实现的体感互动方法及系统
WO2013089494A1 (ko) 가상 영상에 대한 촉감 제공 장치 및 방법
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2017115887A1 (ko) 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
WO2013165144A1 (ko) 네트워크 대전을 제공하는 가상 골프 시뮬레이션 방법 및 장치
EP2919099B1 (en) Information processing device
CN110045832A (zh) 基于ar交互的沉浸式安全教育实训系统及方法
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN110444066A (zh) 基于全息教师及环幕互动的电气设备绝缘试验培训系统
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
WO2022019692A1 (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN108553889A (zh) 虚拟模型交互方法及装置
WO2011122906A2 (ko) 그린 라이 표현을 위한 영상처리장치 및 영상처리방법과, 이를 이용한 가상 골프 시뮬레이션 장치
WO2015009112A1 (en) Method and apparatus for dispalying images in portable terminal
WO2017164604A1 (ko) 가상현실 기반 공간 배정 방법 및 디지털 미로 플랫폼

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859488

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14365464

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12859488

Country of ref document: EP

Kind code of ref document: A1