WO2013141522A1 - 가라오케 댄싱 게임 - Google Patents

가라오케 댄싱 게임 Download PDF

Info

Publication number
WO2013141522A1
WO2013141522A1 PCT/KR2013/002080 KR2013002080W WO2013141522A1 WO 2013141522 A1 WO2013141522 A1 WO 2013141522A1 KR 2013002080 W KR2013002080 W KR 2013002080W WO 2013141522 A1 WO2013141522 A1 WO 2013141522A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
camera
image
karaoke
dance
Prior art date
Application number
PCT/KR2013/002080
Other languages
English (en)
French (fr)
Inventor
김영대
Original Assignee
Young Dae Kim
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Young Dae Kim filed Critical Young Dae Kim
Priority to JP2015501567A priority Critical patent/JP2015520403A/ja
Priority to US14/386,571 priority patent/US20150080072A1/en
Publication of WO2013141522A1 publication Critical patent/WO2013141522A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6692—Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/341—Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
    • G10H2220/346—Hopscotch sensing mats, i.e. including several step sensing zones, e.g. for detection of rhythmic dancing in time to background music according to stepping indications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Definitions

  • the present invention relates to a karaoke dancing game, and more particularly, to a karaoke dancing game that can display the user and the user's motion in a 3D image, and analyze and score the user's motion.
  • karaoke is supposed to sing while watching a composite of music and background video.
  • a karaoke system has been introduced, in which karaoke devices are synthesized using video chroma keys to insert video.
  • Karaoke using a three-dimensional virtual studio comprises a video display device, a speaker and a microphone, a karaoke device having a caption display function and a video mixer function, a camera for photographing a subject, a plurality of virtual studio images And a 3D virtual studio for generating a 3D graphic including a 3D virtual studio for synthesizing the image of the camera and the image of the 3D image generating device and outputting a 3D virtual image. And input an image output as a background image of the karaoke apparatus.
  • the present inventors display the subject of the performer on the karaoke screen according to the chroma key method, and the background is displayed as an image generated by the 3D image generating apparatus, so that the user sings in a wide variety of 3D images as described in detail below. Can produce the same effect as
  • the present invention is to solve the problems of the prior art as described above can learn the dance naturally while following the movement of the characters provided by the dancing karaoke game system without the instructor, and furthermore the process of dancing and singing with these characters It is to provide a system that can produce music videos recorded in real time.
  • the present invention provides a dancing karaoke game system, the dancing karaoke game system including a video display device, a speaker and a microphone, and having a caption display function and a video mixer function; A camera for photographing a subject; An infrared camera for scanning the subject; A 3D image generating apparatus generating 3D graphics including a plurality of virtual studio images; The 3D accelerated graphics card chroma-keys the image output from the camera to perform 3D spatial processing by only 3D texturing the actual subject, and calculates the distance information per pixel according to the infrared rays reflected from the subject and at the same time the 3D image generating apparatus It may include a 3D virtual studio for outputting the image of the three-dimensional rendering as a three-dimensional virtual image.
  • the dancing karaoke game system of the present invention includes a database containing data on the dance movement; And a score calculating device for comparing and scoring a dance motion of the subject with a dance motion included in the database.
  • the present invention provides a method for providing a dancing karaoke game, comprising the steps of photographing a dance operation of the subject using a camera; Scanning a dance motion of the subject using an infrared camera; Generating three-dimensional graphics including a plurality of virtual studio images; And a 3D accelerated graphics card to chroma-key the photographed subject to perform 3D spatial processing by only 3D texturing the actual subject, recognize infrared rays reflected from the subject, calculate distance information per pixel, and simultaneously generate the generated 3D graphics.
  • the method may include outputting a 3D virtual image as a 3D virtual image.
  • the method for providing a dancing karaoke game of the present invention may further comprise the step of comparing and scoring the dance movement of the subject and the dance movement included in the database.
  • An alternative embodiment of the present invention includes a first image display device for exemplifying song lyrics and dances corresponding to the songs for the sake of the dancer;
  • a karaoke apparatus including a second image display apparatus, a speaker, and a microphone, and having a caption display function and a video mixer function;
  • a camera for capturing the image of the dancer and recognizing the gesture of the dancer;
  • a 3D image generating apparatus generating 3D graphics including a plurality of virtual studio images;
  • Dancing karaoke system comprising a 3D virtual studio for outputting a three-dimensional virtual image through the second image display device to combine the chromaticity of the image of the caster to the virtual studio image of the three-dimensional image generating apparatus;
  • the alternative embodiment includes a database containing data about dance movements; And a scoring operation device that compares and scores the recognized movements of the dancer and the dance movements included in the database.
  • the motion data of various characters are put into three-dimensional space in real time and displayed in various postures, and then combined with their dances to show them in real time. Can be seen by comparison.
  • FIG. 1 is a block diagram of a dancing karaoke system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an image signal generator according to an exemplary embodiment of the present invention.
  • 3 to 5 illustrate a process of scanning motion information of a user using an infrared camera according to an embodiment of the present invention.
  • FIG. 6 illustrates a state in which a user is displayed on a karaoke screen according to an embodiment of the present invention.
  • FIG. 7 illustrates a scan of a user's skeleton to score a user's dance movement according to an embodiment of the present invention.
  • FIG. 8 shows a flowchart of a method for providing a dancing karaoke game according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a dancing karaoke game system 100 according to an embodiment of the present invention.
  • the dancing karaoke game system 100 may include a video display device (TV: 110), a speaker (Speaker: 120), a microphone (Mic: 121), and a karaoke system (Karaoke).
  • TV: 110 video display device
  • Speaker: 120 speaker
  • Mic: 121 microphone
  • Karaoke karaoke system
  • 140 score calculator 145, database 146, camera 150, infrared camera (IR camera, 150A), 3D virtual studio 160, DVD recorder 170 that can play and record (hereinafter, video recording) A playback device), a screen control unit 180, and a joystick 190.
  • the TV 110, the speaker 120, the Mic 121, and the karaoke system 140 are the same as the general karaoke system, and thus description thereof is omitted.
  • the video recording and reproducing apparatus 170 is configured to record the final image displayed on the image display apparatus 110 by the user's selection.
  • the camera of the present invention captures an image of a subject and recognizes an operation of the subject.
  • the camera of the present invention may be a distance recognition device to a photographing apparatus of a depth subject, such as an ordinary image photographing apparatus and an IR camera.
  • the camera 150 photographs the subject 130 and outputs an image 152 thereof.
  • the IR camera 150A may determine the distance per pixel by scanning the object 130 with infrared light.
  • the screen controller 180 configures a screen for selecting a specific one from a plurality of virtual cameras (not shown) and a preset virtual studio image (background screen, etc.).
  • the joystick 190 is configured to adjust the virtual camera selected by the screen controller 180 and input the adjustment data to the 3D virtual studio 160.
  • the 3D virtual studio 160 is configured as a 3D virtual studio system.
  • Conventional 3D virtual studios have been constructed using 3D image generating technology and a technique of synthesizing camera video.
  • the three-dimensional image created by the graphic is naturally synthesized with the actor's video input from the camera to make the screen as if the actor is in a real studio, and the camera moves to the graphic generator to correspond to the position of the camera.
  • the background and foreground are drawn and composited.
  • a graphic generator generates information on the front and back of the actor based on the video of the actual camera, respectively, and creates a graphic according to the position of the camera, and synthesizes them. have.
  • This approach requires a tracking device that generates external camera tracking information that pinpoints where the graphics generator should be doubled and the camera's moving position.
  • camera tracking sensors require user setup, complicated operation and equipment setup, making it difficult to use popular 3D graphics. Therefore, in one embodiment of the present invention, saving the number of rendering equipment using the general virtual studio technology, eliminating and simplifying the expensive environment of the equipment that comes from the necessity of camera tracking and the user's difficult environment, anyone can easily and conveniently reduce costs
  • This is a 3D virtual studio system using Virtual Overlay technology.
  • Virtual Overlay uses a single rendering engine to realize a virtual overlay by processing the video as a single object in the 3D rendering engine, rather than overlaying the background and front pictures on the camera in a conventional mixer.
  • Render (240) is a function that generates an image in real time in the 3D accelerated graphics card 200
  • the 3D image generating apparatus 210 is a 3D program for designing 3D objects, such as 3D Studio Max or MAYA
  • the video input steered in real time AVI, MPEG, etc.
  • the picture input from the real camera are output in real time. Therefore, it is possible to process and output the rendering together with the image of the camera at once without using the front and rear image generating apparatus for producing 3D images.
  • the virtual overlay technology having the above-described configuration is configured to render the 3D data of the 3D image generating apparatus 210 into the renderer 240 in the camera image 221 and the 3D accelerated graphics card 200 output from the camera 220. Simultaneously input and output 3D graphics to output an analog image 230. That is, the camera image 221 is input to the 3D generator, that is, the video texture of the renderer 240, using the 3D graphics function of the 3D accelerated graphics card 200, and the 3D of the 3D image generator 210 is 3D. Simultaneously 3D rendering the data and outputting the analog image 230.
  • the camera adjustment signal (zoom in / out, angle adjustment, etc.) input from the joystick 190 is configured to adjust the virtual camera selected by the screen controller 180 and output the image according to the position of the virtual camera.
  • 3D graphics can be easily outputted when the viewer's position (camera position) is output from an arbitrary position in 3D space.
  • the actor can be placed in the virtual world and the virtual camera can be shown in different positions to the fullest.
  • the screen can be changed in various directions in real time. If you use multiple virtual cameras, you can create the effect as if you are using multiple cameras.
  • the karaoke 140 turns on the TV 110, the speaker 120, and the Mic 121 and simultaneously operates the 3D virtual studio 160.
  • the 3D virtual studio 140 displays a preset virtual studio image (background image; not shown) and an image of a subject (user) captured by the camera 150 in the render 240 of the 3D accelerated graphics card 200. If the karaoke 140 is output to the karaoke 140, the karaoke 140 mixes the song lyrics to the input virtual studio image 161 and outputs the video to the TV 110, while outputting the accompaniment music through the speaker (120) The user is to sing the song through the Mic 121 while watching the lyrics and the background music output on the TV 110 screen.
  • the screen control 180 may be adjusted to change a preset virtual studio image to select and output a desired background image.
  • the user or the other audience by using the joystick 190 to adjust the position of the virtual camera to change the virtual studio image or the image taken by the camera 150 in 3D freely to the image displayed on the TV 110 Can be adjusted arbitrarily. Therefore, it is possible to produce a tracking effect even without a tracking sensor, and to easily place a user in a virtual image using a 3D graphic device, and to change a screen in various directions in real time by controlling a virtual camera.
  • the virtual cameras can be placed in plural so that the effect can be expressed as if they are represented by several cameras.
  • the IR camera 150A can determine the distance per pixel by scanning the object 130 with infrared light, the dance motions of the user can be recognized using the IR camera 150A.
  • the 3D virtual studio may include image software capable of processing depth information to recognize motions of a subject.
  • the dance operations of the user recognized in this way may be scored by comparing the dance operations of the user with the dance operations stored in the database 146 in the score calculator 145.
  • the database 146 may store various characters that will appear as a background of the user.
  • 3 to 5 illustrate a process of scanning motion information of a user using an infrared camera 150A according to an embodiment of the present invention.
  • 3 is a screen showing that infrared light is reflected to a human hand.
  • the dance motions of the user may be recognized by analyzing the reflected pixels in the image software included in the 3D virtual studio 160.
  • FIG. 4 illustrates a shape in which a major bone node that measures a user's gesture using an infrared camera 150A is recognized. In this way, it is possible to recognize the main bone nodes across the user's face, neck, arms, and legs and to recognize their movements, thereby recognizing the user's dance movements.
  • FIG. 5 is a diagram illustrating a state in which a user is displayed on a display screen according to a shape in which a main bone node of the user is recognized in FIG. 4.
  • FIG. 6 illustrates a state in which a user is displayed on a karaoke screen according to an embodiment of the present invention.
  • an image of a user singing and dancing with a chroma key background is captured by the camera 150, mixed with a 3D image, and displayed at the same time.
  • the user's dance movements may be recognized using 150A.
  • FIG. 7 illustrates a scan of a user's skeleton to score a user's dance movement according to an embodiment of the present invention.
  • the dance movements of the user may be recognized based on the scanned information of the user's skeleton.
  • the score calculator 145 may score the dance movements of the user by comparing the recognized dance movements with the dance movements stored in the database 146.
  • the right arm is raised to 90 degrees with respect to the right elbow and the left arm is raised in the beat of the background music. If the user moves down the left elbow to 90 degrees, the user's dance movement can be scored according to a criterion of 5 points if the user's arm movement is not correct, and 10 points for the deduction of the arm's angle. .
  • FIG. 8 shows a flowchart of a method for providing a dancing karaoke game according to an embodiment of the present invention.
  • step 801 of photographing a dance operation of a subject using a camera is shown.
  • the camera 150 may capture an image to be input to the 3D virtual studio by photographing a subject with a chroma key background.
  • the dance operation of the subject may be scanned using the infrared camera 150A.
  • Infrared rays are irradiated from the IR camera 150A to recognize main bones of the subject.
  • three-dimensional graphics including a plurality of virtual studio images may be generated.
  • the plurality of virtual studio images are for compositing into a user's background screen.
  • the 3D-accelerated graphics card chromaticizes the photographed subject to perform 3D spatial processing by only 3D texturing the actual subject, and recognizes infrared rays reflected from the subject to calculate distance information per pixel.
  • the generated three-dimensional graphics may be three-dimensionally rendered and output as a three-dimensional virtual image.
  • the subject photographed by the camera 150 is combined with the 3D image and output, and the infrared ray reflected from the subject is recognized to calculate distance information per pixel to recognize the dance operation of the subject by the IR camera 150A. Can be.
  • the score calculator 145 may compare the dance motion of the subject with the dance motion included in the database 146 and score the score.
  • the motion data of various characters are put into three-dimensional space in real time and displayed in various postures, and then combined with their dances to show them in real time. Can be seen by comparison.
  • the components herein may be components, modules or systems.
  • the terms “component”, “module”, “system” and the like refer to computer-related entities, hardware, firmware, software, a combination of software and hardware, or the execution of software.
  • a component may be, but is not limited to being, a process running on a processor, a processor, an object, an thread of execution, a program, and / or a computer.
  • an application running on a computing device and the computing device can be a component.
  • One or more components can reside within a processor and / or thread of execution, and a component can be localized within one computer or distributed between two or more computers.
  • these components can execute from various computer readable media having various data structures stored thereon.
  • the components may for example be signals having one or more data packets (e.g., data from one component interacting with another component in a local system, distributed system, and / or data over a network such as another system and the internet via signals and / or signals May communicate via local and / or remote processes.
  • data packets e.g., data from one component interacting with another component in a local system, distributed system, and / or data over a network such as another system and the internet via signals and / or signals May communicate via local and / or remote processes.
  • the functions presented herein may be implemented through hardware, software, firmware, or a combination thereof. If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium.
  • Computer-readable media includes computer storage media and communication media including any medium for facilitating the transfer of a computer program from one place to another.
  • a storage medium may be any available medium that can be accessed by a general purpose computer or a special computer.
  • such computer-readable media can be any program code means required in the form of RAM, ROM, EEPROM, CD-ROM or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or instructions or data structures.
  • any connecting means may be considered a computer readable medium.
  • the software is transmitted from a website, server, or other remote source through wireless technologies such as coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or infrared radio, and microwave, such coaxial Wireless technologies such as cable, fiber optic cable, twisted pair, DSL, or infrared radio, and microwave may be included within the definition of such a medium.
  • wireless technologies such as coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or infrared radio, and microwave
  • coaxial Wireless technologies such as cable, fiber optic cable, twisted pair, DSL, or infrared radio, and microwave may be included within the definition of such a medium.
  • Disks and discs used herein include compact discs (CDs), laser discs, optical discs, DVDs, floppy disks, and Blu-ray discs, where the disks magnetically reproduce data, but the discs are optically To play the data. Combinations of the above should also be included within the scope of computer-readable media.
  • Nonvolatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable PROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM), which acts as external cache memory.
  • RAM may include synchronous RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), enhanced SDRAM (ESDRAM), Synchlink DRAM (SLDRAM), and direct rambus. It may be provided in various forms such as RAM (DRRAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 댄싱 가라오케 게임 시스템에 관한 것으로서, 상기 댄싱 가라오케 게임 시스템은 영상표시장치, 스피커 및 마이크를 포함하고, 자막 표시 기능과 비디오 믹서 기능을 구비한 가라오케 장치; 피사체를 촬영하기 위한 카메라; 상기 피사체를 스캔하기 위한 적외선 카메라; 복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 3차원 영상 발생 장치; 3D 가속 그래픽 카드로 상기 카메라에서 출력되는 영상을 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선에 따라 픽셀당 거리 정보를 연산함과 동시에 상기 3차원 영상 발생 장치의 영상을 3차원 렌더링하여 3차원 가상 영상으로 출력하는 3D 가상 스튜디오를 포함한다.

Description

가라오케 댄싱 게임
본 발명은 가라오케 댄싱 게임에 관한 것이고, 더 구체적으로, 사용자 및 사용자의 움직임을 3D 영상으로 화면에 표시하고, 상기 사용자의 움직임을 분석하여 점수화할 수 있는 가라오케 댄싱 게임에 관한 것이다.
기존의 가라오케는 음악과 배경 비디오를 합성한 화면을 보면서 노래하게 되어 있다. 특별히 노래방 기기에 비디오 크로마키를 이용하여 합성을 하여 비디오를 넣는 방식의 가라오케 시스템도 소개되어 있다.
더 나아가, 종래의 기술(참고문헌 1 참조)에서는 삼차원 가상 스튜디오를 이용한 가라오케를 개시하고 있다. 종래의 기술에 따른 삼차원 가상 스튜디오를 이용한 가라오케는 영상표시장치와 스피커 및 마이크를 포함하여 구성되며 자막표시 기능과 비디오믹서기능을 구비한 가라오케장치, 피사체를 촬영하기 위한 카메라,복수 개의 가상 스튜디오영상을 포함한 3차원 그래픽을 발생하는 3차원 영상발생장치 및 상기 카메라의 영상과 상기 3차원 영상발생장치의 영상을 합성하여 3차원 가상 영상을 출력하는 3D 가상 스튜디오를 포함하여 구성하되 상기 3차원 가상 스튜디오의 영상출력을 상기 가라오케장치의 배경 영상으로 입력하도록 구성된다.
가라오케에서 가무자가 노래를 할 때, 가무(歌舞)자가 실제 무대와 같은 공간에서 노래와 춤을 추고 있는 영상을 제공하면 가라오케에서의 재미를 높일 수 있을 것이다.
이에, 본 발명자는 아래에서 자세히 소개되는 바와 같이, 가무자의 피사체를 크로마키 방식에 따라 가라오케 화면에 표시하고, 배경은 3D 영상 발생 장치에서 발생한 영상으로 표시함으로써, 사용자가 매우 다양한 3D 영상 속에서 노래하는 것과 같은 효과를 발생시킬 수 있다.
또한, 그동안 춤을 배우거나 연습하는 것은 실제로 댄스 교사와 만나 댄스를 배우거나 비디오 테이프를 통해 연습을 하는 방식이 대부분이었다. 하지만, 실제로 댄스 교사와 만나 댄스를 배우는 것은 비용이나 시간의 제약 때문에 쉽지 않은 일이었고, 비디오 테이프를 통해 연습을 하는 방식은 쉽게 지루해져서 종래의 방법들로는 효율적인 댄스 교습이 이루어지지 않았다.
이러한 상황에서, 혼자서도 춤을 배울 수 있는 시스템 및 혼자 행한 자신의 춤에 대한 올바른 평가가 이뤄질 수 있는 시스템에 대한 수요는 분명히 존재한다.
[선행기술문헌]
[특허문헌]
대한민국 등록특허공보 제10-0619494호
하기 설명은 본 발명의 실시예에 대한 기본적인 이해를 제공하기 위해서 하나 이상의 실시예들의 간략화된 설명을 제공한다. 본 섹션은 모든 가능한 실시예들에 대한 포괄적인 개요는 아니며, 모든 엘리먼트들 중 핵심 엘리먼트를 식별하거나, 모든 실시예의 범위를 커버하고자 할 의도도 아니다. 그 유일한 목적은 후에 제시되는 상세한 설명에 대한 도입부로서 간략화된 형태로 하나 이상의 실시예들의 개념을 제공하기 위함이다.
본 발명은 위와 같은 종래 기술들의 문제점을 해결하기 위한 것으로서 강사 없이도 댄싱 가라오케 게임 시스템에서 제공하는 캐릭터의 움직임을 따라하면서 댄스를 자연스럽게 배울 수 있고, 더 나아가 이들 캐릭터들과 함께 댄스를 추고 노래 부르는 과정을 실시간으로 녹화한 뮤직 비디오를 제작할 수도 있는 시스템을 제공하기 위한 것이다.
또한, 댄스를 추면서 동시에 건강한 운동을 즐기는 헬스 장치를 제공하기 위한 것이다.
이와 같은 목적을 달성하기 위하여, 본 발명은 댄싱 가라오케 게임 시스템으로서, 상기 댄싱 가라오케 게임 시스템은 영상표시장치, 스피커 및 마이크를 포함하고, 자막 표시 기능과 비디오 믹서 기능을 구비한 가라오케 장치; 피사체를 촬영하기 위한 카메라; 상기 피사체를 스캔하기 위한 적외선 카메라; 복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 3차원 영상 발생 장치; 3D 가속 그래픽 카드로 상기 카메라에서 출력되는 영상을 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선에 따라 픽셀당 거리 정보를 연산함과 동시에 상기 3차원 영상 발생 장치의 영상을 3차원 렌더링하여 3차원 가상 영상으로 출력하는 3D 가상 스튜디오를 포함할 수 있다.
또한, 본 발명의 댄싱 가라오케 게임 시스템은 댄스 동작에 대한 데이터를 포함하고 있는 데이터베이스; 및 상기 피사체의 댄스 동작과 상기 데이터베이스에 포함되어 있는 댄스 동작을 비교하여 점수화시키는 점수 연산 장치를 더 포함할 수 있다.
또한, 본 발명은 댄싱 가라오케 게임을 제공하기 위한 방법으로서, 카메라를 이용하여 피사체의 댄스 동작을 촬영하는 단계; 적외선 카메라를 이용하여 상기 피사체의 댄스 동작을 스캔하는 단계; 복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 단계; 및 3D 가속 그래픽 카드로 상기 촬영된 피사체를 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선을 인식하여 픽셀당 거리 정보를 연산함과 동시에 상기 발생된 3차원 그래픽을 3차원 렌더링하여 3차원 가상 영상으로 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 댄싱 가라오케 게임을 제공하기 위한 방법은 상기 피사체의 댄스 동작과 데이터베이스에 포함되어 있는 댄스 동작을 비교하여 점수화시키는 단계를 더 포함할 수 있다.
본 발명의 대안적인 구체예는, 가무(歌舞)자를 위한, 노래 가사 및 노래에 대응하는 춤을 예시하여 주는 제 1 영상 표시 장치; 제 2 영상표시장치, 스피커 및 마이크를 포함하고, 자막 표시 기능과 비디오 믹서 기능을 구비한 가라오케 장치; 상기 가무자의 영상을 촬영하고 상기 가무자의 동작을 인식하기 위한 카메라; 복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 3차원 영상 발생 장치; 상기 3차원 영상 발생 장치의 가상 스튜디오 영상에 상기 가무자의 촬영된 영상을 크로마키한 후 결합하여 상기 제 2 영상표시장치를 통해 3차원 가상 영상으로 출력하는 3D 가상 스튜디오를 포함하는, 댄싱 가라오케 시스템을 포함한다.
상기 대안적인 구체예는, 댄스 동작에 대한 데이터를 포함하고 있는 데이터베이스; 및 상기 가무자의 인식된 동작과 상기 데이터베이스에 포함되어 있는 댄스 동작을 비교하여 점수화시키는 점수 연산 장치를 더 포함하는, 댄싱 가라오케 시스템을 포함한다.
이와 같은 구성에 따르면, 다양한 캐릭터들의 모션 데이터를 실시간으로 3차원 공간에 넣어 다양한 자세로 보여주게 하면서 이를 자신의 춤과 실시간 합성하여 함께 보여주기 때문에 자신의 춤동작을 정확하게 캐릭터 또는 비디오 장면과 실시간으로 비교하면서 볼 수 있다.
따라서, 댄스 강사가 없어도 스스로 시스템에서 제공하는 캐릭터의 움직임을 따라하면서 배우고, 더 나아가 이들 캐릭터와 함께 춤을 추면서 노래를 불러 실시간으로 자신이 춤을 추는 장면을 녹화한 뮤직 비디오를 제작할 수도 있게 함으로써 신나게 춤을 추면서 건강한 운동을 즐기는 운동 장치가 되게 한다.
또한, 본 발명의 구성에 따르면, 자신의 댄스 동작을 데이터베이스에 저장되어 있는 댄스 동작들과 비교하여 점수화함으로써 게임을 즐기면서 자연스럽게 운동도 즐기고 댄스도 배울 수 있다.
상술한 목적 및 관련된 목적을 달성하기 위해서, 하나 이상의 실시예들이 아래에서 설명되고, 특히 청구항에서 특정되는 특징들을 포함한다. 하기 설명 및 관련 도면은 이러한 실시예들의 예시적인 양상들을 보다 상세히 설명한다. 이러한 양상들은 단지 일 예일 뿐이며, 다양한 변형이 가능함을 당업자는 잘 이해할 수 있을 것이다. 또한, 제시된 실시예들은 이러한 실시예들 및 이러한 실시예들의 균등물 모두를 포함하는 것으로 해석된다.
관습에 따라 도면의 다양한 특징들은 실측에 따라 도시되지 않을 수 있다. 따라서, 다양한 특징들의 치수들은 간명성을 위하여 임의로 확대되거나 감소될 수 있다. 또한, 도면의 일부가 간명성을 위해 단순화될 수 있다. 따라서, 도면은 제시된 장치(예를 들어 디바이스) 또는 방법의 모든 컴포넌트들을 도시하지 않을 수도 있다. 마지막으로, 유사한 도면번호들이 상세한 설명 및 도면 전반에서 유사한 특징들을 나타내는데 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 댄싱 가라오케 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상신호 발생 장치의 블록도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 적외선 카메라를 이용하여 사용자의 동작정보를 스캐닝하는 과정을 도시한다.
도 6은 본 발명의 일 실시예에 따라 사용자를 가라오케 화면에 표시한 모습을 도시한다.
도 7은 본 발명의 일 실시예에 따라 사용자의 댄스 동작을 점수화하기 위하여 사용자의 뼈대를 스캔한 모습을 도시한다.
도 8은 본 발명의 일 실시예에 따른 댄싱 가라오케 게임을 제공하기 위한 방법의 순서도를 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 엘리먼트를 나타내기 위해서 사용된다. 설명을 위해 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 특정 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이아그램 형태로 제시된다.
도 1을 참고하면, 도 1은 본 발명의 일 실시예에 따른 댄싱 가라오케 게임 시스템(100)의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예 따른 댄싱 가라오케 게임 시스템(100)은 영상표시장치(TV:110), 스피커(Speaker:120), 마이크(Mic:121), 가라오케시스템(Karaoke:140), 점수 연산부(145), 데이터베이스(146), 카메라(150), 적외선 카메라(IR camera, 150A), 3D 가상 스튜디오(160), 재생 및 기록이 가능한 DVD Recorder(170; 이하, 영상녹화재생장치라 한다), 스크린 제어부(Screen Control:180) 및 조이스틱(190)을 포함하여 구성된다. 상기 구성요소 중 TV(110), Speaker(120), Mic(121) 및 가라오케 시스템(140)은 일반적인 가라오케 시스템과 동일하므로 그 설명을 생략한다.
영상녹화재생장치(170)는 영상표시장치(110)에 표시되는 최종 영상을 사용자의 선택에 의하여 녹화할 수 있도록 구성된다.
본 발명의 카메라는 피사체의 영상을 촬영하고, 피사체의 동작을 인식한다. 본 발명의 카메라는 통상의 영상 촬영 장치 및 IR 카메라와 같은 깊이 피사체의 촬영 장치까지의 거리 인식 장치일 수 있다.
카메라(150)는 피사체(130)를 촬영하여 그 영상(152)을 출력한다. 또한, IR 카메라(150A)는 적외선으로 피사체(130)를 스캔함으로써 픽셀당 거리를 알아낼 수 있다.
스크린 제어부(180)는 복수 개의 가상 카메라(도면 미도시)와 기설정된 가상 스튜디오영상(배경화면 등)에서 특정 하나를 선택할 수 있는 화면을 구성한다.
조이스틱(190)은 스크린제어부(180)에서 선택된 가상 카메라를 조정할 수 있도록 구성하며 그 조정 데이터를 3D 가상 스튜디오(160)로 입력한다.
3D 가상 스튜디오(160)는 3D 가상 스튜디오 시스템으로 구성한다. 통상적인 3D 가상 스튜디오는 3D 영상 발생 기술과 카메라 비디오를 합성하는 기술을 이용하여 가상 스튜디오가 이루어져 왔다. 즉 그래픽으로 만든 3차원 영상을 카메라로부터 입력된 연기자의 비디오와 자연스럽게 합성시켜 마치 배우가 실제 스튜디오에 있는 것과 같은 화면을 만들어 주고 카메라가 움직이는 것을 센서로 읽어들여 그래픽 발생장치에 카메라의 위치에 상응하는 배경 및 전경을 그려 합성하도록 하고 있다. 상세하게는 3차원 가상공간을 만들기 위해 실제 카메라의 비디오를 기준으로 액터 앞면의 그림과 뒷면의 그림의 정보를 각각 그래픽 발생기를 통해 만들어 이를 카메라의 위치에 따라 그래픽을 만들어 합성하여 주는 방식을 사용하고 있다. 이러한 방식은 그래픽 발생장치를 2중으로 가져가야 하는 부분과 카메라의 움직이는 위치를 정확히 알려 주는 외부 카메라 트랙킹 정보를 만들어 주는 트래킹 장비가 필요하게 되며 가격을 상승하게 하고 있다. 또한 카메라 트랙킹 센서는 사용자의 셋업(setup)과 복잡한 운영 및 장비 셋업 과정이 필요해 대중적인 3D Graphic 사용에 어려움이 있다. 따라서, 본 발명의 일 실시예에서는 일반 가상스튜디오 기술을 이용하는 렌더링 장비의 수를 절약하고, 카메라 트래킹이 꼭 필요한 데서 오는 장비의 고가화와 사용자의 어려운 환경을 제거하고 단순화하여 원가 절감은 물론 누구나 쉽고 편리하게 사용할 수 있는 Virtual Overlay 기술을 이용한 3D 가상 스튜디오 시스템을 사용하는 것이다. 즉, Virtual Overlay는 기존의 Mixer에서 배경그림과 전면 그림을 카메라에 Overlay시키던 방식이 아닌 3차원 렌더링 엔진 안에 비디오를 하나의 Object로 처리하여 가상의 Overlay를 실현시킴으로서 하나의 렌더링 엔진을 사용하여 두개의 렌더링을 사용한 효과와 위부 Overlay Mix를 사용한 것과 동일한 시스템을 만들수 있어 장비비의 절감은 물론 사용환경을 매우 단순화시킬 수 있는 효과가 있는 것이다. 이하, 도 2를 참고하여 가상 overlay 기술을 이용한 3D 가상 스튜디오 블록도에 대하여 간략히 설명한다. 렌더(Render:240)는 3D 가속 그래픽 카드(200) 내에서 실시간으로 영상을 발생하는 기능으로 3차원 영상발생장치(210)는 3차원 물체를 설계하는 3D 프로그램인 3D Studio Max 나 MAYA 등과 같은 편집 프로그램으로 생성시킨 3D 데이터를 이용하여 실제 카메라로부터 입력된 영상 미리 준비된 동화상(AVI,MPEG 등), Picture를 3D 물체의 표면에 비디오 택스튜어링을 실시간으로 시켜 출력하게 한다. 따라서, 통상 3D 영상을 만들기 위한 전후면 영상발생장치를 사용하지 않고서도 한번에 렌더링을 카메라의 영상과 함께 처리하여 출력할 수가 있는 것이다.
상기한 구성의 가상 오버레이 기술은 카메라(220)에서 출력되는 카메라 영상(221)과 3D 가속 그래픽카드(200)내에서 3차원 영상발생장치(210)의 3D 데이터를 렌더(Render;240)속으로 동시에 입력하여 3D 그래픽처리함으로써 아날로그 영상(230)을 출력하도록 하는 것이다. 즉, 3D 가속 그래픽 카드(200)의 3D 그래픽 기능을 활용하여 카메라 영상(221)을 3D 발생장치 즉 렌더(240)의 비디오 텍스튜어(Texture)로 입력하고 3차원 영상발생장치(210)의 3D 데이터를 동시에 3D 렌더링하여 아날로그 영상(230)으로 출력하는 것이다.
또한, 조이스틱(190)에서 입력되는 카메라 조정 신호(줌 in/ out, 각도 조절 등)에 따라 스크린제어부(180)에서 선택된 가상 카메라를 조정하고 상기 가상 카메라의 위치에 따른 영상을 출력하도록 구성된다. 상기와 같이, 3D 비디오 텍스투어링(Video Texturing)기술을 이용하여 가상카메라를 조정할 수 있도록 함으로써 관측자의 위치(카메라의 위치)를 3D공간 속에서 임의의 위치에서 보여지는 영상을 출력시키게 되면 손쉽게 3D 그래픽장치를 이용해 가상세계 속에 배우가 위치하게 하고 또 가상카메라를 마음껏 다른 위치에서 보여줄 수 있어 다양한 방향에서의 화면을 실시간으로 변화시켜가며 보여줄 수 있기 때문에 값비싼 카메라 움직임장치를 쓰지 않아도 카메라의 움직이는 효과를 만들수 있으며 이러한 가상카메라를 복수 개 사용할 경우에는 마치 여러 대의 카메라로 표현하는 것 같은 효과를 만들 수 있기 때문이다.
이하, 상기한 본 발명의 구성에 의한 삼차원 가상 스튜디오를 이용한 가라오케의 동작에 대하여 설명한다.
먼저, 사용자가 가라오케(140)를 온하면 가라오케(140)는 TV(110), Speaker(120), Mic(121)를 온 함과 동시에 3D 가상 스튜디오(160)를 동작시킨다. 3D 가상스튜디오(140)는 기설정된 가상 스튜디오영상(배경화면;도면미도시)과 카메라(150)에서 촬영된 피사체(사용자)의 영상을 3D 가속 그래픽카드(200)의 렌더(240)에서 3D 그래픽으로 렌더링하여 가라오케(140)로 출력하면 가라오케(140)는 입력되는 가상 스튜디오영상(161)에 노래 가사를 믹서하여 TV(110)로 그 영상을 출력하면서 반주음악을 Speaker(120)를 통해 출력하면 사용자는 TV(110)화면에 출력되는 배경음악과 자신의 노래하는 모습 또한 가사를 보면서 Mic(121)를 통하여 노래를 부르면 되는 것이다. 또한, 스크린 콘트롤(180)을 조절하여 기설정된 가상 스튜디오 영상을 변경하여 희망하는 배경영상을 선택하여 출력할 수도 있다. 이때, 사용자나 기타 청중들은 조이스틱(190)을 이용하여 가상 카메라의 위치를 조정하여 가상 스튜디오 영상이나 카메라(150)에서 촬영된 영상을 3D 입체적으로 자유자재로 변화시켜 TV(110)에 표시되는 영상을 임의대로 조절할 수가 있는 것이다. 따라서, 트랙킹 센서가 없어도 트래킹 효과를 낼수가 있으며 손쉽게 3D 그래픽장치를 이용해 가상 영상 속에 사용자를 위치하게 할 수 있으며 또 가상카메라를 조절할 수 있게 함으로써 다양한 방향에서의 화면을 실시간으로 변화시키며 보여줄 수 있는 것이다. 상기한 가상카메라는 다수 개 위치시킬 수 있어 마치 여러 대의 카메라로 표현하는 것 같은 효과를 만들 수 있는 것이다.
또한, 본 발명의 일 실시예에 따르면, IR 카메라(150A)가 적외선으로 피사체(130)를 스캔함으로써 픽셀당 거리를 알아낼 수 있기 때문에, 이를 이용하여 사용자의 댄스 동작들을 인지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 3D 가상 스튜디오는 깊이 정보를 처리하여 피사체의 동작들을 인식할 수 있는 이미지 소프트웨어를 포함할 수 있다.
이와 같이 인식된 사용자의 댄스 동작들을 점수 연산부(145)에서 데이터베이스(146)에 저장된 댄스 동작들과 비교함으로써 사용자의 댄스 동작들을 점수화할 수 있다. 또한, 데이터베이스(146)에는 사용자의 배경으로 등장할 다양한 캐릭터들이 저장되어 있을 수도 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 적외선 카메라(150A)를 이용하여 사용자의 동작정보를 스캐닝하는 과정을 도시한다.
도 3은 적외선이 사람 손에 반사되는 것을 보여주는 화면이다. IR 카메라(150A)에서 조사된 적외선이 사람 손에서 반사되면 3D 가상 스튜디오(160)에 포함된 이미지 소프트웨어에서 반사된 픽셀들을 분석하여 사용자의 댄스 동작들을 인식할 수 있다.
도 4는 적외선 카메라(150A)를 이용하여 사용자의 제스처를 가늠하는 주요 뼈마디를 인식해낸 형상을 도시한다. 이와 같이 사용자의 얼굴, 목, 팔, 및 다리에 걸친 주요 뼈마디를 인식해내고 이의 움직임을 인식할 수 있기 때문에, 사용자의 댄스 동작들을 인식할 수 있는 것이다.
도 5는 도 4에서 사용자의 주요 뼈마디를 인식한 형상에 따라, 사용자를 디스플레이 화면에 나타낸 모습을 도시한 형상이다.
도 6은 본 발명의 일 실시예에 따라 사용자를 가라오케 화면에 표시한 모습을 도시한다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 댄싱 가라오케 게임 시스템에서는 사용자가 크로마키 배경을 두고 노래하며 춤추는 영상을 카메라(150)로 촬영하여 3D 영상과 믹싱하여 표시하는 동시에 IR 카메라(150A)를 이용하여 사용자의 댄스 동작들을 인식할 수 있다.
도 7은 본 발명의 일 실시예에 따라 사용자의 댄스 동작을 점수화하기 위하여 사용자의 뼈대를 스캔한 모습을 도시한다.
사용자의 뼈대를 스캔한 정보를 토대로 사용자의 댄스 동작들을 인식할 수 있다. 또한, 점수 연산부(145)에서는 인식된 댄스 동작들을 데이터베이스(146)에 저장된 댄스 동작들과 비교함으로써 사용자의 댄스 동작들을 점수화할 수 있다.
예를 들어, 점수 연산부(145)에서는 사용자의 팔 동작을 인식하여 데이터베이스(146)에 저장되어 있는 댄스 동작에서는 배경 음악의 당해 박자에서 오른 팔이 오른 팔꿈치를 기준으로 90도가 되도록 들어올리고 왼 팔이 왼 팔꿈치를 기준으로 90도가 되도록 내리는 동작이라고 하면, 사용자의 팔 동작이 박자가 맞지 않았다면 감점 5점, 팔의 각도가 정확하지 않았다면 감점 10점 등의 기준에 따라 사용자의 댄스 동작을 점수화할 수 있다.
도 8은 본 발명의 일 실시예에 따른 댄싱 가라오케 게임을 제공하기 위한 방법의 순서도를 도시한다.
우선, 카메라를 이용하여 피사체의 댄스 동작을 촬영하는 단계(801)가 도시된다. 카메라(150)는 크로마키 배경을 두고 피사체를 촬영함으로써 3D 가상 스튜디오에 입력할 영상을 촬영할 수 있다.
단계(802)에서, 적외선 카메라(150A)를 이용하여 상기 피사체의 댄스 동작을 스캔할 수 있다. IR 카메라(150A)에서 적외선을 조사하여 상기 피사체의 주요 뼈마디를 인식할 수 있다.
또한, 단계(803)에서, 복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시킬 수 있다. 상기 복수 개의 가상 스튜디오 영상은 사용자의 배경 화면으로 합성하기 위한 것이다.
또한, 단계(804)에서, 3D 가속 그래픽 카드로 상기 촬영된 피사체를 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선을 인식하여 픽셀당 거리 정보를 연산함과 동시에 상기 발생된 3차원 그래픽을 3차원 렌더링하여 3차원 가상 영상으로 출력할 수 있다. 이와 같이, 카메라(150)에 의하여 촬영된 피사체를 3D 영상과 합성하여 출력하고, 피사체로부터 반사된 적외선을 인식하여 픽셀당 거리 정보를 연산함으로써 IR 카메라(150A)에 의해 피사체의 댄스 동작을 인식할 수 있다.
또한, 단계(805)에서, 점수 연산부(145)는 상기 피사체의 댄스 동작과 데이터베이터(146)에 포함되어 있는 댄스 동작을 비교하여 점수화시킬 수 있다.
이와 같은 구성에 따르면, 다양한 캐릭터들의 모션 데이터를 실시간으로 3차원 공간에 넣어 다양한 자세로 보여주게 하면서 이를 자신의 춤과 실시간 합성하여 함께 보여주기 때문에 자신의 춤동작을 정확하게 캐릭터 또는 비디오 장면과 실시간으로 비교하면서 볼 수 있다.
따라서, 댄스 강사가 없어도 스스로 시스템에서 제공하는 캐릭터의 움직임을 따라하면서 배우고, 더 나아가 이들 캐릭터와 함께 춤을 추면서 노래를 불러 실시간으로 자신이 춤을 추는 장면을 녹화한 뮤직 비디오를 제작할 수도 있게 함으로써 신나게 춤을 추면서 건강한 운동을 즐기는 운동 장치가 되게 한다.
또한, 본 발명의 구성에 따르면, 자신의 댄스 동작을 데이터베이스에 저장되어 있는 댄스 동작들과 비교하여 점수화함으로써 게임을 즐기면서 자연스럽게 운동도 즐기고 댄스도 배울 수 있다.
본 명세서의 구성요소들은 컴포넌트, 모듈 또는 시스템일 수 있다. 본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터 내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통한 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
하나 이상의 예시적인 구현에서, 여기서 제시된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능한 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나, 또는 이들을 통해 전송될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 일 장소에서 다른 장소로 컴퓨터 프로그램의 이전을 용이하게 하기 위한 임의의 매체를 포함하는 통신 매체를 포함한다. 저장 매체는 범용 컴퓨터 또는 특별한 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어, 이러한 컴퓨터 판독가능한 매체는 RAM,ROM,EEPROM,CD-ROM 또는 다른 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 다른 자기 저장 장치들, 또는 명령 또는 데이터 구조의 형태로 요구되는 프로그램 코드 수단을 저장하는데 사용될 수 있고, 범용 컴퓨터, 특별한 컴퓨터, 범용 프로세서, 또는 특별한 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 임의의 연결 수단이 컴퓨터 판독가능한 매체로 간주될 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들을 통해 전송되는 경우, 이러한 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들이 이러한 매체의 정의 내에 포함될 수 있다. 여기서 사용되는 disk 및 disc은 컴팩트 disc(CD), 레이저 disc , 광 disc, DVD, 플로피 disk, 및 블루-레이 disc를 포함하며, 여기서 disk는 데이터를 자기적으로 재생하지만, disc은 레이저를 통해 광학적으로 데이터를 재생한다. 상기 조합들 역시 컴퓨터 판독가능한 매체의 범위 내에 포함될 수 있다.
본 명세서의 데이터베이스(146)는 휘발성 메모리, 또는 비휘발성 메모리일 수 있으며, 또는 휘발성 및 비휘발성 메모리 모두를 포함할 수 있다. 제한되지 않는 예로서, 비휘발성 메모리는 read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable PROM (EEPROM), 또는 플래쉬 메모리를 포함할 수 있다. 휘발성 메모리는 외부 캐시 메모리로 동작하는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 제한되지 않는 예로서, RAM은 synchronous RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), enhanced SDRAM (ESDRAM), Synchlink DRAM (SLDRAM), 및 direct Rambus RAM (DRRAM) 과 같은 다양한 형태로 제공될 수 있다.
개시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (4)

  1. 영상표시장치, 스피커 및 마이크를 포함하고, 자막 표시 기능과 비디오 믹서 기능을 구비한 가라오케 장치;
    피사체를 촬영하기 위한 카메라;
    상기 피사체를 스캔하기 위한 적외선 카메라;
    복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 3차원 영상 발생 장치;
    3D 가속 그래픽 카드로 상기 카메라에서 출력되는 영상을 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선에 따라 픽셀당 거리 정보를 연산함과 동시에 상기 3차원 영상 발생 장치의 영상을 3차원 렌더링하여 3차원 가상 영상으로 출력하는 3D 가상 스튜디오
    를 포함하는, 댄싱 가라오케 시스템.
  2. 제 1 항에 있어서,
    댄스 동작에 대한 데이터를 포함하고 있는 데이터베이스; 및
    상기 피사체의 댄스 동작과 상기 데이터베이스에 포함되어 있는 댄스 동작을 비교하여 점수화시키는 점수 연산 장치
    를 더 포함하는, 댄싱 가라오케 시스템.
  3. 카메라를 이용하여 피사체의 댄스 동작을 촬영하는 단계;
    적외선 카메라를 이용하여 상기 피사체의 댄스 동작을 스캔하는 단계;
    복수 개의 가상 스튜디오 영상을 포함한 3차원 그래픽을 발생시키는 단계; 및
    3D 가속 그래픽 카드로 상기 촬영된 피사체를 크로마키하여 실제 피사체만을 3D 텍스투어링하여 3D 공간 처리하고, 상기 피사체로부터 반사된 적외선을 인식하여 픽셀당 거리 정보를 연산함과 동시에 상기 발생된 3차원 그래픽을 3차원 렌더링하여 3차원 가상 영상으로 출력하는 단계
    를 포함하는, 댄싱 가라오케를 제공하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 피사체의 댄스 동작과 데이터베이스에 포함되어 있는 댄스 동작을 비교하여 점수화시키는 단계
    를 더 포함하는, 댄싱 가라오케 게임을 제공하기 위한 방법.
PCT/KR2013/002080 2012-03-20 2013-03-15 가라오케 댄싱 게임 WO2013141522A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015501567A JP2015520403A (ja) 2012-03-20 2013-03-15 カラオケダンシングゲーム
US14/386,571 US20150080072A1 (en) 2012-03-20 2013-03-15 Karaoke and dance game

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0028045 2012-03-20
KR1020120028045A KR101304111B1 (ko) 2012-03-20 2012-03-20 댄싱 가라오케 시스템

Publications (1)

Publication Number Publication Date
WO2013141522A1 true WO2013141522A1 (ko) 2013-09-26

Family

ID=49222928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002080 WO2013141522A1 (ko) 2012-03-20 2013-03-15 가라오케 댄싱 게임

Country Status (4)

Country Link
US (1) US20150080072A1 (ko)
JP (1) JP2015520403A (ko)
KR (1) KR101304111B1 (ko)
WO (1) WO2013141522A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128510A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法及び評価装置
WO2022111168A1 (zh) * 2020-11-26 2022-06-02 腾讯音乐娱乐科技（深圳）有限公司 视频的分类方法和装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014145902A1 (en) 2013-03-15 2014-09-18 Si-Bone Inc. Implants for spinal fixation or fusion
US9666194B2 (en) * 2013-06-07 2017-05-30 Flashbox Media, LLC Recording and entertainment system
US9751019B2 (en) * 2013-12-18 2017-09-05 Activision Publishing, Inc. Input methods and devices for music-based video games
US10441876B2 (en) * 2013-12-20 2019-10-15 Activision Publishing, Inc. Video game integrating recorded video
CN103761758A (zh) * 2013-12-27 2014-04-30 一派视觉（北京）数字科技有限公司 一种旅游虚拟人物照相方法及系统
KR20160014418A (ko) 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
WO2016113963A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9975002B2 (en) * 2015-05-08 2018-05-22 Ross Philip Pinkerton Synchronized exercising and singing
CN106303288A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 合成演唱视频的方法、装置及系统
US11093210B2 (en) * 2015-10-28 2021-08-17 Smule, Inc. Wireless handheld audio capture device and multi-vocalist method for audiovisual media application
WO2017115887A1 (ko) * 2015-12-29 2017-07-06 경일대학교 산학협력단 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
CN107368491B (zh) * 2016-05-12 2023-07-25 富泰华工业（深圳）有限公司 影像制作系统及方法
CN113596590B (zh) * 2020-04-30 2022-08-26 聚好看科技股份有限公司 显示设备及播放控制方法
CN113938720B (zh) * 2020-07-13 2023-11-17 华为技术有限公司 多设备协作的方法、电子设备及多设备协作系统
KR102289830B1 (ko) * 2020-10-05 2021-08-13 최준석 발레레슨방법
US20230057073A1 (en) * 2021-08-21 2023-02-23 Laron A. Walker Augmented Reality Platform for Fan Engagement
CN117746510B (zh) * 2024-02-19 2024-05-28 河海大学 一种基于点云特征图的实时三维行为识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207347A (ja) * 1997-01-27 1998-08-07 Xing:Kk 動作比較装置
KR20050105308A (ko) * 2004-04-28 2005-11-04 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR20090028673A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 자세 교정 장치
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207347A (ja) * 1997-01-27 1998-08-07 Xing:Kk 動作比較装置
KR20050105308A (ko) * 2004-04-28 2005-11-04 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR20090028673A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 자세 교정 장치
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128510A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法及び評価装置
WO2022111168A1 (zh) * 2020-11-26 2022-06-02 腾讯音乐娱乐科技（深圳）有限公司 视频的分类方法和装置

Also Published As

Publication number Publication date
JP2015520403A (ja) 2015-07-16
KR101304111B1 (ko) 2013-09-05
US20150080072A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
WO2013141522A1 (ko) 가라오케 댄싱 게임
Tricart Virtual reality filmmaking: Techniques & best practices for VR filmmakers
CN111742353B (zh) 信息处理装置、信息处理方法和程序
US10134296B2 (en) Enhancing movement training with an augmented reality mirror
US20230041730A1 (en) Sound effect adjustment
US20090237492A1 (en) Enhanced stereoscopic immersive video recording and viewing
US20070122786A1 (en) Video karaoke system
US20030044757A1 (en) Video instructional system and method for teaching motor skills
WO1995007590A1 (fr) Processeur d'images variant dans le temps et dispositif d'affichage
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
WO2018182190A1 (en) Use of earcons for roi identification in 360-degree video
CN2667827Y (zh) 一种准全景环绕式影视播放系统
KR100956454B1 (ko) 가상 스튜디오 자세 교정 장치
US20230353717A1 (en) Image processing system, image processing method, and storage medium
Bouville et al. Virtual reality rehearsals for acting with visual effects
WO2024027063A1 (zh) 直播方法、装置、存储介质、电子设备及产品
US10032447B1 (en) System and method for manipulating audio data in view of corresponding visual data
Dsouza Think in 3D: Food For Thought for Directors, Cinematographers and Stereographers
WO2024136041A1 (ko) 사용자 움직임 기록 기반의 영상 제작 장치 및 방법
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
Srinivasan Transforming Audience into Spectator/Actor: Assimilating VR into Live/Theatre Performance
US20240048780A1 (en) Live broadcast method, device, storage medium, electronic equipment and product
DeHart Directing audience attention: cinematic composition in 360 natural history films
JP7403256B2 (ja) 映像提示装置およびプログラム
Feng et al. When green screen meets panoramic videos: an interesting video combination framework

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13764353

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015501567

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14386571

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A SENT ON 11.02.2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13764353

Country of ref document: EP

Kind code of ref document: A1