WO2018004232A1 - 외부 콘텐츠 플레이어와 연동하는 증강현실시스템 - Google Patents

외부 콘텐츠 플레이어와 연동하는 증강현실시스템 Download PDF

Info

Publication number
WO2018004232A1
WO2018004232A1 PCT/KR2017/006759 KR2017006759W WO2018004232A1 WO 2018004232 A1 WO2018004232 A1 WO 2018004232A1 KR 2017006759 W KR2017006759 W KR 2017006759W WO 2018004232 A1 WO2018004232 A1 WO 2018004232A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
player
glass
song
lyrics
Prior art date
Application number
PCT/KR2017/006759
Other languages
English (en)
French (fr)
Inventor
임채열
Original Assignee
주식회사 카이비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160080673A external-priority patent/KR101802906B1/ko
Priority claimed from KR1020160081770A external-priority patent/KR101802914B1/ko
Application filed by 주식회사 카이비전 filed Critical 주식회사 카이비전
Publication of WO2018004232A1 publication Critical patent/WO2018004232A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof

Definitions

  • the present invention relates to an augmented reality system that works with an external content player, and, as one specific example, relates to an augmented reality system that allows a user to sing naturally without continuously looking at a karaoke cycle, and to sing more conveniently and hurt. will be.
  • karaoke which can sing and cheer, is installed in each room, and the user starts playing by selecting a desired song by manipulating the karaoke cycle.
  • the karaoke cycle includes a microphone 2, a speaker 4, an image information unit 6, a music information unit 8, and a controller 9 in which lyrics and music are displayed. And a earphone 20 connected to the microphone 2 in a wired or wireless manner, and a play unit 20 for reproducing a song through the earphone.
  • Lyrics and wallpaper images stored in the image information unit is synchronized when the song is played is displayed for the user to see through the screen (3).
  • Karaoke cycle The user sings while watching the accompaniment transmitted through the speaker and the lyrics displayed on the screen.
  • the separate lyrics and music driven by the play unit is simultaneously sent to the earphones so that the user can see the lyrics displayed on the screen and sing songs while listening to the songs through the earphones to easily correct the pitch or lyrics.
  • the karaoke cycle according to the prior art, if the user does not memorize the lyrics completely, you must sing the song while watching the karaoke cycle screen, even if you listen to the lyrics through the earphones do not know the lyrics to come later can not be prepared in advance have.
  • the present invention is to solve the above problems, so that the user can naturally sing without interruption of the lyrics even without looking at the player in the karaoke.
  • the present invention is a recognition camera installed to face the karaoke cycle; A text recognition unit for recognizing lyrics displayed in a karaoke cycle based on the image information received through the recognition camera; A recognizer having a recognition communication unit for transmitting the recognized character to the player interlocking glass, and a glass communication unit receiving information transmitted from the recognition communication unit; It provides an augmented reality system in a karaoke including a player interlocking glass having an augmented reality display unit for displaying the character received from the glass communication unit in front of the eyes augmented reality image.
  • the player interlocking glass stores a song name and lyrics in a storage unit, and the recognizer recognizes a song name from the karaoke cycle and transmits it to the player interlocking glass, and the player interlocking glass compares the stored song name with the stored song name. Can detect the currently playing song.
  • the player interlocking glass stores a sound source file in a storage unit, and the waveform of the sound source file is matched with the stored lyrics, and the control unit of the player interlocking glass controls the sound waves of the music played through the karaoke cycle and the waveform of the sound source file. It is preferable to detect the position of the song currently being played by comparing with.
  • the character recognition unit may recognize a timing at which the image received through the recognition camera is changed to generate a start preparation signal, and the recognition communication unit may transmit the start preparation signal to the player interlocking glass.
  • the character recognition unit recognizes the lyrics in which the lyrics are located from the image received through the recognition camera and recognizes that the color of the lyrics is changed to generate a progress position signal, and the recognition communication unit the progress position signal to the player interlocking glass It is desirable to send to.
  • a karaoke cycle provided with a sound source data wireless communication unit; And a glass camera for receiving the karaoke cycle image.
  • a character recognition controller for character recognition of lyrics displayed in a karaoke cycle based on the image information received through the glass camera;
  • a glass communication unit for receiving information transmitted from the sound source data wireless communication unit;
  • a storage unit for storing information through the glass communication unit; It provides an augmented reality system in a karaoke including a player interlocking glass having an augmented reality display unit for displaying the lyrics of the sound source to be played based on the data received from the data source wireless communication unit in front of the eyes.
  • the karaoke cycle is displayed on the player unique code on the image, and the character recognition control unit recognizes and pairs the player unique code received through the glass camera.
  • the character recognition controller recognizes a song name or singer displayed in a print or an image, displays the recognized song name or singer, and selects the recognized song name or singer to transmit the selected song name or singer to the karaoke cycle.
  • the print or image is provided with a music code including at least song name information, and the character recognition controller analyzes the music code to extract the corresponding song name, and reads the lyrics corresponding to the song name or song name stored in the storage unit. It is preferable to display the augmented reality display.
  • the storage unit may store a virtual stage image displaying a virtual stage facility, and the augmented reality display unit may display the virtual stage image.
  • the storage unit stores the played song name and date, and the control unit displays the recommendation list through the augmented reality display unit based on the played song name and date.
  • the control unit displays a recommendation list through the augmented reality display unit, and when the user selects one song name from the recommendation list, it is preferable to display the lyrics corresponding to the song name through the augmented reality display unit.
  • FIG. 1 is a block diagram showing a karaoke system according to the prior art
  • Figure 2 is a block diagram showing an augmented reality system in karaoke according to the present invention
  • FIG. 3 is a block diagram showing the configuration of the player interlocking glass (only half of the player interlocking glass is displayed and the other side has a symmetrical appearance);
  • 4A to 4D are exemplary views showing an example of a start signal displayed in a karaoke cycle
  • A is a recognized tempo
  • B is a basic tempo
  • Figure 6 is a block diagram showing an augmented reality system in karaoke according to another embodiment of the present invention.
  • FIG. 7 is an explanatory diagram for explaining a method of selecting a song using a player interlocking glass
  • FIG. 8 is an exemplary diagram for explaining another method of selecting a song using a player interlocking glass
  • FIG. 9 is an exemplary view showing an example of the use of augmented reality glass according to the present invention.
  • FIG. 10 is a block diagram showing a nose support structure of augmented reality glass.
  • an augmented reality system interoperating with an external content player includes a recognizer 200 and a player interlocking glass 300.
  • the player interlocking glass 300 includes a glass camera 310, a glass character recognition unit 320, an augmented reality display unit 330, a touch panel switch 340, a glass communication unit 350, and glass storage. It is configured to include a portion (not shown), a glass microphone (not shown).
  • the glass camera 310 is installed to face the front of the player interlocking glass, and captures the image of the front with a resolution that can recognize the text displayed on the display screen or poster at a suitable distance.
  • the glass camera 310 may be installed in the center as well as the left and right of the player interlocking glass (300).
  • the glass camera preferably takes a front image with a resolution of 5 million pixels or more.
  • the glass character recognition unit 320 may be configured as a chip that serves as a control unit, and is configured to recognize a character or a figure by analyzing an image photographed by the glass camera.
  • the augmented reality display unit 330 serves to display the necessary content in front of the user with the live action, and may be configured in the same principle as the HMD display.
  • the touch panel switch 340 is provided with up, down, left, and right buttons, and a selection button is located at the center. By using the touch panel switch, the user can select a desired portion on the screen displayed on the augmented reality display.
  • the glass communication unit 350 supports wired or wireless communication, and wireless communication may support Bluetooth or infrared communication (IR).
  • IR infrared communication
  • the storage unit stores song names, singers, lyrics data, sound source files, waveforms of sound source files, and the like stored in a media player such as a karaoke cycle, and is classified and stored according to genres such as ballads, dances, and hip hops.
  • the recognizer 200 includes a recognition camera 210, a character recognition unit 220 and a recognition communication unit 230 is installed facing the karaoke period.
  • the karaoke period reads accompaniment data when the selected song starts, generates an accompaniment signal, and converts the corresponding lyrics data into a video signal having a bitmap font and synthesizes it with a background screen and outputs it to the monitor.
  • the accompaniment signal may include time information and time signature information, and a synchronization signal may be inserted to facilitate synchronization of melody and lyrics.
  • a start signal such as a number or a finger signal is generated through the monitor as shown in FIGS. 4A to 4D to allow the user to know the timing of starting the song.
  • the recognition camera 210 provided in the recognizer always photographs the monitor screen, and the character recognition unit 220 recognizes a character or a figure by analyzing an image photographed by the recognition camera.
  • Song information such as a song name, a singer, and the like recognized by the character recognition unit is transmitted to the player interlocking glass 300 through the recognition communication unit 230.
  • Communication between the recognition communication unit 230 and the player interlocking glass is preferably made of wireless communication, Bluetooth, ZigBee or infrared communication may be used.
  • the player interlocking glass receives song information such as song name and singer from the recognizer through the glass communication unit 350, and detects the song currently being played by comparing with the song name and singer stored in the storage unit.
  • the lyrics data corresponding to the song name and singer are converted into a video signal having a bitmap font and displayed on the augmented reality display unit 330.
  • the start signal displayed on the monitor is usually changed by 1 second unit.
  • the character recognition unit 220 recognizes the timing at which the image displayed on the monitor is changed to generate a start preparation signal, and recognizes the communication unit.
  • the start ready signal is transmitted to the player interlocking glass through. That is, the character recognition unit detects an object that changes every predetermined time before the song starts, recognizes it as a start signal, generates a start ready signal at the changed timing, and transmits it to the player interlocking glass.
  • the player interlocking glass displays the start preparation signal through the augmented reality display. Then, the user can prepare to start the song even if he or she is facing other colleagues without looking at the karaoke cycle screen.
  • the karaoke cycle changes the color of the lyrics in progress according to the beat on the monitor to indicate the progress position. Then, the character recognition unit 220 of the recognizer detects a point where the color of the monitor lyrics changes, and transmits a progress position signal to the player interlocking glass.
  • the controller of the player interlocking glass displays the progress position of the lyrics on the augmented reality display unit using the progress position signal transmitted from the recognizer.
  • the control unit of the player interlocking glass detects the progress position received from the recognizer at a predetermined time interval to calculate the tempo of the song.
  • the player interlocking glass stores a default tempo for each song, and when the calculated tempo and the stored default tempo do not match, the lyrics progress speed is adjusted by the calculated tempo.
  • the lyrics data is stored in accordance with the progress time of the basic tempo, and at first, the augmented reality display unit displays the progress position B at the speed of the basic tempo. . Then, at a predetermined time interval, the progress speed is calculated using the progress position A transmitted from the recognizer, and if it is different from the default tempo, the calculated progress speed is stored as the current tempo, and the progress speed of the lyrics proceeds to the current tempo. . This process is repeated during the song, changing the tempo.
  • the player interlocking glass receives the sound wave of the music played through the karaoke period with a glass microphone and compares the waveform stored in the storage unit. Specifically, the peak point of a specific musical instrument (for example, a drum) may be compared with a sound wave received by a glass microphone to detect the position of a song currently being played.
  • a specific musical instrument for example, a drum
  • the musical instrument such as the drum makes a sound according to a certain beat, it is possible to calculate not only the progress position of the song but also the progress speed through the waveform comparison.
  • the karaoke cycle and the player interlocking glass are synchronized to display the lyrics, an environment in which the user can enjoy a song naturally without continuously looking at the karaoke cycle screen is created.
  • the karaoke period is connected to the player interlocking glass 300 through the sound source data wireless communication unit 150.
  • the player interlocking glass 300 includes a glass camera 310, a character recognition control unit, an augmented reality display unit 330, a touch panel switch 340, a glass communication unit 350, a glass storage unit (not shown), and a glass microphone. It is configured to include (not shown).
  • the karaoke cycle displays the player-specific code on the monitor as an image on the monitor through a physical button or a selection screen.
  • the player-unique code is provided differently for each karaoke cycle, it may be formed in various ways such as bar code, QR code or serial number.
  • the glass camera 310 photographs the player unique code, and the player unique code is recognized by the character recognition control unit of the player interlocking glass. Then, the character recognition control unit adds the glass code which is a unique code of the player interlocking glass to the recognized player unique code and retransmits it to the player interlocking glass through the glass communication unit 350 in a predetermined data format.
  • the glass code is also set differently for each player interlocking glass.
  • Song name, singer, lyrics data, sound source files, waveforms of sound source files, etc. are stored in the karaoke cycle, and when paired and a song is selected, these data are transmitted to the player interlocking glass through the sound source data wireless communication unit.
  • a sync signal is inserted between the lyrics, and the player interlocking glass can adjust the moving speed of the photographer according to the sync signal.
  • the lyrics are stored in correspondence with the progress time, and when the user changes the tempo quickly or slowly, the karaoke cycle transmits information about the changed progress speed to the player interlocking glass. Then, in the player interlocking glass, the speed of the lyrics is changed by adjusting the progress speed by the ratio of the changed speed.
  • using the player interlocking glass can directly select the song itself without the need to directly operate the karaoke cycle or a separate remote control.
  • the augmented reality display unit 330 displays the installed selection menu and selects the curved selection menu of the storage unit as shown in FIG. 7. Displays the song name and singer stored in. At this time, when the direction button is pressed, the other song is highlighted and can be selected first. When the selection button is pressed on the first selected song, the second selected song and the singer data are transmitted to the karaoke cycle through the glass communication unit. Then, the karaoke cycle detects the song received from the player interlocking glass and starts playing.
  • the lyrics data corresponding to the first selected song is read out from the storage unit to be displayed under the augmented reality display unit. Mark it. At this time, while moving the lyrics, the later lyrics are shown sequentially so that the user can know and select what song is the first selected song before the second selection.
  • the player interlocking glass recognizes the name of the song or singer displayed in the print or video through the character recognition control unit. For example, you can recognize a list of songs on a wall or a list of songs displayed on a monitor. Then, the character recognition controller displays the selection screen on the augmented reality display unit so that the recognized song name or singer can be selected.When the song is selected as described above, information on the selected song name or singer is sung by the glass communication unit. Send it.
  • the image displayed as the print or image may be provided as a promised music code such as a barcode or a QR code, as shown in FIG. 8, rather than characters such as Korean or English.
  • the music code may include information such as a song name and a singer.
  • the character recognition control unit analyzes the music code to extract information such as a song name and a singer. Then, the character recognition control unit reads the lyrics corresponding to the recognized song name from the storage unit and displays the lyrics on the augmented reality display unit, or displays a selection screen on the augmented reality display unit to select a corresponding song.
  • the storage unit of the player interlocking glass not only information about a song such as a song name or lyrics, but also a virtual stage image in which virtual stage facilities are displayed around a user may be stored.
  • the augmented reality display unit may display the virtual stage image.
  • the user can display various virtual stages such as a background screen, a performance video, and an advertisement image.
  • the storage unit of the player interlocking glass is stored the name, the singer and the date of the play, and if necessary, the gender, age group is input from the user and stored.
  • the character recognition control unit compares the name of the song played, the singer with the list of songs stored for each genre, and stores for each genre.
  • the character recognition control unit detects the number of plays of the song name played for a certain period of time and sorts them in order, and displays them to the user through the augmented reality display unit using the sorted song names and singers as recommended lists Give it.
  • the user since the played song name is stored for each genre, the user may select a favorite genre to view a recommendation list. Therefore, the user can easily select a song without looking at the karaoke, so that the user can sing more relaxedly and funly.
  • the augmented reality glass 300 includes a recognition camera 310, a character recognition unit 320, an augmented reality display unit 330, a touch panel switch 340, a communication unit 350, and storage. It includes a unit (not shown), a microphone (not shown), and a control unit.
  • the recognition camera 310 is installed to face the front of the augmented reality glass, and takes a front image with a resolution of 5 million pixels or more.
  • the recognition camera 310 may be installed in the center as well as the left and right of the augmented reality glass 300.
  • the character recognition unit 320 may be configured as a chip that serves as a control unit, and is configured to recognize a character or a figure by analyzing an image photographed by the recognition camera.
  • the augmented reality display unit 330 serves to display the necessary content in front of the user with the live action, and may be configured in the same principle as the HMD display.
  • the touch panel switch 340 is provided with up, down, left, and right buttons, and a selection button is located at the center. By using the touch panel switch, the user can select a desired portion on the screen displayed on the augmented reality display.
  • the communication unit 350 supports wired or wireless communication, and wireless communication may support Bluetooth or infrared communication (IR).
  • IR infrared communication
  • the storage unit stores song names, singers, lyrics data, sound source files, waveforms of sound source files, and the like stored in a karaoke cycle, and is classified and stored according to genres such as ballads, dances, and hip hops.
  • the user looks at the karaoke cycle 100 before the start of the song while wearing the augmented reality glass as shown in FIG. 9.
  • the karaoke period reads accompaniment data when the selected song starts, generates an accompaniment signal, and converts the corresponding lyrics data into a video signal having a bitmap font and synthesizes it with a background screen and outputs it to the monitor.
  • the accompaniment signal may include time information and time signature information, and a synchronization signal may be inserted to facilitate synchronization of melody and lyrics.
  • a start signal such as a number or a finger signal is generated through the monitor as shown in FIGS. 4A to 4D to allow the user to know the timing of starting the song.
  • the recognition camera photographs the monitor screen and the captured image is transmitted to the character recognition unit. Then, the character recognition unit analyzes the image to recognize the character or figure.
  • the controller detects the song currently being played by comparing song information such as the name of the song and the singer recognized by the character recognition unit with the song name and the singer stored in the storage unit.
  • the lyrics data corresponding to the song name and singer are converted into a video signal having a bitmap font and displayed on the augmented reality display unit 330.
  • the start signal displayed on the monitor is usually changed in units of 1 second.
  • the character recognition unit generates a start preparation signal at a timing at which the image displayed on the monitor changes, and the control unit starts the augmented reality display unit. Display the ready signal. Then, the user can prepare to start the song even if he or she is facing other colleagues without looking at the karaoke cycle screen.
  • the character recognition unit detects an object that changes every predetermined time before the song starts, recognizes it as a start signal, and generates a start preparation signal at the changed timing.
  • the start preparation signal may be displayed as a number or a figure and may be variously modified according to a use environment.
  • the karaoke cycle changes the color of the lyrics in progress according to the beat on the monitor to indicate the progress position.
  • the character recognition unit detects a progress recognition point that the color of the monitor lyrics changes, and the controller displays the current progress position through the augmented reality display unit in comparison with the lyrics stored in the storage unit.
  • the progress position may be indicated by a separate line or by a method of changing the color of the lyrics.
  • control unit calculates the tempo of the song by detecting the progress recognition point recognized through the character recognition unit at a predetermined time interval.
  • the storage unit stores a default tempo for each song, and when the calculated tempo and the stored default tempo do not match, the speed of the lyrics is adjusted by the calculated tempo.
  • the lyrics are stored in the storage unit while matching the progress time of the basic tempo, and initially, the progress position B is displayed on the augmented reality display unit at the speed of the basic tempo. Then, at a predetermined time interval, the progress speed is calculated using the progress recognition position A recognized by the character recognition unit, and if it is different from the default tempo, the calculated progress speed is stored as the current tempo, and then the progress speed of the lyrics is the current tempo. Proceed. This process is repeated during the song, changing the tempo.
  • the user looks at the karaoke cycle and the character recognition unit recognizes the current progression position through the lyrics of the monitor to synchronize the progress position of the augmented reality display unit. .
  • the augmented reality glass receives a sound wave of a song played through a karaoke cycle as a microphone and compares it with a waveform stored in a storage unit. Specifically, the peak point of a specific musical instrument (for example, a drum) may be compared with a sound wave received by a microphone to detect the position of a song currently being played.
  • a specific musical instrument for example, a drum
  • the musical instrument such as the drum makes a sound according to a certain beat, it is possible to calculate not only the progress position of the song but also the progress speed through the waveform comparison.
  • the environment is created so that the user can enjoy the song naturally without continuously looking at the karaoke cycle screen.
  • using the augmented reality glass can directly select the song itself without the need to directly operate the karaoke cycle or a separate remote control.
  • the augmented reality display unit 330 displays the installed selection menu and selects a curved tap menu of the storage unit as shown in FIG. 7. Displays the song name and singer stored in.
  • the direction button is pressed, the other song is highlighted and can be selected first, and when the selection button is pressed on the first selected song, the second selection is made and the second selected song and artist data are transmitted to the remote control receiver of the karaoke cycle through the communication unit. do.
  • the karaoke cycle detects the song received from the augmented reality glass and starts playing.
  • the song and singer data may be transmitted in the form of a unique number.
  • the controller of the augmented reality glass starts a timer when the first selection is made in a specific song, and when the first selection is maintained for a predetermined time, the lyrics data corresponding to the first selected song is read from the storage unit to be displayed below the augmented reality display unit. Mark it. At this time, while moving the lyrics, the later lyrics are shown sequentially so that the user can know and select what song is the first selected song before the second selection.
  • the augmented reality glass recognizes the name of the song or singer displayed in the print or image through the character recognition unit. For example, you can recognize a list of songs on a wall or a list of songs displayed on a monitor. Then, the character recognition unit displays the selection screen on the augmented reality display unit so that the recognized song name or singer can be selected, and when a song is selected as described above, information about the selected song name or singer is transmitted to the karaoke cycle through the communication unit. Give it.
  • the image displayed as the print or image may be provided as a promised music code such as a barcode or a QR code, as shown in FIG. 8, rather than characters such as Korean or English.
  • the music code may include information such as a song name and a singer.
  • the music code is photographed by a recognition camera, and a character recognition unit analyzes the music code to extract information such as a song name and a singer. Then, the control unit reads the lyrics corresponding to the recognized song name from the storage unit and displays them on the augmented reality display unit or displays a selection screen on the augmented reality display unit to select a corresponding song.
  • the augmented reality display unit displays the virtual stage image.
  • the user can display various virtual stages such as a background screen, a performance video, and an advertisement image.
  • the storage unit of the augmented reality glass is stored the name, the singer and the date of the play, and if necessary, the gender, age group is input from the user and stored.
  • the controller compares the name of the song played and the singer with the list of songs stored for each genre, and stores the played song by name and genre.
  • the control unit detects the number of plays of the name of the song played for a certain period of time and sorts them in order, and displays the sorted song names and singers as a recommendation list to the user through the augmented reality display unit.
  • the played song name is stored for each genre, the user may select a favorite genre to view a recommendation list. Therefore, the user can easily select a song without looking at the karaoke, so that the user can sing more relaxedly and funly.
  • the communication unit of the augmented reality glass includes a short-range wireless communication such as Bluetooth, and is paired with the user's portable terminal.
  • the augmented reality glass and the portable terminal is paired, the augmented reality glass receives a song specific data that can specify a song, such as a song name and singer from the sound source data stored in the mobile terminal through the app installed in the portable terminal.
  • the controller displays the song name or singer transmitted from the portable terminal through the AR display unit, and selects a specific song from the user and transmits the specific song to the karaoke cycle.
  • the augmented reality glass is stored in the storage by compressing the image taken by the recognition camera along with the sound waves input through the microphone while the user is singing into a video file such as MP4. After the song is finished, the augmented reality glass transmits the video file to the portable terminal of the paired user. In this way, using the augmented reality glass according to the present invention can be stored later in the memory of their own portable terminal without any additional equipment or operation process to play again.
  • the augmented reality glass 300 is provided with a nose support 360 to be worn on the user's nose in the center, the nose support consists of a pair of electrodes flowing current do.
  • the controller measures the impedance through the nose support. That is, when the user wears the augmented reality glass, a difference between the impedance through the skin of the nose and the impedance in the air occurs, and the controller determines whether the user wears the augmented reality glass.
  • the controller converts the augmented reality glass into a power saving mode.
  • the recognition camera, the microphone, the augmented reality display, etc. are turned off to minimize the battery consumption.
  • the impedance is measured through the nose pad at regular intervals.
  • the controller returns the recognition camera, the microphone, the augmented reality display unit, etc. to the on state again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 미디어 플레이어를 계속해서 쳐다보지 않아도 자연스럽게 노래를 부를 수 있으며, 더욱 편리하고 즐겁게 노래를 부를 수 있도록 한 외부 콘텐츠와 연동되는 증강현실시스템에 관한 것이다. 이를 위하여, 본 발명은 노래방연주기를 향하게 설치되는 인식카메라; 상기 인식카메라를 통해 수신된 영상정보를 기초로 노래방연주기에 표시되는 가사를 문자인식하는 문자인식부; 인식된 문자를 상기 플레이어연동글래스로 전송하는 인식통신부를 가지는 인식기 및 상기 인식통신부로부터 전송되는 정보를 수신하는 글래스통신부; 상기 글래스통신부로부터 수신된 문자를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 플레이어연동글래스를 포함하는 노래방에서의 증강현실시스템을 제공한다. 따라서, 본 발명에 의하면, 노래를 부르는 동안 계속해서 노래방연주기 화면을 주시해야 할 필요가 없어 매우 편안하게 노래를 부를 수 있으며, 자연스런 제스처가 가능해 진다.

Description

외부 콘텐츠 플레이어와 연동하는 증강현실시스템
본 발명은 외부 콘텐츠 플레이어와 연동하는 증강현실시스템에 관한 것이며, 한가지 구체적인 예로서 노래방연주기를 계속해서 쳐다보지 않아도 자연스럽게 노래를 부를 수 있으며, 더욱 편리하고 즐겁게 노래를 부를 수 있도록 한 증강현실시스템에 관한 것이다.
사람들이 여러가지 미디어를 제공하는 플레이어를 통해서 오디오와 비디오 및 게임을 즐기고 있다. DVD, TV, MP3플레이어 등과 함께 노래방의 미디어 플레이어가 있다. 이러한 미디어 플레이어 중에서 특히 노래를 부르며 흥을 돋울 수 있는 노래방은 각 방마다 노래방연주기가 설치되어 사용자가 노래방연주기를 조작하여 원하는 노래를 선곡함으로써 연주가 시작된다.
도 1에 나타낸 등록특허 제10-1535035호를 참조하면, 이러한 노래방연주기는 마이크(2)와 스피커(4), 가사 및 음악이 표출되는 영상정보부(6) 및 음악정보부(8), 제어부(9) 및 마이크(2)와 유무선으로 연결된 이어폰(10) 및 상기 이어폰을 통해 노래를 재생하는 플레이부(20)를 포함한다.
영상정보부에 저장된 가사 및 배경화면 영상은 노래가 재생되면 동기화되어 화면(3) 통해 사용자가 볼 수 있도록 표시된다.
노래방연주기 사용자는 스피커를 통해 송출되는 반주와 화면을 통해 표시되는 가사를 보면서 노래를 부르게 된다. 또한, 상기한 구성에 의하면 플레이부에서 구동되는 별도의 가사 및 음악이 이어폰으로 동시에 송출되어 사용자는 이어폰을 통해 노래를 들으면서 화면에 표출되는 가사를 보고 노래를 부를 수 있어 음정이나 가사를 쉽게 보정받을 수 있는 장점이 있다.
하지만, 종래기술에 의한 노래방연주기는 사용자가 가사를 완벽하게 암기하지 못하면 노래방연주기 화면을 계속 보면서 노래를 불러야 하고, 이어폰을 통해 가사를 듣는 다 하더라도 뒤에 나올 가사는 알 수 없어 미리 대비할 수 없는 단점이 있다.
본 발명은 상기한 문제점을 해결하기 위한 것으로서, 사용자가 노래방에서 연주기를 계속 쳐다보지 않아도 가사의 끊김 없이 노래를 자연스럽게 부를 수 있도록 한 것이다.
또한, 일일이 노래목록책을 찾지 않아도 편리하게 선곡할 수 있게 한 것이 본 발명의 다른 목적이다.
상기한 목적을 달성하기 위하여, 본 발명은 노래방연주기를 향하게 설치되는 인식카메라; 상기 인식카메라를 통해 수신된 영상정보를 기초로 노래방연주기에 표시되는 가사를 문자인식하는 문자인식부; 인식된 문자를 상기 플레이어연동글래스로 전송하는 인식통신부를 가지는 인식기 및 상기 인식통신부로부터 전송되는 정보를 수신하는 글래스통신부; 상기 글래스통신부로부터 수신된 문자를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 플레이어연동글래스를 포함하는 노래방에서의 증강현실시스템을 제공한다.
상기 플레이어연동글래스는 곡명 및 가사를 저장부에 저장하고, 상기 인식기는 상기 노래방연주기로부터 곡명을 인식하여 상기 플레이어연동글래스로 전송하며, 상기 플레이어연동글래스는 상기 인식기로부터 전송된 곡명과 저장된 곡명을 비교하여 현재 플레이되는 곡을 검출할 수 있다.
상기 플레이어연동글래스는 음원파일을 저장부에 저장하고 상기 음원파일의 파형은 저장된 가사와 매칭되어 저장되며, 상기 플레이어연동글래스의 제어부는 상기 노래방연주기를 통해 플레이되는 곡의 음파와 상기 음원파일의 파형을 비교하여 현재 연주되고 있는 곡의 위치를 검출하는 것이 바람직하다.
상기 문자인식부는 상기 인식카메라를 통해 수신된 영상이 변화되는 타이밍을 인식하여 시작준비신호를 발생시키고 상기 인식통신부는 상기 시작준비신호를 상기 플레이어연동글래스로 전송할 수 있다.
여기서, 상기 문자인식부는 상기 인식카메라를 통해 수신된 영상 중 가사가 위치한 가사부를 인식하고 상기 가사의 색깔이 바뀌는 것을 인식하여 진행위치신호를 발생시키고 상기 인식통신부는 상기 진행위치신호를 상기 플레이어연동글래스로 전송하는 것이 바람직하다.
본 발명에 의하면 또한, 음원데이터무선통신부가 구비된 노래방연주기; 및 상기 노래방연주기 영상을 수신하는 글래스카메라; 상기 글래스카메라를 통해 수신된 영상정보를 기초로 노래방연주기에 표시되는 가사를 문자인식하는 문자인식제어부; 상기 음원데이터무선통신부로부터 전송되는 정보를 수신하는 글래스통신부; 상기 글래스통신부를 통한 정보가 저장되는 저장부; 상기 음원데이터무선통신부로부터 수신된 데이터를 기초로 하여 연주되는 음원의 가사를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 플레이어연동글래스를 포함하는 노래방에서의 증강현실시스템을 제공한다.
상기 노래방연주기는 연주기고유코드를 영상에 표시하고, 상기 문자인식제어부는 상기 글래스카메라를 통해 수신된 상기 연주기고유코드를 인식하여 페어링하는 것이 바람직하다.
상기 문자인식제어부는 인쇄 또는 영상으로 표시된 곡명 또는 가수를 인식하고, 상기 인식된 곡명 또는 가수를 선택할 수 있도록 상기 증강현실 표시부에 표시하여 주며, 선택된 곡명 또는 가수를 상기 노래방연주기로 전송할 수 있다.
상기 인쇄 또는 영상은 적어도 곡명정보를 포함하는 음악코드로 구비되고, 상기 문자인식제어부에서는 상기 음악코드를 분석하여 해당 곡명을 추출하며, 저장부에 저장된 상기 곡명 또는 곡명에 대응하는 가사를 독출하여 상기 증강현실 표시부에 표시하여 주는 것이 바람직하다.
상기 저장부에는 가상 무대시설이 표시된 가상무대이미지가 저장되고, 상기 증강현실 표시부는 상기 가상무대이미지를 표시하여 줄 수 있다.
상기 저장부는 플레이된 곡명 및 날짜를 저장하고, 상기 제어부는 상기 플레이된 곡명 및 날짜에 기초하여 추천목록을 상기 증강현실 표시부를 통해 표시하여 주는 것이 바람직하다.
상기 제어부는 추천목록을 상기 증강현실 표시부를 통해 표시하여 주며, 사용자가 상기 추천목록 중 하나의 곡명을 선택한 경우 상기 곡명에 대응하는 가사를 상기 증강현실 표시부를 통해 표시하여 주는 것이 바람직하다.
본 발명에 의하면, 노래를 부르는 동안 계속해서 노래방연주기 화면을 주시해야 할 필요가 없어 매우 편안하게 노래를 부를 수 있으며, 자연스런 제스처가 가능해 진다.
또한, 노래선곡을 매우 용이하게 할 수 있는 장점이 있다.
도 1은 종래기술에 의한 노래방시스템을 나타내는 구성도;
도 2는 본 발명에 의한 노래방에서의 증강현실시스템을 나타내는 구성도;
도 3은 플레이어연동글래스의 구성을 나타내는 구성도(플레이어연동글래스의 반쪽만 표시하였으며 다른 쪽은 대칭적인 외관을 가진다);
도 4a 내지 도 4d는 노래방연주기에 표시되는 시작신호의 예를 나타내는 예시도;
도 5는 템포변화인식과정을 설명하기 위한 설명도(A는 인식된 템포, B는 기본템포);
도 6은 본 발명의 다른 실시예에 의한 노래방에서의 증강현실시스템을 나타내는 구성도;
도 7은 플레이어연동글래스를 이용해 곡을 선택하는 방법을 설명하기 위한 설명도;
도 8은 플레이어연동글래스를 이용해 곡을 선택하는 다른 방법을 설명하기 위한 예시도;
도 9는 본 발명에 의한 증강현실글래스의 사용예를 나타내는 예시도;
도 10은 증강현실글래스의 코받침 구조를 나타내는 구성도.
본 발명에 의한 구체적인 실시예를 도면을 참조하여 상세하게 설명한다.
도 2를 참조하면, 본 발명에 의한 외부 콘텐츠 플레이어와 연동하는 증강현실시스템은 인식기(200) 및 플레이어연동글래스(300)를 포함하여 구성된다.
도 3을 참조하면, 상기 플레이어연동글래스(300)는 글래스카메라(310), 글래스문자인식부(320), 증강현실 표시부(330), 터치패널스위치(340), 글래스통신부(350), 글래스저장부(미도시), 글래스마이크(미도시)를 포함하여 구성된다.
상기 글래스카메라(310)는 플레이어연동글래스의 전방을 향하도록 설치되며, 적당한 거리에서 디스플레이 화면이나 포스터에 나타난 텍스트를 인식할 수 있는 정도의 해상도를 가지고 전방의 영상을 촬영한다. 상기 글래스카메라(310)는 플레이어연동글래스(300)의 좌우뿐만 아니라 중앙에도 설치될 수 있다. 상기 글래스카메라는 500만 화소급 이상의 해상을 가지고 전방의 영상을 촬영하는 것이 바람직하다.
상기 글래스문자인식부(320)는 제어부 역할을 하는 칩으로 구성될 수 있으며, 상기 글래스카메라로부터 촬영된 영상을 분석하여 문자나 도형 등을 인식할 수 있도록 구성된다.
상기 증강현실 표시부(330)는 사용자에게 실사와 함께 필요한 내용을 눈 앞에 표시하여 주는 역할을 하며, HMD 디스플레이와 같은 원리로 구성될 수 있다.
상기 터치패널스위치(340)는 주변에 상하좌우버튼이 구비되어 있으며, 중앙에 선택버튼이 위치한다. 상기 터치패널스위치를 이용하여 사용자는 증강현실 표시부에 표시된 화면에서 원하는 부분을 선택할 수 있다.
상기 글래스통신부(350)는 유선 또는 무선통신을 지원하며, 무선통신은 블루투스 또는 적외선통신(IR) 등을 지원할 수 있다.
상기 저장부에는 노래방연주기와 같은 미디어 플레이어에 저장된 곡명, 가수, 가사데이터, 음원파일, 음원파일의 파형 등이 대응되는 형태로 저장되어 있으며, 발라드, 댄스, 힙합 등 장르별로 분류되어 저장된다.
한편, 상기 인식기(200)는 노래방연주기를 향하게 설치되는 인식카메라(210), 문자인식부(220) 및 인식통신부(230)를 포함한다.
상기 노래방연주기는 선택된 노래가 시작되면 반주데이터를 독출하여 반주신호를 발생시키고, 한편 대응하는 가사데이터를 비트맵 폰트를 갖는 영상신호로 변환함과 동시에 배경화면과 합성하여 모니터로 출력한다.
이때, 상기 반주신호는 시간정보 및 박자정보를 포함할 수 있으며, 동기신호가 삽입되어 멜로디와 가사의 동기화를 용이하게 할 수 있다.
상기 노래방연주기에서는 연주가 시작되면 스피커를 통하여 반주신호를 발생시킴과 동시에 모니터를 통해 곡명과 가수, 배경화면 등을 표시한다. 또한, 노래시작 직전(약 5초전)에는 도 4a 내지 도 4d와 같이 모니터를 통해 숫자나 손가락 신호와 같은 시작신호를 발생시켜 사용자가 노래를 시작할 타이밍을 알 수 있도록 해준다.
상기 인식기에 구비된 인식카메라(210)는 상기 모니터 화면을 항상 촬영하며, 상기 문자인식부(220)에서는 인식카메라를 통해 촬영된 영상을 분석하여 문자나 도형을 인식하게 된다.
상기 문자인식부에서 인식된 곡명, 가수 등의 노래정보는 인식통신부(230)를 통해 플레이어연동글래스(300)로 전송된다. 상기 인식통신부(230)와 플레이어연동글래스와의 통신은 무선통신으로 이루어지는 것이 바람직하며, 블루투스, 지그비 또는 적외선통신 등을 이용할 수 있다.
상기 플레이어연동글래스에서는 글래스통신부(350)를 통해 인식기로부터 곡명,가수 등의 노래정보를 수신하며, 저장부에 저장된 곡명,가수와 비교하여 현재 플레이되고 있는 노래를 검출한다. 그리고, 상기 곡명,가수에 대응하는 가사데이터를 비트맵 폰트를 갖는 영상신호로 변환하여 증강현실 표시부(330)에 표시하여 준다.
한편, 노래가 시작되기 전에 모니터에 표시되는 시작신호는 보통 1초 단위로 바뀌게 되는데 상기 문자인식부(220)에서는 상기 모니터에 표시되는 영상이 변화되는 타이밍을 인식하여 시작준비신호를 발생시키고 인식통신부를 통하여 상기 시작준비신호를 플레이어연동글래스로 전송한다. 즉, 상기 문자인식부는 노래시작 전 일정 시간마다 변화되는 객체를 감지하여 이를 시작신호로 인식하고 변화된 타이밍에 시작준비신호를 발생시켜 상기 플레이어연동글래스로 전송하는 것이다.
상기 시작준비신호를 전송받으면 상기 플레이어연동글래스는 상기 증강현실 표시부를 통해 시작준비신호를 표시하여 준다. 그러면, 사용자는 굳이 노래방연주기 화면을 주시하지 않고 다른 동료들을 향해 있더라도 노래 시작을 준비할 수 있다.
노래가 시작되면 상기 노래방연주기는 모니터에 박자에 따라 진행중인 가사의 색깔을 바꾸어 주어 진행위치를 표시하여 준다. 그러면, 상기 인식기의 문자인식부(220)에서는 모니터 가사부의 색깔이 바뀌는 지점을 감지하여 진행위치신호를 상기 플레이어연동글래스로 전송하여 준다.
상기 플레이어연동글래스의 제어부에서는 상기 인식기로부터 전송되는 진행위치신호를 이용하여 증강현실 표시부에 가사의 진행위치를 표시하여 준다. 또한, 상기 플레이어연동글래스의 제어부에서는 일정 시간간격으로 인식기로부터 수신된 진행위치를 검출하여 노래의 템포를 계산한다.
상기 플레이어연동글래스에는 각 노래마다 기본템포가 저장되어 있으며, 계산된 템포와 저장된 기본템포가 일치하지 않을 때에는 계산된 템포에 의해 가사 진행속도를 조절한다.
구체적으로, 도 5를 참조하면, 플레이어연동글래스의 저장부에는 가사데이터가 기본템포의 진행시간에 매칭되어 저장되고, 처음에는 기본템포의 속도로 증강현실 표시부에서 진행위치(B)를 표시하여 준다. 이후, 정해진 시간간격에서 상기 인식기에서 전송된 진행위치(A)를 이용하여 진행속도를 계산하고 기본템포와 다르면 계산된 진행속도를 현재템포로 저장하고 이후 가사의 진행속도는 현재템포로 진행을 한다. 노래가 진행되는 도중 이러한 과정을 반복하여 템포를 변경하게 된다.
한편, 상기 플레이어연동글래스는 노래방연주기를 통해 플레이되는 곡의 음파를 글래스마이크로 수신하여 저장부에 저장된 파형과 비교한다. 구체적으로, 특정 악기(예를 들어, 드럼)의 피크점을 글래스마이크로 수신된 음파와 비교하여 현재 연주되고 있는 곡의 위치를 검출할 수 있다.
상기 드럼과 같은 악기는 일정 박자에 맞추어 음을 내므로 이러한 파형비교를 통해 노래의 진행위치뿐만 아니라 진행속도도 계산할 수 있다.
이렇게 본 실시예에 의하면 노래방연주기와 플레이어연동글래스가 동기화되어 가사를 표시하여 주므로 사용자가 노래방연주기 화면을 계속 쳐다보지 않아도 자연스럽게 노래를 즐길 수 있는 환경이 조성된다.
다음으로, 도 6을 참조하여 다음 실시예에 대하여 설명한다. 다만, 앞선 실시예와 동일한 부분에 대하여는 자세한 설명을 생략한다.
본 실시예에서 노래방연주기는 음원데이터무선통신부(150)를 통해 상기 플레이어연동글래스(300)와 연결된다. 그리고, 상기 플레이어연동글래스(300)는 글래스카메라(310), 문자인식제어부, 증강현실 표시부(330), 터치패널스위치(340), 글래스통신부(350), 글래스저장부(미도시), 글래스마이크(미도시)를 포함하여 구성된다.
구체적으로, 상기 노래방연주기는 물리적인 버튼 또는 선택화면을 통해 모니터에 연주기고유코드를 영상으로 모니터에 표시한다. 상기 연주기고유코드는 각 노래방연주기마다 다르게 구비되며, 바코드, 큐알코드 또는 일련번호 등 여러가지로 형성될 수 있다.
이때, 사용자가 상기 노래방연주기를 쳐다보면 글래스카메라(310)가 상기 연주기고유코드를 촬영하게 되고, 상기 연주기고유코드는 플레이어연동글래스의 문자인식제어부에 의해 인식된다. 그러면, 상기 문자인식제어부는 인식된 연주기고유코드에 플레이어연동글래스의 고유코드인 글래스코드를 추가하여 미리 결정된 데이터포맷으로 글래스통신부(350)를 통해 상기 플레이어연동글래스로 재전송한다. 상기 글래스코드도 플레이어연동글래스마다 다르게 설정된다.
이러한 과정을 거쳐 상기 노래방연주기와 플레이어연동글래스가 페어링되며, 플레이어연동글래스가 옆방의 노래방연주기와 혼선되는 것이 방지된다.
노래방연주기에는 곡명, 가수, 가사데이터, 음원파일, 음원파일의 파형 등이 저장되며, 페어링이 되고 노래가 선곡되면 이러한 데이터들은 음원데이터무선통신부를 통해 상기 플레이어연동글래스로 전송된다. 또한, 가사 사이마다 동기신호가 삽입되어 있어 플레이어연동글래스에서는 상기 동기신호에 따라 가사진행 속도를 조절할 수가 있다.
구체적으로, 상기 가사는 진행시간에 대응하여 저장되며, 사용자가 템포를 빠르게 또는 느리게 바꾸는 경우 노래방연주기에서는 변화된 진행속도에 대한 정보를 상기 플레이어연동글래스로 전송하여 준다. 그러면, 플레이어연동글래스에서는 변화된 진행속도의 비율만큼 진행속도를 조절하여 가사 진행속도를 변화시킨다.
한편, 상기 플레이어연동글래스를 이용하면 노래방연주기를 직접 조작하거나 별도의 리모콘을 조작할 필요없이 자체적으로 노래를 선택할 수 있다.
구체적으로, 플레이어연동글래스에 구비되는 터치패널스위치(340)의 선택버튼을 누르면 증강현실 표시부(330)에서는 설치되어 있는 선택메뉴를 표시하여 주고 이 중 곡선택메뉴를 선택하면 도 7과 같이 저장부에 저장되어 있는 곡명 및 가수를 표시하여 준다. 이때, 방향버튼을 누르면 다른 노래가 하이라이트 되며 1차 선택할 수 있으며, 1차 선택된 노래에서 선택버튼을 누르면 2차 선택이 되어 2차 선택된 노래 및 가수데이터가 글래스통신부를 통해 상기 노래방연주기로 전송된다. 그러면, 상기 노래방연주기는 플레이어연동글래스로부터 전송받은 노래를 검출하여 연주를 시작하게 된다.
상기 플레이어연동글래스의 제어부에서는 특정 곡에서 1차 선택이 되면 타이머를 가동시키고 일정 시간 이상 상기 1차 선택이 유지되면 1차 선택된 곡에 대응하는 가사데이터를 저장부에서 독출하여 증강현실 표시부의 아래에 표시하여 준다. 이때, 가사를 이동시키면서 뒤의 가사를 순차적으로 보여 주어 사용자는 2차 선택 전에 1차 선택된 노래가 어떤 노래인지 확실하게 알고 선택할 수 있도록 하여 준다.
또한, 상기 플레이어연동글래스는 문자인식제어부를 통해 인쇄 또는 영상으로 표시된 곡명 또는 가수를 인식한다. 예를 들어, 벽에 붙어 있는 노래목록이나 모니터에 표시되는 노래목록을 인식할 수 있다. 그러면, 문자인식제어부에서는 인식된 곡명 또는 가수를 선택할 수 있도록 선택화면을 증강현실 표시부에 표시하여 주며, 상술한 방법과 같이 노래가 선택되면 선택된 곡명 또는 가수에 관한 정보를 글래스통신부를 통해 노래방연주기로 전송하여 준다.
상기 인쇄 또는 영상으로 표시되는 이미지는 한글이나 영문과 같은 문자가 아니라 도 8과 같이 바코드나 큐알코드 등의 약속된 음악코드로 구비될 수 있다. 상기 음악코드는 곡명, 가수 등의 정보를 포함할 수 있다.
구체적으로 사용자가 벽에 붙어 있는 포스터의 음악코드를 쳐다보면, 글래스카메라에 의해 상기 음악코드가 촬영되고, 문자인식제어부는 상기 음악코드를 분석하여 곡명, 가수 등의 정보를 추출한다. 그러면, 문자인식제어부에서는 인식된 곡명에 대응하는 가사를 저장부에서 독출하여 증강현실 표시부에 표시하여 주거나 대응하는 곡을 선택할 수 있도록 선택화면을 증강현실 표시부에 표시하여 준다.
상기 플레이어연동글래스의 저장부에는 곡명, 가사 등과 같은 노래에 관한 정보뿐만 아니라, 사용자 주변으로 가상 무대시설이 표시된 가상무대이미지가 저장될 수 있으며, 노래가 시작되면 상기 증강현실 표시부는 상기 가상무대이미지를 표시하여 주어 사용자는 배경화면, 공연 동영상, 광고 이미지 등 여러 가지 가상무대를 연출하여 줄 수 있다.
한편, 상기 플레이어연동글래스의 저장부에는 플레이된 곡명,가수 및 날짜가 저장되고, 필요에 따라 성별, 연령대를 사용자로부터 입력받아 저장된다. 또한, 문자인식제어부에서는 플레이된 곡명,가수를 장르별로 저장되어 있는 노래목록과 비교하여 해당 장르별로 저장한다.
이후, 사용자가 플레이어연동글래스를 착용하게 되면 문자인식제어부는 일정 기간 플레이된 곡명의 플레이 횟수를 검출하여 많은 순서대로 정렬하고, 정렬된 곡명 및 가수를 추천목록으로 하여 증강현실 표시부를 통해 사용자에게 표시하여 준다. 이때, 플레이된 곡명은 장르별로 저장되므로 선호하는 장르를 선택하여 추천목록을 볼 수도 있다. 따라서, 사용자는 노래방책을 보지 않아도 용이하게 노래를 선택할 수 있어 더욱 여유있고 재미있게 노래를 부를 수 있다.
다음으로, 본 발명에 의한 증강현실글래스의 구성 및 작용에 대하여 도면을 참조하여 상세하게 설명한다.
도 3을 참조하면, 본 발명에 의한 증강현실글래스(300)는 인식카메라(310), 문자인식부(320), 증강현실 표시부(330), 터치패널스위치(340), 통신부(350), 저장부(미도시), 마이크(미도시), 제어부를 포함하여 구성된다.
상기 인식카메라(310)는 증강현실글래스의 전방을 향하도록 설치되며, 500만 화소급 이상의 해상도를 가지고 전방의 영상을 촬영한다. 상기 인식카메라(310)는 증강현실글래스(300)의 좌우뿐만 아니라 중앙에도 설치될 수 있다.
상기 문자인식부(320)는 제어부 역할을 하는 칩으로 구성될 수도 있으며, 상기 인식카메라로부터 촬영된 영상을 분석하여 문자나 도형 등을 인식할 수 있도록 구성된다.
상기 증강현실 표시부(330)는 사용자에게 실사와 함께 필요한 내용을 눈 앞에 표시하여 주는 역할을 하며, HMD 디스플레이와 같은 원리로 구성될 수 있다.
상기 터치패널스위치(340)는 주변에 상하좌우버튼이 구비되어 있으며, 중앙에 선택버튼이 위치한다. 상기 터치패널스위치를 이용하여 사용자는 증강현실 표시부에 표시된 화면에서 원하는 부분을 선택할 수 있다.
상기 통신부(350)는 유선 또는 무선통신을 지원하며, 무선통신은 블루투스 또는 적외선통신(IR) 등을 지원할 수 있다.
상기 저장부에는 노래방연주기에 저장된 곡명, 가수, 가사데이터, 음원파일, 음원파일의 파형 등이 대응되는 형태로 저장되어 있으며, 발라드, 댄스, 힙합 등 장르별로 분류되어 저장된다.
사용자는 도 9와 같이 증강현실글래스를 착용한 상태에서 노래시작 전 노래방연주기(100)를 바라본다.
상기 노래방연주기는 선택된 노래가 시작되면 반주데이터를 독출하여 반주신호를 발생시키고, 한편 대응하는 가사데이터를 비트맵 폰트를 갖는 영상신호로 변환함과 동시에 배경화면과 합성하여 모니터로 출력한다.
이때, 상기 반주신호는 시간정보 및 박자정보를 포함할 수 있으며, 동기신호가 삽입되어 멜로디와 가사의 동기화를 용이하게 할 수 있다.
상기 노래방연주기에서는 연주가 시작되면 스피커를 통하여 반주신호를 발생시킴과 동시에 모니터를 통해 곡명과 가수, 배경화면 등을 표시한다. 또한, 노래시작 직전(약 5초전)에는 도 4a 내지 도 4d와 같이 모니터를 통해 숫자나 손가락 신호와 같은 시작신호를 발생시켜 사용자가 노래를 시작할 타이밍을 알 수 있도록 해준다.
이때, 상기 증강현실글래스를 착용한 사용자가 상기 노래방연주기를 바라보면 인식카메라가 상기 모니터 화면을 촬영하여 촬영된 영상이 문자인식부로 전송된다. 그러면, 문자인식부에서는 상기 영상을 분석하여 문자나 도형을 인식하게 된다.
제어부에서는 문자인식부에서 인식된 곡명,가수 등의 노래정보를 저장부에 저장된 곡명,가수와 비교하여 현재 플레이되고 있는 노래를 검출한다. 그리고, 상기 곡명,가수에 대응하는 가사데이터를 비트맵 폰트를 갖는 영상신호로 변환하여 증강현실 표시부(330)에 표시하여 준다.
한편, 노래가 시작되기 전에 모니터에 표시되는 시작신호는 보통 1초 단위로 바뀌게 되는데 상기 문자인식부에서는 상기 모니터에 표시되는 영상이 변화되는 타이밍에 시작준비신호를 발생시키고 제어부에서는 증강현실 표시부에 시작준비신호를 표시하여 준다. 그러면, 사용자는 굳이 노래방연주기 화면을 주시하지 않고 다른 동료들을 향해 있더라도 노래 시작을 준비할 수 있다.
이때, 상기 문자인식부는 노래시작 전 일정 시간마다 변화되는 객체를 감지하여 이를 시작신호로 인식하고 변화된 타이밍에 시작준비신호를 발생시키는 것이다. 상기 시작준비신호는 숫자나 도형으로 표시될 수 있으며 사용환경에 따라 여러가지로 변형될 수 있다.
노래가 시작되면 상기 노래방연주기는 모니터에 박자에 따라 진행중인 가사의 색깔을 바꾸어 주어 진행위치를 표시하여 준다. 그러면, 상기 문자인식부에서는 모니터 가사부의 색깔이 바뀌는 진행인식지점을 감지하고, 제어부에서는 저장부에 저장된 가사와 비교하여 현재 진행위치를 상기 증강현실 표시부를 통해 표시하여 준다. 상기 진행위치는 별도의 선으로 표시해 주거나 가사의 색깔을 다르게 하는 방법 등으로 표시될 수 있다.
한편, 상기 제어부에서는 일정 시간간격으로 문자인식부를 통하여 인식된 진행인식지점을 검출하여 노래의 템포를 계산한다.
상기 저장부에는 각 노래마다 기본템포가 저장되어 있으며, 계산된 템포와 저장된 기본템포가 일치하지 않을 때에는 계산된 템포에 의해 가사 진행속도를 조절한다.
구체적으로, 도 5를 참조하면, 저장부에는 가사데이터가 기본템포의 진행시간에 매칭되어 저장되고, 처음에는 기본템포의 속도로 증강현실 표시부에서 진행위치(B)를 표시하여 준다. 이후, 정해진 시간간격에서 상기 문자인식기부에서 인식된 진행인식위치(A)를 이용하여 진행속도를 계산하고 기본템포와 다르면 계산된 진행속도를 현재템포로 저장하고 이후 가사의 진행속도는 현재템포로 진행을 한다. 노래가 진행되는 도중 이러한 과정을 반복하여 템포를 변경하게 된다.
노래진행도중 박자와 가사의 진행위치가 일치하지 않는 경우에 사용자는 노래방연주기를 쳐다보면 문자인식부에서 모니터의 가사표시를 통해 다시 현재 진행인식위치를 인식하여 증강현실 표시부의 진행위치를 동기화시키게 된다.
한편, 상기 증강현실글래스는 노래방연주기를 통해 플레이되는 곡의 음파를 마이크로 수신하여 저장부에 저장된 파형과 비교한다. 구체적으로, 특정 악기(예를 들어, 드럼)의 피크점을 마이크로 수신된 음파와 비교하여 현재 연주되고 있는 곡의 위치를 검출할 수 있다.
상기 드럼과 같은 악기는 일정 박자에 맞추어 음을 내므로 이러한 파형비교를 통해 노래의 진행위치뿐만 아니라 진행속도도 계산할 수 있다.
이렇게 본 실시예에 의하면 노래방연주기와 증강현실글래스가 동기화되어 가사를 표시하여 주므로 사용자가 노래방연주기 화면을 계속 쳐다보지 않아도 자연스럽게 노래를 즐길 수 있는 환경이 조성된다.
한편, 상기 증강현실글래스를 이용하면 노래방연주기를 직접 조작하거나 별도의 리모콘을 조작할 필요없이 자체적으로 노래를 선택할 수 있다.
구체적으로, 증강현실글래스에 구비되는 터치패널스위치(340)의 선택버튼을 누르면 증강현실 표시부(330)에서는 설치되어 있는 선택메뉴를 표시하여 주고 이 중 곡선택메뉴를 선택하면 도 7과 같이 저장부에 저장되어 있는 곡명 및 가수를 표시하여 준다. 이때, 방향버튼을 누르면 다른 노래가 하이라이트 되며 1차 선택할 수 있으며, 1차 선택된 노래에서 선택버튼을 누르면 2차 선택이 되어 2차 선택된 노래 및 가수데이터가 통신부를 통해 상기 노래방연주기의 리모콘수신부로 전송된다. 그러면, 상기 노래방연주기는 증강현실글래스로부터 전송받은 노래를 검출하여 연주를 시작하게 된다. 상기 노래 및 가수데이터는 고유번호 형태로 전송될 수 있다.
상기 증강현실글래스의 제어부에서는 특정 곡에서 1차 선택이 되면 타이머를 가동시키고 일정 시간 이상 상기 1차 선택이 유지되면 1차 선택된 곡에 대응하는 가사데이터를 저장부에서 독출하여 증강현실 표시부의 아래에 표시하여 준다. 이때, 가사를 이동시키면서 뒤의 가사를 순차적으로 보여 주어 사용자는 2차 선택 전에 1차 선택된 노래가 어떤 노래인지 확실하게 알고 선택할 수 있도록 하여 준다.
또한, 상기 증강현실글래스는 문자인식부를 통해 인쇄 또는 영상으로 표시된 곡명 또는 가수를 인식한다. 예를 들어, 벽에 붙어 있는 노래목록이나 모니터에 표시되는 노래목록을 인식할 수 있다. 그러면, 문자인식부에서는 인식된 곡명 또는 가수를 선택할 수 있도록 선택화면을 증강현실 표시부에 표시하여 주며, 상술한 방법과 같이 노래가 선택되면 선택된 곡명 또는 가수에 관한 정보를 통신부를 통해 노래방연주기로 전송하여 준다.
상기 인쇄 또는 영상으로 표시되는 이미지는 한글이나 영문과 같은 문자가 아니라 도 8과 같이 바코드나 큐알코드 등의 약속된 음악코드로 구비될 수 있다. 상기 음악코드는 곡명, 가수 등의 정보를 포함할 수 있다.
구체적으로 사용자가 벽에 붙어 있는 포스터의 음악코드를 쳐다보면, 인식카메라에 의해 상기 음악코드가 촬영되고, 문자인식부는 상기 음악코드를 분석하여 곡명, 가수 등의 정보를 추출한다. 그러면, 제어부에서는 인식된 곡명에 대응하는 가사를 저장부에서 독출하여 증강현실 표시부에 표시하여 주거나 대응하는 곡을 선택할 수 있도록 선택화면을 증강현실 표시부에 표시하여 준다.
상기 증강현실글래스의 저장부에는 곡명, 가사 등과 같은 노래에 관한 정보뿐만 아니라, 사용자 주변으로 가상 무대시설이 표시된 가상무대이미지가 저장될 수 있으며, 노래가 시작되면 상기 증강현실 표시부는 상기 가상무대이미지를 표시하여 주어 사용자는 배경화면, 공연 동영상, 광고 이미지 등 여러 가지 가상무대를 연출하여 줄 수 있다.
한편, 상기 증강현실글래스의 저장부에는 플레이된 곡명,가수 및 날짜가 저장되고, 필요에 따라 성별, 연령대를 사용자로부터 입력받아 저장된다. 또한, 제어부에서는 플레이 된 곡명,가수를 장르별로 저장되어 있는 노래목록과 비교하여 해당 장르별로 저장한다.
이후, 사용자가 증강현실글래스를 착용하게 되면 제어부는 일정 기간 플레이된 곡명의 플레이 횟수를 검출하여 많은 순서대로 정렬하고, 정렬된 곡명 및 가수를 추천목록으로 하여 증강현실 표시부를 통해 사용자에게 표시하여 준다. 이때, 플레이 된 곡명은 장르별로 저장되므로 선호하는 장르를 선택하여 추천목록을 볼 수도 있다. 따라서, 사용자는 노래방책을 보지 않아도 용이하게 노래를 선택할 수 있어 더욱 여유있고 재미있게 노래를 부를 수 있다.
한편, 상기 증강현실글래스의 통신부는 블루투스와 같은 근거리 무선통신을 포함하며, 사용자가 가지고 있는 휴대단말기와 페어링된다. 상기 증강현실글래스와 휴대단말기가 페어링되면 상기 증강현실글래스는 휴대단말기에 설치된 앱을 통해 휴대단말기에 저장된 음원데이터로부터 곡명 및 가수와 같은 곡을 특정할 수 있는 곡특정데이터를 전송받는다.
이후, 제어부는 상기 휴대단말기로부터 전송된 곡명 또는 가수를 증강현실 표시부를 통해 표시하여 주며, 사용자로부터 특정 곡을 선택받아 상기 노래방연주기로 전송하여 준다. 이렇게, 본 발명에 의한 증강현실글래스를 이용하면 평소 즐겨 듣는 노래를 노래방책에서 일일이 찾지 않더라도 편리하게 선택해서 부를 수 있다.
또한, 상기 증강현실글래스는 사용자가 노래하는 도중 마이크를 통하여 입력된 음파와 함께 인식카메라를 통해 촬영된 영상도 함께 MP4와 같은 동영상파일로 압축하여 저장부에 저장한다. 이후, 노래가 끝나면 증강현실글래스는 페어링된 사용자의 휴대단말기로 상기 동영상파일을 전송하여 준다. 이러한 방법으로 본 발명에 의한 증강현실글래스를 이용해 추가적인 장비나 작동과정없이도 노래방에서 즐겼던 추억을 자신의 휴대단말기에 저장하여 나중에 다시 플레이해서 볼 수가 있다.
한편, 도 10을 참조하면, 본 발명에 의한 증강현실글래스(300)는 가운데에 사용자의 코에 걸치게 되는 코받침(360)이 구비되는데, 상기 코받침은 전류가 흐르는 한 쌍의 전극으로 구성된다. 그리고, 제어부에서는 상기 코받침을 통한 임피던스를 측정한다. 즉, 사용자가 상기 증강현실글래스를 착용하게 되면 코의 피부를 통한 임피던스와 공기 중의 임피던스의 차이가 발생하여 제어부에서는 사용자의 증강현실글래스 착용 여부를 판단하게 된다.
사용자가 증강현실글래스를 벗었다고 판단되면 상기 제어부는 상기 증강현실글래스를 절전모드로 변환시킨다. 상기 절전모드에서는 인식카메라, 마이크, 증강현실 표시부 등을 오프상태로 하여 배터리 소비량을 최소로 하며, 다만, 일정 주기로 코받침을 통한 임피던스를 측정한다.
상기 임피던스 측정결과, 사용자가 증강현실글래스를 다시 착용하였다고 판단되면 상기 제어부는 인식카메라, 마이크, 증강현실 표시부 등을 다시 온상태로 복귀시킨다.
상기에서는 본원발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본원발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본원발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 미디어 플레이어를 향하게 설치되는 인식카메라;
    상기 인식카메라를 통해 수신된 영상정보를 기초로 미디어 플레이어에 표시되는 가사를 문자인식하는 문자인식부;
    인식된 문자를 상기 플레이어연동글래스로 전송하는 인식통신부를 가지는 인식기 및
    상기 인식통신부로부터 전송되는 정보를 수신하는 글래스통신부;
    상기 글래스통신부로부터 수신된 문자를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 플레이어연동글래스를 포함하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  2. 제1항에 있어서,
    상기 플레이어연동글래스는 곡명 및 가사를 저장부에 저장하고,
    상기 인식기는 상기 미디어 플레이어로부터 곡명을 인식하여 상기 플레이어연동글래스로 전송하며,
    상기 플레이어연동글래스는 상기 인식기로부터 전송된 곡명과 저장된 곡명을 비교하여 현재 플레이되는 곡을 검출하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  3. 제2항에 있어서,
    상기 플레이어연동글래스는 음원파일을 저장부에 저장하고 상기 음원파일의 파형은 저장된 가사와 매칭되어 저장되며,
    상기 플레이어연동글래스의 제어부는 상기 미디어 플레이어를 통해 플레이되는 곡의 음파와 상기 음원파일의 파형을 비교하여 현재 연주되고 있는 곡의 위치를 검출하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  4. 제2항에 있어서,
    상기 문자인식부는 상기 인식카메라를 통해 수신된 영상이 변화되는 타이밍을 인식하여 시작준비신호를 발생시키고 상기 인식통신부는 상기 시작준비신호를 상기 플레이어연동글래스로 전송하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  5. 제4항에 있어서,
    상기 문자인식부는 상기 인식카메라를 통해 수신된 영상 중 가사가 위치한 가사부를 인식하고 상기 가사의 색깔이 바뀌는 것을 인식하여 진행위치신호를 발생시키고 상기 인식통신부는 상기 진행위치신호를 상기 플레이어연동글래스로 전송하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  6. 음원데이터무선통신부가 구비된 미디어 플레이어; 및
    상기 노래방연주기 영상을 수신하는 글래스카메라;
    상기 글래스카메라를 통해 수신된 영상정보를 기초로 노래방연주기에 표시되는 가사를 문자인식하는 문자인식제어부;
    상기 음원데이터무선통신부로부터 전송되는 정보를 수신하는 글래스통신부;
    상기 글래스통신부를 통한 정보가 저장되는 저장부;
    상기 음원데이터무선통신부로부터 수신된 데이터를 기초로 하여 연주되는 음원의 가사를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 플레이어연동글래스를 포함하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  7. 제6항에 있어서,
    상기 미디어 플레이어는 연주기고유코드를 영상에 표시하고, 상기 문자인식제어부는 상기 글래스카메라를 통해 수신된 상기 연주기고유코드를 인식하여 페어링하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  8. 제6항에 있어서,
    상기 문자인식제어부는 인쇄 또는 영상으로 표시된 곡명 또는 가수를 인식하고, 상기 인식된 곡명 또는 가수를 선택할 수 있도록 상기 증강현실 표시부에 표시하여 주며, 선택된 곡명 또는 가수를 상기 미디어 플레이어로 전송하는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  9. 제8항에 있어서,
    상기 인쇄 또는 영상은 적어도 곡명정보를 포함하는 음악코드로 구비되고, 상기 문자인식제어부에서는 상기 음악코드를 분석하여 해당 곡명을 추출하며, 저장부에 저장된 상기 곡명 또는 곡명에 대응하는 가사를 독출하여 상기 증강현실 표시부에 표시하여 주는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  10. 제8항에 있어서,
    상기 저장부에는 가상 무대시설이 표시된 가상무대이미지가 저장되고, 상기 증강현실 표시부는 상기 가상무대이미지를 표시하여 주는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  11. 제6항에 있어서,
    상기 저장부는 플레이된 곡명 및 날짜를 저장하고, 상기 제어부는 상기 플레이된 곡명 및 날짜에 기초하여 추천목록을 상기 증강현실 표시부를 통해 표시하여 주는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  12. 제6항에 있어서,
    상기 제어부는 추천목록을 상기 증강현실 표시부를 통해 표시하여 주며, 사용자가 상기 추천목록 중 하나의 곡명을 선택한 경우 상기 곡명에 대응하는 가사를 상기 증강현실 표시부를 통해 표시하여 주는 것을 특징으로 하는 외부 콘텐츠 플레이어와 연동되는 증강현실시스템.
  13. 미디어 플레이어의 영상을 수신하는 인식카메라;
    상기 인식카메라를 통해 미디어 플레이어의 디스플레이 화면에 표시되는 가사를 문자인식하는 문자인식부;
    상기 문자인식부로부터 인식된 가사를 기초로 하여 연주되는 음원의 가사를 눈 앞에 증강현실 이미지로 표시하여 주는 증강현실 표시부를 가지는 증강현실글래스.
  14. 제1항에 있어서,
    상기 증강현실글래스는 곡명 및 가사를 저장부에 저장하고,
    상기 문자인식부는 노래방연주기로부터 곡명을 인식하고,
    제어부는 인식된 곡명과 저장된 곡명을 비교하여 현재 플레이 되는 곡의 가사를 증강현실 표시부에 표시하여 주는 것을 특징으로 하는 증강현실글래스.
  15. 제1항에 있어서,
    상기 저장부에는 가상 무대시설이 표시된 가상무대이미지가 저장되고, 상기 증강현실 표시부는 상기 가상무대이미지를 표시하여 주는 것을 특징으로 하는 증강현실글래스.
PCT/KR2017/006759 2016-06-28 2017-06-27 외부 콘텐츠 플레이어와 연동하는 증강현실시스템 WO2018004232A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0080673 2016-06-28
KR1020160080673A KR101802906B1 (ko) 2016-06-28 2016-06-28 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
KR1020160081770A KR101802914B1 (ko) 2016-06-29 2016-06-29 외부 콘텐츠 플레이어와 연동하는 증강현실글래스
KR10-2016-0081770 2016-06-29

Publications (1)

Publication Number Publication Date
WO2018004232A1 true WO2018004232A1 (ko) 2018-01-04

Family

ID=60787233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006759 WO2018004232A1 (ko) 2016-06-28 2017-06-27 외부 콘텐츠 플레이어와 연동하는 증강현실시스템

Country Status (1)

Country Link
WO (1) WO2018004232A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020117823A1 (en) * 2018-12-03 2020-06-11 Smule, Inc. Augmented reality filters for captured audiovisual performances
US11373400B1 (en) 2019-03-18 2022-06-28 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126869A (ja) * 2002-10-01 2004-04-22 Canon Inc 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム
KR20050097372A (ko) * 2004-04-02 2005-10-07 엘지전자 주식회사 가라오케시스템에서 가사에 대응하는 색 변경방법
JP2007280165A (ja) * 2006-04-10 2007-10-25 Nikon Corp 電子辞書
JP2009134159A (ja) * 2007-11-30 2009-06-18 Daiichikosho Co Ltd 音楽データの頭出し位置を検出して歌詞字幕を表示する音楽再生装置
KR20120056489A (ko) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
JP2013097134A (ja) * 2011-10-31 2013-05-20 Daiichikosho Co Ltd パーソナル携帯端末を用いたカラオケ選曲システム
KR20140110706A (ko) * 2013-03-08 2014-09-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126869A (ja) * 2002-10-01 2004-04-22 Canon Inc 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム
KR20050097372A (ko) * 2004-04-02 2005-10-07 엘지전자 주식회사 가라오케시스템에서 가사에 대응하는 색 변경방법
JP2007280165A (ja) * 2006-04-10 2007-10-25 Nikon Corp 電子辞書
JP2009134159A (ja) * 2007-11-30 2009-06-18 Daiichikosho Co Ltd 音楽データの頭出し位置を検出して歌詞字幕を表示する音楽再生装置
KR20120056489A (ko) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
JP2013097134A (ja) * 2011-10-31 2013-05-20 Daiichikosho Co Ltd パーソナル携帯端末を用いたカラオケ選曲システム
KR20140110706A (ko) * 2013-03-08 2014-09-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020117823A1 (en) * 2018-12-03 2020-06-11 Smule, Inc. Augmented reality filters for captured audiovisual performances
US11373400B1 (en) 2019-03-18 2022-06-28 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality
US11727683B2 (en) 2019-03-18 2023-08-15 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality

Similar Documents

Publication Publication Date Title
US7288712B2 (en) Music station for producing visual images synchronously with music data codes
US6084168A (en) Musical compositions communication system, architecture and methodology
WO2015093744A1 (en) Multimedia apparatus, music composing method thereof, and song correcting method thereof
US20080065983A1 (en) System and methodology of data communications
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
JP2019101168A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器
KR100721886B1 (ko) 무선 단말 장치 및 가라오케 시스템
WO2019139301A1 (ko) 전자 장치 및 그 자막 표현 방법
WO2014061931A1 (ko) 음향 재생 장치 및 음향 재생 방법
WO2018004232A1 (ko) 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
WO2019050083A1 (ko) 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
KR20010016009A (ko) 디지털 음악 파일을 악기별로 연주가 가능한 연주용파일로 변환하는 방법 및 그를 이용한 음악 연주시스템
WO2001056013A1 (en) Device for displaying music using a single or several linked workstations
CN110796919A (zh) 一种高集成化的音乐教学演示系统
EP1784049A1 (en) A method and system for sound reproduction, and a program product
KR101802906B1 (ko) 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
WO2009096762A2 (ko) 자동음정 기타
KR101802914B1 (ko) 외부 콘텐츠 플레이어와 연동하는 증강현실글래스
WO2011136454A1 (ko) 이미지를 이용한 음원 생성 시스템 및 방법
KR20190091990A (ko) 반주기와 연결되는 악보영상출력장치 및 이를 이용한 악보영상출력방법
WO2019177388A1 (ko) 노래반주 플랫폼 장치
WO2016072699A1 (ko) 사물인터넷 기반의 스마트 음향장치
CN113272891A (zh) 演奏系统、演奏模式设定方法及演奏模式设定装置
WO2020122276A1 (ko) 음악 콘텐츠 추천 장치 및 이를 구비하는 음악 콘텐츠 제공 시스템
JP7258441B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17820508

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13/06/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17820508

Country of ref document: EP

Kind code of ref document: A1