WO2015005639A1 - 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템 - Google Patents

완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템 Download PDF

Info

Publication number
WO2015005639A1
WO2015005639A1 PCT/KR2014/006104 KR2014006104W WO2015005639A1 WO 2015005639 A1 WO2015005639 A1 WO 2015005639A1 KR 2014006104 W KR2014006104 W KR 2014006104W WO 2015005639 A1 WO2015005639 A1 WO 2015005639A1
Authority
WO
WIPO (PCT)
Prior art keywords
toy
add
identification information
augmented reality
housing
Prior art date
Application number
PCT/KR2014/006104
Other languages
English (en)
French (fr)
Inventor
지승환
Original Assignee
Ji Seung Hwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130079452A external-priority patent/KR101479410B1/ko
Priority claimed from KR1020130079453A external-priority patent/KR101406483B1/ko
Priority claimed from KR1020130079454A external-priority patent/KR101479411B1/ko
Application filed by Ji Seung Hwan filed Critical Ji Seung Hwan
Priority to US14/903,808 priority Critical patent/US20160151705A1/en
Publication of WO2015005639A1 publication Critical patent/WO2015005639A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Definitions

  • the present invention belongs to the field of augmented reality.
  • Augmented Reality refers to a technology that displays various information superimposed on an image or a photo when displaying and displaying a real image and a photo taken by a camera.
  • HUDs pilot front display devices
  • augmented reality technology may be applied to a play or game product targeting a child or adolescent.
  • This prior art expresses the interaction result between the magic wand and the real object through augmented reality, thereby helping the user to have a variety of fun experiences.
  • the second limitation is that it is difficult to use universally for a lot of children's toys, and it cannot cope with various activities other than tapping with a magic wand.
  • the present invention was developed to solve the problems of the prior art as described above, when the children simply attach the add-on device to the ready-made toys and play activities while doing various operations, shooting them to the toy through augmented reality Its purpose is to provide a methodology for displaying matching content.
  • the present invention is to provide a platform that can provide augmented reality content corresponding to a variety of toys when children play using a variety of ready-made toys.
  • an object of the present invention is to provide a methodology that allows children to interact with each other with their own toys with add-on devices attached to each other through augmented reality in a remote place.
  • the augmented reality content providing system using a toy-type add-on device is provided with a display means for displaying a graphic content
  • Content storage means corresponding to toy-specific identification information and storing a plurality of contents having various display methods
  • Communication means for communicating with the add-on device attached to the toy by a wired or wireless communication method
  • the add-on device When the add-on device receives the identification information read from the toy or the identification information of the add-on device from the add-on device attached to the toy, the identification information of the toy, the identification information of the add-on device, or the Control means for extracting content corresponding to the combination and displaying the same through the display means;
  • the remote device Establish a communication session with a remote device via a network, the remote device receiving data of an image displayed on the display means of the remote device from the remote device, and communicating with the remote device received by the remote device from the remote device;
  • a network adapter for receiving any one or more of the identification information
  • the control means may include a camera installed toward the add-on device inclination, movement direction, acceleration, and the like of the add-on device read by the add-on device through the built-in sensor as the user moves the toy.
  • the image displayed on the display means of the remote device received through the network adapter is further displayed on one side of the screen,
  • identification information of the remote toy attached to the remote add-on device received through the network adapter the tilt position of the remote add-on device, the direction of movement, the acceleration or relative position based on the remote camera, identification information of the remote add-on device Any one or more of the toy and the remote location using any one or more of the inclination, the direction of movement, the acceleration of the add-on device attached to the toy, the relative position relative to the camera, the identification information of the add-on device To determine the interaction between toys,
  • the determined interaction is used to determine how to display the content.
  • Content storage means corresponding to toy-specific identification information and storing a plurality of contents having various display methods
  • Communication means for communicating with the add-on device attached to the toy by a wired or wireless communication method
  • the add-on device When the add-on device receives the identification information read from the toy or the identification information of the add-on device from the add-on device attached to the toy, the identification information of the toy, the identification information of the add-on device, or the And control means for extracting content corresponding to the combination and displaying the same through the display means.
  • the control means may include a camera installed toward the add-on device inclination, movement direction, acceleration, and the like of the add-on device read by the add-on device through the built-in sensor as the user moves the toy.
  • a camera installed toward the add-on device inclination, movement direction, acceleration, and the like of the add-on device read by the add-on device through the built-in sensor as the user moves the toy.
  • Toy attached augmented reality controller according to the present invention in order to achieve the above object is an add-on housing (21);
  • Communication means 22 mounted in the add-on housing, the communication means 22 for communicating with the augmented reality content providing device (1) by a wired or wireless communication method;
  • a sensor (23) mounted inside the add-on housing and detecting at least one of gravity, acceleration, tilt, and movement direction applied to the add-on housing (21);
  • the add-on housing 21 As the add-on housing 21 is fastened to the toy 10, the identification information of the toy 10 is read from the toy 10, and the communication means 22 together with the value detected by the sensor 23.
  • the control circuit unit 25 for transmitting to the augmented reality content providing device (1);
  • control circuit unit reads the identification information of the add-on device 20, and further to the augmented reality content providing device 1 in place of the identification information of the toy 10 or together with the identification information of the toy 10. Can transmit
  • the identification information of the toy 10 fastened to the corresponding part may be read and the combination may be transmitted to the augmented reality content providing apparatus 1.
  • control circuit unit as the add-on housing 21 is fastened to the toy 10
  • from the toy 10 to obtain information about the portion of the add-on housing 21 is fastened to the toy 10 To the AR content providing device 1.
  • One side of the toy is attached to the augmented reality controller according to the present invention in order to achieve the above object is a toy housing (11);
  • An add-on fastening space part 13 which is recessed from an outer side of the toy housing 11, and at least a part of the add-on housing 21 is inserted into and fastened into the recessed space;
  • a toy 10 having a connecting connector 14; And
  • Communication means (22) mounted inside the add-on housing and communicating with a remote device (1) by a wired or wireless communication method;
  • a sensor (23) mounted inside the add-on housing and detecting at least one of gravity, acceleration, tilt, and movement direction applied to the add-on housing (21);
  • the control circuit unit 25 for transmitting the identification information of the sensor 23 and the value detected by the sensor 23 to the remote device 1 through a communication means.
  • one side of the toy is attached to the augmented reality controller according to the present invention in order to achieve the above object is the add-on housing 21;
  • Communication means (22) mounted inside the add-on housing and communicating with a remote device (1) by a wired or wireless communication method;
  • a sensor (23) mounted inside the add-on housing and detecting at least one of gravity, acceleration, tilt, and movement direction applied to the add-on housing (21);
  • the add-on housing 21 is fastened to the add-on fastening space 13 of the toy 10
  • the identification information is read from the identification information storing means 12 of the toy 10 and the read toy 10 is read.
  • add-on device 20 having; identification information and a control circuit unit 25 for transmitting the value detected by the sensor 23 to the remote device 1 through the communication means,
  • An add-on fastening space part 13 which is recessed from an outer side of the toy housing 11, and at least a part of the add-on housing 21 is inserted into and fastened into the recessed space;
  • toys to which the augmented reality controller according to an embodiment of the present invention is attached to achieve the above object is an add-on housing 21;
  • Communication means (22) mounted inside the add-on housing and communicating with a remote device (1) by a wired or wireless communication method;
  • a control circuit part 25 for transmitting the value detected by the sensor 23 to the remote device 1 through a communication means, wherein the add-on housing 21 is an add-on fastening space part of the toy 10.
  • At least some of the plurality of switches 29 are pressed or contacted by the switch trigger 15 of the toy 10 as fastened to the plurality of switches 29, and the control circuit unit 25 is connected to the plurality of switches 29.
  • the add-on device 20 for transmitting the information on the combination of the switch that generated the center signal to the remote device 1 through the communication means 22,
  • An add-on fastening space part 13 which is recessed from an outer side of the toy housing 11, and at least a part of the add-on housing 21 is inserted into and fastened into the recessed space;
  • the content corresponding to the toy can be displayed through augmented reality.
  • users can interact with each other with their own toys with an add-on device attached to them and play a variety of activities.
  • the platform provided by the present invention serves as a medium for connecting toys, add-on devices, and contents, as the number of augmented reality users using toys increases, content providers develop augmented reality contents for each type of toy and are provided by the present invention. Just register the platform and you can generate revenue.
  • toys corresponding to augmented reality only by manufacturing toys having identification information and means for detachment of an add-on device, thereby enabling development of a new product line while minimizing an increase in cost.
  • 1 is a view for explaining the appearance and relationship between the toy and the add-on device
  • FIG. 2 is a view illustrating a state in which a user performs play activities using augmented reality content with a toy on which an add-on device is fastened.
  • FIG. 3 is a view for explaining the relationship between the augmented reality content providing system according to the present invention, toys, add-on devices and servers,
  • Figure 4 is a functional block diagram illustrating the components of the augmented reality content providing system according to the present invention.
  • FIG. 5 is a diagram illustrating an example of augmented reality content for multi-user using a remote augmented reality content providing system
  • FIG. 6 is a view illustrating the external appearance of the toy attached augmented reality controller according to the present invention
  • FIG. 7 is a block diagram illustrating the components of the toy attached augmented reality controller according to the present invention.
  • FIG. 8 is a reference diagram illustrating a case where a plurality of add-ons are fastened to the toy.
  • ⁇ means means a unit that processes at least one function or operation, Each of these may be implemented by software or hardware, or a combination thereof.
  • the toy 10 has a space to which the add-on device 20 is attached.
  • the toy 10 is a toy used by children and teenagers for play activities, and preferably has identification information.
  • the add-on device 20 is provided with a variety of sensors for grasping the movement, such as a gravity sensor, acceleration sensor, is fastened to the toy 10 to read the identification information of the toy.
  • sensors for grasping the movement such as a gravity sensor, acceleration sensor
  • the add-on device 20 communicates with the augmented reality content providing system 100 by a known wired or wireless communication method such as Bluetooth, Wifi.
  • a known wired or wireless communication method such as Bluetooth, Wifi.
  • the identification information of the toy 10 and a value detected through the sensor are provided to the augmented reality content providing system 100.
  • the add-on device 20 may provide its identification information to the augmented reality content providing system 100.
  • the augmented reality content providing system 100 has a camera and display means.
  • the augmented reality content providing system 100 displays the user's image captured by the camera as it is on the display screen, by overlaying a graphic image prepared in advance on the position of the toy 10. Display.
  • the augmented reality content providing system 100 determines the location of the add-on device 20.
  • the RF communication or the image recognition technology may be additionally used for the location detection. Element technology for this can be adopted that was already developed in the field of augmented reality technology.
  • the augmented reality content providing system 100 withdraws the content according to the identification information of the toy 10 provided from the add-on device 20 among a plurality of pre-registered content.
  • the content may be present separately for each toy 10.
  • each train may be prepared with contents related to the train.
  • a toy 10 corresponding to each train is commercially available, and each toy 10 has identification information for representing or uniquely identifying the type or operation of the toy, and augmented reality content providing system.
  • the 100 extracts the appropriate contents using the identification information of the corresponding toy among the contents related to the plurality of registered trains.
  • the content may be a graphic image of a train, with no limitations on the type or form, such as smoke-like animations coming from the train's chimney, the sound of the train running, or the captions that indicate the train's lines.
  • the content may be determined corresponding to the identification information of the add-on device 20, or may be determined according to a combination of the identification information of the toy 10 and the identification information of the add-on device 20.
  • the content When the content is in the form of a game, even if the identification information of the toy 10 and the identification information of the add-on device 20 are the same, the content may be withdrawn depending on the progress of the game or the scenario.
  • the augmented reality content providing system 100 determines an area in which the content is to be displayed from the position of the add-on device 20 determined based on the captured image.
  • a predetermined region excluding a background is determined as an area of the toy 10 on which the graphic image is to be displayed, based on the position of the add-on device 20 through image analysis.
  • the relative position of the add-on device 20 and the toy 10 obtained from the add-on device 20 or known from the identification information of the toy 10 eg, The add-on device 20 is fastened and fixed at a position of 10 cm from the center of the toy 10, and the chimney is located at a position of 15 cm from the top left from the center of the toy 10. Determine the position on the screen to be displayed.
  • Figure 2 illustrates the appearance of augmented reality content through this process.
  • the user fastens and fixes the add-on device 20 by inserting it into one side of the toy 10, and then plays various activities with the toy 10.
  • This user's play activity is captured by the camera and displayed through the display means.
  • the content corresponding to the identification information of the toy 10 is drawn out and displayed on the position of the toy 10 displayed on the display means.
  • the identification information of the toy 10 may be a unique identifier consisting of a combination of numbers or letters, which are designated the same for each toy of the same kind, or may be data having a hierarchical structure.
  • it may have the same level as the data indicating the type of the toy-the unique identifier of the toy-the data indicating the type of operation of the toy.
  • toys can be largely divided into infant toys, children's toys, and youth toys, among which children's toys are divided into human toys, automobile toys, airplane toys, and spaceship toys. Can be.
  • Human toys can again be divided into dolls, feature heroes, robot type 1, robot type 2, and the like.
  • the data indicating the type itself may also have a layer.
  • it may be divided into a tree structure.
  • the dividing of the types in this way is to find the most approximate type of toy when the content is not provided because all the toys cannot be provided and substitute the content of the toy.
  • the nearest toy may be found as a prepared toy along the tree structure, and the corresponding content may be used instead.
  • the unique identifier is data which swells into the data representing the kind, and if the data representing the kind is different, the unique identifier may overlap with other toys.
  • the identification information may have information about the operation type of the toy.
  • two operations may be performed by moving the battery or making a train sound through a speaker.
  • the identification information of the toy 10 may further include identification information indicating the movement of the train and identification information corresponding to the sound of the train.
  • the augmented reality content providing system 100 When the augmented reality content providing system 100 receives the information that the toy 10 has operated by the user operation from the add-on device 20, the augmented reality content providing system 100 retrieves the content corresponding to the operation and displays it on the screen.
  • the add-on device 20 reads a signal indicating that the train sound has been played through the speaker from the toy 10, and the augmented reality content providing system 100 Will provide).
  • the augmented reality content providing system 100 will extract and display the content corresponding to the received signal, for example, a wave file corresponding to the sound of the train or an animation in which the train runs with a sound.
  • Toys of the same type may have a similar operation pattern, and as described above, when contents for a specific toy are not prepared, the toys of the closest type may be withdrawn.
  • the following describes an environment in which augmented reality content is provided by the augmented reality content providing system according to the present invention.
  • FIG. 3 is a view illustrating a relation between a system for providing augmented reality content and a toy, an add-on device, and a server according to the present invention.
  • the augmented reality content providing system 100 photographs the toy 10 and the add-on device 20 through a camera as described above with reference to FIG. 2, as well as the add-on device ( 20).
  • the content provider 2 as shown in FIG. 3 creates content for each toy and uploads and registers the content to the server 1.
  • the server 1 stores and manages contents registered from a plurality of content providers 2 in correspondence with toy identification information.
  • the uploaded and registered contents may be stored in correspondence with hierarchical identification information such as the type of the toy 10 as described above.
  • the user may purchase a plurality of toys 10 that are compatible with the add-on device 20.
  • add-on device 20 and the product for communication with the add-on device 20 and the component of the augmented reality content providing system 100 according to the present invention set-top box or smart It might look like an app for a phone) and connect it to a computer with a monitor or a home TV.
  • the add-on device 20 is fastened to the toy 10 as shown in FIG. 1, and then the identification information of the toy 10 is transmitted to the augmented reality content providing system 100 corresponding to the toy 10.
  • the augmented reality content (not corresponding to the add-on device 20) may be provided.
  • the user may move to a content sale page provided by the server 10 through a mobile or web browser to purchase additional paid content.
  • Some of the contents registered in the server 10 may be braked to the user for free at the time of purchase of the toy 10, but another part of the contents registered in the server 10 must be purchased separately and stored in the user's account. It may be provided through the content providing system 100.
  • users may purchase content related to a specific toy 10 directly through a mobile or web browser and store it in their account, but may present the content to other users through a social network service.
  • the server 10 should be linked with the corresponding social network service server.
  • the augmented reality content providing system 100 may access the server 1 through a network, and may download and store content with a purchase history in the user's account from the server 1. Alternatively, the content of the present received in the user's account through the social network service may be downloaded from the server 1 and stored.
  • the user may be connected to another AR content providing system (hereinafter referred to as a remote device 100 ') via the server 1 or directly.
  • a remote device 100 ' another AR content providing system
  • a friend of the user, or another user who is connected to a social network service may also add an add-on device (hereinafter referred to as a remote add-on device 20 ') to his toy (hereinafter referred to as a remote toy 10').
  • 100 ' may enjoy the augmented reality content, and may be connected to the augmented reality content providing system 100 or directly through the server 1 to share the augmented reality content with each other.
  • FIG. 4 is a functional block diagram illustrating the components of the augmented reality content providing system according to the present invention.
  • the augmented reality content providing system 100 includes a camera 110, a display means 120, a content storage means 130, a communication means 140, a control means ( 150 and network adapter 160.
  • the camera 110 corresponds to a known component as a means for capturing an image. That is, it may be a camera mounted in a known smartphone, a camera provided in a home game console, an image camera attached to a personal computer, or the like.
  • the display means 120 is a means for displaying the image photographed by the camera 110 and the content, which corresponds to a known component.
  • it may be a computer monitor, a touch screen of a smartphone, a home TV, or the like.
  • the augmented reality content providing system 100 displays the image taken by the camera 110 through the display means 12, by overlaying the graphic content on the image taken by the camera 110 It relates to a device for displaying.
  • the content storing means 130 stores the content downloaded from the server 1. At this time, the content corresponds to the toy-specific identification information, of course.
  • each content has various display methods.
  • the display system corresponds to a value detected by a sensor built in the add-on device 20 or an operating state of the toy 10.
  • the sensor of the add-on device 20 detects this as the user moves the train toy forward, changing the graphic image of the stationary train into the form of an animation of the train moving, etc. It is.
  • Both the graphic image of the stationary train and the animation of the train moving belong to the content corresponding to the train toy, which is one of the displayed ways.
  • the communication means 140 communicates with the add-on device 20 attached to the toy 10 by a wired or wireless communication method.
  • Bluetooth RF
  • Wifi can be used.
  • control means 150 receives the identification information read from the toy 10 by the add-on device 20 attached to the toy 10. From the content corresponding to the identification information of the toy 10 is extracted.
  • a display method corresponding to the operation of the toy 10 or the sensor measurement value received from the add-on device 20 is selected from the extracted content and displayed on the display means 120.
  • control means 150 is the add-on device that the add-on device 20 reads through the built-in sensor from the add-on device 20 attached to the toy 10 as the user moves the toy 10.
  • the display method of the content corresponding to the identification information of the retrieved toy 10 is determined using the received information. .
  • the display method corresponding to the default may be selected-the graphic image in which the train is still in the above example.
  • the display method corresponding to the change in the sensor value of the add-on device 20 may be selected. May be appropriately selected and displayed on the display means 120.
  • the toy 10 is an operating toy, and if the toy 10 further receives the operation of the toy 10 through the add-on device 20, an appropriate display method may be selected again according to the operation of the toy 10.
  • the control means 150 may determine the position on the screen of the display means 120 to display the selected content in the following manner.
  • control unit 150 collects relative position information based on the camera 110 of the add-on device 20. That is, how far is it from the front of the camera 110, how far it is to the left and right, and how much is the up and down height.
  • Known techniques can be used, such as using RF, IR, or infrared sensors.
  • control means 150 determines the position of the add-on device 20 attached to the toy 10 in the image taken by the camera 110 from the relative position of the add-on device 20.
  • the background and the object may be distinguished by using the focal length from the camera 110, and then the contour of the toy 10 may be traced except for the user's hand.
  • the selected content can be displayed by being overlaid on the position of the toy 10.
  • the content displayed through the screen of the display means 120 may be 3D graphic data of the toy 10.
  • the various display methods of the content may further include information regarding a display direction of the 3D graphic data of the toy and an attachment angle of the toy 10 and the add-on device 20.
  • the present invention may have various display methods according to a viewpoint, such as three-dimensional graphic data viewed from the front of the toy 10 and three-dimensional graphic data viewed from the side.
  • the toy 10 may further include information regarding an angle at which the add-on device 20 is attached.
  • the add-on device 20 may be inserted in an orthogonal direction as shown in FIG. 1, in this case, the rotation direction collected through the built-in sensor of the add-on device 20
  • the value of the moving direction may be the rotation direction or the moving direction of the toy 10 by converting in the orthogonal direction.
  • control unit 150 obtains a difference value between the inclination information detected by the add-on device 20 and the information about the attachment angle between the toy 10 and the add-on device 20, and uses the toy to calculate the difference value. It is possible to determine the display direction of the three-dimensional graphic data.
  • the add-on device 20 is horizontal, the toy 10 is seen to lie parallel to the ground, as shown in Fig. 2, so that the display direction of the three-dimensional graphic data of the toy- For example, one of the various display methods can be determined.
  • the toy 10 is a robot
  • the graphic data for each part is a protective device such as a helmet or a graphic data of a weapon such as a gun or a knife.
  • the add-on device 20 is attached to the hand or arm portion of the toy 10, the graphic data corresponding to the gun or knife, while the attachment to the head portion of the toy 10 corresponds to the helmet Graphic data can be selected.
  • control means 150 is an add-on device attached to the toy 10 from the image taken by the camera 110 using the relative position information with respect to the camera 110 of the add-on device 20. The position of 20 is read.
  • the add-on apparatus 20 should receive information about which part of the toy 10 is attached to the add-on apparatus 20.
  • the graphic data is differently selected according to the combination or position of the add-on devices 20 attached to one toy 10.
  • the combination of identification information of each toy 10 or the position information of each toy 10 attached to the add-on device 20 may be used. Received from the add-on device 20 can select the appropriate graphic data.
  • Augmented reality content providing system 100 further includes a network adapter 160 for connecting to the server (1) through a network.
  • the network preferably means an internet network, but means a known communication network such as a LAN, a WAN, an intranet, a mobile communication network, and an LTE network.
  • control means 150 is connected to the server 1 via the network adapter 160, the content corresponding to the identification information of the toy 10 from the user account of the add-on device 20 attached to the toy 10 Check for additional acquisitions.
  • the user checks whether the content has been additionally purchased or received a present.
  • the user additionally downloads the content acquired from the server 10 and stores the content in the content storage unit 130 to update the content.
  • FIG. 5 a configuration of an augmented reality content providing system using a toy attachable add-on device according to an exemplary embodiment of the present invention will be described.
  • FIG. 5 is a diagram illustrating an example of augmented reality content for multi-user using a remote augmented reality content providing system.
  • This embodiment of the present invention describes a case in which two or more users play with a toy 10 having an add-on device 20 attached to each other in a remote place.
  • the augmented reality content providing system 100 establishes a communication session with the remote device 100 ′ via the network adapter 160.
  • the image displayed through the display means 120 may be transmitted to the remote device 100 ′ in real time.
  • One or more pieces of information of a direction, acceleration, and a relative position based on the remote camera 110 ′ may be further received.
  • the remote device 100 ' is an augmented reality content providing system used by other users of the remote site
  • the remote add-on device 20' is an add-on device and toys used by other users of the remote site Refer to each.
  • control means 150 further displays an image displayed on the display means 120 ′ of the remote device 100 ′ received through the network adapter on one side of the screen.
  • the interaction between the toy 10 and the remote toy 10 ' is determined using the information on the acceleration or the relative position with respect to the camera.
  • the display method of the content is determined using the determined interaction.
  • control means 150 first generates a coordinate on the virtual coordinate system of the toy 10 by using a relative position relative to the camera of the add-on device 20 attached to the toy 10. do.
  • the coordinates of the entire image displayed on the screen are set to (0,0) to (1600,1200). This is called a virtual coordinate system.
  • the coordinates of the toy 10 are set first. If the toy 10 is displayed at a position corresponding to approximately (100,300), the coordinates in the virtual coordinate system of the toy 10 will be (100,300).
  • (800,0) may be a reference position where the remote toy 10 'will be displayed.
  • the remote toy 10 ' is displayed at the coordinates corresponding to (150,150) on the screen of the remote device 100', the new coordinates obtained by converting (150,150) from the reference position (800,0)
  • the value (950, 150) will be the coordinates of the remote toy 10 'in the virtual coordinate system.
  • the toy 10 and the remote toy 10 ' may be represented on the same coordinate system.
  • control means 150 displays the content corresponding to the identification information of the toy 10 through the display means 120 determined as described above, and corresponds to the interaction between the toy 10 and the remote toy 10 '. Select the display method of the content.
  • the toy 10 collides with the remote toy 10 'on the virtual coordinate system, it selects graphic data for processing animations or special effects for displaying the collision and displays them on the screen.
  • control means 150 may provide the remote device 100 'with the information about the interaction between the toy 10 and the remote toy 10' determined as described above through the network adapter 160. have.
  • control means 150 controls the toy 10 and the remote toy 10' through the communication means 140.
  • the add-on device 20 may receive a control command and generate a vibration through a vibration motor built in the add-on device 20, or may respond to the control command by, for example, ringing a beep through a speaker.
  • the add-on device 20 applies the received control command to the toy 10.
  • the toy 10 may perform a corresponding operation.
  • Toy-mounted augmented reality controller is a combination of the toy 10 and the add-on device 20, or preferably corresponds to the add-on device 20 is coupled to the toy 10 is coupled.
  • the toy 10 As shown in Figure 7, the toy body 11, identification information storage means 12, add-on fastening space 13, connection And a connector 14, a switch trigger 15, a toy operating means 16, and a toy operating signal transmitting and receiving means 17.
  • the toy housing 11 corresponds to a general known toy. It is manufactured by a method such as die casting or injection molding of synthetic resin or metal, and corresponds to a general toy completed by assembling two or more parts.
  • the identification information storage means 12 is mounted in such a toy housing, and stores the identification information of the toy 10, which is digital data.
  • the toy 10 identification information may be a unique identifier (eg, “14213xage”) composed of a combination of letters and numbers as described above, but hierarchical data having layers such as the type of the toy, the unique identifier, and the type of operation. (For example, "children's toys-human toys-robot type 1-Taekwon V-operation type 1, operation type 2, operation type 3").
  • the identification information storing means 12 may be a nonvolatile memory or a known means for storing digital data such as an IC chip.
  • the add-on fastening space portion 13 corresponds to an outer side portion of the toy housing 11 is fastened to the add-on housing 21.
  • the interior of the toy housing 11 may be recessed inward, and at least a portion of the add-on housing 21 may be inserted into the recessed space to be fastened.
  • the fastening and coupling with the add-on housing 21 need not necessarily be a part of the add-on housing 21 is inserted.
  • the add-on fastening space 13 is preferably manufactured so that the shape or shape corresponding to the add-on housing 21 so that the add-on housing 21 can be inserted and fastened only in a specific direction as shown in FIG. Do.
  • a member such as a latch that is caught to one side of the add-on housing 21 may be further provided.
  • connection connector 14 includes a terminal exposed to the inside of the add-on fastening space 13 for this purpose, and is electrically connected to the identification information storing means 12.
  • connection connector 14 electrically connects the connecting terminal of the add-on housing 21 and the identification information storing means 12.
  • the add-on device 20 may read the identification information of the toy 10 stored in the identification information storage unit 12 as described below.
  • the identification information may be transmitted to the add-on device 20 by a short range wireless communication method such as Bluetooth. .
  • a wireless communication adapter may be provided instead of the connection connector 14.
  • the add-on device 20 includes the add-on housing 21, the communication means 22, the sensor 23, the connection terminal 24, the control circuit unit 25, and the battery 26. ), A button 27, a reaction means 28 and a plurality of switches (29).
  • the add-on housing 21 has a space formed therein, and at least one side thereof has a shape corresponding to the add-on fastening space portion 13 of the toy 10.
  • the user can fasten and fix the add-on housing 21 to the add-on fastening space portion 13 of the toy 10 as shown in FIG. 1.
  • the communication means 22 is mounted in the add-on housing 21, and communicates with the augmented reality content providing device 1 by wired or wireless communication.
  • Known wired and wireless communication methods such as Bluetooth, RF, IR, and Wifi may be used.
  • the sensor 23 is mounted in the add-on housing 21 and detects at least one of gravity, acceleration, tilt, and movement direction applied to the add-on housing 21.
  • One or more sensors 23 may be provided for this purpose.
  • connection terminal 24 contacts the connection connector 14 exposed inward of the add-on fastening space 13 as the add-on housing 21 is inserted into the add-on fastening space 13 of the toy 10. do.
  • control circuit 25 reads out the identification information from the identification information storage means 12 of the toy 10 via the connection terminal 24.
  • the identification information of the toy 10 may be read from the toy 10 by a wireless communication method.
  • a wireless communication adapter may be used instead of the connection terminal 24.
  • the control circuit unit 25 transmits the readout identification information of the toy 10 and the value detected by the sensor 23 to the augmented reality content providing apparatus 1 through communication means.
  • the augmented reality content providing apparatus 1 may extract the content corresponding to the identification information of the toy 10 and display it on the display means as shown in FIG. 2.
  • control circuit unit 25 may further store identification information of the add-on device 20, and instead of the identification information of the toy 10 or together with the identification information of the toy 10, the augmented reality content providing device 1 may be used. You can also provide.
  • the augmented reality content providing apparatus 1 may extract appropriate contents according to the identification information of the add-on device 20 or the combination of the identification information of the toy 10 and the add-on device 20.
  • the apparatus for providing augmented reality content 1 may further modify and display the displayed content according to a value detected by the sensor 23.
  • the sensor 23 detects the direction of movement, speed, and acceleration, and the AR content providing device 1 generates a caption of "too fast, be careful” according to the detected value.
  • the toy 10 includes one or more of a motor, a speaker, and a light emitting unit, and controls the movement of the toy, generates sound, or emits light through the motor, the speaker, or the light emitting unit (LED, etc.). It further comprises a toy operating means 16 for emitting light.
  • the toy operating means 16 corresponds to a member for the operation (including sound or light emission) of the toy provided in the known operating toy.
  • the toy 10 has the operation of the toy by the toy operating means 16-that is, the toy is moved by the motor, the sound is generated through the speaker, or the light is emitted through the light emitting unit- And a toy operation signal transmission / reception means 17 for transmitting a toy operation signal indicating what operation has been performed to the add-on fastening space unit 13 coupled to the add-on device 20.
  • the train toy performs two actions of moving forward, " action type 1 " and playing train sound, " action type 2 "
  • the toy motion signal transmitting / receiving means 17 provides the "on type 1" signal to the add-on device 20 when the train toy moves forward, and the "on type 2" signal when the train sounds are reproduced.
  • the control circuit unit 25 of the add-on device 20 receives a toy operation signal indicating which operation of the toy 10 has been performed through the connection terminal 24, the communication unit 22 receives the received signal.
  • One toy operation signal is sent to the augmented reality content providing device (1).
  • the apparatus for augmented reality content providing the toy motion signal 1 may further display the content corresponding to the motion of the toy on the screen of the display means.
  • a predetermined event occurs in the content provided by the augmented reality content providing device 1-for example, when a train hits an obstacle in the game content with a train toy-augmented reality content providing device (1 ) May transmit a control command to the add-on device 20, specifically, the communication means 22 of the add-on device 20.
  • the control command can know in advance when the toy 10 is an operation toy, and from the identification information of the toy 10, what kind of operation the toy can perform (for example, "operation type 1" or "operation type 2"). If so, the signal corresponding to any one of the operations that the toy 10 can perform.
  • the control circuit unit 25 controls the operation of the toy 10 from the augmented reality content providing device 1 while the add-on housing 21 is fastened to the add-on fastening space part 13 of the toy 10.
  • the control circuit unit 25 controls the operation of the toy 10 from the augmented reality content providing device 1 while the add-on housing 21 is fastened to the add-on fastening space part 13 of the toy 10.
  • the operation signal transmitting and receiving means 17 of the toy 10 controls the toy operating means 16 according to the received control command to perform a predetermined operation.
  • the add-on device 20 may be made to respond to the control command from the augmented reality content providing device (1).
  • the add-on device 20 includes at least one of a vibration motor, a speaker, and a light emitting unit, and generates vibration through the vibration motor, generates sound through a speaker, or emits light through the light emitting unit.
  • the reaction means 28 may be provided.
  • control circuit unit 25 may generate a vibration, sound or light by controlling the reaction means 28 when receiving a control command from the augmented reality content providing device (1).
  • the control circuit section 23 controls the vibration motor of the reaction means 28 to generate vibration, or "operation type 2".
  • the control circuit section 23 controls the vibration motor of the reaction means 28 to generate vibration, or "operation type 2".
  • the toy does not accurately perform a pre-prepared operation, it is possible to respond to the control command from the augmented reality content providing device 1 through at least elements such as vibration, sound, and LED light emission.
  • control circuit unit 23 informs the augmented reality content providing apparatus 1 of the operation of the toy 10 when the toy 10 is operated, and correspondingly, the augmented reality content providing apparatus (1) displayed appropriate contents via the display means.
  • the add-on device 20 may be provided with a predetermined input means. .
  • the add-on device 20 may further include a button 27 exposed outside the add-on housing 21.
  • a button 27 exposed outside the add-on housing 21.
  • One or more of these buttons 27 may be provided.
  • the control circuit unit 25 transmits a button press event signal, which is a signal indicating that the button is pressed, through the communication means 22 to the augmented reality content providing device 1. .
  • the augmented reality content providing apparatus 1 may select and display a suitable one among contents corresponding to the identification information of the toy 10 in response to the pressed button.
  • the augmented reality content providing device 1 is input the signal of the "operation type 1" of "train toys” having a specific unique identifier It would be possible to display an animation of the train moving forward on the display screen.
  • the button press event signal may be mapped to the “operation type 1” signal of the toy, thereby reacting as if the train toy has moved forward.
  • FIG. 8 is a reference diagram illustrating a case where a plurality of add-ons are fastened to the toy.
  • one or more switch triggers 15 protruding or recessed on one side of the add-on fastening space 13 provided in the toy 10 are further provided.
  • the one or more switch triggers 15 may represent identification information of the toy 10 or a fastening portion of the toy 10 by the position and the combination thereof.
  • a plurality of switches 29 are exposed on one side of the add-on housing 21 of the add-on device 20.
  • These multiple switches 29 generate signals as they are pressed or contacted.
  • the switch trigger 15 of the toy 10 When the user fastens the add-on device 20, that is, the add-on housing 21 to the add-on fastening space 13 of the toy 10, at least some of the switches 29 may be It is pressed by the switch trigger 15 of the toy 10 or contacts the switch trigger 15.
  • the control circuit unit 25 when the switch 29 which is pressed among the plurality of switches 29 or in contact with the switch trigger 15 generates a signal, the control circuit unit 25 generates a switch that generates a signal among the plurality of switches 29. Information is transmitted to the augmented reality content providing apparatus 1 through the communication means 22.
  • the switch trigger 15 may have a shape of a protruding jaw as shown in FIG. 8.
  • a plurality of switches 29 are provided. One of them will be pressed.
  • the switch trigger 15 when the switch trigger 15 is recessed, when the housing 21 is fastened to the add-on fastening space portion 13 of the toy 10, the switch trigger 15 corresponds to the switch trigger 15 among the plurality of switches 29. The rest of the switch 29 is pressed by the bottom of the add-on fastening space 13.
  • the toy 10 may be identified by the combination of the switches 29 pressed in this way.
  • the identification information storing means 12 may store the identification information which is digital data, but may use a combination of the switches 29 pressed separately.
  • FIG. 8 four add-on fastening spaces 13 are provided.
  • the add-on fastening space 13 and the add-on device 20 is to be fastened only in a specific direction, one or more switch triggers 15 provided in each of the add-on fastening space 13 is the position Or it can be seen that the combination of the numbers is different.
  • the augmented reality content providing apparatus 1 can identify which part of the toy 10 the add-on device 20 is fastened.
  • control circuit unit 25 detects a predetermined value as the sensor 23 detects a predetermined value, identification information of the toy 10, information about a part engaged with the toy 10, and the add-on device.
  • Identification information of 20 may be combined and transmitted to the augmented reality content providing device 1.
  • the augmented reality content providing apparatus 1 may not only select appropriate content from a combination of information to be transmitted, 20) can be identified.
  • the content related to the portion where the add-on device 20 is fastened can be extracted and displayed through the display means.
  • the augmented reality content providing device 1 is a knife or gun on the arm of the robot toy image displayed on the screen Overlay and display a graphical image of the weapon.
  • the button 27 of the add-on device 20 is pressed in this state, the animation of swinging a knife or shooting a gun may be played.
  • the add-on device 20 is fastened to the torso or leg, likewise it is possible to pull out the appropriate content related to the corresponding portion and display it on the screen of the display means.
  • the add-on device 20 is an electronic device having a communication means 22 and a sensor 23, and the toy 10 is described as a tool used when a user plays, but in actual implementation, at least in appearance. This may not be clearly distinguished.
  • the add-on device 20 may also be in the form of toys, toys, and the toy 10 may be another toy.
  • the toy 10 is a robot toy
  • the add-on device 20 may be manufactured in the form of weapons, equipment that can be attached to the robot toy.
  • the add-on device 20 has a plurality of fastening sites to which the toys 10 can be fastened, and where the toys 10 are fastened therein, the identification information of the toys 10 fastened to the corresponding parts. And a combination thereof may be transmitted to the augmented reality content providing apparatus 1.
  • the augmented reality content providing apparatus 1 may draw out appropriate contents using a combination thereof as in the case where a plurality of add-on devices 20 are fastened to one toy 10.
  • the toy to which the augmented reality controller according to the present invention is attached corresponds to the combination of the toy 10 and the add-on device 20, or preferably the add-on device 20 coupled to the toy 10.
  • the toy 10 As shown in Figure 7, the toy body 11, identification information storage means 12, add-on fastening space 13, connection And a connector 14, a switch trigger 15, a toy operating means 16, and a toy operating signal transmitting and receiving means 17.
  • the toy housing 11 corresponds to a general known toy. It is manufactured by a method such as die casting or injection molding of synthetic resin or metal, and corresponds to a general toy completed by assembling two or more parts.
  • the identification information storage means 12 is mounted in such a toy housing, and stores the identification information of the toy 10, which is digital data.
  • the toy 10 identification information may be a unique identifier (eg, “14213xage”) composed of a combination of letters and numbers as described above, but hierarchical data having layers such as the type of the toy, the unique identifier, and the type of operation. (For example, "children's toys-human toys-robot type 1-Taekwon V-operation type 1, operation type 2, operation type 3").
  • the identification information storing means 12 may be a nonvolatile memory or a known means for storing digital data such as an IC chip.
  • the add-on fastening space portion 13 corresponds to an outer side portion of the toy housing 11 is fastened to the add-on housing 21.
  • the interior of the toy housing 11 may be recessed inward, and at least a portion of the add-on housing 21 may be inserted into the recessed space to be fastened.
  • the fastening and coupling with the add-on housing 21 need not necessarily be a part of the add-on housing 21 is inserted.
  • the add-on fastening space 13 is preferably manufactured so that the shape or shape corresponding to the add-on housing 21 so that the add-on housing 21 can be inserted and fastened only in a specific direction as shown in FIG. Do.
  • a member such as a latch that is caught to one side of the add-on housing 21 may be further provided.
  • connection connector 14 includes a terminal exposed to the inside of the add-on fastening space 13 for this purpose, and is electrically connected to the identification information storing means 12.
  • connection connector 14 electrically connects the connecting terminal of the add-on housing 21 and the identification information storing means 12.
  • the add-on device 20 may read the identification information of the toy 10 stored in the identification information storage unit 12 as described below.
  • the identification information may be transmitted to the add-on device 20 by a short range wireless communication method such as Bluetooth. .
  • a wireless communication adapter may be provided instead of the connection connector 14.
  • the add-on device 20 includes the add-on housing 21, the communication means 22, the sensor 23, the connection terminal 24, the control circuit unit 25, and the battery 26. ), A button 27, a reaction means 28 and a plurality of switches (29).
  • the add-on housing 21 has a space formed therein, and at least one side thereof has a shape corresponding to the add-on fastening space portion 13 of the toy 10.
  • the user can fasten and fix the add-on housing 21 to the add-on fastening space portion 13 of the toy 10 as shown in FIG. 1.
  • the communication means 22 is mounted in the add-on housing 21, and communicates with the augmented reality content providing device 1 by wired or wireless communication.
  • Known wired and wireless communication methods such as Bluetooth, RF, IR, and Wifi may be used.
  • the sensor 23 is mounted in the add-on housing 21 and detects at least one of gravity, acceleration, tilt, and movement direction applied to the add-on housing 21.
  • One or more sensors 23 may be provided for this purpose.
  • connection terminal 24 contacts the connection connector 14 exposed inward of the add-on fastening space 13 as the add-on housing 21 is inserted into the add-on fastening space 13 of the toy 10. do.
  • control circuit 25 reads out the identification information from the identification information storage means 12 of the toy 10 via the connection terminal 24.
  • the identification information of the toy 10 may be read from the toy 10 by a wireless communication method.
  • a wireless communication adapter may be used instead of the connection terminal 24.
  • the control circuit unit 25 transmits the readout identification information of the toy 10 and the value detected by the sensor 23 to the augmented reality content providing apparatus 1 through communication means.
  • the augmented reality content providing apparatus 1 may extract the content corresponding to the identification information of the toy 10 and display it on the display means as shown in FIG. 2.
  • the displayed content is further modified in various ways according to the detected value of the sensor 23.
  • the sensor 23 detects the direction of movement, speed, and acceleration, and the AR content providing device 1 generates a caption of "too fast, be careful” according to the detected value.
  • the toy 10 includes one or more of a motor, a speaker, and a light emitting unit, and controls the movement of the toy, generates sound, or emits light through the motor, the speaker, or the light emitting unit (LED, etc.). It further comprises a toy operating means 16 for emitting light.
  • the toy operating means 16 corresponds to a member for the operation (including sound or light emission) of the toy provided in the known operating toy.
  • the toy 10 has the operation of the toy by the toy operating means 16-that is, the toy is moved by the motor, the sound is generated through the speaker, or the light is emitted through the light emitting unit- And a toy operation signal transmission / reception means 17 for transmitting a toy operation signal indicating what operation has been performed to the add-on fastening space unit 13 coupled to the add-on device 20.
  • the train toy performs two actions of moving forward, " action type 1 " and playing train sound, " action type 2 "
  • the toy motion signal transmitting / receiving means 17 provides the "on type 1" signal to the add-on device 20 when the train toy moves forward, and the "on type 2" signal when the train sounds are reproduced.
  • the control circuit unit 25 of the add-on device 20 receives a toy operation signal indicating which operation of the toy 10 has been performed through the connection terminal 24, the communication unit 22 receives the received signal.
  • One toy operation signal is sent to the augmented reality content providing device (1).
  • the apparatus for augmented reality content providing the toy motion signal 1 may further display the content corresponding to the motion of the toy on the screen of the display means.
  • a predetermined event occurs in the content provided by the augmented reality content providing device 1-for example, when a train hits an obstacle in the game content with a train toy-augmented reality content providing device (1 ) May send a control command to the add-on device 20, specifically, the communication means 22 of the add-on device 20.
  • the control command can be known in advance when the toy 10 is an operating toy, and from the identification information of the toy 10, what kind of operation the toy can perform (eg, "type of operation 1", "type of operation 2"). In this case, it is a signal corresponding to any one of operations that the toy 10 can perform.
  • the control circuit unit 25 controls the operation of the toy 10 from the augmented reality content providing device 1 while the add-on housing 21 is fastened to the add-on fastening space part 13 of the toy 10.
  • the control circuit unit 25 controls the operation of the toy 10 from the augmented reality content providing device 1 while the add-on housing 21 is fastened to the add-on fastening space part 13 of the toy 10.
  • the operation signal transmitting and receiving means 17 of the toy 10 controls the toy operating means 16 according to the received control command to perform a predetermined operation.
  • the add-on device 20 may be made to respond to the control command from the augmented reality content providing device (1).
  • the add-on device 20 includes at least one of a vibration motor, a speaker, and a light emitting unit, and generates vibration through the vibration motor, generates sound through a speaker, or emits light through the light emitting unit.
  • the reaction means 28 may be provided.
  • control circuit unit 25 may generate a vibration, sound or light by controlling the reaction means 28 when receiving a control command from the augmented reality content providing device (1).
  • the control circuit section 23 controls the vibration motor of the reaction means 28 to generate vibration, or "operation type 2".
  • the control circuit section 23 controls the vibration motor of the reaction means 28 to generate vibration, or "operation type 2".
  • the toy Even if the toy does not accurately perform a pre-prepared operation, it can respond to the control command from the augmented reality content providing device 1 through at least elements such as vibration, sound, and LED light emission.
  • control circuit unit 23 informs the augmented reality content providing apparatus 1 of the operation of the toy 10 when the toy 10 is operated, and correspondingly, the augmented reality content providing apparatus (1) displayed appropriate contents via the display means.
  • the add-on device 20 may be provided with a predetermined input means. .
  • the add-on device 20 may further include a button 27 exposed outside the add-on housing 21.
  • a button 27 exposed outside the add-on housing 21.
  • One or more of these buttons 27 may be provided.
  • the control circuit unit 25 transmits a button press event signal, which is a signal indicating that the button is pressed, through the communication means 22 to the augmented reality content providing device 1. .
  • the augmented reality content providing apparatus 1 may select and display a suitable one among contents corresponding to the identification information of the toy 10 in response to the pressed button.
  • the augmented reality content providing device 1 is input the signal of the "operation type 1" of "train toys” having a specific unique identifier It would be possible to display an animation of the train moving forward on the display screen.
  • the button press event signal may be mapped to the “operation type 1” signal of the toy, thereby reacting as if the train toy has moved forward.
  • FIG. 8 is a reference diagram illustrating a case where a plurality of add-ons are fastened to the toy.
  • one or more switch triggers 15 protruding or recessed on one side of the add-on fastening space 13 provided in the toy 10 are further provided.
  • Such one or more switch triggers 15 may represent identification information of the toy 10 by its position and combination.
  • a plurality of switches 29 are exposed on one side of the add-on housing 21 of the add-on device 20.
  • These multiple switches 29 generate signals as they are pressed or contacted.
  • the switch trigger 15 of the toy 10 When the user fastens the add-on device 20, that is, the add-on housing 21 to the add-on fastening space 13 of the toy 10, at least some of the switches 29 may be It is pressed by the switch trigger 15 of the toy 10 or contacts the switch trigger 15.
  • the control circuit unit 25 when the switch 29 which is pressed among the plurality of switches 29 or in contact with the switch trigger 15 generates a signal, the control circuit unit 25 generates a switch that generates a signal among the plurality of switches 29. Information is transmitted to the augmented reality content providing apparatus 1 through the communication means 22.
  • the switch trigger 15 may have a shape of a protruding jaw as shown in FIG. 8.
  • a plurality of switches 29 are provided. One of them will be pressed.
  • the switch trigger 15 when the switch trigger 15 is recessed, when the housing 21 is fastened to the add-on fastening space portion 13 of the toy 10, the switch trigger 15 corresponds to the switch trigger 15 among the plurality of switches 29. The rest of the switch 29 is pressed by the bottom of the add-on fastening space 13.
  • the toy 10 may be identified by the combination of the switches 29 pressed in this way.
  • the identification information storing means 12 may store the identification information which is digital data, but may use a combination of the switches 29 pressed separately.
  • FIG. 8 four add-on fastening spaces 13 are provided.
  • the add-on fastening space 13 and the add-on device 20 is to be fastened only in a specific direction, one or more switch triggers 15 provided in each of the add-on fastening space 13 is the position Or it can be seen that the combination of the numbers is different.
  • the augmented reality content providing apparatus 1 can identify which part of the toy 10 the add-on device 20 is fastened.
  • the content related to the portion where the add-on device 20 is fastened can be extracted and displayed through the display means.
  • the augmented reality content providing device 1 is a knife or gun on the arm of the robot toy image displayed on the screen Overlay and display a graphical image of the weapon.
  • the button 27 of the add-on device 20 is pressed in this state, the animation of swinging a knife or shooting a gun may be played.
  • the add-on device 20 is fastened to the torso or leg, likewise it is possible to pull out the appropriate content related to the corresponding portion and display it on the screen of the display means.
  • the add-on device 20 is an electronic device having a communication means 22 and a sensor 23, and the toy 10 is described as a tool used when a user plays, but in actual implementation, at least in appearance. This may not be clearly distinguished.
  • the add-on device 20 may also be in the form of toys, toys, and the toy 10 may be another toy.
  • the toy 10 is a robot toy
  • the add-on device 20 may be manufactured in the form of weapons, equipment that can be attached to the robot toy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템이 개시된다. 본 발명에 의할 때, 사용자가 식별정보를 구비하는 완구에 센서와 통신수단이 구비된 애드온 장치를 체결하여 고정한 다음, 다양한 놀이활동을 하면, 카메라를 통해 이를 촬영하여 화면에 표시하되 완구의 식별정보에 해당하는 컨텐츠를 인출하여 화면에 오버레이하여 표시한다. 이때, 애드온 장치의 내장 센서를 통해 검출된 값과 완구의 동작상태에 관한 정보를 이용하여 컨텐츠의 표시방법을 적절하게 선택하여 표시한다. 이러한 본 발명에 의할 때, 다양한 완구에 간단히 애드온 장치를 갈아끼는 것만으로 증강현실을 통해 해당 완구에 부합하는 컨텐츠가 표시되도록 할 수 있다. 이에 따라 사용자는 다양한 완구를 이용하여 놀이 활동을 하면서 증강현실 컨텐츠를 향유할 수 있게 된다. 뿐만 아니라, 완구를 가지고서 다양한 동작이나 활동을 할 때, 각 동작이나 활동에 대응되는 증간현실 컨텐츠를 제공받을 수 있다.

Description

완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
본 발명은 증강현실 기술분야에 속한다.
증강현실(Augmented Reality)이란 카메라로 촬영된 실제의 영상 및 사진을 재생하여 표시할 때에 각종 정보를 영상이나 사진에 겹쳐서 표시하는 기술을 말한다.
증강현실 기술이 가장 먼저 적용되었던 것은 군수산업 분야에서 파일럿이 시야에 보이는 물체에 각종 정보를 오버레이하여 표시했던 파일럿용 전방표시장치(HUDs)라고 한다.
이러한 증강현실 기술은 최근 스마트폰의 보급에 힘입어 LBS(Location Based Service)의 형태로 다시금 각광을 받기 시작하였다.
특히, 사용자의 오프라인에서의 액티비티와 연동되는 다양한 비즈니스 모델과 결합하고 있는 실정이다.
한편, 아동이나 청소년을 대상으로 한 놀이 또는 게임 상품에 증강현실 기술이 적용될 수 있다.
이러한 관점에서 개발된 미국 특허 제8,384,668호, "Portable gaming device and gaming system combining both physical and virtual play elements"는 현실의 다양한 물체들에 RFID 태그를 부착한 다음, RFID 리더가 구비된 마법지팡이를 이용하여 두드리면, RFID 태그들을 인식하여 화면상에 다양한 효과를 표시하는 기술을 제시하고 있다.
이러한 선행기술은 마법지팡이와 현실의 물체간의 상호작용 결과를 증강현실을 통해 표현함으로써, 사용자로 하여금 다양하고 즐거운 체험을 할 수 있도록 도와준다.
한편, 아이들의 놀이 과정을 보면 다양한 물품을 인지하고, 직접 가지고서 이리저리 움직이면서 놀이 활동을 하는데, 선행기술은 RFID 태그를 사물에 부착한 다음 마법 지팡이로 두드리는 수준의 극히 제한적인 놀이 활동만을 지원할 뿐이며, 여러 가지의 다양한 완구를 이용한 아이들의 놀이 활동을 증강현실을 통해 충분히 표현할 수 없다는 한계가 있다.
즉, 아이들이 가진 수많은 완구들에 대하여 범용적으로 활용하기 어렵다는 점이 첫 번째, 그리고 마법 지팡이로 두드리는 것 이외의 다양한 활동에 대응하지 못한다는 점이 두 번째 한계점이라고 하겠다.
본 발명은 상기와 같은 종래기술의 문제점을 해소하기 위하여 개발된 것으로, 아이들이 기성의 완구에 간단히 애드온 장치를 부착한 다음 다양한 동작을 하면서 놀이 활동을 할 때, 이를 촬영하여 증강현실을 통해 완구에 부합하는 컨텐츠를 표시하는 방법론의 제공을 그 목적으로 한다.
즉, 본 발명은 아이들이 기성의 다양한 완구를 사용하여 놀이활동을 할 때에 다양한 완구에 대응되는 증강현실 컨텐츠를 제공할 수 있는 플랫폼을 제공하고자 한다.
그리고, 아이들의 완구를 이용한 다양한 활동에 대해 적절한 컨텐츠의 표시방식을 결정하여 증강현실을 통해 제공하는 플랫폼을 제공하고자 한다.
더 나아가, 본 발명은 아이들이 원격지에서 증강현실을 통해 각자 애드온 장치가 부착된 자신의 완구를 가지고서 서로 상호작용을 하며 다양한 놀이활동을 할 수 있도록 하는 방법론의 제공을 그 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 의한 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템은 그래픽 컨텐츠를 표시하는 디스플레이 수단을 구비하는 장치에 있어서,
완구별 식별정보에 대응되며, 다양한 표시방식을 갖는 다수의 컨텐츠를 저장하는 컨텐츠 저장수단;
완구에 부착된 애드온 장치와 유무선 통신방법에 의하여 통신하는 통신수단;
상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 상기 완구로부터 독출한 식별정보 또는 상기 애드온 장치의 식별정보를 수신하면, 상기 컨텐츠 저장수단으로부터 상기 완구의 식별정보, 상기 애드온 장치의 식별정보 또는 그 조합에 대응되는 컨텐츠를 인출하여 상기 디스플레이 수단을 통해 표시하는 제어수단; 및
네트워크를 통해 원격지 장치와 통신 세션을 수립하되, 상기 원격지 장치로부터 상기 원격지 장치의 디스플레이 수단에 표시되는 영상의 데이터를 수신하며, 상기 원격지 장치로부터 상기 원격지 장치가 수신한, 상기 원격지 장치와 통신하는 원격지 애드온 장치가 독출한 상기 원격지 애드온 장치가 부착된 완구의 식별정보, 상기 원격지 애드온 장치의 기울기, 이동방향, 가속도, 상기 원격지 애드온 장치를 향해 설치된 원격지 카메라를 기준으로 한 상대 위치, 상기 원격지 애드온 장치의 식별정보 가운데 어느 하나 이상의 정보를 수신하는 네트워크 어댑터;를 구비하되,
상기 제어수단은 사용자가 상기 완구를 움직임에 따라 상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 내장 센서를 통해 판독한 상기 애드온 장치의 기울기, 이동방향, 가속도, 상기 애드온 장치를 향해 설치된 카메라를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 수신하면, 이를 이용하여 상기 인출된 완구의 식별정보에 대응하는 컨텐츠의 표시방식을 결정하며,
상기 네트워크 어댑터를 통해 수신한 상기 원격지 장치의 디스플레이 수단에 표시되는 영상을 화면 일측에 더 표시하되,
상기 네트워크 어댑터를 통해 수신한 상기 원격지 애드온 장치가 부착된 원격지 완구의 식별정보, 상기 원격지 애드온 장치의 기울기, 이동방향, 가속도 또는 상기 원격지 카메라를 기준으로 한 상대 위치, 상기 원격지 애드온 장치의 식별정보 가운데 어느 하나 또는 그 이상, 상기 완구에 부착된 애드온 장치의 기울기, 이동방향, 가속도 또는 상기 카메라를 기준으로 한 상대 위치, 상기 애드온 장치의 식별정보 가운데 어느 하나 또는 그 이상을 이용하여 상기 완구와 상기 원격지 완구 간 상호작용을 판정하며,
상기 판정된 상호작용을 이용하여 상기 컨텐츠의 표시방식을 결정한다.
한편, 이러한 목적을 달성하기 위하여 본 발명의 다른 일 실시예에 의한 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템은 그래픽 컨텐츠를 표시하는 디스플레이 수단을 구비하는 장치에 있어서,
완구별 식별정보에 대응되며, 다양한 표시방식을 갖는 다수의 컨텐츠를 저장하는 컨텐츠 저장수단;
완구에 부착된 애드온 장치와 유무선 통신방법에 의하여 통신하는 통신수단; 및
상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 상기 완구로부터 독출한 식별정보 또는 상기 애드온 장치의 식별정보를 수신하면, 상기 컨텐츠 저장수단으로부터 상기 완구의 식별정보, 상기 애드온 장치의 식별정보 또는 그 조합에 대응되는 컨텐츠를 인출하여 상기 디스플레이 수단을 통해 표시하는 제어수단;을 구비하되,
상기 제어수단은 사용자가 상기 완구를 움직임에 따라 상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 내장 센서를 통해 판독한 상기 애드온 장치의 기울기, 이동방향, 가속도, 상기 애드온 장치를 향해 설치된 카메라를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 수신하면, 이를 이용하여 상기 인출된 완구의 식별정보에 대응하는 컨텐츠의 표시방식을 결정한다.
상기와 같은 목적을 달성하기 위하여 본 발명에 의한 완구 부착형 증강현실 콘트롤러는 애드온 하우징(21);
상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 증강현실 컨텐츠 제공 장치(1)와 통신하는 통신수단(22);
상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23);
애드온 하우징(21)이 상기 완구(10)에 체결됨에 따라, 상기 완구(10)로부터 상기 완구(10)의 식별정보를 독출하여, 상기 센서(23)가 검출한 값과 함께 상기 통신수단(22)을 통해 증강현실 컨텐츠 제공 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);를 구비한다.
이때, 상기 제어회로부는, 애드온 장치(20)의 식별정보를 독출하여, 상기 완구(10)의 식별정보 대신 또는 상기 완구(10)의 식별정보와 함께 상기 증강현실 컨텐츠 제공 장치(1)로 더 전송할 수 있다.
한편, 상기 제어회로부는 애드온 하우징(21)의 완구(10)가 체결되는 다수의 체결 부위 가운데, 완구(10)가 체결된 부위에 대한 정보를 파악하되,
해당 부위에 체결된 완구(10)의 식별정보를 독출하여 그 조합을 증강현실 컨텐츠 제공장치(1)로 전송할 수도 있다.
한편, 상기 제어회로부는 상기 애드온 하우징(21)이 상기 완구(10)에 체결됨에 따라, 상기 완구(10)로부터 상기 애드온 하우징(21)이 상기 완구(10)에 체결된 부위에 대한 정보를 획득하여 상기 증강현실 컨텐츠 제공 장치(1)로 더 전송할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 의한 증강현실 콘트롤러가 부착되는 완구의 일 측면은 완구 하우징(11);
상기 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구의 식별정보를 저장하는 식별정보 저장수단(12);
상기 완구 하우징(11)의 외부 일측으로부터 함몰되되, 상기 함몰된 공간 내측으로 애드온 하우징(21)의 적어도 일부가 삽입되어 체결되는 애드온 체결 공간부(13);
상기 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 상기 애드온 하우징(21)이 체결됨에 따라 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결하는 연결커넥터(14);를 갖는 완구(10); 및
애드온 하우징(21);
상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22);
상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23);
애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 삽입됨에 따라 상기 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출하고, 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);를 구비한다.
한편, 상기와 같은 목적을 달성하기 위하여 본 발명에 의한 증강현실 콘트롤러가 부착되는 완구의 일 측면은 애드온 하우징(21); 상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22); 상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23); 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결됨에 따라 상기 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출하고, 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);와 체결되는 완구에 있어서,
완구 하우징(11);
상기 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구의 식별정보를 저장하는 식별정보 저장수단(12);
상기 완구 하우징(11)의 외부 일측으로부터 함몰되되, 상기 함몰된 공간 내측으로 애드온 하우징(21)의 적어도 일부가 삽입되어 체결되는 애드온 체결 공간부(13);
상기 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 상기 애드온 체결 공간부(13)로 애드온 하우징(21)이 체결됨에 따라 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결하는 연결커넥터(14);를 갖는 완구(10);를 구비한다.
한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 의한 증강현실 콘트롤러가 부착되는 완구는 애드온 하우징(21); 상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22); 상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23); 상기 애드온 하우징 일측면에 노출되되 눌러지거나 접촉됨에 따라 신호를 발생시키는 다수개의 스위치(29); 및 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 구비하되, 상기 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결됨에 따라 상기 다수개의 스위치(29) 가운데 적어도 일부가 상기 완구(10)의 스위치 트리거(15)에 의하여 눌러지거나 또는 접촉하며, 상기 제어회로부(25)는 상기 다수개의 스위치(29) 가운데 신호를 발생시킨 스위치의 조합에 관한 정보를 상기 통신수단(22)을 통해 원격지 장치(1)로 전송하는 애드온 장치(20)와 체결되는 완구에 있어서,
완구 하우징(11);
상기 완구 하우징(11)의 외부 일측으로부터 함몰되되, 상기 함몰된 공간 내측으로 애드온 하우징(21)의 적어도 일부가 삽입되어 체결되는 애드온 체결 공간부(13);
상기 애드온 체결 공간부(13)의 일측에 돌출되거나 또는 함몰된 하나 또는 그 이상의 스위치 트리거(15);를 갖는 완구(10);를 구비한다.
이러한 본 발명에 의할 때,
우선, 다양한 완구에 간단히 애드온 장치를 갈아끼는 것만으로, 증강현실을 통해 해당 완구에 부합하는 컨텐츠가 표시되도록 할 수 있다.
이에 따라 하나 또는 두 개 정도의 애드온 장치만으로도 다양한 완구를 이용하여 놀이를 즐길 수 있게 된다.
뿐만 아니라, 완구를 가지고서 다양한 동작이나 활동을 할 때, 각 동작이나 활동에 대응되는 증간현실 컨텐츠를 제공할 수 있게 된다.
더 나아가 네트워크를 통해 둘 이상의 사용자들을 연결함으로써 사용자들은 애드온 장치가 부착된 각자의 완구를 가지고서 서로 상호작용을 하며 다양한 놀이활동을 할 수 있게 된다.
한편, 경제적인 효과를 살펴보면,
본 발명에 의하여 제공되는 플랫폼은 완구, 애드온 장치 및 컨텐츠를 잇는 매개역할을 하므로, 완구를 이용한 증강현실 사용자가 증가함에 따라 컨텐츠 사업자들은 완구의 유형별로 증강현실 컨텐츠를 개발하여 본 발명에 의해 제공되는 플랫폼을 등록하는 것만으로 수익을 발생시킬 수 있게 된다.
그리고, 완구 제작사들은 식별정보와 애드온 장치의 탈착을 위한 수단을 갖는 완구를 제작하는 것만으로 증강현실에 대응하는 완구의 제작이 가능하기 때문에 비용의 증가를 최소화하면서 새로운 제품군의 개발이 가능해진다.
도 1은 완구와 애드온 장치의 외형과 관계를 설명하는 도면이며,
도 2는 사용자가 애드온 장치가 체결된 완구를 가지고 증강현실 컨텐츠를 이용하여 놀이활동을 하는 모습을 설명하는 도면이며,
도 3은 본 발명에 의한 증강현실 컨텐츠 제공시스템과 완구, 애드온 장치 및 서버가 연결되는 관계를 설명하는 도면이며,
도 4는 본 발명에 의한 증강현실 컨텐츠 제공시스템의 구성요소를 설명하는 기능블록도이며,
도 5는 원격지의 증강현실 컨텐츠 제공시스템을 이용한 다중 사용자용 증강현실 컨텐츠의 예를 도시하는 도면이며,
도 6은 본 발명에 의한 완구 부착형 증강현실 콘트롤러의 외형을 예시하는 도면이며,
도 7은 본 발명에 의한 완구 부착형 증강현실 콘트롤러의 구성요소를 설명하는 블록도이며,
도 8은 다수개의 애드온이 완구에 체결되는 경우를 예시하는 참고도이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명한다. 한편, 본 발명을 명확히 하기 위하여 본 발명의 구성과 관련없는 내용은 생략하기로 하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명한다.
한편, 발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
또한, 발명의 상세한 설명 또는 특허청구범위에서 "~수단", "~부", "~모듈", "~블록"으로 명명된 구성요소들은 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이들 각각은 소프트웨어 또는 하드웨어, 또는 이들의 결합에 의하여 구현될 수 있다.
먼저, 도 1 및 도 2를 참조하여 본 발명에 의한 증강현실 컨텐츠 제공시스템이 실시되는 상황을 개괄적으로 살펴보기로 한다.
도 1은 완구와 애드온 장치의 개념과 관계를 설명하는 도면이다.
도 1에 도시된 바에 의할 때, 완구(10)에는 애드온 장치(20)가 부착될 공간이 형성된다.
완구(10)는 아동, 청소년이 놀이활동을 할 때 사용하는 장난감으로서, 바람직하게는 식별정보를 갖는다.
한편, 애드온 장치(20)는 중력 센서, 가속도 센서 등 움직임을 파악하기 위한 다양한 센서가 구비되며, 완구(10)에 체결되어 완구의 식별정보를 독출한다.
이러한 애드온 장치(20)는 블루투스, Wifi 등의 알려진 유무선 통신방식에 의하여 증강현실 컨텐츠 제공 시스템(100)와 통신한다. 바람직하게는 완구(10)의 식별정보와 센서를 통해 감지한 값을 증강현실 컨텐츠 제공 시스템(100)으로 제공한다. 경우에 따라서는 애드온 장치(20)는 자신의 식별정보를 증강현실 컨텐츠 제공 시스템(100)으로 제공할 수도 있다.
증강현실 컨텐츠 제공 시스템(100)은 카메라와 디스플레이 수단을 갖는다.
도 2에 도시된 바에 의할 때, 이러한 증강현실 컨텐츠 제공 시스템(100)은 카메라를 통해 촬영된 사용자의 모습을 디스플레이 화면에 그대로 표시하는데 이때 완구(10)의 위치에 미리 준비된 그래픽 이미지를 오버레이하여 표시한다.
증강현실 컨텐츠 제공 시스템(100)은 애드온 장치(20)의 위치를 파악한다. 이때, 위치파악을 위하여 RF통신을 이용하거나, 또는 화상인식 기술을 부가적으로 사용할 수 있다. 이를 위한 요소기술은 증강현실 기술분야에서 기 개발된 것을 채택할 수 있다.
한편, 증강현실 컨텐츠 제공 시스템(100)은 기 등록된 다수의 컨텐츠 가운데 애드온 장치(20)로부터 제공받은 완구(10)의 식별정보에 따라 컨텐츠를 인출한다.
바람직하게는 컨텐츠는 개별 각 완구(10)마다 별개로 존재할 수도 있다.
예컨대, 유아용 TV프로그램인 "토마스와 친구들"에 나오는 여러 대의 기차들 가운데 각 기차마다 해당 기차와 관련된 컨텐츠가 준비될 수 있다.
즉, 각각의 기차에 해당하는 완구(10)가 시판되며, 각 완구(10)는 해당 완구의 종류나, 동작의 유형을 나타내거나 또는 고유하게 식별하기 위한 식별정보를 가지고, 증강현실 컨텐츠 제공 시스템(100)은 기 등록된 다수의 기차에 관련된 컨텐츠 가운데 해당하는 완구의 식별정보를 이용하여 적합한 컨텐츠를 인출한다.
컨텐츠는 기차의 모양을 딴 그래픽 이미지일 수도 있으며, 기차의 굴뚝에서 나오는 연기 모양 애니메이션이거나, 기차가 달리는 소리이거나, 기차의 대사를 표시하는 캡션 등 그 유형이나 형태에 제한을 두지 아니한다.
위 예에서는 단순한 멀티미디어 컨텐츠의 형태로 예를 들었으나, 증강현실 기술분야에서 일반적으로 제공되는 바와 같이 게임 컨텐츠나, 온오프라인의 이벤트를 결합하는 등의 방식으로 제공되는 다양한 컨텐츠가 적용될 수 있다.
이외에도, 컨텐츠는 애드온 장치(20)의 식별정보에 대응하여 결정될 수도 있으며, 또는 완구(10)의 식별정보와 애드온 장치(20)의 식별정보의 조합에 따라서 결정될 수도 있다.
컨텐츠가 게임의 형태인 경우, 완구(10)의 식별정보와 애드온 장치(20)의 식별정보가 동일하다고 하여도 게임의 진행상황이나, 시나리오에 따라서 각기 컨텐츠가 인출될 수도 있다.
한편, 증강현실 컨텐츠 제공 시스템(100)은 촬영된 영상을 기준으로 파악된 애드온 장치(20)의 위치로부터 컨텐츠가 표시될 영역을 결정한다.
예컨대, 기차의 모양을 딴 그래픽 이미지라면 영상 분석을 통해 애드온 장치(20)의 위치를 중심으로 배경을 제외한 소정의 영역을 그래픽 이미지가 표시될 완구(10)의 영역으로 판단한다.
또는, 기차의 굴뚝으로부터 나오는 연기 모양의 애니메이션이라면 애드온 장치(20)로부터 획득하거나, 또는 해당 완구(10)의 식별정보로부터 알 수 있는 애드온 장치(20)와 완구(10)의 상대적인 위치(예컨대, 애드온 장치(20)가 완구(10)의 중심으로부터 아래쪽 10cm 위치에 체결되어 고정되며, 굴뚝은 완구(10)의 중심으로부터 좌측 상단 15cm의 위치에 존재한다는 등의 미리 설정된 정보)를 이용하여 해당 컨텐츠가 표시될 화면상의 위치를 판단한다.
이후, 인출한 컨텐츠를 화면에 표시한다.
도 2는 이러한 과정을 거쳐 증강현실 컨텐츠가 표시되는 모습을 예시한다.
사용자는 애드온 장치(20)를 완구(10)의 일측에 삽입하는 등의 방식으로 체결하여 고정한 다음, 완구(10)를 가지고서 다양한 동작을 하며 놀이 활동을 한다.
이러한 사용자의 놀이 활동은 카메라에 의해 포착되어 디스플레이 수단을 통해 표시된다.
한편, 디스플레이 수단에 표시된 완구(10)의 위치에는 해당 완구(10)의 식별정보에 대응되는 컨텐츠가 인출되어 오버레이되어 표시된다.
완구(10)가 갖는 식별정보는 같은 종류의 완구마다 동일하게 지정되는, 단순히 숫자나 문자의 조합으로 이루어진 고유식별자일 수도 있으나, 계층적 구조를 갖는 데이터일 수도 있다.
예컨대, 완구의 종류를 나타내는 데이터 - 해당 완구의 고유식별자 - 완구의 동작 유형을 나타내는 데이터와 같은 층위를 가질 수도 있다.
예를 들자면, 완구의 종류는 유아용 완구, 어린이용 완구, 청소년용 완구와 같이 크게 나뉠 수 있으며, 그 가운데 어린이용 완구는 다시 사람형 완구, 자동차형 완구, 비행기형 완구, 우주선형 완구 등으로 나뉠 수 있다.
사람형 완구는 또 다시 인형, 특촬물 히어로, 로봇 유형 1, 로봇 유형 2 등과 같이 나뉠 수 있다.
즉, 종류를 나타내는 데이터 그 자체도 층위를 가질 수 있다.
예컨대, 트리구조의 형태로 구분될 수 있다.
이와 같이 유형을 나누는 것은 모든 완구마다 컨텐츠가 구비될 수 없기 때문에 컨텐츠가 구비되지 않은 경우에 가장 근사한 유형의 완구를 찾아, 해당 완구의 컨텐츠로 대용하기 위함이다.
특정 완구에 대한 컨텐츠가 준비되지 않은 경우, 트리구조를 따라 컨텐츠가 준비된 완구로서 가장 가까운 완구를 찾아, 해당 컨텐츠를 대신 사용할 수 있을 것이다.
예를 들어, 사용자가 "어린이용 완구 - 사람형 완구 - 로봇 유형 1"에 속하는 태권브이 완구를 구입하여 애드온 장치(20)를 체결하여 사용하는 경우, 만일 태권브이 완구에 해당하는 컨텐츠가 없다면, 트리구조상 가장 가까운 로봇 유형 1의 "마징가"의 컨텐츠를 인출하여 대신 사용할 수 있을 것이다.
한편, 이러한 종류를 나타내는 데이터 이외에도 별도로 고유식별자를 더 가질 수도 있다.
이 경우, 고유식별자는 종류를 나타내는 데이터에 부종하는 데이터로서, 종류를 나타내는 데이터가 다르다면 고유식별자는 타 완구와 겹칠 수도 있을 것이다.
한편, 완구(10)가 동작완구인 경우, 상기 식별정보는 완구의 동작 유형에 관한 정보를 가질 수 있다.
예컨대, 기차 완구의 경우 배터리에 의해 전진하거나, 또는 스피커를 통해 기차소리를 내는 두 가지의 동작을 할 수 있을 것이다.
위 예에서 완구(10)가 갖는 식별정보에는 기차가 전진하는 동작을 나타내는 식별정보와 기차소리에 해당하는 식별정보가 더 포함될 수 있을 것이다.
증강현실 컨텐츠 제공 시스템(100)은 애드온 장치(20)로부터 사용자 조작에 의해 완구(10)가 동작을 했다는 정보를 수신하면, 해당 동작에 해당하는 컨텐츠를 인출하여 화면에 표시한다.
상기 예에서, 사용자가 기차 완구를 조작하여 기차 소리를 냈다면, 애드온 장치(20)가 완구(10)로부터 기차 소리가 스피커를 통해 재생되었음을 알리는 신호를 독출하고, 이를 증강현실 컨텐츠 제공 시스템(100)로 제공할 것이다.
이에 따라 증강현실 컨텐츠 제공 시스템(100)은 수신한 신호에 대응되는 컨텐츠 - 예컨대, 기차의 소리에 해당하는 웨이브 파일이나 기차가 소리를 내며 달려가는 애니메이션 -를 인출하여 표시할 것이다.
동일 유형의 완구들은 유사한 동작 패턴을 가질 수 있으며, 상기에서 살펴본 바와 같이 특정 완구에 대한 컨텐츠가 준비되어 있지 않은 경우 가장 가까운 유형의 컨텐츠를 인출하여 사용할 수 있을 것이다.
한편, 이와 같은 방식에 의하여 사용자가 가진 완구(10)마다 증강현실 컨텐츠를 제공한다면, 사용자는 하나 또는 두 개 정도의 애드온 장치(20)만을 구입하여도, 완구(10)가 식별정보를 가지며, 애드온 장치(20)가 이를 독출하여 증강현실 컨텐츠 제공장치(1)로 제공하는 한, 자신이 가진 수많은 완구(10)를 가지고서 다양한 놀이활동을 할 수 있게 된다.
한편, 이하에서는 본 발명에 의한 증강현실 컨텐츠 제공시스템에 의하여 증강현실 컨텐츠가 제공되는 환경을 살펴본다.
도 3은 본 발명에 의한 증강현실 컨텐츠 제공시스템과 완구, 애드온 장치 및 서버가 연결되는 관계를 설명하는 도면이다.
도 3에 도시된 바에 의할 때, 증강현실 컨텐츠 제공 시스템(100)은 도 2와 관련하여 이미 살펴본 바와 같이 카메라를 통해 완구(10) 및 애드온 장치(20)를 촬영함은 물론, 애드온 장치(20)와 통신한다.
한편, 도 3에 도시된 바와 같은 컨텐츠 프로바이더(2)는 각 완구마다 컨텐츠를 만들어 서버(1)로 업로드하여 등록한다.
서버(1)는 다수의 컨텐츠 프로바이더(2)로부터 등록된 컨텐츠를 완구의 식별정보에 대응하여 저장, 관리한다.
업로드되어 등록된 컨텐츠들은 바람직하게는 상기 살펴본 바와 같은 완구(10)의 종류와 같은 계층적 식별정보에 대응하여 저장될 수 있다.
한편, 사용자는 애드온 장치(20)와 호환되는 다수의 완구(10)를 구입할 수 있을 것이다. 한편, 증강현실을 통한 컨텐츠를 향유하고자 하는 경우, 애드온 장치(20)와 본 발명에 의한 증강현실 컨텐츠 제공 시스템(100)의 구성요소이자 애드온 장치(20)와 통신을 위한 제품(셋톱박스나 스마트폰용 앱과 같은 형태일 수 있다.)를 구입하여 모니터가 구비된 컴퓨터나 가정용 TV에 연결할 수 있을 것이다.
그리고, 애드온 장치(20)를 도 1에 도시된 바와 같이 완구(10)에 체결한 다음, 증강현실 컨텐츠 제공 시스템(100)으로 완구(10)의 식별정보를 전송함으로써 완구(10)에 대응되는 (즉, 애드온 장치(20)에 대응되는 것이 아닌) 증강현실 컨텐츠를 제공받을 수 있게 된다.
한편, 필요한 경우 사용자는 모바일이나 웹 브라우저를 통해 서버(10)가 제공하는 컨텐츠 판매 페이지로 이동하여 유료 컨텐츠를 추가로 구매할 수도 있을 것이다.
서버(10)에 등록된 컨텐츠 가운데 일부는 완구(10)의 구입시에 무료로 사용자에게 제동될 수도 있을 것이나, 또 다른 일부는 사용자가 별도로 구입하여 자신의 계정에 저장하여야만 비로서 사용자의 증강현실 컨텐츠 제공 시스템(100)을 통해 제공될 수도 있다.
한편, 사용자들은 모바일이나 웹 브라우저를 통해 직접 특정 완구(10)와 관련한 컨텐츠를 구입하여 자신의 계정에 저장할 수도 있으나, 소셜 네트워크 서비스를 통해 컨텐츠를 다른 사용자들에게 선물할 수도 있다.
이를 위하여 서버(10)가 해당 소셜 네트워크 서비스 서버와 연동되어야 할 것이다.
증강현실 컨텐츠 제공 시스템(100)은 네트워크를 통해 서버(1)에 접속할 수 있으며, 사용자의 계정에 구매이력이 있는 컨텐츠를 서버(1)로부터 다운로드 받아 저장할 수 있다. 또는, 소셜 네트워크 서비스를 통해 사용자의 계정으로 선물이 들어온 컨텐츠를 서버(1)로부터 다운로드 받아 저장할 수도 있다.
한편, 도 3에 도시된 바와 같이 사용자는 서버(1)를 경유하거나 또는 직접 원격지의 다른 증강현실 컨텐츠 제공 시스템(이하 원격지 장치(100')라 함)과 연결될 수 있다.
사용자의 친구, 또는 소셜 네트워크 서비스의 인맥인 다른 사용자 또한 자신의 완구(이하 원격지 완구(10')라 함)에 애드온 장치(이하 원격지 애드온 장치(20')라 함)를 체결하여 이러한 원격지 장치(100')를 통해 증강현실 컨텐츠를 향유할 수 있으며, 서버(1)를 경유하거나 또는 직접 증강현실 컨텐츠 제공 시스템(100)으로 연결되어 서로 증강현실 컨텐츠를 공유할 수 있다.
예컨대, 온라인으로 연결된 사용자들간 증강현실을 통해 구현되는 멀티플레이어 게임을 즐기는 것과 같은 행위를 할 수 있게 된다.
한편, 이하에서는 도 4를 참조하여 본 발명의 일 실시예에 의한 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템의 구성을 살펴보기로 한다.
도 4는 본 발명에 의한 증강현실 컨텐츠 제공시스템의 구성요소를 설명하는 기능블록도이다.
도 4에 도시된 바에 의할 때, 본 발명에 의한 증강현실 컨텐츠 제공시스템(100)은 카메라(110), 디스플레이 수단(120), 컨텐츠 저장수단(130), 통신수단(140), 제어수단(150) 및 네트워크 어댑터(160)을 갖는다.
카메라(110)는 영상을 촬영하기 위한 수단으로 공지의 구성요소에 해당한다. 즉, 공지의 스마트폰에 탑재된 카메라, 가정용 게임 콘솔에 구비된 카메라, 개인용 컴퓨터에 부착되는 화상카메라 등이 될 수 있다.
디스플레이 수단(120)은 카메라(110)를 통해 촬영된 영상과, 컨텐츠를 표시하기 위한 수단으로 마찬가지로 공지의 구성요소에 해당한다.
즉, 컴퓨터 모니터, 스마트폰의 터치스크린, 가정용 TV 등이 될 수 있다.
본 발명에 의한 증강현실 컨텐츠 제공시스템(100)은 이와 같이 카메라(110)를 통해 촬영된 영상을 디스플레이 수단(12)을 통해 표시하며, 카메라(110)로 촬영된 영상에 그래픽 컨텐츠를 오버레이하여 더 표시하는 장치에 관한 것이다.
컨텐츠 저장수단(130)은 서버(1)로부터 다운로드 받은 컨텐츠를 저장한다. 이때, 컨텐츠는 완구별 식별정보에 대응됨은 물론이다.
한편, 각 컨텐츠는 다양한 표시방식을 갖는다.
다양한 표시방식을 갖는다는 것은, 애드온 장치(20)에 내장된 센서가 감지한 값이나 완구(10)의 동작상태에 각각 대응되는 표시방식을 가진다는 의미이다.
예컨대, 상기 기차 완구의 예에서, 사용자가 기차 완구를 앞으로 움직임에 따라 애드온 장치(20)의 센서가 이를 감지하면, 정지해있는 기차의 그래픽 이미지를 기차가 움직이는 애니메이션의 형태로 바꾸어 표시하는 등이 그것이다.
정지해있는 기차의 그래픽 이미지와 기차가 움직이는 애니메이션 모두 기차 완구에 대응되는 컨텐츠에 속하는 것으로, 표시되는 방식의 하나에 해당한다.
한편, 통신수단(140)은 완구(10)에 부착된 애드온 장치(20)와 유무선 통신방법에 의하여 통신한다.
블루투스, RF, Wifi 등의 알려진 통신방식을 이용할 수 있다.
한편, 제어수단(150)은 완구(10)에 부착된 애드온 장치(20)로부터, 상기 애드온 장치(20)가 상기 완구(10)로부터 독출한 식별정보를 수신하면, 상기 컨텐츠 저장수단(130)으로부터 상기 완구(10)의 식별정보에 대응되는 컨텐츠를 인출한다.
그리고, 인출한 컨텐츠로부터 상기 완구(10)의 동작이나 애드온 장치(20)로부터 수신한 센서 측정값에 대응하는 표시방식을 선택하여 디스플레이 수단(120)을 통해 표시한다.
즉, 제어수단(150)은 사용자가 상기 완구(10)를 움직임에 따라 상기 완구(10)에 부착된 애드온 장치(20)로부터, 상기 애드온 장치(20)가 내장 센서를 통해 판독한 상기 애드온 장치(20)의 기울기, 이동방향, 가속도, 카메라를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 수신하면, 이를 이용하여 상기 인출된 완구(10)의 식별정보에 대응하는 컨텐츠의 표시방식을 결정한다.
완구(10)를 가만히 들고 있을 때에는 디폴트에 해당하는 표시방식 - 상기 예에서 기차가 가만히 정차해있는 그래픽 이미지 -을 선택할 수 있을 것이나, 애드온 장치(20)의 센서값이 변화함에 따라 대응되는 표시방식을 적절히 선택하여 디스플레이 수단(120)을 통해 표시할 수 있다.
완구(10)가 동작완구인 경우, 그리고 완구(10)가 어떤 동작을 했는지를 애드온 장치(20)를 통해 더 수신한다면, 완구(10)의 동작에 따라 적절한 표시방식을 다시 선택할 수 있다.
제어수단(150)은 다음과 같은 방식에 의해 선택된 컨텐츠가 표시될 디스플레이 수단(120)의 화면상 위치를 결정할 수 있다.
우선, 제어수단(150)은 상기 애드온 장치(20)의 상기 카메라(110)를 기준으로 한 상대 위치 정보를 수집한다. 즉, 카메라(110)의 전방으로부터 얼마나 멀리 있는지, 좌우로는 어느 정도로 떨어져 있는지, 상하 높이는 어느 정도인지를 파악한다. RF나 IR, 적외선 센서를 이용하는 등 알려진 기법들을 사용할 수 있다.
한편, 제어수단(150)은 애드온 장치(20)의 상대 위치로부터 상기 카메라(110)가 촬영한 영상에서 상기 완구(10)에 부착된 애드온 장치(20)의 위치를 판정한다.
그리고, 상기 판정한 완구(10)에 부착된 애드온 장치(20)의 위치를 중심으로 영상판독을 통해 배경을 제외한 사물의 윤곽을 추출함으로써 상기 애드온 장치가 부착된 완구의 영역을 판정할 수 있다.
즉, 카메라(110)로부터의 초점거리를 이용하여 배경과 사물을 구분한 다음 사용자의 손을 제외하고 완구(10)의 윤곽을 트레이싱 할 수 있다.
이에 의하여 상기 선택된 컨텐츠를 완구(10)의 위치에 오버레이하여 표시할 수 있게 된다.
이때, 디스플레이 수단(120)의 화면을 통해 표시되는 컨텐츠는 완구(10)의 3차원 그래픽 데이터일 수 있다.
그리고, 컨텐츠의 다양한 표시방식은 상기 완구의 3차원 그래픽 데이터의 표시방향과 상기 완구(10)와 상기 애드온 장치(20)의 부착각도에 관한 정보를 더 포함한다.
예컨대, 완구(10)를 정면에서 본 3차원 그래픽 데이터, 측면에서 본 3차원 그래픽 데이터 등 시점(Viewpoint)에 따른 다양한 표시방법을 가질 수 있다.
그리고, 이에 더하여 완구(10)에 애드온 장치(20)가 부착되는 각도에 관한 정보를 더 구비할 수 있다.
예컨대, 완구(10)를 정면으로 보았을 때, 애드온 장치(20)가 도 1에 도시된 것처럼 직교방향으로 삽입될 수 있을 것이며, 이 경우 애드온 장치(20)의 내장 센서를 통해 수집한 회전방향이나 이동방향의 값은 직교방향으로 변환하여야 완구(10)의 회전방향이나 이동방향이 될 수 있을 것이다.
따라서, 상기 제어수단(150)은 상기 애드온 장치(20)가 감지한 기울기 정보와 상기 완구(10)와 상기 애드온 장치(20)의 부착각도에 관한 정보의 차이값을 구하고, 이를 이용하여 상기 완구의 3차원 그래픽 데이터의 표시방향을 결정할 수 있다.
즉, 상기 예에서 애드온 장치(20)가 수평을 유지하고 있다면, 도 2에 도시된 것처럼 완구(10)는 지면과 평행하게 누워있는 것으로 보아 이에 대응하여 완구의 3차원 그래픽 데이터의 표시방향 - 즉, 다양한 표시방식 가운데 어느 하나인 - 을 결정할 수 있다.
한편, 완구(10)의 식별정보에 대응하는 컨텐츠가 상기 완구(10)의 부위별 그래픽 데이터를 포함하며, 애드온 장치(20)가 완구(10) 특정 부위에 부착되는 경우를 살펴본다.
예컨대, 완구(10)가 로봇이며, 부위별 그래픽 데이터가 투구와 같은 보호장구이거나, 총이나 칼과 같은 무기의 그래픽 데이터라 가정할 수 있다.
이 경우, 만일 애드온 장치(20)가 완구(10)의 손이나 팔 부위에 부착이 되어 있다면 총이나 칼에 해당하는 그래픽 데이터를, 반면 완구(10)의 머리 부위에 부착이 되어 있다면 투구에 해당하는 그래픽 데이터를 선택할 수 있다.
이를 위하여 제어수단(150)은 상기 애드온 장치(20)의 상기 카메라(110)를 기준으로 한 상대 위치 정보를 이용하여 상기 카메라(110)가 촬영한 영상으로부터 상기 완구(10)에 부착된 애드온 장치(20)의 위치를 판독한다.
즉, 애드온 장치(20)로부터 애드온 장치(20)가 완구(10)의 어느 부위에 부착이 되어있는지에 관한 정보를 수신하여야 한다.
상기의 경우에서는 어느 하나의 완구(10)에 다수의 애드온 장치(20)가 부착되는 경우를 전제한다.
즉, 하나의 완구(10)에 부착된 애드온 장치(20)들의 조합이나 위치에 따라서 그래픽 데이터가 달리 선택된다.
반대로, 어느 하나의 애드온 장치(20)가 다수 개의 완구(10)와 동시에 결합되는 경우에도 마찬가지이다.
즉, 하나의 애드온 장치(20)에 다수의 완구(10)가 부착되는 경우, 각 완구(10)의 식별정보의 조합이나, 각 완구(10)가 애드온 장치(20)에 부착된 위치 정보를 애드온 장치(20)로부터 수신하여 적절한 그래픽 데이터를 선택할 수 있다.
한편, 이와 같이 완구(10)에 부착된 애드온 장치(20)의 위치가 판독되면, 상기 디스플레이 수단(120)의 상기 판독한 완구(10)에 부착된 애드온 장치(20)의 위치에 상기 인출한 그래픽 데이터를 오버레이하여 표시한다.
본 발명에 의한 증강현실 컨텐츠 제공 시스템(100)은 네트워크를 통해 서버(1)로 접속하기 위한 네트워크 어댑터(160)를 더 구비한다.
네트워크란 바람직하게는 인터넷망을 의미하나, LAN이나 WAN, 인트라넷, 이동통신망, LTE망 등 알려진 통신망을 의미한다.
한편, 제어수단(150)은 네트워크 어댑터(160)를 통해 서버(1)로 접속하여 상기 완구(10)에 부착된 애드온 장치(20)의 사용자 계정으로부터 완구(10)의 식별정보에 대응하는 컨텐츠의 추가획득 여부를 확인한다.
즉, 사용자가 컨텐츠를 추가로 구입했다거나 또는 선물 받은 내역이 있는지 확인한다.
만일, 추가획득 내역이 존재하는 경우, 상기 서버(10)로부터 사용자가 추가로 획득한 컨텐츠를 다운로드하여 상기 컨텐츠 저장 수단(130)에 저장함으로써 업데이트한다.
한편, 이하에서는 도 5을 참조하여 본 발명의 이 실시예에 의한 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템의 구성을 살펴보기로 한다.
도 5은 원격지의 증강현실 컨텐츠 제공시스템을 이용한 다중 사용자용 증강현실 컨텐츠의 예를 도시하는 도면이다.
본 발명의 이 실시예는 둘 이상의 사용자가 서로 원격지에서 각자 애드온 장치(20)가 부착된 완구(10)를 가지고서 놀이활동을 하는 경우를 설명한다.
본 발명의 이 실시예에서, 증강현실 컨텐츠 제공시스템(100)은 네트워크 어댑터(160)를 통하여 원격지 장치(100')와의 통신 세션을 수립한다.
한편, 원격지 장치(100')로부터 상기 원격지 장치(100')의 디스플레이 수단(120')에 표시되는, 카메라 촬영 영상에 그래픽 이미지가 오버레이되는 영상의 데이터를 수신한다.
반대로 디스플레이 수단(120)을 통해 표시되는 영상을 상기 원격지 장치(100')로 실시간으로 전송할 수도 있다.
한편, 상기 원격지 장치(100')로부터 상기 원격지 장치(100')로부터 원격지 애드온 장치(20')가 독출한 원격지 완구(10')의 식별정보, 상기 원격지 애드온 장치(20')의 기울기, 이동방향, 가속도, 원격지 카메라(110')를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 더 수신할 수 있다.
이때, 원격지 장치(100')는 원격지의 다른 사용자가 사용하는 증강현실 컨텐츠 제공시스템이며, 원격지 애드온 장치(20'), 원격지 완구(10')는 상기 원격지의 다른 사용자가 사용하는 애드온 장치와 완구를 각각 지칭한다.
한편, 제어수단(150)은 도 5에 도시된 바와 같이 상기 네트워크 어댑터를 통해 수신한 상기 원격지 장치(100')의 디스플레이 수단(120')에 표시되는 영상을 화면 일측에 더 표시한다.
그리고, 상기 네트워크 어댑터(160)를 통해 수신한 상기 원격지 장치(20')의 기울기, 이동방향, 가속도 또는 카메라를 기준으로 한 상대 위치에 관한 정보와, 상기 애드온 장치(20)의 기울기, 이동방향, 가속도 또는 카메라를 기준으로 한 상대 위치에 관한 정보를 이용하여 상기 완구(10)와 상기 원격지 완구(10') 간 상호작용을 판정한다.
그리고, 상기 판정된 상호작용을 이용하여 상기 컨텐츠의 표시방식을 결정한다.
구체적으로 그 과정을 살펴보면, 제어수단(150)은 우선 상기 완구(10)에 부착된 애드온 장치(20)의 카메라를 기준으로 한 상대 위치를 이용하여 상기 완구(10)의 가상 좌표계 상의 좌표를 생성한다.
즉, 화면에 표시되는 전체 영상의 좌표를 (0,0) 내지 (1600,1200)으로 설정한다. 이를 가상 좌표계라 한다.
그리고, 상기 완구(10)의 좌표를 먼저 설정한다. 완구(10)가 대략 (100,300)에 해당하는 위치에 표시되어 있다면 완구(10)의 가상 좌표계상 좌표는 (100,300)이 될 것이다.
그리고, 원격지 완구(10')의 가상 좌표계 상의 기준 위치를 설정한다.
도 5에 도시된 바에 의할 때, 화면 우측 절반에 원격지 완구를 표시하고 있으므로, (800,0) 내지 (1600,1200)에 해당하는 영역은 원격지 완구에 할당된다.
그러면, (800,0)은 원격지 완구(10')가 표시될 기준 위치가 될 수 있다.
그리고, 네트워크 어댑터를 통해 수신한 상기 원격지 애드온 장치(20')의 원격지 카메라(110')를 기준으로 한 상대위치를 이용하여 상기 원격지 완구(10')의 가상 좌표계 상의 좌표를 생성한다.
예컨대, 원격지 장치(100')의 화면상에 원격지 완구(10')가 (150,150)에 해당하는 좌표에 표시되어 있었다면, (150,150)을 기준 위치인 (800,0)을 기준으로 변환한 새로운 좌표값인 (950,150)이 가상 좌표계상 원격지 완구(10')의 좌표가 될 것이다.
이에 따라 완구(10)와 원격지 완구(10')가 동일한 좌표계상에 표현될 수 있다.
이후, 사용자가 완구(10)를 가지고서 놀이활동을 하거나, 또는 원격지의 사용자가 원격지 완구(10')를 가지고 놀이활동을 하면, 완구(10)와 원격지 완구(10')의 놀이활동에 따른 좌표 변화를 이용하여 완구(10)와 원격지 완구(10')의 상호작용을 판정한다.
예컨대, 가상좌표계상에서 서로 충돌한다거나, 가까워지거나 멀어지는 등이 그것이다.
그리고, 제어수단(150)은 이와 같이 판정된 디스플레이 수단(120)을 통해 완구(10)의 식별정보에 대응하는 컨텐츠를 표시하되 완구(10)와 원격지 완구(10')의 상호작용에 부합하는 컨텐츠의 표시방식을 선택한다.
완구(10)와 원격지 완구(10')가 가상 좌표계 상에서 충돌한 경우에는 충돌을 표시하는 애니메이션이나 특수효과를 처리하는 그래픽 데이터를 선택하여 화면에 표시하는 등이 그것이다.
한편, 제어수단(150)은 이와 같이 판정된 상기 완구(10)와 상기 원격지 완구(10') 간 상호작용에 관한 정보를 네트워크 어댑터(160)를 통해 상기 원격지 장치(100')로 제공할 수 있다.
한편, 이와 같이 상기 완구(10)와 상기 원격지 완구(10') 간 상호작용이 판정됨에 따라, 제어수단(150)은 통신수단(140)을 통해 상기 완구(10)와 상기 원격지 완구(10') 간 상호작용에 해당하는 제어명령을 애드온 장치(20)로 송출한다.
애드온 장치(20)는 제어명령을 수신하여 애드온 장치(20)에 내장된 진동모터를 통해 진동을 발생시키거나, 스피커를 통해 비프음을 울리는 등의 방식에 의해 제어명령에 반응할 수 있다.
만일, 완구(10)가 동작완구이며, 애드온 장치(20)를 통해 제어명령을 수신할 수 있도록 제작되어 있는 경우라면, 애드온 장치(20)는 수신한 제어명령을 완구(10)로 인가하며, 완구(10)는 이에 대응하는 동작을 할 수 있을 것이다.
이하에서는 도 6 및 도 7를 참조하여 본 발명의 일 실시예에 의한 완구 부착형 증강현실 콘트롤러의 구조를 살펴보기로 한다.
본 발명에 의한 완구 부착형 증강현실 콘트롤러는 완구(10)와 애드온 장치(20)의 조합이거나, 또는 바람직하게는 완구(10)와 체결되어 결합되는 애드온 장치(20)에 해당한다.
우선, 완구(10)의 구조를 먼저 살펴보면, 완구(10)는 도 7에 도시된 바에 의할 때, 완구 바디(11), 식별정보 저장수단(12), 애드온 체결 공간부(13), 연결커넥터(14), 스위치 트리거(15), 완구동작수단(16), 완구동작신호 송수신 수단(17)을 구비한다.
완구 하우징(11)은 일반적인 공지의 완구에 해당한다. 합성수지 또는 금속 재질로 다이캐스팅되거나 사출성형 등의 방법에 의해 제조되며, 둘 이상의 부품이 조립됨으로써 완성되는 일반적인 완구에 해당한다.
한편, 식별정보 저장수단(12)은 이러한 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구(10)의 식별정보를 저장한다.
완구(10) 식별정보는 상기에서 살펴본 바와 같이 문자와 숫자의 조합으로 이루어지는 고유식별자(예컨대, "14213xage")일 수도 있으나, 완구의 종류, 고유식별자와 동작의 종류와 같은 층위를 갖는 계층적인 데이터(예컨대 "어린이용 완구-사람형 완구-로봇유형1-태권브이-동작유형1, 동작유형2, 동작유형3")일 수도 있다.
이러한 식별정보 저장수단(12)은 비휘발성 메모리이거나 IC칩 등, 디지털 데이터를 저장하기 위한 알려진 수단이 사용될 수 있다.
한편, 애드온 체결 공간부(13)는 애드온 하우징(21)과 체결되는 상기 완구 하우징(11)의 외부 일측 부위에 해당한다.
바람직하게는 도 6에 예시된 바와 같이 완구 하우징(11)의 외부 일측에서 내측으로 함몰되되, 상기 함몰된 공간 내측으로 애드온 하우징(21)의 적어도 일부가 삽입되어 체결되는 공간의 형태일 수도 있다.
다만, 애드온 하우징(21)과 체결되어 결합하는 것이라면 반드시 애드온 하우징(21)의 일부가 삽입되는 형태일 필요는 없다.
이때, 애드온 체결 공간부(13)는 도 6에 도시된 바와 같이 특정한 방향으로만 애드온 하우징(21)이 삽입되어 체결될 수 있도록 그 형상이나 모양이 애드온 하우징(21)에 대응되도록 제작됨이 바람직하다.
애드온 하우징(21)의 체결을 위하여 애드온 하우징(21)이 일정한 깊이 이상 삽입되면 애드온 하우징(21)의 일측으로 걸리는 걸쇠와 같은 부재가 더 구비될 수 있다.
적어도 애드온 하우징(21)이 체결되어 분리되지 않도록 고정된다면 체결을 위한 구체적인 수단은 걸쇠 이외에도 퀵 릴리스, 나사, 집게 등의 다양한 부재가 사용될 수 있다.
한편, 애드온(20)은 완구의 상기 애드온 체결 공간부(13)에 체결됨에 따라 완구(10)의 식별정보 저장수단(12)에 저장된 식별정보를 독출한다.
연결커넥터(14)는 이를 위한 것으로 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 식별정보 저장수단(12)과 전기적으로 연결된다.
도 1에 도시된 바와 같이 애드온 하우징(21)이 애드온 체결 공간부(13)에 체결됨에 따라 연결커넥터(14)는 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결한다.
이에 의하여 후술하는 바와 같이 애드온 장치(20)가 식별정보 저장수단(12)에 저장된 완구(10)의 식별정보를 독출할 수 있게 된다.
한편, 연결커넥터(14)를 통해 전기적으로 직접 접촉함으로써 식별정보를 애드온 장치(20)로 제공하는 방법 이외에, 블루투스와 같은 근거리 무선통신 방식에 의하여 애드온 장치(20)로 식별정보를 전송할 수도 있을 것이다.
이 경우 연결커넥터(14) 대신 무선 통신 어댑터가 구비될 수 있다.
한편, 애드온 장치(20)는 도 7에 도시된 바에 의할 때, 애드온 하우징(21), 통신수단(22), 센서(23), 연결단자(24), 제어회로부(25), 배터리(26), 버튼(27), 반응수단(28) 및 다수 개의 스위치(29)를 구비한다.
애드온 하우징(21)은 내부에 공간이 형성되며, 적어도 일측부가 완구(10)의 애드온 체결 공간부(13)에 대응되는 형상을 가진다.
이에 의해 사용자는 도 1에 도시된 바와 같이 애드온 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하여 고정시킬 수 있게 된다.
한편, 통신수단(22)은 상기 애드온 하우징(21) 내부에 실장되며, 유무선 통신 방식에 의하여 증강현실 컨텐츠 제공 장치(1)와 통신한다.
블루투스, RF, IR, Wifi 등의 알려진 유무선 통신방식이 사용될 수 있다.
한편, 센서(23)는 상기 애드온 하우징(21) 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출한다.
이를 위하여 하나 이상의 센서(23)가 구비될 수도 있다.
한편, 연결단자(24)는 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 삽입됨에 따라 애드온 체결 공간부(13)의 내측으로 노출된 연결커넥터(14)에 접촉한다.
한편, 제어회로부(25)는 연결단자(24)를 통해 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출한다.
그러나, 상기에서 살펴본 바와 같이 완구(10)로부터 무선통신 방식에 의하여 완구(10)의 식별정보를 독출할 수도 있으며, 이 경우 연결단자(24) 대신에 무선 통신 어댑터가 사용될 수도 있다.
제어회로부(25)는 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 증강현실 컨텐츠 제공 장치(1)로 전송한다.
이에 의해 증강현실 컨텐츠 제공 장치(1)는 도 2에 도시된 바와 같이 완구(10)의 식별정보에 대응하는 컨텐츠를 인출하여 디스플레이 수단을 통해 표시할 수 있다.
한편, 이때 제어회로부(25)는 애드온 장치(20)의 식별정보를 더 저장할 수 있으며, 완구(10)의 식별정보 대신 또는 완구(10)의 식별정보와 함께 상기 증강현실 컨텐츠 제공 장치(1)로 제공할 수도 있다.
증강현실 컨텐츠 제공 장치(1)는 애드온 장치(20)의 식별정보 또는 완구(10)와 애드온 장치(20)의 식별정보의 조합에 따라 적당한 컨텐츠를 인출할 수도 있을 것이다.
그리고, 증강현실 컨텐츠 제공 장치(1)는 센서(23)가 검출한 값에 따라서 표시되는 컨텐츠를 다양하게 변형하여 더 표시한다.
예컨대, 사용자가 기차 완구를 잡고서 앞쪽으로 움직이면, 센서(23)가 이동방향이나 속도, 가속도를 검출하며, 증강현실 컨텐츠 제공 장치(1)는 검출된 값에 따라 "너무 빨라, 조심해"라는 캡션을 표시하거나, 기차가 빨리 지나가는 소리에 해당하는 웨이브 파일을 재생하거나, 기차가 빠르게 움직이는 등의 특수효과를 포함하는 애니메이션을 재생하여 표시할 수 있을 것이다.
한편, 완구(10)가 동작완구인 경우에는 더욱 다양한 놀이 활동이 가능해진다.
즉, 이 경우 완구(10)는 모터, 스피커, 발광유닛 가운데 하나 이상을 포함하되, 상기 모터, 스피커 또는 발광유닛(LED 등)을 통해 완구의 움직임을 제어하거나, 음향을 발생시키거나, 빛을 발광시키는 완구동작수단(16)을 더 구비한다.
완구동작수단(16)은 공지의 동작완구에 구비되는 완구의 동작(소리나 빛의 발광을 포함)을 위한 부재에 해당한다.
그리고, 완구(10)는 이러한 완구동작수단(16)에 의하여 완구의 동작이 있으면 - 즉, 모터에 의해 완구가 움직이거나, 스피커를 통해 음향이 발생되거나, 발광유닛을 통해 빛이 발광되면 - 상기 애드온 체결 공간부(13)에 체결된 상기 애드온 장치(20)로 어떤 동작이 있었는지를 나타내는 완구동작신호를 송출하는 완구동작신호 송수신 수단(17);을 더 구비한다.
상기 기차 완구의 예에서, 기차 완구는 앞으로 전진하는 "동작 유형 1", 기차소리를 재생하는 "동작 유형 2"의 두 가지 동작을 하며,
완구동작신호 송수신 수단(17)은 기차 완구가 앞으로 전진했을 경우 "동작 유형 1" 신호를, 기차소리가 재생된 경우 "동작 유형 2" 신호를 애드온 장치(20)로 제공한다.
한편, 애드온 장치(20)의 제어회로부(25)는 연결단자(24)를 통해 완구(10)의 어떤 동작이 있었는지를 알리는 완구동작신호를 수신하면, 상기 통신수단(22)을 통해 상기 수신한 완구동작신호를 증강현실 컨텐츠 제공 장치(1)로 송출한다.
이에 따라 완구동작신호를 증강현실 컨텐츠 제공 장치(1)는 완구의 동작에 대응하는 컨텐츠를 디스플레이 수단의 화면에 오버레이하여 더 표시할 수 있게 된다.
한편, 반대로 증강현실 컨텐츠 제공 장치(1)가 제공하는 컨텐츠 내에서 소정의 이벤트가 발생한 경우 - 예컨대, 기차 완구를 가지고서 하는 게임 컨텐츠 내에서 기차가 장애물에 충돌한 경우 - 증강현실 컨텐츠 제공 장치(1)는 애드온 장치(20), 구체적으로는 애드온 장치(20)의 통신수단(22)으로 제어명령을 송출할 수 있다.
제어명령은 완구(10)가 동작완구인 경우, 그리고 해당 완구(10)의 식별정보로부터 해당 완구가 어떤 동작을 할 수 있는지(예컨대, "동작유형1", "동작유형2") 미리 알 수 있는 경우, 완구(10)가 할 수 있는 동작 가운데 어느 하나에 해당하는 신호이다.
제어회로부(25)는 상기 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결된 상태에서, 증강현실 컨텐츠 제공 장치(1)로부터 상기 완구(10)의 동작을 제어하기 위한 제어명령을 수신하면 이를 연결단자(24)를 통해 상기 완구(10)의 동작신호 송수신수단(17)으로 제공한다.
완구(10)의 동작신호 송수신수단(17)은 수신한 제어명령에 따라 완구동작수단(16)을 제어하여 소정의 동작을 하도록 한다.
상기 기차 완구의 예에서, "동작 유형 1"의 제어 신호를 수신한 경우라면, 완구동작수단(16)의 모터를 제어하여 기차 완구를 앞으로 가도록 제어하고, "동작 유형 2"의 제어 신호를 수신한 경우라면, 스피커를 통해 기차소리를 재생할 수 있을 것이다.
한편, 동작 완구가 아닌 경우 또는 동작 완구이지만 리모콘 조작이 가능하지 않은 동작 완구인 경우, 애드온 장치(20)가 증강현실 컨텐츠 제공 장치(1)로부터의 제어명령에 반응하도록 할 수도 있다.
이러한 경우, 애드온 장치(20)는 진동모터, 스피커, 발광유닛 가운데 하나 이상을 포함하되, 상기 진동모터를 통해 진동을 발생시키거나, 스피커를 통해 음향을 발생시키거나, 발광유닛을 통해 빛을 발광시키는 반응수단(28)을 구비할 수 있다.
한편, 제어회로부(25)는 증강현실 컨텐츠 제공 장치(1)로부터 제어명령을 수신하면 상기 반응수단(28)을 제어하여 진동, 음향 또는 빛을 발생시킬 수 있을 것이다.
예컨대, 상기 기차 완구의 예에서, "동작 유형 1"의 제어 신호를 수신한 경우, 제어회로부(23)가 반응수단(28)의 진동 모터를 제어하여 진동을 발생시키거나, 또는 "동작 유형 2"의 제어 신호를 수신한 경우, 반응수단(28)의 스피커를 통해 비프 음을 발생시킬 수 있을 것이다.
완구마다 미리 준비된 동작을 정확하게 하지는 못한다고 하여도 적어도 진동, 소리, LED 발광과 같은 요소를 통해 증강현실 컨텐츠 제공 장치(1)로부터 제어명령에 대해 반응할 수 있다.
한편, 상기의 예에서는 완구(10)의 동작시에 제어회로부(23)가 완구(10)가 어떤 동작을 했는지를 증강현실 컨텐츠 제공 장치(1)로 알렸으며, 이에 대응하여 증강현실 컨텐츠 제공 장치(1)가 적절한 컨텐츠를 디스플레이 수단을 통해 표시하였다.
그러나, 완구(10)가 어떤 동작을 했는지를 전기적 신호로 독출하기 어려운 경우 - 완구(10) 자체에 이러한 기능이 구현되지 않은 경우 - 에는 애드온 장치(20)가 소정의 입력수단을 구비할 수 있다.
예컨대, 애드온 장치(20)는 애드온 하우징(21) 외부에 노출되는 버튼(27)을 더 구비할 수 있다. 이러한 버튼(27)은 하나 또는 그 이상 구비될 수 있다.
한편, 제어회로부(25)는 사용자에 의하여 버튼(27)이 눌러지면 상기 통신수단(22)을 통해 버튼이 눌러졌음을 알리는 신호인 버튼 프레스 이벤트 신호를 증강현실 컨텐츠 제공 장치(1)로 송출한다.
이에 따라 증강현실 컨텐츠 제공 장치(1)는 눌러진 버튼에 대응하여, 상기 완구(10)의 식별정보에 해당하는 컨텐츠 가운데 적당한 것을 선택하여 표시할 수 있다.
예컨대, 상기 기차 완구의 예에서, 사용자가 두 개의 버튼 가운데 어느 하나를 눌렀을 경우, 증강현실 컨텐츠 제공 장치(1)는 특정한 고유식별자를 갖는 "기차 완구"의 "동작 유형 1"의 신호가 입력된 것으로 보아 디스플레이 화면에 기차가 앞으로 움직이는 애니메이션을 표시할 수 있을 것이다.
즉, 완구(10)가 동작하지 않았음에도 불구하고, 버튼 프레스 이벤트 신호를 해당 완구의 "동작 유형 1" 신호로 매핑하여, 기차 완구가 앞으로 움직인 동작을 한 것과 같은 반응을 할 수 있다.
한편, 이하에서는 도 8를 참조하여, 본 발명에 의한 완구 부착형 증강현실 콘트롤러의 이 실시예를 살펴보기로 한다.
도 8는 다수개의 애드온이 완구에 체결되는 경우를 예시하는 참고도이다.
도 8에 도시된 바에 의할 때, 완구(10)에 구비된 상기 애드온 체결 공간부(13)의 일측에 돌출되거나 또는 함몰된 하나 또는 그 이상의 스위치 트리거(15)가 더 구비된다.
이러한 하나 또는 그 이상의 스위치 트리거(15)는 그 위치 및 조합에 의하여 상기 완구(10)의 식별정보 또는 완구(10)의 체결 부위를 나타낼 수 있다.
한편, 애드온 장치(20)의 애드온 하우징(21) 일측면에는 다수개의 스위치(29)가 노출되어 구비된다.
이러한 다수개의 스위치(29)는 눌러지거나 또는 접촉됨에 따라 신호를 발생시킨다.
사용자가 도 8에 도시된 바와 같이 애드온 장치(20), 즉 애드온 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 상기 다수개의 스위치(29) 가운데 적어도 일부는 상기 완구(10)의 스위치 트리거(15)에 의하여 눌러지거나 또는 스위치 트리거(15)에 접촉한다.
이에 따라, 상기 다수개의 스위치(29) 가운데 눌러지거나 스위치 트리거(15)에 접촉한 스위치(29)가 신호를 발생시키면, 제어회로부(25)는 상기 다수개의 스위치(29) 가운데 신호를 발생시킨 스위치의 조합에 관한 정보를 상기 통신수단(22)을 통해 증강현실 컨텐츠 제공 장치(1)로 전송한다.
스위치 트리거(15)는 도 8에 도시된 바와 같이 돌출된 턱의 형상을 가질 수 있으며, 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 다수개의 스위치(29) 가운데 어느 하나를 누르게 된다.
반면, 스위치 트리거(15)가 함몰된 형태인 경우, 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 다수개의 스위치(29) 가운데 상기 스위치 트리거(15)에 대응되는 스위치(29)를 제외한 나머지는 애드온 체결 공간부(13)의 저면에 의해 눌러지게 된다.
이와 같이 눌러진 스위치(29)의 조합에 의하여 완구(10)를 식별할 수도 있다.
또는, 일 실시예에서 살펴본 것처럼 식별정보 저장수단(12)에 의하여 디지털 데이터인 식별정보를 저장하되, 이와는 별개로 눌러진 스위치(29)의 조합을 활용할 수도 있다.
예컨대, 도 8에서는 4개의 애드온 체결 공간부(13)가 구비된 것을 알 수 있다.
한편, 애드온 체결 공간부(13)와 애드온 장치(20)는 특정한 방향으로만 체결할 수 있도록 되어 있으며, 각 애드온 체결 공간부(13)에 구비된 하나 또는 그 이상의 스위치 트리거(15)는 그 위치 또는 개수의 조합이 각각 상이한 것을 알 수 있다.
즉, 사용자가 애드온 체결 공간부(13)에 애드온 장치(20)를 체결했을 때, 눌러진 스위치(29)의 조합은 각 애드온 체결 공간부(13) 마다 상이하다.
이에 의하여 애드온 장치(20)를 완구(10)에 구비된 애드온 체결 공간부(13) 가운데 임의의 어느 하나에 체결했을 때, 제어회로부(25)는 통신수단(22)을 통해 눌러진 스위치(29)의 조합에 관한 정보를 증강현실 컨텐츠 제공장치(1)로 송출할 수 있다.
이에 따라, 증강현실 컨텐츠 제공장치(1)는 애드온 장치(20)가 완구(10)의 어느 부위에 체결되었는지 식별할 수 있게 된다.
이때, 제어회로부(25)는 상기 센서(23)가 소정의 값을 검출함에 따라 검출된 값과 상기 완구(10)의 식별정보, 상기 완구(10)와 체결된 부위에 대한 정보, 상기 애드온 장치(20)의 식별정보 가운데 하나 이상을 조합하여 상기 증강현실 컨텐츠 제공 장치(1)로 전송할 수 있다.
즉, 증강현실 컨텐츠 제공장치(1)는 동시에 둘 이상의 애드온 장치(20)와 통신하는 경우, 전송되는 정보의 조합으로부터 적당한 컨텐츠를 선정할 수 있을 뿐 아니라, 전송되는 정보의 조합으로부터 어느 애드온 장치(20)로부터의 신호인지를 식별할 수 있다.
그리고, 해당 완구(10)의 식별정보에 해당하는 컨텐츠 가운데, 특히 애드온 장치(20)가 체결된 부위에 관한 컨텐츠를 인출하여 디스플레이 수단을 통해 표시할 수 있다.
예컨대, 도 8에 도시된 바와 같은 로봇 완구의 팔에 애드온 장치(20)가 부착된 경우라면, 증강현실 컨텐츠 제공장치(1)는 화면에 표시되는 로봇 완구 영상의 팔 부분에 칼이나 총과 같은 무기의 그래픽 이미지를 오버레이하여 표시할 수 있을 것이다.
그리고, 그 상태에서 애드온 장치(20)의 버튼(27)이 눌러지면, 칼을 휘두르거나 총을 쏘는 애니메이션을 재생할 수 있을 것이다.
한편, 애드온 장치(20)가 몸통이나 다리에 체결된 경우라면 또 마찬가지로 해당 부위와 관련한 적절한 컨텐츠를 인출하여 디스플레이 수단의 화면에 표시할 수 있을 것이다.
상기에서는 애드온 장치(20)가 통신수단(22)과 센서(23)를 갖는 전자장비이며, 완구(10)는 사용자가 놀이를 할 때 사용하는 도구인 것으로 설명하였으나, 실제 구현시에는 적어도 외형상으로는 이와 같이 명확하게 구분되지 않을 수 있다.
즉, 애드온 장치(20) 또한 완구, 놀잇감의 형태일 수 있으며 완구(10)는 또 다른 놀잇감일 수 있다.
예컨대, 완구(10)가 로봇 완구이고, 애드온 장치(20)는 로봇 완구에 부착할 수 있는 무기, 장비 형태로 제작될 수 있을 것이다.
한편, 상기 예에서는 어느 하나의 완구(10)에 다수의 애드온 장치(20)가 체결되는 경우를 예를 들어 설명하였으나, 반대로 하나의 애드온 장치(20)에 다수의 완구(20)가 체결되는 구조일 수도 있다.
이 경우, 애드온 장치(20)는 완구(10)가 체결될 수 있는 다수의 체결 부위를 가지며, 그 가운데 어디에 완구(10)가 체결되었는지 파악하되, 해당 부위에 체결된 완구(10)의 식별정보와의 조합을 증강현실 컨텐츠 제공장치(1)로 전송할 수 있다.
증강현실 컨텐츠 제공장치(1)는 하나의 완구(10)에 다수의 애드온 장치(20)가 체결된 경우와 마찬가지로 이들의 조합을 이용하여 적절한 컨텐츠를 인출할 수 있다.
이하에서는 도 6 및 도 7를 참조하여 본 발명의 일 실시예에 의한 증강현실 콘트롤러가 부착되는 완구의 구조를 살펴보기로 한다.
본 발명에 의한 증강현실 콘트롤러가 부착되는 완구는 완구(10)와 애드온 장치(20)의 조합이거나, 또는 바람직하게는 완구(10)와 체결되어 결합되는 애드온 장치(20)에 해당한다.
우선, 완구(10)의 구조를 먼저 살펴보면, 완구(10)는 도 7에 도시된 바에 의할 때, 완구 바디(11), 식별정보 저장수단(12), 애드온 체결 공간부(13), 연결커넥터(14), 스위치 트리거(15), 완구동작수단(16), 완구동작신호 송수신 수단(17)을 구비한다.
완구 하우징(11)은 일반적인 공지의 완구에 해당한다. 합성수지 또는 금속 재질로 다이캐스팅되거나 사출성형 등의 방법에 의해 제조되며, 둘 이상의 부품이 조립됨으로써 완성되는 일반적인 완구에 해당한다.
한편, 식별정보 저장수단(12)은 이러한 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구(10)의 식별정보를 저장한다.
완구(10) 식별정보는 상기에서 살펴본 바와 같이 문자와 숫자의 조합으로 이루어지는 고유식별자(예컨대, "14213xage")일 수도 있으나, 완구의 종류, 고유식별자와 동작의 종류와 같은 층위를 갖는 계층적인 데이터(예컨대 "어린이용 완구-사람형 완구-로봇유형1-태권브이-동작유형1, 동작유형2, 동작유형3")일 수도 있다.
이러한 식별정보 저장수단(12)은 비휘발성 메모리이거나 IC칩 등, 디지털 데이터를 저장하기 위한 알려진 수단이 사용될 수 있다.
한편, 애드온 체결 공간부(13)는 애드온 하우징(21)과 체결되는 상기 완구 하우징(11)의 외부 일측 부위에 해당한다.
바람직하게는 도 6에 예시된 바와 같이 완구 하우징(11)의 외부 일측에서 내측으로 함몰되되, 상기 함몰된 공간 내측으로 애드온 하우징(21)의 적어도 일부가 삽입되어 체결되는 공간의 형태일 수도 있다.
다만, 애드온 하우징(21)과 체결되어 결합하는 것이라면 반드시 애드온 하우징(21)의 일부가 삽입되는 형태일 필요는 없다.
이때, 애드온 체결 공간부(13)는 도 6에 도시된 바와 같이 특정한 방향으로만 애드온 하우징(21)이 삽입되어 체결될 수 있도록 그 형상이나 모양이 애드온 하우징(21)에 대응되도록 제작됨이 바람직하다.
애드온 하우징(21)의 체결을 위하여 애드온 하우징(21)이 일정한 깊이 이상 삽입되면 애드온 하우징(21)의 일측으로 걸리는 걸쇠와 같은 부재가 더 구비될 수 있다.
적어도 애드온 하우징(21)이 체결되어 분리되지 않도록 고정된다면 체결을 위한 구체적인 수단은 걸쇠 이외에도 퀵 릴리스, 나사, 집게 등의 다양한 부재가 사용될 수 있다.
한편, 애드온(20)은 완구의 상기 애드온 체결 공간부(13)에 체결됨에 따라 완구(10)의 식별정보 저장수단(12)에 저장된 식별정보를 독출한다.
연결커넥터(14)는 이를 위한 것으로 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 식별정보 저장수단(12)과 전기적으로 연결된다.
도 1에 도시된 바와 같이 애드온 하우징(21)이 애드온 체결 공간부(13)에 체결됨에 따라 연결커넥터(14)는 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결한다.
이에 의하여 후술하는 바와 같이 애드온 장치(20)가 식별정보 저장수단(12)에 저장된 완구(10)의 식별정보를 독출할 수 있게 된다.
한편, 연결커넥터(14)를 통해 전기적으로 직접 접촉함으로써 식별정보를 애드온 장치(20)로 제공하는 방법 이외에, 블루투스와 같은 근거리 무선통신 방식에 의하여 애드온 장치(20)로 식별정보를 전송할 수도 있을 것이다.
이 경우 연결커넥터(14) 대신 무선 통신 어댑터가 구비될 수 있다.
한편, 애드온 장치(20)는 도 7에 도시된 바에 의할 때, 애드온 하우징(21), 통신수단(22), 센서(23), 연결단자(24), 제어회로부(25), 배터리(26), 버튼(27), 반응수단(28) 및 다수 개의 스위치(29)를 구비한다.
애드온 하우징(21)은 내부에 공간이 형성되며, 적어도 일측부가 완구(10)의 애드온 체결 공간부(13)에 대응되는 형상을 가진다.
이에 의해 사용자는 도 1에 도시된 바와 같이 애드온 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하여 고정시킬 수 있게 된다.
한편, 통신수단(22)은 상기 애드온 하우징(21) 내부에 실장되며, 유무선 통신 방식에 의하여 증강현실 컨텐츠 제공 장치(1)와 통신한다.
블루투스, RF, IR, Wifi 등의 알려진 유무선 통신방식이 사용될 수 있다.
한편, 센서(23)는 상기 애드온 하우징(21) 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출한다.
이를 위하여 하나 이상의 센서(23)가 구비될 수도 있다.
한편, 연결단자(24)는 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 삽입됨에 따라 애드온 체결 공간부(13)의 내측으로 노출된 연결커넥터(14)에 접촉한다.
한편, 제어회로부(25)는 연결단자(24)를 통해 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출한다.
그러나, 상기에서 살펴본 바와 같이 완구(10)로부터 무선통신 방식에 의하여 완구(10)의 식별정보를 독출할 수도 있으며, 이 경우 연결단자(24) 대신에 무선 통신 어댑터가 사용될 수도 있다.
제어회로부(25)는 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 증강현실 컨텐츠 제공 장치(1)로 전송한다.
이에 의해 증강현실 컨텐츠 제공 장치(1)는 도 2에 도시된 바와 같이 완구(10)의 식별정보에 대응하는 컨텐츠를 인출하여 디스플레이 수단을 통해 표시할 수 있다.
그리고, 센서(23)가 검출한 값에 따라서 표시되는 컨텐츠를 다양하게 변형하여 더 표시한다.
예컨대, 사용자가 기차 완구를 잡고서 앞쪽으로 움직이면, 센서(23)가 이동방향이나 속도, 가속도를 검출하며, 증강현실 컨텐츠 제공 장치(1)는 검출된 값에 따라 "너무 빨라, 조심해"라는 캡션을 표시하거나, 기차가 빨리 지나가는 소리에 해당하는 웨이브 파일을 재생하거나, 기차가 빠르게 움직이는 등의 특수효과를 포함하는 애니메이션을 재생하여 표시할 수 있을 것이다.
한편, 완구(10)가 동작완구인 경우에는 더욱 다양한 놀이 활동이 가능해진다.
즉, 이 경우 완구(10)는 모터, 스피커, 발광유닛 가운데 하나 이상을 포함하되, 상기 모터, 스피커 또는 발광유닛(LED 등)을 통해 완구의 움직임을 제어하거나, 음향을 발생시키거나, 빛을 발광시키는 완구동작수단(16)을 더 구비한다.
완구동작수단(16)은 공지의 동작완구에 구비되는 완구의 동작(소리나 빛의 발광을 포함)을 위한 부재에 해당한다.
그리고, 완구(10)는 이러한 완구동작수단(16)에 의하여 완구의 동작이 있으면 - 즉, 모터에 의해 완구가 움직이거나, 스피커를 통해 음향이 발생되거나, 발광유닛을 통해 빛이 발광되면 - 상기 애드온 체결 공간부(13)에 체결된 상기 애드온 장치(20)로 어떤 동작이 있었는지를 나타내는 완구동작신호를 송출하는 완구동작신호 송수신 수단(17);을 더 구비한다.
상기 기차 완구의 예에서, 기차 완구는 앞으로 전진하는 "동작 유형 1", 기차소리를 재생하는 "동작 유형 2"의 두 가지 동작을 하며,
완구동작신호 송수신 수단(17)은 기차 완구가 앞으로 전진했을 경우 "동작 유형 1" 신호를, 기차소리가 재생된 경우 "동작 유형 2" 신호를 애드온 장치(20)로 제공한다.
한편, 애드온 장치(20)의 제어회로부(25)는 연결단자(24)를 통해 완구(10)의 어떤 동작이 있었는지를 알리는 완구동작신호를 수신하면, 상기 통신수단(22)을 통해 상기 수신한 완구동작신호를 증강현실 컨텐츠 제공 장치(1)로 송출한다.
이에 따라 완구동작신호를 증강현실 컨텐츠 제공 장치(1)는 완구의 동작에 대응하는 컨텐츠를 디스플레이 수단의 화면에 오버레이하여 더 표시할 수 있게 된다.
한편, 반대로 증강현실 컨텐츠 제공 장치(1)가 제공하는 컨텐츠 내에서 소정의 이벤트가 발생한 경우 - 예컨대, 기차 완구를 가지고서 하는 게임 컨텐츠 내에서 기차가 장애물에 충돌한 경우 - 증강현실 컨텐츠 제공 장치(1)는 애드온 장치(20), 구체적으로는 애드온 장치(20)의 통신수단(22)으로 제어명령를 송출할 수 있다.
제어명령는 완구(10)가 동작완구인 경우, 그리고 해당 완구(10)의 식별정보로부터 해당 완구가 어떤 동작을 할 수 있는지(예컨대, "동작유형1", "동작유형2") 미리 알 수 있는 경우, 완구(10)가 할 수 있는 동작 가운데 어느 하나에 해당하는 신호이다.
제어회로부(25)는 상기 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결된 상태에서, 증강현실 컨텐츠 제공 장치(1)로부터 상기 완구(10)의 동작을 제어하기 위한 제어명령을 수신하면 이를 연결단자(24)를 통해 상기 완구(10)의 동작신호 송수신수단(17)으로 제공한다.
완구(10)의 동작신호 송수신수단(17)은 수신한 제어명령에 따라 완구동작수단(16)을 제어하여 소정의 동작을 하도록 한다.
상기 기차 완구의 예에서, "동작 유형 1"의 제어 신호를 수신한 경우라면, 완구동작수단(16)의 모터를 제어하여 기차 완구를 앞으로 가도록 제어하고, "동작 유형 2"의 제어 신호를 수신한 경우라면, 스피커를 통해 기차소리를 재생할 수 있을 것이다.
한편, 동작 완구가 아닌 경우 또는 동작 완구이지만 리모콘 조작이 가능하지 않은 동작 완구인 경우, 애드온 장치(20)가 증강현실 컨텐츠 제공 장치(1)로부터의 제어명령에 반응하도록 할 수도 있다.
이러한 경우, 애드온 장치(20)는 진동모터, 스피커, 발광유닛 가운데 하나 이상을 포함하되, 상기 진동모터를 통해 진동을 발생시키거나, 스피커를 통해 음향을 발생시키거나, 발광유닛을 통해 빛을 발광시키는 반응수단(28)을 구비할 수 있다.
한편, 제어회로부(25)는 증강현실 컨텐츠 제공 장치(1)로부터 제어명령을 수신하면 상기 반응수단(28)을 제어하여 진동, 음향 또는 빛을 발생시킬 수 있을 것이다.
예컨대, 상기 기차 완구의 예에서, "동작 유형 1"의 제어 신호를 수신한 경우, 제어회로부(23)가 반응수단(28)의 진동 모터를 제어하여 진동을 발생시키거나, 또는 "동작 유형 2"의 제어 신호를 수신한 경우, 반응수단(28)의 스피커를 통해 비프 음을 발생시킬 수 있을 것이다.
완구마다 미리 준비된 동작을 정확하게 하지는 못한다고 하여도 적어도 진동, 소리, LED 발광과 같은 요소를 통해 증강현실 컨텐츠 제공 장치(1)로부터 제어명령에 대해 반응할 수 있다.
한편, 상기의 예에서는 완구(10)의 동작시에 제어회로부(23)가 완구(10)가 어떤 동작을 했는지를 증강현실 컨텐츠 제공 장치(1)로 알렸으며, 이에 대응하여 증강현실 컨텐츠 제공 장치(1)가 적절한 컨텐츠를 디스플레이 수단을 통해 표시하였다.
그러나, 완구(10)가 어떤 동작을 했는지를 전기적 신호로 독출하기 어려운 경우 - 완구(10) 자체에 이러한 기능이 구현되지 않은 경우 - 에는 애드온 장치(20)가 소정의 입력수단을 구비할 수 있다.
예컨대, 애드온 장치(20)는 애드온 하우징(21) 외부에 노출되는 버튼(27)을 더 구비할 수 있다. 이러한 버튼(27)은 하나 또는 그 이상 구비될 수 있다.
한편, 제어회로부(25)는 사용자에 의하여 버튼(27)이 눌러지면 상기 통신수단(22)을 통해 버튼이 눌러졌음을 알리는 신호인 버튼 프레스 이벤트 신호를 증강현실 컨텐츠 제공 장치(1)로 송출한다.
이에 따라 증강현실 컨텐츠 제공 장치(1)는 눌러진 버튼에 대응하여, 상기 완구(10)의 식별정보에 해당하는 컨텐츠 가운데 적당한 것을 선택하여 표시할 수 있다.
예컨대, 상기 기차 완구의 예에서, 사용자가 두 개의 버튼 가운데 어느 하나를 눌렀을 경우, 증강현실 컨텐츠 제공 장치(1)는 특정한 고유식별자를 갖는 "기차 완구"의 "동작 유형 1"의 신호가 입력된 것으로 보아 디스플레이 화면에 기차가 앞으로 움직이는 애니메이션을 표시할 수 있을 것이다.
즉, 완구(10)가 동작하지 않았음에도 불구하고, 버튼 프레스 이벤트 신호를 해당 완구의 "동작 유형 1" 신호로 매핑하여, 기차 완구가 앞으로 움직인 동작을 한 것과 같은 반응을 할 수 있다.
한편, 이하에서는 도 8를 참조하여, 본 발명에 의한 증강현실 콘트롤러가 부착되는 완구의 이 실시예를 살펴보기로 한다.
도 8은 다수개의 애드온이 완구에 체결되는 경우를 예시하는 참고도이다.
도 8에 도시된 바에 의할 때, 완구(10)에 구비된 상기 애드온 체결 공간부(13)의 일측에 돌출되거나 또는 함몰된 하나 또는 그 이상의 스위치 트리거(15)가 더 구비된다.
이러한 하나 또는 그 이상의 스위치 트리거(15)는 그 위치 및 조합에 의하여 상기 완구(10)의 식별정보를 나타낼 수 있다.
한편, 애드온 장치(20)의 애드온 하우징(21) 일측면에는 다수개의 스위치(29)가 노출되어 구비된다.
이러한 다수개의 스위치(29)는 눌러지거나 또는 접촉됨에 따라 신호를 발생시킨다.
사용자가 도 8에 도시된 바와 같이 애드온 장치(20), 즉 애드온 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 상기 다수개의 스위치(29) 가운데 적어도 일부는 상기 완구(10)의 스위치 트리거(15)에 의하여 눌러지거나 또는 스위치 트리거(15)에 접촉한다.
이에 따라, 상기 다수개의 스위치(29) 가운데 눌러지거나 스위치 트리거(15)에 접촉한 스위치(29)가 신호를 발생시키면, 제어회로부(25)는 상기 다수개의 스위치(29) 가운데 신호를 발생시킨 스위치의 조합에 관한 정보를 상기 통신수단(22)을 통해 증강현실 컨텐츠 제공 장치(1)로 전송한다.
스위치 트리거(15)는 도 8에 도시된 바와 같이 돌출된 턱의 형상을 가질 수 있으며, 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 다수개의 스위치(29) 가운데 어느 하나를 누르게 된다.
반면, 스위치 트리거(15)가 함몰된 형태인 경우, 하우징(21)을 완구(10)의 애드온 체결 공간부(13)에 체결하면, 다수개의 스위치(29) 가운데 상기 스위치 트리거(15)에 대응되는 스위치(29)를 제외한 나머지는 애드온 체결 공간부(13)의 저면에 의해 눌러지게 된다.
이와 같이 눌러진 스위치(29)의 조합에 의하여 완구(10)를 식별할 수도 있다.
또는, 일 실시예에서 살펴본 것처럼 식별정보 저장수단(12)에 의하여 디지털 데이터인 식별정보를 저장하되, 이와는 별개로 눌러진 스위치(29)의 조합을 활용할 수도 있다.
예컨대, 도 8에서는 4개의 애드온 체결 공간부(13)가 구비된 것을 알 수 있다.
한편, 애드온 체결 공간부(13)와 애드온 장치(20)는 특정한 방향으로만 체결할 수 있도록 되어 있으며, 각 애드온 체결 공간부(13)에 구비된 하나 또는 그 이상의 스위치 트리거(15)는 그 위치 또는 개수의 조합이 각각 상이한 것을 알 수 있다.
즉, 사용자가 애드온 체결 공간부(13)에 애드온 장치(20)를 체결했을 때, 눌러진 스위치(29)의 조합은 각 애드온 체결 공간부(13) 마다 상이하다.
이에 의하여 애드온 장치(20)를 완구(10)에 구비된 애드온 체결 공간부(13) 가운데 임의의 어느 하나에 체결했을 때, 제어회로부(25)는 통신수단(22)을 통해 눌러진 스위치(29)의 조합에 관한 정보를 증강현실 컨텐츠 제공장치(1)로 송출할 수 있다.
이에 따라, 증강현실 컨텐츠 제공장치(1)는 애드온 장치(20)가 완구(10)의 어느 부위에 체결되었는지 식별할 수 있게 된다.
그리고, 해당 완구(10)의 식별정보에 해당하는 컨텐츠 가운데, 특히 애드온 장치(20)가 체결된 부위에 관한 컨텐츠를 인출하여 디스플레이 수단을 통해 표시할 수 있다.
예컨대, 도 8에 도시된 바와 같은 로봇 완구의 팔에 애드온 장치(20)가 부착된 경우라면, 증강현실 컨텐츠 제공장치(1)는 화면에 표시되는 로봇 완구 영상의 팔 부분에 칼이나 총과 같은 무기의 그래픽 이미지를 오버레이하여 표시할 수 있을 것이다.
그리고, 그 상태에서 애드온 장치(20)의 버튼(27)이 눌러지면, 칼을 휘두르거나 총을 쏘는 애니메이션을 재생할 수 있을 것이다.
한편, 애드온 장치(20)가 몸통이나 다리에 체결된 경우라면 또 마찬가지로 해당 부위와 관련한 적절한 컨텐츠를 인출하여 디스플레이 수단의 화면에 표시할 수 있을 것이다.
상기에서는 애드온 장치(20)가 통신수단(22)과 센서(23)를 갖는 전자장비이며, 완구(10)는 사용자가 놀이를 할 때 사용하는 도구인 것으로 설명하였으나, 실제 구현시에는 적어도 외형상으로는 이와 같이 명확하게 구분되지 않을 수 있다.
즉, 애드온 장치(20) 또한 완구, 놀잇감의 형태일 수 있으며 완구(10)는 또 다른 놀잇감일 수 있다.
예컨대, 완구(10)가 로봇 완구이고, 애드온 장치(20)는 로봇 완구에 부착할 수 있는 무기, 장비 형태로 제작될 수 있을 것이다.
본 발명은 첨부 도면 및 상기와 같은 실시예를 참조하여 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 권리범위는 오직 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이며 상기와 같은 실시예에 국한되지 아니한다.

Claims (25)

  1. 그래픽 컨텐츠를 표시하는 디스플레이 수단을 구비하는 장치에 있어서,
    완구별 식별정보에 대응되며, 다양한 표시방식을 갖는 다수의 컨텐츠를 저장하는 컨텐츠 저장수단;
    완구에 부착된 애드온 장치와 유무선 통신방법에 의하여 통신하는 통신수단;
    상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 상기 완구로부터 독출한 식별정보 또는 상기 애드온 장치의 식별정보를 수신하면, 상기 컨텐츠 저장수단으로부터 상기 완구의 식별정보, 상기 애드온 장치의 식별정보 또는 그 조합에 대응되는 컨텐츠를 인출하여 상기 디스플레이 수단을 통해 표시하는 제어수단; 및
    네트워크를 통해 원격지 장치와 통신 세션을 수립하되, 상기 원격지 장치로부터 상기 원격지 장치의 디스플레이 수단에 표시되는 영상의 데이터를 수신하며, 상기 원격지 장치로부터 상기 원격지 장치가 수신한, 상기 원격지 장치와 통신하는 원격지 애드온 장치가 독출한 상기 원격지 애드온 장치가 부착된 완구의 식별정보, 상기 원격지 애드온 장치의 기울기, 이동방향, 가속도, 상기 원격지 애드온 장치를 향해 설치된 원격지 카메라를 기준으로 한 상대 위치, 상기 원격지 애드온 장치의 식별정보 가운데 어느 하나 이상의 정보를 수신하는 네트워크 어댑터;를 구비하되,
    상기 제어수단은 사용자가 상기 완구를 움직임에 따라 상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 내장 센서를 통해 판독한 상기 애드온 장치의 기울기, 이동방향, 가속도, 상기 애드온 장치를 향해 설치된 카메라를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 수신하면, 이를 이용하여 상기 인출된 완구의 식별정보에 대응하는 컨텐츠의 표시방식을 결정하며,
    상기 네트워크 어댑터를 통해 수신한 상기 원격지 장치의 디스플레이 수단에 표시되는 영상을 화면 일측에 더 표시하되,
    상기 네트워크 어댑터를 통해 수신한 상기 원격지 애드온 장치가 부착된 원격지 완구의 식별정보, 상기 원격지 애드온 장치의 기울기, 이동방향, 가속도 또는 상기 원격지 카메라를 기준으로 한 상대 위치, 상기 원격지 애드온 장치의 식별정보 가운데 어느 하나 또는 그 이상, 상기 완구에 부착된 애드온 장치의 기울기, 이동방향, 가속도 또는 상기 카메라를 기준으로 한 상대 위치, 상기 애드온 장치의 식별정보 가운데 어느 하나 또는 그 이상을 이용하여 상기 완구와 상기 원격지 완구 간 상호작용을 판정하며,
    상기 판정된 상호작용을 이용하여 상기 컨텐츠의 표시방식을 결정하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  2. 제 1 항에 있어서,
    상기 제어수단은 상기 애드온 장치를 향해 설치된 카메라를 기준으로 한 상기 완구 또는 상기 애드온 장치의 상대 위치를 이용하여 상기 완구의 가상 좌표계 상의 좌표를 생성하고,
    원격지 완구의 가상 좌표계 상의 기준 위치를 설정한 다음,
    네트워크 어댑터를 통해 수신한 상기 원격지 완구 또는 상기 원격지 애드온 장치의 상기 원격지 카메라를 기준으로 한 상대위치를 이용하여 상기 원격지 완구의 가상 좌표계 상의 좌표를 생성하고,
    상기 완구와 상기 원격지 완구의 좌표 변화를 이용하여 상기 완구와 상기 원격지 완구 간 상호작용을 판정하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  3. 제 1 항에 있어서,
    상기 제어수단은 상기 네트워크 어댑터를 통해 상기 판정된 상기 완구와 상기 원격지 완구 간 상호작용에 관한 정보를 원격지 장치로 제공하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  4. 제 1 항에 있어서,
    상기 제어수단은 상기 통신수단을 통해 상기 판정된 상기 완구와 상기 원격지 완구 간 상호작용에 해당하는 제어명령을 상기 애드온 장치로 송출하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  5. 그래픽 컨텐츠를 표시하는 디스플레이 수단을 구비하는 장치에 있어서,
    완구별 식별정보에 대응되며, 다양한 표시방식을 갖는 다수의 컨텐츠를 저장하는 컨텐츠 저장수단;
    완구에 부착된 애드온 장치와 유무선 통신방법에 의하여 통신하는 통신수단; 및
    상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 상기 완구로부터 독출한 식별정보 또는 상기 애드온 장치의 식별정보를 수신하면, 상기 컨텐츠 저장수단으로부터 상기 완구의 식별정보, 상기 애드온 장치의 식별정보 또는 그 조합에 대응되는 컨텐츠를 인출하여 상기 디스플레이 수단을 통해 표시하는 제어수단;을 구비하되,
    상기 제어수단은 사용자가 상기 완구를 움직임에 따라 상기 완구에 부착된 애드온 장치로부터, 상기 애드온 장치가 내장 센서를 통해 판독한 상기 애드온 장치의 기울기, 이동방향, 가속도, 상기 애드온 장치를 향해 설치된 카메라를 기준으로 한 상대 위치 가운데 어느 하나 이상의 정보를 수신하면, 이를 이용하여 상기 인출된 완구의 식별정보에 대응하는 컨텐츠의 표시방식을 결정하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  6. 제 5 항에 있어서,
    상기 제어수단은 상기 애드온 장치의 상기 카메라를 기준으로 한 상대 위치 정보를 이용하여 상기 카메라가 촬영한 영상으로부터 상기 완구에 부착된 애드온 장치의 위치를 판독하고,
    상기 판독한 완구에 부착된 애드온 장치의 위치를 중심으로 영상판독을 통해 배경을 제외한 사물의 윤곽을 추출함으로써 상기 애드온 장치가 부착된 완구의 영역을 판정하며,
    상기 판정된 디스플레이상 위치에 상기 식별정보에 대응하는 컨텐츠를 표시하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  7. 제 5 항에 있어서,
    상기 식별정보에 대응하는 컨텐츠는 상기 완구의 3차원 그래픽 데이터를 포함하며,
    상기 컨텐츠의 다양한 표시방식은 상기 완구의 3차원 그래픽 데이터의 표시방향과 상기 완구와 상기 애드온 장치의 부착각도에 관한 정보를 포함하며,
    상기 제어수단은 상기 애드온 장치가 감지한 기울기 정보와 상기 완구와 상기 애드온 장치의 부착각도에 관한 정보의 차이값을 구하고, 이를 이용하여 상기 완구의 3차원 그래픽 데이터의 표시방향을 결정하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  8. 제 5 항에 있어서,
    상기 제어수단은 어느 하나의 완구에 둘 이상의 애드온 장치가 부착되는 경우 상기 둘 이상의 애드온 장치가 부착되는 완구 상의 부위 정보, 상기 둘 이상의 애드온 장치의 식별정보를 이용하여 이에 대응하는 컨텐츠를 인출하며,
    어느 하나의 애드온 장치가 둘 이상의 완구에 동시에 부착되는 경우 상기 둘 이상의 완구가 부착되는 애드온 장치 상의 부위 정보, 상기 둘 이상의 완구의 식별정보를 이용하여 이에 대응하는 컨텐츠를 인출하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  9. 제 5 항에 있어서,
    상기 제어수단은 네트워크 어댑터를 통해 서버로 접속하여 상기 완구에 부착된 애드온의 사용자 계정으로부터 완구의 식별정보에 대응하는 컨텐츠의 추가획득 여부를 확인하고,
    추가획득 내역이 존재하는 경우, 상기 서버로부터 추가로 획득한 컨텐츠를 다운로드하여 상기 컨텐츠 저장 수단에 업데이트하는 것을 특징으로 하는 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템.
  10. 식별정보를 갖는 완구(10)에 체결되는 증강현실 콘트롤러에 있어서,
    애드온 하우징(21);
    상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 증강현실 컨텐츠 제공 장치(1)와 통신하는 통신수단(22);
    상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23);
    애드온 하우징(21)이 상기 완구(10)에 체결됨에 따라, 상기 완구(10)로부터 상기 완구(10)의 식별정보를 독출하여, 상기 센서(23)가 검출한 값과 함께 상기 통신수단(22)을 통해 증강현실 컨텐츠 제공 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);를 구비하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  11. 제 10 항에 있어서,
    상기 제어회로부는,
    애드온 장치(20)의 식별정보를 독출하여, 상기 완구(10)의 식별정보 대신 또는 상기 완구(10)의 식별정보와 함께 상기 증강현실 컨텐츠 제공 장치(1)로 더 전송하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  12. 제 10 항에 있어서,
    상기 제어회로부는,
    애드온 하우징(21)의 완구(10)가 체결되는 다수의 체결 부위 가운데, 완구(10)가 체결된 부위에 대한 정보를 파악하되,
    해당 부위에 체결된 완구(10)의 식별정보를 독출하여 그 조합을 증강현실 컨텐츠 제공장치(1)로 전송하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  13. 제 10 항에 있어서,
    상기 제어회로부는,
    상기 애드온 하우징(21)이 상기 완구(10)에 체결됨에 따라, 상기 완구(10)로부터 상기 애드온 하우징(21)이 상기 완구(10)에 체결된 부위에 대한 정보를 획득하여 상기 증강현실 컨텐츠 제공 장치(1)로 더 전송하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  14. 제 13 항에 있어서,
    상기 제어회로부는,
    상기 완구(10)와의 체결부위에 둘 이상의 스위치(29)를 가지며, 상기 완구(10)의 체결된 부위의 스위치 트리거에 의해 눌러진 스위치(29)의 조합에 의하여 상기 완구(10)의 체결된 부위에 대한 정보를 획득하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  15. 제 13 항에 있어서,
    상기 제어회로부는,
    상기 센서(23)가 소정의 값을 검출하면, 검출된 값과 상기 완구(10)의 식별정보, 상기 완구(10)와 체결된 부위에 대한 정보, 상기 애드온 장치(20)의 식별정보 가운데 하나 이상을 조합하여 상기 증강현실 컨텐츠 제공 장치(1)로 전송하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  16. 제 10 항에 있어서,
    상기 완구(10)가 동작완구인 경우, 상기 제어회로부는,
    상기 완구(10)로부터 상기 완구(10)의 완구동작신호를 독출함에 따라, 상기 독출한 완구(10)의 완구동작신호를 상기 증강현실 컨텐츠 제공 장치(1)로 더 전송하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  17. 제 10 항에 있어서,
    상기 완구(10)가 동작완구인 경우, 상기 제어회로부는,
    상기 증강현실 컨텐츠 제공 장치(1)로부터 상기 완구(10)의 식별정보에 대응하는 제어명령을 수신함에 따라, 이를 상기 완구(10)로 인가하는 것을 특징으로 하는 완구 부착형 증강현실 콘트롤러.
  18. 완구에 있어서,
    완구 하우징(11);
    상기 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구의 식별정보를 저장하는 식별정보 저장수단(12);
    상기 완구 하우징(11)의 외부 일측에 형성되어 애드온 하우징(21)과 체결되는 애드온 체결 공간부(13);
    상기 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 상기 애드온 하우징(21)이 체결됨에 따라 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결하는 연결커넥터(14);를 갖는 완구(10); 및
    애드온 하우징(21);
    상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22);
    상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23);
    애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 삽입됨에 따라 상기 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출하고, 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);를 구비하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  19. 애드온 하우징(21); 상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22); 상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23); 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결됨에 따라 상기 완구(10)의 식별정보 저장수단(12)으로부터 식별정보를 독출하고, 독출한 상기 완구(10)의 식별정보와 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 갖는 애드온 장치(20);와 체결되는 완구에 있어서,
    완구 하우징(11);
    상기 완구 하우징 내부에 실장되되, 디지털 데이터인 상기 완구의 식별정보를 저장하는 식별정보 저장수단(12);
    상기 완구 하우징(11)의 외부 일측에 형성되어 상기 애드온 하우징(21)과 체결되는 애드온 체결 공간부(13);를 갖는 완구(10);를 구비하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  20. 제 19 항에 있어서,
    상기 완구(10)는 상기 애드온 체결 공간부(13)의 내측에 노출되는 단자를 포함하되, 상기 애드온 체결 공간부(13)로 애드온 하우징(21)이 체결됨에 따라 상기 애드온 하우징(21)의 연결단자와 상기 식별정보 저장수단(12)을 전기적으로 연결하는 연결커넥터(14);를 더 구비하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  21. 제 19 항에 있어서,
    상기 식별정보 저장수단은 완구의 종류를 나타내는 디지털 데이터, 완구의 동작 유형을 나타내는 디지털 데이터, 완구의 고유식별자 가운데 적어도 하나 이상을 포함하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  22. 제 19 항에 있어서,
    모터, 스피커, 발광유닛 가운데 하나 이상을 포함하되, 상기 모터, 스피커 또는 발광유닛을 통해 완구의 움직임을 제어하거나, 음향을 발생시키거나, 빛을 발광시키는 완구동작수단(16); 및
    상기 완구동작수단에 의하여 완구의 동작이 있으면 상기 연결 커넥터(14)를 통해 상기 애드온 체결 공간부(13)에 체결된 상기 애드온 장치(20)로 완구동작신호를 송출하는 완구동작신호 송수신 수단(17);을 더 구비하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  23. 애드온 하우징(21); 상기 애드온 하우징 내부에 실장되며, 유무선 통신 방식에 의하여 원격지 장치(1)와 통신하는 통신수단(22); 상기 애드온 하우징 내부에 실장되며, 상기 애드온 하우징(21)에 인가되는 중력, 가속도, 기울기, 이동방향 가운데 적어도 하나를 검출하는 센서(23); 상기 애드온 하우징 일측면에 노출되되 눌러지거나 접촉됨에 따라 신호를 발생시키는 다수개의 스위치(29); 및 상기 센서(23)가 검출한 값을 통신수단을 통해 원격지 장치(1)로 전송하는 제어회로부(25);를 구비하되, 상기 애드온 하우징(21)이 상기 완구(10)의 애드온 체결 공간부(13)에 체결됨에 따라 상기 다수개의 스위치(29) 가운데 적어도 일부가 상기 완구(10)의 스위치 트리거(15)에 의하여 눌러지거나 또는 접촉하며, 상기 제어회로부(25)는 상기 다수개의 스위치(29) 가운데 신호를 발생시킨 스위치의 조합에 관한 정보를 상기 통신수단(22)을 통해 원격지 장치(1)로 전송하는 애드온 장치(20)와 체결되는 완구에 있어서,
    완구 하우징(11);
    상기 완구 하우징(11)의 외부 일측에 형성되어 상기 애드온 하우징(21)과 체결되는 애드온 체결 공간부(13);
    상기 애드온 체결 공간부(13)의 일측에 돌출되거나 또는 함몰된 하나 또는 그 이상의 스위치 트리거(15);를 갖는 완구(10);를 구비하는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  24. 제 23 항에 있어서,
    상기 하나 또는 그 이상의 트리거(15)의 위치 및 조합에 의하여 상기 완구(10)의 식별정보를 나타내는 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
  25. 제 23 항에 있어서,
    상기 완구(10)는 다수의 애드온 체결 공간부(13)를 가지며,
    각 애드온 체결 공간부(13)에 구비된 하나 또는 그 이상의 스위치 트리거(15)는 그 위치 또는 개수의 조합이 각각 상이한 것을 특징으로 하는 증강현실 콘트롤러가 부착되는 완구.
PCT/KR2014/006104 2013-07-08 2014-07-08 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템 WO2015005639A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/903,808 US20160151705A1 (en) 2013-07-08 2014-07-08 System for providing augmented reality content by using toy attachment type add-on apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2013-0079452 2013-07-08
KR1020130079452A KR101479410B1 (ko) 2013-07-08 2013-07-08 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
KR1020130079453A KR101406483B1 (ko) 2013-07-08 2013-07-08 완구 부착형 증강현실 콘트롤러
KR1020130079454A KR101479411B1 (ko) 2013-07-08 2013-07-08 증강현실 콘트롤러가 부착되는 완구
KR10-2013-0079454 2013-07-08
KR10-2013-0079453 2013-07-08

Publications (1)

Publication Number Publication Date
WO2015005639A1 true WO2015005639A1 (ko) 2015-01-15

Family

ID=52280252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/006104 WO2015005639A1 (ko) 2013-07-08 2014-07-08 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템

Country Status (2)

Country Link
US (1) US20160151705A1 (ko)
WO (1) WO2015005639A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198318A1 (en) * 2014-06-23 2015-12-30 Seebo Interactive Ltd. Connected toys system for bridging between physical interaction of toys in reality to virtual events
US10835810B2 (en) * 2015-10-21 2020-11-17 Activision Publishing, Inc. Interactive videogame using a physical object with touchpoints
US20170216728A1 (en) * 2016-01-29 2017-08-03 Twin Harbor Labs Llc Augmented reality incorporating physical objects
US10928915B2 (en) * 2016-02-10 2021-02-23 Disney Enterprises, Inc. Distributed storytelling environment
US10223605B2 (en) * 2016-03-18 2019-03-05 Colorvision International, Inc. Interactive virtual aquarium simulation system and associated methods
GB2550911B (en) * 2016-05-27 2021-02-10 Swap Bots Ltd Augmented reality toy
US10627909B2 (en) * 2017-01-10 2020-04-21 Disney Enterprises, Inc. Simulation experience with physical objects
GB201707645D0 (en) * 2017-05-12 2017-06-28 Playfinity As Electronic sensing devices
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
KR102629990B1 (ko) * 2019-12-03 2024-01-25 엘지전자 주식회사 허브 및 이를 포함하는 전자 디바이스
WO2021173932A1 (en) * 2020-02-28 2021-09-02 The Regents Of The University Of California Methods and systems for difficulty-adjusted multi-participant interactivity
US11109099B1 (en) * 2020-08-27 2021-08-31 Disney Enterprises, Inc. Techniques for streaming a media title based on user interactions with an internet of things device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040103707A (ko) * 2003-06-02 2004-12-09 (주) 아이브이콤 무선원격 완구용 불루투스 프로그램 및 접속방법
KR20070037566A (ko) * 2004-02-13 2007-04-05 코헤이 니시노 데이터 송신방법, 데이터 송신 시스템, 데이터 송신장치 및데이터 구조
JP2007252791A (ja) * 2006-03-24 2007-10-04 Tomy Co Ltd 遊戯システム
JP4883865B2 (ja) * 1999-12-30 2012-02-22 ビュアシフト データ リミテッド リミテッド ライアビリティー カンパニー ビデオ信号の水平オーバースキャン部を使用したインタラクティブデバイスコントロールデータを伝送しかつ格納するための方法およびシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) * 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6761637B2 (en) * 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7066781B2 (en) * 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20120009845A1 (en) * 2010-07-07 2012-01-12 Juniper Holding Corp. Configurable location-aware toy capable of communicating with like toys and associated system infrastructure for communicating with such toys
US8672756B2 (en) * 2010-10-20 2014-03-18 Retoy, LLC Analog-signal controller for mobile electronic devices
US9480913B2 (en) * 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
WO2012162090A2 (en) * 2011-05-20 2012-11-29 William Mark Corporation App gadgets and methods therefor
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
EP2862604B1 (en) * 2012-06-05 2018-05-02 Sony Corporation Information processing device, information processing method, program and toy system
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9846965B2 (en) * 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
US9615054B1 (en) * 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices
US20160381171A1 (en) * 2015-06-23 2016-12-29 Intel Corporation Facilitating media play and real-time interaction with smart physical objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883865B2 (ja) * 1999-12-30 2012-02-22 ビュアシフト データ リミテッド リミテッド ライアビリティー カンパニー ビデオ信号の水平オーバースキャン部を使用したインタラクティブデバイスコントロールデータを伝送しかつ格納するための方法およびシステム
KR20040103707A (ko) * 2003-06-02 2004-12-09 (주) 아이브이콤 무선원격 완구용 불루투스 프로그램 및 접속방법
KR20070037566A (ko) * 2004-02-13 2007-04-05 코헤이 니시노 데이터 송신방법, 데이터 송신 시스템, 데이터 송신장치 및데이터 구조
JP2007252791A (ja) * 2006-03-24 2007-10-04 Tomy Co Ltd 遊戯システム

Also Published As

Publication number Publication date
US20160151705A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
WO2015005639A1 (ko) 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
WO2019168383A1 (en) Electronic device
WO2019168380A1 (en) Electronic device
WO2016208984A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
WO2015186981A1 (en) Wearable device, main unit of wearable device, fixing unit of wearable device, and control method of wearable device
WO2017069324A1 (ko) 이동단말기 및 그 제어방법
WO2016018029A1 (en) Mobile terminal and method of operating the same
WO2017188696A1 (ko) Vr 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2010151054A2 (ko) 가상 세계 처리 장치 및 방법
WO2012150755A1 (ko) 터치 게임을 제공하는 방법, 장치 및 기록매체
EP3152643A1 (en) Wearable device, main unit of wearable device, fixing unit of wearable device, and control method of wearable device
WO2020032649A1 (en) Electronic device and communication relaying method thereof
WO2017018602A1 (ko) 이동단말기 및 그 제어방법
WO2021141364A1 (ko) 격투 경기의 채점 시스템 및 방법
WO2021080236A1 (ko) 안테나를 포함하는 전자 장치
WO2023059131A1 (ko) 테니스 자율 훈련 시스템
WO2018088667A1 (en) Display device
WO2021033808A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2021040295A1 (en) Electronic device and method of processing exercise information by electronic device
WO2019066133A1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2022055116A1 (ko) 반려동물의 감정 상태를 표현하는 로봇 및 그 제어 방법
WO2020166731A1 (ko) 액션 로봇용 단말기 및 그의 동작 방법
WO2021006388A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2023018147A1 (ko) 전자 장치 및 전자 장치의 운동 데이터 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14823727

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14903808

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14823727

Country of ref document: EP

Kind code of ref document: A1