WO2021107595A1 - 가상콘텐츠 체험 시스템 및 그 제어방법 - Google Patents

가상콘텐츠 체험 시스템 및 그 제어방법 Download PDF

Info

Publication number
WO2021107595A1
WO2021107595A1 PCT/KR2020/016823 KR2020016823W WO2021107595A1 WO 2021107595 A1 WO2021107595 A1 WO 2021107595A1 KR 2020016823 W KR2020016823 W KR 2020016823W WO 2021107595 A1 WO2021107595 A1 WO 2021107595A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
motion information
user
unit
Prior art date
Application number
PCT/KR2020/016823
Other languages
English (en)
French (fr)
Inventor
양병석
Original Assignee
주식회사 코믹스브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코믹스브이 filed Critical 주식회사 코믹스브이
Priority to US17/780,281 priority Critical patent/US20230052104A1/en
Publication of WO2021107595A1 publication Critical patent/WO2021107595A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Definitions

  • the present invention relates to an experience system for experiencing virtual reality and a control method thereof, and more particularly, to a virtual content experience system and a control method for converting a two-dimensional image into a three-dimensional image and providing posture change accordingly.
  • a head mounted display (HMD) device is provided in a form in which a terminal device capable of reproducing a 360° 3D image is installed therein.
  • a 3D image that is, virtual reality content
  • the HMD device is equipped with various sensors such as a gyro sensor, and provides a 3D image corresponding to a user's movement based on these sensors.
  • the HMD which allows the user to experience virtual reality, allows the user's vision to stay in the virtual space, so that the movement of the user wearing the HMD is restricted while the HMD is mounted.
  • Virtual reality experience devices, etc. are provided to enable experiences using auditory, tactile, etc. in addition to sight.
  • the most important sense for users is vision, so virtual reality using HMD is provided as a device that blocks the user's vision in a certain space.
  • the reality experience device has limitations in providing content combined with the user's movement.
  • the virtual reality experience device using the HMD provides a virtual space to the user, enabling the user to experience virtual content that is difficult to provide such as augmented reality, and thus various auxiliary devices to solve the problem of restricting the user's movement, etc. It has been developed and released.
  • Sphere Toon can be defined as a cartoon platform that provides digital cartoon contents such as webtoons in VR (Virtual Reality). Install the Speartoon app on your smartphone and configure the screen so that you can enjoy it by installing an HMD. In this case, the character, background, and object of the webtoon provided by the Speartoon application are expressed, and the layers for each object are arranged differently and implemented.
  • This three-dimensional realization method corresponds to a method in which the arrangement of each object is taken into consideration in advance and then drawn and then placed.
  • the background and each object In order to show a two-dimensional image in three dimensions, the background and each object must be configured separately.
  • each object In order to change the screen composition, each object must be reconfigured, so there is a limit to freely changing the composition of the screen.
  • auxiliary device of HMD various devices have been developed that allow the user to sit down or be fixed to the auxiliary device to experience virtual reality, but a complex structure of driving device and a robust system for vividly expressing movement in a three-dimensional space has been developed. Because it is necessary and expensive, it is difficult for general consumers to access.
  • a stationary virtual reality experience device using an HMD major stimuli are transmitted to the visual field in a state where the user's movement is limited, so motion sickness may be induced due to sensory mismatch with the equilibrium organ. is pointed out as another problem.
  • the virtual content experience system extracts the binocular disparity angle according to the degree of stereoscopic effect to be obtained from a single 2D image according to the principle of binocular disparity, which is a principle of human stereoscopic perception, from a depth image using a computer device. and rearranges the original image according to the extracted angle to create an image with different viewing angles.
  • a three-dimensional image for HMD is generated from a two-dimensional image, and a two-dimensional image
  • the purpose is to provide a virtual content experience system for delivering the somatosensory related to the 3D image to the user by converting the words, sentences, and symbols included in the somatosensory to the somatosensory sense.
  • the virtual content experience system includes a central server for driving the system in a virtual content experience system, and the central server receives data through a data transmission/reception unit or input from a user through a data input unit.
  • a content conversion unit that converts the two-dimensional image content into a three-dimensional image by converting it according to a preset method;
  • a motion information generator for recognizing text information extracted from two-dimensional image content and converting it into motion information; Transmitting the motion information to a motion information management unit provided in the virtual reality experience chair or receiving start information and end information of the motion information from the motion information management unit to generate control information for controlling whether to provide new two-dimensional image content and a content reproduction control unit provided to perform and modify; and a display unit for displaying the content conversion unit and motion information or control information.
  • the motion information generation unit may be provided to convert the motion information into motion information using the state information received from the HMD through the data transmission/reception unit.
  • the motion information may be transmitted to a control unit for controlling at least one servomotor of the opposite sex provided in the virtual reality experience chair so that the virtual reality experience chair performs an operation corresponding to the motion information.
  • the three-dimensional image generating an equirectangular first panoramic image for a 360-degree space; extracting a depth image from the first panoramic image; generating a left-eye image by matching the first panoramic image and the depth image with a square cube map comprising a front, left, rear, right, plane, and bottom surface; dividing a region overlapping the successive images of the front, left, rear and right sides of the cubemap image from the first panoramic image into two-dimensional images with preset equal intervals; generating a first stereoscopic right eye image according to a preset algorithm with respect to the divided two-dimensional image;
  • the HMD device is provided to generate the posture information and posture correction information included in the state information, the sensor for detecting the direction of the user's gaze; a display unit for displaying a virtual screen to a user; a screen control unit configured to set a first criterion for a user's gaze direction based on the sensor; a data transmission/reception unit for transmitting a virtual screen projected in a virtual space to a user based on the first criterion; a rotation detection unit for determining whether a rotation angle of the user's gaze direction with respect to a pitch direction is greater than a first threshold value and smaller than a second threshold value with respect to the first reference; a rotation limit detection unit for determining whether a movement distance in the gaze direction of the user with respect to the Y-axis direction is greater than a third threshold value; Compared to the reference, the rotation angle of the user's gaze direction with respect to the pitch direction is greater than the first threshold value and smaller than the second threshold value, and the movement length of the user's gaze direction
  • the control method includes presetting two-dimensional image content received by a content conversion unit of a service server through a data transmission/reception unit or input from a user through a data input unit.
  • the content reproduction control unit of the service server transmits the motion information to the motion information management unit provided in the virtual reality experience chair, or receives start information and end information of the motion information from the motion information management unit to provide new two-dimensional image content generating and modifying control information for controlling whether to do or not; and displaying, by the display unit of the service server, the content conversion unit, motion information, or control information in a user window.
  • the virtual content experience system extracts the binocular disparity angle according to the degree of stereoscopic effect to be obtained from a single 2D image according to the principle of binocular disparity, which is a principle of human stereoscopic perception, from a depth image using a computer device. and rearranges the original image according to the extracted angle to create an image with different viewing angles.
  • a three-dimensional image for HMD is generated from a two-dimensional image, and a two-dimensional image
  • a two-dimensional image By converting words, sentences, symbols, etc. included in the somatosensory, it is possible to provide a virtual content experience system for delivering the somatosensory related to the three-dimensional image to the user.
  • FIG. 1 is a block diagram of a system constituting a server of a virtual content experience system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a method for controlling a virtual content experience system according to another embodiment of the present invention.
  • 3 and 4 are diagrams illustrating the overall system configuration of the present invention.
  • FIG. 5 is a diagram showing a system block diagram of the present invention.
  • FIG. 6 is a flowchart illustrating a method for generating a 3D image for an HMD from a 2D image according to an embodiment of the present invention.
  • FIG. 7 is a system configuration diagram according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a 360-degree panoramic image and a depth image corresponding thereto.
  • FIG. 9 is a diagram illustrating an equirectangular projection method for a 360-degree panoramic image.
  • FIG. 10 is a diagram illustrating a cube map to which a 360-degree panoramic image is mapped.
  • FIG. 11 is a diagram illustrating an area in which the front, left, back, and right sides of a cubemap are shown in an isotropic method.
  • FIG. 12 is a conceptual diagram of a right eye image generated using a left eye image and a depth image.
  • FIG. 13 is a diagram illustrating a distance to a real object corresponding to a depth image.
  • FIGS. 14 to 17 are diagrams illustrating a method of generating a 3D image for an HMD from a 2D image according to another embodiment of the present invention.
  • each of the components, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component include an electronic circuit, It may be implemented with various well-known devices or mechanical elements, such as an integrated circuit, an application specific integrated circuit (ASIC), etc., and may be implemented separately or two or more may be integrated into one.
  • ASIC application specific integrated circuit
  • combinations of each block in the accompanying block diagram and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be loaded into the processor of a general-purpose computer, special-purpose computer, portable notebook computer, network computer, mobile device such as a smart phone, an online game service providing server, or other programmable data processing equipment, so that the computer device or other program
  • the instructions which are executed via a processor of possible data processing equipment, create means for performing the functions described in each block of the block diagrams described below or in each step of the flow diagrams.
  • These computer program instructions may also be stored in a computer readable memory or memory available to a computer device that may direct a computer device or other programmable data processing equipment to implement a function in a particular manner, such that each block of the block diagram Alternatively, it is also possible to produce an article of manufacture containing instruction means for performing the functions described in each step of the flowchart.
  • the computer program instructions may also be mounted on a computer device or other programmable data processing equipment, thereby creating a process for performing a series of operational steps on the computer device or other programmable data processing equipment, such that each block in the block diagram and the flowchart It is also possible to provide steps for executing the functions described in each step of .
  • each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
  • user equipment means all calculation means capable of collecting, reading, processing, processing, storing, and displaying data such as a desktop computer, a notebook computer, a smartphone, a PDA, a mobile phone, and a game machine.
  • the user device according to the embodiment of the present invention is a device having a function of executing software written in decipherable code, and displaying and delivering it to the user.
  • the software may be stored by itself or may be read together with data from the outside.
  • the terminal includes functions such as input, output, and storage as well as the above data processing function, and for this purpose, the CPU, main board, graphic card, hard disk, and Various elements such as sound card, speaker, keyboard, mouse, monitor, USB, communication modem, as well as CPU, main board, graphic chip, memory chip, sound engine, speaker, touchpad, USB, etc. It may include an external connection terminal, a communication antenna, a communication modem capable of implementing communication such as 3G, LTE, LTE-A, WiFi, and Bluetooth.
  • a user device, an unmanned locker, etc. may have a communication function, and in order to implement the communication function, wired Internet, wireless Internet, infrared communication, Bluetooth, WCDMA, Wibro, WiFi, LTE, LTE-A , and various network means such as a wired/wireless telephone network may be provided.
  • FIG. 1 is a block diagram of a system constituting a server of a virtual content experience system according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a method for controlling a virtual content experience system according to another embodiment of the present invention.
  • Figure 3 is a diagram illustrating the overall system configuration of the present invention.
  • the server of the system includes a content conversion unit, a motion information generation unit, a content reproduction control unit, and a display unit.
  • the central server 10 for driving the system converts the two-dimensional image content received through the data transmission/reception unit or inputted from the user through the data input unit according to a preset method to stereoscopically a content conversion unit 11 for converting an image; a motion information generator 12 for recognizing text information extracted from two-dimensional image content and converting it into motion information; Transmitting the motion information to a motion information management unit provided in the virtual reality experience chair or receiving start information and end information of the motion information from the motion information management unit to generate control information for controlling whether to provide new two-dimensional image content and a content reproduction control unit 13 provided to perform and modify; and a display unit 14 for displaying the content conversion unit, motion information or control information on a user window.
  • the content conversion unit may convert the two-dimensional image content to be projected in three dimensions in a virtual sphere space centered on the user's gaze.
  • the three-dimensional image may be converted so that each object can have a three-dimensional effect in addition to three-dimensionally configuring the space.
  • the motion information generator may be provided to recognize text information extracted from two-dimensional image content and convert it into motion information.
  • the two-dimensional image may be ready-made cartoon content.
  • cartoon content the situation is often described with text in the periphery of a picture or the like in a speech bubble.
  • the text is expressed to describe the surrounding situation, the movement of the main character, the movement of the surrounding terrain, the movement of the occupant of a specific vehicle or the movement of the vehicle. Text can be expressed in onomatopoeia, onomatopoeia, etc. in addition to normal verbs and nouns.
  • the motion information generating unit interprets the text information in a physical language to generate motion information, so that a virtual experience chair can be created without operating a separate system driving program. It can be moved according to the information of the text.
  • the motion information generating unit may be provided to convert the motion information into motion information using the state information received from the HMD through the data transmission/reception unit.
  • the motion information generating unit may be provided to convert the motion information into motion information using the state information received from the HMD through the data transmission/reception unit.
  • the movement of the user measured based on the movement of the HMD worn by the user is reflected in the movement information, thereby limiting the movement of the virtual experience chair or providing movement to maximize the virtual experience to generate motion information.
  • the HMD device is provided to generate the posture information and posture correction information included in the state information, the sensor for detecting the gaze direction of the user; a display unit for displaying a virtual screen to a user; a screen control unit configured to set a first criterion for a user's gaze direction based on the sensor; a data transmission/reception unit for transmitting a virtual screen projected in a virtual space to a user based on the first criterion; a rotation detection unit for determining whether a rotation angle of the user's gaze direction with respect to a pitch direction is greater than a first threshold value and smaller than a second threshold value with respect to the first reference; a rotation limit detection unit for determining whether a movement distance in the gaze direction of the user with respect to the Y-axis direction is greater than a third threshold value; Compared to the reference, the rotation angle of the user's gaze direction with respect to the pitch direction is greater than the first threshold value and smaller than the second threshold value, and the movement length of the user's gaze direction
  • the virtual reality experience chair is driven to reflect this, so that the user can feel close to the real space rather than the virtual space.
  • the motion information transmitted from the server is transmitted to a control unit that controls at least one servomotor of the opposite sex provided in the virtual reality chair, so that the virtual reality chair performs an operation corresponding to the motion information.
  • the user sits in a virtual reality experience chair and inputs specific content through the data input unit, and the content is provided as a three-dimensional image, and the situation included in the image is created as motion information and drives the virtual reality chair to create content in a simple and three-dimensional way. be able to experience
  • the three-dimensional image may be implemented in the form of a flat image on a sphere centered on the user's gaze, but is not limited thereto, and when each object or landscape is provided, the object itself may be converted and provided to have a three-dimensional effect.
  • the three-dimensional image includes the steps of: generating an equirectangular first panoramic image for a 360-degree space; extracting a depth image from the first panoramic image; generating a left-eye image by matching the first panoramic image and the depth image with a square cube map comprising a front, left, rear, right, plane, and bottom surface; dividing a region overlapping the successive images of the front, left, rear and right sides of the cubemap image from the first panoramic image into two-dimensional images with preset equal intervals; generating a first stereoscopic right eye image according to a preset algorithm with respect to the divided two-dimensional image;
  • FIG. 5 is a diagram showing a system block diagram of the present invention
  • FIG. 6 is a diagram showing a flowchart of a method of generating a 3D image for an HMD from a 2D image
  • FIG. 7 is a system configuration diagram.
  • a method of generating a 3D image for an HMD from a 2D image may be performed by a user device or a service server relaying the user and a third party.
  • the user device or service server is provided to transmit and receive various types of information in a wired or wireless manner, such as when used in a method of generating a 3D image for an HMD from a 2D image or when transmitting a left eye or right eye image to the HMD.
  • the image generator may be provided to generate an image, such as a panoramic image for use in a method of generating a three-dimensional image for an HMD from a two-dimensional image, or a case of mapping a panoramic image to a cube map.
  • the image conversion unit may be provided to extract the depth image or divide the generated image in a set manner.
  • the service server 100 processes it using image information transmitted from the user device. And after editing, it is transmitted to the third user device so that the user of the third user device can enjoy the 3D image through the HMD.
  • the method of generating a three-dimensional image for an HMD from a two-dimensional image is a method of generating a three-dimensional image for an HMD from a two-dimensional image according to an aspect of the present invention for solving the above technical problem. and generating a first equirectangular panoramic image for a 360-degree space (S210).
  • the first panoramic image may be received and used from a user device.
  • the first panoramic image is an image expressing a 360-degree space starting from the left, which is the starting point of the image, and may be provided to end at the right end, which is the last point of the image.
  • FIGS. 8 and 9 it can be seen that a 360-degree panoramic image expressed by an equirectangular projection method expressing a three-dimensional space as a single plane is expressed.
  • (b) corresponding to the depth image is extracted from (a), which is an example of the first panoramic image.
  • the first panoramic image as a color image, it may be divided into pixels of regions having different depth values. It can be expressed as a depth image to apply different contrasts to pixels and use each intensity level as information about the depth value.
  • the degree of contrast may be provided to be expressed by n integers (n ⁇ 0) according to a preset method.
  • the cubemap can be used by matching images corresponding to the front, left, back, right, plane, and bottom surfaces.
  • FIG. 11 is a diagram illustrating an area in which the front, left, back, and right sides of a cubemap are shown in an isotropic method. Referring to FIG. 7 , it can be seen that on the first panoramic image expressed by the equirectangular projection method, the portion in which the continuous surfaces of the front, left, rear, and right sides of the cube map are expressed except for the plane and the bottom are expressed in shades. .
  • the method of generating a three-dimensional image for the HMD from a two-dimensional image is to express the three-dimensional effect of the image in the direction the user is looking. / Since the definition of the right eye region is different, it may be provided to apply the depth value only to the front, left, rear, and right sides, which are four middle regions, except for the depth value application region.
  • FIG. 12 is a conceptual diagram of a right eye image generated using a left eye image and a depth image
  • FIG. 9 is a diagram illustrating a distance to a real object corresponding to the depth image.
  • the disparity between the left and right eye images can be calculated using the distance between the first object P1 and the second object P2 and the distance corresponding to the distance between the left and right eyes.
  • the relatively close first object P1 has a greater binocular disparity value (l1-r1 > l2-r2) than the second object P2.
  • the left eye image may be generated through a method of adjusting pixel positions of the input image.
  • each of the front, left, rear, and right-side areas of the matched cubemap is divided into equal parts, and the left-eye and right-eye images for each divided area
  • each region may be divided at 45-degree intervals corresponding to 1/8 of the entire 360-degree space.
  • the present invention is not limited thereto, and the region may be divided at appropriate equal intervals as needed.
  • the right eye image includes the step of generating a first stereoscopic right eye image according to a preset algorithm for the divided two-dimensional image (S250).
  • the right eye image may be generated through a distance corresponding to the distance between the left eye image and the left and right eyes and the distance between the object and the left eye image.
  • VR devices such as HMDs have a sensory distance of about 1 to 2 m from the screen, so the farthest distance is less than about 2 m, and the latest distance is also set larger than the focal length (the distance between the lens and the eye) provided by the device. It is preferable to be Preferably, the distance between the object and the left or right eye is less than or equal to about 1.5 m, and may be set to be greater than the distance between the lens of the HMD and the left or right eye.
  • the method of generating a 3D image for the HMD from the 2D image may further include providing the left eye image and the first stereoscopic right eye image as left and right images for applying to the HMD, respectively.
  • Each image provided as a left and right image is transmitted to a third user to be displayed in the left and right eyes of the HMD, respectively, so that the third user can enjoy a three-dimensional image.
  • the method of generating a three-dimensional image for HMD from a two-dimensional image extracts a depth image from one panoramic image, expresses each image in an equirectangular projection method, and matches it to a cubemap to obtain the upper and lower images It separates into the remaining images except for , converts it back to an equirectangular panoramic image, and divides it into a left-eye image and a right-eye image to provide a three-dimensional image that can be reproduced in the HMD using one two-dimensional image. can become
  • a method of generating a three-dimensional image for an HMD from a two-dimensional image according to another embodiment of the present invention includes generating an equirectangular second panoramic image for a 360-degree space.
  • the second panoramic image may correspond to a two-dimensional image drawn by the user.
  • the depth image information may be extracted from the first panoramic image.
  • the present invention is not limited thereto, and the user may arbitrarily create depth image information to generate a left eye or right eye image together with the second panoramic image.
  • Equirectangular depth image information for a 360-degree space extracted from the first panoramic image corresponding to the second panoramic image to generate an image that conveys a three-dimensional effect by expressing the second panoramic image on the first panoramic image described above input may be included.
  • the method includes separating regions having different depth values from the second panoramic image by using the depth image information.
  • the depth image information extracted from the first panoramic image may be converted into a three-dimensional image harmonized with the first panoramic image by being provided as a depth value for a divided image expressed in the second panoramic image.
  • the cubemap may be provided as a left eye image for delivering a three-dimensional effect as two or more images having various depth values.
  • the method includes generating a second stereoscopic right-eye image according to a preset algorithm for the left-eye image.
  • the right eye image may be generated through a proportional expression using the distance between the user's two eyes corresponding to the distance between the lenses of both eyes of the HMD and the distance (depth value) from at least one object.
  • the method may include providing the left eye image and the second stereoscopic right eye image as left and right images to be applied to the HMD, respectively.
  • the left eye image and the right eye image may be provided as one image having a three-dimensional effect to a user wearing an HMD through a visual difference.
  • the preset equal intervals may be equal to 8 equal parts of the first equirectangular panoramic image for the 360-degree space.
  • each area of the front, left, rear, and right sides of the matched cubemap is divided into equal parts for each divided area.
  • Left-eye and right-eye images may be generated, wherein each area may be divided at a 45-degree interval corresponding to 1/8 of the entire 360-degree space.
  • FIGS. 14 to 17 are diagrams illustrating a method of generating a 3D image for an HMD from a 2D image according to another embodiment of the present invention.
  • a panoramic image is generated in which a continuous image composed of the front, left, back, and right sides of one cubemap except for the upper and lower areas is expressed by an isotropic method.
  • the extraction of the depth image from the panoramic image is exemplified in FIG. 51 .
  • the depth image is converted into depth information of a preset value for each object on the panoramic image, and may be used to implement a depth degree for each object.
  • a left-eye image and a right-eye image may be respectively generated through a proportional expression using the distance between the user's eyes and the distance to each object.
  • FIG. 16 shows a left eye image using an algorithm through a proportional formula
  • FIG. 17 shows a right eye image using a proportional formula algorithm.
  • a three-dimensional VR image can be provided from a single image through the HMD without requiring excessive computing power.
  • a depth image for providing a depth value to each object of the panoramic image is additionally input, and the panoramic image and the depth
  • the values excluding the plane and bottom images of the cube are again converted into a panoramic image and used, instead of the images of the front, left, back, and right sides corresponding to the horizontal image of the cubemap from the beginning.
  • the new panoramic image thus prepared may be provided to be converted into a left-eye image and a right-eye image from a proportional expression using the distance between the user's eyes and the depth value of the object expressed on the image and an imaginary line perpendicular to the user.
  • the detailed algorithm is omitted because it is based on the example described above.
  • the left eye is provided to the HMD using one edited 360-degree image input by the user.
  • the left eye is provided to the HMD using one edited 360-degree image input by the user.
  • it is easily transformed into an image and an image of the right eye, it has the advantage that it can be easily provided as a three-dimensional content.
  • the content provided in this way is grafted onto a two-dimensional digital cartoon in which a design is provided by an artist, it can be provided as a three-dimensional image through the HMD, so that its utility can be great.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상콘텐츠 체험 시스템을 개시한다. 본 발명에 따른 가상콘텐츠 체험 시스템에 있어서, 상기 시스템을 구동하기 위한 중심 서버는, 데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 콘텐츠변환부; 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 움직임정보 생성부; 상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하도록 구비된 콘텐츠 재생제어부; 및 상기 콘텐츠변환부, 움직임정보 또는 제어정보를 디스플레이하기 위한 디스플레이부;를 포함한다.

Description

가상콘텐츠 체험 시스템 및 그 제어방법
본 발명은 가상현실을 체험하기 위한 체험 시스템 및 그 제어방법에 대한 것으로 보다 구체적으로 2차원 이미지를 입체이미지로 변환하고 그에 따른 자세변화를 제공하는 가상콘텐츠 체험 시스템 및 그 제어방법에 대한 것이다.
HMD(Head Mounted Display)장치는 360°의 3차원 영상을 재생할 수 있는 단말 장치가 내부에 설치되는 형태로 마련된다. 사용자가 HMD 장치를 머리에 장착한 다음, 단말 장치를 구동시키면, 단말 장치의 화면에서 3차원 영상, 즉 가상현실 콘텐츠가 재생된다. HMD 장치는 자이로(Gyro) 센서 등 각종 센서가 구비되어 있고, 이러한 센서를 기초로 사용자의 움직임에 대응되는 3차원 영상을 제공한다.
가상현실을 체험할 수 있도록 하는 HMD는 사용자의 시각을 가상의 공간에 머물게 하는 체험이 가능하도록 하므로 HMD를 장착한 상태에서는 착용한 사용자의 움직임이 제한된다.
가상현실체험장치 등은 시각 이외에도 청각, 촉각 등을 이용한 체험이 가능하도록 제공되기도 하지만, 사용자에게 있어서 가장 중요한 감각은 시각이므로 일정한 공간에서의 사용자의 시각을 차단한 장치로 제공되는 HMD를 사용하는 가상현실체험장치는 사용자의 움직임과 결합한 콘텐츠를 제공하는데 한계가 있다.
그럼에도 불구하고 HMD를 이용한 가상현실체험장치는 가상의 공간을 사용자에게 제공함으로써 증강현실 등이 제공하기 힘든 가상 콘텐츠의 체험을 가능하도록 하므로, 사용자의 움직임을 제한하는 문제점을 해결하기 위한 다양한 보조장치 등이 개발되어 출시되고 있다.
가상현실을 제공하기 위한 콘텐츠는 실제의 영상을 촬영하여 활용하거나 또는 정교한 가상현실그래픽을 제공하는 것이 일반적이다. 대중적인 가상경험의 체험은 종래 2차원의 이미지로 스토리를 표현한 만화콘텐츠가 존재한다. 복잡한 가상현실그래픽이 아니어도 일정한 입체감을 전달하는 종래의 만화콘텐츠를 고려하면 적당한 몰입감을 제공하는 가상현실만으로도 사용자의 만족이 충족될 수 있을 것으로 기대된다. 하나의 스토리를 구성하는 연속적인 이미지를 이용한 디지털만화의 경우 연속적인 이미지로 구성되어 스토리의 흐름을 사용자에게 전달하게 된다.
최근에는 평면이미지 형태의 서비스를 넘어서 사용자가 실제 디지털만화의 스토리 내부 공간에 위치한 것과 같은 현장감을 전달하기 위한 서비스로 진화 중이다. 스피어툰(Sphere Toon)은 VR(Virtual Reality)로 웹툰과 같은 디지털만화 콘텐츠를 제공하는 만화 플랫폼으로 정의될 수 있다. 스마트폰에 스피어툰 어플을 설치하고 HMD를 장착하여 즐길 수 있도록 화면을 구성한다. 이 경우 스피어툰 어플에서 제공하는 웹툰의 캐릭터, 배경, 사물 등을 표현하여 각각의 오브젝트에 대한 레이어가 모두 다르게 배치하여 구현된다.
이와 같은 스피어툰을 구현하기 위해서는 각각의 레이어를 미리 설정한 후 각각의 레이어 상에 오브젝트를 배치하는 방식이 주로 사용되고 있다. 이 같은 방식의 입체구현방식은 각각의 오브젝트의 배치를 미리 고려하여 그린 후 이를 배치하는 방식에 해당한다. 2차원 이미지를 3차원으로 보여주기 위해서는 배경과 각각의 오브젝트를 별도로 구성해야하는 방식으로 화면구성을 변경하기 위해서는 각각의 오브젝트를 다시 구성해야하므로 화면의 구성을 자유롭게 변경하는데 한계가 있다.
3차원 이미지를 구현하는 다른 방식으로 2대의 카메라를 통해 얻은 이미지를 기초로 HMD 착용자의 양안에 각각의 이미지를 전송하는 방식이 사용되기도 한다.
앞선 방식들에 의하면 고정된 2차원이미지를 3차원으로 변경하기 위하여 여러 단계의 화면구성을 거쳐야 하는 점 또는 스테레오방식으로 이미지를 얻는 방식을 사용해야 하는 점이 고려되어야 한다.
수작업으로 그린 2차원 이미지를 3차원 이미지로 손쉽게 적용할 수 있다면 HMD를 이용한 디지털만화 콘텐츠가 보다 다양하게 제공될 수 있을 것이다.
HMD의 보조장치로서 사용자가 앉거나 보조장치에 고정되어 가상현실을 체험하도록 하는 다양한 장치가 개발되고는 있지만, 3차원의 공간에서의 움직임을 생동감 있게 표현하기 위한 복잡한 구조의 구동장치와 견고한 시스템이 필요하므로 고가인 특징이 있으므로 일반 소비자가 접근하기 어렵다. HMD를 이용한 고정식 가상현실체험장치의 경우에는 사용자의 움직임이 제한된 상태에서 시각에 주요한 자극이 전달되므로 평형기관과의 감각 불일치로 인한 멀미 등이 유발되기도 하므로 시각의 움직임과 체성감각의 부조화를 해결하는 것이 또하나의 문제로 지적된다.
디지털만화 콘텐츠가 손쉽게 3차원의 이미지로 제공되면서도 이를 체험하기 위한 일정한 체성감각을 제공하는 장치는 현실을 기반으로 하지 않기 때문에 복잡한 감각을 모두 제공하는 것은 어느정도 한계가 있다. 또한 움직임을 각각 반영한 가상현실을 제공하는 것은 콘텐츠별로 별도로 이루어져야 한다. 정밀한 가상현실을 체험하기 위한 경우 정밀한 전용 체험장치가 제공되어햐 하고, 콘텐츠에 맞춘 움직임을 정밀하게 제어하는 고가의 장비가 필요하다.
본 발명의 실시예에 따른 가상콘텐츠 체험 시스템은 컴퓨터 장치를 이용하여 1장의 2D 이미지로부터 인간의 입체인지 원리인 양안시차의 원리에 따라 얻고자 하는 입체감의 정도에 따른 양안시차 각도를 뎁스 이미지로부터 추출하고 추출된 각도에 따라 원본 이미지를 재배치하여 시야각도가 다른 이미지를 생성함으로써 변형된 이미지와 원본이미지를 스테레오스코픽 이미지 쌍으로 제공함으로써 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하고, 2차원 이미지에 포함된 단어, 문장, 기호 등을 체성감각으로 변환하여 제공함으로써 3차원이미지와 관련한 체성감각을 사용자에게 전달하기 위한 가상콘텐츠 체험 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 상기 가상콘텐츠 체험 시스템은 가상콘텐츠 체험 시스템에 있어서, 상기 시스템을 구동하기 위한 중심 서버를 포함하고, 상기 중심 서버는 데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 콘텐츠변환부; 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 움직임정보 생성부; 상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하도록 구비된 콘텐츠 재생제어부; 및 상기 콘텐츠변환부, 움직임정보 또는 제어정보를 디스플레이하기 위한 디스플레이부;를 포함한다.
여기서 상기 움직임정보 생성부는 상기 데이터송수신부를 통하여 HMD로부터 수신된 상태정보를 이용하여 움직임정보로 변환하도록 구비될 수 있다.
여기서, 상기 움직임정보는 상기 가상현실체험의자에 구비된 적어도 1개 이성의 서보모터를 제어하는 제어부에 전송되어 상기 가상현실체험의자가 상기 움직임정보에 해당하는 동작을 수행하도록 구비될 수 있다.
여기서, 상기 입체이미지는, 360도 공간에 대한 등장방형 제1 파노라마이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 뎁스이미지를 추출하는 단계; 상기 제1 파노라마이미지와 뎁스이미지를 정면, 좌측면, 배면, 우측면, 평면 및 저면으로 이루어진 정방형 큐브맵에 매칭하여 좌안 이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 상기 큐브맵 이미지의 정면, 좌측면, 배면 및 우측면의 연속된 이미지에 중첩되는 영역을 미리 설정된 등간격의 2차원이미지로 분할하는 단계; 상기 분할된 2차원이미지에 대하여 미리 설정된 알고리즘에 의하여 제1 스테레오스코픽 우안 이미지를 생성하는 단계;를 통하여 생성될 수 있다.
여기서, 상기 HMD장치는 상기 상태정보에 포함된 자세정보와 자세수정정보를 생성하도록 구비되고, 사용자의 시선 방향을 감지하는 센서; 사용자에게 가상 화면을 디스플레이하는 디스플레이부; 상기 센서에 기초하여 사용자의 시선 방향에 대한 제1 기준을 설정하는 화면제어부; 상기 제1 기준에 기초하여 가상 공간에 투영된 가상 화면을 사용자에게 전송하는 데이터송수신부; 상기 제1 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작은지 판단하는 회전감지부; Y축 방향에 대한 상기 사용자의 시선 방향의 이동 거리가 제3 임계 값 보다 큰지 판단하는 회전한계감지부; 상기 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작고, Y축 방향에 대한 상기 사용자의 시선 방향의 이동 길이가 제3 임계 값 보다 큰 경우에, 사용자의 자세가 누웠다고 판단하여 상기 자세정보를 생성하는 자세정보생성부; 사용자의 자세가 누웠다고 판단한 경우, 사용자의 시선 방향에 대한 새로운 제2 기준을 설정할지 여부를 묻는 상기 자세수정정보를 생성하는 자세수정정보생성부;를 포함하도록 구비될 수 있다.
본 발명의 다른 양상에 따른 가상콘텐츠 체험 시스템 제어방법에 있어서, 상기 제어방법은, 서비스서버의 콘텐츠변환부가 데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 단계; 상기 서비스서버의 움직임정보 생성부가 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 단계; 상기 서비스서버의 콘텐츠 재생제어부가 상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하는 단계; 및 상기 서비스서버의 디스플레이부가 상기 콘텐츠변환부, 움직임정보 또는 제어정보를 사용자창에 디스플레이하는 단계;를 포함한다.
본 발명의 실시예에 따른 가상콘텐츠 체험 시스템은 컴퓨터 장치를 이용하여 1장의 2D 이미지로부터 인간의 입체인지 원리인 양안시차의 원리에 따라 얻고자 하는 입체감의 정도에 따른 양안시차 각도를 뎁스 이미지로부터 추출하고 추출된 각도에 따라 원본 이미지를 재배치하여 시야각도가 다른 이미지를 생성함으로써 변형된 이미지와 원본이미지를 스테레오스코픽 이미지 쌍으로 제공함으로써 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하고, 2차원 이미지에 포함된 단어, 문장, 기호 등을 체성감각으로 변환하여 제공함으로써 3차원이미지와 관련한 체성감각을 사용자에게 전달하기 위한 가상콘텐츠 체험 시스템을 제공할 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 가상콘텐츠 체험 시스템의 서버를 구성하는 시스템블록도를 도시한 것이다.
도 2는 본 발명의 다른 실시예에 따른 가상콘텐츠 체험 시스템 제어방법의 순서도를 도시한 것이다.
도 3 및 도 4는 본 발명의 전체 시스템구성도를 예시한 도면이다.
도 5은 본 발명의 시스템블록도를 도시한 도면이다.
도 6는 본 발명의 실시예에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법 순서도를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 시스템 구성도이다.
도 8는 360도 파노라마이미지와 이에 대한 뎁스이미지를 예시한 도면이다.
도 9는 360도 파노라마이미지에 대한 등장방형도법을 예시한 도면이다.
도 10은 360도 파노라마이미지가 매핑되기 위한 큐브맵을 예시한 도면이다.
도 11은 큐브맵의 정면, 좌측면, 배면, 우측면을 등장방형도법으로 도시한 영역을 예시한 도면이다.
도 12은 좌안 이미지와 뎁스 이미지를 이용하여 생성된 우안 이미지의 개념도이다.
도 13는 뎁스이미지에 상응하는 실제 오브젝트까지의 거리를 예시한 도면이다.
도 14 내지 도 17은 본 발명의 다른 실시예에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법의 예시도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예에 있어서, 사용자 기기라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 사용자 기기는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.
또한, 본 발명의 실시예에 있어서의 단말기에는 위와 같은 데이터 처리 기능 뿐 아니라 입력, 출력, 저장 등의 기능이 포함되어 있으며, 이를 위하여 일반적인 컴퓨터 장치들이 갖는 CPU, 메인보드, 그래픽 카드, 하드디스크, 사운드 카드, 스피커, 키보드, 마우스, 모니터, USB, 통신 모뎀 등의 각종 요소들 뿐만 아니라 무선 스마트폰 단말기들이 갖는 CPU, 메인보드, 그래픽 칩, 메모리 칩, 사운드엔진, 스피커, 터치패드, USB 등의 외부 연결 단자, 통신 안테나, 3G, LTE, LTE-A, WiFi, 블루투스 등의 통신을 구현할 수 있는 통신 모뎀 등을 포함할 수 있다. 이러한 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 구현할 수 있으며, 본 발명의 실시예에서 도면이나 상세한 설명에서 하나 또는 그 이상의 블록으로 표시된 장치 또는 그 일부분들은 위와 같은 사용자 기기에 포함되어 있는 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 나타내는 것을 의미할 수 있다.
한편, 본 발명의 실시예에서 사용자 기기, 무인 사물함 등은 통신 기능을 가질 수 있으며, 통신 기능을 구현하기 위하여 유선 인터넷, 무선 인터넷, 적외선 통신, 블루투스, WCDMA, Wibro, WiFi, LTE, LTE-A, 유무선 전화망 등의 각종 네트워크 수단을 구비할 수 있다.
이하에서는 본 발명의 실시예에 따른 가상콘텐츠 체험 시스템에 대하여 첨부한 도면을 참고하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 가상콘텐츠 체험 시스템의 서버를 구성하는 시스템블록도를 도시한 것이고, 도 2는 본 발명의 다른 실시예에 따른 가상콘텐츠 체험 시스템 제어방법의 순서도를 도시한 것이고, 도 3은 본 발명의 전체 시스템구성도를 예시한 도면이다.
도 1을 참고하면 본 발명의 실시예에 따른 시스템의 서버는 콘텐츠변환부, 움직임정보 생성부, 콘텐츠 재생제어부, 디스플레이부를 포함한다.
구체적으로 가상콘텐츠 체험 시스템에 있어서, 상기 시스템을 구동하기 위한 중심 서버(10)는, 데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 콘텐츠변환부(11); 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 움직임정보 생성부(12); 상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하도록 구비된 콘텐츠 재생제어부(13); 및 상기 콘텐츠변환부, 움직임정보 또는 제어정보를 사용자창에 디스플레이하기 위한 디스플레이부(14);를 포함한다.
우선 콘텐츠변환부는 2차원 이미지 콘텐츠를 사용자 시선을 중심으로한 가상의 스피어공간에 3차원으로 투영될 수 있도록 변환되도록 할 수 있다. 다만, 입체이미지는 공간을 입체적으로 구성하는 이외에 각각의 개체가 입체감을 가질 수 있도록 변환될 수 있다.
움직임정보 생성부는 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하도록 구비될 수 있다. 예를 들면, 2차원 이미지는 기성 만화콘텐츠일 수 있는데, 만화콘텐츠의 경우 말풍선 등이나 그림 주변부에 텍스트로 상황을 설명하는 경우가 종종 있다. 텍스트는 주변상황, 주인공의 움직임, 주변 지형의 움직임, 특정 탈것의 탑승자 또는 탑승도구의 움직임 등을 묘사하도록 표현된다. 텍스트는 보통의 동사, 명사 이외에도 의성어, 의태어 등으로 표현될 수 있는데, 해당 상기 움직임정보 생성부는 상기 텍스트 정보를 물리적 언어로 해석하여 움직임정보로 생성함으로써 별도의 시스템 구동프로그램의 작동 없이 가상체험의자가 상기 텍스트의 정보에 따라 움직이도록 할 수 있다.
다음으로, 상기 움직임정보 생성부는 상기 데이터송수신부를 통하여 HMD로부터 수신된 상태정보를 이용하여 움직임정보로 변환하도록 구비될 수 있다. 일종의 피드백(feed-back)정보로서 사용자가 착용한 HMD의 움직임을 기초로 측정된 사용자의 움직임을 움직임정보에 반영되도록 함으로써 과격한 가상체험의자의 움직임을 제한하거나 또는 가상체험을 극대화하기 위한 움직임을 제공하도록 움직임정보를 생성할 수 있다.
이를 위하여 상기 HMD장치는 상기 상태정보에 포함된 자세정보와 자세수정정보를 생성하도록 구비되고, 사용자의 시선 방향을 감지하는 센서; 사용자에게 가상 화면을 디스플레이하는 디스플레이부; 상기 센서에 기초하여 사용자의 시선 방향에 대한 제1 기준을 설정하는 화면제어부; 상기 제1 기준에 기초하여 가상 공간에 투영된 가상 화면을 사용자에게 전송하는 데이터송수신부; 상기 제1 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작은지 판단하는 회전감지부; Y축 방향에 대한 상기 사용자의 시선 방향의 이동 거리가 제3 임계 값 보다 큰지 판단하는 회전한계감지부; 상기 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작고, Y축 방향에 대한 상기 사용자의 시선 방향의 이동 길이가 제3 임계 값 보다 큰 경우에, 사용자의 자세가 누웠다고 판단하여 상기 자세정보를 생성하는 자세정보생성부; 사용자의 자세가 누웠다고 판단한 경우, 사용자의 시선 방향에 대한 새로운 제2 기준을 설정할지 여부를 묻는 상기 자세수정정보를 생성하는 자세수정정보생성부;를 포함하여 구비될 수 있다.
상기 수단으로 사용자가 바라보는 방향에 따라 자세가 변화할 수 있으므로 이를 반영한 가상현실체험의자의 구동이 이루어지도록 함으로써 사용자가 가상공간이 아닌 실제공간에 가깝게 느끼도록할 수 있다.
서버로부터 전송된 상기 움직임정보는 상기 가상현실체험의자에 구비된 적어도 1개 이성의 서보모터를 제어하는 제어부에 전송되어 상기 가상현실체험의자가 상기 움직임정보에 해당하는 동작을 수행하도록 구비된다.
사용자는 가상현실체험의자에 앉아서 데이터입력부를 통해 특정 콘텐츠를 입력하는 것으로 콘텐츠가 입체이미지로 제공되고, 이미지에 포함된 상황이 움직임정보로 생성되어 가상현실체험의자를 구동함으로써 콘텐츠를 간단하면서도 입체감있게 체험할 수 있게 된다.
입체이미지는 사용자 시선을 중심으로한 스피어에 평면이미지형태로 구현될 수도 있으나, 이에 한정하지 않고, 각각의 개체 또는 풍경 등이 제공되었을 경우 개체 자체가 입체감을 가질 수 있도록 변환되어 제공될 수 있다.
구체적으로 각각의 개체가 입체감을 가질 수 있도록 2차원 이미지를 입체이미지로 변환하는 방법을 구체적으로 설명하면 상기 입체이미지는, 360도 공간에 대한 등장방형 제1 파노라마이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 뎁스이미지를 추출하는 단계; 상기 제1 파노라마이미지와 뎁스이미지를 정면, 좌측면, 배면, 우측면, 평면 및 저면으로 이루어진 정방형 큐브맵에 매칭하여 좌안 이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 상기 큐브맵 이미지의 정면, 좌측면, 배면 및 우측면의 연속된 이미지에 중첩되는 영역을 미리 설정된 등간격의 2차원이미지로 분할하는 단계; 상기 분할된 2차원이미지에 대하여 미리 설정된 알고리즘에 의하여 제1 스테레오스코픽 우안 이미지를 생성하는 단계;를 통하여 생성될 수 있다.
이하에서는 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법에 대하여 첨부한 도면을 참고하여 구체적으로 설명하기로 한다.
도 5은 본 발명의 시스템블록도를 도시한 도면이고, 도 6는 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법 순서도를 도시한 도면이고, 도 7은 시스템 구성도이다.
도 5 내지 도 7을 참고하면, 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 사용자 기기 또는 사용자와 제3자를 중계하는 서비스서버에 의하여 수행될 수 있다.
사용자 기기 또는 서비스서버는 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법에 이용되거나 또는 HMD로 좌안 또는 우안 이미지를 전송하는 경우와 같이 각종 정보를 유무선 방식으로 송수신할 수 있도록 구비된다. 다음으로 이미지생성부는 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법에 사용되기 위한 파노라마이미지 또는 파노라마이미지를 큐브맵에 매핑하는 경우 등 이미지를 생성하도록 구비될 수 있다. 다음으로, 이미지변환부는 뎁스이미지를 추출하거나 또는 생성된 이미지를 설정된 방식으로 분할하도록 구비될 수 있다.
도 7을 참고하면, 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법이 서비스서버(100)에 의해 수행되는 경우, 서비스서버(100)는 사용자기기로부터 전송된 이미지정보를 이용하여 이를 가공 및 편집한 후 제3 사용자기기로 전송하여 제3 사용자기기의 사용자가 HMD를 통하여 3차원이미지를 감상할 수 있도록 한다.
도 6를 참고하면, 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 상기 기술적 과제를 해결하기 위한 본 발명의 일양상에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 360도 공간에 대한 등장방형 제1 파노라마이미지를 생성하는 단계를 포함한다(S210).
제1 파노라마이미지는 사용자기기 등으로부터 수신되어 사용될 수 있다. 도 8 및 도 9를 참고하면, 제1 파노라마이미지는 이미지의 시작점이 되는 좌측으로부터 시작하여 360도 공간을 표현한 이미지로서 이미지의 마지막점에 되는 우측단에서 종료하도록 마련될 수 있다. 도 8 및 도 9를 참고하면 입체공간을 하나의 평면으로 표현한 등장방형도법으로 표현된 360도 파노라마이미지가 표현된 것을 확인할 수 있다.
다음으로, 상기 제1 파노라마이미지로부터 뎁스이미지를 추출하는 단계를 포함한다(S220).
도 8에서 제1 파노라마이미지의 예시인 (a)로부터 뎁스이미지에 해당하는 (b)가 추출된 모습을 확인할 수 있다. 도 8를 참고하면, 제1 파노라마이미지의 경우 컬러 이미지로서 서로 다른 깊이 값을 가진 영역의 픽셀로 분리될 수 있다. 픽셀에 서로 다른 명암을 적용하고 각각의 명암의 정도를 깊이 값에 대한 정보로 활용하기 위한 뎁스이미지로 표현할 수 있다. 이때 명암의 정도는 미리 설정된 방식에 따라 n개의 정수(n≥0)로 표현되도록 구비될 수 있다.
다음으로, 상기 제1 파노라마이미지와 뎁스이미지를 정면, 좌측면, 배면, 우측면, 평면 및 저면으로 이루어진 정방형 큐브맵에 매칭하여 좌안 이미지를 생성하는 단계를 포함한다(S230).
도 10을 참고하면, 등장방형도법으로 표현된 제1 파노라마이미지를 큐브맵에 매칭시 총 6개의 이미지로 구분되는 것을 확인할 수 있다. 큐브맵은 정면, 좌측면, 배면, 우측면, 평면 및 저면에 해당하는 이미지를 매칭하여 사용할 수 있다.
도 11은 큐브맵의 정면, 좌측면, 배면, 우측면을 등장방형도법으로 도시한 영역을 예시한 도면이다. 도 7을 참고하면, 등장방형도법으로 표현된 제1 파노라마이미지 상에 평면과 저면을 제외한 큐브맵의 정면, 좌측면, 배면 및 우측면의 연속면이 표현된 부분이 음영으로 표현된 것을 확인할 수 있다.
2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 사용자가 바라보는 방향의 이미지에 대한 입체감을 표현하기 위한 것으로, 사용자를 기준으로 한 상부공간과 하부공간의 경우 사용자의 시선 변화에 따라 좌/우안 영역의 정의가 달라지기 때문에, 깊이 값 적용 영역에서 제외하고, 중간의 4개 영역인 정면, 좌측면, 배면, 우측면에 대해서만 깊이 값을 적용하도록 구비될 수 있다.
도 12은 좌안 이미지와 뎁스 이미지를 이용하여 생성된 우안 이미지의 개념도이고, 도 9는 뎁스이미지에 상응하는 실제 오브젝트까지의 거리를 예시한 도면이다.
도 12 및 도 13를 참고하면, 좌우 양안의 거리에 해당하는 거리(baseline)와 제1 오브젝트(P1)와 제2 오브젝트(P2)와의 거리를 이용하여 좌/우안 영상의 차이(disparity)를 계산할 수 있다. 즉, 상대적으로 가까운 제1 오브젝트(P1)가 제2 오브젝트(P2)에 비해 양안시차(disparity) 값(l1-r1 > l2-r2)이 커짐을 알 수 있는데, 이를 이용해서 미리 지정된 깊이 값에 대응하여 입력 이미지의 픽셀 위치를 조정하는 방법을 통하여 좌안 이미지를 생성할 수 있다.
다음으로, 상기 제1 파노라마이미지로부터 상기 큐브맵 이미지의 정면, 좌측면, 배면 및 우측면의 연속된 이미지에 중첩되는 영역을 미리 설정된 등간격의 2차원이미지로 분할하는 단계를 포함한다(S240).
좌안 이미지를 고정한 상태로 제1 파노라마이미지에 대한 전체적인 우안 이미지를 생성하는 것이 아니라, 매칭된 큐브맵의 정면, 좌측면, 배면 및 우측면 각각의 영역을 등분하여 각각 분할된 영역에 대해서 좌안 및 우안 이미지를 생성할 수 있는데, 이때 각각의 영역은 전체 360도 공간의 1/8에 해당하는 45도 간격으로 분할될 수 있다. 다만, 이에 한정하는 것은 아니고 필요에 따라 적정한 등간격으로 영역을 분할할 수 있다.
다음으로, 상기 분할된 2차원이미지에 대하여 미리 설정된 알고리즘에 의하여 제1 스테레오스코픽 우안 이미지를 생성하는 단계를 포함한다(S250). 구체적으로 좌안 이미지와 좌우 양안의 거리에 해당하는 거리 및 오브젝트와의 거리를 통하여 우안 이미지를 생성할 수 있다.
또한, 입력 이미지와 별개로 주어진 작동 환경 변수인 양안 사이의 거리(baseline)와 눈과 이미지 영역 사이의 거리(f) 값의 정의가 필요하고, 오브젝트와의 최원거리와 최근거리에 대한 정보가 함께 제공되는 것이 바람직하다.
일반적으로 HMD 등의 VR 장치는 체감상 화면과의 거리가 약 1 내지 2 m내외이므로 최원 거리는 약 2 m보다 작고, 최근 거리 또한 장치에서 제공하는 초점거리(렌즈와 눈 사이의 거리)보다 크게 설정되는 것이 바람직하다. 바람직하게는, 오브젝트와 좌안 또는 우안의 거리는 약 1.5m 보다 작거나 같고, HMD의 렌즈와 좌안 또는 우안 사이의 거리보다 크도록 설정될 수 있다.
2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 상기 좌안 이미지와 제1 스테레오스코픽 우안 이미지를 각각 HMD에 적용하기 위한 좌측 및 우측 이미지로 제공하는 단계를 더 포함할 수 있다.
좌측 및 우측 이미지로 제공된 각각의 이미지는 제3 사용자에게 전송되어 HMD의 좌안 및 우안에 각각 디스플레이되도록 전송됨으로써 제3 사용자는 입체감 있는 영상을 감상할 수 있게 된다.
2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 하나의 파노라마이미지로부터 뎁스이미지를 추출하고, 각각의 이미지에 대하여 등장방형도법으로 표현한 후 이를 큐브맵에 매칭한 상태에서 위, 아래의 이미지를 제외한 나머지 이미지로 분리하고, 이를 다시 등장방형도법의 파노라마이미지로 변환하고, 이를 등분하여 좌안 이미지와 우안 이미지로 생성하므로 하나의 2차원 이미지를 이용하여 HMD에서 재생될 수 있는 3차원 이미지가 제공될 수 있게 된다.
본 발명의 다른 실시예에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법은 360도 공간에 대한 등장방형 제2 파노라마이미지를 생성하는 단계를 포함한다.
제2 파노라마이미지는 사용자가 직접 그린 2차원의 이미지에 해당할 수 있다. 보다 바람직한 예로써, 뎁스이미지정보는 제1 파노라마이미지로부터 추출된 것일 수 있다. 다만, 이에 한정하는 것은 아니고, 사용자가 뎁스이미지정보를 임의로 작성하여 제2 파노라마이미지와 함께 좌안 또는 우안 이미지를 생성하도록 구비될 수 있다.
제2 파노라마이미지를 앞서 기술한 제1 파노라마이미지 상에 표현하여 입체감을 전달하는 이미지를 생성하기 위하여 상기 제2 파노라마이미지에 상응하는 제1 파노라마이미지로부터 추출된 360도 공간에 대한 등장방형 뎁스이미지정보를 입력하는 단계가 포함될 수 있다.
다음으로, 상기 제2 파노라마이미지로부터 상기 뎁스이미지정보를 이용하여 서로 다른 깊이 값의 영역을 분리하는 단계를 포함한다.
제1 파노라마이미지로부터 추출된 뎁스이미지정보는 제2 파노라마이미지에 표현된 구분된 이미지에 대한 깊이 값으로 제공됨으로써 제1 파노라마이미지와 어우러진 3차원 이미지로 변환될 수 있다.
상기 분리된 영역을 정면, 좌측면, 배면, 우측면, 평면 및 저면으로 이루어진 n(n≥0, 정수)개의 정방형 큐브맵에 매칭하여 좌안 이미지를 생성하는 단계를 포함한다. 큐브맵은 다양한 깊이 값을 갖는 둘 이상의 이미지로써 입체감을 전달하기 위한 좌안 이미지로 제공될 수 있다.
다음으로, 상기 좌안 이미지에 대해서 미리 설정된 방식의 알고리즘에 의하여 제2 스테레오스코픽 우안 이미지를 생성하는 단계를 포함한다.
HMD의 양안의 렌즈 사이의 거리에 해당하는 사용자의 두 눈 사이의 거리와 적어도 하나 이상의 오브젝트와의 거리(깊이 값)을 이용한 비례식을 통하여 우안 이미지를 생성할 수 있다.
여기서, 상기 좌안 이미지와 제2 스테레오스코픽 우안 이미지를 각각 HMD에 적용하기 위한 좌측 및 우측 이미지로 제공하는 단계를 포함할 수 있다. 좌안 이미지와 우안 이미지는 시각차를 통해 HMD를 착용한 사용자에게 입체감을 갖는 하나의 이미지로 제공될 수 있다.
또한, 상기 미리 설정된 등간격은 상기 360도 공간에 대한 등장방형 제1 파노라마이미지를 8 등분한 것일 수 있다. 예를 들면, 좌안 이미지를 고정한 상태로 제1 파노라마이미지에 대한 전체적인 우안 이미지를 생성하는 것이 아니라, 매칭된 큐브맵의 정면, 좌측면, 배면 및 우측면 각각의 영역을 등분하여 각각 분할된 영역에 대해서 좌안 및 우안 이미지를 생성할 수 있는데, 이때 각각의 영역은 전체 360도 공간의 1/8에 해당하는 45도 간격으로 분할될 수 있다.
도 14 내지 도 17은 본 발명의 다른 실시예에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하는 방법의 예시도이다.
도 14 내지 도 17을 참고하면, 우선 하나의 큐브맵에서 위와 아래에 해당하는 영역을 제외한 정면, 좌측면, 배면 및 우측면으로 이루어진 연속된 이미지를 등장방형도법에 의해 표현한 파노라마이미지를 생성한다. 다음으로, 파노라마이미지에서 뎁스이미지를 추출한 것이 도 51에 예시되어 있다. 뎁스이미지는 파노라마이미지 상의 각각의 오브젝트마다 미리 설정된 값의 깊이 정보로 변환되어 각 오브젝트마다의 깊이 정도를 구현하는데 사용될 수 있다. 다음으로 사용자의 눈 사이의 거리와 각각의 오브젝트와의 거리를 이용한 비례식을 통하여 좌안 이미지와 우안 이미지를 각각 생성해 낼 수 있다.
도 16은 비례식을 통한 알고리즘을 이용한 좌안 이미지를 나타낸 것이고, 도 17은 비례식의 알고리즘을 이용한 우안 이미지를 나타낸 것으로서 각각의 이미지가 HMD의 좌안과 우안 렌즈에 각각 제공되는 경우 서로 다른 깊이의 오브젝트마다 입체감이 발현된 하나의 이미지로 제공될 수 있다.
즉, 등장방형 도법에 의한 하나의 파노라마이미지를 큐브맵에 매칭한 후 상부와 하부에 해당하는 이미지를 제외하고 수평면 상의 정면, 좌측면, 배면 및 우측면의 연속된 파노라마이미지로 변환한 후 미리 설정된 알고리즘에 따라 좌안 및 우안 이미지를 제공하도록 구현됨으로써, 과도한 컴퓨팅 파워를 요하지 않더라도 하나의 이미지로부터 입체감 있는 VR영상이 HMD를 통해 제공될 수 있다.
본 발명의 또다른 실시예에 따르면, 사용자기기에 하나의 360도 파노라마이미지를 입력한 후, 상기 파노라마이미지의 각각의 오브젝트에 깊이 값을 제공하기 위한 뎁스이미지를 추가로 입력하고, 파노라마이미지와 뎁스이미지를 각각 큐브맵에 매칭한 후 큐브의 평면과 저면 이미지를 제외한 값을 다시 파노라마이미지화하여 이를 이용하는 대신, 처음부터 큐브맵의 수평방향의 이미지에 해당하는 정면, 좌측면, 배면 및 우측면의 이미지와 이에 상응하는 뎁스이미지정보를 사용자 기기에 입력하여 하나의 새로운 파노라마이미지로 생성할 수 있다. 이렇게 마련된 새로운 파노라마이미지는 이미지 상에 표현된 오브젝트의 깊이 값과 사용자의 눈 사이이의 거리 및 사용자와 수직한 방향의 가상의 선을 이용한 비례식으로부터 좌안 이미지와 우안 이미지로 변환되도록 구비될 수 있다. 상세한 알고리즘은 앞서 설명한 예에 의하므로 생략한다.
본 발명의 또다른 실시예에 따른 2차원 이미지로부터 HMD를 위한 3차원 이미지를 생성하여 이를 입체이미지로 활용하게 되는 경우 사용자가 입력한 편집된 하나의 360도 이미지를 이용하여 HMD에 제공하기 위한 좌안 이미지와 우안 이미지로 손쉽게 변형됨에 따라 손쉽게 입체감 있는 콘텐츠로 제공될 수 있는 장점이 있다. 이러한 방식으로 제공된 콘텐츠는 특히 작가에 의하여 도안이 제공되는 2차원 디지털 만화에 접목되는 경우, HMD를 통해 입체감 있는 이미지로 제공될 수 있으므로 활용성이 클 수 있다.
본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (7)

  1. 가상콘텐츠 체험 시스템에 있어서, 상기 시스템을 구동하기 위한 중심 서버는,
    데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 콘텐츠변환부;
    2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 움직임정보 생성부;
    상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하도록 구비된 콘텐츠 재생제어부; 및
    상기 콘텐츠변환부, 움직임정보 또는 제어정보를 디스플레이하기 위한 디스플레이부;를 포함하는 것을 특징으로 하는 가상콘텐츠 체험 시스템.
  2. 제1항에 있어서,
    상기 움직임정보 생성부는 상기 데이터송수신부를 통하여 HMD로부터 수신된 상태정보를 이용하여 움직임정보로 변환하는 것을 특징으로 하는 가상콘텐츠 체험 시스템.
  3. 제1항에 있어서,
    상기 움직임정보는 상기 가상현실체험의자에 구비된 적어도 1개 이성의 서보모터를 제어하는 제어부에 전송되어 상기 가상현실체험의자가 상기 움직임정보에 해당하는 동작을 수행하도록 구비된 것을 특징으로 하는 가상콘텐츠 체험 시스템.
  4. 제1항에 있어서,
    상기 입체이미지는, 360도 공간에 대한 등장방형 제1 파노라마이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 뎁스이미지를 추출하는 단계; 상기 제1 파노라마이미지와 뎁스이미지를 정면, 좌측면, 배면, 우측면, 평면 및 저면으로 이루어진 정방형 큐브맵에 매칭하여 좌안 이미지를 생성하는 단계; 상기 제1 파노라마이미지로부터 상기 큐브맵 이미지의 정면, 좌측면, 배면 및 우측면의 연속된 이미지에 중첩되는 영역을 미리 설정된 등간격의 2차원이미지로 분할하는 단계; 상기 분할된 2차원이미지에 대하여 미리 설정된 알고리즘에 의하여 제1 스테레오스코픽 우안 이미지를 생성하는 단계;를 통하여 생성되는 것을 특징으로 하는 가상콘텐츠 체험 시스템.
  5. 제2항에 있어서,
    상기 HMD장치는 상기 상태정보에 포함된 자세정보와 자세수정정보를 생성하도록 구비되고,
    사용자의 시선 방향을 감지하는 센서; 사용자에게 가상 화면을 디스플레이하는 디스플레이부; 상기 센서에 기초하여 사용자의 시선 방향에 대한 제1 기준을 설정하는 화면제어부; 상기 제1 기준에 기초하여 가상 공간에 투영된 가상 화면을 사용자에게 전송하는 데이터송수신부; 상기 제1 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작은지 판단하는 회전감지부; Y축 방향에 대한 상기 사용자의 시선 방향의 이동 거리가 제3 임계 값 보다 큰지 판단하는 회전한계감지부; 상기 기준에 대비하여 피치(pitch) 방향에 대한 상기 사용자의 시선 방향의 회전 각도가 제1 임계 값 보다 크고 제2 임계 값 보다 작고, Y축 방향에 대한 상기 사용자의 시선 방향의 이동 길이가 제3 임계 값 보다 큰 경우에, 사용자의 자세가 누웠다고 판단하여 상기 자세정보를 생성하는 자세정보생성부; 사용자의 자세가 누웠다고 판단한 경우, 사용자의 시선 방향에 대한 새로운 제2 기준을 설정할지 여부를 묻는 상기 자세수정정보를 생성하는 자세수정정보생성부;를 포함하는 것을 특징으로 하는 가상콘텐츠 체험 시스템.
  6. 가상콘텐츠 체험 시스템 제어방법에 있어서, 상기 제어방법은,
    서비스서버의 콘텐츠변환부가 데이터송수신부를 통하여 수신하거나 또는 데이터입력부를 통하여 사용자로부터 입력된 2차원 이미지 콘텐츠를 미리 설정된 방법에 따라 변환하여 입체이미지로 변환하는 단계;
    상기 서비스서버의 움직임정보 생성부가 2차원 이미지 콘텐츠로부터 추출된 텍스트정보를 인식하여 움직임정보로 변환하는 단계;
    상기 서비스서버의 콘텐츠 재생제어부가 상기 움직임정보를 가상현실체험의자에 구비된 움직임정보관리부에 전송하거나 또는 상기 움직임정보관리부로부터 상기 움직임정보의 개시정보와 종료정보를 수신하여 새로운 2차원 이미지 콘텐츠를 제공할 것인지 제어하는 제어정보를 생성하고 수정하는 단계; 및
    상기 서비스서버의 디스플레이부가 상기 콘텐츠변환부, 움직임정보 또는 제어정보를 사용자창에 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 가상콘텐츠 체험 시스템 제어방법.
  7. 제6항에 따른 가상콘텐츠 체험 시스템 제어방법을 수행하기 위한 프로그램이 저장된 저장매체.
PCT/KR2020/016823 2019-11-29 2020-11-25 가상콘텐츠 체험 시스템 및 그 제어방법 WO2021107595A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/780,281 US20230052104A1 (en) 2019-11-29 2020-11-25 Virtual content experience system and control method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0156510 2019-11-29
KR1020190156510A KR20210067166A (ko) 2019-11-29 2019-11-29 가상콘텐츠 체험 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2021107595A1 true WO2021107595A1 (ko) 2021-06-03

Family

ID=76128857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016823 WO2021107595A1 (ko) 2019-11-29 2020-11-25 가상콘텐츠 체험 시스템 및 그 제어방법

Country Status (3)

Country Link
US (1) US20230052104A1 (ko)
KR (1) KR20210067166A (ko)
WO (1) WO2021107595A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591907B1 (ko) * 2021-09-15 2023-10-20 사회복지법인 삼성생명공익재단 영상 컨텐츠와 모션 체어를 연동하는 방법, 컴퓨터 프로그램 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338858A (ja) * 1999-05-28 2000-12-08 Toshiba Corp 仮想空間体感装置
KR101519463B1 (ko) * 2013-09-09 2015-05-12 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법
KR20170006247A (ko) * 2015-07-07 2017-01-17 한국전자통신연구원 가상 현실 게임 인터페이스 제공 장치 및 방법
KR101729131B1 (ko) * 2016-07-14 2017-05-16 주식회사 탑코 웹툰 이미지 증강 시스템
KR101901742B1 (ko) * 2017-05-29 2018-09-28 (주)누리아이 독서 엔터테이닝 장치 및 이의 구동 방법
KR20190125022A (ko) * 2018-04-27 2019-11-06 (주)코믹스브이 Vr웹툰학습이미지 제공방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913173B1 (ko) * 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
CN108027694B (zh) * 2015-09-04 2021-12-28 史克威尔·艾尼克斯有限公司 记录介质、内容提供装置以及控制方法
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338858A (ja) * 1999-05-28 2000-12-08 Toshiba Corp 仮想空間体感装置
KR101519463B1 (ko) * 2013-09-09 2015-05-12 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법
KR20170006247A (ko) * 2015-07-07 2017-01-17 한국전자통신연구원 가상 현실 게임 인터페이스 제공 장치 및 방법
KR101729131B1 (ko) * 2016-07-14 2017-05-16 주식회사 탑코 웹툰 이미지 증강 시스템
KR101901742B1 (ko) * 2017-05-29 2018-09-28 (주)누리아이 독서 엔터테이닝 장치 및 이의 구동 방법
KR20190125022A (ko) * 2018-04-27 2019-11-06 (주)코믹스브이 Vr웹툰학습이미지 제공방법

Also Published As

Publication number Publication date
KR20210067166A (ko) 2021-06-08
US20230052104A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
JP6880174B2 (ja) 仮想現実、拡張現実、および複合現実システムおよび方法
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
US11277603B2 (en) Head-mountable display system
KR101640404B1 (ko) 휴대 단말기 및 그 동작 제어방법
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
US20200264433A1 (en) Augmented reality display device and interaction method using the augmented reality display device
EP3971838A1 (en) Personalized face display method and apparatus for three-dimensional character, and device and storage medium
US10154247B2 (en) Virtual reality communication systems and methods thereof
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
KR101619468B1 (ko) 3d 가상현실 영상 디스플레이 장치 및 그 제어방법
EP3402410B1 (en) Detection system
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US11611738B2 (en) User interface module for converting a standard 2D display device into an interactive 3D display device
WO2021045500A1 (ko) 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN111213111B (zh) 一种可穿戴式设备及其中的方法
CN109313823B (zh) 信息处理装置、信息处理方法和计算机可读介质
KR20190125022A (ko) Vr웹툰학습이미지 제공방법
WO2020111471A1 (ko) 증강현실을 위한 모바일 홀로그램 디스플레이 단말기
US20220232201A1 (en) Image generation system and method
EP4325842A1 (en) Video display system, information processing device, information processing method, and program
CN116841350A (zh) 一种3d显示方法以及装置
CN116774836A (zh) 一种气流产生方法、装置及电子设备
CN117641040A (zh) 视频处理方法、装置、电子设备和存储介质
CN116193246A (zh) 用于拍摄视频的提示方法、装置、电子设备和存储介质
GB2558280A (en) Head mountable display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20891927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20891927

Country of ref document: EP

Kind code of ref document: A1