WO2024106567A1 - 증강콘텐츠 변환을 위한 영상처리 시스템 - Google Patents

증강콘텐츠 변환을 위한 영상처리 시스템 Download PDF

Info

Publication number
WO2024106567A1
WO2024106567A1 PCT/KR2022/018179 KR2022018179W WO2024106567A1 WO 2024106567 A1 WO2024106567 A1 WO 2024106567A1 KR 2022018179 W KR2022018179 W KR 2022018179W WO 2024106567 A1 WO2024106567 A1 WO 2024106567A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
image processing
unit
module
authoring
Prior art date
Application number
PCT/KR2022/018179
Other languages
English (en)
French (fr)
Inventor
동윤건
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Publication of WO2024106567A1 publication Critical patent/WO2024106567A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • the present invention relates to an image processing system for augmented content conversion, and more specifically, to an image processing system for augmented content conversion for voice recognition and information visualization.
  • the technical problem that the present invention aims to solve is to minimize the resources required to create 3D content through automatic 3D conversion technology for 2D content, and to provide video for augmented content conversion that allows even non-experts, not experts in 3D content production, to easily create 3D content.
  • an embodiment of the present invention includes a smart device and an image processing server that communicate with each other through a communication network, wherein the smart device is worn on the user's face and the user looks at the image processing server.
  • An actual image captured of the object being viewed and a content authoring command according to the user's voice and/or gesture are transmitted, and the image processing server receives the actual image and/or the content authoring command from the smart device to create the actual image.
  • An image processing system for augmented content conversion is provided, characterized in that it analyzes an image and the content authoring command, and provides the real image and/or augmented reality content corresponding to the content authoring command to the smart device.
  • the image processing server includes a server communication unit that transmits and receives data with the smart device; a 2D content authoring unit that provides a 2D content authoring tool to the user device; a content analysis unit that analyzes the 2D content created by the 2D content authoring unit to extract and/or generate unique data of the 2D content; a data management unit that generates a content data set by combining unique data extracted and/or generated from the content analysis unit; It may include a 3D content conversion unit that automatically generates 3D coordinates for 2D content and converts 2D content into 3D content.
  • the 2D content authoring unit creates 2D content by performing at least one of creating, manipulating, and editing media and/or shapes including text and/or images through the 2D content authoring tool. can do.
  • the 2D content authoring tool registers and/or edits unique attribute values of the authored 2D content, and the unique attribute values of the 2D content include object attributes and text font size. ), color, family, media URL, media type, media field, media resolution, media size, button, layer classification of the object, and depth value of the object.
  • the content analysis unit may recognize an object in the 2D content using a preset image recognition model, analyze key points of the object, and extract and/or generate two-dimensional coordinates.
  • the 3D content conversion unit converts the 2D content into the 3D content by automatically generating Z coordinates in the After setting the Z coordinate to a value of 0, the Z coordinate can be converted to 3D content by increasing the Z coordinate for each object property and/or layer by the set unit.
  • the 3D content conversion unit converts the 2D content into the 3D content by automatically generating Z coordinates in the Z coordinates are automatically generated by reflecting the depth value, and 2D content can be converted to 3D content using the automatically generated Z value.
  • the smart device includes a glass module consisting of a frame and a lens worn on the user's face, mounted on the frame, and including a display unit set to display a preset coordinate area; a camera module installed in the frame to capture the object the user looks at in real time according to the user's gaze and/or movement to generate the real image; At least one content authoring command module installed in the frame to input and process the user's voice and/or gesture; a glass communication module installed in the frame and communicating with the image processing server; and a glass control module that processes the image signal received through the glass communication module to be displayed on a display unit of the glass module.
  • the glass control module includes an image processing unit that processes the 3D content received from the image processing server and provides the signal to the glass module so that the 3D content is displayed on the glass module; an authoring command processing unit that processes the content authoring command received from the content authoring command module and provides the signal to the image processing server through the glass communication module; And when a user's content authoring command is input through the content authoring command module, the authoring command processing unit is controlled to signal process the inputted content authoring command, or the image processing unit is used to signal the 3D content into an image signal to display the glass. It may include a main control unit that controls the image processing unit to display as a module.
  • the resources required to create 3D content are minimized through automatic 3D conversion technology for 2D content, and even non-experts who are not experts in producing 3D content can easily create 3D content.
  • FIG. 1 is a diagram showing the configuration of an image processing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the appearance and configuration of the smart device of FIG. 1.
  • FIG. 3 is a diagram illustrating the detailed configuration of the smart device of FIG. 1.
  • FIG. 4 is a diagram illustrating the detailed configuration of the image processing server of FIG. 1 by way of example.
  • Figure 5 is a diagram illustrating 2D content generated in an image processing system according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating 3D content generated by an image processing system according to an embodiment of the present invention.
  • unit refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles.
  • “part” or “module” is not limited to software or hardware.
  • a “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors.
  • a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. could be further separated.
  • FIG. 1 is a diagram showing the configuration of an image processing system according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating the appearance and configuration of the smart device of FIG. 1
  • FIG. 3 is a diagram showing the configuration of the smart device of FIG. 1.
  • FIG. 4 is a diagram illustrating the detailed configuration of the image processing server of FIG. 1
  • FIG. 5 is a diagram illustrating 2D content generated by the image processing system according to an embodiment of the present invention. This is an exemplary diagram
  • FIG. 6 is a diagram exemplarily illustrating 3D content generated in an image processing system according to an embodiment of the present invention.
  • the image processing system 10 may include a smart device 100 and an image processing server 200 that communicate with each other through a communication network 20. .
  • the smart device 100 is connected to the image processing server 200 and the communication network 20, is worn on the user's body, and provides real-time images of the object the user is looking at to the image processing server 200. can do.
  • the smart device 100 according to an embodiment of the present invention includes a glass module 110, a camera module 120, a content authoring command module 130, a glass communication module 140, and a glass control module 150. ) may include.
  • the glass module 110 may be formed in the shape of glasses so that it can be worn on the user's face.
  • the glass module 110 consists of a frame 112 and a lens worn on the user's face, is mounted on the frame 112, and may include a display unit 114 set to display a preset coordinate area. .
  • the glass module 110 can embed the camera module 120, the content authoring command module 130, the glass communication module 140, and the glass control module 150 in the frame 112. there is.
  • the camera module 120 is installed on one side of the frame 112 and can capture the object the user looks at in real time according to the user's gaze and/or movement to generate an actual image.
  • At least one content authoring command module 130 is installed on one side of the frame 112 and can input and process the user's voice and/or gesture.
  • the content authoring command module 130 includes a microphone and/or an optical sensor, and detects voice from the utterance of the user wearing the glass module 110, or detects the user's (hand) gesture. , the trajectory of the drawing device used by the user can be detected. Additionally, the content authoring command module 130 can input and process the user's (hand) gesture or the trajectory of the drawing device captured through the camera module 120 as a content authoring command.
  • the glass communication module 140 is installed on one side of the frame 112 and can communicate wirelessly with the image processing server 200.
  • the glass communication module 140 can connect to the image processing server 200 through a wired/wireless wide area/local area network or local connection method according to the communication protocol of the image processing server 200.
  • the glass control module 150 processes the video signal received through the glass communication module 140 to be displayed on the display unit 114 of the glass module 110 and performs a preset operation in response to the voice. It can be processed to do so.
  • the glass control module 150 may include an image processing unit 152, a writing command processing unit 154, and a main control unit 156, as shown in FIG. 3.
  • the image processing unit 152 may process the 3D content received from the image processing server 200 to be displayed on the glass module 110 and provide the signal to the glass module 110 .
  • the image processing unit 152 may perform various image processing processes on image signals included in received 3D content.
  • the image processing unit 152 may output an image signal that has undergone this process through the display unit 114 of the glass module 110.
  • the image processing unit 152 can display an image based on the corresponding image signal on the display unit 114.
  • the image processing unit 152 extracts at least one of video, audio, and additional data corresponding to the 3D content from the received 3D content, adjusts it to a preset resolution, and outputs it through the glass module 110. You can do it.
  • the type of image processing process performed by the image processing unit 152 is not limited, for example, decoding corresponding to the image format of the image data, converting interlace image data into a progressive method. De-interlacing to convert, scaling to adjust video data to a preset resolution, noise reduction to improve video quality, detail enhancement, and frame refresh rate. May include conversion, etc.
  • the authoring command processing unit 154 can signal-process the content authoring command received from the content authoring command module 130 and provide a voice command to the image processing server 200 through the glass communication module 140. .
  • the authoring command processing unit 154 may perform an authoring command processing process for the trajectory of the voice, gesture, and/or drawing device input to the content authoring command module 130.
  • the authoring command processing unit 154 determines whether the input voice and/or gesture was caused by the user or other factors. can do. However, since various structures may be applied to this determination method, it is determined whether the input voice and/or gesture corresponds to the wavelength and/or frequency band corresponding to the human voice, or whether it corresponds to the profile of the user's voice specified in advance. Methods such as determining or determining whether the user's body is moving according to a pre-designated pattern can be used.
  • the authoring command processing unit 154 may determine whether the input trajectory is a trajectory generated by a preset drawing device.
  • the main control unit 156 may control the authoring command processing unit 154 to signal process the inputted content authoring command.
  • the main control unit 156 can control the image processing unit 152 to process 3D content into an image signal and display it on the glass module 110 through the image processing unit 152.
  • the glass control module 150 processes images by mounting a SOC (system-on-chip) that integrates various functions, or individual components that can independently perform each process, on a printed circuit board. It may be implemented as a board (not shown) and embedded in the glass module 110.
  • SOC system-on-chip
  • the smart device 100 may be implemented not only in the form of glass, but also in the form of a smartphone, tablet, or handheld PC.
  • the image processing server 200 is connected to the smart device 100 and the communication network 20 and receives the real image and/or content authoring command from the smart device 100 to create the real image and/or the content.
  • the authoring command may be analyzed, and 2D content and/or 3D content corresponding to the actual image and/or the content authoring command may be provided to the smart device 100.
  • the image processing server 200 may include a server communication unit 210, a 2D content authoring unit 220, a content analysis unit 230, a data management unit 240, and a 3D content conversion unit 250. there is.
  • the server communication unit 210 can transmit and receive data with the smart device 100.
  • the server communication unit 210 receives the actual image and/or the content authoring command from the smart device 100, and creates 2D content authored in response to the content authoring command, and 3D content into which the 2D content has been converted. Content can be selectively transmitted to and received from the smart device 100.
  • the server communication unit 210 may receive a command for creating 2D content from the smart device 100 and transmit the 3D content as a video signal.
  • the server communication unit 210 is a local area network (LAN), wide area network (WAN), code division multiple access (CDMA), wideband code division multiple access (WCDMA), global system for mobile communications (GSM), and LTE.
  • Communication methods such as Long Term Evolution (Long Term Evolution) and EPC (Evolved Packet Core) can be used, so it is not limited to any one communication method.
  • the 2D content authoring unit 220 may provide a 2D content authoring tool to the smart device 100. At this time, the 2D content authoring unit 220 may author 2D content by performing at least one of creating, manipulating, and editing media and/or shapes including text and/or images through a 2D content authoring tool.
  • the content authoring tool may include a 2D content authoring template (slide) for authoring 2D content by receiving a user's content authoring command input through the smart device 100.
  • the 2D content authoring unit 220 may provide a 2D content authoring template to the smart device 100 using at least one of PPT, PDF, HTML, and an authoring application.
  • the content authoring tool can register and/or edit unique attribute values of the authored 2D content.
  • the unique attribute values of the 2D content include object attributes, text font size, color, family, media URL, media type, media field, media resolution, media size, button, object layer classification, It may include at least one of the depth values of the object.
  • the content analysis unit 230 may analyze the 2D content created by the 2D content authoring unit 220 to extract and/or generate unique data of the 2D content.
  • the content analysis unit 230 may extract unique properties and/or 2D coordinates of the 2D content as unique data.
  • the content analysis unit 230 analyzes the object from the 2D content to extract the object's unique properties and/or the object's two-dimensional coordinates (XY coordinates) as unique data, and the extracted unique data is stored in the data management unit 240. ) can be provided.
  • the content analysis unit 230 recognizes objects in the 2D content using a preset image recognition model, analyzes key points of the object, and extracts and/or generates 2-dimensional coordinates (XY coordinates). You can. At this time, the content analysis unit 230 extracts and/or generates two-dimensional coordinates as necessary when determining which position the object should be aligned with, but preferentially extracts and/or generates the X coordinates for the main points of the object. can do.
  • the image recognition model can be set as an image analysis artificial intelligence program for shape recognition, and includes automatic generation of test images that automatically generate 1- and 2-dimensional barcode data for product recognition, and image multiplication techniques to determine image resolution.
  • Data argument that automatically processes padding according to changes, resolution change that introduces an algorithm to correct positional changes in the bounding box that occurs when the resolution of the training image is changed, and images taken for product and shape recognition
  • Computer vision such as data set separation for image restoration that automatically classifies training data for upscaling, recognition processing to simulate (object detection, OCR, barcode or QR code, object tracking, etc.), object containment, segmentation keypoint detection, etc.
  • Items such as the COCO dataset created for field tasks can be supported.
  • the image recognition model can secure an accuracy of about 94% or more based on about 10,000 image datasets to which the data arguments are applied.
  • the data management unit 240 may generate a content data set by combining unique data extracted and/or generated in the content analysis unit 230. Additionally, the data management unit 240 may store the content data set in the form of a sheet and/or file. For example, the data management unit 240 may generate a content data set by combining unique attribute values of 2D content and 2-dimensional coordinates of 2D content.
  • the 3D content conversion unit 250 can automatically generate 3D coordinates for 2D content and convert 2D content into 3D content. That is, the 3D content conversion unit 250 can automatically generate Z coordinates in the XY coordinates of 2D content and convert 2D content into 3D content.
  • the 3D content conversion unit 250 can give a three-dimensional effect to 2D content based on 3D space.
  • the 3D content conversion unit 250 sets the Z coordinate to a value of 0 for all objects in the 2D content, and then increases the Z coordinate for each object property and/or layer by a set unit. You can convert it into 3D content.
  • the 3D content conversion unit 250 converts simple flat 2D content into 3D, and sequentially increases the Z coordinate by 1 for each attribute and/or layer of individual objects in the 3D content to create 3D content with a three-dimensional effect. It can be converted into content.
  • the 3D content conversion unit 250 automatically generates the Z coordinate by reflecting the depth value pre-indexed for each object in the unique attribute value of the 2D content, and converts the 2D content into 3D content with the automatically generated Z value. It can be converted to .
  • the 3D content conversion unit 250 checks the depth value indexed for each object in advance from the unique attribute value registered and/or edited by the user through the content authoring tool, and generates a Z corresponding to the confirmed depth value. Coordinates can be created automatically.
  • the 3D content conversion unit 250 receives indexing data for each object attribute from an external data server, automatically generates Z coordinates, and converts 2D content into 3D content with the automatically generated Z value. You can.
  • the 3D content conversion unit 250 receives datasets such as Human 3.6M Dataset as indexing data from an external data server, and automatically generates the Z coordinates of objects in 2D content based on the provided indexing data. You can.
  • the image processing server 200 may further include a content matching unit 260 that matches the 3D content corresponding to the actual image.
  • the content matching unit 260 analyzes the real image to match the 3D content to the real image, reflects the analysis results and converts the 3D coordinates of the 3D content into spatial coordinates, and the server communication unit 210 3D content converted into spatial coordinates can be provided to the smart device 100.
  • the content matcher 260 can measure at least one of the length, width, and depth in three-dimensional space from the real image containing the object, and reflects at least one of the measured length, width, and depth
  • the three-dimensional coordinates of 3D content can be converted into spatial coordinates.
  • the content matcher 260 may convert three-dimensional coordinates into spatial coordinates using a preset homography matrix to correct at least one of length, width, and depth.
  • homography may refer to a transformation relationship that is consistently established between projected corresponding points when one plane is projected onto another plane.
  • the content matcher 260 can match the 3D coordinates of points in the real image with image coordinates using a preset homography matrix. Through this, the content matching unit 260 can measure at least one of the length, width, and depth in three-dimensional space from the physical image.
  • the content registration unit 260 may detect space by analyzing the spatial width and cross-section of the object in the physical image, and convert the three-dimensional coordinates of the 3D content into spatial coordinates to correspond to the sensed space.
  • the resources required to create 3D content are minimized through automatic 3D conversion technology for 2D content, and even non-experts who are not experts in producing 3D content can easily create 3D content.
  • the properties of 2D content can be extracted and projected into a three-dimensional space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강콘텐츠 변환을 위한 영상처리 시스템에 관한 것으로, 본 발명의 일실시예는 통신망을 통해 상호 통신하는 스마트 디바이스 및 영상처리서버를 포함하되, 상기 스마트 디바이스는, 사용자의 안면에 착용되어 상기 영상처리서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 음성 및/또는 제스처에 따른 콘텐츠 저작명령을 송신하고, 상기 영상처리서버는, 상기 스마트 디바이스로부터 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 수신하여 상기 실물영상 및 상기 콘텐츠 저작명령을 분석하고, 상기 실물영상 및/또는 상기 콘텐츠 저작명령에 대응하는 증강현실 컨텐츠를 상기 스마트 디바이스에게 제공하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템을 제공한다.

Description

증강콘텐츠 변환을 위한 영상처리 시스템
본 발명은 증강콘텐츠 변환을 위한 영상처리 시스템에 관한 것으로, 더욱 상세하게는 음성인식 및 정보 가시화를 위한 증강콘텐츠 변환을 위한 영상처리 시스템에 관한 것이다.
최근 소셜 네트워크 서비스(SNS)가 유행하면서 참신하고 독특한 동영상들이 다양하게 제작되고 있다. 이러한 동영상 중에는 특수효과를 부가하거나 캐릭터를 이용한 3D 형태의 콘텐츠로 제작되는 경우도 존재한다.
그러나, 이러한 특수효과를 부과하거나 3D 콘텐츠를 제작하는 방식은 사용자의 많은 시간적 혹은 재정적 투자를 요구하는 방식으로 일반인이 쉽게 이용하기 어려운 방식이다. 또한, 모션캡처 데이터를 생성하기 위해서는 별도의 촬영장비가 필요한데, 이러한 장비는 고가이므로 일반인이 사용하기에는 재정적 어려움이 존재한다. 또한, 제작한 동영상을 편집하더라도 고가의 편집툴이 필요하고, 고도의 기술이 요구된다.
따라서, 전문적인 장비와 기술이 부족한 일반인들에게는 특수효과를 부가하거나 3D 콘텐츠 형태의 동영상 등을 제작하기에 많은 어려움이 존재하여 콘텐츠 제작을 어렵게 만들고 있다.
본 발명이 해결하고자 하는 기술적 과제는 2D 콘텐츠에 대한 자동 3D 변환 기술을 통해 3D 콘텐츠 생성에 필요한 리소스를 최소화하고, 3D콘텐츠 제작 전문가가 아닌 비전문가도 쉽게 3D 콘텐츠를 제작할 수 있는 증강콘텐츠 변환을 위한 영상처리 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 통신망을 통해 상호 통신하는 스마트 디바이스 및 영상처리서버를 포함하되, 상기 스마트 디바이스는, 사용자의 안면에 착용되어 상기 영상처리서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 음성 및/또는 제스처에 따른 콘텐츠 저작명령을 송신하고, 상기 영상처리서버는, 상기 스마트 디바이스로부터 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 수신하여 상기 실물영상 및 상기 콘텐츠 저작명령을 분석하고, 상기 실물영상 및/또는 상기 콘텐츠 저작명령에 대응하는 증강현실 컨텐츠를 상기 스마트 디바이스에게 제공하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 영상처리서버는, 상기 스마트 디바이스와 데이터를 송수신하는 서버 통신부; 상기 사용자 디바이스에 2D 콘텐츠 저작도구를 제공하는 2D 콘텐츠 저작부; 상기 2D 콘텐츠 저작부에서 저작된2D 콘텐츠를 분석하여 상기 2D 콘텐츠의 고유 데이터를 추출 및/또는 생성하는 콘텐츠 분석부; 상기 콘텐츠 분석부에서 추출 및/또는 생성된 고유 데이터를 묶어 콘텐츠 데이터 세트를 생성하는 데이터 관리부; 2D 콘텐츠에 대한 3차원 좌표를 자동으로 생성하여 2D 콘텐츠를 3D 콘텐츠로 변환하는 3D 콘텐츠 변환부를 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 2D 콘텐츠 저작부는, 상기 2D 콘텐츠 저작도구를 통해 텍스트 및/또는 이미지를 포함하는 미디어 및/또는 도형을 생성, 조작 및 편집 중 적어도 하나를 수행하여 2D 콘텐츠를 저작할 수 있다.
본 발명의 실시예에 있어서, 상기 2D 콘텐츠 저작도구는, 저작된 2D 콘텐츠의 고유 속성 값을 등록 및/또는 편집하되, 상기 2D 콘텐츠의 고유 속성 값은, 객체 속성, 텍스트의 폰트 사이즈(font size), 컬러(color), 패밀리, 미디어 URL, 미디어 유형, 미디어 분야, 미디어 해상도, 미디어 크기, 버튼, 객체의 레이어 구분, 객체의 깊이(depth)값 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 콘텐츠 분석부는, 기 설정된 이미지 인식 모델을 이용하여 상기 2D 콘텐츠 내 객체를 인식하고, 객체의 주요 포인트를 분석하여 2차원 좌표로 추출 및/또는 생성할 수 있다.
본 발명의 실시예에 있어서, 상기 3D 콘텐츠 변환부는, 상기 2D 콘텐츠의 XY좌표에 Z좌표를 자동으로 생성하여 상기 2D 콘텐츠를 상기 3D 콘텐츠로 변환하되, 상기 2D 콘텐츠의 모든 객체에 대해 일괄적으로 Z좌표가 0값이 되도록 설정한 후 객체의 속성 및/또는 레이어별로 Z좌표를 설정된 단위로 증가시켜 3D 콘텐츠로 변환할 수 있다.
본 발명의 실시예에 있어서, 상기 3D 콘텐츠 변환부는, 상기 2D 콘텐츠의 XY좌표에 Z좌표를 자동으로 생성하여 상기 2D 콘텐츠를 상기 3D 콘텐츠로 변환하되, 2D 콘텐츠의 고유 속성 값에서 객체별로 미리 인덱싱된 깊이값을 반영하여 Z좌표를 자동 생성하고, 자동 생성된 Z값으로 2D 콘텐츠를 3D 콘텐츠로 변환할 수 있다.
본 발명의 실시예에 있어서, 상기 스마트 디바이스는, 사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부를 포함하는 글래스모듈; 상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈; 상기 프레임에 적어도 하나가 설치되어 사용자의 음성 및/또는 제스처를 입력 처리하는 콘텐츠저작명령모듈; 상기 프레임에 설치되어 상기 영상처리서버와 통신하는 글래스통신모듈; 및 상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하는 글래스제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 영상처리서버로부터 수신한 3D 콘텐츠가 상기 글래스모듈에서 표시되도록 상기 3D 콘텐츠를 신호처리하여 상기 글래스모듈로 제공하는 영상처리부; 상기 콘텐츠저작명령모듈로부터 수신한 콘텐츠 저작명령을 신호처리하여 상기 글래스통신모듈을 통해 상기 영상처리서버로 제공하는 저작명령처리부; 및 상기 콘텐츠저작명령모듈을 통해 사용자의 콘텐츠 저작명령이 입력되면, 입력된 콘텐츠 저작명령을 신호처리하도록 상기 저작명령처리부를 제어하거나, 상기 영상처리부를 통해 3D 콘텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시하도록 상기 영상처리부를 제어하는 메인제어부를 포함할 수 있다.
본 발명의 실시예에 따르면, 2D 콘텐츠에 대한 자동 3D 변환 기술을 통해 3D 콘텐츠 생성에 필요한 리소스를 최소화하고, 3D콘텐츠 제작 전문가가 아닌 비전문가도 쉽게 3D 콘텐츠를 제작할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이다.
도 2는 도 1의 스마트 디바이스의 외형 및 구성을 예시적으로 나타내는 도면이다.
도 3은 도 1의 스마트 디바이스의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 도 1의 영상처리서버의 세부 구성을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상처리 시스템에서 생성된 2D 콘텐츠를 예시적으로 나타내는 도면이다.
도 6는 본 발명의 일 실시예에 따른 영상처리 시스템에서 생성된 3D 콘텐츠를 예시적으로 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이고, 도 2는 도 1의 스마트 디바이스의 외형 및 구성을 예시적으로 나타내는 도면이고, 도 3은 도 1의 스마트 디바이스의 세부 구성을 예시적으로 나타내는 도면이고, 도 4는 도 1의 영상처리서버의 세부 구성을 예시적으로 나타내는 도면이고, 도 5는 본 발명의 일 실시예에 따른 영상처리 시스템에서 생성된 2D 콘텐츠를 예시적으로 나타내는 도면이며, 도 6는 본 발명의 일 실시예에 따른 영상처리 시스템에서 생성된 3D 콘텐츠를 예시적으로 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 영상처리 시스템(10)은 통신망(20)을 통해 상호 통신하는 스마트 디바이스(100) 및 영상처리서버(200)를 포함할 수 있다.
상기 스마트 디바이스(100)는 상기 영상처리서버(200)와 통신망(20)으로 연결되고, 사용자의 신체에 착용되어 상기 영상처리서버(200)로 사용자가 바라보는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 본 발명의 일 실시예에 따른 상기 스마트 디바이스(100)는 글래스모듈(110), 카메라모듈(120), 콘텐츠저작명령모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.
도 2를 더 참조하면, 상기 글래스모듈(110)은 사용자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 사용자의 안면에 착용되는 프레임(112) 및 렌즈로 이루어져 상기 프레임(112)에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부(114)를 포함할 수 있다.
여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 콘텐츠저작명령모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112)에 내장할 수 있다.
상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.
상기 콘텐츠저작명령모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 사용자의 음성 및/또는 제스처를 입력 처리할 수 있다. 예를 들면, 상기 콘텐츠저작명령모듈(130)은 마이크 및/또는 광학센서를 포함하며, 상기 글래스모듈(110)을 착용한 사용자의 발화로부터 음성을 감지하거나, 사용자의 (핸드) 제스처를 감지하거나, 사용자가 사용하는 드로잉 장치의 궤적을 감지할 수 있다. 또한, 상기 콘텐츠저작명령모듈(130)은 상기 카메라모듈(120)을 통해 촬영된 사용자의 (핸드) 제스처 또는 드로잉 장치의 궤적을 콘텐츠 저작명령으로 입력 처리할 수 있다.
상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되어 상기 영상처리서버(200)와 무선 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 영상처리서버(200)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 영상처리서버(200)에 접속할 수 있다.
상기 글래스제어모듈(150)은 상기 글래스통신모듈(140)을 통해 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 3에 도시된 바와 같이 영상처리부(152), 저작명령처리부(154), 메인제어부(156)를 포함할 수 있다.
상기 영상처리부(152)는 상기 영상처리서버(200)로부터 수신한 3D 콘텐츠가 상기 글래스모듈(110)에서 표시되도록 상기 3D 콘텐츠를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 3D 콘텐츠에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이부(114)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 3D 콘텐츠로부터 해당 3D 콘텐츠에 대응하는 영상, 음성 및 부가데이터 중 적어도 하나를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
상기 저작명령처리부(154)는 상기 콘텐츠저작명령모듈(130)로부터 수신한 콘텐츠 저작명령을 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 영상처리서버(200)로 음성명령을 제공할 수 있다.
구체적으로, 상기 저작명령처리부(154)는 상기 콘텐츠저작명령모듈(130)에 입력되는 음성, 제스처 및/또는 드로잉 장치의 궤적에 대한 저작명령처리 프로세스를 수행할 수 있다. 여기서, 상기 저작명령처리부(154)는 상기 콘텐츠저작명령모듈(130)에 음성 및/또는 제스처가 입력되면, 입력된 음성 및/또는 제스처가 사용자에 의한 것인지 아니면 기타 요인에 의하여 발생한 것인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 제스처가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 사용자의 음성의 프로파일에 해당하는지 판단하거나, 또는 미리 지정된 패턴에 따라 사용자의 신체가 움직이는 것인지를 판단하는 등의 방법을 사용할 수 있다. 또한, 상기 저작명령처리부(154)는 상기 콘텐츠저작명령모듈(130)에 드로잉 장치의 궤적이 입력되면, 입력된 궤적이 기 설정된 드로잉 장치에 의해 생성된 궤적인지 판단할 수 있다.
상기 메인제어부(156)는 상기 콘텐츠저작명령모듈(130)을 통해 사용자의 콘텐츠 저작명령이 입력되면, 입력된 콘텐츠 저작명령을 신호처리하도록 상기 저작명령처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 3D 콘텐츠를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시하도록 상기 영상처리부(152)를 제어할 수 있다.
상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.
다만, 상기와 같은, 상기 스마트 디바이스(100)는 글래스 형태로 구현되는 것뿐만 아니라, 스마트폰, 테블릿, 핸드헬드PC 등의 형태로 구현될 수도 있다.
상기 영상처리서버(200)는 상기 스마트 디바이스(100)와 통신망(20)으로 연결되고 상기 스마트 디바이스(100)로부터 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 수신하여 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 분석하고, 상기 실물영상 및/또는 상기 콘텐츠 저작명령에 대응하는 2D 콘텐츠 및/또는 3D 콘텐츠를 상기 스마트 디바이스(100)에게 제공할 수 있다.
이를 위하여, 상기 영상처리서버(200)는 서버 통신부(210), 2D 콘텐츠 저작부(220), 콘텐츠 분석부(230), 데이터 관리부(240), 및 3D 콘텐츠 변환부(250)를 포함할 수 있다.
상기 서버 통신부(210)는 상기 스마트 디바이스(100)와 데이터를 송수신할 수 있다. 여기서, 상기 서버 통신부(210)는 상기 스마트 디바이스(100)로부터 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 수신하고, 상기 콘텐츠 저작명령에 대응하여 저작된 2D 콘텐츠와, 상기 2D 콘텐츠가 변환된 3D 콘텐츠를 선택적으로 상기 스마트 디바이스(100)에게 송수신할 수 있다.
여기서, 상기 서버 통신부(210)는 상기 스마트 디바이스(100)로부터 2D 콘텐츠 저작을 위한 명령을 수신하고, 3D 콘텐츠를 영상신호로 송신할 수 있다. 이러한, 상기 서버 통신부(210)는 LAN(Local Area Network), WAN(Wide Area Network), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution), EPC(Evolved Packet Core) 등의 통신 방식을 사용할 수 있어, 어느 하나의 통신 방식에 한정되지 아니한다.
상기 2D 콘텐츠 저작부(220)는 상기 스마트 디바이스(100)에 2D 콘텐츠 저작도구를 제공할 수 있다. 이때, 상기 2D 콘텐츠 저작부(220)는 2D 콘텐츠 저작도구를 통해 텍스트 및/또는 이미지를 포함하는 미디어 및/또는 도형을 생성, 조작 및 편집 중 적어도 하나를 수행하여 2D 콘텐츠를 저작할 수 있다.
여기서, 상기 콘텐츠 저작도구는 스마트 디바이스(100)를 통해 입력된 사용자의 콘텐츠 저작명령을 전달받아 2D 콘텐츠를 저작하는 2D 콘텐츠 저작용 템플릿(슬라이드)을 포함할 수 있다. 예를 들면, 상기 2D 콘텐츠 저작부(220)는 PPT, PDF, HTML, 및 저작 어플리케이션 중 적어도 하나를 이용하여 스마트 디바이스(100)로 2D 콘텐츠 저작용 템플릿을 제공할 수 있다.
또한, 상기 콘텐츠 저작도구는 저작된 2D 콘텐츠의 고유 속성 값을 등록 및/또는 편집할 수 있다. 이때, 2D 콘텐츠의 고유 속성 값은 객체 속성, 텍스트의 폰트 사이즈(font size), 컬러(color), 패밀리, 미디어 URL, 미디어 유형, 미디어 분야, 미디어 해상도, 미디어 크기, 버튼, 객체의 레이어 구분, 객체의 깊이(depth)값 중 적어도 하나를 포함할 수 있다.
상기 콘텐츠 분석부(230)는 상기 2D 콘텐츠 저작부(220)에서 저작된 상기 2D 콘텐츠를 분석하여 상기 2D 콘텐츠의 고유 데이터를 추출 및/또는 생성할 수 있다. 여기서, 상기 콘텐츠 분석부(230)는 상기 2D 콘텐츠의 고유 속성 및/또는 2차원 좌표를 고유 데이터로 추출할 수 있다. 이때, 상기 콘텐츠 분석부(230)는 상기 2D 콘텐츠로부터 객체를 분석하여 객체의 고유 속성 및/또는 객체의 2차원 좌표(XY좌표)를 고유 데이터로 추출하며, 추출한 고유 데이터를 상기 데이터 관리부(240)로 제공할 수 있다.
예를 들면, 상기 콘텐츠 분석부(230)는 기 설정된 이미지 인식 모델을 이용하여 상기 2D 콘텐츠 내 객체를 인식하고, 객체의 주요 포인트를 분석하여 2차원 좌표(XY좌표)로 추출 및/또는 생성할 수 있다. 이때, 상기 콘텐츠 분석부(230)는 객체가 어떤 위치에 정합해야 하는지 판단할 때 필요하여 2차원 좌표를 추출 및/또는 생성하되, 객체의 주요 포인트에 대한 X좌표를 우선적으로 추출 및/또는 생성할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리, 객체 담지, 세그먼테이션 키포인트 탐지 등의 컴퓨터 비전 분야의 테스크(task) 목적으로 만들어진 코코 데이터셋(COCO dataset) 등의 항목을 지원할 수 있다. 예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
상기 데이터 관리부(240)는 상기 콘텐츠 분석부(230)에서 추출 및/또는 생성된 고유 데이터를 묶어 콘텐츠 데이터 세트를 생성할 수 있다. 또한, 상기 데이터 관리부(240)는 상기 콘텐츠 데이터 세트를 시트(sheet) 및/또는 파일(file) 형태로 저장할 수 있다. 예를 들면, 상기 데이터 관리부(240)는 2D 콘텐츠의 고유 속성 값과, 2D 콘텐츠의 2차원 좌표를 묶어서 콘텐츠 데이터 세트를 생성할 수 있다.
상기 3D 콘텐츠 변환부(250)는 2D 콘텐츠에 대한 3차원 좌표를 자동으로 생성하여 2D 콘텐츠를 3D 콘텐츠로 변환할 수 있다. 즉, 상기 3D 콘텐츠 변환부(250)는 2D 콘텐츠의 XY좌표에 Z좌표를 자동으로 생성하여 2D 콘텐츠를 3D 콘텐츠로 변환할 수 있다. 이러한 상기 3D 콘텐츠 변환부(250)는 3D 공간을 기반으로 2D 콘텐츠에 입체감을 부여할 수 있다.
일 실시예에 따르면, 상기 3D 콘텐츠 변환부(250)는 2D 콘텐츠의 모든 객체에 대해 일괄적으로 Z좌표가 0값이 되도록 설정한 후 객체의 속성 및/또는 레이어별로 Z좌표를 설정된 단위로 증가시켜 3D 콘텐츠로 변환할 수 있다. 예를 들면, 상기 3D 콘텐츠 변환부(250)는 단순 평면적인 2D 콘텐츠를 일단 3D화하고, 3D화된 콘텐츠에서 개별 객체들을 속성 및/또는 레이어별로 Z좌표를 1씩 순차적으로 증가시켜 입체감을 갖는 3D 콘텐츠로 변환할 수 있다.
다른 실시예에 따르면, 상기 3D 콘텐츠 변환부(250)는 2D 콘텐츠의 고유 속성 값에서 객체별로 미리 인덱싱된 깊이값을 반영하여 Z좌표를 자동 생성하고, 자동 생성된 Z값으로 2D 콘텐츠를 3D 콘텐츠로 변환할 수 있다. 예를 들면, 상기 3D 콘텐츠 변환부(250)는 사용자가 상기 콘텐츠 저작도구를 통해 등록 및/또는 편집한 고유 속성 값으로부터 미리 객체별로 인덱싱된 깊이값을 확인하고, 확인된 깊이값에 대응하는 Z좌표를 자동으로 생성할 수 있다.
또 다른 실시예에 따르면, 상기 3D 콘텐츠 변환부(250)는 외부 데이터 서버로부터 객체의 속성별 인덱싱 데이터를 제공받아 Z좌표를 자동 생성하고, 자동 생성된 Z값으로 2D 콘텐츠를 3D 콘텐츠로 변환할 수 있다. 예를 들면, 상기 3D 콘텐츠 변환부(250)는 외부 데이터 서버로부터 Human 3.6M Dataset 등의 데이터셋을 인덱싱 데이터로 제공받으며, 제공받은 인덱싱 데이터를 기반으로 2D 콘텐츠의 객체들 Z좌표를 자동 생성할 수 있다.
한편, 상기 영상처리서버(200)는 상기 실물영상에 대응하여 상기 3D 콘텐츠를 정합시키는 콘텐츠 정합부(260)를 더 포함할 수 있다.
상기 콘텐츠 정합부(260)는 상기 실물영상에 상기 3D 콘텐츠를 정합시키기 위하여 상기 실물영상을 분석하고, 분석 결과를 반영하여 3D 콘텐츠의 3차원 좌표를 공간 좌표로 변환하며, 상기 서버 통신부(210)를 통해 공간 좌표로 변환된 3D 콘텐츠를 상기 스마트 디바이스(100)로 제공할 수 있다.
여기서, 상기 콘텐츠 정합부(260)는 객체가 포함된 상기 실물영상에서 3차원 공간 상의 길이, 너비, 및 깊이 중 적어도 하나를 측정할 수 있고, 측정된 길이, 너비 및 깊이 중 적어도 하나를 반영하여 3D 콘텐츠의 3차원 좌표를 공간 좌표로 변환할 수 있다.
구체적으로, 상기 콘텐츠 정합부(260)는 길이, 너비 및 깊이 중 적어도 하나의 보정을 위하여 기 설정된 호모그래피(homography) 행렬을 이용하여 3차원 좌표를 공간 좌표로 변환할 수 있다. 참고로, 호모그래피는 한 평면을 다른 평면에 투영시켰을 때 투영된 대응점들 사이에 일정하게 성립되는 변환 관계를 의미할 수 있다. 이러한 상기 콘텐츠 정합부(260)는 기 설정된 호모그래피 행렬을 이용하여 상기 실물영상에 있는 포인트의 3차원 좌표를 이미지 좌표와 매칭시킬 수 있다. 이를 통해, 상기 콘텐츠 정합부(260)는 상기 실물영상에서 3차원 공간 상의 길이, 너비, 및 깊이 중 적어도 하나를 측정할 수 있다.
또한, 상기 콘텐츠 정합부(260)는 상기 실물영상에 있는 공간 폭과 객체의 단면을 분석하여 공간을 감지하고, 감지된 공간에 대응하도록 3D 콘텐츠의 3차원 좌표를 공간 좌표로 변환할 수 있다.
본 발명의 실시예에 따르면, 2D 콘텐츠에 대한 자동 3D 변환 기술을 통해 3D 콘텐츠 생성에 필요한 리소스를 최소화하고, 3D콘텐츠 제작 전문가가 아닌 비전문가도 쉽게 3D 콘텐츠를 제작할 수 있다.
또한, 본 발명의 실시예에 따르면, 2D 콘텐츠(이미지)의 속성을 추출하여 3차원으로 설정된 공간에 투영할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

  1. 통신망을 통해 상호 통신하는 스마트 디바이스 및 영상처리서버를 포함하되,
    상기 스마트 디바이스는,
    사용자의 안면에 착용되어 상기 영상처리서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 음성 및/또는 제스처에 따른 콘텐츠 저작명령을 송신하고,
    상기 영상처리서버는,
    상기 스마트 디바이스로부터 상기 실물영상 및/또는 상기 콘텐츠 저작명령을 수신하여 상기 실물영상 및 상기 콘텐츠 저작명령을 분석하고, 상기 실물영상 및/또는 상기 콘텐츠 저작명령에 대응하는 증강현실 컨텐츠를 상기 스마트 디바이스에게 제공하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  2. 제1항에 있어서,
    상기 영상처리서버는,
    상기 스마트 디바이스와 데이터를 송수신하는 서버 통신부;
    상기 사용자 디바이스에 2D 콘텐츠 저작도구를 제공하는 2D 콘텐츠 저작부;
    상기 2D 콘텐츠 저작부에서 저작된2D 콘텐츠를 분석하여 상기 2D 콘텐츠의 고유 데이터를 추출 및/또는 생성하는 콘텐츠 분석부;
    상기 콘텐츠 분석부에서 추출 및/또는 생성된 고유 데이터를 묶어 콘텐츠 데이터 세트를 생성하는 데이터 관리부;
    2D 콘텐츠에 대한 3차원 좌표를 자동으로 생성하여 2D 콘텐츠를 3D 콘텐츠로 변환하는 3D 콘텐츠 변환부;
    를 포함하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  3. 제2항에 있어서,
    상기 2D 콘텐츠 저작부는,
    상기 2D 콘텐츠 저작도구를 통해 텍스트 및/또는 이미지를 포함하는 미디어 및/또는 도형을 생성, 조작 및 편집 중 적어도 하나를 수행하여 2D 콘텐츠를 저작하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  4. 제3항에 있어서,
    상기 2D 콘텐츠 저작도구는,
    저작된 2D 콘텐츠의 고유 속성 값을 등록 및/또는 편집하되,
    상기 2D 콘텐츠의 고유 속성 값은,
    객체 속성, 텍스트의 폰트 사이즈(font size), 컬러(color), 패밀리, 미디어 URL, 미디어 유형, 미디어 분야, 미디어 해상도, 미디어 크기, 버튼, 객체의 레이어 구분, 객체의 깊이(depth)값 중 적어도 하나를 포함하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  5. 제2항에 있어서,
    상기 콘텐츠 분석부는,
    기 설정된 이미지 인식 모델을 이용하여 상기 2D 콘텐츠 내 객체를 인식하고, 객체의 주요 포인트를 분석하여 2차원 좌표로 추출 및/또는 생성하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  6. 제2항에 있어서,
    상기 3D 콘텐츠 변환부는,
    상기 2D 콘텐츠의 XY좌표에 Z좌표를 자동으로 생성하여 상기 2D 콘텐츠를 상기 3D 콘텐츠로 변환하되,
    상기 2D 콘텐츠의 모든 객체에 대해 일괄적으로 Z좌표가 0값이 되도록 설정한 후 객체의 속성 및/또는 레이어별로 Z좌표를 설정된 단위로 증가시켜 3D 콘텐츠로 변환하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  7. 제2항에 있어서,
    상기 3D 콘텐츠 변환부는,
    상기 2D 콘텐츠의 XY좌표에 Z좌표를 자동으로 생성하여 상기 2D 콘텐츠를 상기 3D 콘텐츠로 변환하되,
    2D 콘텐츠의 고유 속성 값에서 객체별로 미리 인덱싱된 깊이값을 반영하여 Z좌표를 자동 생성하고, 자동 생성된 Z값으로 2D 콘텐츠를 3D 콘텐츠로 변환하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  8. 제1항에 있어서,
    상기 스마트 디바이스는,
    사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부를 포함하는 글래스모듈;
    상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈;
    상기 프레임에 적어도 하나가 설치되어 사용자의 음성 및/또는 제스처를 입력 처리하는 콘텐츠저작명령모듈;
    상기 프레임에 설치되어 상기 영상처리서버와 통신하는 글래스통신모듈; 및
    상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하는 글래스제어모듈;
    을 포함하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
  9. 제8항에 있어서,
    상기 글래스제어모듈은,
    상기 영상처리서버로부터 수신한 3D 콘텐츠가 상기 글래스모듈에서 표시되도록 상기 3D 콘텐츠를 신호처리하여 상기 글래스모듈로 제공하는 영상처리부;
    상기 콘텐츠저작명령모듈로부터 수신한 콘텐츠 저작명령을 신호처리하여 상기 글래스통신모듈을 통해 상기 영상처리서버로 제공하는 저작명령처리부; 및
    상기 콘텐츠저작명령모듈을 통해 사용자의 콘텐츠 저작명령이 입력되면, 입력된 콘텐츠 저작명령을 신호처리하도록 상기 저작명령처리부를 제어하거나, 상기 영상처리부를 통해 3D 콘텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시하도록 상기 영상처리부를 제어하는 메인제어부;
    를 포함하는 것을 특징으로 하는, 증강콘텐츠 변환을 위한 영상처리 시스템.
PCT/KR2022/018179 2022-11-14 2022-11-17 증강콘텐츠 변환을 위한 영상처리 시스템 WO2024106567A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220151764A KR102710968B1 (ko) 2022-11-14 2022-11-14 증강콘텐츠 변환을 위한 영상처리 시스템
KR10-2022-0151764 2022-11-14

Publications (1)

Publication Number Publication Date
WO2024106567A1 true WO2024106567A1 (ko) 2024-05-23

Family

ID=91084671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018179 WO2024106567A1 (ko) 2022-11-14 2022-11-17 증강콘텐츠 변환을 위한 영상처리 시스템

Country Status (2)

Country Link
KR (1) KR102710968B1 (ko)
WO (1) WO2024106567A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024029A (ko) * 2013-08-26 2015-03-06 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR102201285B1 (ko) * 2018-12-18 2021-01-11 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템
KR102290549B1 (ko) * 2020-03-05 2021-08-19 주식회사 딥파인 동영상 이미지를 통한 ar 콘텐츠 생산 시스템
KR20220135072A (ko) * 2021-03-29 2022-10-06 한국전자통신연구원 3차원 객체를 저작하는 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140122054A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법
KR102694110B1 (ko) 2019-08-12 2024-08-12 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR102268013B1 (ko) * 2019-10-21 2021-06-21 서인호 증강현실 콘텐츠 저작을 위한 저작 플랫폼 제공 방법, 장치 및 컴퓨터-판독가능 기록 매체
KR20220130864A (ko) * 2021-03-19 2022-09-27 주식회사 웨인힐스브라이언트에이아이 음성 데이터를 멀티미디어 변환 콘텐츠로 제작하는 서비스 제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024029A (ko) * 2013-08-26 2015-03-06 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR102201285B1 (ko) * 2018-12-18 2021-01-11 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템
KR102290549B1 (ko) * 2020-03-05 2021-08-19 주식회사 딥파인 동영상 이미지를 통한 ar 콘텐츠 생산 시스템
KR20220135072A (ko) * 2021-03-29 2022-10-06 한국전자통신연구원 3차원 객체를 저작하는 방법 및 시스템

Also Published As

Publication number Publication date
KR102710968B1 (ko) 2024-09-30
KR20240070209A (ko) 2024-05-21

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN105912999A (zh) 基于深度信息的人体行为识别方法
Pramada et al. Intelligent sign language recognition using image processing
CN106909884B (zh) 一种基于分层结构和可变形部分模型的手部区域检测方法和装置
KR102290549B1 (ko) 동영상 이미지를 통한 ar 콘텐츠 생산 시스템
CN112257513B (zh) 一种手语视频翻译模型的训练方法、翻译方法及系统
WO2017003031A1 (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
Alksasbeh et al. Smart hand gestures recognition using K-NN based algorithm for video annotation purposes
Ryumin et al. Automatic detection and recognition of 3D manual gestures for human-machine interaction
CN113591692A (zh) 一种多视图身份识别方法
CN111931628A (zh) 人脸识别模型的训练方法、装置及相关设备
WO2024106567A1 (ko) 증강콘텐츠 변환을 위한 영상처리 시스템
WO2022145655A1 (ko) 증강현실시스템
Singh et al. Scientific exploration of hand gesture recognition to text
CN113076916A (zh) 基于几何特征加权融合的动态人脸表情识别方法及系统
CN117152838A (zh) 一种基于多核动态注意力机制的手势识别方法
CN111881261A (zh) 一种物联网多点应答互动智能机器人系统
CN104731324B (zh) 一种基于hog+svm框架的手势内平面旋转检测模型生成方法
de Amorim et al. Asl-skeleton3d and asl-phono: Two novel datasets for the american sign language
CN110458097A (zh) 一种人脸图片识别方法、装置、电子设备及存储介质
Ye et al. Human motion analysis based on extraction of skeleton and dynamic time warping algorithm using RGBD camera
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质
Suresh et al. SIT-HANDS: a novel RGB-D dataset for static hand gesture recognition using kinect sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965887

Country of ref document: EP

Kind code of ref document: A1