WO2020256403A1 - 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2020256403A1
WO2020256403A1 PCT/KR2020/007839 KR2020007839W WO2020256403A1 WO 2020256403 A1 WO2020256403 A1 WO 2020256403A1 KR 2020007839 W KR2020007839 W KR 2020007839W WO 2020256403 A1 WO2020256403 A1 WO 2020256403A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
effect
vehicle
image
effect object
Prior art date
Application number
PCT/KR2020/007839
Other languages
English (en)
French (fr)
Inventor
전재웅
Original Assignee
(주) 애니펜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 애니펜 filed Critical (주) 애니펜
Publication of WO2020256403A1 publication Critical patent/WO2020256403A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the present invention relates to a method, a system, and a non-transitory computer-readable recording medium for authoring content based on an image inside a vehicle.
  • the captured image inside the vehicle has no other purpose other than the purpose of determining the presence or state of the occupant, so it was only automatically deleted after driving the vehicle (or even while driving the vehicle) or overwritten with a new image and recorded.
  • the present inventors propose a new and advanced technology capable of enhancing the interest of vehicle occupants and increasing the utilization of images by supporting the creation of contents based on images inside the vehicle.
  • Patent Document 1 Korean Patent Application Publication No. 2018-0014910
  • An object of the present invention is to solve all the problems of the prior art described above.
  • an object of the present invention is to support anyone to easily and conveniently author content based on an image inside a vehicle.
  • an object of the present invention is to increase the utilization of an image inside a vehicle and to give interest to vehicle occupants who may be bored during vehicle operation.
  • a typical configuration of the present invention for achieving the above object is as follows.
  • a method of authoring content based on an image inside a vehicle comprising: obtaining an effect parameter associated with a vehicle occupant from an image inside a vehicle, specifying at least one effect object based on the effect parameter And determining a sequence for the specified at least one effect object, and authoring content by combining the sequence for the at least one effect object with the vehicle interior image.
  • a system for authoring content based on an image inside a vehicle an effect parameter obtaining unit that obtains an effect parameter associated with a vehicle occupant from an image inside the vehicle, and at least one A sequence determination unit for specifying an effect object and determining a sequence for the specified at least one effect object, and a content authoring unit for creating content by combining the sequence of the at least one effect object with the vehicle interior image A system is provided.
  • FIG. 1 is a diagram showing a schematic configuration of an entire system for authoring content based on an image inside a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing in detail the internal configuration of a content authoring system according to an embodiment of the present invention.
  • 3 to 5 are views exemplarily illustrating a situation in which content is authored based on an image inside a vehicle according to an embodiment of the present invention.
  • control unit 260 control unit
  • the content is a concept collectively referring to digital information or individual information elements that are accessible through a communication network, including characters, codes, voices, sounds, images, videos, and the like.
  • Such content may include, for example, data such as text, image, video, audio, link (eg, web link), or a combination of at least two of these data.
  • an object is a concept that collectively refers to an object that can be implemented or added to a predetermined area in an image, for example, letters, numbers, symbols, symbols, figures, photos, images, sounds, videos, or It may be made of a combination of these, and may be a concept including even attributes (eg, brightness, brightness, saturation) that can be assigned thereto.
  • attributes eg, brightness, brightness, saturation
  • FIG. 1 is a diagram showing a schematic configuration of an entire system for authoring content based on an image inside a vehicle according to an embodiment of the present invention.
  • the entire system may include a communication network 100, a content authoring system 200, and a device 300.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and may be configured as a local area network (LAN) or a metropolitan area network (MAN). ), and a wide area network (WAN).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 referred to in this specification may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 is not necessarily limited thereto, and may include a known wired/wireless data communication network, a known telephone network, or a known wired/wireless television communication network in at least part thereof.
  • the communication network 100 is a wireless data communication network, such as radio frequency (RF) communication, Wi-Fi communication, cellular (LTE, etc.) communication, Bluetooth communication (more specifically, low power Bluetooth (BLE; Bluetooth Low Energy) communication), infrared communication, ultrasonic communication, and the like may be implemented in at least part of a conventional communication method.
  • RF radio frequency
  • Wi-Fi Wi-Fi
  • cellular LTE, etc.
  • Bluetooth communication more specifically, low power Bluetooth (BLE; Bluetooth Low Energy) communication
  • infrared communication ultrasonic communication, and the like
  • ultrasonic communication and the like may be implemented in at least part of a conventional communication method.
  • the content authoring system 200 may be a digital device equipped with a memory means and a microprocessor to have arithmetic capability.
  • the content authoring system 200 may be a server system.
  • the content authoring system 200 acquires an effect parameter associated with a vehicle occupant from an image inside the vehicle, specifies at least one effect object based on the effect parameter, and specifies at least one of the specified effect parameters.
  • a sequence related to the effect object of may be determined, and a function of authoring content may be performed by combining the sequence related to the at least one effect object with the above vehicle interior image.
  • At least one camera module for example, an RGB camera, an infrared camera, an ultraviolet camera, a TOF (Time-of-Flight) camera
  • the interior of the vehicle is captured in real time or for a predetermined period of time.
  • the vehicle interior image as above may include a 2D image or a 3D image.
  • the type of the camera module or the scanner module according to an embodiment of the present invention is not necessarily limited to the above-listed embodiments, and may be variously changed within the range capable of achieving the object of the present invention. Keep it clear.
  • the configuration and function of the content authoring system 200 according to the present invention will be described in more detail below.
  • the content authoring system 200 has been described as above, but this description is illustrative, and at least some of the functions or components required for the content authoring system 200 may be provided with the device 300 or external device to be described later as necessary. It will be apparent to those skilled in the art that it may be realized within a system (not shown) or may be included within the device 300 or an external system.
  • the device 300 is a digital device including a function to communicate after accessing the content authoring system 200 through the communication network 100, such as a smart phone, a tablet PC, etc.
  • a digital device including a function to communicate after accessing the content authoring system 200 through the communication network 100, such as a smart phone, a tablet PC, etc.
  • any portable digital device equipped with a memory means and equipped with a microprocessor capable of computing can be adopted as the device 300 according to the present invention.
  • the device 300 may further include a display module (eg, LCD, LED display, OLED display, etc.) for playing content.
  • a display module eg, LCD, LED display, OLED display, etc.
  • an application for supporting the content authoring function according to the present invention may be included.
  • Such an application may be downloaded from the content authoring system 200 or an external application distribution server (not shown).
  • FIG. 2 is a diagram showing in detail the internal configuration of a content authoring system 200 according to an embodiment of the present invention.
  • the effect parameter acquisition unit 210, the sequence determination unit 220, the content authoring unit 230, the content management unit 240, the communication unit 250, and the control unit 260 are at least Some may be program modules that communicate with external systems.
  • a program module may be included in the content authoring system 200 in the form of an operating system, an application program module, or other program module, and may be physically stored in various known storage devices.
  • a program module may be stored in a remote storage device capable of communicating with the content authoring system 200.
  • a program module includes routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but is not limited thereto.
  • the effect parameter obtaining unit 210 may perform a function of obtaining an effect parameter associated with a vehicle occupant from an image inside the vehicle.
  • the effect parameter acquisition unit 210 may specify at least one feature point or feature region associated with the effect parameter in the vehicle interior image, and obtain the vehicle interior image based on the at least one feature point or feature region.
  • Effect parameters can be obtained by analysis (eg, analysis of shape, size, color, frequency, pitch, etc.).
  • the effect parameter acquisition unit 210 includes: (i) the size, shape, and/or shape of a predetermined body part (eg, eyes, eyebrows, pupils, nose, mouth, etc.) of a vehicle occupant specified in the vehicle interior image. Or information on a change in its size or shape, (ii) the location of a certain body part (for example, head, hand, foot, etc.) of a vehicle occupant specified in the vehicle interior image, or a change in its location (or Information on gestures by the part), (iii) sound generated by a certain body part of the vehicle occupant specified in the image inside the vehicle (for example, sound generated from the mouth) or sound generated by the certain body part Information about (for example, a sound generated by tapping a headrest or a steering wheel of a vehicle with a hand) may be obtained as an effect parameter associated with a vehicle occupant.
  • a predetermined body part eg, eyes, eyebrows, pupils, nose, mouth, etc.
  • the effect parameter acquisition unit 210 separates the vehicle interior image into at least one of an image sequence and an audio sequence, and an effect parameter related to the time from the separated image sequence (for example, an effect on the expression or movement of the vehicle occupant). Parameter), and an effect parameter related to hearing (eg, an effect parameter related to a sound generated by a vehicle occupant) from the separated voice sequence.
  • the sequence determination unit 220 specifies at least one effect object based on the effect parameter obtained by the effect parameter acquisition unit 210 above, and at least one specified It can perform a function of determining the sequence of the effect object of.
  • An effect object according to an exemplary embodiment of the present invention may include an object based on at least one of visual, auditory, tactile, and olfactory senses. For example, when the effect object is a visual-based object, an image or an image-based object may be included as the above effect object.
  • the sequence determination unit 220 is based on information on the shape of a predetermined body part in the face of the vehicle occupant (i.e., effect parameter), the emotion of the vehicle occupant (for example, joy, anger, sadness, joy, etc.) And at least one effect object associated with the estimated emotion can be estimated, and the specified at least one effect object and the above effect parameter (or Information), the sequence of the at least one effect object above may be determined.
  • effect parameter information on the shape of a predetermined body part in the face of the vehicle occupant
  • the emotion of the vehicle occupant for example, joy, anger, sadness, joy, etc.
  • at least one effect object associated with the estimated emotion can be estimated, and the specified at least one effect object and the above effect parameter (or Information), the sequence of the at least one effect object above may be determined.
  • the sequence determination unit 220 displays at least one note image " It can be specified as an effect object associated with “joy”, and according to the emotion (that is, "joy") (that is, according to the emotion estimated based on the effect parameter), at least one note image above is active for a predetermined time. It can be determined as a sequence with respect to at least one effect object above.
  • the sequence determination unit 220 may associate a background image with "sad”.
  • the emotion ie, “sadness”
  • the emotion estimated based on the effect parameter which can be specified as an effect object.
  • the sequence determination unit 220 may indirectly generate a sound generated by a vehicle occupant (for example, a sound directly generated through a vehicle occupant's body organ or a vehicle occupant's body organ hitting another object).
  • At least one effect object can be specified based on information about the generated sound) (for example, information about at least one of the above sound intensity, pitch, and tone) (that is, an effect parameter).
  • a sequence related to the at least one effect object may be determined based on the information on the at least one effect object and the sound above.
  • the sequence determination unit 220 may specify a background image as an effect object based on information on the intensity of sound generated by a vehicle occupant, and each time the above sound is generated, the background image is It may be determined that the brightness changes (or blinks) in proportion to the intensity of the sound above as a sequence related to the at least one effect object above.
  • the sequence determination unit 220 may specify at least one effect object based on information on a gesture generated by a vehicle occupant, and the specified at least one effect object and the above gesture A sequence for at least one effect object above may be determined based on the related information. More specifically, the sequence determination unit 220 effects the wave image and the wave sound based on information on the vehicle occupant's hand gesture (eg, including information on the location, speed, direction, etc. of the hand gesture). Sequence relating to the above at least one effect object that can be specified as an object, a wave image is generated according to the location and direction of the occurrence of the hand gesture, and the beat of the wave sound is changed according to the speed of the hand gesture Can be determined as
  • the sequence determination unit 220 may determine a sequence for the at least one effect object above by referring to at least one of a lookup table for an effect object associated with the effect parameter and a lookup table for a sequence associated with the effect parameter. have.
  • sequence determination unit 220 may further specify the at least one effect object above based on personal information of the vehicle occupant specified in the vehicle interior image, and determine a sequence related to the specified at least one effect object.
  • the personal information of a vehicle occupant according to an embodiment of the present invention may include information about the age, gender, race, region, preferred effect object, interest, etc. of the vehicle occupant.
  • the sequence determination unit 220 specifies the identity of the vehicle occupant based on the face of the vehicle occupant in the vehicle interior image, and at least one effect object and at least one of the effect objects preferred by the vehicle occupant according to the specified identity. You can determine the sequence for one effect object. That is, an effect object or a sequence related to the effect object may be individually customized and determined based on personal information of a vehicle occupant.
  • the sequence determination unit 220 may further specify the at least one effect object above based on situation information related to the vehicle occupant, and determine a sequence related to the specified at least one effect object.
  • the situation information includes a vehicle occupant or an atmosphere around (or in the vehicle) of the vehicle occupant (eg, joy, joy, sadness, anger, etc.), the vehicle occupant's movement, and the vehicle occupant's It may include information indicating a situation inferred from a voice or the like.
  • cases corresponding to information that is the same or similar to information on the vehicle occupant or the atmosphere around (or in the vehicle) of the vehicle occupant, the movement of the vehicle occupant, and the voice of the vehicle occupant may be searched in the case database, Accordingly, the searched case may become information indicating the relevant situation.
  • a case database may be dynamically updated by performing deep learning, machine learning, or the like, based on various cases of a plurality of vehicle occupants. That is, even when the same effect parameter is obtained, an effect object or a sequence related to the effect object may be determined differently according to situation information (eg, atmosphere) associated with a vehicle occupant.
  • the sequence determination unit 220 may further specify the at least one effect object above based on driving information of the vehicle, and determine a sequence related to the specified at least one effect object.
  • the driving information may include information about a vehicle's departure point, destination, current position, driving speed, driving state (eg, stop, start, etc.).
  • the sequence determination unit 220 includes at least one effect object (for example, a finish line ribbon image that may be generated based on the theme of the finish point) and its specific A sequence of at least one effect object to be performed (eg, a sequence in which a finish line ribbon image that may be generated based on the theme of a finish point) may be determined.
  • at least one effect object for example, a finish line ribbon image that may be generated based on the theme of the finish point
  • a sequence of at least one effect object to be performed eg, a sequence in which a finish line ribbon image that may be generated based on the theme of a finish point
  • the sequence determination unit 220 applies to at least one effect object (eg, a turtle image, etc.) associated with the slowness and at least one effect object to be specified.
  • At least one effect object eg, a turtle image, etc.
  • a related sequence eg, a sequence in which the turtle image slowly crawls in response to the vehicle driving speed, etc. may be determined.
  • the content authoring unit 230 creates a content by combining a sequence of at least one effect object determined by the sequence determination unit 220 above with an image inside the vehicle. Can be done.
  • the content authoring unit 230 combines a sequence of at least one effect object above based on an image inside the vehicle, thereby combining an augmented reality (AR) image and a mixed reality (MR) image. At least one content can be authored.
  • AR augmented reality
  • MR mixed reality
  • the content management unit 240 may perform a function of storing or sharing the content authored by the content authoring unit 230.
  • the content management unit 240 allows the above authored content to be stored in the device 300 associated with the vehicle occupant (for example, a vehicle occupant's smartphone, cloud, etc.), or a social network associated with the vehicle occupant.
  • the authored content can be shared with other vehicle occupants (eg, real-time sharing).
  • the communication unit 250 transmits and receives data to/from the effect parameter acquisition unit 210, the sequence determination unit 220, the content authoring unit 230, and the content management unit 240. It can perform the function that makes it possible.
  • control unit 260 includes data between the effect parameter acquisition unit 210, the sequence determination unit 220, the content authoring unit 230, the content management unit 240, and the communication unit 250. It can perform the function of controlling the flow of. That is, the control unit 260 according to the present invention controls the data flow from/to the outside of the content authoring system 200 or between the respective components of the content authoring system 200, so that the effect parameter acquisition unit 210 , The sequence determination unit 220, the content authoring unit 230, the content management unit 240, and the communication unit 250 may control each to perform a unique function.
  • 3 to 5 are views exemplarily illustrating a situation in which content is authored based on an image inside a vehicle according to an embodiment of the present invention.
  • the device 300 may include a tablet or a smartphone that can be fixed or detachable with respect to a predetermined place (eg, a headrest, a steering wheel, etc.) in the vehicle.
  • a predetermined place eg, a headrest, a steering wheel, etc.
  • the in-vehicle device 300 provides information on at least one of the intensity, height, and tone of sound generated by such tapping from an image inside the vehicle in which the vehicle occupant repeatedly taps the steering wheel (see Fig. 3 (a)). Can be obtained as an effect parameter.
  • the in-vehicle device 300 specifies at least one note image as at least one effect object based on the information on at least one of the above sound intensity, pitch, and tone, and determines the height of the above sound.
  • the color of the image of at least one of the above notes is changed accordingly (for example, the higher the height of the upper sound is, the reddish the color becomes, and the lower the higher the sound becomes blue).
  • the size of one note image changes (e.g., the louder the louder the louder the louder the louder the louder the louder the louder the louder the louder the louder the louder the louder the louder the lower the smaller the smaller the louder the louder the image.
  • the sequence to be used may be determined as a sequence related to at least one note image above.
  • the in-vehicle device 300 combines the above-in-vehicle image (i.e., real-world image) with a sequence of at least one musical note image determined above, so that the augmented reality content (see Fig. 3(b)) You can author.
  • the above-in-vehicle image i.e., real-world image
  • a sequence of at least one musical note image determined above so that the augmented reality content (see Fig. 3(b)) You can author.
  • the content authoring system 200 is included in the in-vehicle device 300.
  • the device 300 may refer to a tablet or a smartphone that can be fixed or detachable from a predetermined place (eg, a headrest, a steering wheel, etc.) in a vehicle.
  • the in-vehicle device 300 may obtain, as an effect parameter, information about at least one of a beat and a rhythm of a sound generated by the song from an image inside a vehicle in which a vehicle occupant sings a song.
  • the in-vehicle device 300 specifies at least one note image as at least one effect object based on information on at least one of the beat and rhythm of the sound above, and among the beat and rhythm of the above sound
  • a sequence in which the at least one note image moves rapidly or increases in number according to the at least one change may be determined as a sequence for the at least one note image above.
  • the in-vehicle device 300 may author the augmented reality content by combining the sequence of at least one note image above with the above vehicle interior image.
  • a part of the content authoring system 200 according to the present invention is included in an in-vehicle device (not shown) (the device 300 according to the present invention), and another part is an external server (not shown). ) Can be assumed. Specifically, there may be a situation in which content is authored through the above device and an external server that is connected to the device through wireless communication (eg, WiFi, Bluetooth, etc.).
  • wireless communication eg, WiFi, Bluetooth, etc.
  • the shape of the predetermined body part of the faces of the two vehicle occupants Information about can be obtained as an effect parameter.
  • Each of the sleep image and the angel image associated with the estimated emotion may be specified as at least one effect object.
  • each of the above sleeping image and the above angel image tracks and follows the shape of a predetermined body part of the face of each of the above two vehicle occupants.
  • the augmented reality content (refer to (b) of FIG. 4) may be authored by combining the sequence of the determined sleep image and the angel image with the above vehicle interior image.
  • a content authoring system 200 is included in an external server (not shown). Specifically, content is authored through an external server that is connected to an in-vehicle device (not shown) (device 300 according to the present invention) and wireless communication (eg, WiFi, Bluetooth, etc.) It may be a situation.
  • an in-vehicle device not shown
  • wireless communication eg, WiFi, Bluetooth, etc.
  • At least one boxing glove image and the boxing punching bag image are specified as at least one effect object, and the occurrence position, speed and direction of the above fist
  • a sequence in which the boxing gloves are swung so as to correspond to and the boxing punching bag moves accordingly may be determined as a sequence regarding the boxing gloves image and the boxing punch bag image above.
  • the above vehicle interior image real world image
  • the above vehicle exterior image virtual reality image; these images can be generated based on the above vehicle interior image through virtual reality generation technology)
  • US The mixed reality content (refer to (b) of FIG. 5) can be authored by combining the sequence of the boxing glove image and the boxing punching bag image.
  • the embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.

Description

차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 통신 및 인공지능(Artificial Intelligence; AI) 기술 발달과 함께 차량 자율 주행 서비스가 상용화되는 등 자율 주행 자동차 시장이 활성화되고 있다. 이러한 자율 주행 자동차에는 주변의 장애물을 탐지하거나 차량 내부의 상태를 파악하기 위하여 수많은 카메라가 장착되어 있으며, 이를 통해 주행 중에 해당 차량의 내부 또는 외부를 촬영하게 된다.
하지만, 촬영된 차량 내부 영상은 탑승자의 유무나 상태 등을 파악하는 용도 외에는 다른 용도가 없어 차량 주행 이후(또는 차량 주행 중에도)에 자동으로 삭제되거나 새로운 영상으로 덮어씌워져 기록될 뿐이었다.
이에, 본 발명자들은, 차량 내부 영상을 기반으로 콘텐츠를 저작할 수 있도록 지원함으로써 차량 탑승자의 흥미 진작과 영상 활용도를 높일 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
<선행기술문헌>
<특허문헌>
(특허문헌 1) 한국 공개특허공보 제2018-0014910호
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있도록 지원하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부, 및 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있게 된다.
또한, 본 발명에 의하면, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 콘텐츠 저작 시스템
210: 이펙트 파라미터 획득부
220: 시퀀스 결정부
230: 콘텐츠 저작부
240: 콘텐츠 관리부
250: 통신부
260: 제어부
300: 디바이스
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
본 명세서에서, 콘텐츠란, 통신망을 통하여 접근 가능한, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.
또한, 본 명세서에서, 객체란, 영상 내의 소정 영역에 구현되거나 부가될 수 있는 대상을 총칭하는 개념으로서, 예를 들어, 문자, 숫자, 기호, 심볼, 도형, 사진, 이미지, 소리, 동영상, 또는 이들의 조합으로 이루어질 수 있으며, 그에 부여될 수 있는 속성(attribute)(예를 들어, 밝기, 명도, 채도)까지도 포함하는 개념일 수 있다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 콘텐츠 저작 시스템(200) 및 디바이스(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망, 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선 주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 예를 들어, 이러한 콘텐츠 저작 시스템(200)은 서버 시스템일 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하고, 그 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하며, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하고, 위의 차량 내부 영상에 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 차량 내부 영상은 촬영 방향이 차량 내부를 향하도록 장착되는 적어도 하나의 카메라 모듈(예를 들어, RGB 카메라, 적외선 카메라, 자외선 카메라, TOF(Time-of-Flight) 카메라 등) 또는 적어도 하나의 스캐너 모듈(예를 들어, 라이다(LiDAR) 센서, 레이더(radar) 센서 등)에 의해 차량의 내부가 실시간으로 또는 소정 기간 동안 촬영되는 영상을 의미할 수 있다. 또한, 위와 같은 차량 내부 영상은 2차원 영상 또는 3차원 영상을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 카메라 모듈 또는 스캐너 모듈의 종류가 반드시 위의 열거된 실시예에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
본 발명에 따른 콘텐츠 저작 시스템(200)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 콘텐츠 저작 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 콘텐츠 저작 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 통신망(100)을 통해 콘텐츠 저작 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 콘텐츠를 재생하기 위한 디스플레이 모듈(예를 들어, LCD, LED 디스플레이, OLED 디스플레이 등)이 더 포함될 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(300)에는, 본 발명에 따른 콘텐츠 저작 기능을 지원하기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 콘텐츠 저작 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
콘텐츠 저작 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 콘텐츠 저작 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 콘텐츠 저작 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 콘텐츠 저작 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 이펙트 파라미터 획득부(210)는 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 기능을 수행할 수 있다.
예를 들어, 이펙트 파라미터 획득부(210)는 차량 내부 영상 내에서 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정할 수 있고, 그 적어도 하나의 특징점 또는 특징 영역을 기준으로 차량 내부 영상을 분석(예를 들어, 형상, 크기, 색채, 주파수, 피치 등을 분석)함으로써 이펙트 파라미터를 획득할 수 있다.
보다 구체적으로, 이펙트 파라미터 획득부(210)는, (i) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 눈, 눈썹, 동공, 코, 입 등)의 크기, 형상, 또는 그 크기나 형상의 변화에 관한 정보, (ii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 머리, 손, 발 등)의 위치 또는 그 위치의 변화(또는 해당 신체 부위에 의한 제스처)에 관한 정보, (iii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위에서 발생되는 소리(예를 들어, 입에서 발생되는 소리) 또는 그 소정 신체 부위에 의하여 발생되는 소리(예를 들어, 손으로 차량의 헤드레스트(headrest)나 스티어링 휠(steering wheel)을 두드림에 의하여 발생되는 소리)에 관한 정보 등을 차량 탑승자와 연관되는 이펙트 파라미터로서 획득할 수 있다.
한편, 이펙트 파라미터 획득부(210)는 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 분리된 영상 시퀀스로부터 시각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자의 표정이나 움직임에 관한 이펙트 파라미터)를 획득하고, 분리된 음성 시퀀스로부터 청각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자에 의해 발생되는 소리에 관한 이펙트 파라미터)를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 시퀀스 결정부(220)는 위의 이펙트 파라미터 획득부(210)에 의해 획득된 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 이펙트 객체는, 시각, 청각, 촉각 및 후각 중 적어도 하나의 감각을 기반으로 하는 객체를 포함할 수 있다. 예를 들어, 이펙트 객체가 시각을 기반으로 하는 객체인 경우에, 이미지 또는 영상을 기반으로 하는 객체가 위의 이펙트 객체로 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보(즉, 이펙트 파라미터)에 기초하여 차량 탑승자의 감정(예를 들어, 기쁨, 화남, 슬픔, 즐거움 등으로 분류될 수 있음)을 추정할 수 있고, 그 추정되는 감정과 연관되는 적어도 하나의 이펙트 객체를 특정할 수 있으며, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 이펙트 파라미터(또는 위의 감정에 관한 정보)에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "기쁨"인 경우에, 적어도 하나의 음표 이미지를 "기쁨"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "기쁨")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 적어도 하나의 음표 이미지가 소정 시간 동안 활발하게 움직이는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다. 또한, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "슬픔"인 경우에, 배경 이미지를 "슬픔"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "슬픔")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 배경 이미지의 밝기가 소정 시간 동안 어두워지는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리(예를 들어, 차량 탑승자의 신체 기관을 통해 직접적으로 발생되는 소리나 차량 탑승자의 신체 기관이 다른 사물을 타격함으로써 간접적으로 발생되는 소리)에 관한 정보(예를 들어, 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보)(즉, 이펙트 파라미터)에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 소리에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리의 세기에 관한 정보에 기초하여 배경 이미지를 이펙트 객체로서 특정할 수 있고, 위의 소리가 발생될 때마다 위의 배경 이미지의 밝기가 위의 소리의 세기에 비례하여 변경(또는 점멸)되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
또 다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 제스처에 관한 정보에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 제스처에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자의 손 제스처에 관한 정보(예를 들어, 손 제스처의 발생 위치, 속도, 방향 등에 관한 정보를 포함함)에 기초하여 물결 이미지 및 물결 소리를 이펙트 객체로서 특정할 수 있고, 위의 손 제스처의 발생 위치 및 방향을 따라 물결 이미지가 생성되고, 위의 손 제스처의 속도에 따라 물결 소리의 박자가 변경되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다만, 본 발명의 일 실시예에 따른 이펙트 객체 및 그에 관한 시퀀스가 반드시 상기 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
한편, 시퀀스 결정부(220)는 이펙트 파라미터와 연관되는 이펙트 객체에 관한 룩업 테이블 및 이펙트 파라미터와 연관되는 시퀀스에 관한 룩업 테이블 중 적어도 하나를 참조하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다.
또한, 시퀀스 결정부(220)는 차량 내부 영상에서 특정되는 차량 탑승자의 개인 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 차량 탑승자의 개인 정보에는, 차량 탑승자의 연령, 성별, 인종, 지역, 선호 이펙트 객체, 관심사 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 내부 영상에서 차량 탑승자의 얼굴을 기반으로 차량 탑승자의 신원을 특정하고, 그 특정되는 신원에 따라 해당 차량 탑승자가 선호하는 적어도 하나의 이펙트 객체 및 그 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 즉, 차량 탑승자의 개인 정보를 기반으로 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 서로 다르게 개별 맞춤화되어 결정될 수 있다.
한편, 시퀀스 결정부(220)는 차량 탑승자와 연관되는 상황 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 상황 정보는, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기(예를 들어, 기쁨, 즐거움, 슬픔, 화남 등), 차량 탑승자의 움직임, 차량 탑승자의 목소리 등으로부터 추론되는 상황을 나타내는 정보를 포함할 수 있다. 예를 들어, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기, 차량 탑승자의 움직임, 차량 탑승자의 목소리 등에 관한 정보와 동일하거나 유사한 정보에 대응되는 사례가 사례 데이터베이스에서 검색될 수 있으며, 이에 따라 검색된 사례가 해당 상황을 나타내는 정보가 될 수 있다. 이러한 사례 데이터베이스는 복수의 차량 탑승자에 관한 다양한 사례를 기반으로 딥 러닝(deep learning), 기계 학습(machine learning) 등을 수행함으로써 동적으로 업데이트될 수 있다. 즉, 동일한 이펙트 파라미터가 획득되는 경우라도, 차량 탑승자와 연관되는 상황 정보(예를 들어, 분위기)에 따라 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 다르게 결정될 수 있다.
또한, 시퀀스 결정부(220)는 차량의 주행 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 주행 정보에는, 차량의 출발지, 목적지, 현 위치, 주행 속도, 주행 상태(예를 들어, 정지, 출발 등) 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량이 목적지에 근접한 경우에, 결승점과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지가 흩날리는 시퀀스 등)를 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량의 속도가 소정 수준 이하인 경우에, 느림과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 거북이 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 거북이 이미지가 차량 주행 속도에 대응하여 천천히 기어가는 시퀀스 등)를 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작부(230)는 차량 내부 영상에 위의 시퀀스 결정부(220)에 의해 결정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 저작부(230)는 차량 내부 영상을 기반으로 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합시킴으로써 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작할 수 있다.
다음으로, 콘텐츠 관리부(240)는 콘텐츠 저작부(230)에 의해 저작되는 콘텐츠가 저장 또는 공유되도록 하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 관리부(240)는 위의 저작되는 콘텐츠가 차량 탑승자와 연관되는 디바이스(300)(예를 들어, 차량 탑승자의 스마트폰, 클라우드 등) 내에 저장되도록 하거나, 차량 탑승자와 연관되는 소셜 네트워크 서비스(SNS), 클라우드, 웹 서버 등을 통해 위의 저작된 콘텐츠가 다른 차량 탑승자와 공유(예를 들어, 실시간 공유)되도록 할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230) 및 콘텐츠 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 콘텐츠 저작 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 콘텐츠 저작 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
제1 실시예
도 3을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 포함할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 스티어링 휠을 반복적으로 두드리는 차량 내부 영상(도 3의 (a) 참조)으로부터 그러한 두드림에 의하여 발생되는 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 높낮이에 따라 위의 적어도 하나의 음표 이미지의 색채가 변경되고(예를 들어, 위의 소리가 높낮이가 높을수록 색채가 붉은색이 되고 낮을수록 푸른색이 됨), 위의 소리의 세기에 따라 위의 적어도 하나의 음표 이미지의 크기가 변경되며(예를 들어, 위의 소리의 세기가 클수록 크기가 커지고 작을수록 크기가 작아짐), 위의 소리의 음색에 따라 위의 적어도 하나의 음표의 이미지의 명도가 변경되는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상(즉, 실세계 영상)에 위의 결정되는 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠(도 3의 (b) 참조)를 저작할 수 있다.
제2 실시예
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 의미할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 노래를 부르는 차량 내부 영상으로부터 그러한 노래에 의해 발생되는 소리의 박자 및 리듬 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 박자 및 리듬 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 박자 및 리듬 중 적어도 하나의 변화에 따라 위의 적어도 하나의 음표 이미지가 빠르게 움직이거나 그 수가 늘어나는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상에 위의 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠를 저작할 수 있다.
제3 실시예
도 4를 참조하면, 본 발명에 따른 콘텐츠 저작 시스템(200)의 일부가 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))에 포함되고, 다른 일부가 외부 서버(미도시됨)에 포함되는 상황을 가정해볼 수 있다. 구체적으로, 위의 디바이스 및 그 디바이스와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자 중 한 명이 졸린 표정을 짓고 있고(또는 졸고 있고) 다른 한 명이 기쁜 표정을 짓고 있는 차량 내부 영상(도 4의 (a) 참조)으로부터 두 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보에 기초하여 한 명의 차량 탑승자의 감정이 "졸림"이고 다른 한 명의 차량 탑승자의 감정이 "기쁨"인 것이 추정될 수 있고, 그 추정되는 감정과 연관되는 수면 이미지 및 천사 이미지 각각이 적어도 하나의 이펙트 객체로 특정될 수 있다.
그 다음에, 위의 수면 이미지 및 위의 천사 이미지 각각이 위의 두 차량 탑승자 각각의 얼굴의 소정 신체 부위의 형상을 추적하여 따라다니는 것이 위의 수면 이미지 및 천사 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상에 위의 결정되는 수면 이미지 및 천사 이미지에 관한 시퀀스가 결합됨으로써 증강 현실 콘텐츠(도 4의 (b) 참조)가 저작될 수 있다.
제4 실시예
도 5를 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 외부 서버(미도시됨)에 포함되는 상황을 가정해 볼 수 있다. 구체적으로, 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자가 주먹을 휘두르는 차량 내부 영상(도 5의 (a) 참조)으로부터, 주먹의 발생 위치, 속도 및 방향에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 주먹의 발생 위치, 속도 및 방향에 관한 정보에 기초하여 적어도 하나의 권투 장갑 이미지 및 권투 샌드백 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 주먹의 발생 위치, 속도 및 방향에 대응되도록 권투 장갑이 휘둘러지고 이에 따라 권투 샌드백이 움직이는 시퀀스가 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상(실세계 영상)에 위의 차량의 외부 영상(가상 현실 영상; 이러한 영상은 가상 현실 생성 기술을 통해 위의 차량 내부 영상을 기반으로 생성될 수 있음))(미도시됨) 및 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스가 결합됨으로써 혼합 현실 콘텐츠(도 5의 (b) 참조)가 저작될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (21)

  1. 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서,
    차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계,
    상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및
    상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계는,
    상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하는 단계, 및
    상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는 단계를 포함하는
    방법.
  3. 제1항에 있어서,
    상기 획득 단계는,
    상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하는 단계, 및
    상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는 단계를 포함하는
    방법.
  4. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
    방법.
  5. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
    방법.
  6. 제1항에 있어서,
    상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
    방법.
  7. 제1항에 있어서,
    상기 결정 단계에서, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    방법.
  8. 제1항에 있어서,
    상기 결정 단계에서, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    방법.
  9. 제1항에 있어서,
    상기 콘텐츠는, 상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 생성되는 증강 현실(Augmented Reality; AR) 영상 콘텐츠를 포함하는
    방법.
  10. 제1항에 있어서,
    상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 단계를 더 포함하는
    방법.
  11. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  12. 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서,
    차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부, 및
    상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및
    상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는
    시스템.
  13. 제12항에 있어서,
    상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하고, 상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는
    시스템.
  14. 제12항에 있어서,
    상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는
    시스템.
  15. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
    시스템.
  16. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
    시스템.
  17. 제12항에 있어서,
    상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
    시스템.
  18. 제12항에 있어서,
    상기 시퀀스 결정부는, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    시스템.
  19. 제12항에 있어서,
    상기 시퀀스 결정부는, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
    시스템.
  20. 제12항에 있어서,
    상기 콘텐츠는, 상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 생성되는 증강 현실(AR) 영상 콘텐츠를 포함하는
    시스템.
  21. 제12항에 있어서,
    상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 콘텐츠 관리부를 더 포함하는
    시스템.
PCT/KR2020/007839 2019-06-19 2020-06-17 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2020256403A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190073163 2019-06-19
KR10-2019-0073163 2019-06-19

Publications (1)

Publication Number Publication Date
WO2020256403A1 true WO2020256403A1 (ko) 2020-12-24

Family

ID=74037369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007839 WO2020256403A1 (ko) 2019-06-19 2020-06-17 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (2)

Country Link
KR (2) KR102477703B1 (ko)
WO (1) WO2020256403A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120074977A (ko) * 2010-12-28 2012-07-06 (주)이지런 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
KR20170127342A (ko) * 2016-05-11 2017-11-21 바이두 유에스에이 엘엘씨 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007700A1 (en) * 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Method and apparatus for interleaving a user image in an original image sequence
GB2412802A (en) * 2004-02-05 2005-10-05 Sony Uk Ltd System and method for providing customised audio/video sequences
KR100651034B1 (ko) * 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20180014910A (ko) 2016-08-02 2018-02-12 김지현 가상현실 속 증강현실을 이용한 관광 콘텐츠 및 그 제공시스템
KR20190026507A (ko) * 2017-09-05 2019-03-13 주식회사 아이닉스 차량용 영상 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120074977A (ko) * 2010-12-28 2012-07-06 (주)이지런 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
KR20170127342A (ko) * 2016-05-11 2017-11-21 바이두 유에스에이 엘엘씨 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법

Also Published As

Publication number Publication date
KR20200145730A (ko) 2020-12-30
KR102596322B1 (ko) 2023-10-31
KR20220049501A (ko) 2022-04-21
KR102477703B1 (ko) 2022-12-15

Similar Documents

Publication Publication Date Title
WO2021244457A1 (zh) 一种视频生成方法及相关装置
WO2022068479A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022257474A1 (zh) 图像的预测方法、电子设备和存储介质
WO2018074618A1 (ko) 영상을 위한 효과 공유 방법 및 시스템
CN114470750B (zh) 图像帧流的显示方法、电子设备和存储介质
WO2023109829A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2018131852A1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
CN114201097A (zh) 一种多应用程序之间的交互方法
WO2019031621A1 (ko) 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
WO2021096339A1 (ko) 이미지 변형 방법
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2020256403A1 (ko) 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN109859115A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN109739414A (zh) 一种图片处理方法、移动终端、计算机可读存储介质
WO2018174311A1 (ko) 얼굴 인식 카메라의 동적 컨텐츠를 제공하는 방법 및 시스템
CN113190307A (zh) 控件添加方法、装置、设备及存储介质
CN111968199A (zh) 图片的处理方法、终端设备和存储介质
CN112306603A (zh) 信息提示方法、装置、电子设备及存储介质
WO2022019692A1 (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN107426425A (zh) 应用程序控制方法、装置、计算机装置及可读存储介质
CN112449098A (zh) 一种拍摄方法、装置、终端及存储介质
CN113655933A (zh) 文本标注方法及装置、存储介质及电子设备
CN115130456A (zh) 语句解析、匹配模型的训练方法、装置、设备及存储介质
WO2021107308A1 (ko) 전자 장치 및 이의 제어 방법
CN110677723B (zh) 一种信息处理方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826822

Country of ref document: EP

Kind code of ref document: A1