WO2022158886A1 - 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법 - Google Patents

콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법 Download PDF

Info

Publication number
WO2022158886A1
WO2022158886A1 PCT/KR2022/001070 KR2022001070W WO2022158886A1 WO 2022158886 A1 WO2022158886 A1 WO 2022158886A1 KR 2022001070 W KR2022001070 W KR 2022001070W WO 2022158886 A1 WO2022158886 A1 WO 2022158886A1
Authority
WO
WIPO (PCT)
Prior art keywords
video content
notification message
action
image
images
Prior art date
Application number
PCT/KR2022/001070
Other languages
English (en)
French (fr)
Inventor
백서현
길태호
김경수
김성진
정호진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210038979A external-priority patent/KR20220106005A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/675,632 priority Critical patent/US11943184B2/en
Publication of WO2022158886A1 publication Critical patent/WO2022158886A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Definitions

  • the present disclosure relates to a device and method for providing a notification message related to content, and more particularly, to a device and method for generating and providing a notification message related to content including a plurality of images.
  • the device when the device receives the video content, there is a problem in that it is difficult for the device to efficiently generate and provide a notification message describing the video content. Furthermore, the device uses the user's personal information to effectively transmit the notification message of the video content. It was difficult to create.
  • An embodiment of the present disclosure may provide a device and method for providing a notification message related to content using a plurality of artificial intelligence models.
  • an embodiment of the present disclosure may provide a device and method for providing a notification message related to content by recognizing an action of an object in content including a plurality of images using an artificial intelligence model.
  • an embodiment of the present disclosure may provide a device and method for providing a notification message related to content by identifying an object in a target image selected from content using an artificial intelligence model.
  • one embodiment of the present disclosure is based on the action related to the object in the content and the identification information of the object recognized from the target image, the content that can generate a notification message describing the content using an artificial intelligence model.
  • a device and method for providing a related notification message may be provided.
  • an embodiment of the present disclosure provides a device and method for providing a content-related notification message, which can generate a content-related notification message using an artificial intelligence model, based on information related to a user of the device. can do.
  • a method for a device to provide a notification message related to video content includes: acquiring video content including a plurality of images; recognizing an action related to the at least one object in the video content by applying the video content to a first artificial intelligence model trained to identify an action related to the at least one object; determining target images for identifying the at least one object in the video content from the video content; obtaining identification information of the one or more objects in the target images by applying the target images to at least one second artificial intelligence model trained to identify the at least one object; generating a notification message describing the video content by applying an identification value indicating the action and identification information of the at least one object to a third artificial intelligence model trained to generate a notification message; and outputting the notification message.
  • the identification information of the at least one object may include a visual feature value of the at least one object.
  • the identification information of the at least one object may further include an identification value of the at least one object, and the identification value of the at least one object may be labeled with a visual feature value of the at least one object.
  • the video content is video content
  • the operation of recognizing an action related to the at least one object includes inputting the video content into the first artificial intelligence model, whereby the at least one It may be to recognize an action related to an object.
  • Recognizing the action related to the at least one object may include: recognizing a first action related to the at least one object from a first frame image included in the video content; recognizing a second action related to the at least one object from a second frame image included in the video content; and obtaining an identification value indicating the action related to the video content based on the first action recognized from the first frame image and the second action recognized from the second frame image.
  • the determining of the target images may include selecting frame images for identifying the at least one object from among a plurality of frame images in the video content.
  • the generating of the notification message includes inputting an identification value indicating the action and identification information of the at least one object identified from the first target image into the third artificial intelligence model to obtain a first notification candidate message. action to do; obtaining a second notification candidate message by inputting an identification value indicating the action and identification information of the at least one object identified from a second target image into the third artificial intelligence model; and generating the notification message by comparing the first notification candidate message and the second notification candidate message.
  • the method further includes determining a name of the at least one object in the target images based on user-related information stored in the device, wherein the generating of the notification message includes: It may include an operation of inputting the third artificial intelligence model.
  • the method further includes the operation of transmitting the information about the title and the video content to another device, and the name transmitted to the other device is used to generate a notification message about the video content by the other device. may be used.
  • the third artificial intelligence model is trained using a training image and a word extracted from a message describing the training image, and the extracted word may be a word related to an action of an object in the training image.
  • a device for providing a notification message related to video content may include: a communication interface; a storage unit for storing instructions; a processor executing the instructions, wherein the processor is trained to obtain, by executing the instructions, video content including a plurality of images, and to identify an action related to at least one object in the video content.
  • a target image to be used to recognize an action related to the at least one object in the video content by applying the video content to a first artificial intelligence model, and to identify the at least one object in the video content from the video content and applying the target images to at least one second artificial intelligence model trained to identify the at least one object in the image content, thereby obtaining identification information of the at least one object in the target images.
  • identification value indicating the action and identification information of the at least one object to a third artificial intelligence model trained to generate the notification message, thereby generating a notification message describing the video content, and It may be a device that outputs a notification message, and that the identification information of the at least one object includes a visual feature value of the at least one object.
  • a third aspect of the present disclosure may provide a computer-readable recording medium in which a program for executing the method of the first aspect is recorded on a computer.
  • FIG. 1 is a diagram illustrating an example in which a device provides a notification message related to video content according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of a device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining video content and target images according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example in which an action of an object in image content is identified through an action recognition model according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example in which actions of people in video content are identified according to an embodiment of the present disclosure.
  • 6A is a diagram illustrating an example in which an object in a target image is identified through an object recognition model according to an embodiment of the present disclosure.
  • 6B is a diagram illustrating an example in which an object in a target image is identified through an object recognition model including a plurality of artificial intelligence models according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example in which identification information of objects is obtained for each target image according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of generating a notification message through the notification message generating module according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of generating a notification message from a plurality of notification candidate messages according to an embodiment of the present disclosure.
  • 10A is a diagram illustrating an example of generating a notification message in consideration of user information according to an embodiment of the present disclosure.
  • 10B is a diagram illustrating a GUI for setting related to generation of a notification message according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example in which a notification message generation model is trained according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example in which a device generates a thumbnail image related to video content according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example in which a device shares image content with another device according to an embodiment of the present disclosure.
  • FIG. 14 is a flowchart of a method for a device to generate a notification message according to an embodiment of the present disclosure.
  • 15 is a flowchart of a method for a device to generate a notification message according to an embodiment of the present disclosure.
  • 16 is a flowchart of a method for a device to generate a notification message in consideration of user information according to an embodiment of the present disclosure.
  • 17 is a flowchart of a method in which a device provides, to another device, a name of an object in image content to be transmitted to another device, according to an embodiment of the present disclosure.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c all", or variations thereof.
  • FIG. 1 is a diagram illustrating an example in which a device 1000 provides a notification message related to image content according to an embodiment of the present disclosure.
  • the device 1000 receives image content from an external source (eg, another device), generates a notification message describing the received image content, and displays it on the screen of the device 1000 .
  • the device 1000 may generate a notification message by analyzing the image content, and may use a plurality of artificial intelligence models to analyze the image content.
  • the device 1000 recognizes the action of at least one object in the video content, identifies the object in the target image selected from the video content, and generates a notification message for describing the video content based on the recognized action and the identified object can do.
  • the device 1000 may accurately identify an object in the image content by using the information about the user of the device 1000 , and may generate and provide a notification message using the name of the object in which the information about the user is reflected.
  • the device 1000 and other devices include a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, and a global positioning system (GPS). ) device, e-book terminal, digital broadcasting terminal, navigation device, kiosk, MP3 player, digital camera, home appliance, CCTV, and other mobile or non-mobile computing devices, but is not limited thereto.
  • the device 1000 may be a wearable device such as a watch, glasses, a hair band, and a ring having a communication function and a data processing function.
  • the present invention is not limited thereto, and the device 1000 may include any type of apparatus capable of transmitting and receiving image content to and from other devices and servers and providing the image content.
  • the device 1000 is a wired network such as a local area network (LAN), a wide area network (WAN) or a value added network (VAN), or the like. It may be implemented as any type of wireless network such as a mobile radio communication network or a satellite communication network.
  • the network includes at least two of a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, or a satellite communication network. It may include a combination and is a data communication network in a comprehensive sense that enables network constituent entities to communicate smoothly with each other, and includes wired Internet, wireless Internet, and mobile wireless communication network.
  • Wireless communication is, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared communication (IrDA, infrared Data Association) ), NFC (Near Field Communication), etc. may be there, but is not limited thereto.
  • FIG. 2 is a block diagram of a device 1000 according to an embodiment of the present disclosure.
  • the device 1000 includes a user input unit 1100 , a display unit 1200 , a communication interface 1300 , a camera 1400 , a storage unit 1500 , and a processor 1600
  • the storage unit 1500 includes an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , a notification message generation module 1525 , a user object identification module 1530 , a training module 1535 , and a domain identification It may include a module 1540 , a model selection module 1545 , a thumbnail generation module 1570 , an artificial intelligence model 1550 , and a user DB 1560 .
  • the user input unit 1100 means a means for a user to input data for controlling the device 1000 .
  • the user input unit 1100 may include a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). a tension measurement method, a piezo effect method, etc.), a jog wheel, or a jog switch, but is not limited thereto.
  • the display 1200 displays information processed by the device 1000 .
  • the display unit 1200 may display a communication application executed on the device 1000, generate a notification message of image content received from another device, or display a GUI for displaying the image content.
  • Communication applications may include, for example, chat applications and messaging applications.
  • the display unit 1200 may be used as an input device in addition to an output device.
  • the display unit 1200 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display ( 3D display) and electrophoretic display (electrophoretic display) may include at least one.
  • the device 1000 may include two or more display units 1200 .
  • the communication interface 1300 may include one or more components that allow communication with other devices and servers.
  • the communication interface 1300 may include a short-range communication unit, a mobile communication unit, and a broadcast receiving unit.
  • Short-range wireless communication unit Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, near field communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee communication unit, infrared (IrDA, infrared) It may include a data association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto.
  • WFD Wi-Fi Direct
  • UWB ultra wideband
  • Ant+ communication unit an Ant+ communication unit
  • the mobile communication unit transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.
  • the broadcast receiver receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the communication interface 1300 may transmit/receive information necessary to generate a notification message of image content with other devices and servers.
  • the camera 1400 may photograph the surroundings of the device 1000 .
  • the camera 1300 may obtain an image frame such as a still image or a moving image through an image sensor when a program requesting a photographing function is executed.
  • the camera 1400 may photograph the surroundings of the device 1000 while the communication application is being executed.
  • the image frame processed by the camera 1400 may be stored in the storage 1500 or transmitted to the outside through the communication interface 1300 .
  • Two or more cameras 1400 may be provided according to the configuration of the device 1000 .
  • the storage unit 1500 may store a program to be executed by the processor 1600 , which will be described later, and may store data input to or output from the device 1000 .
  • Storage unit 1500 is a flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card-type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among a disk and an optical disk.
  • Programs stored in the storage unit 1500 may be classified into a plurality of modules according to their functions, for example, an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , and a notification. to include a message generation module 1525 , a user object identification module 1530 , a training module 1535 , a domain identification module 1540 , a model selection module 1545 , an artificial intelligence model 1550 , and a user DB 1560 .
  • an action recognition module 1510 a target image determination module 1515
  • an object recognition module 1520 e.g., a notification.
  • a notification e.g., a notification of Programs stored in the storage unit 1500 .
  • Programs stored in the storage unit 1500 may be classified into a plurality of modules according to their functions, for example, an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , and a notification.
  • the processor 1600 controls the overall operation of the device 1000 .
  • the processor 1600 executes programs stored in the storage unit 1500 , and thus the user input unit 1100 , the display unit 1200 , the communication interface 1300 , the camera 1400 and the storage unit 1500 . You have total control over your back.
  • the processor 1600 may receive the image content transmitted from the other device from the other device by controlling the communication interface 1300 .
  • the device 1000 may receive image content from another device through, for example, a communication application installed in the device 1000 .
  • the image content may include still image content and video content.
  • the video content may be video content or a set of a plurality of images.
  • a plurality of images in the video content may be a plurality of frame images in the video content.
  • the processor 1600 may call the image content stored in the storage 1500 to provide the image content stored in the storage 1500 to another device.
  • the device 1000 may receive image content from another device including a camera.
  • the device 1000 may receive, for example, video content captured by another device from another device in the house, such as a CCTV, a TV including a camera, and a cleaning robot including a camera.
  • the other device may generate image content in which the subject is photographed.
  • the other device may generate image content in which the subject is photographed according to a preset period.
  • other devices may include, for example, a device for a home care service for recognizing the situation in the house and managing the situation in the house, a device for a pet management service for monitoring and managing the state of the pet.
  • a device for a home care service for recognizing the situation in the house and managing the situation in the house
  • a device for a pet management service for monitoring and managing the state of the pet.
  • the processor 1600 may identify an action related to one or more objects in the image content by executing the action recognition module 1510 stored in the storage 1500 .
  • the action recognition module 1510 may recognize an action related to one or more objects in the image content by applying the image content to the action recognition model 1551 .
  • the action recognition model 1551 may be an artificial intelligence model trained to recognize an action related to an object in image content. For example, when the video content is video content, the device 1000 applies the frame images of the entire video content to the action recognition model 1551, so that the action of the objects determined based on the frame images of the entire video content. can be identified. Alternatively, for example, the device 1000 may identify actions of objects determined based on frames in the video content by applying frame images related to a specific scene in the video content to the action recognition model 1551 .
  • the action recognition module 1510 applies the set of the plurality of images to the action recognition model 1551 to determine based on the set of the plurality of images You can identify the actions of objects that become In this case, at least some of the plurality of images in the set of the plurality of images may be selected and input to the action recognition model 1551 .
  • the action related to the object in the video content may include, for example, riding, cleaning, a birthday party, etc., but is not limited thereto.
  • the action recognition model 1551 recognizes actions related to an object from the first to nth images included in the video content, respectively, and based on the recognized actions, an identification value indicating an action related to the video content can be printed out.
  • the identification value indicating the action may include at least one word for identifying the action of the object in the video content, for example, “riding”, “running”, “birthday party” and “shouting”, It may represent the action or situation of at least one object in the image content, but is not limited thereto.
  • the processor 1600 may determine one or more target images to be used to identify one or more objects in the image content by executing the target image determining module 1515 stored in the storage 1500 .
  • the target image may be an image used to identify an object in video content.
  • the target image determining module 1515 may extract a target image from among frame images in the video content.
  • the target image determining module 1515 may extract target images according to a preset interval from frame images in the video content.
  • the target image determining module 1515 may use a frame image corresponding to the changed scene or a frame image including the changed object as the target image. can be extracted.
  • whether a scene in the video content is changed or an object in the video content is changed may be determined based on an output value output from the action recognition model 1551 .
  • the device 1000 may determine at least a portion of the plurality of images as the target image.
  • the processor 1600 may obtain identification information of one or more objects in the image content by executing the object recognition module 1520 stored in the storage 1500 .
  • the object identification information is information for identifying the object in the image content, and may include, for example, at least one of a visual characteristic value of the object or an object identification value.
  • the visual feature value of the object may be a feature value of a region where the object is located in the target image.
  • the identification value of the object may include text indicating the type of object such as a human face, a background, and a pet, and an identification value indicating the name of an object such as a person, dog, cat, and grass. , but not limited thereto.
  • the identification value of the object included in the target image may be labeled with the visual feature value of the object.
  • the object recognition module 1520 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 .
  • the object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image.
  • the object recognition module 1520 inputs a plurality of target images to the object recognition model 1552 , and recognizes object identification values and/or visual features of objects included in each of the plurality of target images. It can be obtained from the model 1552 .
  • the object recognition module 1520 may obtain identification values and/or visual feature values of a person, an object, and a background in the target image.
  • the object recognition model 1552 may include an object extraction model for obtaining a visual feature value of an object in the target image and an object identification model for obtaining an identification value of an object in the target image.
  • the object recognition module 1520 may obtain a visual feature value of an object output from the object extraction model by applying the target image to the object extraction model.
  • the object recognition module 1520 may obtain an object identification value output from the object identification model by applying the visual feature value of the object to the object identification model.
  • the object recognition module 1520 may match the identification value of the object to the visual feature value of the object.
  • the object recognition module 1520 may match the identification value of the object to the visual characteristic value of the object by labeling the identification value of the object with the visual characteristic value of the object.
  • the object recognition model 1552 may be one model, and in this case, the object recognition module 1520 applies the target image to the object recognition model 1552 , thereby An identification value and a visual feature value of the output object may be acquired. Also, the object recognition module 1520 may match the identification value of the object to the visual feature value of the object. For example, the object recognition module 1520 may match the identification value of the object to the visual characteristic value of the object by labeling the identification value of the object with the visual characteristic value of the object.
  • the object recognition model 1552 may output a visual feature value for the entire target image.
  • the visual feature value of the object in the target image may be included in the visual feature value for the entire target image.
  • the processor 1600 may acquire a notification message related to the image content by executing the notification message generating module 1525 stored in the storage 1500 .
  • the notification message generating module 1525 may obtain a notification message related to the image content by applying an identification value indicating an action and identification information of one or more objects to the notification message generating model 1553 .
  • the notification message generation model 1553 may be an artificial intelligence model trained to generate a notification message related to image content.
  • the notification message generating module 1525 may input an identification value representing an action and a visual characteristic value of one or more objects to the notification message generating model 1553 .
  • the notification message generating module 1525 may input an identification value indicating an action, a visual feature value of one or more objects, and an identification value of one or more objects to the notification message generation model 1553 .
  • the identification values of one or more objects may be labeled with the visual feature values of the one or more objects, and the visual feature values of the one or more objects labeled with the identification values of the one or more objects are input to the notification message generation model 1553.
  • the notification message generating module 1525 inputs the visual feature value of the entire target image into the notification message generating model 1553, so that the visual feature value of the object in the target image or the identification value of the object is labeled.
  • the visual feature value of the object may be input to the notification message generation model 1553 .
  • the visual feature value of the entire target image may include the visual feature value of the object or the visual feature value of the object labeled with the identification value of the object.
  • the notification message generation module 1525 may obtain notification candidate messages using the notification message generation model 1553 and generate a notification message using the notification candidate messages.
  • the notification message generating module 1525 may obtain a notification candidate message for each of the target images.
  • the notification message generation module 1525 inputs an identification value indicating an action output from the action recognition model 1551 and identification information of an object output from the object recognition model 1552 into the notification message generation model 1553, and a notification A notification candidate message output from the message generation model 1553 may be obtained.
  • the notification message generation model 1553 may output a notification candidate message for each target image.
  • the notification message generating module 1525 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.
  • the notification message generating module 1525 may obtain first to n-th notification candidate messages to generate the notification message.
  • the notification message generating module 1525 generates a notification message by generating a first target image, an action identification value output from the action recognition model 1551 , and identification information of objects in the first target image output from the object recognition model 1552 .
  • the first notification candidate message may be input to the model 1553 and output from the notification message generation model 1553 may be obtained.
  • the notification message generating module 1525 notifies the second target image, the identification value of the action output from the action recognition model 1551 , and identification information of objects in the second target image output from the object recognition model 1552 . It may be input to the message generation model 1553 , and a second notification candidate message output from the notification message generation model 1553 may be obtained.
  • the notification message generating module 1525 notifies the n-th target image, the identification value of the action output from the action recognition model 1551 , and identification information of objects in the n-th target image output from the object recognition model 1552 .
  • the n-th notification candidate message may be input to the message generation model 1553 and output from the notification message generation model 1553 may be obtained.
  • the identification information of the objects in the target image may include identification values of the objects, and the identification values of the objects may be metadata of the target image, but is not limited thereto.
  • the notification message generating module 1525 may generate a notification message by using the first notification candidate message to the nth notification candidate message.
  • the notification message generating module 1525 may compare the first notification candidate message to the nth notification candidate message with each other, and generate a notification message based on the comparison result. For example, the notification message generating module 1525 determines a word representing an object based on the number of repetitions of words representing the same object in the first notification candidate message to the nth notification candidate message, and a notification message based on the determined word can create Alternatively, the notification message generating module 1525 inputs the first notification candidate message to the nth notification candidate message to the trained artificial intelligence model to generate a notification message from the notification candidate messages, and a notification message output from the artificial intelligence model can be obtained.
  • the device 1000 may accurately recognize an action of an object in the video content by using the video content, and effectively identify the object in the target image by using the target image selected from the video content.
  • the device 1000 may efficiently generate a notification message about the video content by using the action of the object and the identification information of the object, and efficiently use a plurality of artificial intelligence models to generate the notification message about the video content. become available.
  • the processor 1600 may determine a name for an object in the target image by executing the user object identification module 1530 stored in the storage 1500 .
  • the user object identification module 1530 may compare objects in the target image with images stored in the user DB 1560 .
  • the images stored in the user DB 1560 may be images captured by the user of the device 1000 or at least one of the user's acquaintances.
  • the images stored in the user DB 1560 may include an image stored in the contact information of the device 1000 , an image photographed by the device 1000 , and an image received by the device 1000 from another device. , but not limited thereto.
  • the user object identification module 1530 compares objects in the first target image with objects in images stored in the user DB 1560 , and compares objects in the second target image with images stored in the user DB 1560 . It is possible to compare objects in the fields, and objects in the third target image with objects in images stored in the user DB 1560 .
  • the user object identification module 1530 may use at least one of an object identification value or a visual feature value obtained from the object recognition model 1552 , among images stored in the user DB 1560 , within the target image. An image including an object corresponding to the object may be searched.
  • the user object identification module 1530 may determine names of objects in the target images.
  • the user object identification module 1530 may identify the same object as the object in the target image from the image stored in the device 1000 and determine a name corresponding to the identified object.
  • the name of the object may be determined based on the address book, or the name of the object may be determined based on metadata of an image corresponding to the object.
  • the user object identification module 1530 may determine the name of the object based on the information received from the other device.
  • the other device may determine the name of the object in the image content based on user information of the other device, and may provide the device 1000 with information about the name of the object while providing the image content to the device 1000 .
  • the name of the object in the image content may be included in the metadata of the image content, and another device may transmit the metadata including the name of the object to the device 1000 together with the image content. Accordingly, the device 1000 may use the name of the object received from the other device to generate a notification message describing the image content.
  • the notification message generating module 1525 inputs an identification value indicating an action of the video content, identification information of one or more objects in the video content, and a name to the notification message generation model 1553, thereby providing a notification message related to the video content can create
  • the notification message generating module 1525 inputs a target image, an object name, an identification value indicating an action, and object identification information into the notification message generation model 1553 , and a notification candidate output from the notification message generation model 1553 .
  • message can be obtained.
  • the notification message generating module 1525 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.
  • the thumbnail generation module 1570 may generate a thumbnail image related to a notification message of video content.
  • the thumbnail generation module 1570 may generate a thumbnail image related to the notification message by cutting out and extracting a portion of the target image based on the notification message. For example, when the notification message is “a man rides a skateboard”, the thumbnail generation module 1570 cuts out a partial region including the man and the skateboard from the target image including the man and the skateboard, thereby creating a thumbnail You can create an image.
  • An example of generating a thumbnail image from a target image using a notification message will be described in more detail with reference to FIG. 12 .
  • the user object identification module 1530 may determine a name for the object in the target image determined from the image content to be provided to the other device, and the device 1000 Information about the determined name may be provided to another device along with the image content.
  • the device 1000 can effectively reflect user-related information in generating a notification message, and can efficiently use a plurality of artificial intelligence models to generate a notification message related to image content.
  • the processor 1600 may train the notification message generation model 1553 by executing the training module 1535 stored in the storage 1500 .
  • the training module 1535 may obtain a training image to be used for training the notification message generation model 1553 and a message describing the training image.
  • the training module 1535 trains the notification message generation model 1553 by extracting at least one preset part-of-speech from a message describing the training image, and using the training image and data including the extracted part-of-speech as training data. can do it
  • the training module 1535 may extract a verb from a message describing the training image, and use data including at least the training image and the extracted verb as training data. For example, the training module 1535 inputs training data including a training image and the extracted verb to the notification message generation model 1553 , and outputs a message including the extracted verb from the notification message generation model 1553 . To do this, the notification message generation model 1553 may be trained. Meanwhile, although it has been described above that the notification message generation model 1553 is trained based on the extracted verb, the present invention is not limited thereto. The notification message generation model 1553 may be trained based on various parts of speech.
  • the device 1000 trains the notification message generation model 1553 above, the present invention is not limited thereto.
  • the server trains the notification message generation model 1553 as above, and the device 1000 may receive the notification message generation model 1553 trained by the server from the server. Also, the device 1000 may receive the notification message generation model 1553 updated by the server from the server.
  • the training module 1535 may retrain the notification message generation model 1553 to update the notification message generation model 1553 received from the server. In this case, the training module 1535 may retrain the notification message generation model 1553 using data stored in the user DB 1560 of the device 1000 .
  • the training module 1535 may train the action recognition model 1551 and the object recognition model 1552 , or may receive the action recognition model 1551 and the object recognition model 1552 trained by the server from the server. In addition, the training module 1535 may retrain the action recognition model 1551 and the object recognition model 1552, or receive the action recognition model 1551 and the object recognition model 1552 updated by the server from the server. have.
  • a plurality of action recognition models 1551 may be used by the device 1000 , and the plurality of action recognition models 1551 may respectively correspond to a plurality of domains.
  • the domain indicates a field to which the video content is related, and for example, the type of another device that has transmitted the video content, the type of service that uses a notification message related to the video content, the type of video content, and the category of the video content are preset according to the category.
  • the action recognition model 1551 may be trained for each domain.
  • the action recognition model 1551 may be a model trained using a target image extracted from video content related to a corresponding domain and correct answer data corresponding thereto.
  • a plurality of object recognition models 1552 may be used by the device 1000 , and the plurality of object recognition models 1552 may respectively correspond to a plurality of domains.
  • the domain indicates a field to which the video content is related, and for example, the type of another device that has transmitted the video content, the type of service that uses a notification message related to the video content, the type of video content, and the category of the video content are preset according to the category.
  • the object recognition model 1552 may be trained for each domain. In this case, the object recognition model 1552 may be a model trained using a target image extracted from image content related to a corresponding domain and correct answer data corresponding thereto.
  • a plurality of notification message generation models 1553 may be used by the device 1000 , and the plurality of notification message generation models 1553 may respectively correspond to a plurality of domains.
  • the domain indicates a field to which the video content is related, for example, the type of another device that has transmitted the video content, the type of service that uses a notification message related to the video content, the type of video content, the category of the video content, etc. to be set in advance.
  • the notification message generation model 1553 may be trained for each domain. In this case, the notification message generation model 1553 may be a model trained using a target image extracted from video content related to a corresponding domain and correct answer data corresponding thereto.
  • the processor 1600 may identify a domain corresponding to the image content by executing the domain identification module 1540 stored in the storage 1500 .
  • the domain identification module 1540 of the device 1000 may identify a domain corresponding to the other device as a domain of the image content based on the identification value of the other device that provided the image content. In this case, a domain corresponding to another device may be preset.
  • the domain identification module 1540 may input the image content or an image extracted from the image content to a separate artificial intelligence model trained to identify the domain of the image content to identify the domain of the image content. have. Also, for example, when the device 1000 receives a text message together with image content, the domain identification module 1540 may identify a domain of the image content using the received text message. Also, for example, the domain identification module 1540 may determine the domain of the image content by using an output value output from the action recognition model 1551 . In this case, the action recognition model 1551 used to determine the domain may be a general-purpose artificial intelligence model that is not specialized to a specific domain.
  • the processor 1600 may select a model corresponding to the domain of the image content from among a plurality of models by executing the model selection module 1545 stored in the storage 1500 .
  • the model selection module 1545 may select the action recognition model 1551 corresponding to the domain of the image content from among the plurality of action recognition models 1551 .
  • the action recognition module 1510 may identify an action of the image content using the selected action recognition model 1551 .
  • the model selection module 1545 may select the object recognition model 1552 corresponding to the domain of the image content from among the plurality of object recognition models 1552 .
  • the object recognition module 1520 may recognize an object in the target image using the object recognition model 1552 selected by the model selection module 1545 .
  • the model selection module 1545 may select the notification message generation model 1553 corresponding to the domain of the image content from among the plurality of notification message generation models 1553 . Accordingly, the notification message generating module 1525 may generate a notification message indicating the video content by using the selected notification message generation model 1553 .
  • the user DB 1560 may include a contact DB 1561 and an image DB 1562 .
  • the contact DB 1561 may store information about contact information of acquaintances of the user.
  • the contact DB 1561 may store the name of the user's acquaintance and an image of the acquaintance.
  • the image DB 1562 may store an image captured by the user or at least one of the user's acquaintances.
  • the image stored in the image DB 1562 includes an image stored in a contact of the device 1000 , an image photographed by the device 1000 , and an image received by the device 1000 from another device or server. can do.
  • an image stored in the image DB 1562 may include metadata regarding the name of an object in the image.
  • the device 1000 may generate a notification message by receiving image content from another device, the present invention is not limited thereto.
  • Another device may provide the image content to the server, the server may generate a notification message related to the image content, and transmit the notification message to the device 1000 .
  • the device 1000 may set a condition for receiving the notification message. For example, when a specific object is included in the video content, when the object in the video content performs a specific action, and when the video content is related to a specific domain, it is set to receive a notification message generated by the server from the server.
  • the server may include modules and models that perform the same role as the modules and models stored in the storage unit 1500 of the device 1000 illustrated in FIG. 2 .
  • an action recognition module 1510, a target image determination module 1515, an object recognition module 1520, a notification message generation module 1525, a user object identification module 1530, a training module 1535, At least some of the roles of the domain identification module 1540 , the model selection module 1545 , the thumbnail generation module 1570 , and the artificial intelligence model 1550 may be performed by the server.
  • the device 1000 includes an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , a notification message generating module 1525 , a user object identification module 1530 , and a training module 1535 . ), the domain identification module 1540 , the model selection module 1545 , the thumbnail generation module 1570 , and the artificial intelligence model 1550 may transmit/receive information necessary for the server to perform at least some functions with the server.
  • FIG. 3 is a diagram for explaining video content and target images according to an embodiment of the present disclosure.
  • the video content may be video content 30 including a plurality of frame images, and the video content 30 may include frame images of two men riding skateboards.
  • target images 32 may be selected from among the frame images in the video content 30 .
  • the target images 32 may be selected according to a preset criterion.
  • the target image 34 , the target image 35 , and the target image 36 may be extracted from the video content 30 according to a preset frame interval.
  • target images 32 including the changed object may be extracted from the video content 30 .
  • FIG 4 is a diagram illustrating an example in which an action of an object in image content is identified through an action recognition model 1551 according to an embodiment of the present disclosure.
  • image content may be input to the action recognition model 1551 .
  • the video content may be input to the action recognition model 1551 .
  • all frame images in the video content may be input to the action recognition model 1551 .
  • the image content is a set of a plurality of images
  • the set of the plurality of images may be input to the action recognition model 1551 .
  • the image content may be input to the action recognition model 1551 by inputting a file of image content to the action recognition model 1551 or feature data obtained from the image content being input to the action recognition model 1551 . .
  • the action recognition model 1551 may output actions of objects in the image content.
  • the action recognition model 1551 may output an action identification value indicating an action of an object in the video content based on the actions of the object recognized for each frame image in the video content.
  • the action recognition model 1551 outputs an identification value of an action indicating an action of an object in a set of a plurality of images based on the actions of the object recognized for each of the plurality of images.
  • the identification value of the action representing the action of the object may be data in text format.
  • FIG. 5 is a diagram illustrating an example in which actions of people in video content are identified according to an embodiment of the present disclosure.
  • video content 30 may be input to an action recognition model 1551 .
  • the video content 30 may include frame images of two men riding skateboards.
  • the action recognition model 1551 may output “Riding” which is an identification value of an action representing an action of men in the video content 30 .
  • 6A is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 according to an embodiment of the present disclosure.
  • a target image may be input to the object recognition model 1552 , and identification information of an object may be output from the object recognition model 1552 .
  • the object identification information may include at least one of an object identification value and a visual feature value of the object.
  • the object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image.
  • the device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 .
  • the object recognition model 1552 may output an identification value and/or a visual feature value of a person, an object, and a background in the target image.
  • a file of the target image is input to the object recognition model 1552 , or feature data obtained from the target image is input to the object recognition model 1552 , so that the target image is input to the object recognition model 1552 .
  • 6B is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 including a plurality of artificial intelligence models according to an embodiment of the present disclosure.
  • a target image may be input to the object extraction model 1552-1 in the object recognition model 1552 , and visual feature values of objects in the target image may be output from the object extraction model 1552-1.
  • the object extraction model 1552-1 may be an artificial intelligence model trained to extract an object in the target image.
  • a visual feature value of an object output from the object extraction model 1552-1 may be input to the object identification model 1552-2, and an object identification value may be output from the object identification model 1552-2.
  • the object identification model 1552 - 2 may be an artificial intelligence model trained to identify an object identification value from a visual feature value of the object. Accordingly, the visual characteristic value of the object and the identification value of the object may be output from the object recognition model 1552 , and the identification value of the object may be labeled with the visual characteristic value of the object.
  • FIG. 7 is a diagram illustrating an example in which identification information of objects is obtained for each target image according to an embodiment of the present disclosure.
  • a target image 34 , a target image 35 , and a target image 36 may be input to the object recognition model 1552 .
  • man, man, skateboard, skateboard, street, which are identification values of objects in the target image 34 are output from the object recognition model 1552
  • boy, boy, skateboard, skateboard, which are identification values of objects in the target image 35 A street may be output from the object recognition model 1552
  • boy, skateboard, and street, which are identification values of objects in the target image 36 may be output from the object recognition model 1552 .
  • visual feature values of objects in the target image 34 visual feature values of objects in the target image 35 , and visual feature values of objects in the target image 36 are to be output, respectively.
  • the identification values of the objects may be respectively labeled with the visual feature values of the objects.
  • FIG. 8 is a diagram illustrating an example of generating a notification message through the notification message generating module 1525 according to an embodiment of the present disclosure.
  • an identification value indicating an action of an object output from the action recognition model 1551 and identification information of an object output from the object recognition model 1552 may be input to the notification message generation model 1553 .
  • “riding” indicating an action output from the action recognition model 1551 and visual characteristic values of objects in the target image 34 may be input to the notification message generation model 1553 .
  • “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 34, along with the identification values of the objects “man, man, skateboard, skateboard, street” may be additionally input to the notification message generation model 1553 .
  • “riding” indicating an action output from the action recognition model 1551 and visual characteristic values of objects in the target image 35 may be input to the notification message generation model 1553 .
  • “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 35, “boy, boy, skateboard, skateboard, street” may be additionally input to the notification message generation model 1553 .
  • “riding” indicating an action output from the action recognition model 1551 , and visual characteristic values of objects in the target image 36 may be input to the notification message generation model 1553 .
  • “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 36, along with the identification values of the objects “boy, skateboard, street” are additionally added It may be input to the notification message generation model 1553 .
  • a notification candidate message corresponding to the target image 34, a notification candidate message corresponding to the target image 35, and a notification candidate message corresponding to the target image 36 may be output from the notification message generation model 1553, respectively. have.
  • the notification message generation model 1553 from one target image may be determined as a notification message generated from the notification candidate message.
  • FIG. 9 is a diagram illustrating an example of generating a notification message from a plurality of notification candidate messages according to an embodiment of the present disclosure.
  • the identification value of the action corresponding to the target image 34 is 'riding', and the identification values of the objects among the identification information of the objects in the target image 34 are 'man, man, skateboard, skateboard, street. ' can be When the identification value of the action corresponding to the target image 34 and the identification information of the objects are input to the notification message generation model 1553, the first notification candidate message “A couple of men riding skateboards down a street.” can
  • the identification value of the action corresponding to the target image 35 is 'riding', and the identification values of the objects among the identification information of the objects in the target image 35 may be 'boy, boy, skateboard, skateboard, street'. .
  • the identification value of the action corresponding to the target image 35 and the identification information of the objects are input to the notification message generation model 1553, the second notification candidate message “Two young men riding skateboards down a street.” can be obtained. have.
  • the identification value of the action corresponding to the target image 36 may be 'riding', and the identification values of the objects among the identification information of the objects in the target image 36 may be 'boy, skateboard, street'.
  • the identification value of the action corresponding to the target image 36 and the identification information of the objects are input to the notification message generation model 1553, a third notification candidate message “A young man riding skateboard on a street.” can be obtained. have.
  • Notification candidate messages generated from each of the target images may be compared, and a notification message may be generated based on the comparison result.
  • the first notification candidate message “A couple of men riding skateboards down a street.”
  • Words within, the second notification candidate message “Two young men riding skateboards down a street.”
  • the words within, and the third notification candidate message “A young man riding skateboard on a street.”
  • Words in the contents may be compared with each other, and a word to be included in the notification message may be determined based on the number of times that words representing the same object are duplicated.
  • a notification message “Two young men riding skateboards down a street.” may be generated.
  • the notification message generating module 1525 may generate the notification message by using a trained artificial intelligence model to generate the notification message from the notification candidate messages.
  • the first notification candidate message “A couple of men riding skateboards down a street.” the second notification candidate message “Two young men riding skateboards down a street.”
  • the third notification candidate message “A young man riding skateboard on a street.” is input to the AI model, and a notification message “Two young men riding skateboards down a street.” may be output from the AI model.
  • 10A is a diagram illustrating an example of generating a notification message in consideration of user information according to an embodiment of the present disclosure.
  • the device 1000 may activate or deactivate a function of generating a notification message in consideration of user information.
  • the device 1000 determines the identification information 102 of the object in the target image 100 and the identification value 104 of the action related to the target image 100 .
  • the name 106 of the object in the target image 100 based on user information may be input to the notification message generation model 1553 . Accordingly, a message “Mother cleans the floor in front of a television” may be output from the notification message generation model 1553 .
  • the device 1000 determines the identification information 102 of the object in the target image 100 and the identification value of the action related to the target image 100 ( 104 ) may be input to the notification message generation model 1553 .
  • the device 1000 may not input the name 106 of the object in the target image 100 based on user information into the notification message generation model 1553 . Accordingly, the message “A woman cleans the floor in front of a television” may be output from the notification message generation model 1553 .
  • 10B is a diagram illustrating a GUI for setting related to generation of a notification message according to an embodiment of the present disclosure.
  • a GUI for setting related to generation of a notification message is an object for setting whether to use identification information of an object, setting whether to recognize an action of an object, setting whether to use user information for generating a notification message may include
  • the objects for setting whether to use the object identification information may include a button for selecting whether to use the object identification information and a control bar for adjusting the degree of using the object identification information.
  • the objects for setting whether to recognize the action of the object may include a button for selecting whether to recognize the action of the object and a control bar for adjusting the degree of recognition of the action of the object.
  • the objects for setting whether to use user information for generating a notification message include a button for selecting whether to use user information for generating a notification message and a control bar for controlling the degree of use of user information can do.
  • FIG. 11 is a diagram illustrating an example in which a notification message generation model 1553 is trained according to an embodiment of the present disclosure.
  • the device 1000 may obtain a training image 110 to be used for training the notification message generation model 1553 and a message 112 describing the training image 110 . Also, the device 1000 may extract a word 114 representing an action of an object in the training image 110 from the message 112 describing the training image 110 . The device 1000 may extract, for example, a word 114 representing an action of an object in the training image 110 from a message 112 describing the training image 110 using a rule-based parser. have. For example, the word 114 representing the action of the object in the training image 110 may be a verb, but is not limited thereto. The device 1000 may train the notification message generation model 1553 by using the training image 110 and the extracted word 114 as the training data 116 .
  • the device 1000 inputs training data 116 including the training image 110 and the extracted word 114 to the notification message generation model 1553, and the notification message generation model 1553 is extracted
  • the notification message generation model 1553 may be trained to output a message 118 including the old word 114 .
  • the notification message generation model 114 may be trained so that the word 114 extracted from the message 112 is placed at the position of a verb in the notification message output from the notification message generation model 114 .
  • the notification message generation model 1553 is trained using the training data 116 including the training image 110 in the training data 116 , but is not limited thereto.
  • identification information of an object in the training image 110 may be included in the training data 116 .
  • the word 114 extracted from the message 114 and identification information of the object in the training image 110 may be input to the notification message generation model 114 as the training data 116 .
  • the notification message generation model 114 may be trained so that the word 114 extracted from the message 112 is placed at the position of a verb in the notification message output from the notification message generation model 114 .
  • Identification information of an object in the training image 110 used as the training data 116 may be obtained by inputting the training image 110 into the object recognition model 1552 .
  • the device 1000 may obtain identification information of an object in the training image 110 from the server.
  • FIG. 12 is a diagram illustrating an example in which the device 1000 generates a thumbnail image related to video content according to an embodiment of the present disclosure.
  • the device 1000 selects a partial region including main objects in the target image using a word in the notification message and identification information of objects obtained from the target image. can be cut
  • the device 1000 identifies the words “Mother” and “television” in the notification message 122 , and uses the object recognition model 1552 . Based on the identification information of the objects obtained from the target image 120 using the target image 120 , the region 123 corresponding to the mother and the region 124 corresponding to the television may be identified from the target image 120 . For example, the device 1000 identifies “Mother” and “television,” which are nouns indicating an object in the notification message 122 , and identifies objects corresponding to “Mother” and “television” from the target image 120 . Then, a region including the identified objects may be cut out from the target image 120 .
  • the device 1000 cuts out the area 125 including the area 123 corresponding to the mother and the area 124 corresponding to the television from the target image 120 to generate the thumbnail image 126 for the notification message. can be obtained
  • FIG. 13 is a diagram illustrating an example in which the device 1000 shares image content with another device according to an embodiment of the present disclosure.
  • the device 1000 may provide a notification message for sharing a group of images related to the same or similar action among a plurality of images stored in the device 1000 with another device.
  • the device 1000 may select images of a scene in which a specific person performs a specific action from among a plurality of images stored in the device 1000 , and may generate a notification message for providing the selected images to the specific person.
  • the device 1000 obtains notification candidate messages related to the selected images by inputting an action related to the object in the selected image and identification information of the object in the selected image to the notification message generation model 1553 for each of the selected images. and obtain a notification message from the notification candidate messages.
  • the device 1000 includes images 130 , 132 , 134 of a mother cleaning scene. and create a notification message describing the selected images. For example, the device 1000 may generate “Mother cleans the floor in front of a television.”
  • the device 1000 may provide the user of the device 1000 with a GUI for sharing the selected images with a person in the selected images.
  • the GUI for sharing the selected images may include, but is not limited to, an area in which the selected images are displayed, an area in which a receiver is displayed, and an area in which a message is displayed.
  • FIG. 14 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.
  • the device 1000 may acquire image content including a plurality of images.
  • the device 1000 may receive image content transmitted from the other device from the other device.
  • the video content may be video content or a set of a plurality of images.
  • a plurality of images in the video content may be a plurality of frame images in the video content.
  • the device 1000 may receive image content from another device through, for example, a communication application installed in the device 1000 .
  • Communication applications may include, for example, chat applications and messaging applications.
  • the device 1000 may identify an action related to one or more objects in the image content by applying the image content to the action recognition model 1551 .
  • the action recognition model 1551 may be an artificial intelligence model trained to identify an action related to an object in image content.
  • the device 1000 applies the entire video content or frames related to a specific scene in the video content to the action recognition model 1551, so that the action of objects determined based on the frames in the video content. can be identified.
  • the video content is a set of a plurality of images
  • the device 1000 applies the set of the plurality of images to the action recognition model 1551 to identify actions of objects determined based on the set of the plurality of images. have.
  • the action related to the object in the video content may include, for example, riding, cleaning, a birthday party, etc., but is not limited thereto.
  • the device 1000 may determine one or more target images to be used to identify one or more objects in the image content.
  • the device 1000 may extract a target image from among frame images in the video content.
  • the device 1000 may extract target images according to a preset interval from frame images in the video content.
  • the device 1000 may extract a frame image corresponding to the changed scene or a frame image including the changed object as a target image. have.
  • whether a scene in the video content is changed or an object in the video content is changed may be determined based on an output value output from the action recognition model 1551 .
  • the device 1000 may determine at least a portion of the plurality of images as the target image.
  • the device 1000 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 .
  • the object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image.
  • the device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 .
  • the device 1000 may obtain identification information of a person, an object, and a background in the target image.
  • the device 1000 may obtain at least one of an identification value and a visual feature value of one or more objects in the image content by applying the target image to the object recognition model 1552 .
  • the visual feature value of the object may be a feature value of a region where the object is located in the target image.
  • the identification value of the object included in the target image may be labeled with the visual feature value of the object.
  • the device 1000 may obtain a notification message related to the image content by applying the identification value indicating the action and identification information of one or more objects to the notification message generation model 1553 .
  • the notification message generation model 1553 may be an artificial intelligence model trained to generate a notification message related to image content.
  • the device 1000 may transmit an identification value indicating an action output from the action recognition model 1551 , identification information of an object output from the object recognition model 1552 , and a target image to the notification message generation model 1553 . It is possible to obtain a notification candidate message that is input and output from the notification message generation model 1553 .
  • the notification message generation model 1553 may output a notification candidate message for each target image. Also, the device 1000 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.
  • the device 1000 may output a notification message.
  • a notification message describing the received image content may be displayed on the screen of the device 1000 .
  • a notification message for image content may be displayed on the lock screen of the device 1000 .
  • a notification message for the image content may be displayed through a tray window or a pop-up window. .
  • 15 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.
  • the device 1000 may obtain a first notification candidate message generated from the first target image.
  • the device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the first target image output from the object recognition model 1552 to the notification message generation model 1553 .
  • the first notification candidate message output from the notification message generation model 1553 may be obtained.
  • the device 1000 may obtain a second notification candidate message generated from the second target image.
  • the device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the second target image output from the object recognition model 1552 to the notification message generation model 1553 .
  • the second notification candidate message output from the notification message generation model 1553 may be obtained.
  • the device 1000 may obtain an n-th notification candidate message generated from the n-th target image.
  • the device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the n-th target image output from the object recognition model 1552 to the notification message generation model 1553 .
  • the nth notification candidate message output from the notification message generation model 1553 may be obtained.
  • the device 1000 may generate a notification message by using the first notification candidate message to the n-th notification candidate message.
  • the device 1000 may compare the first notification candidate message to the nth notification candidate message with each other, and generate a notification message based on the comparison result. For example, the device 1000 may determine the word representing the object based on the number of repetitions of the word representing the same object in the first notification candidate message to the nth notification candidate message. Also, the device 1000 may generate a notification message based on the determined word.
  • the device 1000 may input the first notification candidate message to the nth notification candidate message to the trained artificial intelligence model to generate the notification message, and obtain a notification message output from the artificial intelligence model.
  • 16 is a flowchart of a method of generating, by the device 1000, a notification message in consideration of user information according to an embodiment of the present disclosure.
  • the device 1000 may compare objects in the target images with images stored in the device 1000 .
  • the images stored in the device 1000 may be images captured by the user of the device 1000 or at least one of the user's acquaintances.
  • the images stored in the device 1000 may include an image stored in a contact of the device 1000, an image photographed by the device 1000, and an image received by the device 1000 from another device, It is not limited thereto.
  • the device 1000 compares objects in the first target image with objects in images stored in the device 1000 , and compares objects in the second target image with objects in images stored in the device 1000 . The comparison may be made, and objects in the third target image may be compared with objects in images stored in the device 1000 .
  • the device 1000 may determine names of objects in the target images.
  • the device 1000 may identify an object identical to the object in the target image from the image stored in the device 1000 , and may identify a name corresponding to the identified object.
  • the name of the object may be determined based on the address book, or the name of the object may be determined based on metadata of an image corresponding to the object.
  • the device 1000 may determine the name of the object based on the information received from the other device.
  • the other device may determine the name of the object in the image content based on user information of the other device, and may provide the device 1000 with information about the name of the object while providing the image content to the device 1000 .
  • the name of the object in the image content may be included in the metadata of the image content, and another device may transmit the metadata including the name of the object to the device 1000 together with the image content. Accordingly, the device 1000 may use the name of the object received from the other device to generate a notification message describing the image content.
  • the device 1000 may generate a notification message related to the video content by inputting an identification value indicating an action of the video content, identification information of one or more objects in the video content, and a name to the notification message generation model 1553. have.
  • the device 1000 inputs an identification value indicating an action output from the action recognition model 1551 , identification information of an object output from the object recognition model 1552 , and a name of the object to the notification message generation model 1553 , and a notification A notification candidate message output from the message generation model 1553 may be obtained.
  • the notification message generation model 1553 may output a notification candidate message for each target image.
  • the device 1000 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.
  • the device 1000 may output a notification message.
  • a notification message describing the received image content may be displayed on the screen of the device 1000 .
  • 17 is a flowchart of a method of providing, by the device 1000, a name of an object in image content to be transmitted to another device to another device, according to an embodiment of the present disclosure.
  • the device 1000 may acquire image content to be transmitted to another device.
  • the device 1000 may acquire image content including a plurality of images.
  • the video content may be video content or a set of a plurality of images.
  • the device 1000 may capture image content or extract image content stored in the device 1000 in order to provide image content to another device through a communication application installed in the device 1000 , for example.
  • the device 1000 may determine one or more target images to be used to identify one or more objects in the image content.
  • the device 1000 may extract a target image from among frame images in the video content.
  • the device 1000 may extract target images according to a preset interval from frame images in the video content.
  • the device 1000 may extract a frame image corresponding to the changed scene or a frame image including the changed object as a target image. have.
  • the image content is a set of a plurality of images
  • the device 1000 may determine at least a portion of the plurality of images as the target image.
  • the device 1000 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 .
  • the object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image.
  • the device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 .
  • the device 1000 may obtain identification information of a person, an object, and a background in the target image.
  • the device 1000 may compare objects in the target images with images stored in the device 1000 .
  • the images stored in the device 1000 may be images captured by the user of the device 1000 or at least one of the user's acquaintances.
  • the images stored in the device 1000 may include an image stored in a contact of the device 1000, an image photographed by the device 1000, and an image received by the device 1000 from another device, It is not limited thereto.
  • the device 1000 compares objects in the first target image with objects in images stored in the device 1000 , and compares objects in the second target image with objects in images stored in the device 1000 . The comparison may be made, and objects in the third target image may be compared with objects in images stored in the device 1000 .
  • the device 1000 may determine names of objects in the target images.
  • the device 1000 may identify an object identical to the object in the target image from the image stored in the device 1000 , and may identify a name corresponding to the identified object.
  • the name of the identified object may be determined based on the address book, or the name of the identified object may be determined based on metadata of an image corresponding to the identified object.
  • the device 1000 may transmit image content and names of objects to another device. Names of objects may be included in metadata of image content, and the device 1000 may transmit metadata including names of objects to another device along with image content. The names of the objects transmitted to the other device may be used by the other device to generate a notification message describing the video content.
  • the processor may consist of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • a predefined action rule or artificial intelligence model is characterized by being created through training.
  • being made through training means that the basic AI model is trained using a large number of training data by a training algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such training may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the training algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the training result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the training process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.
  • DNN Deep Neural Network
  • DNN Deep Belief Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • video content is converted into input data of the action recognition model 1551 and may use the target image as input data of the object recognition model 1552 .
  • an action of an object in the image content may be recognized from the action recognition model 1551 to output output data, and an object in a target image may be identified from the object recognition model 1552 to output output data.
  • AI models can be created through training. Here, being made through training means that the basic AI model is trained using a large number of training data by a training algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
  • Visual understanding is a technology that recognizes and processes objects as if they were human eyes. Object Recognition, Object Tracking, Image Retrieval, Human Recognition, Scene Recognition , spatial understanding (3D Reconstruction/Localization), image enhancement, and the like.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media may typically include computer readable instructions, data structures, or other data in a modulated data signal, such as program modules.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법이 제공된다. 상기 방법은, 적어도 하나의 객체의 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작; 상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위해 이용될 대상 이미지들을 결정하는 동작; 상기 적어도 하나의 객체를 식별하기 위하여 훈련된 하나 이상의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 식별 정보를 획득하는 동작; 알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 적어도 하나의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하는 동작;을 포함한다.

Description

콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법
본 개시는 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는 복수의 이미지를 포함하는 콘텐트에 관련된 알림 메시지를 생성하고 제공하는 디바이스 및 방법에 관한 것이다.
네트워크 기술 및 데이터 처리 기술이 발전함에 따라, 사용자는 디바이스를 통하여 다양한 서비스를 이용할 수 있게 되었으며, 사용자가 디바이스를 이용하여 다양한 콘텐트를 다른 디바이스와 공유하도록 하는 서비스가 증가하고 있다. 이에 따라, 디바이스는 다른 디바이스로부터 영상 콘텐트를 수신하는 경우에, 영상 콘텐트에 관련된 알림 메시지를 사용자에게 제공할 필요가 있으며, 사용자는 알림 메시지를 확인함으로써, 자신이 수신한 영상 콘텐트에 관한 내용을 간략히 확인할 필요가 있게 되었다.
하지만, 디바이스가 영상 콘텐트를 수신하는 경우에 디바이스가 영상 콘텐트를 설명하는 알림 메시지를 효율적으로 생성하여 제공하기 힘든 문제가 있었으며, 나아가, 디바이스가 사용자의 개인 정보를 활용하여 영상 콘텐트의 알림 메시지를 효과적으로 생성하기 힘든 어려움이 있었다.
이에 따라, 인공지능 모델을 활용하여 영상 콘텐트를 설명하는 알림 메시지를 효율적으로 생성할 수 있는 기술이 요구되고 있다.
본 개시의 일 실시예는, 복수의 인공지능 모델을 이용하여 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 인공지능 모델을 이용하여 복수의 이미지를 포함하는 콘텐트 내의 객체의 액션을 인식함으로써, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 인공지능 모델을 이용하여 콘텐트로부터 선택된 대상 이미지 내의 객체를 식별함으로써, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 콘텐트 내의 객체에 관련된 액션 및 대상 이미지로부터 인식된 객체의 식별 정보에 기초하여, 콘텐트를 설명하는 알림 메시지를 인공지능 모델을 이용하여 생성할 수 있는, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 디바이스의 사용자에 관련된 정보에 기초하여, 콘텐트에 관한 알림 메시지를 인공지능 모델을 이용하여 생성할 수 있는, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.
본 개시의 일 측면에 따르면, 디바이스가 영상 콘텐트에 관련된 알림 메시지를 제공하는 방법을 제공할 수 있다. 상기 방법은, 복수의 이미지들을 포함하는 영상 콘텐트를 획득하는 동작; 적어도 하나의 객체에 관련된 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작; 상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위한 대상 이미지들을 결정하는 동작; 상기 적어도 하나의 객체를 식별하기 위하여 훈련된 적어도 하나의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 하나 이상의 객체의 식별 정보를 획득하는 동작; 알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 적어도 하나의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하는 동작; 및 상기 알림 메시지를 출력하는 동작; 을 포함하며, 상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체에 대한 시각적 특징 값을 포함할 수 있다.
상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체의 식별 값을 더 포함하며, 상기 적어도 하나의 객체의 식별 값은 상기 적어도 하나의 객체에 대한 시각적 특징 값에 라벨링되는 것일 수 있다.
상기 영상 콘텐트는 비디오 콘텐트이며, 상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작은, 상기 비디오 콘텐트를 상기 제1 인공지능 모델에 입력함으로써, 상기 비디오 콘텐트 내의 프레임 이미지들에 포함된 상기 적어도 하나의 객체에 관련된 액션을 인식하는 것일 수 있다.
상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작은, 상기 비디오 콘텐트에 포함된 제1 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제1 액션을 인식하는 동작; 상기 비디오 콘텐트에 포함된 제2 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제2 액션을 인식하는 동작; 및 상기 제1 프레임 이미지로부터 인식된 제1 액션 및 상기 제2 프레임 이미지로부터 인식된 제2 액션에 기초하여, 상기 비디오 콘텐트에 관련된 상기 액션을 나타내는 식별 값을 획득하는 동작을 포함할 수 있다.
상기 대상 이미지들을 결정하는 동작은, 상기 비디오 콘텐트 내의 복수의 프레임 이미지들 중에서 상기 적어도 하나의 객체를 식별하기 위한 프레임 이미지들을 선택하는 것일 수 있다.
상기 알림 메시지를 생성하는 동작은, 상기 액션을 나타내는 식별 값, 및 제1 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써, 제1 알림 후보 메시지를 획득하는 동작; 상기 액션을 나타내는 식별 값, 및 제2 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써, 제2 알림 후보 메시지를 획득하는 동작; 및 상기 제1 알림 후보 메시지 및 상기 제2 알림 후보 메시지를 비교함으로써, 상기 알림 메시지를 생성하는 동작을 포함할 수 있다.
상기 방법은, 상기 디바이스에 저장된 사용자에 관련된 정보에 기초하여, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 호칭을 결정하는 동작을 더 포함하며, 상기 알림 메시지를 생성하는 동작은, 상기 호칭을 상기 제3 인공지능 모델에 입력하는 동작을 포함할 수 있다.
상기 방법은, 상기 호칭에 관한 정보 및 상기 영상 콘텐트를 다른 디바이스에게 전송하는 동작을 더 포함하며, 상기 다른 디바이스에게 전송된 상기 호칭은, 상기 다른 디바이스에 의해 상기 영상 콘텐트에 관한 알림 메시지를 생성하는데 이용되는 것일 수 있다.
상기 제3 인공지능 모델은, 트레이닝 이미지 및 상기 트레이닝 이미지를 설명하는 메시지로부터 추출된 단어를 이용하여 트레이닝된 것이며, 상기 추출된 단어는 상기 트레이닝 이미지 내의 객체의 액션에 관련된 단어인 것일 수 있다.
상기 영상 콘텐트에 대응되는 도메인을 식별하는 동작을 더 포함하며, 상기 제1 인공지능 모델, 상기 제2 인공지능 모델 및 상기 제3 인공지능 모델 중 적어도 하나는, 상기 식별된 도메인에 기초하여 선택된 것일 수 있다.
본 개시의 일 측면에 따르면, 영상 콘텐트에 관련된 알림 메시지를 제공하는 디바이스를 제공할 수 있다. 상기 디바이스는, 통신 인터페이스; 인스트럭션들을 저장하는 저장부; 상기 인스트럭션들을 실행하는 프로세서;를 포함하며, 상기 프로세서는, 상기 인스트럭션들을 실행함으로써, 복수의 이미지들을 포함하는 영상 콘텐트를 획득하고, 상기 영상 콘텐트 내의 적어도 하나의 객체에 관련된 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체에 관련된 액션을 인식하고, 상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위해 이용될 대상 이미지들을 결정하고, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위하여 훈련된 적어도 하나의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 식별 정보를 획득하고, 알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 적어도 하나의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하고, 상기 알림 메시지를 출력하며, 상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체에 대한 시각적 특징 값을 포함하는 것인, 디바이스일 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 디바이스가 영상 콘텐트에 관련된 알림 메시지를 제공하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 디바이스의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 영상 콘텐트 및 대상 이미지들을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 액션 인식 모델을 통해 영상 콘텐트 내의 객체의 액션이 식별되는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 비디오 콘텐트 내의 사람들의 액션이 식별되는 예시를 나타내는 도면이다.
도 6a는 본 개시의 일 실시예에 따른 객체 인식 모델을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 6b는 본 개시의 일 실시예에 따른 복수의 인공지능 모델을 포함하는 객체 인식 모델을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 대상 이미지 별로 객체들의 식별 정보가 획득되는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 알림 메시지 생성 모듈을 통해 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 복수의 알림 후보 메시지로부터 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 10a는 본 개시의 일 실시예에 따른 사용자 정보를 고려하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
도 10b는 본 개시의 일 실시예에 따른 알림 메시지의 생성에 관련된 설정을 위한 GUI를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 알림 메시지 생성 모델이 훈련되는 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 디바이스가 영상 콘텐트에 관련된 썸네일 이미지를 생성하는 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 디바이스가 다른 디바이스와 영상 콘텐트를 공유하는 예시를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 디바이스가 알림 메시지를 생성하는 방법의 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 디바이스가 알림 메시지를 생성하는 방법의 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 디바이스가 사용자 정보를 고려하여 알림 메시지를 생성하는 방법의 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 디바이스가 다른 디바이스에게 전송될 영상 콘텐트 내의 객체의 호칭을 다른 디바이스에게 제공하는 방법의 흐름도이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 알림 메시지를 제공하는 예시를 나타내는 도면이다.
도 1을 참조하면, 디바이스(1000)는 외부 소스(예를 들어, 다른 디바이스)로부터 영상 콘텐트를 수신하고, 수신된 영상 콘텐트를 설명하는 알림 메시지를 생성하여 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 디바이스(1000)는 영상 콘텐트를 분석함으로써 알림 메시지를 생성할 수 있으며, 영상 콘텐트의 분석을 위하여 복수의 인공지능 모델을 이용할 수 있다. 디바이스(1000)는 영상 콘텐트 내의 적어도 하나의 객체의 액션을 인식하고, 영상 콘텐트로부터 선택된 대상 이미지 내의 객체를 식별하고, 인식된 액션 및 식별된 객체에 기초하여 영상 콘텐트를 설명하기 위한 알림 메시지를 생성할 수 있다. 디바이스(1000)는 디바이스(1000)의 사용자에 관한 정보를 이용하여 영상 콘텐트 내의 객체를 정확하게 식별할 수 있으며, 사용자에 관한 정보가 반영된 객체의 호칭을 이용하여 알림 메시지를 생성하고 제공할 수 있다.
본 개시의 일 실시예에 따른 디바이스(1000) 및 다른 디바이스는, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기, CCTV 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않으며, 디바이스(1000)는 영상 콘텐트를 다른 디바이스 및 서버와 송수신하고 제공할 수 있는 모든 종류의 장치를 포함할 수 있다.
디바이스(1000), 다른 디바이스 및 서버와 통신 연결하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 또한, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network) 또는 위성 통신망 중 적어도 둘 이상의 상호 조합을 포함할 수 있으며, 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함한다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 개시의 일 실시예에 따른 디바이스(1000)의 블록도이다.
도 2를 참조하면, 디바이스(1000)는 사용자 입력부(1100), 디스플레이부(1200), 통신 인터페이스(1300), 카메라(1400), 저장부(1500) 및 프로세서(1600)를 포함하며, 저장부(1500)는 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570), 인공지능 모델(1550) 및 사용자 DB(1560)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
디스플레이부(1200)는 디바이스(1000)에서 처리되는 정보를 표시한다. 예를 들어, 디스플레이부(1200)는, 디바이스(1000)에서 실행되는 커뮤니케이션 애플리케이션을 디스플레이하거나, 다른 디바이스로부터 수신된 영상 콘텐트의 알림 메시지를 생성하거나 영상 콘텐트를 디스플레이 하기 위한 GUI를 디스플레이할 수 있다. 커뮤니케이션 애플리케이션은, 예를 들어, 채팅 애플리케이션 및 메시지 애플리케이션을 포함할 수 있다.
디스플레이부(1200)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1200)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1200)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 디바이스(1000)의 구현 형태에 따라 디바이스(1000)는 디스플레이부(1200)를 2개 이상 포함할 수도 있다.
통신 인터페이스(1300)는 다른 디바이스 및 서버와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1300)는, 근거리 통신부, 이동 통신부 및 방송 수신부를 포함할 수 있다. 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 또한, 통신 인터페이스(1300)는 영상 콘텐트의 알림 메시지를 생성하기 위하여 필요한 정보를 다른 디바이스 및 서버와 송수신할 수 있다.
카메라(1400)는 디바이스(1000)의 주변을 촬영할 수 있다. 카메라(1300)는 촬영 기능을 요구하는 프로그램이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 예를 들어, 카메라(1400)는 커뮤니케이션 애플리케이션이 실행되는 도중에 디바이스(1000)의 주변을 촬영할 수 있다. 카메라(1400)에서 처리된 화상 프레임은 저장부(1500)에 저장되거나 통신 인터페이스(1300)를 통하여 외부로 전송될 수 있다. 카메라(1400)는 디바이스(1000)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
저장부(1500)는 후술할 프로세서(1600)에 의해 실행될 프로그램을 저장할 수 있고, 디바이스(1000)로 입력되거나 디바이스(1000)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1500)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(1500)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 인공지능 모델(1550) 및 사용자 DB(1560)를 포함할 수 있다.
프로세서(1600)는 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1600)는, 저장부(1500)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 디스플레이부(1200), 통신 인터페이스(1300), 카메라(1400) 및 저장부(1500) 등을 전반적으로 제어할 수 있다.
프로세서(1600)는, 통신 인터페이스(1300)를 제어함으로써, 다른 디바이스로부터 전송된 영상 콘텐트를 다른 디바이스로부터 수신할 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스로부터 영상 콘텐트를 수신할 수 있다. 영상 콘텐트는 정지 영상 콘텐트 및 비디오 콘텐트를 포함할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에 영상 콘텐트 내의 복수의 이미지들은 비디오 콘텐트 내의 복수의 프레임 이미지일 수 있다. 또한, 프로세서(1600)는 저장부(1500)에 저장된 영상 콘텐트를 다른 디바이스에게 제공하기 위하여, 저장부(1500)에 저장된 영상 콘텐트를 호출할 수 있다.
또한, 예를 들어, 디바이스(1000)는 카메라를 포함하는 다른 디바이스로부터 영상 콘텐트를 수신할 수 있다. 디바이스(1000)는, 예를 들어, CCTV, 카메라를 포함하는 TV, 및 카메라가 포함된 청소 로봇 등과 같은 댁 내의 다른 디바이스로부터, 다른 디바이스에 의해 촬영된 영상 콘텐트를 수신할 수 있다. 이 경우, 다른 디바이스는 댁 내의 기설정된 영역에서 피사체의 특정 움직임이 감지되는 경우에 피사체가 촬영된 영상 콘텐트를 생성할 수 있다. 또는, 다른 디바이스는 기설정된 주기에 따라 피사체가 촬영된 영상 콘텐트를 생성할 수 있다.
또한, 다른 디바이스는, 예를 들어, 집 안의 상황을 인식하여 집 안의 상황을 관리하기 위한 홈 케어 서비스를 위한 디바이스, 애완 동물의 상태를 모니터링하고 관리하기 위한 펫 관리 서비스를 위한 디바이스를 포함할 수 있으나, 이에 제한되지 않는다.
프로세서(1600)는 저장부(1500)에 저장된 액션 인식 모듈(1510)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 식별할 수 있다. 액션 인식 모듈(1510)은 영상 콘텐트를 액션 인식 모델(1551)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 인식할 수 있다. 액션 인식 모델(1551)은 영상 콘텐트 내의 객체에 관련된 액션을 인식하기 위하여 훈련된 인공지능 모델일 수 있다. 예를 들어, 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 전체의 프레임 이미지들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 전체의 프레임 이미지들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 특정 장면에 관련된 프레임 이미지들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 내의 프레임들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다.
또는, 예를 들어, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 액션 인식 모듈(1510)은 복수의 이미지들의 세트를 액션 인식 모델(1551)에 적용함으로써, 복수의 이미지들의 세트를 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 이 경우, 복수의 이미지들의 세트 내의 복수의 이미지들 중 적어도 일부가 선택되어 액션 인식 모델(1551)에 입력될 수 있다.
영상 콘텐트 내의 객체에 관련된 액션은, 예를 들어, riding, cleaning, 생일 파티 등을 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 액션 인식 모델(1551)은 영상 콘텐트에 포함된 제1 내지 제n 이미지로부터 객체에 관련된 액션들을 각각 인식하고, 인식된 액션들에 기초하여, 영상 콘텐트에 관련된 액션을 나타내는 식별 값을 출력할 수 있다. 액션을 나타내는 식별 값은, 영상 콘텐트 내의 객체의 액션을 식별하기 위한 적어도 하나의 단어를 포함할 수 있으며, 예를 들어, “riding”, “running”, “birthday party” 및 “shouting”와 같이, 영상 콘텐트 내의 적어도 하나의 객체의 액션 또는 상황을 나타낼 수 있으나, 이에 제한되지 않는다.
프로세서(1600)는 저장부(1500)에 저장된 대상 이미지 결정 모듈(1515)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 대상 이미지는 영상 콘텐트 내의 객체를 식별하기 위하여 이용되는 이미지일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 이 경우, 비디오 콘텐트 내의 장면이 변경되는지 및 비디오 콘텐트 내의 객체가 변경되는 지는 액션 인식 모델(1551)로부터 출력되는 출력 값을 바탕으로 판단될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.
프로세서(1600)는 저장부(1500)에 저장된 객체 인식 모듈(1520)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체의 식별 정보는 영상 콘텐트 내의 객체를 식별하기 위한 정보로서, 예를 들어, 객체의 시각적 특징 값 또는 객체의 식별 값 중 적어도 하나를 포함할 수 있다. 객체의 시각적 특징 값은, 대상 이미지 내에서 객체가 위치한 영역의 특징 값일 수 있다. 또한, 예를 들어, 객체의 식별 값은, 사람 얼굴, 배경, 애완 동물과 같이 객체의 종류를 나타내는 텍스트, 및 사람, 강아지, 고양이, 잔디와 같이 객체의 명칭을 나타내는 식별 값을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 대상 이미지에 포함된 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다.
객체 인식 모듈(1520)은 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 객체 인식 모듈(1520)은 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 값들 및/또는 객체들의 시각적 특징 값(visual features)들을 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 객체 인식 모듈(1520)은 대상 이미지 내의 인물, 사물 및 배경의 식별 값들 및/또는 시각적 특징 값들을 획득할 수 있다.
또한, 예를 들어, 객체 인식 모델(1552)은 대상 이미지 내의 객체의 시각적 특징 값을 획득하기 위한 객체 추출 모델 및 대상 이미지 내의 객체의 식별 값을 획득하기 위한 객체 식별 모델을 포함할 수 있다. 이 경우, 객체 인식 모듈(1520)은 대상 이미지를 객체 추출 모델에 적용함으로써, 객체 추출 모델로부터 출력되는 객체의 시각적 특징 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)은 객체의 시각적 특징 값을 객체 식별 모델에 적용함으로써, 객체 식별 모델로부터 출력되는 객체의 식별 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)은 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다. 예를 들어, 객체 인식 모듈(1520)은 객체의 식별 값을 객체의 시각적 특징 값에 라벨링함으로써, 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다.
또는, 예를 들어, 객체 인식 모델(1552)은 하나의 모델일 수 있으며, 이 경우, 객체 인식 모듈(1520)은 대상 이미지를 객체 인식 모델(1552)에 적용함으로써, 객체 인식 모델(1552)로부터 출력되는 객체의 식별 값 및 시각적 특징 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)은 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다. 예를 들어, 객체 인식 모듈(1520)은 객체의 식별 값을 객체의 시각적 특징 값에 라벨링함으로써, 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다.
또한, 객체 인식 모델(1552)은 대상 이미지의 전체에 대한 시각적 특징 값을 출력할 수 있으며, 이 경우, 대상 이미지 내의 객체의 시각적 특징 값은 대상 이미지 전체에 대한 시각적 특징 값 내에 포함될 수 있다.
프로세서(1600)는 저장부(1500)에 저장된 알림 메시지 생성 모듈(1525)을 실행함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다.
알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값, 및 하나 이상의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 적용함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 영상 콘텐트에 관련된 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델일 수 있다.
예를 들어, 알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값 및 하나 이상의 객체의 시각적 특징 값을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 또는, 예를 들어, 알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값, 및 하나 이상의 객체의 시각적 특징 값과 하나 이상의 객체의 식별 값을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이 경우, 하나 이상의 객체의 식별 값은 하나 이상의 객체의 시각적 특징 값에 라벨링 될 수 있으며, 하나 이상의 객체의 식별 값이 라벨링된 하나 이상의 객체의 시각적 특징 값이 알림 메시지 생성 모델(1553)에 입력될 수 있다.
또한, 예를 들어, 알림 메시지 생성 모듈(1525)은 대상 이미지 전체의 시각적 특징 값을 알림 메시지 생성 모델(1553)에 입력함으로써, 대상 이미지 내의 객체의 시각적 특징 값, 또는 객체의 식별 값이 라벨링된 객체의 시각적 특징 값이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 이 경우, 대상 이미지 전체의 시각적 특징 값은, 객체의 시각적 특징 값, 또는 객체의 식별 값이 라벨링된 객체의 시각적 특징 값을 포함할 수 있다.
알림 메시지 생성 모듈(1525)은 알림 메시지 생성 모델(1553)을 이용하여 알림 후보 메시지들을 획득하고, 알림 후보 메시지들을 이용하여 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은 대상 이미지들 각각에 대하여 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모듈(1525)은 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 및 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 알림 메시지 생성 모듈(1525)은 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.
예를 들어, 알림 메시지 생성 모듈(1525)은, 알림 메시지를 생성하기 위하여, 제1 내지 제n 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모듈(1525)은 제1 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제1 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제1 알림 후보 메시지를 획득할 수 있다.
또한, 알림 메시지 생성 모듈(1525)은 제2 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제2 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제2 알림 후보 메시지를 획득할 수 있다.
또한, 알림 메시지 생성 모듈(1525)은 제n 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제n 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제n 알림 후보 메시지를 획득할 수 있다. 이 경우, 대상 이미지 내의 객체들의 식별 정보는, 객체들의 식별 값들을 포함할 수 있으며, 객체들의 식별 값들은 대상 이미지의 메타 데이터일 수 있으나, 이에 제한되지 않는다.
또한, 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 이용하여 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 서로 비교하고, 비교 결과에 기초하여 알림 메시지를 생성할 수 있다. 예를 들어, 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지에서 동일한 객체를 나타내는 단어의 중복 횟수에 기초하여 객체를 나타내는 단어를 결정하고, 결정된 단어에 기초하여 알림 메시지를 생성할 수 있다. 또는, 알림 메시지 생성 모듈(1525)은 알림 후보 메시지들로부터 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델에 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 입력하고, 인공지능 모델로부터 출력되는 알림 메시지를 획득할 수 있다.
이에 따라, 디바이스(1000)는 영상 콘텐트를 활용하여 영상 콘텐트 내의 객체의 액션을 정확하게 인식할 수 있고, 영상 콘텐트로부터 선택된 대상 이미지를 이용하여 대상 이미지 내의 객체를 효과적으로 식별할 수 있게 된다. 또한, 디바이스(1000)는 객체의 액션 및 객체의 식별 정보를 이용하여 영상 콘텐트에 관한 알림 메시지를 효율적으로 생성할 수 있으며, 영상 콘텐트에 관한 알림 메시지를 생성하기 위하여 복수의 인공지능 모델을 효율적으로 이용할 수 있게 된다.
프로세서(1600)는 저장부(1500)에 저장된 사용자 객체 식별 모듈(1530)을 실행함으로써, 대상 이미지 내의 객체에 대한 호칭을 결정할 수 있다. 사용자 객체 식별 모듈(1530)은 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들과 비교할 수 있다. 사용자 DB(1560)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 사용자 DB(1560)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 사용자 객체 식별 모듈(1530)은 제1 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교할 수 있다. 예를 들어, 사용자 객체 식별 모듈(1530)은 객체 인식 모델(1552)로부터 획득되는 객체의 식별 값 또는 시각적 특징 값 중 적어도 하나를 이용하여, 사용자 DB(1560)에 저장된 이미지들 중에서, 대상 이미지 내의 객체에 대응되는 객체를 포함하는 이미지를 검색할 수 있다.
사용자 객체 식별 모듈(1530)은 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 사용자 객체 식별 모듈(1530)은 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 결정할 수 있다. 예를 들어, 주소록에 기초하여 객체의 호칭이 결정되거나, 객체에 대응되는 이미지의 메타 데이터에 기초하여 객체의 호칭이 결정될 수 있다.
디바이스(1000)가 다른 디바이스로부터 영상 콘텐트 내의 객체의 호칭에 관한 정보를 수신한 경우에는, 사용자 객체 식별 모듈(1530)은 다른 디바이스로부터 수신된 정보를 바탕으로 객체의 호칭을 결정할 수 있다. 다른 디바이스는 다른 디바이스의 사용자 정보를 바탕으로 영상 콘텐트 내의 객체의 호칭을 결정할 수 있으며, 영상 콘텐트를 디바이스(1000)에게 제공하면서 객체의 호칭에 관한 정보를 디바이스(1000)에게 함께 제공할 수 있다. 예를 들어, 영상 콘텐트 내의 객체의 호칭은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 다른 디바이스는 객체의 호칭을 포함하는 메타 데이터를 영상 콘텐트와 함께 디바이스(1000)에게 전송할 수 있다. 이에 따라, 디바이스(1000)는 다른 디바이스로부터 수신된 객체의 호칭을 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용할 수 있다.
이 경우, 알림 메시지 생성 모듈(1525)은, 영상 콘텐트의 액션을 나타내는 식별 값, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보 및 호칭을 알림 메시지 생성 모델(1553)에 입력함으로써, 영상 콘텐트에 관련된 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은, 대상 이미지, 객체의 호칭, 액션을 나타내는 식별 값, 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 또한, 알림 메시지 생성 모듈(1525)은, 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.
썸네일 생성 모듈(1570)은 영상 콘텐트의 알림 메시지에 관련된 썸네일 이미지를 생성할 수 있다. 썸네일 생성 모듈(1570)은 알림 메시지에 기초하여, 대상 이미지의 일부를 잘라내어 추출함으로써 알림 메시지에 관련된 썸네일 이미지를 생성할 수 있다. 예를 들어, 알림 메시지가 “남자가 스케이트 보드를 탄다”인 경우에, 썸네일 생성 모듈(1570)은 남자 및 스케이트 보드를 포함하는 대상 이미지로부터 남자 및 스케이트 보드를 포함하는 일부 영역을 잘라냄으로써, 썸네일 이미지를 생성할 수 있다. 알림 메시지를 이용하여 대상 이미지로부터 썸네일 이미지가 생성되는 예시는 도 12에서 보다 상세히 설명하기로 한다.
디바이스(1000)가 다른 디바이스에게 영상 콘텐트를 제공하는 경우에, 사용자 객체 식별 모듈(1530)은 다른 디바이스에게 제공될 영상 콘텐트로부터 결정된 대상 이미지 내의 객체에 관한 호칭을 결정할 수 있으며, 디바이스(1000)는 결정된 호칭에 관한 정보를 영상 콘텐트와 함께 다른 디바이스에게 제공할 수 있다.
이에 따라, 디바이스(1000)는 사용자에 관련된 정보를 알림 메시지의 생성에 효과적으로 반영할 수 있으며, 영상 콘텐트에 관한 알림 메시지를 생성하기 위하여 복수의 인공지능 모델을 효율적으로 이용할 수 있게 된다.
프로세서(1600)는 저장부(1500)에 저장된 트레이닝 모듈(1535)을 실행함으로써, 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 트레이닝 모듈(1535)은 알림 메시지 생성 모델(1553)의 훈련에 이용될 훈련 이미지 및 훈련 이미지를 설명하는 메시지를 획득할 수 있다. 또한, 트레이닝 모듈(1535)은 훈련 이미지를 설명하는 메시지로부터 적어도 하나의 기설정된 품사를 추출하고, 훈련 이미지 및 추출된 품사를 포함하는 데이터를 훈련 데이터로 이용함으로써 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다.
예를 들어, 트레이닝 모듈(1535)은 훈련 이미지를 설명하는 메시지로부터 동사를 추출하고, 적어도 훈련 이미지 및 추출된 동사를 포함하는 데이터를 훈련 데이터로 이용할 수 있다. 예를 들어, 트레이닝 모듈(1535)은 훈련 이미지 및 추출된 동사를 포함하는 훈련 데이터를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)이 추출된 동사를 포함하는 메시지를 출력할 수 있도록 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 한편, 상기에서는 추출된 동사를 바탕으로 알림 메시지 생성 모델(1553)이 훈련되는 것으로 설명되었지만, 이에 제한되지 않는다. 알림 메시지 생성 모델(1553)은 다양한 품사를 바탕으로 훈련될 수도 있다.
한편, 상기에서는 디바이스(1000)가 알림 메시지 생성 모델(1553)을 훈련시키는 것으로 설명되었지만, 이에 제한되지 않는다. 서버가 알림 메시지 생성 모델(1553)을 위와 같이 훈련시키고, 디바이스(1000)는 서버에 의해 훈련된 알림 메시지 생성 모델(1553)을 서버로부터 수신할 수 있다. 또한, 디바이스(1000)는 서버에 의해 업데이트된 알림 메시지 생성 모델(1553)을 서버로부터 수신할 수 있다.
트레이닝 모듈(1535)은 서버로부터 수신된 알림 메시지 생성 모델(1553)을 업데이트하기 위하여, 알림 메시지 생성 모델(1553)을 리트레이닝할 수 있다. 이 경우, 트레이닝 모듈(1535)은 디바이스(1000)의 사용자 DB(1560)에 저장된 데이터를 이용하여 알림 메시지 생성 모델(1553)을 리트레이닝할 수 있다.
트레이닝 모듈(1535)은 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 훈련시키거나, 서버에 의해 훈련된 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 서버로부터 수신할 수 있다. 또한, 트레이닝 모듈(1535)은 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 리트레이닝하거나, 서버에 의해 업데이트된 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 서버로부터 수신할 수 있다.
본 개시의 일 실시예에 의하면, 복수의 액션 인식 모델(1551)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 액션 인식 모델(1551)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 및 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 액션 인식 모델(1551)이 훈련될 수 있다. 이 경우, 액션 인식 모델(1551)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.
또한, 본 개시의 일 실시예에 의하면, 복수의 객체 인식 모델(1552)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 객체 인식 모델(1552)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 및 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 객체 인식 모델(1552)이 훈련될 수 있다. 이 경우, 객체 인식 모델(1552)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.
또한, 본 개시의 일 실시예에 의하면, 복수의 알림 메시지 생성 모델(1553)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 알림 메시지 생성 모델(1553)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 알림 메시지 생성 모델(1553)이 훈련될 수 있다. 이 경우, 알림 메시지 생성 모델(1553)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.
프로세서(1600)는 저장부(1500)에 저장된 도메인 식별 모듈(1540)을 실행함으로써, 영상 콘텐트에 대응되는 도메인을 식별할 수 있다. 예를 들어, 디바이스(1000)의 도메인 식별 모듈(1540)은 영상 콘텐트를 제공한 다른 디바이스의 식별 값에 기초하여, 다른 디바이스에 대응되는 도메인을 영상 콘텐트의 도메인으로 식별할 수 있다. 이 경우, 다른 디바이스에 대응되는 도메인이 미리 설정될 수 있다.
또한, 예를 들어, 도메인 식별 모듈(1540)은 영상 콘텐트의 도메인을 식별하기 위하여 훈련된 별도의 인공지능 모델에 영상 콘텐트 또는 영상 콘텐트로부터 추출된 이미지를 입력하여, 영상 콘텐트의 도메인을 식별할 수 있다. 또한, 예를 들어, 디바이스(1000)가 텍스트 메시지를 영상 콘텐트와 함께 수신하는 경우에, 도메인 식별 모듈(1540)은 수신된 텍스트 메시지를 이용하여 영상 콘텐트의 도메인을 식별할 수도 있다. 또한, 예를 들어, 도메인 식별 모듈(1540)은 액션 인식 모델(1551)로부터 출력되는 출력 값을 이용하여 영상 콘텐트의 도메인을 결정할 수 있다. 이 경우, 도메인을 결정하는데 이용되는 액션 인식 모델(1551)은 특정 도메인에 특화되지 않은 범용의 인공지능 모델일 수 있다.
또한, 프로세서(1600)는 저장부(1500)에 저장된 모델 선택 모듈(1545)을 실행함으로써, 복수의 모델들 중에서 영상 콘텐트의 도메인에 대응되는 모델을 선택할 수 있다. 예를 들어, 모델 선택 모듈(1545)은 복수의 액션 인식 모델(1551) 중에서 영상 콘텐트의 도메인에 대응되는 액션 인식 모델(1551)을 선택할 수 있다. 이에 따라, 액션 인식 모듈(1510)은 선택된 액션 인식 모델(1551)을 이용하여 영상 콘텐트의 액션을 식별할 수 있게 된다. 또한, 예를 들어, 모델 선택 모듈(1545)은 복수의 객체 인식 모델(1552) 중에서 영상 콘텐트의 도메인에 대응되는 객체 인식 모델(1552)을 선택할 수 있다. 객체 인식 모듈(1520)은 모델 선택 모듈(1545)에 의해 선택된 객체 인식 모델(1552)을 이용하여 대상 이미지 내의 객체를 인식할 수 있게 된다. 또한, 예를 들어, 모델 선택 모듈(1545)은 복수의 알림 메시지 생성 모델(1553) 중에서 영상 콘텐트의 도메인에 대응되는 알림 메시지 생성 모델(1553)을 선택할 수 있다. 이에 따라, 알림 메시지 생성 모듈(1525)은 선택된 알림 메시지 생성 모델(1553)을 이용하여 영상 콘텐트를 나타내는 알림 메시지를 생성할 수 있게 된다.
사용자 DB(1560)는 연락처 DB(1561) 및 이미지 DB(1562)를 포함할 수 있다. 연락처 DB(1561)는 사용자의 지인들의 연락처에 관한 정보를 저장할 수 있다. 예를 들어, 연락처 DB(1561)는 사용자의 지인의 호칭 및 지인의 이미지를 저장할 수 있다. 또한, 이미지 DB(1562)는 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지를 저장할 수 있다. 예를 들어, 이미지 DB(1562)에 저장된 이미지는, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 및 디바이스(1000)가 다른 디바이스 또는 서버로부터 수신한 이미지를 포함할 수 있다. 예를 들어, 이미지 DB(1562)에 저장된 이미지는 이미지 내의 객체의 호칭에 관한 메타 데이터를 포함할 수 있다.
한편, 상기에서는 디바이스(1000)가 다른 디바이스로부터 영상 콘텐트를 수신하여 알림 메시지를 생성하는 것으로 설명되었지만, 이에 제한되지 않는다. 다른 디바이스는 서버에게 영상 콘텐트를 제공하고, 서버가 영상 콘텐트에 관련된 알림 메시지를 생성하여 알림 메시지를 디바이스(1000)에게 전송할 수 있다. 이 경우, 디바이스(1000)는 알림 메시지를 수신하는 조건을 설정할 수 있다. 예를 들어, 영상 콘텐트 내에 특정 객체가 포함되는 경우, 영상 콘텐트 내의 객체가 특정 액션을 행하는 경우, 및 영상 콘텐트가 특정 도메인에 관련된 경우에, 서버로부터 서버에 의해 생성된 알림 메시지를 수신할 것을 설정할 수 있다. 또한, 이 경우, 서버는 도 2에 도시된 디바이스(1000)의 저장부(1500)에 저장된 모듈들 및 모델들과 동일한 역할을 수행하는 모듈들 및 모델들을 포함할 수 있다.
또는, 예를 들어, 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570) 및 인공지능 모델(1550) 중 적어도 일부의 역할이 서버에 의해 수행될 수 있다. 이 경우, 디바이스(1000)는 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570) 및 인공지능 모델(1550) 중 적어도 일부의 기능을 서버가 수행하는데 필요한 정보를 서버와 송수신할 수 있다.
도 3은 본 개시의 일 실시예에 따른 영상 콘텐트 및 대상 이미지들을 설명하기 위한 도면이다.
도 3을 참조하면, 영상 콘텐트는 복수의 프레임 이미지들을 포함하는 비디오 콘텐트(30)일 수 있으며, 비디오 콘텐트(30)는 두 명의 남자가 스케이트 보드를 타는 프레임 이미지들을 포함할 수 있다. 또한, 비디오 콘텐트(30) 내의 프레임 이미지들 중에서 대상 이미지들(32)이 선택될 수 있다. 대상 이미지들(32)은 기 설정된 기준에 따라 선택될 수 있다. 예를 들어, 비디오 콘텐트(30)로부터 기설정된 프레임 간격에 따라 대상 이미지(34), 대상 이미지(35) 및 대상 이미지(36)가 추출될 수 있다. 또는, 예를 들어, 비디오 콘텐트(30) 내의 객체들이 변경되는 경우에 변경된 객체를 포함하는 대상 이미지들(32)이 비디오 콘텐트(30)로부터 추출될 수 있다.
도 4는 본 개시의 일 실시예에 따른 액션 인식 모델(1551)을 통해 영상 콘텐트 내의 객체의 액션이 식별되는 예시를 나타내는 도면이다.
도 4를 참조하면, 액션 인식 모델(1551)에는 영상 콘텐트가 입력될 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 액션 인식 모델(1551)에는 비디오 콘텐트가 입력될 수 있다. 예를 들어, 비디오 콘텐트 내의 모든 프레임 이미지들이 액션 인식 모델(1551)에 입력될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 복수의 이미지들의 세트가 액션 인식 모델(1551)에 입력될 수 있다. 예를 들어, 영상 콘텐트의 파일이 액션 인식 모델(1551)에 입력되거나 영상 콘텐트로부터 획득되는 특징 데이터가 액션 인식 모델(1551)에 입력됨으로써, 영상 콘텐트가 액션 인식 모델(1551)에 입력될 수 있다.
또한, 액션 인식 모델(1551)은 영상 콘텐트 내의 객체들의 액션을 출력할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 액션 인식 모델(1551)은 비디오 콘텐트 내의 프레임 이미지들 별로 인식된 객체의 액션들을 바탕으로 비디오 콘텐트 내의 객체의 액션을 나타내는 액션의 식별 값을 출력할 수 있다. 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 액션 인식 모델(1551)은 복수의 이미지들 별로 인식된 객체의 액션들을 바탕으로 복수의 이미지들의 세트 내의 객체의 액션을 나타내는 액션의 식별 값을 출력할 수 있다. 객체의 액션을 나타내는 액션의 식별 값은 텍스트 형식을 데이터일 수 있다.
도 5는 본 개시의 일 실시예에 따른 비디오 콘텐트 내의 사람들의 액션이 식별되는 예시를 나타내는 도면이다.
도 5를 참조하면, 비디오 콘텐트(30)가 액션 인식 모델(1551)에 입력될 수 있다. 비디오 콘텐트(30)는 두 명의 남자들이 스케이트 보드를 타는 프레임 이미지들이 포함될 수 있다. 이 경우, 액션 인식 모델(1551)은 비디오 콘텐트(30) 내의 남자들의 액션을 나타내는 액션의 식별 값인 “Riding”을 출력할 수 있다.
도 6a는 본 개시의 일 실시예에 따른 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 6a를 참조하면, 객체 인식 모델(1552)에는 대상 이미지가 입력되고, 객체 인식 모델(1552)로부터 객체의 식별 정보가 출력될 수 있다. 예를 들어, 객체의 식별 정보는 객체의 식별 값 또는 객체의 시각적 특징 값 중 적어도 하나를 포함할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 객체 인식 모델(1552)은 대상 이미지 내의 인물, 사물 및 배경의 식별 값 및/또는 시각적 특징 값을 출력할 수 있다. 또한, 예를 들어, 대상 이미지의 파일이 객체 인식 모델(1552)에 입력되거나 대상 이미지로부터 획득되는 특징 데이터가 객체 인식 모델(1552)에 입력됨으로써, 대상 이미지가 객체 인식 모델(1552)에 입력될 수 있다.
도 6b는 본 개시의 일 실시예에 따른 복수의 인공지능 모델을 포함하는 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 6b를 참조하면, 객체 인식 모델(1552) 내의 객체 추출 모델(1552-1)에 대상 이미지가 입력되고, 객체 추출 모델(1552-1)로부터 대상 이미지 내의 객체의 시각적 특징 값이 출력될 수 있다. 객체 추출 모델(1552-1)은 대상 이미지 내의 객체를 추출하기 위하여 훈련된 인공지능 모델일 수 있다. 또한, 객체 추출 모델(1552-1)로부터 출력된 객체의 시각적 특징 값이 객체 식별 모델(1552-2)로 입력되고, 객체 식별 모델(1552-2)로부터 객체의 식별 값이 출력될 수 있다. 객체 식별 모델(1552-2)은 객체의 시각적 특징 값으로부터 객체의 식별 값을 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 이에 따라, 객체 인식 모델(1552)로부터 객체의 시각적 특징 값 및 객체의 식별 값이 출력될 수 있으며, 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다.
도 7은 본 개시의 일 실시예에 따른 대상 이미지 별로 객체들의 식별 정보가 획득되는 예시를 나타내는 도면이다.
도 7을 참조하면, 대상 이미지(34), 대상 이미지(35) 및 대상 이미지(36)이 객체 인식 모델(1552)에 입력될 수 있다. 또한, 대상 이미지(34) 내의 객체들의 식별 값인 man, man, skateboard, skateboard, street가 객체 인식 모델(1552)로부터 출력되고, 대상 이미지(35) 내의 객체들의 식별 값인 boy, boy, skateboard, skateboard, street가 객체 인식 모델(1552)로부터 출력되고, 대상 이미지(36) 내의 객체들의 식별 값인 boy, skateboard, street가 객체 인식 모델(1552)로부터 출력될 수 있다.
또한, 객체 인식 모델(1552)로부터, 대상 이미지(34) 내의 객체들의 시각적 특징 값들, 대상 이미지(35) 내의 객체들의 시각적 특징 값들, 및 대상 이미지(36) 내의 객체들의 시각적 특징 값들이 각각 출력될 수 있다. 또한, 객체들의 식별 값들은 객체들의 시각적 특징 값들에 각각 라벨링될 수 있다.
도 8은 본 개시의 일 실시예에 따른 알림 메시지 생성 모듈(1525)을 통해 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 8을 참조하면, 액션 인식 모델(1551)로부터 출력된 객체의 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보가 알림 메시지 생성 모델(1553)로 입력될 수 있다. 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(34) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(34) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “man, man, skateboard, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.
또한, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 대상 이미지(35) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(35) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “boy, boy, skateboard, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.
또한, 예를 들어, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 대상 이미지(36) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(36) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “boy, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.
또한, 알림 메시지 생성 모델(1553)로부터 대상 이미지(34)에 대응되는 알림 후보 메시지, 대상 이미지(35)에 대응되는 알림 후보 메시지 및 대상 이미지(36)에 대응되는 알림 후보 메시지가 각각 출력될 수 있다.
도 8에서는 복수의 대상 이미지들이 알림 메시지 생성 모델(1553)에 각각 입력되는 것으로 설명되었지만, 하나의 대상 이미지만이 알림 메시지를 생성하는데 이용되는 경우에는, 하나의 대상 이미지로부터 알림 메시지 생성 모델(1553)로부터 생성되는 알림 후보 메시지가 알림 메시지로 결정될 수 있다.
도 9는 본 개시의 일 실시예에 따른 복수의 알림 후보 메시지로부터 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 9를 참조하면, 대상 이미지(34)에 대응되는 액션의 식별 값이 'riding'이고, 대상 이미지(34) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 'man, man, skateboard, skateboard, street'일 수 있다. 대상 이미지(34)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.”가 획득될 수 있다.
또한, 대상 이미지(35)에 대응되는 액션의 식별 값이 'riding'이고, 대상 이미지(35) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 'boy, boy, skateboard, skateboard, street'일 수 있다. 대상 이미지(35)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.”가 획득될 수 있다.
또한, 대상 이미지(36)에 대응되는 액션의 식별 값이 'riding'이고, 대상 이미지(36) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 'boy, skateboard, street'일 수 있다. 대상 이미지(36)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제3 알림 후보 메시지인 “A young man riding skateboard on a street.”가 획득될 수 있다.
대상 이미지들 각각으로부터 생성되는 알림 후보 메시지들이 비교될 수 있으며, 비교 결과에 기초하여 알림 메시지가 생성될 수 있다. 예를 들어, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.” 내의 워드들, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.” 내의 워드들, 및 제3 알림 후보 메시지인 “A young man riding skateboard on a street.” 내의 워드들이 서로 비교될 수 있으며, 같은 대상을 나타내는 워드가 중복되는 횟수에 기초하여, 알림 메시지에 포함될 워드가 결정될 수 있다. 또한, 비교 결과에 기초하여, “Two young men riding skateboards down a street.”라는 알림 메시지가 생성될 수 있다.
또는, 예를 들어, 알림 메시지 생성 모듈(1525)은 알림 후보 메시지들로부터 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델을 이용하여 알림 메시지를 생성할 수 있다. 이 경우, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.”, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.”, 및 제3 알림 후보 메시지인 “A young man riding skateboard on a street.” 가 인공지능 모델에 입력되고, “Two young men riding skateboards down a street.”라는 알림 메시지가 인공지능 모델로부터 출력될 수 있다.
도 10a는 본 개시의 일 실시예에 따른 사용자 정보를 고려하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
도 10a를 참조하면, 디바이스(1000)는 사용자 정보를 고려하여 알림 메시지를 생성하는 기능을 활성화 또는 비활성화할 수 있다. 사용자 정보를 고려하여 알림 메시지를 생성하는 기능이 활성화된 경우에, 디바이스(1000)는 대상 이미지(100) 내의 객체의 식별 정보(102) 및 대상 이미지(100)에 관련된 액션의 식별 값(104)과 함께, 사용자 정보에 기초한 대상 이미지(100) 내의 객체의 호칭(106)을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이에 따라, 알림 메시지 생성 모델(1553)로부터 “Mother cleans the floor in front of a television”이라는 메시지가 출력될 수 있다.
또한, 사용자 정보를 고려하여 알림 메시지를 생성하는 기능이 비활성화된 경우에, 디바이스(1000)는 대상 이미지(100) 내의 객체의 식별 정보(102) 및 대상 이미지(100)에 관련된 액션의 식별 값(104)을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이 경우, 디바이스(1000)는 사용자 정보에 기초한 대상 이미지(100) 내의 객체의 호칭(106)을 알림 메시지 생성 모델(1553)에 입력하지 않을 수 있다. 이에 따라, 알림 메시지 생성 모델(1553)로부터 “A woman cleans the floor in front of a television”이라는 메시지가 출력될 수 있다.
도 10b는 본 개시의 일 실시예에 따른 알림 메시지의 생성에 관련된 설정을 위한 GUI를 나타내는 도면이다.
도 10b를 참조하면, 사용자는 알림 메시지의 생성에 관련된 설정을 위한 GUI를 이용하여, 알림 메시지를 생성하기 위하여 어떤 정보를 이용할 지를 설정할 수 있다. 예를 들어, 알림 메시지의 생성에 관련된 설정을 위한 GUI는, 객체의 식별 정보를 이용할 지에 관한 설정, 객체의 액션을 인식할 지에 관한 설정, 알림 메시지 생성에 사용자 정보를 이용할 지에 관한 설정을 위한 객체들을 포함할 수 있다.
예를 들어, 객체의 식별 정보를 이용할 지에 관한 설정을 위한 객체들은, 객체의 식별 정보를 이용할지 말지를 선택하기 위한 버튼 및 객체의 식별 정보를 이용하는 정도를 조절하기 위한 조절바를 포함할 수 있다.
또한, 예를 들어, 객체의 액션을 인식할 지에 관한 설정을 위한 객체들은, 객체의 액션을 인식할 지 말지를 선택하기 위한 버튼 및 객체의 액션 인식 정도를 조절하기 위한 조절바를 포함할 수 있다.
또한, 예를 들어, 알림 메시지 생성에 사용자 정보를 이용할 지에 관한 설정을 위한 객체들은, 알림 메시지 생성에 사용자 정보를 이용할지 말지를 선택하기 위한 버튼 및 사용자 정보의 이용 정도를 조절하기 위한 조절바를 포함할 수 있다.
도 11은 본 개시의 일 실시예에 따른 알림 메시지 생성 모델(1553)이 훈련되는 예시를 나타내는 도면이다.
도 11을 참조하면, 디바이스(1000)는 알림 메시지 생성 모델(1553)의 훈련에 이용될 훈련 이미지(110) 및 훈련 이미지(110)를 설명하는 메시지(112)를 획득할 수 있다. 또한, 디바이스(1000)는 훈련 이미지(110)를 설명하는 메시지(112)로부터 훈련 이미지(110) 내의 객체의 액션을 나타내는 단어(114)를 추출할 수 있다. 디바이스(1000)는, 예를 들어, 규칙 기반의 구문 분석기를 이용하여 훈련 이미지(110)를 설명하는 메시지(112)로부터 훈련 이미지(110) 내의 객체의 액션을 나타내는 단어(114)를 추출할 수 있다. 예를 들어, 훈련 이미지(110) 내의 객체의 액션을 나타내는 단어(114)는 동사일 수 있으나, 이에 제한되지 않는다. 디바이스(1000)는 훈련 이미지(110) 및 추출된 단어(114)를 훈련 데이터(116)로 이용함으로써, 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 예를 들어, 디바이스(1000)는 훈련 이미지(110) 및 추출된 단어(114)를 포함하는 훈련 데이터(116)를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)이 추출된 단어(114)를 포함하는 메시지(118)를 출력할 수 있도록 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 예를 들어, 메시지(112)로부터 추출된 단어(114)가 알림 메시지 생성 모델(114)로부터 출력되는 알림 메시지 내의 동사의 위치에 배치되도록, 알림 메시지 생성 모델(114)이 훈련될 수 있다.
상기에서는, 훈련 데이터(116)에 훈련 이미지(110)를 포함하는 훈련 데이터(116)를 이용하여 알림 메시지 생성 모델(1553)이 훈련되는 것으로 설명되었지만, 이에 제한되지 않는다. 예를 들어, 훈련 이미지(110) 대신에, 훈련 이미지(110) 내의 객체의 식별 정보가 훈련 데이터(116)에 포함될 수 있다. 이 경우, 메시지(114)로부터 추출된 단어(114), 및 훈련 이미지(110) 내의 객체의 식별 정보가 훈련 데이터(116)로서 알림 메시지 생성 모델(114)에 입력될 수 있다. 또한, 메시지(112)로부터 추출된 단어(114)가 알림 메시지 생성 모델(114)로부터 출력되는 알림 메시지 내의 동사의 위치에 배치되도록, 알림 메시지 생성 모델(114)이 훈련될 수 있다.
훈련 데이터(116)로 이용되는 훈련 이미지(110) 내의 객체의 식별 정보는 훈련 이미지(110)를 객체 인식 모델(1552)에 입력함으로써 획득될 수 있다. 또는, 디바이스(1000)는 훈련 이미지(110) 내의 객체의 식별 정보를 서버로부터 획득할 수도 있다.
도 12는 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 썸네일 이미지를 생성하는 예시를 나타내는 도면이다.
도 12를 참조하면, 대상 이미지로부터 알림 메시지가 생성되면, 디바이스(1000)는 알림 메시지 내의 단어, 및 대상 이미지로부터 획득된 객체들의 식별 정보를 이용하여, 대상 이미지에서 주요 객체들이 포함된 일부 영역을 잘라낼 수 있다.
예를 들어, 대상 이미지(120)으로부터 알림 메시지(122)가 생성되면, 디바이스(1000)는 알림 메시지(122) 내의 단어인 “Mother” 및 “television”을 식별하고, 객체 인식 모델(1552)을 이용하여 대상 이미지(120)로부터 획득된 객체들의 식별 정보에 기초하여, 대상 이미지(120)로부터 mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)을 식별할 수 있다. 예를 들어, 디바이스(1000)는 알림 메시지(122) 내의 물체를 나타내는 명사인 “Mother” 및 “television”를 식별하고, “Mother” 및 “television”에 대응되는 객체들을 대상 이미지(120)으로부터 식별하고, 식별된 객체들을 함께 포함하는 영역을 대상 이미지(120)로부터 잘라낼 수 있다. 예를 들어, 대상 이미지(120)로부터 획득되는 식별 정보 및 객체의 호칭을 결정하는데 이용된 사용자 정보를 이용하여 “mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)이 식별될 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)는 mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)을 포함하는 영역(125)를 대상 이미지(120)로부터 잘라냄으로써 알림 메시지에 관한 썸네일 이미지(126)를 획득할 수 있다.
도 13은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스와 영상 콘텐트를 공유하는 예시를 나타내는 도면이다.
도 13을 참조하면, 디바이스(1000)는 디바이스(1000)에 저장된 복수의 이미지들 중에서, 동일 또는 유사한 액션에 관련된 이미지들의 그룹을 다른 디바이스와 공유하기 위한 알림 메시지를 제공할 수 있다.
디바이스(1000)는 디바이스(1000)에 저장된 복수의 이미지들 중에서 특정 인물이 특정 액션을 하는 장면이 촬영된 이미지들을 선택하고, 특정 인물에게 선택된 이미지들을 제공하기 위한 알림 메시지를 생성할 수 있다.
디바이스(1000)는 선택된 이미지들 각각에 대하여, 선택된 이미지 내의 객체에 관련된 액션, 및 선택된 이미지 내의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력함으로써, 선택된 이미지들에 관련된 알림 후보 메시지들을 획득하고, 알림 후보 메시지들로부터 알림 메시지를 획득할 수 있다.
예를 들어, 디바이스(1000)는 갤러리 애플리케이션을 통해 디바이스(1000)에 저장된 이미지들(130, 132, 134, 136) 중에서, 엄마가 청소를 하는 장면이 촬영된 이미지들(130, 132, 134)을 선택하고, 선택된 이미지들을 설명하는 알림 메시지를 생성할 수 있다. 예를 들어, 디바이스(1000)는 “Mother cleans the floor in front of a television.”을 생성할 수 있다.
또한, 디바이스(1000)는 선택된 이미지들 내의 인물과 선택된 이미지들을 공유하도록 하기 위한 GUI를 디바이스(1000)의 사용자에게 제공할 수 있다. 예를 들어, 선택된 이미지들을 공유하기 위한 GUI는, 선택된 이미지들이 표시되는 영역, 수신자가 표시되는 영역 및 메시지가 표시되는 영역들 포함할 수 있으나, 이에 제한되지 않는다.
도 14는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다.
동작 S1400에 디바이스(1000)는 복수의 이미지들을 포함하는 영상 콘텐트를 획득할 수 있다. 디바이스(1000)는 다른 디바이스로부터 전송된 영상 콘텐트를 다른 디바이스로부터 수신할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에 영상 콘텐트 내의 복수의 이미지들은 비디오 콘텐트 내의 복수의 프레임 이미지일 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스로부터 영상 콘텐트를 수신할 수 있다. 커뮤니케이션 애플리케이션은, 예를 들어, 채팅 애플리케이션 및 메시지 애플리케이션을 포함할 수 있다.
동작 S1410에서 디바이스(1000)는 영상 콘텐트를 액션 인식 모델(1551)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 식별할 수 있다. 액션 인식 모델(1551)은 영상 콘텐트 내의 객체에 관련된 액션을 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 전체 비디오 콘텐트 또는 비디오 콘텐트 내의 특정 장면에 관련된 프레임들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 내의 프레임들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들의 세트를 액션 인식 모델(1551)에 적용함으로써, 복수의 이미지들의 세트를 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 영상 콘텐트 내의 객체에 관련된 액션은, 예를 들어, riding, cleaning, 생일 파티 등을 포함할 수 있으나, 이에 제한되지 않는다.
동작 S1420에서 디바이스(1000)는 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 이 경우, 비디오 콘텐트 내의 장면이 변경되는지 및 비디오 콘텐트 내의 객체가 변경되는 지는 액션 인식 모델(1551)로부터 출력되는 출력 값을 바탕으로 판단될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.
동작 S1430에서 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 디바이스(1000)는 대상 이미지 내의 인물, 사물 및 배경의 식별 정보를 획득할 수 있다. 또한, 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써, 영상 콘텐트 내의 하나 이상의 객체의 식별 값 및 시각적 특징 값 중 적어도 하나를 획득할 수 있다. 객체의 시각적 특징 값은, 대상 이미지 내에서 객체가 위치한 영역의 특징 값일 수 있다. 또한, 대상 이미지에 포함된 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다.
동작 S1440에서 디바이스(1000)는 액션을 나타내는 식별 값 및 하나 이상의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 적용함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 영상 콘텐트에 관련된 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델일 수 있다.
예를 들어, 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보, 및 대상 이미지를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다.
알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 디바이스(1000)는 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.
동작 S1450에서 디바이스(1000)는 알림 메시지를 출력할 수 있다. 커뮤니케이션 애플리케이션을 통하여 영상 콘텐트가 수신되면, 수신된 영상 콘텐트를 설명하는 알림 메시지가 디바이스(1000)의 화면 상에 디스플레이될 수 있다. 예를 들어, 디바이스(1000)가 잠금 상태인 경우에, 영상 콘텐트에 대한 알림 메시지는 디바이스(1000)의 락 스크린 상에 디스플레이될 수 있다. 또한, 예를 들어, 영상 콘텐트를 수신한 커뮤니케이션 애플리케이션의 실행 화면이 디바이스(1000)의 화면 상에 활성화되어 있지 않은 경우에, 영상 콘텐트에 대한 알림 메시지는 트레이 창 또는 팝업 창을 통해 디스플레이될 수 있다.
도 15는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다.
동작 S1500에서 디바이스(1000)는 제1 대상 이미지로부터 생성된 제1 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제1 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제1 알림 후보 메시지를 획득할 수 있다.
동작 S1510에서 디바이스(1000)는 제2 대상 이미지로부터 생성된 제2 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제2 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제2 알림 후보 메시지를 획득할 수 있다.
동작 S1520에서 디바이스(1000)는 제n 대상 이미지로부터 생성된 제n 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제n 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제n 알림 후보 메시지를 획득할 수 있다.
동작 S1530에서 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 이용하여 알림 메시지를 생성할 수 있다. 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 서로 비교하고, 비교 결과에 기초하여 알림 메시지를 생성할 수 있다. 예를 들어, 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지에서 동일한 객체를 나타내는 단어의 중복 횟수에 기초하여 객체를 나타내는 단어를 결정할 수 있다. 또한, 디바이스(1000)는 결정된 단어에 기초하여 알림 메시지를 생성할 수 있다.
또는, 디바이스(1000)는 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델에 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 입력하고, 인공지능 모델로부터 출력되는 알림 메시지를 획득할 수 있다.
도 16은 본 개시의 일 실시예에 따른 디바이스(1000)가 사용자 정보를 고려하여 알림 메시지를 생성하는 방법의 흐름도이다.
동작 S1600 내지 동작 S1630는 동작 S1400 내지 동작 S1430에 대응되므로, 동작 S1600 내지 동작 S1630에 대한 설명은 편의상 생략하도록 한다.
동작 S1640에서 디바이스(1000)는 대상 이미지들 내의 객체들을 디바이스(1000)에 저장된 이미지들과 비교할 수 있다. 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 디바이스(1000)는 제1 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교할 수 있다.
동작 S1650에서 디바이스(1000)는 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 디바이스(1000)는 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 식별할 수 있다. 예를 들어, 주소록에 기초하여 객체의 호칭이 결정되거나, 객체에 대응되는 이미지의 메타 데이터에 기초하여 객체의 호칭이 결정될 수 있다.
디바이스(1000)가 다른 디바이스로부터 영상 콘텐트 내의 객체의 호칭에 관한 정보를 수신한 경우에는, 디바이스(1000)는 다른 디바이스로부터 수신된 정보를 바탕으로 객체의 호칭을 결정할 수 있다. 다른 디바이스는 다른 디바이스의 사용자 정보를 바탕으로 영상 콘텐트 내의 객체의 호칭을 결정할 수 있으며, 영상 콘텐트를 디바이스(1000)에게 제공하면서 객체의 호칭에 관한 정보를 디바이스(1000)에게 함께 제공할 수 있다. 예를 들어, 영상 콘텐트 내의 객체의 호칭은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 다른 디바이스는 객체의 호칭을 포함하는 메타 데이터를 영상 콘텐트와 함께 디바이스(1000)에게 전송할 수 있다. 이에 따라, 디바이스(1000)는 다른 디바이스로부터 수신된 객체의 호칭을 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용할 수 있다.
동작 S1660에서 디바이스(1000)는 영상 콘텐트의 액션을 나타내는 식별 값, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보 및 호칭을 알림 메시지 생성 모델(1553)에 입력함으로써, 영상 콘텐트에 관련된 알림 메시지를 생성할 수 있다.
디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보 및 객체의 호칭을 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 디바이스(1000)는 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.
동작 S1670에서 디바이스(1000)는 알림 메시지를 출력할 수 있다. 커뮤니케이션 애플리케이션을 통하여 영상 콘텐트가 수신되면, 수신된 영상 콘텐트를 설명하는 알림 메시지가 디바이스(1000)의 화면 상에 디스플레이될 수 있다.
도 17은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스에게 전송될 영상 콘텐트 내의 객체의 호칭을 다른 디바이스에게 제공하는 방법의 흐름도이다.
동작 S1700에서 디바이스(1000)는 다른 디바이스에게 전송될 영상 콘텐트를 획득할 수 있다. 디바이스(1000)는 복수의 이미지들을 포함하는 영상 콘텐트를 획득할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스에게 영상 콘텐트를 제공하기 위하여, 영상 콘텐트를 촬영하거나 디바이스(1000)에 저장된 영상 콘텐트를 추출할 수 있다.
동작 S1710에서 디바이스(1000)는 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.
동작 S1720에서 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 디바이스(1000)는 대상 이미지 내의 인물, 사물 및 배경의 식별 정보를 획득할 수 있다.
동작 S1730에서 디바이스(1000)는 대상 이미지들 내의 객체들을 디바이스(1000)에 저장된 이미지들과 비교할 수 있다. 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 디바이스(1000)는 제1 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교할 수 있다.
동작 S1740에서 디바이스(1000)는 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 디바이스(1000)는 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 식별할 수 있다. 예를 들어, 주소록에 기초하여 식별된 객체의 호칭이 결정되거나, 식별된 객체에 대응되는 이미지의 메타 데이터에 기초하여 식별된 객체의 호칭이 결정될 수 있다.
동작 S1750에서 디바이스(1000)는 영상 콘텐트 및 객체들의 호칭들을 다른 디바이스에게 전송할 수 있다. 객체들의 호칭들은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 디바이스(1000)는 객체들의 호칭들을 포함하는 메타 데이터를 영상 콘텐트와 함께 다른 디바이스에게 전송할 수 있다. 다른 디바이스에게 전송된 객체들의 호칭들은, 다른 디바이스가 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용될 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 훈련을 통해 만들어진 것을 특징으로 한다. 여기서, 훈련을 통해 만들어진다는 것은, 기본 인공지능 모델이 훈련 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 훈련됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 훈련은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 훈련 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 훈련 결과에 의해 최적화될 수 있다. 예를 들어, 훈련 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시에 따른 디바이스(1000)의 알림 메시지 생성 방법에 에 있어서, 영상 콘텐트로부터 객체의 액션을 인식하고, 대상 이미지 내의 객체를 식별하기 위한 방법으로 영상 콘텐트를 액션 인식 모델(1551)의 입력 데이터로 이용하고, 대상 이미지를 객체 인식 모델(1552)의 입력 데이터를 이용할 수 있다. 또한, 액션 인식 모델(1551)로부터 영상 콘텐트 내의 객체의 액션이 인식되어 출력 데이터가 출력되고, 객체 인식 모델(1552)로부터 대상 이미지 내의 객체가 식별되어 출력 데이터가 출력될 수 있다. 인공지능 모델은 훈련을 통해 만들어 질 수 있다. 여기서, 훈련을 통해 만들어진다는 것은, 기본 인공지능 모델이 훈련 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 훈련됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식(Object Recognition), 객체 추적(Object Tracking), 영상 검색(Image Retrieval), 사람 인식(Human Recognition), 장면 이해(Scene Recognition), 공간 이해(3D Reconstruction/Localization), 영상 개선(Image Enhancement) 등을 포함한다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 디바이스가 영상 콘텐트에 관련된 알림 메시지를 제공하는 방법에 있어서,
    복수의 이미지들을 포함하는 영상 콘텐트를 획득하는 동작;
    적어도 하나의 객체에 관련된 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작;
    상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위한 대상 이미지들을 결정하는 동작;
    상기 적어도 하나의 객체를 식별하기 위하여 훈련된 적어도 하나의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 하나 이상의 객체의 식별 정보를 획득하는 동작;
    알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 적어도 하나의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하는 동작; 및
    상기 알림 메시지를 출력하는 동작;
    을 포함하며,
    상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체에 대한 시각적 특징 값을 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체의 식별 값을 더 포함하며,
    상기 적어도 하나의 객체의 식별 값은 상기 적어도 하나의 객체에 대한 시각적 특징 값에 라벨링되는 것인, 방법.
  3. 제1 항에 있어서,
    상기 영상 콘텐트는 비디오 콘텐트이며,
    상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작은, 상기 비디오 콘텐트를 상기 제1 인공지능 모델에 입력함으로써, 상기 비디오 콘텐트 내의 프레임 이미지들에 포함된 상기 적어도 하나의 객체에 관련된 액션을 인식하는 것인, 방법.
  4. 제3 항에 있어서,
    상기 적어도 하나의 객체에 관련된 액션을 인식하는 동작은,
    상기 비디오 콘텐트에 포함된 제1 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제1 액션을 인식하는 동작;
    상기 비디오 콘텐트에 포함된 제2 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제2 액션을 인식하는 동작; 및
    상기 제1 프레임 이미지로부터 인식된 제1 액션 및 상기 제2 프레임 이미지로부터 인식된 제2 액션에 기초하여, 상기 비디오 콘텐트에 관련된 상기 액션을 나타내는 식별 값을 획득하는 동작;
    을 포함하는, 방법.
  5. 제3 항에 있어서,
    상기 대상 이미지들을 결정하는 동작은, 상기 비디오 콘텐트 내의 복수의 프레임 이미지들 중에서 상기 적어도 하나의 객체를 식별하기 위한 프레임 이미지들을 선택하는 것인, 방법.
  6. 제1 항에 있어서,
    상기 알림 메시지를 생성하는 동작은,
    상기 액션을 나타내는 식별 값, 및 제1 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써, 제1 알림 후보 메시지를 획득하는 동작;
    상기 액션을 나타내는 식별 값, 및 제2 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써, 제2 알림 후보 메시지를 획득하는 동작; 및
    상기 제1 알림 후보 메시지 및 상기 제2 알림 후보 메시지를 비교함으로써, 상기 알림 메시지를 생성하는 동작;
    을 포함하는 것인, 방법.
  7. 제1 항에 있어서,
    상기 디바이스에 저장된 사용자에 관련된 정보에 기초하여, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 호칭을 결정하는 동작;
    을 더 포함하며,
    상기 알림 메시지를 생성하는 동작은, 상기 호칭을 상기 제3 인공지능 모델에 입력하는 동작을 포함하는 것인, 방법.
  8. 영상 콘텐트에 관련된 알림 메시지를 제공하는 디바이스에 있어서,
    통신 인터페이스;
    인스트럭션들을 저장하는 저장부;
    상기 인스트럭션들을 실행하는 프로세서;
    를 포함하며,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    복수의 이미지들을 포함하는 영상 콘텐트를 획득하고,
    상기 영상 콘텐트 내의 적어도 하나의 객체에 관련된 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 적어도 하나의 객체에 관련된 액션을 인식하고,
    상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위해 이용될 대상 이미지들을 결정하고,
    상기 영상 콘텐트 내의 상기 적어도 하나의 객체를 식별하기 위하여 훈련된 적어도 하나의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 식별 정보를 획득하고,
    알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 적어도 하나의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하고,
    상기 알림 메시지를 출력하며,
    상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체에 대한 시각적 특징 값을 포함하는 것인, 디바이스.
  9. 제8 항에 있어서,
    상기 적어도 하나의 객체의 식별 정보는, 상기 적어도 하나의 객체의 식별 값을 더 포함하며,
    상기 적어도 하나의 객체의 식별 값은 상기 적어도 하나의 객체에 대한 시각적 특징 값에 라벨링되는 것인, 디바이스.
  10. 제8 항에 있어서,
    상기 영상 콘텐트는 비디오 콘텐트이며,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
    상기 비디오 콘텐트를 상기 제1 인공지능 모델에 입력함으로써, 상기 비디오 콘텐트 내의 프레임 이미지들에 포함된 상기 적어도 하나의 객체에 관련된 액션을 인식하는 것인, 디바이스.
  11. 제10 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써, 상기 비디오 콘텐트에 포함된 제1 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제1 액션을 인식하고, 상기 비디오 콘텐트에 포함된 제2 프레임 이미지로부터 상기 적어도 하나의 객체에 관련된 제2 액션을 인식하고, 상기 제1 프레임 이미지로부터 인식된 제1 액션 및 상기 제2 프레임 이미지로부터 인식된 제2 액션에 기초하여, 상기 비디오 콘텐트에 관련된 상기 액션을 나타내는 식별 값을 획득하는 것인, 디바이스.
  12. 제10 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써, 상기 비디오 콘텐트 내의 복수의 프레임 이미지들 중에서 상기 적어도 하나의 객체를 식별하기 위한 프레임 이미지들을 선택하는 것인, 디바이스.
  13. 제8 항에 있어서,
    상기 프로세서는, 상기 인스트럭션들을 실행함으로써, 상기 액션을 나타내는 식별 값 및 제1 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써 제1 알림 후보 메시지를 획득하고, 상기 액션을 나타내는 식별 값 및 제2 대상 이미지로부터 식별된 상기 적어도 하나의 객체의 식별 정보를 상기 제3 인공지능 모델에 입력함으로써 제2 알림 후보 메시지를 획득하고, 상기 제1 알림 후보 메시지 및 상기 제2 알림 후보 메시지를 비교함으로써 상기 알림 메시지를 생성하는 것인, 디바이스.
  14. 제8 항에 있어서,
    상기 프로세서는 상기 인스트럭션들을 실행함으로써, 상기 디바이스에 저장된 사용자에 관련된 정보에 기초하여, 상기 대상 이미지들 내의 상기 적어도 하나의 객체의 호칭을 결정하며, 상기 결정된 호칭을 상기 제3 인공지능 모델에 입력하는 것인, 디바이스.
  15. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/001070 2021-01-21 2022-01-20 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법 WO2022158886A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/675,632 US11943184B2 (en) 2021-01-21 2022-02-18 Device and method for providing notification message related to content

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210008950 2021-01-21
KR10-2021-0008950 2021-01-21
KR10-2021-0038979 2021-03-25
KR1020210038979A KR20220106005A (ko) 2021-01-21 2021-03-25 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/675,632 Continuation US11943184B2 (en) 2021-01-21 2022-02-18 Device and method for providing notification message related to content

Publications (1)

Publication Number Publication Date
WO2022158886A1 true WO2022158886A1 (ko) 2022-07-28

Family

ID=82548843

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001070 WO2022158886A1 (ko) 2021-01-21 2022-01-20 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법

Country Status (1)

Country Link
WO (1) WO2022158886A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082270A (ko) * 2016-11-04 2019-07-09 딥마인드 테크놀로지스 리미티드 신경망을 이용한 장면 이해 및 생성
KR102035592B1 (ko) * 2017-12-27 2019-10-23 소프트온넷(주) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
KR20200094607A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082270A (ko) * 2016-11-04 2019-07-09 딥마인드 테크놀로지스 리미티드 신경망을 이용한 장면 이해 및 생성
KR102035592B1 (ko) * 2017-12-27 2019-10-23 소프트온넷(주) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
KR20200094607A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAE SUNG PARK; TREVOR DARRELL; ANNA ROHRBACH: "Identity-Aware Multi-Sentence Video Description", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 22 August 2020 (2020-08-22), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081746576 *
YANGYU CHEN; SHUHUI WANG; WEIGANG ZHANG; QINGMING HUANG: "Less Is More: Picking Informative Frames for Video Captioning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 5 March 2018 (2018-03-05), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080857708 *

Similar Documents

Publication Publication Date Title
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2018117428A1 (en) Method and apparatus for filtering video
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2016126007A1 (en) Method and device for searching for image
WO2019203488A1 (en) Electronic device and method for controlling the electronic device thereof
WO2020080830A1 (en) Electronic device for reconstructing an artificial intelligence model and a control method thereof
WO2021054588A1 (en) Method and apparatus for providing content based on knowledge graph
WO2020080834A1 (en) Electronic device and method for controlling the electronic device
WO2019022472A1 (en) ELECTRONIC DEVICE AND ITS CONTROL METHOD
WO2019083275A1 (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
WO2020040517A1 (en) Electronic apparatus and control method thereof
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2020017898A1 (en) Electronic apparatus and control method thereof
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
EP3523710A1 (en) Apparatus and method for providing sentence based on user input
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
WO2015147486A1 (en) Method of providing activity notification and device thereof
EP3529774A1 (en) Apparatus and method for processing content
WO2024025220A1 (ko) 온라인 광고 컨텐트 플랫폼을 제공하기 위한 시스템
EP3545685A1 (en) Method and apparatus for filtering video
WO2022010177A1 (en) Device and method for generating summary video
WO2018164435A1 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22742862

Country of ref document: EP

Kind code of ref document: A1