KR20220106005A

KR20220106005A - Device and method for providing notification message related to content

Info

Publication number: KR20220106005A
Application number: KR1020210038979A
Authority: KR
Inventors: 백서현; 길태호; 김경수; 김성진; 정호진
Original assignee: 삼성전자주식회사
Priority date: 2021-01-21
Filing date: 2021-03-25
Publication date: 2022-07-28

Abstract

A device and method for providing a notification message related to content are provided. The method for the device to provide a notification message related to video content comprises the operations of: recognizing an action related to one or more objects in the video content by applying the video content to a first artificial intelligence model trained to identify an action of one or more objects in the video content including a plurality of images; determining target images to be used to identify the one or more objects in the video content from the video content; obtaining identification information of the one or more objects in the target images by applying the target images to one or more second artificial intelligence models trained to identify the one or more objects in the video content; and generating a notification message describing the video content by applying an identification value indicating the action and the identification information of the one or more objects to a third artificial intelligence model trained to generate a notification message. The device identifies the object and recognizes the action of the object by using the artificial intelligence models to provide the notification message related to the content.

Description

DEVICE AND METHOD FOR PROVIDING NOTIFICATION MESSAGE RELATED TO CONTENT}

본 개시는 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는 복수의 이미지를 포함하는 콘텐트에 관련된 알림 메시지를 생성하고 제공하는 디바이스 및 방법에 관한 것이다.The present disclosure relates to a device and method for providing a notification message related to content, and more particularly, to a device and method for generating and providing a notification message related to content including a plurality of images.

네트워크 기술 및 데이터 처리 기술이 발전함에 따라, 사용자는 디바이스를 통하여 다양한 서비스를 이용할 수 있게 되었으며, 사용자가 디바이스를 이용하여 다양한 콘텐트를 다른 디바이스와 공유하도록 하는 서비스가 증가하고 있다. 이에 따라, 디바이스는 다른 디바이스로부터 영상 콘텐트를 수신하는 경우에, 영상 콘텐트에 관련된 알림 메시지를 사용자에게 제공할 필요가 있으며, 사용자는 알림 메시지를 확인함으로써, 자신이 수신한 영상 콘텐트에 관한 내용을 간략히 확인할 필요가 있게 되었다.As network technology and data processing technology develop, users can use various services through devices, and services that allow users to share various contents with other devices by using devices are increasing. Accordingly, when the device receives video content from another device, it is necessary to provide a notification message related to the video content to the user. I needed to check.

하지만, 디바이스가 영상 콘텐트를 수신하는 경우에 디바이스가 영상 콘텐트를 설명하는 알림 메시지를 효율적으로 생성하여 제공하기 힘든 문제가 있었으며, 나아가, 디바이스가 사용자의 개인 정보를 활용하여 영상 콘텐트의 알림 메시지를 효과적으로 생성하기 힘든 어려움이 있었다.However, when the device receives the video content, there is a problem in that it is difficult for the device to efficiently generate and provide a notification message describing the video content. Furthermore, the device uses the user's personal information to effectively transmit the notification message of the video content. It was difficult to create.

이에 따라, 인공지능 모델을 활용하여 영상 콘텐트를 설명하는 알림 메시지를 효율적으로 생성할 수 있는 기술이 요구되고 있다.Accordingly, there is a need for a technology capable of efficiently generating a notification message describing video content by using an artificial intelligence model.

본 개시의 일 실시예는, 복수의 인공지능 모델을 이용하여 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.An embodiment of the present disclosure may provide a device and method for providing a notification message related to content using a plurality of artificial intelligence models.

또한, 본 개시의 일 실시예는, 인공지능 모델을 이용하여 복수의 이미지를 포함하는 콘텐트 내의 객체의 액션을 인식함으로써, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.In addition, an embodiment of the present disclosure may provide a device and method for providing a notification message related to content by recognizing an action of an object in content including a plurality of images using an artificial intelligence model.

또한, 본 개시의 일 실시예는, 인공지능 모델을 이용하여 콘텐트로부터 선택된 대상 이미지 내의 객체를 식별함으로써, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.Also, an embodiment of the present disclosure may provide a device and method for providing a notification message related to content by identifying an object in a target image selected from content using an artificial intelligence model.

또한, 본 개시의 일 실시예는, 콘텐트 내의 객체에 관련된 액션 및 대상 이미지로부터 인식된 객체의 식별 정보에 기초하여, 콘텐트를 설명하는 알림 메시지를 인공지능 모델을 이용하여 생성할 수 있는, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.In addition, one embodiment of the present disclosure is based on the action related to the object in the content and the identification information of the object recognized from the target image, the content that can generate a notification message describing the content using an artificial intelligence model. A device and method for providing a related notification message may be provided.

또한, 본 개시의 일 실시예는, 디바이스의 사용자에 관련된 정보에 기초하여, 콘텐트에 관한 알림 메시지를 인공지능 모델을 이용하여 생성할 수 있는, 콘텐트에 관련된 알림 메시지를 제공하는 디바이스 및 방법을 제공할 수 있다.In addition, an embodiment of the present disclosure provides a device and method for providing a content-related notification message, which can generate a content-related notification message using an artificial intelligence model, based on information related to a user of the device. can do.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 복수의 이미지들을 포함하는 영상 콘텐트를 획득하는 동작; 상기 영상 콘텐트 내의 하나 이상의 객체의 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 하나 이상의 객체에 관련된 액션을 인식하는 동작; 상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 하나 이상의 객체를 식별하기 위해 이용될 대상 이미지들을 결정하는 동작; 상기 영상 콘텐트 내의 상기 하나 이상의 객체를 식별하기 위하여 훈련된 하나 이상의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 하나 이상의 객체의 식별 정보를 획득하는 동작; 알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 하나 이상의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하는 동작; 및 상기 알림 메시지를 출력하는 동작;을 포함하며, 상기 하나 이상의 객체의 식별 정보는, 상기 하나 이상의 객체에 대한 시각적 특징 값을 포함하는, 디바이스가 영상 콘텐트에 관련된 알림 메시지를 제공하는 방법을 제공할 수 있다.As a technical means for achieving the above technical problem, a first aspect of the present disclosure includes an operation of acquiring image content including a plurality of images; recognizing an action related to the one or more objects in the video content by applying the video content to a first artificial intelligence model trained to identify actions of the one or more objects in the video content; determining, from the video content, target images to be used to identify the one or more objects in the video content; obtaining identification information of the one or more objects in the target images by applying the target images to one or more second artificial intelligence models trained to identify the one or more objects in the image content; generating a notification message describing the video content by applying an identification value indicating the action and identification information of the one or more objects to a third artificial intelligence model trained to generate a notification message; and outputting the notification message, wherein the identification information of the one or more objects includes a visual feature value for the one or more objects. can

또한, 본 개시의 제2 측면은, 통신 인터페이스; 하나 이상의 인스트럭션을 저장하는 저장부; 및 상기 하나 이상의 인스트럭션을 실행하는 프로세서;를 포함하며, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 복수의 이미지들을 포함하는 영상 콘텐트를 획득하고, 상기 영상 콘텐트 내의 하나 이상의 객체의 액션을 식별하기 위해 훈련된 제1 인공지능 모델에 상기 영상 콘텐트를 적용함으로써, 상기 영상 콘텐트 내의 상기 하나 이상의 객체에 관련된 액션을 인식하고, 상기 영상 콘텐트로부터 상기 영상 콘텐트 내의 상기 하나 이상의 객체를 식별하기 위해 이용될 대상 이미지들을 결정하고, 상기 영상 콘텐트 내의 상기 하나 이상의 객체를 식별하기 위하여 훈련된 하나 이상의 제2 인공지능 모델에 상기 대상 이미지들을 적용함으로써, 상기 대상 이미지들 내의 상기 하나 이상의 객체의 식별 정보를 획득하고, 알림 메시지를 생성하기 위하여 훈련된 제3 인공지능 모델에, 상기 액션을 나타내는 식별 값, 및 상기 하나 이상의 객체의 식별 정보를 적용함으로써, 상기 영상 콘텐트를 설명하는 알림 메시지를 생성하고, 상기 알림 메시지를 출력하며, 상기 하나 이상의 객체의 식별 정보는, 상기 하나 이상의 객체에 대한 시각적 특징 값을 포함하는 것인, 영상 콘텐트에 관련된 알림 메시지를 제공하는 디바이스를 제공할 수 있다.In addition, a second aspect of the present disclosure, a communication interface; a storage unit for storing one or more instructions; and a processor executing the one or more instructions, wherein the processor is configured to: by executing the one or more instructions, obtain video content including a plurality of images, and identify an action of one or more objects in the video content By applying the image content to a first artificial intelligence model trained for obtaining identification information of the one or more objects in the target images by determining images and applying the target images to one or more second artificial intelligence models trained to identify the one or more objects in the video content; By applying an identification value indicating the action and identification information of the one or more objects to a third artificial intelligence model trained to generate a notification message, a notification message describing the video content is generated, and the notification message is transmitted. and output, the identification information of the one or more objects may include a visual feature value for the one or more objects.

또한, 본 개시의 제3 측면은, 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.In addition, a third aspect of the present disclosure may provide a computer-readable recording medium in which a program for executing the method of the first aspect is recorded on a computer.

도 1은 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 알림 메시지를 제공하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 디바이스(1000)의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 영상 콘텐트 및 대상 이미지들을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 액션 인식 모델(1551)을 통해 영상 콘텐트 내의 객체의 액션이 식별되는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 비디오 콘텐트 내의 사람들의 액션이 식별되는 예시를 나타내는 도면이다.
도 6a는 본 개시의 일 실시예에 따른 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 6b는 본 개시의 일 실시예에 따른 복수의 인공지능 모델을 포함하는 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 대상 이미지 별로 객체들의 식별 정보가 획득되는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 알림 메시지 생성 모듈(1525)을 통해 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 복수의 알림 후보 메시지로부터 알림 메시지가 생성되는 예시를 나타내는 도면이다.
도 10a는 본 개시의 일 실시예에 따른 사용자 정보를 고려하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
도 10b는 본 개시의 일 실시예에 따른 알림 메시지의 생성에 관련된 설정을 위한 GUI를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 알림 메시지 생성 모델(1553)이 훈련되는 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 썸네일 이미지를 생성하는 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스(미도시)와 영상 콘텐트를 공유하는 예시를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 디바이스(1000)가 사용자 정보를 고려하여 알림 메시지를 생성하는 방법의 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스에게 전송될 영상 콘텐트 내의 객체의 호칭을 다른 디바이스에게 제공하는 방법의 흐름도이다.1 is a diagram illustrating an example in which a device 1000 provides a notification message related to image content according to an embodiment of the present disclosure.
2 is a block diagram of a device 1000 according to an embodiment of the present disclosure.
3 is a diagram for explaining video content and target images according to an embodiment of the present disclosure.
4 is a diagram illustrating an example in which an action of an object in image content is identified through an action recognition model 1551 according to an embodiment of the present disclosure.
5 is a diagram illustrating an example in which actions of people in video content are identified according to an embodiment of the present disclosure.
6A is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 according to an embodiment of the present disclosure.
6B is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 including a plurality of artificial intelligence models according to an embodiment of the present disclosure.
7 is a diagram illustrating an example in which identification information of objects is obtained for each target image according to an embodiment of the present disclosure.
8 is a diagram illustrating an example of generating a notification message through the notification message generating module 1525 according to an embodiment of the present disclosure.
9 is a diagram illustrating an example in which a notification message is generated from a plurality of notification candidate messages according to an embodiment of the present disclosure.
10A is a diagram illustrating an example of generating a notification message in consideration of user information according to an embodiment of the present disclosure.
10B is a diagram illustrating a GUI for setting related to generation of a notification message according to an embodiment of the present disclosure.
11 is a diagram illustrating an example in which a notification message generation model 1553 is trained according to an embodiment of the present disclosure.
12 is a diagram illustrating an example in which the device 1000 generates a thumbnail image related to video content according to an embodiment of the present disclosure.
13 is a diagram illustrating an example in which the device 1000 shares image content with another device (not shown) according to an embodiment of the present disclosure.
14 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.
15 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.
16 is a flowchart of a method of generating, by the device 1000, a notification message in consideration of user information according to an embodiment of the present disclosure.
17 is a flowchart of a method of providing, by the device 1000, a name of an object in image content to be transmitted to another device to another device, according to an embodiment of the present disclosure.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. However, the present disclosure may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present disclosure in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 알림 메시지를 제공하는 예시를 나타내는 도면이다.1 is a diagram illustrating an example in which a device 1000 provides a notification message related to image content according to an embodiment of the present disclosure.

도 1을 참조하면, 디바이스(1000)는 외부로부터 영상 콘텐트를 수신하고, 수신된 영상 콘텐트를 설명하는 알림 메시지를 생성하여 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 디바이스(1000)는 영상 콘텐트를 분석함으로써 알림 메시지를 생성할 수 있으며, 영상 콘텐트의 분석을 위하여 복수의 인공지능 모델을 이용할 수 있다. 디바이스(1000)는 영상 콘텐트 내의 적어도 하나의 객체의 액션을 인식하고, 영상 콘텐트로부터 선택된 대상 이미지 내의 객체를 식별하고, 인식된 액션 및 식별된 객체에 기초하여 영상 콘텐트를 설명하기 위한 알림 메시지를 생성할 수 있다. 디바이스(1000)는 디바이스(1000)의 사용자에 관한 정보를 이용하여 영상 콘텐트 내의 객체를 정확하게 식별할 수 있으며, 사용자에 관한 정보가 반영된 객체의 호칭을 이용하여 알림 메시지를 생성하고 제공할 수 있다.Referring to FIG. 1 , the device 1000 may receive image content from the outside, generate a notification message describing the received image content, and display it on the screen of the device 1000 . The device 1000 may generate a notification message by analyzing the image content, and may use a plurality of artificial intelligence models to analyze the image content. The device 1000 recognizes the action of at least one object in the video content, identifies the object in the target image selected from the video content, and generates a notification message for describing the video content based on the recognized action and the identified object can do. The device 1000 may accurately identify an object in the image content by using the information about the user of the device 1000 , and may generate and provide a notification message using the name of the object in which the information about the user is reflected.

본 개시의 일 실시예에 따른 디바이스(1000) 및 다른 디바이스(미도시)는, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기, CCTV 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않으며, 디바이스(1000)는 영상 콘텐트를 다른 디바이스(미도시) 및 서버(미도시)와 송수신하고 제공할 수 있는 모든 종류의 장치를 포함할 수 있다.The device 1000 and other devices (not shown) according to an embodiment of the present disclosure include a smartphone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, and a GPS. (global positioning system) devices, e-book terminals, digital broadcast terminals, navigation devices, kiosks, MP3 players, digital cameras, home appliances, CCTVs and other mobile or non-mobile computing devices, but are not limited thereto. Also, the device 1000 may be a wearable device such as a watch, glasses, a hair band, and a ring having a communication function and a data processing function. However, the present invention is not limited thereto, and the device 1000 may include any type of apparatus capable of transmitting and receiving image content to and from another device (not shown) and a server (not shown).

디바이스(1000), 다른 디바이스(미도시) 및 서버(미도시)와 통신 연결하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 또한, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network) 또는 위성 통신망 중 적어도 둘 이상의 상호 조합을 포함할 수 있으며, 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함한다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.The device 1000, another device (not shown) and the server (not shown) and the network for communication connection are a local area network (LAN), a wide area network (WAN), or a value added network (Value Added Network) It may be implemented as a wired network such as a VAN), or any kind of wireless network such as a mobile radio communication network or a satellite communication network. In addition, the network includes at least two of a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, or a satellite communication network. It may include a combination and is a data communication network in a comprehensive sense that enables network constituent entities to communicate smoothly with each other, and includes wired Internet, wireless Internet, and mobile wireless communication network. Wireless communication is, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared communication (IrDA, infrared Data Association) ), NFC (Near Field Communication), etc. may be there, but is not limited thereto.

도 2는 본 개시의 일 실시예에 따른 디바이스(1000)의 블록도이다.2 is a block diagram of a device 1000 according to an embodiment of the present disclosure.

도 2를 참조하면, 디바이스(1000)는 사용자 입력부(1100), 디스플레이부(1200), 통신 인터페이스(1300), 카메라(1400), 저장부(1500) 및 프로세서(1600)를 포함하며, 저장부(1500)는 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570), 인공지능 모델(1550) 및 사용자 DB(1560)를 포함할 수 있다.Referring to FIG. 2 , the device 1000 includes a user input unit 1100 , a display unit 1200 , a communication interface 1300 , a camera 1400 , a storage unit 1500 , and a processor 1600 , and the storage unit 1500 includes an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , a notification message generation module 1525 , a user object identification module 1530 , a training module 1535 , and a domain identification It may include a module 1540 , a model selection module 1545 , a thumbnail generation module 1570 , an artificial intelligence model 1550 , and a user DB 1560 .

사용자 입력부(1100)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 사용자 입력부(1100)는 후술할 제2 비디오의 요약 이미지를 생성하기 위한 사용자 입력을 수신할 수 있다.The user input unit 1100 means a means for a user to input data for controlling the device 1000 . For example, the user input unit 1100 may include a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). a tension measurement method, a piezo effect method, etc.), a jog wheel, or a jog switch, but is not limited thereto. The user input unit 1100 may receive a user input for generating a summary image of a second video to be described later.

디스플레이부(1200)는 디바이스(1000)에서 처리되는 정보를 표시한다. 예를 들어, 디스플레이부(1200)는, 디바이스(1000)에서 실행되는 커뮤니케이션 애플리케이션을 디스플레이하거나, 다른 디바이스(미도시)로부터 수신된 영상 콘텐트의 알림 메시지를 생성하거나 영상 콘텐트를 디스플레이 하기 위한 GUI를 디스플레이할 수 있다. 커뮤니케이션 애플리케이션은, 예를 들어, 채팅 애플리케이션 및 메시지 애플리케이션을 포함할 수 있다.The display 1200 displays information processed by the device 1000 . For example, the display unit 1200 displays a communication application executed on the device 1000, generates a notification message of image content received from another device (not shown), or displays a GUI for displaying the image content. can do. Communication applications may include, for example, chat applications and messaging applications.

한편, 디스플레이부(1200)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1200)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1200)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 디바이스(1000)의 구현 형태에 따라 디바이스(1000)는 디스플레이부(1200)를 2개 이상 포함할 수도 있다. Meanwhile, when the display unit 1200 and the touchpad form a layer structure to form a touch screen, the display unit 1200 may be used as an input device in addition to an output device. The display unit 1200 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display ( 3D display) and electrophoretic display (electrophoretic display) may include at least one. Depending on the implementation form of the device 1000 , the device 1000 may include two or more display units 1200 .

통신 인터페이스(1300)는 다른 디바이스(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1300)는, 근거리 통신부, 이동 통신부 및 방송 수신부를 포함할 수 있다. 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 또한, 통신 인터페이스(1300)는 영상 콘텐트의 알림 메시지를 생성하기 위하여 필요한 정보를 다른 디바이스(미도시) 및 서버(미도시)와 송수신할 수 있다.The communication interface 1300 may include one or more components that allow communication with other devices (not shown) and a server (not shown). For example, the communication interface 1300 may include a short-range communication unit, a mobile communication unit, and a broadcast receiving unit. Short-range wireless communication unit, Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, near field communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee communication unit, infrared (IrDA, infrared) It may include a data association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto. The mobile communication unit transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message. The broadcast receiver receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. Also, the communication interface 1300 may transmit/receive information necessary to generate a notification message of image content with another device (not shown) and a server (not shown).

카메라(1400)는 디바이스(1000)의 주변을 촬영할 수 있다. 카메라(1300)는 촬영 기능을 요구하는 프로그램이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 예를 들어, 카메라(1400)는 커뮤니케이션 애플리케이션이 실행되는 도중에 디바이스(1000)의 주변을 촬영할 수 있다. 카메라(1400)에서 처리된 화상 프레임은 저장부(1500)에 저장되거나 통신 인터페이스(1300)를 통하여 외부로 전송될 수 있다. 카메라(1400)는 디바이스(1000)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The camera 1400 may photograph the surroundings of the device 1000 . The camera 1300 may obtain an image frame such as a still image or a moving image through an image sensor when a program requesting a photographing function is executed. For example, the camera 1400 may photograph the surroundings of the device 1000 while the communication application is being executed. The image frame processed by the camera 1400 may be stored in the storage 1500 or transmitted to the outside through the communication interface 1300 . Two or more cameras 1400 may be provided according to the configuration of the device 1000 .

저장부(1500)는 후술할 프로세서(1600)에 의해 실행될 프로그램을 저장할 수 있고, 디바이스(1000)로 입력되거나 디바이스(1000)로부터 출력되는 데이터를 저장할 수 있다. The storage unit 1500 may store a program to be executed by the processor 1600 , which will be described later, and may store data input to or output from the device 1000 .

저장부(1500)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. Storage unit 1500 is a flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card-type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among a disk and an optical disk.

저장부(1500)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 인공지능 모델(1550) 및 사용자 DB(1560)를 포함할 수 있다.Programs stored in the storage unit 1500 may be classified into a plurality of modules according to their functions, for example, an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , and a notification. to include a message generation module 1525 , a user object identification module 1530 , a training module 1535 , a domain identification module 1540 , a model selection module 1545 , an artificial intelligence model 1550 , and a user DB 1560 . can

프로세서(1600)는 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1600)는, 저장부(1500)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 디스플레이부(1200), 통신 인터페이스(1300), 카메라(1400) 및 저장부(1500) 등을 전반적으로 제어할 수 있다.The processor 1600 controls the overall operation of the device 1000 . For example, the processor 1600 executes programs stored in the storage unit 1500 , and thus the user input unit 1100 , the display unit 1200 , the communication interface 1300 , the camera 1400 and the storage unit 1500 . You have total control over your back.

프로세서(1600)는, 통신 인터페이스(1300)를 제어함으로써, 다른 디바이스(미도시)로부터 전송된 영상 콘텐트를 다른 디바이스(미도시)로부터 수신할 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스(미도시)로부터 영상 콘텐트를 수신할 수 있다. 영상 콘텐트는 정지 영상 콘텐트 및 동영상 콘텐트를 포함할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에 영상 콘텐트 내의 복수의 이미지들은 비디오 콘텐트 내의 복수의 프레임 이미지일 수 있다. 또한, 프로세서(1600)는 저장부(1500)에 저장된 영상 콘텐트를 다른 디바이스(미도시)에게 제공하기 위하여, 저장부(1500)에 저장된 영상 콘텐트를 호출할 수 있다.The processor 1600 may receive image content transmitted from another device (not shown) from another device (not shown) by controlling the communication interface 1300 . The device 1000 may receive image content from another device (not shown) through, for example, a communication application installed in the device 1000 . The image content may include still image content and moving image content. For example, the video content may be video content or a set of a plurality of images. When the video content is video content, a plurality of images in the video content may be a plurality of frame images in the video content. Also, the processor 1600 may call the image content stored in the storage 1500 to provide the image content stored in the storage 1500 to another device (not shown).

또한, 예를 들어, 디바이스(1000)는 카메라를 포함하는 다른 디바이스(미도시)로부터 영상 콘텐트를 수신할 수 있다. 디바이스(1000)는, 예를 들어, CCTV, 카메라를 포함하는 TV, 및 카메라가 포함된 청소 로봇 등과 같은 댁 내의 다른 디바이스(미도시)로부터, 다른 디바이스(미도시)에 의해 촬영된 영상 콘텐트를 수신할 수 있다. 이 경우, 다른 디바이스(미도시)는 댁 내의 기설정된 영역에서 피사체의 특정 움직임이 감지되는 경우에 피사체가 촬영된 영상 콘텐트를 생성할 수 있다. 또는, 다른 디바이스(미도시)는 기설정된 주기에 따라 피사체가 촬영된 영상 콘텐트를 생성할 수 있다.Also, for example, the device 1000 may receive image content from another device (not shown) including a camera. The device 1000 is, for example, from another device (not shown) in the house, such as a CCTV, a TV including a camera, and a cleaning robot including a camera, video content captured by another device (not shown). can receive In this case, another device (not shown) may generate image content in which the subject is photographed when a specific movement of the subject is detected in a preset area within the house. Alternatively, another device (not shown) may generate image content in which a subject is photographed according to a preset period.

또한, 다른 디바이스(미도시)는, 예를 들어, 집 안의 상황을 인식하여 집 안의 상황을 관리하기 위한 홈 케어 서비스를 위한 디바이스, 애완 동물의 상태를 모니터링하고 관리하기 위한 펫 관리 서비스를 위한 디바이스를 포함할 수 있으나, 이에 제한되지 않는다.In addition, another device (not shown) is, for example, a device for a home care service for recognizing the situation in the house and managing the situation in the house, a device for a pet management service for monitoring and managing the state of the pet may include, but is not limited thereto.

프로세서(1600)는 저장부(1500)에 저장된 액션 인식 모듈(1510)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 식별할 수 있다. 액션 인식 모듈(1510)은 영상 콘텐트를 액션 인식 모델(1551)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 인식할 수 있다. 액션 인식 모델(1551)은 영상 콘텐트 내의 객체에 관련된 액션을 인식하기 위하여 훈련된 인공지능 모델일 수 있다. 예를 들어, 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 전체의 프레임 이미지들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 전체의 프레임 이미지들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 특정 장면에 관련된 프레임 이미지들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 내의 프레임들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. The processor 1600 may identify an action related to one or more objects in the image content by executing the action recognition module 1510 stored in the storage 1500 . The action recognition module 1510 may recognize an action related to one or more objects in the image content by applying the image content to the action recognition model 1551 . The action recognition model 1551 may be an artificial intelligence model trained to recognize an action related to an object in image content. For example, when the video content is video content, the device 1000 applies the frame images of the entire video content to the action recognition model 1551, so that the action of the objects determined based on the frame images of the entire video content. can be identified. Alternatively, for example, the device 1000 may identify actions of objects determined based on frames in the video content by applying frame images related to a specific scene in the video content to the action recognition model 1551 .

또는, 예를 들어, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 액션 인식 모듈(1510)은 복수의 이미지들의 세트를 액션 인식 모델(1551)에 적용함으로써, 복수의 이미지들의 세트를 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 이 경우, 복수의 이미지들의 세트 내의 복수의 이미지들 중 적어도 일부가 선택되어 액션 인식 모델(1551)에 입력될 수 있다.Or, for example, when the video content is a set of a plurality of images, the action recognition module 1510 applies the set of the plurality of images to the action recognition model 1551 to determine based on the set of the plurality of images You can identify the actions of objects that become In this case, at least some of the plurality of images in the set of the plurality of images may be selected and input to the action recognition model 1551 .

영상 콘텐트 내의 객체에 관련된 액션은, 예를 들어, riding, cleaning, 생일 파티 등을 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 액션 인식 모델(1551)은 영상 콘텐트에 포함된 제1 내지 제n 이미지로부터 객체에 관련된 액션들을 각각 인식하고, 인식된 액션들에 기초하여, 영상 콘텐트에 관련된 액션을 나타내는 식별 값을 출력할 수 있다. 액션을 나타내는 식별 값은, 영상 콘텐트 내의 객체의 액션을 식별하기 위한 적어도 하나의 단어를 포함할 수 있으며, 예를 들어, “riding”, “running”, “birthday party” 및 “shouting”와 같이, 영상 콘텐트 내의 적어도 하나의 객체의 액션 또는 상황을 나타낼 수 있으나, 이에 제한되지 않는다.The action related to the object in the video content may include, for example, riding, cleaning, a birthday party, etc., but is not limited thereto. For example, the action recognition model 1551 recognizes actions related to an object from the first to nth images included in the video content, respectively, and based on the recognized actions, an identification value indicating an action related to the video content can be printed out. The identification value indicating the action may include at least one word for identifying the action of the object in the video content, for example, “riding”, “running”, “birthday party” and “shouting”, It may represent the action or situation of at least one object in the image content, but is not limited thereto.

프로세서(1600)는 저장부(1500)에 저장된 대상 이미지 결정 모듈(1515)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 대상 이미지는 영상 콘텐트 내의 객체를 식별하기 위하여 이용되는 이미지일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 대상 이미지 결정 모듈(1515)은 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 이 경우, 비디오 콘텐트 내의 장면이 변경되는지 및 비디오 콘텐트 내의 객체가 변경되는 지는 액션 인식 모델(1551)로부터 출력되는 출력 값을 바탕으로 판단될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.The processor 1600 may determine one or more target images to be used to identify one or more objects in the image content by executing the target image determining module 1515 stored in the storage 1500 . The target image may be an image used to identify an object in video content. When the video content is video content, the target image determining module 1515 may extract a target image from among frame images in the video content. For example, the target image determining module 1515 may extract target images according to a preset interval from frame images in the video content. Or, for example, when a scene in the video content is changed or an object in the video content is changed, for example, the target image determining module 1515 may use a frame image corresponding to the changed scene or a frame image including the changed object as the target image. can be extracted. In this case, whether a scene in the video content is changed or an object in the video content is changed may be determined based on an output value output from the action recognition model 1551 . Alternatively, when the image content is a set of a plurality of images, the device 1000 may determine at least a portion of the plurality of images as the target image.

프로세서(1600)는 저장부(1500)에 저장된 객체 인식 모듈(1520)을 실행함으로써, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체의 식별 정보는 영상 콘텐트 내의 객체를 식별하기 위한 정보로서, 예를 들어, 객체의 시각적 특징 값 또는 객체의 식별 값 중 적어도 하나를 포함할 수 있다. 객체의 시각적 특징 값은, 대상 이미지 내에서 객체가 위치한 영역의 특징 값일 수 있다. 또한, 예를 들어, 객체의 식별 값은, 사람 얼굴, 배경, 애완 동물과 같이 객체의 종류를 나타내는 텍스트, 및 사람, 강아지, 고양이, 잔디와 같이 객체의 명칭을 나타내는 식별 값을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 대상 이미지에 포함된 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다. The processor 1600 may obtain identification information of one or more objects in the image content by executing the object recognition module 1520 stored in the storage 1500 . The object identification information is information for identifying the object in the image content, and may include, for example, at least one of a visual characteristic value of the object or an object identification value. The visual feature value of the object may be a feature value of a region where the object is located in the target image. Also, for example, the identification value of the object may include text indicating the type of object such as a human face, a background, and a pet, and an identification value indicating the name of an object such as a person, dog, cat, and grass. , but not limited thereto. Also, the identification value of the object included in the target image may be labeled with the visual feature value of the object.

객체 인식 모듈(1520)은 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 객체 인식 모듈(1520)은 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 값들 및/또는 객체들의 시각적 특징 값(visual features)들을 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 객체 인식 모듈(1520)은 대상 이미지 내의 인물, 사물 및 배경의 식별 값들 및/또는 시각적 특징 값들을 획득할 수 있다. The object recognition module 1520 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 . The object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image. The object recognition module 1520 inputs a plurality of target images to the object recognition model 1552 , and recognizes object identification values and/or visual features of objects included in each of the plurality of target images. It can be obtained from the model 1552 . For example, the object recognition module 1520 may obtain identification values and/or visual feature values of a person, an object, and a background in the target image.

또한, 예를 들어, 객체 인식 모델(1552)은 대상 이미지 내의 객체의 시각적 특징 값을 획득하기 위한 객체 추출 모델 및 대상 이미지 내의 객체의 식별 값을 획득하기 위한 객체 식별 모델을 포함할 수 있다. 이 경우, 객체 인식 모듈(1520)은 대상 이미지를 객체 추출 모델에 적용함으로써, 객체 추출 모델로부터 출력되는 객체의 시각적 특징 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)은 객체의 시각적 특징 값을 객체 식별 모델에 적용함으로써, 객체 식별 모델로부터 출력되는 객체의 식별 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)는 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다. 예를 들어, 객체 인식 모듈(1520)는 객체의 식별 값을 객체의 시각적 특징 값에 라벨링함으로써, 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다.Also, for example, the object recognition model 1552 may include an object extraction model for obtaining a visual feature value of an object in the target image and an object identification model for obtaining an identification value of an object in the target image. In this case, the object recognition module 1520 may obtain a visual feature value of an object output from the object extraction model by applying the target image to the object extraction model. Also, the object recognition module 1520 may obtain an object identification value output from the object identification model by applying the visual feature value of the object to the object identification model. Also, the object recognition module 1520 may match the identification value of the object to the visual feature value of the object. For example, the object recognition module 1520 may match the identification value of the object to the visual characteristic value of the object by labeling the identification value of the object with the visual characteristic value of the object.

또는, 예를 들어, 객체 인식 모델(1552)은 하나의 모델일 수 있으며, 이 경우, 객체 인식 모듈(1520)은 대상 이미지를 객체 인식 모델(1552)에 적용함으로써, 객체 인식 모델(1552)로부터 출력되는 객체의 식별 값 및 시각적 특징 값을 획득할 수 있다. 또한, 객체 인식 모듈(1520)는 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다. 예를 들어, 객체 인식 모듈(1520)는 객체의 식별 값을 객체의 시각적 특징 값에 라벨링함으로써, 객체의 식별 값을 객체의 시각적 특징 값에 매칭할 수 있다.Alternatively, for example, the object recognition model 1552 may be one model, and in this case, the object recognition module 1520 applies the target image to the object recognition model 1552 , thereby An identification value and a visual feature value of the output object may be acquired. Also, the object recognition module 1520 may match the identification value of the object to the visual feature value of the object. For example, the object recognition module 1520 may match the identification value of the object to the visual characteristic value of the object by labeling the identification value of the object with the visual characteristic value of the object.

또한, 객체 인식 모델(1520)은 대상 이미지의 전체에 대한 시각적 특징 값을 출력할 수 있으며, 이 경우, 대상 이미지 내의 객체의 시각적 특징 값은 대상 이미지 전체에 대한 시각적 특징 값 내에 포함될 수 있다.Also, the object recognition model 1520 may output a visual feature value for the entire target image. In this case, the visual feature value of the object in the target image may be included in the visual feature value for the entire target image.

프로세서(1600)는 저장부(1500)에 저장된 알림 메시지 생성 모듈(1525)을 실행함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다.The processor 1600 may acquire a notification message related to the image content by executing the notification message generating module 1525 stored in the storage 1500 .

알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값, 및 하나 이상의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 적용함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 영상 콘텐트에 관련된 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델일 수 있다.The notification message generating module 1525 may obtain a notification message related to the image content by applying an identification value indicating an action and identification information of one or more objects to the notification message generating model 1553 . The notification message generation model 1553 may be an artificial intelligence model trained to generate a notification message related to image content.

예를 들어, 알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값 및 하나 이상의 객체의 시각적 특징 값을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 또는, 예를 들어, 알림 메시지 생성 모듈(1525)은 액션을 나타내는 식별 값, 및 하나 이상의 객체의 시각적 특징 값과 하나 이상의 객체의 식별 값을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이 경우, 하나 이상의 객체의 식별 값은 하나 이상의 객체의 시각적 특징 값에 라벨링 될 수 있으며, 하나 이상의 객체의 식별 값이 라벨링된 하나 이상의 객체의 시각적 특징 값이 알림 메시지 생성 모델(1553)에 입력될 수 있다.For example, the notification message generating module 1525 may input an identification value representing an action and a visual characteristic value of one or more objects to the notification message generating model 1553 . Alternatively, for example, the notification message generating module 1525 may input an identification value indicating an action, a visual feature value of one or more objects, and an identification value of one or more objects to the notification message generation model 1553 . In this case, the identification values of one or more objects may be labeled with the visual feature values of the one or more objects, and the visual feature values of the one or more objects labeled with the identification values of the one or more objects are input to the notification message generation model 1553. can

또한, 예를 들어, 알림 메시지 생성 모듈(1525)은 대상 이미지 전체의 시각적 특징 값을 알림 메시지 생성 모델(1553)에 입력함으로써, 대상 이미지 내의 객체의 시각적 특징 값, 또는 객체의 식별 값이 라벨링된 객체의 시각적 특징 값이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 이 경우, 대상 이미지 전체의 시각적 특징 값은, 객체의 시각적 특징 값, 또는 객체의 식별 값이 라벨링된 객체의 시각적 특징 값을 포함할 수 있다.Also, for example, the notification message generating module 1525 inputs the visual feature value of the entire target image into the notification message generating model 1553, so that the visual feature value of the object in the target image or the identification value of the object is labeled. The visual feature value of the object may be input to the notification message generation model 1553 . In this case, the visual feature value of the entire target image may include the visual feature value of the object or the visual feature value of the object labeled with the identification value of the object.

알림 메시지 생성 모듈(1525)은 알림 메시지 생성 모델(1553)을 이용하여 알림 후보 메시지들을 획득하고, 알림 후보 메시지들을 이용하여 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은 대상 이미지들 각각에 대하여 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모듈(1525)은 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 및 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 알림 메시지 생성 모듈(1525)은 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.The notification message generation module 1525 may obtain notification candidate messages using the notification message generation model 1553 and generate a notification message using the notification candidate messages. The notification message generating module 1525 may obtain a notification candidate message for each of the target images. The notification message generation module 1525 inputs an identification value indicating an action output from the action recognition model 1551 and identification information of an object output from the object recognition model 1552 into the notification message generation model 1553, and a notification A notification candidate message output from the message generation model 1553 may be obtained. The notification message generation model 1553 may output a notification candidate message for each target image. Also, the notification message generating module 1525 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.

예를 들어, 알림 메시지 생성 모듈(1525)은, 알림 메시지를 생성하기 위하여, 제1 내지 제n 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모듈(1525)은 제1 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제1 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제1 알림 후보 메시지를 획득할 수 있다. For example, the notification message generating module 1525 may obtain first to n-th notification candidate messages to generate the notification message. The notification message generating module 1525 generates a notification message by generating a first target image, an action identification value output from the action recognition model 1551 , and identification information of objects in the first target image output from the object recognition model 1552 . The first notification candidate message may be input to the model 1553 and output from the notification message generation model 1553 may be obtained.

또한, 알림 메시지 생성 모듈(1525)은 제2 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제2 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제2 알림 후보 메시지를 획득할 수 있다. Also, the notification message generating module 1525 notifies the second target image, the identification value of the action output from the action recognition model 1551 , and identification information of objects in the second target image output from the object recognition model 1552 . It may be input to the message generation model 1553 , and a second notification candidate message output from the notification message generation model 1553 may be obtained.

또한, 알림 메시지 생성 모듈(1525)은 제n 대상 이미지, 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제n 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제n 알림 후보 메시지를 획득할 수 있다. 이 경우, 대상 이미지 내의 객체들의 식별 정보는, 객체들의 식별 값들을 포함할 수 있으며, 객체들의 식별 값들은 대상 이미지의 메타 데이터일 수 있으나, 이에 제한되지 않는다.In addition, the notification message generating module 1525 notifies the n-th target image, the identification value of the action output from the action recognition model 1551 , and identification information of objects in the n-th target image output from the object recognition model 1552 . The n-th notification candidate message may be input to the message generation model 1553 and output from the notification message generation model 1553 may be obtained. In this case, the identification information of the objects in the target image may include identification values of the objects, and the identification values of the objects may be metadata of the target image, but is not limited thereto.

또한, 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 이용하여 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 서로 비교하고, 비교 결과에 기초하여 알림 메시지를 생성할 수 있다. 예를 들어, 알림 메시지 생성 모듈(1525)은 제1 알림 후보 메시지 내지 제n 알림 후보 메시지에서 동일한 객체를 나타내는 단어의 중복 횟수에 기초하여 객체를 나타내는 단어를 결정하고, 결정된 단어에 기초하여 알림 메시지를 생성할 수 있다. 또는, 알림 메시지 생성 모듈(1525)은 알림 후보 메시지들로부터 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델(미도시)에 제1 알림 후보 메시지 및 제n 알림 후보 메시지를 입력하고, 인공지능 모델(미도시)로부터 출력되는 알림 메시지를 획득할 수 있다.Also, the notification message generating module 1525 may generate a notification message by using the first notification candidate message to the nth notification candidate message. The notification message generating module 1525 may compare the first notification candidate message to the nth notification candidate message with each other, and generate a notification message based on the comparison result. For example, the notification message generating module 1525 determines a word representing an object based on the number of repetitions of words representing the same object in the first notification candidate message to the nth notification candidate message, and a notification message based on the determined word can create Alternatively, the notification message generating module 1525 inputs the first notification candidate message and the nth notification candidate message to a trained artificial intelligence model (not shown) to generate a notification message from the notification candidate messages, and the artificial intelligence model ( It is possible to obtain a notification message outputted from (not shown).

이에 따라, 디바이스(1000)는 영상 콘텐트를 활용하여 영상 콘텐트 내의 객체의 액션을 정확하게 인식할 수 있고, 영상 콘텐트로부터 선택된 대상 이미지를 이용하여 대상 이미지 내의 객체를 효과적으로 식별할 수 있게 된다. 또한, 디바이스(1000)는 객체의 액션 및 객체의 식별 정보를 이용하여 영상 콘텐트에 관한 알림 메시지를 효율적으로 생성할 수 있으며, 영상 콘텐트에 관한 알림 메시지를 생성하기 위하여 복수의 인공지능 모델을 효율적으로 이용할 수 있게 된다.Accordingly, the device 1000 may accurately recognize an action of an object in the video content by using the video content, and effectively identify the object in the target image by using the target image selected from the video content. In addition, the device 1000 may efficiently generate a notification message about the video content by using the action of the object and the identification information of the object, and efficiently use a plurality of artificial intelligence models to generate the notification message about the video content. become available.

프로세서(1600)는 저장부(1500)에 저장된 사용자 객체 식별 모듈(1530)을 실행함으로써, 대상 이미지 내의 객체에 대한 호칭을 결정할 수 있다. 사용자 객체 식별 모듈(1530)은 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들과 비교할 수 있다. 사용자 DB(1560)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 사용자 DB(1560)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스(미도시)로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 사용자 객체 식별 모듈(1530)은 제1 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 사용자 DB(1560)에 저장된 이미지들 내의 객체들과 비교할 수 있다. 예를 들어, 사용자 객체 식별 모듈(1530)은 객체 인식 모델(1552)로부터 획득되는 객체의 식별 값 또는 시각적 특징 값 중 적어도 하나를 이용하여, 사용자 DB(1560)에 저장된 이미지들 중에서, 대상 이미지 내의 객체에 대응되는 객체를 포함하는 이미지를 검색할 수 있다. The processor 1600 may determine a name for an object in the target image by executing the user object identification module 1530 stored in the storage 1500 . The user object identification module 1530 may compare objects in the target image with images stored in the user DB 1560 . The images stored in the user DB 1560 may be images captured by the user of the device 1000 or at least one of the user's acquaintances. For example, the images stored in the user DB 1560 include an image stored in a contact of the device 1000 , an image photographed by the device 1000 , and an image received by the device 1000 from another device (not shown). may include, but is not limited to. For example, the user object identification module 1530 compares objects in the first target image with objects in images stored in the user DB 1560 , and compares objects in the second target image with images stored in the user DB 1560 . It is possible to compare objects in the fields, and objects in the third target image with objects in images stored in the user DB 1560 . For example, the user object identification module 1530 may use at least one of an object identification value or a visual feature value obtained from the object recognition model 1552 , among images stored in the user DB 1560 , within the target image. An image including an object corresponding to the object may be searched.

사용자 객체 식별 모듈(1530)은 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 사용자 객체 식별 모듈(1530)은 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 결정할 수 있다. 예를 들어, 주소록에 기초하여 객체의 호칭이 결정되거나, 객체에 대응되는 이미지의 메타 데이터에 기초하여 객체의 호칭이 결정될 수 있다.The user object identification module 1530 may determine names of objects in the target images. The user object identification module 1530 may identify the same object as the object in the target image from the image stored in the device 1000 and determine a name corresponding to the identified object. For example, the name of the object may be determined based on the address book, or the name of the object may be determined based on metadata of an image corresponding to the object.

한편, 디바이스(1000)가 다른 디바이스(미도시)로부터 영상 콘텐트 내의 객체의 호칭에 관한 정보를 수신한 경우에는, 사용자 객체 식별 모듈(1530)은 다른 디바이스(미도시)로부터 수신된 정보를 바탕으로 객체의 호칭을 결정할 수 있다. 다른 디바이스(미도시)는 다른 디바이스(미도시)의 사용자 정보를 바탕으로 영상 콘텐트 내의 객체의 호칭을 결정할 수 있으며, 영상 콘텐트를 디바이스(1000)에게 제공하면서 객체의 호칭에 관한 정보를 디바이스(1000)에게 함께 제공할 수 있다. 예를 들어, 영상 콘텐트 내의 객체의 호칭은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 다른 디바이스(미도시)는 객체의 호칭을 포함하는 메타 데이터를 영상 콘텐트와 함께 디바이스(1000)에게 전송할 수 있다. 이에 따라, 디바이스(1000)는 다른 디바이스(미도시)로부터 수신된 객체의 호칭을 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용할 수 있다.On the other hand, when the device 1000 receives information about the name of an object in the image content from another device (not shown), the user object identification module 1530 is based on the information received from the other device (not shown). You can decide the name of the object. Another device (not shown) may determine the name of the object in the image content based on user information of the other device (not shown), and provides information about the name of the object to the device 1000 while providing the image content to the device 1000 . ) can be provided together. For example, the name of the object in the image content may be included in the metadata of the image content, and another device (not shown) may transmit the metadata including the name of the object to the device 1000 together with the image content. Accordingly, the device 1000 may use the name of the object received from another device (not shown) to generate a notification message describing the image content.

이 경우, 알림 메시지 생성 모듈(1525)은, 영상 콘텐트의 액션을 나타내는 식별 값, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보 및 호칭을 알림 메시지 생성 모델(1553)에 입력함으로써, 영상 콘텐트에 관련된 알림 메시지를 생성할 수 있다. 알림 메시지 생성 모듈(1525)은, 대상 이미지, 객체의 호칭, 액션을 나타내는 식별 값, 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 또한, 알림 메시지 생성 모듈(1525)은, 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.In this case, the notification message generating module 1525 inputs an identification value indicating an action of the video content, identification information of one or more objects in the video content, and a name to the notification message generation model 1553, thereby providing a notification message related to the video content can create The notification message generating module 1525 inputs a target image, an object name, an identification value indicating an action, and object identification information into the notification message generation model 1553 , and a notification candidate output from the notification message generation model 1553 . message can be obtained. Also, the notification message generating module 1525 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.

썸네일 생성 모듈(1570)은 영상 콘텐트의 알림 메시지에 관련된 썸네일 이미지를 생성할 수 있다. 썸네일 생성 모듈(1570)은 알림 메시지에 기초하여, 대상 이미지의 일부를 잘라내어 추출함으로써 알림 메시지에 관련된 썸네일 이미지를 생성할 수 있다. 예를 들어, 알림 메시지가 “남자가 스케이트 보드를 탄다”인 경우에, 썸네일 생성 모듈(1570)은 남자 및 스케이트 보드를 포함하는 대상 이미지로부터 남자 및 스케이트 보드를 포함하는 일부 영역을 잘라냄으로써, 썸네일 이미지를 생성할 수 있다. 알림 메시지를 이용하여 대상 이미지로부터 썸네일 이미지가 생성되는 예시는 도 12에서 보다 상세히 설명하기로 한다.The thumbnail generation module 1570 may generate a thumbnail image related to a notification message of video content. The thumbnail generation module 1570 may generate a thumbnail image related to the notification message by cutting out and extracting a portion of the target image based on the notification message. For example, when the notification message is “a man rides a skateboard”, the thumbnail generation module 1570 cuts out a partial region including the man and the skateboard from the target image including the man and the skateboard, thereby creating a thumbnail You can create an image. An example of generating a thumbnail image from a target image using a notification message will be described in more detail with reference to FIG. 12 .

디바이스(1000)가 다른 디바이스(미도시)에게 영상 콘텐트를 제공하는 경우에, 사용자 객체 식별 모듈(1530)은 다른 디바이스(미도시)에게 제공될 영상 콘텐트로부터 결정된 대상 이미지 내의 객체에 관한 호칭을 결정할 수 있으며, 디바이스(1000)는 결정된 호칭에 관한 정보를 영상 콘텐트와 함께 다른 디바이스(미도시)에게 제공할 수 있다.When the device 1000 provides image content to another device (not shown), the user object identification module 1530 determines a name for an object in the target image determined from the image content to be provided to another device (not shown). Also, the device 1000 may provide information about the determined name to another device (not shown) together with the image content.

이에 따라, 디바이스(1000)는 사용자에 관련된 정보를 알림 메시지의 생성에 효과적으로 반영할 수 있으며, 영상 콘텐트에 관한 알림 메시지를 생성하기 위하여 복수의 인공지능 모델을 효율적으로 이용할 수 있게 된다.Accordingly, the device 1000 can effectively reflect user-related information in generating a notification message, and can efficiently use a plurality of artificial intelligence models to generate a notification message related to image content.

프로세서(1600)는 저장부(1500)에 저장된 트레이닝 모듈(1535)을 실행함으로써, 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 트레이닝 모듈(1535)은 알림 메시지 생성 모델(1553)의 훈련에 이용될 훈련 이미지 및 훈련 이미지를 설명하는 메시지를 획득할 수 있다. 또한, 트레이닝 모듈(1535)은 훈련 이미지를 설명하는 메시지로부터 적어도 하나의 기설정된 품사를 추출하고, 훈련 이미지 및 추출된 품사를 포함하는 데이터를 훈련 데이터로 이용함으로써 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다.The processor 1600 may train the notification message generation model 1553 by executing the training module 1535 stored in the storage 1500 . The training module 1535 may obtain a training image to be used for training the notification message generation model 1553 and a message describing the training image. In addition, the training module 1535 trains the notification message generation model 1553 by extracting at least one preset part-of-speech from a message describing the training image, and using the training image and data including the extracted part-of-speech as training data. can do it

예를 들어, 트레이닝 모듈(1535)은 훈련 이미지를 설명하는 메시지로부터 동사를 추출하고, 적어도 훈련 이미지 및 추출된 동사를 포함하는 데이터를 훈련 데이터로 이용할 수 있다. 예를 들어, 트레이닝 모듈(1535)은 훈련 이미지 및 추출된 동사를 포함하는 훈련 데이터를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)이 추출된 동사를 포함하는 메시지를 출력할 수 있도록 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 한편, 상기에서는 추출된 동사를 바탕으로 알림 메시지 생성 모델(1553)이 훈련되는 것으로 설명되었지만, 이에 제한되지 않는다. 알림 메시지 생성 모델(1553)은 다양한 품사를 바탕으로 훈련될 수도 있다.For example, the training module 1535 may extract a verb from a message describing the training image, and use data including at least the training image and the extracted verb as training data. For example, the training module 1535 inputs training data including a training image and the extracted verb to the notification message generation model 1553 , and outputs a message including the extracted verb from the notification message generation model 1553 . To do this, the notification message generation model 1553 may be trained. Meanwhile, although it has been described above that the notification message generation model 1553 is trained based on the extracted verb, the present invention is not limited thereto. The notification message generation model 1553 may be trained based on various parts of speech.

한편, 상기에서는 디바이스(1000)가 알림 메시지 생성 모델(1553)을 훈련시키는 것으로 설명되었지만, 이에 제한되지 않는다. 서버(미도시)가 알림 메시지 생성 모델(1553)을 위와 같이 훈련시키고, 디바이스(1000)는 서버(미도시)에 의해 훈련된 알림 메시지 생성 모델(1553)을 서버(미도시)로부터 수신할 수 있다. 또한, 디바이스(1000)는 서버(미도시)에 의해 업데이트된 알림 메시지 생성 모델(1553)을 서버(미도시)로부터 수신할 수 있다. Meanwhile, although it has been described that the device 1000 trains the notification message generation model 1553 above, the present invention is not limited thereto. The server (not shown) trains the notification message generation model 1553 as above, and the device 1000 may receive the notification message generation model 1553 trained by the server (not shown) from the server (not shown). have. Also, the device 1000 may receive the notification message generation model 1553 updated by the server (not shown) from the server (not shown).

트레이닝 모듈(1535)은 서버(미도시)로부터 수신된 알림 메시지 생성 모델(1553)을 업데이트하기 위하여, 알림 메시지 생성 모델(1553)을 리트레이닝할 수 있다. 이 경우, 트레이닝 모듈(1535)은 디바이스(1000)의 사용자 DB(1560)에 저장된 데이터를 이용하여 알림 메시지 생성 모델(1553)을 리트레이닝할 수 있다.The training module 1535 may retrain the notification message generation model 1553 to update the notification message generation model 1553 received from the server (not shown). In this case, the training module 1535 may retrain the notification message generation model 1553 using data stored in the user DB 1560 of the device 1000 .

트레이닝 모듈(1535)은 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 훈련시키거나, 서버(미도시)에 의해 훈련된 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 서버(미도시)로부터 수신할 수 있다. 또한, 트레이닝 모듈(1535)은 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 리트레이닝하거나, 서버(미도시)에 의해 업데이트된 액션 인식 모델(1551) 및 객체 인식 모델(1552)을 서버(미도시)로부터 수신할 수 있다.The training module 1535 trains the action recognition model 1551 and the object recognition model 1552, or trains the action recognition model 1551 and the object recognition model 1552 trained by a server (not shown) to the server (not shown). city) can be received. In addition, the training module 1535 retrains the action recognition model 1551 and the object recognition model 1552, or the action recognition model 1551 and the object recognition model 1552 updated by a server (not shown) to the server (not shown) can be received.

본 개시의 일 실시예에 의하면, 복수의 액션 인식 모델(1551)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 액션 인식 모델(1551)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스(미도시)의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 및 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 액션 인식 모델(1551)이 훈련될 수 있다. 이 경우, 객체 인식 모델(1551)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.According to an embodiment of the present disclosure, a plurality of action recognition models 1551 may be used by the device 1000 , and the plurality of action recognition models 1551 may respectively correspond to a plurality of domains. The domain indicates a field to which the video content is related, for example, the type of another device (not shown) that has transmitted the video content, the type of service using a notification message related to the video content, the type of the video content, and the category of the video content and the like may be preset. Also, the action recognition model 1551 may be trained for each domain. In this case, the object recognition model 1551 may be a model trained using a target image extracted from image content related to a corresponding domain and correct answer data corresponding thereto.

또한, 본 개시의 일 실시예에 의하면, 복수의 객체 인식 모델(1552)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 객체 인식 모델(1552)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스(미도시)의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 및 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 객체 인식 모델(1552)이 훈련될 수 있다. 이 경우, 객체 인식 모델(1552)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.Also, according to an embodiment of the present disclosure, a plurality of object recognition models 1552 may be used by the device 1000 , and the plurality of object recognition models 1552 may respectively correspond to a plurality of domains. The domain indicates a field to which the video content is related, for example, the type of another device (not shown) that has transmitted the video content, the type of service using a notification message related to the video content, the type of the video content, and the category of the video content and the like may be preset. Also, the object recognition model 1552 may be trained for each domain. In this case, the object recognition model 1552 may be a model trained using a target image extracted from image content related to a corresponding domain and correct answer data corresponding thereto.

또한, 본 개시의 일 실시예에 의하면, 복수의 알림 메시지 생성 모델(1553)이 디바이스(1000)에 의해 이용될 수 있으며, 복수의 알림 메시지 생성 모델(1553)은 복수의 도메인에 각각 대응될 수 있다. 도메인은 영상 콘텐트가 관련된 분야를 나타내며, 예를 들어, 영상 콘텐트를 전송한 다른 디바이스(미도시)의 종류, 영상 콘텐트에 관련된 알림 메시지를 이용하는 서비스의 종류, 영상 콘텐트의 종류, 영상 콘텐트의 카테고리 등에 따라 미리 설정될 수 있다. 또한, 도메인 별로 알림 메시지 생성 모델(1553)이 훈련될 수 있다. 이 경우, 객체 인식 모델(1551)은, 해당 도메인에 관련된 영상 콘텐트로부터 추출된 대상 이미지와 그에 대응되는 정답 데이터를 이용하여 훈련된 모델일 수 있다.Also, according to an embodiment of the present disclosure, a plurality of notification message generation models 1553 may be used by the device 1000 , and the plurality of notification message generation models 1553 may respectively correspond to a plurality of domains. have. The domain indicates a field to which the video content is related, for example, the type of another device (not shown) that has transmitted the video content, the type of service that uses a notification message related to the video content, the type of video content, the category of the video content, etc. may be preset accordingly. Also, the notification message generation model 1553 may be trained for each domain. In this case, the object recognition model 1551 may be a model trained using a target image extracted from image content related to a corresponding domain and correct answer data corresponding thereto.

프로세서(1600)는 저장부(1500)에 저장된 도메인 식별 모듈(1540)을 실행함으로써, 영상 콘텐트에 대응되는 도메인을 식별할 수 있다. 예를 들어, 디바이스(1000)의 도메인 식별 모듈(1540)은 영상 콘텐트를 제공한 다른 디바이스(미도시)의 식별 값에 기초하여, 다른 디바이스(미도시)에 대응되는 도메인을 영상 콘텐트의 도메인으로 식별할 수 있다. 이 경우, 다른 디바이스(미도시)에 대응되는 도메인이 미리 설정될 수 있다.The processor 1600 may identify a domain corresponding to the image content by executing the domain identification module 1540 stored in the storage 1500 . For example, the domain identification module 1540 of the device 1000 sets a domain corresponding to another device (not shown) as a domain of the image content based on the identification value of the other device (not shown) providing the image content. can be identified. In this case, a domain corresponding to another device (not shown) may be preset.

또한, 예를 들어, 도메인 식별 모듈(1540)은 영상 콘텐트의 도메인을 식별하기 위하여 훈련된 별도의 인공지능 모델(미도시)에 영상 콘텐트 또는 영상 콘텐트로부터 추출된 이미지를 입력하여, 영상 콘텐트의 도메인을 식별할 수 있다. 또한, 예를 들어, 디바이스(1000)가 텍스트 메시지를 영상 콘텐트와 함께 수신하는 경우에, 도메인 식별 모듈(1540)은 수신된 텍스트 메시지를 이용하여 영상 콘텐트의 도메인을 식별할 수도 있다. 또한, 예를 들어, 도메인 식별 모듈(1540)은 액션 인식 모델(1551)로부터 출력되는 출력 값을 이용하여 영상 콘텐트의 도메인을 결정할 수 있다. 이 경우, 도메인을 결정하는데 이용되는 액션 인식 모델(1551)은 특정 도메인에 특화되지 않은 범용의 인공지능 모델일 수 있다. Also, for example, the domain identification module 1540 inputs the video content or an image extracted from the video content to a separate artificial intelligence model (not shown) trained to identify the domain of the video content, and the domain of the video content can be identified. Also, for example, when the device 1000 receives a text message together with image content, the domain identification module 1540 may identify a domain of the image content using the received text message. Also, for example, the domain identification module 1540 may determine the domain of the image content by using an output value output from the action recognition model 1551 . In this case, the action recognition model 1551 used to determine the domain may be a general-purpose artificial intelligence model that is not specialized to a specific domain.

또한, 프로세서(1600)는 저장부(1500)에 저장된 모델 선택 모듈(1545)을 실행함으로써, 복수의 모델들 중에서 영상 콘텐트의 도메인에 대응되는 모델을 선택할 수 있다. 예를 들어, 모델 선택 모듈(1545)은 복수의 액션 인식 모델(1551) 중에서 영상 콘텐트의 도메인에 대응되는 액션 인식 모델(1551)을 선택할 수 있다. 이에 따라, 액션 인식 모듈(1510)은 선택된 액션 인식 모델(1551)을 이용하여 영상 콘텐트의 액션을 식별할 수 있게 된다. 또한, 예를 들어, 모델 선택 모듈(1545)은 복수의 객체 인식 모델(1552) 중에서 영상 콘텐트의 도메인에 대응되는 객체 인식 모델(1552)을 선택할 수 있다. 객체 인식 모듈(1520)은 모델 선택 모듈(1545)에 의해 선택된 객체 인식 모델(1552)을 이용하여 대상 이미지 내의 객체를 인식할 수 있게 된다. 또한, 예를 들어, 모델 선택 모듈(1545)은 복수의 알림 메시지 생성 모델(1553) 중에서 영상 콘텐트의 도메인에 대응되는 알림 메시지 생성 모델(1553)을 선택할 수 있다. 이에 따라, 알림 메시지 생성 모듈(1525)은 선택된 알림 메시지 생성 모델(1553)을 이용하여 영상 콘텐트를 나타내는 알림 메시지를 생성할 수 있게 된다.Also, the processor 1600 may select a model corresponding to the domain of the image content from among a plurality of models by executing the model selection module 1545 stored in the storage 1500 . For example, the model selection module 1545 may select the action recognition model 1551 corresponding to the domain of the image content from among the plurality of action recognition models 1551 . Accordingly, the action recognition module 1510 may identify an action of the image content using the selected action recognition model 1551 . Also, for example, the model selection module 1545 may select the object recognition model 1552 corresponding to the domain of the image content from among the plurality of object recognition models 1552 . The object recognition module 1520 may recognize an object in the target image using the object recognition model 1552 selected by the model selection module 1545 . Also, for example, the model selection module 1545 may select the notification message generation model 1553 corresponding to the domain of the image content from among the plurality of notification message generation models 1553 . Accordingly, the notification message generating module 1525 may generate a notification message indicating the video content by using the selected notification message generation model 1553 .

사용자 DB(1560)는 연락처 DB(1561) 및 이미지 DB(1562)를 포함할 수 있다. 연락처 DB(1561)는 사용자의 지인들의 연락처에 관한 정보를 저장할 수 있다. 예를 들어, 연락처 DB(1561)는 사용자의 지인의 호칭 및 지인의 이미지를 저장할 수 있다. 또한, 이미지 DB(1562)는 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지를 저장할 수 있다. 예를 들어, 이미지 DB(1562)에 저장된 이미지는, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 및 디바이스(1000)가 다른 디바이스(미도시) 또는 서버(미도시)로부터 수신한 이미지를 포함할 수 있다. 예를 들어, 이미지 DB(1562)에 저장된 이미지는 이미지 내의 객체의 호칭에 관한 메타 데이터를 포함할 수 있다.The user DB 1560 may include a contact DB 1561 and an image DB 1562 . The contact DB 1561 may store information about contact information of acquaintances of the user. For example, the contact DB 1561 may store the name of the user's acquaintance and an image of the acquaintance. Also, the image DB 1562 may store an image captured by the user or at least one of the user's acquaintances. For example, the image stored in the image DB 1562 includes an image stored in the contact information of the device 1000 , an image photographed by the device 1000 , and a device (not shown) or a server (not shown) in which the device 1000 is another device (not shown). may include images received from the city). For example, the image stored in the image DB 1562 may include metadata regarding the name of an object in the image.

한편, 상기에서는 디바이스(1000)가 다른 디바이스(미도시)로부터 영상 콘텐트를 수신하여 알림 메시지를 생성하는 것으로 설명되었지만, 이에 제한되지 않는다. 다른 디바이스(미도시)는 서버(미도시)에게 영상 콘텐트를 제공하고, 서버(미도시)가 영상 콘텐트에 관련된 알림 메시지를 생성하여 알림 메시지를 디바이스(1000)에게 전송할 수 있다. 이 경우, 디바이스(1000)는 알림 메시지를 수신하는 조건을 설정할 수 있다. 예를 들어, 영상 콘텐트 내에 특정 객체가 포함되는 경우, 영상 콘텐트 내의 객체가 특정 액션을 행하는 경우, 및 영상 콘텐트가 특정 도메인에 관련된 경우에, 서버(미도시)로부터 서버(미도시)에 의해 생성된 알림 메시지를 수신할 것을 설정할 수 있다. 또한, 이 경우, 서버(미도시)는 도 2에 도시된 디바이스(1000)의 저장부(1500)에 저장된 모듈들 및 모델들과 동일한 역할을 수행하는 모듈들 및 모델들을 포함할 수 있다.Meanwhile, although it has been described above that the device 1000 generates a notification message by receiving image content from another device (not shown), the present invention is not limited thereto. Another device (not shown) may provide image content to a server (not shown), the server (not shown) may generate a notification message related to the image content and transmit the notification message to the device 1000 . In this case, the device 1000 may set a condition for receiving the notification message. For example, when a specific object is included in the video content, when the object in the video content performs a specific action, and when the video content is related to a specific domain, generated by a server (not shown) from a server (not shown) You can set to receive notification messages. Also, in this case, the server (not shown) may include modules and models that perform the same role as the modules and models stored in the storage unit 1500 of the device 1000 illustrated in FIG. 2 .

또는, 예를 들어, 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570) 및 인공지능 모델(1550) 중 적어도 일부의 역할이 서버(미도시)에 의해 수행될 수 있다. 이 경우, 디바이스(1000)는 액션 인식 모듈(1510), 대상 이미지 결정 모듈(1515), 객체 인식 모듈(1520), 알림 메시지 생성 모듈(1525), 사용자 객체 식별 모듈(1530), 트레이닝 모듈(1535), 도메인 식별 모듈(1540), 모델 선택 모듈(1545), 썸네일 생성 모듈(1570) 및 인공지능 모델(1550) 중 적어도 일부의 기능을 서버(미도시)가 수행하는데 필요한 정보를 서버(미도시)와 송수신할 수 있다.Or, for example, an action recognition module 1510, a target image determination module 1515, an object recognition module 1520, a notification message generation module 1525, a user object identification module 1530, a training module 1535, At least some of the roles of the domain identification module 1540 , the model selection module 1545 , the thumbnail generation module 1570 , and the artificial intelligence model 1550 may be performed by a server (not shown). In this case, the device 1000 includes an action recognition module 1510 , a target image determination module 1515 , an object recognition module 1520 , a notification message generating module 1525 , a user object identification module 1530 , and a training module 1535 . ), domain identification module 1540, model selection module 1545, thumbnail generation module 1570, and artificial intelligence model 1550 information necessary for the server (not shown) to perform at least some of the functions of the server (not shown). ) can be sent and received.

도 3은 본 개시의 일 실시예에 따른 영상 콘텐트 및 대상 이미지들을 설명하기 위한 도면이다.3 is a diagram for explaining video content and target images according to an embodiment of the present disclosure.

도 3을 참조하면, 영상 콘텐트는 복수의 프레임 이미지들을 포함하는 비디오 콘텐트(30)일 수 있으며, 비디오 콘텐트는 두 명의 남자가 스케이트 보드를 타는 프레임 이미지들을 포함할 수 있다. 또한, 비디오 콘텐트(30) 내의 프레임 이미지들 중에서 대상 이미지들(32)이 선택될 수 있다. 대상 이미지들(32)은 기 설정된 기준에 따라 선택될 수 있다. 예를 들어, 비디오 콘텐트(30)로부터 기설정된 프레임 간격에 따라 대상 이미지(34), 대상 이미지(35) 및 대상 이미지(36)가 추출될 수 있다. 또는, 예를 들어, 비디오 콘텐트(30) 내의 객체들이 변경되는 경우에 변경된 객체를 포함하는 대상 이미지들(32)이 비디오 콘텐트(30)로부터 추출될 수 있다.Referring to FIG. 3 , the video content may be video content 30 including a plurality of frame images, and the video content may include frame images of two men riding skateboards. Also, target images 32 may be selected from among frame images in the video content 30 . The target images 32 may be selected according to a preset criterion. For example, the target image 34 , the target image 35 , and the target image 36 may be extracted from the video content 30 according to a preset frame interval. Alternatively, for example, when objects in the video content 30 are changed, target images 32 including the changed object may be extracted from the video content 30 .

도 4는 본 개시의 일 실시예에 따른 액션 인식 모델(1551)을 통해 영상 콘텐트 내의 객체의 액션이 식별되는 예시를 나타내는 도면이다.4 is a diagram illustrating an example in which an action of an object in image content is identified through an action recognition model 1551 according to an embodiment of the present disclosure.

도 4를 참조하면, 액션 인식 모델(1551)에는 영상 콘텐트가 입력될 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 액션 인식 모델(1551)에는 비디오 콘텐트가 입력될 수 있다. 예를 들어, 비디오 콘텐트 내의 모든 프레임 이미지들이 액션 인식 모델(1551)에 입력될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 복수의 이미지들의 세트가 액션 인식 모델(1551)에 입력될 수 있다. 예를 들어, 영상 콘텐트의 파일이 액션 인식 모델(1551)에 입력되거나 영상 콘텐트로부터 획득되는 특징 데이터가 액션 인식 모델(1551)에 입력됨으로써, 영상 콘텐트가 액션 인식 모델(1551)에 입력될 수 있다.Referring to FIG. 4 , image content may be input to the action recognition model 1551 . When the image content is video content, the video content may be input to the action recognition model 1551 . For example, all frame images in the video content may be input to the action recognition model 1551 . Alternatively, when the image content is a set of a plurality of images, the set of the plurality of images may be input to the action recognition model 1551 . For example, the image content may be input to the action recognition model 1551 by inputting a file of image content to the action recognition model 1551 or feature data obtained from the image content being input to the action recognition model 1551 . .

또한, 액션 인식 모델(1551)은 영상 콘텐트 내의 객체들의 액션을 출력할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 액션 인식 모델(1551)은 비디오 콘텐트 내의 프레임 이미지들 별로 인식된 객체의 액션들을 바탕으로 비디오 콘텐트 내의 객체의 액션을 나타내는 액션의 식별 값을 출력할 수 있다. 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 액션 인식 모델(1551)은 복수의 이미지들 별로 인식된 객체의 액션들을 바탕으로 복수의 이미지들의 세트 내의 객체의 액션을 나타내는 액션의 식별 값을 출력할 수 있다. 객체의 액션을 나타내는 액션의 식별 값은 텍스트 형식을 데이터일 수 있다.Also, the action recognition model 1551 may output actions of objects in the image content. When the video content is video content, the action recognition model 1551 may output an action identification value indicating an action of an object in the video content based on the actions of the object recognized for each frame image in the video content. When the video content is a set of a plurality of images, the action recognition model 1551 outputs an identification value of an action indicating an action of an object in a set of a plurality of images based on the actions of the object recognized for each of the plurality of images. can The identification value of the action representing the action of the object may be data in text format.

도 5는 본 개시의 일 실시예에 따른 비디오 콘텐트 내의 사람들의 액션이 식별되는 예시를 나타내는 도면이다.5 is a diagram illustrating an example in which actions of people in video content are identified according to an embodiment of the present disclosure.

도 5를 참조하면, 비디오 콘텐트(30)가 액션 인식 모델에 입력될 수 있다. 비디오 콘텐트(30)는 두 명의 남자들이 스케이트 보드를 타는 프레임 이미지들이 포함될 수 있다. 이 경우, 액션 인식 모델(1551)은 비디오 콘텐트(30) 내의 남자들의 액션을 나타내는 액션의 식별 값인 “Riding”을 출력할 수 있다.Referring to FIG. 5 , video content 30 may be input to an action recognition model. The video content 30 may include frame images of two men riding skateboards. In this case, the action recognition model 1551 may output “Riding” which is an identification value of an action representing an action of men in the video content 30 .

도 6a는 본 개시의 일 실시예에 따른 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.6A is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 according to an embodiment of the present disclosure.

도 6a를 참조하면, 객체 인식 모델(1552)에는 대상 이미지가 입력되고, 객체 인식 모델(1552)로부터 객체의 식별 정보가 출력될 수 있다. 예를 들어, 객체의 식별 정보는 객체의 식별 값 또는 객체의 시각적 특징 값 중 적어도 하나를 포함할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 객체 인식 모델(1552)은 대상 이미지 내의 인물, 사물 및 배경의 식별 값 및/또는 시각적 특징 값을 출력할 수 있다. 또한, 예를 들어, 대상 이미지의 파일이 객체 인식 모델(1552)에 입력되거나 대상 이미지로부터 획득되는 특징 데이터가 객체 인식 모델(1552)에 입력됨으로써, 대상 이미지가 객체 인식 모델(1552)에 입력될 수 있다.Referring to FIG. 6A , a target image may be input to the object recognition model 1552 , and identification information of an object may be output from the object recognition model 1552 . For example, the object identification information may include at least one of an object identification value and a visual feature value of the object. The object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image. The device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 . For example, the object recognition model 1552 may output an identification value and/or a visual feature value of a person, an object, and a background in the target image. Also, for example, a file of the target image is input to the object recognition model 1552 , or feature data obtained from the target image is input to the object recognition model 1552 , so that the target image is input to the object recognition model 1552 . can

도 6b는 본 개시의 일 실시예에 따른 복수의 인공지능 모델을 포함하는 객체 인식 모델(1552)을 통해 대상 이미지 내의 객체가 식별되는 예시를 나타내는 도면이다.6B is a diagram illustrating an example in which an object in a target image is identified through an object recognition model 1552 including a plurality of artificial intelligence models according to an embodiment of the present disclosure.

도 6b를 참조하면, 객체 인식 모델(1552) 내의 객체 추출 모델(1552-1)에 대상 이미지가 입력되고, 객체 추출 모델(1552-1)로부터 대상 이미지 내의 객체의 시각적 특징 값이 출력될 수 있다. 객체 추출 모델(1552-1)은 대상 이미지 내의 객체를 추출하기 위하여 훈련된 인공지능 모델일 수 있다. 또한, 객체 추출 모델(1552-1)로부터 출력된 객체의 시각적 특징 값이 객체 식별 모델(1552-2)로 입력되고, 객체 식별 모델(1552-2)로부터 객체의 식별 값이 출력될 수 있다. 객체 식별 모델(1552-2)은 객체의 시각적 특징 값으로부터 객체의 식별 값을 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 이에 따라, 객체 인식 모델(1552)로부터 객체의 시각적 특징 값 및 객체의 식별 값이 출력될 수 있으며, 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다.Referring to FIG. 6B , a target image may be input to the object extraction model 1552-1 in the object recognition model 1552 , and visual feature values of objects in the target image may be output from the object extraction model 1552-1. . The object extraction model 1552-1 may be an artificial intelligence model trained to extract an object in the target image. Also, a visual feature value of an object output from the object extraction model 1552-1 may be input to the object identification model 1552-2, and an object identification value may be output from the object identification model 1552-2. The object identification model 1552 - 2 may be an artificial intelligence model trained to identify an object identification value from a visual feature value of the object. Accordingly, the visual characteristic value of the object and the identification value of the object may be output from the object recognition model 1552 , and the identification value of the object may be labeled with the visual characteristic value of the object.

도 7은 본 개시의 일 실시예에 따른 대상 이미지 별로 객체들의 식별 정보가 획득되는 예시를 나타내는 도면이다.7 is a diagram illustrating an example in which identification information of objects is obtained for each target image according to an embodiment of the present disclosure.

도 7을 참조하면, 대상 이미지(34), 대상 이미지(35) 및 대상 이미지(36)이 객체 인식 모델(1552)에 입력될 수 있다. 또한, 대상 이미지(34) 내의 객체들의 식별 값인 man, man, skateboard, skateboard, street가 객체 인식 모델(1552)로부터 출력되고, 대상 이미지(35) 내의 객체들의 식별 값인 boy, boy, skateboard, skateboard, street가 객체 인식 모델(1552)로부터 출력되고, 대상 이미지(36) 내의 객체들의 식별 값인 boy, skateboard, street가 객체 인식 모델(1552)로부터 출력될 수 있다.Referring to FIG. 7 , a target image 34 , a target image 35 , and a target image 36 may be input to the object recognition model 1552 . In addition, man, man, skateboard, skateboard, street, which are identification values of objects in the target image 34, are output from the object recognition model 1552, and boy, boy, skateboard, skateboard, which are identification values of objects in the target image 35, A street may be output from the object recognition model 1552 , and boy, skateboard, and street, which are identification values of objects in the target image 36 , may be output from the object recognition model 1552 .

또한, 객체 인식 모델(1552)로부터, 대상 이미지(34) 내의 객체들의 시각적 특징 값들, 대상 이미지(35) 내의 객체들의 시각적 특징 값들, 및 대상 이미지(36) 내의 객체들의 시각적 특징 값들이 각각 출력될 수 있다. 또한, 객체들의 식별 값들은 객체들의 시각적 특징 값들에 각각 라벨링될 수 있다.In addition, from the object recognition model 1552 , visual feature values of objects in the target image 34 , visual feature values of objects in the target image 35 , and visual feature values of objects in the target image 36 are to be output, respectively. can Also, the identification values of the objects may be respectively labeled with the visual feature values of the objects.

도 8은 본 개시의 일 실시예에 따른 알림 메시지 생성 모듈(1525)을 통해 알림 메시지가 생성되는 예시를 나타내는 도면이다.8 is a diagram illustrating an example of generating a notification message through the notification message generating module 1525 according to an embodiment of the present disclosure.

도 8을 참조하면, 액션 인식 모델(1551)로부터 출력된 객체의 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보가 알림 메시지 생성 모델(1553)로 입력될 수 있다. 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(34) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(34) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “man, man, skateboard, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.Referring to FIG. 8 , an identification value indicating an action of an object output from the action recognition model 1551 and identification information of an object output from the object recognition model 1552 may be input to the notification message generation model 1553 . For example, “riding” indicating an action output from the action recognition model 1551 and visual characteristic values of objects in the target image 34 may be input to the notification message generation model 1553 . Or, for example, “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 34, along with the identification values of the objects “man, man, skateboard, skateboard, street” may be additionally input to the notification message generation model 1553 .

또한, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 대상 이미지(35) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(35) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “boy, boy, skateboard, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.Also, for example, “riding” indicating an action output from the action recognition model 1551 and visual characteristic values of objects in the target image 35 may be input to the notification message generation model 1553 . Or, for example, “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 35, “boy, boy, skateboard, skateboard, street” may be additionally input to the notification message generation model 1553 .

또한, 예를 들어, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 대상 이미지(36) 내의 객체들의 시각적 특징 값들이 알림 메시지 생성 모델(1553)에 입력될 수 있다. 또는, 예를 들어, 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 “riding”, 및 대상 이미지(36) 내의 객체들의 시각적 특징 값들과 함께, 객체들의 식별 값인 “boy, skateboard, street”가 추가적으로 알림 메시지 생성 모델(1553)에 입력될 수 있다.Also, for example, “riding” indicating an action output from the action recognition model 1551 , and visual characteristic values of objects in the target image 36 may be input to the notification message generation model 1553 . . Or, for example, “riding” indicating the action output from the action recognition model 1551, and the visual feature values of the objects in the target image 36, along with the identification values of the objects “boy, skateboard, street” are additionally added It may be input to the notification message generation model 1553 .

또한, 알림 메시지 생성 모델(1553)로부터 대상 이미지(34)에 대응되는 알림 후보 메시지, 대상 이미지(35)에 대응되는 알림 후보 메시지 및 대상 이미지(36)에 대응되는 알림 후보 메시지가 각각 출력될 수 있다.In addition, a notification candidate message corresponding to the target image 34, a notification candidate message corresponding to the target image 35, and a notification candidate message corresponding to the target image 36 may be output from the notification message generation model 1553, respectively. have.

도 8에서는 복수의 대상 이미지들이 알림 메시지 생성 모델(1553)에 각각 입력되는 것으로 설명되었지만, 하나의 대상 이미지만이 알림 메시지를 생성하는데 이용되는 경우에는, 하나의 대상 이미지로부터 알림 메시지 생성 모델(1553)로부터 생성되는 알림 후보 메시지가 알림 메시지로 결정될 수 있다.Although it has been described in FIG. 8 that a plurality of target images are respectively input to the notification message generation model 1553, when only one target image is used to generate the notification message, the notification message generation model 1553 from one target image ) may be determined as a notification message generated from the notification candidate message.

도 9는 본 개시의 일 실시예에 따른 복수의 알림 후보 메시지로부터 알림 메시지가 생성되는 예시를 나타내는 도면이다.9 is a diagram illustrating an example of generating a notification message from a plurality of notification candidate messages according to an embodiment of the present disclosure.

도 9를 참조하면, 대상 이미지(34)에 대응되는 액션의 식별 값이 ‘riding’이고, 대상 이미지(34) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 ‘man, man, skateboard, skateboard, street’일 수 있다. 대상 이미지(34)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.”가 획득될 수 있다.Referring to FIG. 9 , the identification value of the action corresponding to the target image 34 is 'riding', and the identification values of the objects among the identification information of the objects in the target image 34 are 'man, man, skateboard, skateboard, street. ' can be When the identification value of the action corresponding to the target image 34 and the identification information of the objects are input to the notification message generation model 1553, the first notification candidate message “A couple of men riding skateboards down a street.” can

또한, 대상 이미지(35)에 대응되는 액션의 식별 값이 ‘riding’이고, 대상 이미지(35) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 ‘boy, boy, skateboard, skateboard, street’일 수 있다. 대상 이미지(35)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.”가 획득될 수 있다.In addition, the identification value of the action corresponding to the target image 35 is 'riding', and the identification values of the objects among the identification information of the objects in the target image 35 may be 'boy, boy, skateboard, skateboard, street'. . When the identification value of the action corresponding to the target image 35 and the identification information of the objects are input to the notification message generation model 1553, the second notification candidate message “Two young men riding skateboards down a street.” can be obtained. have.

또한, 대상 이미지(36)에 대응되는 액션의 식별 값이 ‘riding’이고, 대상 이미지(36) 내의 객체들의 식별 정보 중에서 객체들의 식별 값들이 ‘boy, skateboard, street’일 수 있다. 대상 이미지(36)에 대응되는 액션의 식별 값 및 객체들의 식별 정보가 알림 메시지 생성 모델(1553)에 입력되면, 제3 알림 후보 메시지인 “A young man riding skateboard on a street.”가 획득될 수 있다.Also, the identification value of the action corresponding to the target image 36 may be 'riding', and the identification values of the objects among the identification information of the objects in the target image 36 may be 'boy, skateboard, street'. When the identification value of the action corresponding to the target image 36 and the identification information of the objects are input to the notification message generation model 1553, a third notification candidate message “A young man riding skateboard on a street.” can be obtained. have.

대상 이미지들 각각으로부터 생성되는 알림 후보 메시지들이 비교될 수 있으며, 비교 결과에 기초하여 알림 메시지가 생성될 수 있다. 예를 들어, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.” 내의 워드들, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.” 내의 워드들, 및 제3 알림 후보 메시지인 “A young man riding skateboard on a street.” 내의 워드들이 서로 비교될 수 있으며, 같은 대상을 나타내는 워드가 중복되는 횟수에 기초하여, 알림 메시지에 포함될 워드가 결정될 수 있다. 또한, 비교 결과에 기초하여, “Two young men riding skateboards down a street.”라는 알림 메시지가 생성될 수 있다.Notification candidate messages generated from each of the target images may be compared, and a notification message may be generated based on the comparison result. For example, the first notification candidate message “A couple of men riding skateboards down a street.” Words within, the second notification candidate message “Two young men riding skateboards down a street.” the words within, and the third notification candidate message “A young man riding skateboard on a street.” Words in the contents may be compared with each other, and a word to be included in the notification message may be determined based on the number of times that words representing the same object are duplicated. Also, based on the comparison result, a notification message “Two young men riding skateboards down a street.” may be generated.

또는, 예를 들어, 알림 메시지 생성 모듈(1525)은 알림 후보 메시지들로부터 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델(미도시)을 이용하여 알림 메시지를 생성할 수 있다. 이 경우, 제1 알림 후보 메시지인 “A couple of men riding skateboards down a street.”, 제2 알림 후보 메시지인 “Two young men riding skateboards down a street.”, 및 제3 알림 후보 메시지인 “A young man riding skateboard on a street.” 가 인공지능 모델(미도시)에 입력되고, “Two young men riding skateboards down a street.”라는 알림 메시지가 인공지능 모델(미도시)로부터 출력될 수 있다.Alternatively, for example, the notification message generating module 1525 may generate a notification message by using a trained artificial intelligence model (not shown) to generate a notification message from the notification candidate messages. In this case, the first notification candidate message “A couple of men riding skateboards down a street.”, the second notification candidate message “Two young men riding skateboards down a street.”, and the third notification candidate message “A young man riding skateboard on a street.” is input to the AI model (not shown), and a notification message “Two young men riding skateboards down a street.” may be output from the AI model (not shown).

도 10a는 본 개시의 일 실시예에 따른 사용자 정보를 고려하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.10A is a diagram illustrating an example of generating a notification message in consideration of user information according to an embodiment of the present disclosure.

도 10a를 참조하면, 디바이스(1000)는 사용자 정보를 고려하여 알림 메시지를 생성하는 기능을 활성화 또는 비활성화할 수 있다. 사용자 정보를 고려하여 알림 메시지를 생성하는 기능이 활성화된 경우에, 디바이스(1000)는 대상 이미지(100) 내의 객체의 식별 정보(102) 및 대상 이미지(100)에 관련된 액션의 식별 값(104)과 함께, 사용자 정보에 기초한 대상 이미지(100) 내의 객체의 호칭(106)을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이에 따라, 알림 메시지 생성 모델(1553)로부터 “Mother cleans the floor in front of a television”이라는 메시지가 출력될 수 있다.Referring to FIG. 10A , the device 1000 may activate or deactivate a function of generating a notification message in consideration of user information. When the function of generating a notification message in consideration of user information is activated, the device 1000 determines the identification information 102 of the object in the target image 100 and the identification value 104 of the action related to the target image 100 . In addition, the name 106 of the object in the target image 100 based on user information may be input to the notification message generation model 1553 . Accordingly, a message “Mother cleans the floor in front of a television” may be output from the notification message generation model 1553 .

또한, 사용자 정보를 고려하여 알림 메시지를 생성하는 기능이 비활성화된 경우에, 디바이스(1000)는 대상 이미지(100) 내의 객체의 식별 정보(104) 및 대상 이미지(100)에 관련된 액션의 식별 값(104)을 알림 메시지 생성 모델(1553)에 입력할 수 있다. 이 경우, 디바이스(1000)는 사용자 정보에 기초한 대상 이미지(100) 내의 객체의 호칭(106)을 알림 메시지 생성 모델(1553)에 입력하지 않을 수 있다. 이에 따라, 알림 메시지 생성 모델(1553)로부터 “A woman cleans the floor in front of a television”이라는 메시지가 출력될 수 있다.In addition, when the function of generating a notification message in consideration of user information is deactivated, the device 1000 determines the identification information 104 of the object in the target image 100 and the identification value of the action related to the target image 100 ( 104 ) may be input to the notification message generation model 1553 . In this case, the device 1000 may not input the name 106 of the object in the target image 100 based on user information into the notification message generation model 1553 . Accordingly, the message “A woman cleans the floor in front of a television” may be output from the notification message generation model 1553 .

도 10b는 본 개시의 일 실시예에 따른 알림 메시지의 생성에 관련된 설정을 위한 GUI를 나타내는 도면이다.10B is a diagram illustrating a GUI for setting related to generation of a notification message according to an embodiment of the present disclosure.

도 10b를 참조하면, 사용자는 알림 메시지의 생성에 관련된 설정을 위한 GUI를 이용하여, 알림 메시지를 생성하기 위하여 어떤 정보를 이용할 지를 설정할 수 있다. 예를 들어, 알림 메시지의 생성에 관련된 설정을 위한 GUI는, 객체의 식별 정보를 이용할 지에 관한 설정, 객체의 액션을 인식할 지에 관한 설정, 알림 메시지 생성에 사용자 정보를 이용할 지에 관한 설정을 위한 객체들을 포함할 수 있다.Referring to FIG. 10B , the user may set which information to use to generate the notification message by using the GUI for setting related to the generation of the notification message. For example, a GUI for setting related to generation of a notification message is an object for setting whether to use identification information of an object, setting whether to recognize an action of an object, setting whether to use user information for generating a notification message may include

예를 들어, 객체의 식별 정보를 이용할 지에 관한 설정을 위한 객체들은, 객체의 식별 정보를 이용할지 말지를 선택하기 위한 버튼 및 객체의 식별 정보를 이용하는 정도를 조절하기 위한 조절바를 포함할 수 있다.For example, the objects for setting whether to use the object identification information may include a button for selecting whether to use the object identification information and a control bar for adjusting the degree of using the object identification information.

또한, 예를 들어, 객체의 액션을 인식할 지에 관한 설정을 위한 객체들은, 객체의 액션을 인식할 지 말지를 선택하기 위한 버튼 및 객체의 액션 인식 정도를 조절하기 위한 조절바를 포함할 수 있다.Also, for example, the objects for setting whether to recognize the action of the object may include a button for selecting whether to recognize the action of the object and a control bar for adjusting the degree of recognition of the action of the object.

또한, 예를 들어, 알림 메시지 생성에 사용자 정보를 이용할 지에 관한 설정을 위한 객체들은, 알림 메시지 생성에 사용자 정보를 이용할지 말지를 선택하기 위한 버튼 및 사용자 정보의 이용 정도를 조절하기 위한 조절바를 포함할 수 있다.In addition, for example, the objects for setting whether to use user information for generating a notification message include a button for selecting whether to use user information for generating a notification message and a control bar for controlling the degree of use of user information can do.

도 11은 본 개시의 일 실시예에 따른 알림 메시지 생성 모델(1553)이 훈련되는 예시를 나타내는 도면이다.11 is a diagram illustrating an example in which a notification message generation model 1553 is trained according to an embodiment of the present disclosure.

도 11을 참조하면, 디바이스(1000)는 알림 메시지 생성 모델(1553)의 훈련에 이용될 훈련 이미지(110) 및 훈련 이미지를 설명하는 메시지(112)를 획득할 수 있다. 또한, 디바이스(1000)는 훈련 이미지를 설명하는 메시지(112)로부터 훈련 이미지 내의 객체의 액션을 나타내는 단어(114)를 추출할 수 있다. 디바이스(1000)는, 예를 들어, 규칙 기반의 구문 분석기를 이용하여 훈련 이미지를 설명하는 메시지(112)로부터 훈련 이미지 내의 객체의 액션을 나타내는 단어(114)를 추출할 수 있다. 예를 들어, 훈련 이미지 내의 객체의 액션을 나타내는 단어(114)는 동사일 수 있으나, 이에 제한되지 않는다. 디바이스(1000)는 훈련 이미지(110) 및 추출된 단어(114)를 훈련 데이터(116)로 이용함으로써, 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 예를 들어, 디바이스(1000)는 훈련 이미지(110) 및 추출된 단어(114)를 포함하는 훈련 데이터(116)를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)이 추출된 단어(114)를 포함하는 메시지(118)를 출력할 수 있도록 알림 메시지 생성 모델(1553)을 훈련시킬 수 있다. 예를 들어, 메시지(112)로부터 추출된 단어(114)가 알림 메시지 생성 모델(114)로부터 출력되는 알림 메시지 내의 동사의 위치에 배치되도록, 알림 메시지 생성 모델(114)이 훈련될 수 있다.Referring to FIG. 11 , the device 1000 may obtain a training image 110 to be used for training the notification message generation model 1553 and a message 112 describing the training image. Also, the device 1000 may extract a word 114 representing an action of an object in the training image from the message 112 describing the training image. The device 1000 may extract a word 114 representing an action of an object in the training image from the message 112 describing the training image using, for example, a rule-based parser. For example, the word 114 representing the action of the object in the training image may be a verb, but is not limited thereto. The device 1000 may train the notification message generation model 1553 by using the training image 110 and the extracted word 114 as the training data 116 . For example, the device 1000 inputs training data 116 including the training image 110 and the extracted word 114 to the notification message generation model 1553, and the notification message generation model 1553 is extracted The notification message generation model 1553 may be trained to output a message 118 including the old word 114 . For example, the notification message generation model 114 may be trained so that the word 114 extracted from the message 112 is placed at the position of a verb in the notification message output from the notification message generation model 114 .

상기에서는, 훈련 데이터(116)에 훈련 이미지(110)를 포함하는 훈련 데이터(116)를 이용하여 알림 메시지 생성 모델(1553)이 훈련되는 것으로 설명되었지만, 이에 제한되지 않는다. 예를 들어, 훈련 이미지(110) 대신에, 훈련 이미지(110) 내의 객체의 식별 정보가 훈련 데이터(116)에 포함될 수 있다. 이 경우, 메시지(114)로부터 추출된 단어(114), 및 훈련 이미지(110) 내의 객체의 식별 정보가 훈련 데이터(116)로서 알림 메시지 생성 모델(114)에 입력될 수 있다. 또한, 메시지(112)로부터 추출된 단어(114)가 알림 메시지 생성 모델(114)로부터 출력되는 알림 메시지 내의 동사의 위치에 배치되도록, 알림 메시지 생성 모델(114)이 훈련될 수 있다.In the above, it has been described that the notification message generation model 1553 is trained using the training data 116 including the training image 110 in the training data 116 , but is not limited thereto. For example, instead of the training image 110 , identification information of an object in the training image 110 may be included in the training data 116 . In this case, the word 114 extracted from the message 114 and identification information of the object in the training image 110 may be input to the notification message generation model 114 as the training data 116 . Also, the notification message generation model 114 may be trained so that the word 114 extracted from the message 112 is placed at the position of a verb in the notification message output from the notification message generation model 114 .

훈련 데이터(116)로 이용되는 훈련 이미지(110) 내의 객체의 식별 정보는 훈련 이미지(110)을 객체 인식 모델(1552)에 입력함으로써 획득될 수 있다. 또는, 디바이스(1000)는 훈련 이미지(110) 내의 객체의 식별 정보를 서버(미도시)로부터 획득할 수도 있다.Identification information of an object in the training image 110 used as the training data 116 may be obtained by inputting the training image 110 into the object recognition model 1552 . Alternatively, the device 1000 may obtain identification information of an object in the training image 110 from a server (not shown).

도 12는 본 개시의 일 실시예에 따른 디바이스(1000)가 영상 콘텐트에 관련된 썸네일 이미지를 생성하는 예시를 나타내는 도면이다.12 is a diagram illustrating an example in which the device 1000 generates a thumbnail image related to video content according to an embodiment of the present disclosure.

도 12를 참조하면, 대상 이미지로부터 알림 메시지가 생성되면, 디바이스(1000)는 알림 메시지 내의 단어, 및 대상 이미지로부터 획득된 객체들의 식별 정보를 이용하여, 대상 이미지에서 주요 객체들이 포함된 일부 영역을 잘라낼 수 있다.Referring to FIG. 12 , when a notification message is generated from a target image, the device 1000 selects a partial region including main objects in the target image using a word in the notification message and identification information of objects obtained from the target image. can be cut

예를 들어, 대상 이미지(120)으로부터 알림 메시지(122)가 생성되면, 디바이스(1000)는 알림 메시지(122) 내의 단어인 “Mother” 및 “television”을 식별하고, 객체 인식 모델(1552)을 이용하여 대상 이미지(120)로부터 획득된 객체들의 식별 정보에 기초하여, 대상 이미지(120)로부터 mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)을 식별할 수 있다. 예를 들어, 디바이스(1000)는 알림 메시지(122) 내의 물체를 나타내는 명사인 “Mother” 및 “television”를 식별하고, “Mother” 및 “television”에 대응되는 객체들을 대상 이미지(120)으로부터 식별하고, 식별된 객체들을 함께 포함하는 영역을 대상 이미지(120)로부터 잘라낼 수 있다. 예를 들어, 대상 이미지(120)로부터 획득되는 식별 정보 및 객체의 호칭을 결정하는데 이용된 사용자 정보를 이용하여 “mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)이 식별될 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)는 mother에 대응되는 영역(123) 및 television에 대응되는 영역(124)을 포함하는 영역(125)를 대상 이미지(120)로부터 잘라냄으로써 알림 메시지에 관한 썸네일 이미지(126)를 획득할 수 있다. For example, when the notification message 122 is generated from the target image 120 , the device 1000 identifies the words “Mother” and “television” in the notification message 122 , and uses the object recognition model 1552 . Based on the identification information of the objects obtained from the target image 120 using the target image 120 , the region 123 corresponding to the mother and the region 124 corresponding to the television may be identified from the target image 120 . For example, the device 1000 identifies “Mother” and “television,” which are nouns indicating an object in the notification message 122 , and identifies objects corresponding to “Mother” and “television” from the target image 120 . Then, a region including the identified objects may be cut out from the target image 120 . For example, by using identification information obtained from the target image 120 and user information used to determine the name of the object, “the region 123 corresponding to mother and the region 124 corresponding to television can be identified. However, it is not limited thereto. Also, the device 1000 cuts out the area 125 including the area 123 corresponding to the mother and the area 124 corresponding to the television from the target image 120 to generate the thumbnail image 126 for the notification message. can be obtained

도 13은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스(미도시)와 영상 콘텐트를 공유하는 예시를 나타내는 도면이다.13 is a diagram illustrating an example in which the device 1000 shares image content with another device (not shown) according to an embodiment of the present disclosure.

도 13을 참조하면, 디바이스(1000)는 디바이스(1000)에 저장된 복수의 이미지들 중에서, 동일 또는 유사한 액션에 관련된 이미지들의 그룹을 다른 디바이스(미도시)와 공유하기 위한 알림 메시지를 제공할 수 있다. Referring to FIG. 13 , the device 1000 may provide a notification message for sharing a group of images related to the same or similar action among a plurality of images stored in the device 1000 with another device (not shown). .

디바이스(1000)는 디바이스(1000)에 저장된 복수의 이미지들 중에서 특정 인물이 특정 액션을 하는 장면이 촬영된 이미지들을 선택하고, 특정 인물에게 선택된 이미지들을 제공하기 위한 알림 메시지를 생성할 수 있다.The device 1000 may select images of a scene in which a specific person performs a specific action from among a plurality of images stored in the device 1000 , and may generate a notification message for providing the selected images to the specific person.

디바이스(1000)는 선택된 이미지들 각각에 대하여, 선택된 이미지 내의 객체에 관련된 액션, 및 선택된 이미지 내의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 입력함으로써, 선택된 이미지들에 관련된 알림 후보 메시지들을 획득하고, 알림 후보 메시지들로부터 알림 메시지를 획득할 수 있다.The device 1000 obtains notification candidate messages related to the selected images by inputting an action related to the object in the selected image and identification information of the object in the selected image to the notification message generation model 1553 for each of the selected images. and obtain a notification message from the notification candidate messages.

예를 들어, 디바이스(1000)는 갤러리 애플리케이션을 통해 디바이스(1000)에 저장된 이미지들(130, 132, 134, 136) 중에서, 엄마가 청소를 하는 장면이 촬영된 이미지들(130, 132, 134)을 선택하고, 선택된 이미지들을 설명하는 알림 메시지를 생성할 수 있다. 예를 들어, 디바이스(1000)는 “Mother cleans the floor in front of a television.”을 생성할 수 있다.For example, from among the images 130 , 132 , 134 , and 136 stored in the device 1000 through the gallery application, the device 1000 includes images 130 , 132 , 134 of a mother cleaning scene. and create a notification message describing the selected images. For example, the device 1000 may generate “Mother cleans the floor in front of a television.”

또한, 디바이스(1000)는 선택된 이미지들 내의 인물과 선택된 이미지들을 공유하도록 하기 위한 GUI를 디바이스(1000)의 사용자에게 제공할 수 있다. 예를 들어, 선택된 이미지들을 공유하기 위한 GUI는, 선택된 이미지들이 표시되는 영역, 수신자가 표시되는 영역 및 메시지가 표시되는 영역들 포함할 수 있으나, 이에 제한되지 않는다.Also, the device 1000 may provide the user of the device 1000 with a GUI for sharing the selected images with a person in the selected images. For example, the GUI for sharing the selected images may include, but is not limited to, an area in which the selected images are displayed, an area in which a receiver is displayed, and an area in which a message is displayed.

도 14는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다.14 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.

동작 S1400에 디바이스(1000)는 복수의 이미지들을 포함하는 영상 콘텐트를 획득할 수 있다. 디바이스(1000)는 다른 디바이스(미도시)로부터 전송된 영상 콘텐트를 다른 디바이스(미도시)로부터 수신할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에 영상 콘텐트 내의 복수의 이미지들은 비디오 콘텐트 내의 복수의 프레임 이미지일 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스(미도시)로부터 영상 콘텐트를 수신할 수 있다. 커뮤니케이션 애플리케이션은, 예를 들어, 채팅 애플리케이션 및 메시지 애플리케이션을 포함할 수 있다. In operation S1400 , the device 1000 may acquire image content including a plurality of images. The device 1000 may receive image content transmitted from another device (not shown) from another device (not shown). For example, the video content may be video content or a set of a plurality of images. When the video content is video content, a plurality of images in the video content may be a plurality of frame images in the video content. The device 1000 may receive image content from another device (not shown) through, for example, a communication application installed in the device 1000 . Communication applications may include, for example, chat applications and messaging applications.

동작 S1410에서 디바이스(1000)는 영상 콘텐트를 액션 인식 모델(1551)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체에 관련된 액션을 식별할 수 있다. 액션 인식 모델(1551)은 영상 콘텐트 내의 객체에 관련된 액션을 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 전체 비디오 콘텐트 또는 비디오 콘텐트 내의 특정 장면에 관련된 프레임들을 액션 인식 모델(1551)에 적용함으로써, 비디오 콘텐트 내의 프레임들을 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들의 세트를 액션 인식 모델(1551)에 적용함으로써, 복수의 이미지들의 세트를 바탕으로 판단되는 객체들의 액션을 식별할 수 있다. 영상 콘텐트 내의 객체에 관련된 액션은, 예를 들어, riding, cleaning, 생일 파티 등을 포함할 수 있으나, 이에 제한되지 않는다.In operation S1410 , the device 1000 may identify an action related to one or more objects in the image content by applying the image content to the action recognition model 1551 . The action recognition model 1551 may be an artificial intelligence model trained to identify an action related to an object in image content. When the video content is video content, the device 1000 applies the entire video content or frames related to a specific scene in the video content to the action recognition model 1551, so that the action of objects determined based on the frames in the video content. can be identified. When the video content is a set of a plurality of images, the device 1000 applies the set of the plurality of images to the action recognition model 1551 to identify actions of objects determined based on the set of the plurality of images. have. The action related to the object in the video content may include, for example, riding, cleaning, a birthday party, etc., but is not limited thereto.

동작 S1420에서 디바이스(1000)는 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 이 경우, 비디오 콘텐트 내의 장면이 변경되는지 및 비디오 콘텐트 내의 객체가 변경되는 지는 액션 인식 모델(1551)로부터 출력되는 출력 값을 바탕으로 판단될 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.In operation S1420, the device 1000 may determine one or more target images to be used to identify one or more objects in the image content. When the video content is video content, the device 1000 may extract a target image from among frame images in the video content. For example, the device 1000 may extract target images according to a preset interval from frame images in the video content. Or, for example, when a scene in the video content is changed or an object in the video content is changed, the device 1000 may extract a frame image corresponding to the changed scene or a frame image including the changed object as a target image. have. In this case, whether a scene in the video content is changed or an object in the video content is changed may be determined based on an output value output from the action recognition model 1551 . Alternatively, when the image content is a set of a plurality of images, the device 1000 may determine at least a portion of the plurality of images as the target image.

동작 S1430에서 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 디바이스(1000)는 대상 이미지 내의 인물, 사물 및 배경의 식별 정보를 획득할 수 있다. 또한, 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써, 영상 콘텐트 내의 하나 이상의 객체의 식별 값 및 시각적 특징 값 중 적어도 하나를 획득할 수 있다. 객체의 시각적 특징 값은, 대상 이미지 내에서 객체가 위치한 영역의 특징 값일 수 있다. 또한, 대상 이미지에 포함된 객체의 식별 값은 객체의 시각적 특징 값에 라벨링될 수 있다.In operation S1430 , the device 1000 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 . The object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image. The device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 . For example, the device 1000 may obtain identification information of a person, an object, and a background in the target image. Also, the device 1000 may obtain at least one of an identification value and a visual feature value of one or more objects in the image content by applying the target image to the object recognition model 1552 . The visual feature value of the object may be a feature value of a region where the object is located in the target image. Also, the identification value of the object included in the target image may be labeled with the visual feature value of the object.

동작 S1440에서 디바이스(1000)는 액션을 나타내는 식별 값 및 하나 이상의 객체의 식별 정보를 알림 메시지 생성 모델(1553)에 적용함으로써, 영상 콘텐트에 관련된 알림 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 영상 콘텐트에 관련된 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델일 수 있다. In operation S1440 , the device 1000 may obtain a notification message related to the image content by applying the identification value indicating the action and identification information of one or more objects to the notification message generation model 1553 . The notification message generation model 1553 may be an artificial intelligence model trained to generate a notification message related to image content.

예를 들어, 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보, 및 대상 이미지를 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. For example, the device 1000 may transmit an identification value indicating an action output from the action recognition model 1551 , identification information of an object output from the object recognition model 1552 , and a target image to the notification message generation model 1553 . It is possible to obtain a notification candidate message that is input and output from the notification message generation model 1553 .

알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 디바이스(1000)는 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.The notification message generation model 1553 may output a notification candidate message for each target image. Also, the device 1000 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.

동작 S1450에서 디바이스(1000)는 알림 메시지를 출력할 수 있다. 커뮤니케이션 애플리케이션을 통하여 영상 콘텐트가 수신되면, 수신된 영상 콘텐트를 설명하는 알림 메시지가 디바이스(1000)의 화면 상에 디스플레이될 수 있다. 예를 들어, 디바이스(1000)가 잠금 상태인 경우에, 영상 콘텐트에 대한 알림 메시지는 디바이스(1000)의 락 스크린 상에 디스플레이될 수 있다. 또한, 예를 들어, 영상 콘텐트를 수신한 커뮤니케이션 애플리케이션의 실행 화면이 디바이스(1000)의 화면 상에 활성화되어 있지 않은 경우에, 영상 콘텐트에 대한 알림 메시지는 트레이 창 또는 팝업 창을 통해 디스플레이될 수 있다.In operation S1450, the device 1000 may output a notification message. When image content is received through the communication application, a notification message describing the received image content may be displayed on the screen of the device 1000 . For example, when the device 1000 is in a locked state, a notification message for image content may be displayed on the lock screen of the device 1000 . Also, for example, when the execution screen of the communication application receiving the image content is not activated on the screen of the device 1000, a notification message for the image content may be displayed through a tray window or a pop-up window. .

도 15는 본 개시의 일 실시예에 따른 디바이스(1000)가 알림 메시지를 생성하는 방법의 흐름도이다. 15 is a flowchart of a method for generating a notification message by the device 1000 according to an embodiment of the present disclosure.

동작 S1500에서 디바이스(1000)는 제1 대상 이미지로부터 생성된 제1 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제1 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제1 알림 후보 메시지를 획득할 수 있다. In operation S1500, the device 1000 may obtain a first notification candidate message generated from the first target image. The device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the first target image output from the object recognition model 1552 to the notification message generation model 1553 . In addition, the first notification candidate message output from the notification message generation model 1553 may be obtained.

동작 S1510에서 디바이스(1000)는 제2 대상 이미지로부터 생성된 제2 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제2 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제2 알림 후보 메시지를 획득할 수 있다. In operation S1510, the device 1000 may obtain a second notification candidate message generated from the second target image. The device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the second target image output from the object recognition model 1552 to the notification message generation model 1553 . In addition, the second notification candidate message output from the notification message generation model 1553 may be obtained.

동작 S1520에서 디바이스(1000)는 제n 대상 이미지로부터 생성된 제n 알림 후보 메시지를 획득할 수 있다. 디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션의 식별 값, 및 객체 인식 모델(1552)로부터 출력된 제n 대상 이미지 내의 객체들의 식별 정보를 알림 메시지 생성 모델(1553)에 입력할 수 있으며, 알림 메시지 생성 모델(1553)로부터 출력되는 제n 알림 후보 메시지를 획득할 수 있다. In operation S1520, the device 1000 may obtain an n-th notification candidate message generated from the n-th target image. The device 1000 may input the identification value of the action output from the action recognition model 1551 and identification information of objects in the n-th target image output from the object recognition model 1552 to the notification message generation model 1553 . In addition, the nth notification candidate message output from the notification message generation model 1553 may be obtained.

동작 S1530에서 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 이용하여 알림 메시지를 생성할 수 있다. 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지를 서로 비교하고, 비교 결과에 기초하여 알림 메시지를 생성할 수 있다. 예를 들어, 디바이스(1000)는 제1 알림 후보 메시지 내지 제n 알림 후보 메시지에서 동일한 객체를 나타내는 단어의 중복 횟수에 기초하여 객체를 나타내는 단어를 결정할 수 있다. 또한, 디바이스(1000)는 결정된 단어에 기초하여 알림 메시지를 생성할 수 있다.In operation S1530, the device 1000 may generate a notification message by using the first notification candidate message to the n-th notification candidate message. The device 1000 may compare the first notification candidate message to the nth notification candidate message with each other, and generate a notification message based on the comparison result. For example, the device 1000 may determine the word representing the object based on the number of repetitions of the word representing the same object in the first notification candidate message to the nth notification candidate message. Also, the device 1000 may generate a notification message based on the determined word.

또는, 디바이스(1000)는 알림 메시지를 생성하기 위하여 훈련된 인공지능 모델에 제1 알림 후보 메시지 및 제n 알림 후보 메시지를 입력하고, 인공지능 모델로부터 출력되는 알림 메시지를 획득할 수 있다.Alternatively, the device 1000 may input the first notification candidate message and the n-th notification candidate message to the trained artificial intelligence model to generate the notification message, and obtain a notification message output from the artificial intelligence model.

도 16은 본 개시의 일 실시예에 따른 디바이스(1000)가 사용자 정보를 고려하여 알림 메시지를 생성하는 방법의 흐름도이다.16 is a flowchart of a method of generating, by the device 1000, a notification message in consideration of user information according to an embodiment of the present disclosure.

동작 S1600 내지 동작 S1630는 동작 S1400 내지 동작 S1430에 대응되므로, 동작 S1600 내지 동작 S1630에 대한 설명은 편의상 생략하도록 한다.Since operations S1600 to S1630 correspond to operations S1400 to S1430, a description of operations S1600 to S1630 will be omitted for convenience.

동작 S1640에서 디바이스(1000)는 대상 이미지들 내의 객체들을 디바이스(1000)에 저장된 이미지들과 비교할 수 있다. 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스(미도시)로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 디바이스(1000)는 제1 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교할 수 있다.In operation S1640 , the device 1000 may compare objects in the target images with images stored in the device 1000 . The images stored in the device 1000 may be images captured by the user of the device 1000 or at least one of the user's acquaintances. For example, the images stored in the device 1000 include an image stored in a contact of the device 1000 , an image photographed by the device 1000 , and an image received by the device 1000 from another device (not shown). can, but is not limited thereto. For example, the device 1000 compares objects in the first target image with objects in images stored in the device 1000 , and compares objects in the second target image with objects in images stored in the device 1000 . The comparison may be made, and objects in the third target image may be compared with objects in images stored in the device 1000 .

동작 S1650에서 디바이스(1000)는 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 디바이스(1000)는 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 식별할 수 있다. 예를 들어, 주소록에 기초하여 객체의 호칭이 결정되거나, 객체에 대응되는 이미지의 메타 데이터에 기초하여 객체의 호칭이 결정될 수 있다.In operation S1650 , the device 1000 may determine names of objects in the target images. The device 1000 may identify an object identical to the object in the target image from the image stored in the device 1000 , and may identify a name corresponding to the identified object. For example, the name of the object may be determined based on the address book, or the name of the object may be determined based on metadata of an image corresponding to the object.

한편, 디바이스(1000)가 다른 디바이스(미도시)로부터 영상 콘텐트 내의 객체의 호칭에 관한 정보를 수신한 경우에는, 디바이스(1000)는 다른 디바이스(미도시)로부터 수신된 정보를 바탕으로 객체의 호칭을 결정할 수 있다. 다른 디바이스(미도시)는 다른 디바이스(미도시)의 사용자 정보를 바탕으로 영상 콘텐트 내의 객체의 호칭을 결정할 수 있으며, 영상 콘텐트를 디바이스(1000)에게 제공하면서 객체의 호칭에 관한 정보를 디바이스(1000)에게 함께 제공할 수 있다. 예를 들어, 영상 콘텐트 내의 객체의 호칭은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 다른 디바이스(미도시)는 객체의 호칭을 포함하는 메타 데이터를 영상 콘텐트와 함께 디바이스(1000)에게 전송할 수 있다. 이에 따라, 디바이스(1000)는 다른 디바이스(미도시)로부터 수신된 객체의 호칭을 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용할 수 있다.On the other hand, when the device 1000 receives information about the name of an object in the image content from another device (not shown), the device 1000 calls the object based on the information received from the other device (not shown). can be decided Another device (not shown) may determine the name of the object in the image content based on user information of the other device (not shown), and provides information about the name of the object to the device 1000 while providing the image content to the device 1000 . ) can be provided together. For example, the name of the object in the image content may be included in the metadata of the image content, and another device (not shown) may transmit the metadata including the name of the object to the device 1000 together with the image content. Accordingly, the device 1000 may use the name of the object received from another device (not shown) to generate a notification message describing the image content.

동작 S1660에서 디바이스(1000)는 영상 콘텐트의 액션을 나타내는 식별 값, 영상 콘텐트 내의 하나 이상의 객체의 식별 정보 및 호칭을 알림 메시지 생성 모델(1553)에 입력함으로써, 영상 콘텐트에 관련된 알림 메시지를 생성할 수 있다.In operation S1660, the device 1000 may generate a notification message related to the video content by inputting an identification value indicating an action of the video content, identification information of one or more objects in the video content, and a name to the notification message generation model 1553. have.

디바이스(1000)는 액션 인식 모델(1551)로부터 출력된 액션을 나타내는 식별 값, 객체 인식 모델(1552)로부터 출력된 객체의 식별 정보 및 객체의 호칭을 알림 메시지 생성 모델(1553)에 입력하고, 알림 메시지 생성 모델(1553)로부터 출력되는 알림 후보 메시지를 획득할 수 있다. 알림 메시지 생성 모델(1553)은 대상 이미지 별로 알림 후보 메시지를 출력할 수 있다. 또한, 디바이스(1000)는 복수의 대상 이미지들에 대응되는 복수의 알림 후보 메시지를 이용하여 사용자에게 제공할 알림 메시지를 생성할 수 있다.The device 1000 inputs an identification value indicating an action output from the action recognition model 1551 , identification information of an object output from the object recognition model 1552 , and a name of the object to the notification message generation model 1553 , and a notification A notification candidate message output from the message generation model 1553 may be obtained. The notification message generation model 1553 may output a notification candidate message for each target image. Also, the device 1000 may generate a notification message to be provided to the user by using a plurality of notification candidate messages corresponding to the plurality of target images.

동작 S1670에서 디바이스(1000)는 알림 메시지를 출력할 수 있다. 커뮤니케이션 애플리케이션을 통하여 영상 콘텐트가 수신되면, 수신된 영상 콘텐트를 설명하는 알림 메시지가 디바이스(1000)의 화면 상에 디스플레이될 수 있다.In operation S1670, the device 1000 may output a notification message. When image content is received through the communication application, a notification message describing the received image content may be displayed on the screen of the device 1000 .

도 17은 본 개시의 일 실시예에 따른 디바이스(1000)가 다른 디바이스에게 전송될 영상 콘텐트 내의 객체의 호칭을 다른 디바이스에게 제공하는 방법의 흐름도이다.17 is a flowchart of a method of providing, by the device 1000, a name of an object in image content to be transmitted to another device to another device, according to an embodiment of the present disclosure.

동작 S1700에서 디바이스(1000)는 다른 디바이스(미도시)에게 전송될 영상 콘텐트를 획득할 수 있다. 디바이스(1000)는 복수의 이미지들을 포함하는 영상 콘텐트를 획득할 수 있다. 예를 들어, 영상 콘텐트는 비디오 콘텐트 또는 복수의 이미지들의 세트일 수 있다. 디바이스(1000)는, 예를 들어, 디바이스(1000)에 설치된 커뮤니케이션 애플리케이션을 통하여 다른 디바이스(미도시)에게 영상 콘텐트를 제공하기 위하여, 영상 콘텐트를 촬영하거나 디바이스(1000)에 저장된 영상 콘텐트를 추출할 수 있다.In operation S1700 , the device 1000 may acquire image content to be transmitted to another device (not shown). The device 1000 may acquire image content including a plurality of images. For example, the video content may be video content or a set of a plurality of images. For example, the device 1000 may capture image content or extract image content stored in the device 1000 in order to provide image content to another device (not shown) through a communication application installed in the device 1000 . can

동작 S1710에서 디바이스(1000)는 영상 콘텐트 내의 하나 이상의 객체를 식별하기 위해 이용될 하나 이상의 대상 이미지를 결정할 수 있다. 영상 콘텐트가 비디오 콘텐트인 경우에, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들 중에서 대상 이미지를 추출할 수 있다. 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 프레임 이미지들로부터 기설정된 간격에 따라 대상 이미지들을 추출할 수 있다. 또는, 예를 들어, 디바이스(1000)는 비디오 콘텐트 내의 장면이 변경되거나 비디오 콘텐트 내의 객체가 변경되는 경우에, 변경된 장면에 대응되는 프레임 이미지 또는 변경된 객체를 포함하는 프레임 이미지를 대상 이미지로 추출할 수 있다. 또는, 영상 콘텐트가 복수의 이미지들의 세트인 경우에, 디바이스(1000)는 복수의 이미지들 중 적어도 일부를 대상 이미지로 결정할 수 있다.In operation S1710, the device 1000 may determine one or more target images to be used to identify one or more objects in the image content. When the video content is video content, the device 1000 may extract a target image from among frame images in the video content. For example, the device 1000 may extract target images according to a preset interval from frame images in the video content. Or, for example, when a scene in the video content is changed or an object in the video content is changed, the device 1000 may extract a frame image corresponding to the changed scene or a frame image including the changed object as a target image. have. Alternatively, when the image content is a set of a plurality of images, the device 1000 may determine at least a portion of the plurality of images as the target image.

동작 S1720에서 디바이스(1000)는 대상 이미지를 객체 인식 모델(1552)에 적용함으로써 영상 콘텐트 내의 하나 이상의 객체의 식별 정보를 획득할 수 있다. 객체 인식 모델(1552)은 이미지 내의 객체를 식별하기 위하여 훈련된 인공지능 모델일 수 있다. 디바이스(1000)는 복수의 대상 이미지들을 객체 인식 모델(1552)에 입력하고, 복수의 대상 이미지들 각각에 포함된 객체들의 식별 정보를 객체 인식 모델(1552)로부터 획득할 수 있다. 예를 들어, 디바이스(1000)는 대상 이미지 내의 인물, 사물 및 배경의 식별 정보를 획득할 수 있다.In operation S1720 , the device 1000 may obtain identification information of one or more objects in the image content by applying the target image to the object recognition model 1552 . The object recognition model 1552 may be an artificial intelligence model trained to identify objects in an image. The device 1000 may input a plurality of target images into the object recognition model 1552 , and obtain identification information of objects included in each of the plurality of target images from the object recognition model 1552 . For example, the device 1000 may obtain identification information of a person, an object, and a background in the target image.

동작 S1730에서 디바이스(1000)는 대상 이미지들 내의 객체들을 디바이스(1000)에 저장된 이미지들과 비교할 수 있다. 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 사용자 또는 사용자의 지인들 중 적어도 하나가 촬영된 이미지일 수 있다. 예를 들어, 디바이스(1000)에 저장된 이미지들은, 디바이스(1000)의 연락처 내에 저장된 이미지, 디바이스(1000)에 의해 촬영된 이미지, 디바이스(1000)가 다른 디바이스(미도시)로부터 수신한 이미지를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 디바이스(1000)는 제1 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제2 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교하고, 제3 대상 이미지 내의 객체들을 디바이스(1000)에 저장된 이미지들 내의 객체들과 비교할 수 있다.In operation S1730 , the device 1000 may compare objects in the target images with images stored in the device 1000 . The images stored in the device 1000 may be images captured by the user of the device 1000 or at least one of the user's acquaintances. For example, the images stored in the device 1000 include an image stored in a contact of the device 1000 , an image photographed by the device 1000 , and an image received by the device 1000 from another device (not shown). can, but is not limited thereto. For example, the device 1000 compares objects in the first target image with objects in images stored in the device 1000 , and compares objects in the second target image with objects in images stored in the device 1000 . The comparison may be made, and objects in the third target image may be compared with objects in images stored in the device 1000 .

동작 S1740에서 디바이스(1000)는 대상 이미지들 내의 객체들의 호칭들을 결정할 수 있다. 디바이스(1000)는 대상 이미지 내의 객체와 동일한 객체를 디바이스(1000)에 저장된 이미지로부터 식별하고, 식별된 객체에 대응되는 호칭을 식별할 수 있다. 예를 들어, 주소록에 기초하여 식별된 객체의 호칭이 결정되거나, 식별된 객체에 대응되는 이미지의 메타 데이터에 기초하여 식별된 객체의 호칭이 결정될 수 있다.In operation S1740, the device 1000 may determine names of objects in the target images. The device 1000 may identify an object identical to the object in the target image from the image stored in the device 1000 , and may identify a name corresponding to the identified object. For example, the name of the identified object may be determined based on the address book, or the name of the identified object may be determined based on metadata of an image corresponding to the identified object.

동작 S1750에서 디바이스(1000)는 영상 콘텐트 및 객체들의 호칭들을 다른 디바이스(미도시)에게 전송할 수 있다. 객체들의 호칭들은 영상 콘텐트의 메타 데이터에 포함될 수 있으며, 디바이스(1000)는 객체들의 호칭들을 포함하는 메타 데이터를 영상 콘텐트와 함께 다른 디바이스(미도시)에게 전송할 수 있다. 다른 디바이스(미도시)에게 전송된 객체들의 호칭들은, 다른 디바이스(미도시)가 영상 콘텐트를 설명하는 알림 메시지를 생성하는데 이용될 수 있다.In operation S1750, the device 1000 may transmit image content and names of objects to another device (not shown). Names of objects may be included in metadata of image content, and the device 1000 may transmit metadata including names of objects to another device (not shown) together with image content. The names of objects transmitted to another device (not shown) may be used by the other device (not shown) to generate a notification message describing the video content.

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. Functions related to artificial intelligence according to the present disclosure are operated through a processor and a memory. The processor may consist of one or a plurality of processors. In this case, the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU. One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory. Alternatively, when one or more processors are AI-only processors, the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.

기 정의된 동작 규칙 또는 인공지능 모델은 훈련을 통해 만들어진 것을 특징으로 한다. 여기서, 훈련을 통해 만들어진다는 것은, 기본 인공지능 모델이 훈련 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 훈련됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 훈련은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 훈련 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined action rule or artificial intelligence model is characterized by being created through training. Here, being made through training means that a basic AI model is trained using a large number of training data by a training algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. Such training may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system. Examples of the training algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 훈련 결과에 의해 최적화될 수 있다. 예를 들어, 훈련 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights. The plurality of weights of the plurality of neural network layers may be optimized by the training result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the training process is reduced or minimized. The artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.

본 개시에 따른 디바이스(1000)의 알림 메시지 생성 방법에 에 있어서, 영상 콘텐트로부터 객체의 액션을 인식하고, 대상 이미지 내의 객체를 식별하기 위한 방법으로 영상 콘텐트를 액션 인식 모델(1551)의 입력 데이터로 이용하고, 대상 이미지를 객체 인식 모델(1552)의 입력 데이터를 이용할 수 있다. 또한, 액션 인식 모델(1551)로부터 영상 콘텐트 내의 객체의 액션이 인식되어 출력 데이터가 출력되고, 객체 인식 모델(1552)로부터 대상 이미지 내의 객체가 식별되어 출력 데이터가 출력될 수 있다. 인공지능 모델은 훈련을 통해 만들어 질 수 있다. 여기서, 훈련을 통해 만들어진다는 것은, 기본 인공지능 모델이 훈련 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 훈련됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.In the method for generating a notification message of the device 1000 according to the present disclosure, as a method for recognizing an action of an object from video content and identifying an object in a target image, video content is converted into input data of the action recognition model 1551 and may use the target image as input data of the object recognition model 1552 . Also, an action of an object in the image content may be recognized from the action recognition model 1551 to output output data, and an object in a target image may be identified from the object recognition model 1552 to output output data. AI models can be created through training. Here, being made through training means that a basic AI model is trained using a large number of training data by a training algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.

시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식(Object Recognition), 객체 추적(Object Tracking), 영상 검색(Image Retrieval), 사람 인식(Human Recognition), 장면 이해(Scene Recognition), 공간 이해(3D Reconstruction/Localization), 영상 개선(Image Enhancement) 등을 포함한다.Visual understanding is a technology that recognizes and processes objects as if they were human eyes. Object Recognition, Object Tracking, Image Retrieval, Human Recognition, Scene Recognition , spatial understanding (3D Reconstruction/Localization), image enhancement, and the like.

본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.An embodiment of the present disclosure may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media may typically include computer readable instructions, data structures, or other data in a modulated data signal, such as program modules.

또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.In addition, the computer-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as For example, the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product). Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store™) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones). In the case of online distribution, at least a portion of the computer program product (eg, a downloadable app) is stored at least in a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Also, in this specification, “unit” may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.In addition, in the present specification, "comprising at least one of a, b, or c" means "including only a, including only b, including only c, including a and b, or including b and c, It may mean including a and c, or including both a, b and c.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present disclosure described above is for illustration, and those of ordinary skill in the art to which the present disclosure pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present disclosure. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may also be implemented in a combined form.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present disclosure is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present disclosure. do.

Claims

A method for a device to provide a notification message related to video content,
obtaining image content including a plurality of images;
recognizing an action related to the one or more objects in the video content by applying the video content to a first artificial intelligence model trained to identify actions of the one or more objects in the video content;
determining, from the video content, target images to be used to identify the one or more objects in the video content;
obtaining identification information of the one or more objects in the target images by applying the target images to one or more second artificial intelligence models trained to identify the one or more objects in the image content;
generating a notification message describing the video content by applying an identification value indicating the action and identification information of the one or more objects to a third artificial intelligence model trained to generate a notification message; and
outputting the notification message;
includes,
The identification information of the one or more objects includes a visual feature value for the one or more objects.

The method of claim 1,
The identification information of the one or more objects further includes an identification value of the one or more objects,
and the identification value of the one or more objects is labeled in a visual feature value for the one or more objects.

The method of claim 1,
The video content is video content,
The operation of obtaining an identification value indicating an action related to the one or more objects may include inputting the video content to the first artificial intelligence model, thereby recognizing an action related to the one or more objects included in frame images in the video content. how to do it.

4. The method of claim 3,
The operation of recognizing an action related to the one or more objects includes:
recognizing an action related to the one or more objects from a first frame image included in the moving picture content;
recognizing an action related to the one or more objects from a second frame image included in the moving picture content; and
obtaining an identification value indicating the action related to the moving picture content based on the action recognized from the first frame image and the action recognized from the second frame image;
A method comprising

4. The method of claim 3,
wherein the determining of the target images comprises selecting frame images for identifying the one or more objects from among a plurality of frame images in the video content.

The method of claim 1,
The operation of generating the notification message is,
obtaining a first notification candidate message by inputting an identification value indicating the action and identification information of the one or more objects identified from a first target image into the third artificial intelligence model;
obtaining a second notification candidate message by inputting an identification value indicating the action and identification information of the one or more objects identified from the second target image into the third artificial intelligence model; and
generating the notification message by comparing the first notification candidate message and the second notification candidate message;
A method comprising:

The method of claim 1,
determining a name of the one or more objects in the target images based on user-related information stored in the device;
further comprising,
The generating of the notification message may include inputting the determined name into the third artificial intelligence model.

8. The method of claim 7,
transmitting the determined name information and the image content to another device;
further comprising,
The determined name transmitted to the other device will be used by the other device to generate a notification message about the video content.

The method of claim 1,
The third artificial intelligence model is trained using a training image and a word extracted from a message describing the training image,
wherein the extracted word is a word related to an action of an object in the training image.

The method of claim 1,
identifying a domain corresponding to the image content;
further comprising,
wherein at least one of the first artificial intelligence model, the second artificial intelligence model and the third artificial intelligence model is selected based on the identified domain.

A device for providing a notification message related to video content, the device comprising:
communication interface;
a storage unit for storing one or more instructions;
a processor executing the one or more instructions;
includes,
The processor, by executing the one or more instructions,
related to the one or more objects in the video content by obtaining video content comprising a plurality of images and applying the video content to a first trained artificial intelligence model to identify actions of the one or more objects in the video content One or more second artificial intelligence models trained to recognize an action, determine from the video content target images to be used to identify the one or more objects in the video content, and identify the one or more objects in the video content by applying the target images to a third artificial intelligence model trained to obtain identification information of the one or more objects in the target images and to generate a notification message, an identification value representing the action, and the one or more By applying the object identification information, a notification message describing the video content is generated, and the notification message is output,
The device, wherein the identification information of the one or more objects includes a visual feature value for the one or more objects.

12. The method of claim 11,
The identification information of the one or more objects further includes an identification value of the one or more objects,
and the identification value of the one or more objects is labeled in a visual feature value for the one or more objects.

12. The method of claim 11,
The video content is video content,
wherein the processor recognizes an action related to the one or more objects included in frame images in the video content by inputting the video content into the first artificial intelligence model by executing the one or more instructions. .

14. The method of claim 13,
The processor, by executing the one or more instructions, recognizes an action related to the one or more objects from a first frame image included in the video content, and from a second frame image included in the video content to the one or more objects Recognizing a related action, and obtaining an identification value indicating the action related to the moving picture content based on the action recognized from the first frame image and the action recognized from the second frame image, the device.

14. The method of claim 13,
and the processor, by executing the one or more instructions, selects frame images for identifying the one or more objects from among a plurality of frame images in the video content.

12. The method of claim 11,
The processor is configured to obtain a first notification candidate message by inputting the identification value indicating the action and identification information of the one or more objects identified from the first target image into the third artificial intelligence model, and the identification value indicating the action and obtaining a second notification candidate message by inputting identification information of the one or more objects identified from the second target image into the third artificial intelligence model, and comparing the first notification candidate message with the second notification candidate message By doing so, the device will generate the notification message.

12. The method of claim 11,
The processor determines the names of the one or more objects in the target images based on user-related information stored in the device by executing the one or more instructions, and inputs the determined names into the third artificial intelligence model The thing is, the device.

18. The method of claim 17,
The processor transmits the determined name information and the video content to another device by executing the one or more instructions,
The determined name transmitted to the other device will be used by the other device to generate a notification message about the video content.

12. The method of claim 11,
The third artificial intelligence model is trained using a training image and a word extracted from a message describing the training image,
wherein the extracted word relates to an action of an object in the training image.

A computer-readable recording medium in which a program for executing the method of claim 1 in a computer is recorded.