KR20200026398A - Enhancement method of information sharing service and apparatus therefor - Google Patents

Enhancement method of information sharing service and apparatus therefor Download PDF

Info

Publication number
KR20200026398A
KR20200026398A KR1020180103399A KR20180103399A KR20200026398A KR 20200026398 A KR20200026398 A KR 20200026398A KR 1020180103399 A KR1020180103399 A KR 1020180103399A KR 20180103399 A KR20180103399 A KR 20180103399A KR 20200026398 A KR20200026398 A KR 20200026398A
Authority
KR
South Korea
Prior art keywords
service
text
request
image
information
Prior art date
Application number
KR1020180103399A
Other languages
Korean (ko)
Inventor
김기현
김하윤
Original Assignee
십일번가 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 십일번가 주식회사 filed Critical 십일번가 주식회사
Priority to KR1020180103399A priority Critical patent/KR20200026398A/en
Publication of KR20200026398A publication Critical patent/KR20200026398A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30Transportation; Communications
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]

Abstract

The present invention is proposed to upgrade an information sharing service by using various communication means such as an instant messenger, a social network service (SNS), an electronic bulletin board, and the like. The present invention relates to a method for upgrading the information sharing service which automatically generates text information related to a selected image through image content analysis based on image processing and a device therefor. A tag of the SNS service, a conversation message of the instant messenger, and a title of a post are automatically generated through the text information generated through the image content analysis based on the image processing to increase convenience of a user.

Description

정보 공유 서비스의 고도화 방법 및 이를 위한 장치{Enhancement method of information sharing service and apparatus therefor}Enhancement method of information sharing service and apparatus therefor}

본 발명은 인스턴트 메신저, SNS(Social Network Service), 전자 게시판과 같이 하나 이상의 다른 사용자와 정보를 공유하는 서비스에 관한 것으로서, 더욱 상세하게는 인스턴트 메신저, SNS(Social Network Service), 전자 게시판 등과 같은 커뮤니케이션 수단을 통해서 소정의 정보를 공유할 때, 영상 처리에 기반한 이미지 내용 분석을 통해서 선택된 이미지와 관련된 텍스트 정보를 자동으로 생성하는 정보 공유 서비스의 고도화 방법 및 이를 위한 장치에 관한 것이다.The present invention relates to a service for sharing information with one or more other users, such as an instant messenger, social network service (SNS), an electronic bulletin board, and more particularly, a communication such as an instant messenger, a social network service (SNS), an electronic bulletin board, or the like. The present invention relates to an advanced method of an information sharing service for automatically generating text information related to a selected image through image content analysis based on image processing, and an apparatus therefor, when sharing predetermined information through means.

사용자 단말의 기기 성능 향상과 함께 정보 통신 기술의 발달로 인하여, 네트워크를 기반으로 한 온라인 서비스의 이용이 보편화되고, 온라인 서비스를 통해서 제공되는 정보의 양이 기하급수적으로 증가하고 있다. 온라인 서비스를 통해 제공되는 정보는, 예를 들어, 전자상거래를 통해 거래되는 상품의 정보, 디지털 콘텐츠, 학술 정보 등 매우 다양하다.Due to the improvement of device performance of the user terminal and the development of information and communication technology, the use of online services based on the network is becoming more common, and the amount of information provided through the online services is increasing exponentially. The information provided through the online service is very diverse, for example, information of products traded through electronic commerce, digital content, academic information, and the like.

이러한 다양한 정보 중에서, 특히 전자상거래를 통해 거래되는 상품의 정보는, 이를 제공하는 온라인 쇼핑몰의 수가 매우 많으면, 아울러, 각 온라인 쇼핑몰에서도 상품의 종류에 따라서, 판매자에 따라서, 구매자에 따라서, 판매 시기에 따라서, 가격이나 상품 구성 등이 달라지기 때문에, 사용자가 자신이 원하는 정보를 원하는 시점에 적절하게 제공받거나 찾는데 어려움이 있다.Among such various information, in particular, the information of the goods traded through e-commerce, if the number of online shopping malls that provide them is very large, and also in each online shopping mall, depending on the type of goods, depending on the seller, according to the buyer, depending on the time of sale Therefore, since the price or product configuration is different, it is difficult for the user to properly receive or find the information he / she wants.

한편, 휴대용 통신기기의 성능이 고도화되고, 유선뿐만 아니라 무선 통신 품질까지 개선되어 장소 및 시간에 관계없이 데이터 통신이 가능하게 되면서, 전통적인 음성 통화 이외에 인스턴트 메신저, SNS(Social Network Service), 전자 게시판 등과 같이 다양한 커뮤니케이션 수단이 서비스되고 있다.On the other hand, the performance of portable communication devices has been advanced, and the quality of wireless communication has been improved as well as wired, enabling data communication regardless of place and time. In addition to traditional voice calls, instant messengers, social network services, electronic bulletin boards Likewise, various means of communication are in service.

이들은 음성 기반의 대화가 아니라, 문자, 숫자, 기호 등과 같은 텍스트 기반으로 이루어지며, 이에 더하여, 아이콘, 이미지와 같은 그래픽 요소와, 동영상 등의 멀티미디어 콘텐츠까지 이용될 수 있다.They are not based on speech but are based on texts such as letters, numbers, symbols, etc. In addition, graphic elements such as icons and images, and multimedia contents such as videos may be used.

기존의 전자상거래 서비스, 디지털 콘텐츠 공유, 포탈 서비스, 전자 신문 등의 다양한 온라인 서비스에서는, 이러한 커뮤니케이션 수단과의 연동을 통해 사용자들 간에 정보를 공유할 수 있도록 지원하고 있다.Various online services such as existing e-commerce services, digital content sharing, portal services, and electronic newspapers support the sharing of information among users through interworking with such communication means.

그런데 기존의 정보 공유 방식은 단순히 정보가 게재된 링크 주소를 전달할 수 있도록 지원하는 방식으로, 사용자의 메시지를 전달하기 위해서 따로 메시지를 입력하여 전송하여 하는 불편한 점이 있다.However, the existing information sharing method is a method of simply supporting a link address where information is posted, and there is an inconvenience of inputting and transmitting a message separately to deliver a user message.

또한, 상기 다양한 커뮤니케이션 수단의 이용이 활성화되면서, 이를 통해 숑수신되는 메시지의 양이 급격히 증가하고 있는데, 메시지의 송수신 시점이 장소와 시간을 가리지 않기 때문에, 사용자가 적절히 응답할 수 없는 경우도 종종 발생하고 있다.In addition, as the use of the various communication means is activated, the amount of messages received through this is rapidly increasing, and sometimes the user cannot respond properly because the time of sending and receiving the messages does not cover the place and time. Doing.

한국공개특허 제10-2017-0115777호, 2017년 10월 18일 공개 (명칭: 자동 메시징 기능을 이용한 메신저 응답 비즈니스 모델)Korean Patent Publication No. 10-2017-0115777, published on October 18, 2017 (Name: Messenger response business model using the automatic messaging function)

본 발명은 인스턴트 메신저, SNS(Social Network Service), 전자 게시판 등과 같은 다양한 커뮤니케이션 수단을 이용한 정보 공유 서비스를 고도화시키기 위하여 제안된 것으로서, 영상 처리에 기반한 이미지 내용 분석을 통해서 선택된 이미지와 관련된 텍스트 정보를 자동으로 생성하는 정보 공유 서비스의 고도화 방법 및 이를 위한 장치를 제공하고자 한다.The present invention has been proposed to enhance information sharing services using various communication means such as instant messenger, social network service (SNS), electronic bulletin board, and the like, and automatically extracts text information related to a selected image through image content analysis based on image processing. It is intended to provide a method for upgrading the information sharing service to be generated and an apparatus therefor.

더하여, 본 발명은 영상 처리에 기반한 이미지 내용 분석을 통해서 생성된 텍스트 정보를 통해 SNS 서비스의 태그, 인스턴트 메신저의 대화 메시지, 게시글의 타이틀을 자동으로 생성하여 줌으로써 사용자 편의를 향상시킬 수 있는 정보 공유 서비스의 고도화 방법 및 이를 위한 장치를 제공하고자 한다. In addition, the present invention is an information sharing service that can improve the user's convenience by automatically generating the tag of the SNS service, the conversation message of the instant messenger, and the title of the post through the text information generated through image content analysis based on image processing. It is an object of the present invention to provide an upgrade method and an apparatus therefor.

상술한 과제의 해결 수단으로서, 본 발명은 서비스 제공 서버가, 사용자 장치로부터 이미지를 포함하는 정보 공유와 관련된 서비스 요청을 수신하는 단계; 공유할 대상 이미지 데이터를 확인하는 단계; 확인된 이미지 데이터를 분석하여, 이미지에 포함된 하나 이상의 객체에 대한 텍스트를 추출하는 단계; 및 하나 이상의 객체에 대한 텍스트들을 조합하여 상기 이미지와 관련된 텍스트 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법을 제공한다.As a means for solving the above problems, the present invention comprises the steps of: a service providing server, receiving a service request related to information sharing including an image from a user device; Identifying target image data to be shared; Analyzing the identified image data to extract text for one or more objects included in the image; And combining texts of at least one object to generate text information related to the image.

여기서, 서비스 요청은, 인스턴트 메시징을 위한 자동 응답 요청, SNS, 정보 공유 요청, 전자 게시글에 대한 타이틀 생성 요청 중 하나 이상을 포함할 수 있으며, 상기 텍스트 정보를 생성하는 단계는, 요청된 서비스의 유형에 따른 메시지 형식을 확인하고, 확인된 메시지 형식에 따라서 상기 텍스트 메시지를 생성한다.The service request may include one or more of an automatic response request for an instant messaging, an SNS, an information sharing request, and a title generation request for an electronic post. The generating of the text information may include the type of the requested service. Confirm the message format according to the message and generate the text message according to the confirmed message format.

구체적으로, 상기 텍스트 정보를 생성하는 단계는, 상기 서비스 요청이 인스턴트 메시징을 위한 자동 응답 요청인 경우, 이전에 수신된 상대방의 대화 메시지, 및 사용자의 대화 메시지에서 텍스트를 추출하고, 이를 더 조합하여 상기 텍스트 메시지를 생성하고, 상기 서비스 요청이 SNS(Social Network Service) 정보 공유 요청인 경우, 상기 생성한 하나 이상의 텍스트를 조합하여 하나 이상의 해시태그 후보를 생성하고, 상기 해시태그 후보를 사용자 장치로 제공하여 선택받으며, 상기 서비스 요청이 자동 타이틀 생성 요청인 경우, 상기 이미지를 포함하는 게시글로부터 텍스트를 추출하고, 상기 텍스트를 더 조합하여 타이틀을 생성한다.Specifically, the step of generating the text information, when the service request is an automatic response request for instant messaging, extracts the text from the conversation message of the other party, and the conversation message of the user previously received, and further combines If the text message is generated and the service request is a social network service (SNS) information sharing request, the generated one or more hash tag candidates are combined by combining the generated one or more texts, and the hash tag candidate is provided to the user device. When the service request is an automatic title generation request, text is extracted from a post including the image, and the text is further combined to generate a title.

더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 사용자 장치로부터 이미지를 포함하는 정보 공유와 관련된 서비스 요청을 수신하기 위한 통신 모듈; 서비스를 위한 이미지 데이터를 저장하는 저장 모듈; 상기 서비스 요청이 수신되면, 공유할 대상 이미지 데이터를 확인하고, 확인된 이미지 데이터를 분석하여, 이미지에 포함된 하나 이상의 객체에 대한 텍스트를 추출하는 이미지 분석 모듈; 상기 이미지 분석 모듈에서 추출하는 하나 이상의 객체에 대한 텍스트들을 조합하여 상기 이미지와 관련된 텍스트 정보를 생성하는 텍스트 정보 생성 모듈을 포함하는 것을 특징으로 하는 서비스 제공 서버를 제공한다.In addition, the present invention provides another solution to the above problem, the present invention provides a communication module for receiving a service request related to information sharing including an image from a user device; A storage module for storing image data for a service; An image analysis module configured to check target image data to be shared, analyze the identified image data, and extract text for at least one object included in the image when the service request is received; And a text information generation module for generating text information related to the image by combining texts of one or more objects extracted by the image analysis module.

상기 텍스트 정보 생성 모듈은, 요청된 서비스의 유형에 따른 메시지 형식을 확인하고, 확인된 메시지 형식에 따라서 상기 텍스트 메시지를 생성하는 것으로, 상기 서비스 요청이 인스턴트 메시징을 위한 자동 응답 요청인 경우, 이전에 수신된 상대방의 대화 메시지, 및 사용자의 대화 메시지에서 텍스트를 추출하고, 이를 더 조합하여 상기 텍스트 메시지를 생성하고. 상기 서비스 요청이 SNS(Social Network Service) 정보 공유 요청인 경우, 상기 생성한 하나 이상의 텍스트를 조합하여 하나 이상의 해시태그 후보를 생성하고, 상기 해시태그 후보를 사용자 장치로 제공하여 선택받으며, 상기 서비스 요청이 자동 타이틀 생성 요청인 경우, 상기 이미지를 포함하는 게시글로부터 텍스트를 추출하고, 상기 텍스트를 더 조합하여 타이틀을 생성한다.The text information generating module checks the message format according to the type of the requested service and generates the text message according to the confirmed message format. When the service request is an automatic response request for instant messaging, Extracting text from the received conversation message of the other party and the conversation message of the user, and further combining the text message to generate the text message. When the service request is a social network service (SNS) information sharing request, one or more hash tag candidates are generated by combining the generated one or more texts, the hash tag candidate is provided to a user device, and selected for the service request. In the case of the automatic title generation request, text is extracted from a post including the image, and the text is further combined to generate a title.

본 발명은 인스턴트 메신저, SNS(Social Network Service), 전자 게시판과 같이 하나 이상의 다른 사용자와 정보를 공유하는 서비스의 제공과 관련된 것으로서, 이러한 정보 공유와 관련된 서비스의 요청에 따라서, 대상 이미지를 분석하여 대상 이미지와 관련된 텍스트를 자동 생성하여 제공함으로써, 인스턴트 메신저의 응답 메시지, SNS(Social Network Service) 공유 글에 대한 해시태그, 전자 게시판의 타이틀을 자동 생성할 수 있으며, 이를 통해 사용자 편의 및 만족도를 향상시킬 수 있다.The present invention relates to the provision of a service for sharing information with one or more other users, such as an instant messenger, a social network service (SNS), an electronic bulletin board, and a target image by analyzing a target image according to a request of a service related to such information sharing. By automatically generating and providing text related to images, it is possible to automatically generate response messages of instant messengers, hashtags for social network service (SNS) shared posts, and titles of electronic bulletin boards, thereby improving user convenience and satisfaction. Can be.

도 1은 본 발명의 실시 예에 따른 서비스 제공 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 정보 공유 서비스의 고도화를 위한 서비스 제공 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 정보 공유 서비스를 이용하는 사용자 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 정보 공유 서비스의 고도화 방법을 도시한 순서도이다.
도 5는 본 발명의 실시 예에 따른 정보 공유 서비스의 고도화 방법의 적용 예를 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 정보 공유 서비스의 고도화 방법에 따라서 자동 생성된 텍스트 정보의 일 예를 도시한 도면이다.
1 is a diagram illustrating a service providing system according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a configuration of a service providing server for upgrading an information sharing service according to the present invention.
3 is a block diagram illustrating a configuration of a user device using an information sharing service according to the present invention.
4 is a flowchart illustrating a method for upgrading an information sharing service according to an embodiment of the present invention.
5 is a diagram illustrating an application example of an advanced method of information sharing service according to an exemplary embodiment of the present invention.
6 is a diagram illustrating an example of text information automatically generated according to an advanced method of information sharing service according to an embodiment of the present invention.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다. BRIEF DESCRIPTION OF THE DRAWINGS To make the features and advantages of the present invention more clear, the present invention will be described in more detail with reference to specific embodiments shown in the accompanying drawings.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다. However, in the following description and the accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. The terms or words used in the following description and drawings should not be construed as being limited to the common or dictionary meanings, and the inventors may appropriately define the concept of terms for describing their own invention in the best way. It should be interpreted as meanings and concepts corresponding to the technical idea of the present invention based on the principle that the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, various modifications that can be substituted for them at the time of the present application It should be understood that there may be equivalents and variations.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. In addition, when a component is referred to as being "connected" or "connected" to another component, it means that it may be connected or connected logically or physically. In other words, although a component may be directly connected or connected to other components, it should be understood that other components may exist in the middle and may be connected or connected indirectly.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In addition, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In addition, the terms "comprises" or "having" described herein are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or the same. It is to be understood that the present invention does not exclude in advance the possibility of the presence or the addition of other features, numbers, steps, operations, components, parts, or a combination thereof.

또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. In addition, the terms "~", "~", "~ module" described in the specification means a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다. In addition, "a" or "an", "one", "the" and the like shall also be indicated otherwise in the context of the present invention (particularly in the context of the following claims). Unless otherwise expressly contradicted by context, it may be used in the sense including both singular and plural.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다. In addition, embodiments within the scope of the present invention include computer readable media having or conveying computer executable instructions or data structures stored on computer readable media. Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system. By way of example, such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. And may include, but are not limited to, any other medium that can be used to store or deliver certain program code means, and can be accessed by a general purpose or special purpose computer system. .

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다. In the following description and claims, “network” is defined as one or more data links that enable the transfer of electronic data between computer systems and / or modules. When information is transmitted or provided to a computer system via a network or other (wired, wireless, or a combination of wired or wireless) communication connections, this connection can be understood as a computer-readable medium. Computer-readable instructions include, for example, instructions and data that cause a general purpose or special purpose computer system to perform a particular function or group of functions. The computer executable instructions may be, for example, binary, intermediate format instructions such as assembly language, or even source code.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서, 상기 컴퓨터 시스템들을 대상으로 이미지 검색 서비스를 제공하는데 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다. In addition, the present invention relates to personal computers, laptop computers, handheld devices, multiprocessor systems, microprocessor-based or programmable consumer electronics, network PCs, minicomputers, mainframe computers, mobile phones, PDAs, pagers In a network computing environment having various types of computer system configurations including pagers, etc., the present invention may be applied to provide an image retrieval service to the computer systems. The invention may also be practiced in distributed system environments where both local and remote computer systems that are linked via wired networks, wireless data links, or combinations of wired and wireless data links perform tasks. In a distributed system environment, program modules may be located in both local and remote memory storage devices.

먼저, 본 발명의 실시 예에 따른 서비스 제공 시스템의 전체 구성에 대해서 설명하기로 한다.First, an overall configuration of a service providing system according to an exemplary embodiment of the present invention will be described.

도 1은 본 발명의 실시 예에 따른 서비스 제공 시스템을 나타낸 도면이다.1 is a diagram illustrating a service providing system according to an exemplary embodiment of the present invention.

도 1을 참조하면, 추천 서비스 제공 시스템은 네트워크(NW)를 통해 연결된 서비스 제공 서버(100) 및 사용자 장치(200)를 포함한다. Referring to FIG. 1, the recommended service providing system includes a service providing server 100 and a user device 200 connected through a network NW.

서비스 제공 서버(100) 및 사용자 장치(200)는 네트워크(NW)을 통해 상호 간에 데이터를 송수신함으로써 연동할 수 있다. 예를 들면, 네트워크(NW)는 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신망을 포함할 수 있으며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신망을 포함할 수도 있다. The service providing server 100 and the user device 200 may interwork by transmitting and receiving data with each other through a network NW. For example, the network NW may include a wireless communication network such as a wireless local area network (WLAN), Wi-Fi, Wibro, Wimax, and High Speed Downlink Packet Access (HSDPA). Depending on how the system is implemented, it may also include wired communication networks such as Ethernet, xDSL (ADSL, VDSL), Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).

아울러, 본 발명에 이용되는 네트워크(NW)는 다수의 접속망(미도시) 및 이들을 연결하는 코어망(미도시)으로 이루어진 이동통신망을 포함할 수 있다. 여기서, 접속망은 단말과 직접 접속하여 무선 통신을 수행하는 망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. 또한, 전술한 바와 같이, 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유닛(Radio Unit, 이하 RUB라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU를 집중화된 DU와 연결하여 구성할 수도 있다. 또한, 접속망과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망과 외부 망, 예컨대, 인터넷망과 같은 다른 통신망을 연결하는 역할을 수행한다. In addition, the network (NW) used in the present invention may include a mobile communication network consisting of a plurality of access networks (not shown) and a core network (not shown) connecting them. Here, the access network is a network that performs wireless communication by directly connecting to a terminal, for example, a plurality of base stations such as a base station (BS), a base transceiver station (BTS), a NodeB, an eNodeB, and a base station controller (BSC). It may be implemented as a base station controller such as a Radio Network Controller (RNC). In addition, as described above, the digital signal processing unit and the wireless signal processing unit, which are integrally implemented in the base station, are divided into digital units (hereinafter referred to as DUs and radio units (hereinafter referred to as RUBs)). In addition, a plurality of RUs (not shown) may be installed in the area of the network, and a plurality of RUs may be connected to a centralized DU. It serves to connect networks, for example other communication networks, such as the Internet.

이러한 코어망은 앞서 설명한 바와 같이, 접속망 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망은 주파수간 이동성을 관리하고, 접속망 및 코어망 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.As described above, the core network is a network system that performs main functions for mobile communication services such as mobility control and switching between access networks, and performs circuit switching or packet switching, and performs mobile network. Manage and control the flow of packets within In addition, the core network may manage inter-frequency mobility and may play a role for interworking with traffic in the access network and the core network and other networks such as the Internet network. The core network may further include a serving gateway (SGW), a PDN gateway (PGW), a mobile switching center (MSC), a home location register (HLR), a mobile mobility entity (MME), and a home subscriber server (HSS). It may be.

또한, 본 발명에 따른 네트워크(NW)는 인터넷 망을 포함할 수 있다. 인터넷망은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미한다. In addition, the network NW according to the present invention may include an internet network. The Internet network refers to a common public communication network, that is, a public network, through which information is exchanged according to the TCP / IP protocol.

이러한 네트워크(NW)를 통해서 서비스 제공 서버(100) 및 사용자 장치(200)가 상호 연동하여 본 발명에 따른 서비스 제공 시스템을 구성한다.Through the network NW, the service providing server 100 and the user device 200 interoperate with each other to configure a service providing system according to the present invention.

서비스 제공 서버(100)는 네트워크(NW)를 통해 연결된 다수의 사용자 장치(200)로부터의 서비스 요청에 따라서 소정의 서비스를 제공한다. 예를 들어, 상기 서비스 제공 서버(100)는 검색 엔진을 포함하는 포탈 사이트 서버, 전자상거래 서비스를 제공하는 온라인 쇼핑몰 서버, SNS 서버, 인스턴트 메신저 서버 등이 될 수 있다. 특히, 본 발명에 따른 서비스 제공 서버(100)는 특정 이미지의 내용을 영상 처리에 기반하여 분석함으로써, 상기 이미지와 관련된 텍스트 정보를 생성한다. 상기 생성된 텍스트 정보는, 다양한 커뮤니케이션 수단의 메시지로 자동 생성되어 공유될 수 있다. 예를 들어, 상기 이미지로부터 생성된 텍스트 정보는 SNS의 해시태그, 인스턴트 메신저의 대화 메시지, 상기 이미지가 적용된 게시글을 위한 타이틀로 자동 생성된다.The service providing server 100 provides a predetermined service according to service requests from a plurality of user devices 200 connected through a network NW. For example, the service providing server 100 may be a portal site server including a search engine, an online shopping mall server providing an e-commerce service, an SNS server, an instant messenger server, and the like. In particular, the service providing server 100 according to the present invention analyzes the contents of a specific image based on image processing to generate text information related to the image. The generated text information may be automatically generated and shared as a message of various communication means. For example, the text information generated from the image is automatically generated as a hash tag of an SNS, a conversation message of an instant messenger, and a title for a post to which the image is applied.

이러한 서비스 제공 서버(100)는 네트워크(NW)에 연결된 하나의 엔티티(Entity)로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)로 구현될 수 있다. The service providing server 100 may be implemented as a single entity connected to the network NW, and may be implemented as a web server, a database server, and an application server.

한편, 사용자 장치(200)는 상기 서비스 제공 서버(100)에서 제공하는 서비스를 이용하는 사용자측 장치로서, 사용자가 이용할 수 있는 통상의 정보통신기기라면 어떤 것이라도 가능하다. 이하의 실시 예에서, 상기 사용자 장치(200)는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 일례로, 단말기는 휴대폰, PMP(Portable Multi-media Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿 PC, 패블릿 PC 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기일 때 유리하게 활용될 수 있다. 다른 예로, 단말기는 노트북, 퍼스널컴퓨터 등이 될 수도 있다. On the other hand, the user device 200 is a user-side device that uses the service provided by the service providing server 100, and may be any conventional information communication device that can be used by the user. In the following embodiment, the user device 200 is described as a representative mobile communication terminal, but the terminal is not limited to the mobile communication terminal, all information communication devices, multimedia terminal, wired terminal, fixed terminal and IP (Internet Protocol) It can be applied to various terminals such as a terminal. For example, the terminal may be a mobile device having various mobile communication specifications such as a mobile phone, a portable multi-media player (PMP), a mobile internet device (MID), a smart phone, a tablet PC, a tablet PC, and an information communication device. Mobile) terminal can be advantageously utilized. As another example, the terminal may be a notebook, a personal computer, or the like.

사용자는 이러한 사용자 장치(200)를 통해서 서비스 제공 서버(100)에 접속하여 소정의 서비스를 요청하고 그에 대한 결과를 수신한다.The user accesses the service providing server 100 through the user device 200 and requests a predetermined service and receives a result thereof.

다음으로, 상술한 서비스 제공 서버(100) 및 사용자 장치(200)의 상세 구성에 대해서 살펴보기로 한다. Next, a detailed configuration of the above-described service providing server 100 and the user device 200 will be described.

도 2는 본 발명에 따른 정보 공유 서비스의 고도화를 위한 서비스 제공 서버의 구성을 나타낸 블록도이다.2 is a block diagram showing a configuration of a service providing server for upgrading an information sharing service according to the present invention.

도 2를 참조하면, 서비스 제공 서버(100)는 통신 모듈(110), 저장 모듈(120) 및 제어 모듈(130)을 포함한다. Referring to FIG. 2, the service providing server 100 includes a communication module 110, a storage module 120, and a control module 130.

통신 모듈(110)은 사용자 장치(200)와의 통신을 위한 것이다. 통신 모듈(110)은 네트워크(NW)에 접속하고, 사용자 장치(200)가 상기 네트워크(NW)를 통해서 서비스 제공 서버(100)에 접속하면 사용자 장치(200)와 필요한 정보를 포함하는 데이터를 교환하기 위한 통신을 수행한다. 통신 모듈(110)은 사용자 장치(200)로부터 수신되는 패킷으로부터 데이터, 즉, 서비스 요청을 추출하여 제어 모듈(130)로 전달한다. 그리고 통신 모듈(110)은 제어 모듈(130)로부터 사용자 장치(200)로 전송하기 위한 데이터, 예컨대, 요청된 서비스와 관련된 서비스 데이터를 전달받으면, 이를 패킷으로 구성하여 전송한다. The communication module 110 is for communication with the user device 200. The communication module 110 connects to the network NW and exchanges data including necessary information with the user device 200 when the user device 200 connects to the service providing server 100 through the network NW. Perform communication to The communication module 110 extracts data, that is, a service request, from a packet received from the user device 200 and transmits the data to the control module 130. When the communication module 110 receives data for transmitting from the control module 130 to the user device 200, for example, service data related to the requested service, the communication module 110 configures the packet and transmits the data.

저장 모듈(120)은 서비스 제공 서버(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 서비스 제공 서버(100)의 전반적인 동작을 제어하는 프로그램 및 서비스 제공 서버(100)를 부팅시키는 운영체제(OS, Operating System), 이미지 검색을 위한 애플리케이션을 등을 저장할 수 있다. 데이터 영역은 서비스 제공 서버(100)의 운영에 따라 발생하는 데이터 및 서비스 제공 서버(100)의 운영에 필요한 데이터가 저장되는 영역이다. 저장 모듈(120)에 저장되는 각종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.The storage module 120 stores a program and data necessary for the operation of the service providing server 100 and may be divided into a program area and a data area. The program area may store a program for controlling the overall operation of the service providing server 100, an operating system (OS) for booting the service providing server 100, an application for image retrieval, and the like. The data area is an area in which data generated according to the operation of the service providing server 100 and data necessary for the operation of the service providing server 100 are stored. Various data stored in the storage module 120 may be deleted, changed, or added according to a user's manipulation.

제어 모듈(130)은 서비스 제공 서버(100)의 전반적인 동작 및 서비스 제공 서버(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어 모듈(130)은 마이크로프로세서 또는 중앙 처리 장치(Central Processing Unit: CPU)인 것이 바람직하다. 제어 모듈(130)은 그 기능에 따라서 구분할 때, 이미지 분석 모듈(131)과 텍스트 정보 생성 모듈(133)을 포함한다.The control module 130 may control an overall operation of the service providing server 100 and a signal flow between internal blocks of the service providing server 100 and may perform a data processing function for processing data. The control module 130 is preferably a microprocessor or a central processing unit (CPU). The control module 130 includes an image analysis module 131 and a text information generation module 133 when classified according to its function.

이미지 분석 모듈(131)은 입력된 이미지를 분석하여, 이미지 내에서 독립적인 의미 혹은 명칭을 갖는 객체를 하나 이상 추출하고, 각각의 객체를 인식하여 그에 대응하는 텍스트를 추출한다. 더하여, 이미지 분석 모듈(131)은 서비스 요청이 수신되면, 공유할 대상 이미지 데이터를 확인하고, 확인된 이미지 데이터를 분석하여, 이미지에 포함된 하나 이상의 객체에 대한 텍스트를 추출한다.The image analysis module 131 analyzes the input image, extracts one or more objects having independent meanings or names in the image, recognizes each object, and extracts text corresponding thereto. In addition, when the service request is received, the image analysis module 131 checks target image data to be shared, analyzes the identified image data, and extracts text for one or more objects included in the image.

그리고 텍스트 정보 생성 모듈(133)은 상기 이미지 분석 모듈(131)에서 추출하는 하나 이상의 객체에 대한 텍스트들을 조합하여 상기 이미지와 관련된 텍스트 정보를 생성한다.The text information generation module 133 combines texts for one or more objects extracted by the image analysis module 131 to generate text information related to the image.

상기 텍스트 정보 생성 모듈(133)은, 요청된 서비스의 유형에 따른 메시지 형식을 확인하고, 확인된 메시지 형식에 따라서 상기 텍스트 메시지를 생성하는 것으로, 상기 서비스 요청이 인스턴트 메시징을 위한 자동 응답 요청인 경우, 이전에 수신된 상대방의 대화 메시지, 및 사용자의 대화 메시지에서 텍스트를 추출하고, 이를 더 조합하여 상기 텍스트 메시지를 생성하고. 상기 서비스 요청이 SNS(Social Network Service) 정보 공유 요청인 경우, 상기 생성한 하나 이상의 텍스트를 조합하여 하나 이상의 해시태그 후보를 생성하고, 상기 해시태그 후보를 사용자 장치로 제공하여 선택받으며, 상기 서비스 요청이 자동 타이틀 생성 요청인 경우, 상기 이미지를 포함하는 게시글로부터 텍스트를 추출하고, 상기 텍스트를 더 조합하여 타이틀을 생성한다.The text information generation module 133 checks the message format according to the type of the requested service and generates the text message according to the confirmed message format. When the service request is an automatic response request for instant messaging. Extracting text from a previously received conversation message of the other party and a conversation message of the user, and further combining the text message to generate the text message. When the service request is a social network service (SNS) information sharing request, one or more hash tag candidates are generated by combining the generated one or more texts, the hash tag candidate is provided to a user device, and selected for the service request. In the case of the automatic title generation request, text is extracted from a post including the image, and the text is further combined to generate a title.

도 3은 본 발명에 따른 정보 공유 서비스를 이용하는 사용자 장치의 구성을 나타낸 블록도이다.3 is a block diagram illustrating a configuration of a user device using an information sharing service according to the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 사용자 장치(200)는 통신부(210), 입력부(220), 표시부(230), 저장부(240), 제어부(250), 카메라부(260), 센서부(270), 오디오처리부(280)을 포함한다. Referring to FIG. 3, the user device 200 according to an exemplary embodiment of the present invention may include a communication unit 210, an input unit 220, a display unit 230, a storage unit 240, a control unit 250, and a camera unit 260. The sensor unit 270 and the audio processor 280 are included.

상기 통신부(210)는 서비스 제공 서버(100)를 비롯한 다른 장치와 통신을 위한 것으로, 다양한 통신 연결 방식을 통해 통신을 수행한다. 이러한 통신부(210)는 다양한 통신 연결 방식의 통신 기능 중 어느 하나를 선택하여 통신할 수 있다. 이러한 통신부(210)는 하나의 모듈 혹은 복수의 모듈로 구현될 수도 있다. 예컨대, 통신부(210)는 WCDMA, LTE, LTE-A 등의 표준에 따라 기지국을 통해 네트워크에 접속하는 광대역이동통신 방식, Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 방식에 따라 접속포인트(AP: Access Point)를 통해 네트워크에 접속하여 통신을 수행하는 무선근거리통신 방식 등을 이용할 수 있다. 통신부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 이러한 구성을 통해서 통신부(210)는 제어부(250)로부터 전달 받은 데이터, 예컨대, 사용자 요청 혹은 사용자 반응 정보를 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다. 또한, 통신부(210)는 무선 채널을 통해 데이터, 예컨대, 서비스 요청에 대한 응답을 포함하는 무선 신호를 수신하여 제어부(250)로 전달할 수 있다.The communication unit 210 is for communication with other devices including the service providing server 100 and performs communication through various communication connection methods. The communication unit 210 may communicate by selecting any one of various communication connection type communication functions. The communication unit 210 may be implemented by one module or a plurality of modules. For example, the communication unit 210 according to the WCDMA, LTE, LTE-A, etc. according to the broadband mobile communication method to access the network through the base station, according to the Wireless Local Area Network (WLAN) method using Wi-Fi (wireless fidelity) A wireless near field communication method for accessing a network through an access point (AP) and performing communication may be used. The communication unit 210 may include an RF transmitter for up-converting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and down-converting a received signal. Through such a configuration, the communication unit 210 may convert data received from the control unit 250, for example, user request or user response information, into a wireless signal and transmit it through a wireless channel. In addition, the communication unit 210 may receive a data, for example, a wireless signal including a response to a service request through a wireless channel and transmit the data to the controller 250.

입력부(220)는 사용자 장치(200)를 제어하기 위한 사용자의 키 조작을 입력 받고 입력 신호를 생성하여 제어부(250)로 전달한다. 입력부(220)는 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자 장치(200)의 일면에 소정의 기능키로 형성될 수 있다. 표시부(230)가 터치스크린으로 이루어진 경우, 입력부(220)의 각 종 키들의 기능이 표시부(230)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(220)는 생략될 수도 있다. The input unit 220 receives a key operation of a user for controlling the user device 200, generates an input signal, and transmits the generated input signal to the controller 250. The input unit 220 may include any one of a power key, a numeric key, and a direction key for power on / off, and may be formed as a predetermined function key on one surface of the user device 200. When the display unit 230 is formed of a touch screen, functions of various keys of the input unit 220 may be performed in the display unit 230. When the display unit 230 may perform all functions using only the touch screen, the input unit 220 may be omitted. It may be.

표시부(230)는 사용자 장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(230)는 사용자 장치(200)의 부팅 화면, 대기 화면, 메뉴 화면 등의 각종 화면을 출력하는 기능을 수행한다. 이러한 표시부(230)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(230)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(230)는 터치센서를 포함하며, 제어부(250)는 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(250)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(250)로 전송할 수 있다. The display unit 230 visually provides a menu, input data, function setting information, and various other information of the user device 200 to the user. The display unit 230 outputs various screens such as a boot screen, a standby screen, and a menu screen of the user device 200. The display unit 230 may be formed of a liquid crystal display (LCD), organic light emitting diodes (OLEDs), active matrix organic light emitting diodes (AMOLEDs), and the like. Meanwhile, the display unit 230 may be implemented as a touch screen. In this case, the display unit 230 may include a touch sensor, and the controller 250 may detect a user's touch input through the touch sensor. The touch sensor may be configured as a touch sensor such as capacitive overlay, pressure, resistive overlay, infrared beam, or a pressure sensor. . In addition to the above sensors, all kinds of sensor devices capable of detecting contact or pressure of an object may be used as the touch sensor of the present invention. The touch sensor detects a user's touch input, generates a detection signal, and transmits the detected signal to the controller 250. The sensing signal may include coordinate data input by the user. When the user inputs the touch position movement operation, the touch sensor may generate a detection signal including coordinate data of the touch position movement path and transmit the detected signal to the controller 250.

저장부(240)는 사용자 장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자 장치(200)의 전반적인 동작을 제어하는 프로그램 및 사용자 장치(200)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자 장치(200)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 또한, 저장부(240)는 사용자 장치(200)의 동작에 따라 발생되는 각 종 데이터 등을 저장할 수 있다. The storage unit 240 stores a program and data necessary for the operation of the user device 200, and may be divided into a program area and a data area. The program area may store a program for controlling the overall operation of the user device 200, an operating system (OS) for booting the user device 200, an application program, and the like. The data area is an area in which data generated according to the use of the user device 200 is stored. In addition, the storage unit 240 may store various data generated according to the operation of the user device 200.

제어부(250)는 사용자 장치(200)의 전반적인 동작 및 사용자 장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(250)는 중앙 처리 장치(Central Processing Unit: CPU), 애플리케이션 프로세서(Application Processor), 그래픽 프로세서(GPU: graphic processing unit) 등이 될 수 있다. 제어부(250)는 입력부(220)로부터 전달되는 사용자 입력 신호에 따라서 통신부(210)를 제어하여 서비스 제공 서버(100)에 접속한 후, 상기 서비스 제공 서버(100)와의 연동을 통해서 사용자에게 소정의 서비스를 제공한다. The controller 250 may control an overall operation of the user device 200, a signal flow between internal blocks of the user device 200, and may perform a data processing function of processing data. The controller 250 may be a central processing unit (CPU), an application processor, a graphic processor (GPU), or the like. The control unit 250 controls the communication unit 210 according to a user input signal transmitted from the input unit 220 to access the service providing server 100, and then provides a predetermined value to the user through interworking with the service providing server 100. Provide service.

카메라부(260)는 영상을 촬영하는 수단으로서, 보통 사용자 장치(200)의 전면 영상 혹은 후면 영상을 촬영한다. 본 발명에 있어서, 상기 카메라부(260)를 통해서 사용자가 서비스를 요청할 사진을 촬영할 수 있다.The camera unit 260 is a means for capturing an image, and usually photographs a front image or a rear image of the user device 200. In the present invention, the user can take a picture to request a service through the camera unit 260.

그리고, 센서부(270)는 사용자 장치(100)의 방향, 위치, 이동 속도, 움직임, 주변 밝기, 등과 같은 물리적인 변화를 검출하기 위한 것으로서, 움직임을 검출하는 자이로스코프 센서, 방향/위치를 검출하기 위한 지자기센서, 운동상태를 검출하기 위한 가속도 센서, 중력 방향을 감지하기 위한 중력 센서, 주변 빛을 감지하는 광센서/조도센서, 사용자의 접근을 감지하는 근접 센서 등을 포함할 수 있다.The sensor unit 270 detects a physical change such as a direction, a position, a moving speed, a movement, an ambient brightness, and the like of the user device 100, and detects a gyroscope sensor and a direction / position for detecting a movement. Geomagnetic sensor for detecting, acceleration sensor for detecting the motion state, gravity sensor for detecting the direction of gravity, light sensor / illumination sensor for detecting the ambient light, proximity sensor for detecting the user's approach and the like.

그리고 오디오처리부(280)는 사용자의 음성신호를 처리하기 위한 구성으로서, 스피커 및 마이크를 포함하여, 스피커를 통해 음성 신호를 가청음으로 출력하고, 마이크를 통해 가청음으로 발생된 음성을 수집하여 전기적 음성신호로 변환한다.In addition, the audio processing unit 280 is a component for processing a user's voice signal, including a speaker and a microphone, and outputs the voice signal as an audible sound through the speaker, collects the voice generated by the audible sound through the microphone to the electrical voice signal Convert to

상술한 구성을 통하여 사용자 장치(200)는 서비스 제공 서버(100)로 서비스 요청하고 그에 따른 서비스 데이터를 수신하여 사용자에게 제공한다. Through the above-described configuration, the user device 200 requests a service to the service providing server 100 and receives and provides service data accordingly to the user.

이를 위하여, 사용자 장치(200)는 서비스 제공 서버(100)와 연동하여 소정의 서비스를 수행하기 위한 클라이언트 프로그램을 저장부(240)에 저장할 수 있다. 상기 클라이언트 프로그램은, 인스턴트 메신저 프로그램, SNS 서비스 프로그램, 전자상거래 쇼핑몰 서버에 접속하고 그 사용자 인터페이스를 처리하기 위한 프로그램 등이 될 수 있다.To this end, the user device 200 may store a client program in the storage 240 to perform a predetermined service in cooperation with the service providing server 100. The client program may be an instant messenger program, an SNS service program, a program for accessing an e-commerce shopping mall server and processing a user interface thereof.

따라서, 사용자는 사용자 장치(200)의 입력부(220)를 조작하여 인스턴스 메신저 프로그램을 실행한 후, 대화 상대를 선택하여, 텍스트, 이미지, 동영상 등을 포함하는 메시지를 교환할 수 있다. 이 경우, 사용자 장치(200)의 제어부(250)는 인스턴트 메신저 프로그램에 따라서 입력된 메시지를 서비스 제공 서버(100)를 통하여 상대방에게 전달하고 상대방의 메시지를 상기 서비스 제공 서버(100)로부터 수신할 수 있으며, 이렇게 송수신되는 메시지를 표시부(230)에 출력하게 된다.Therefore, after the user executes the instant messenger program by manipulating the input unit 220 of the user device 200, the user may select a chat partner to exchange a message including text, an image, a video, and the like. In this case, the controller 250 of the user device 200 may transmit a message input according to the instant messenger program to the other party through the service providing server 100 and receive the other party's message from the service providing server 100. The message transmitted and received is output to the display unit 230.

이때, 사용자가 자동 응답 기능을 선택할 경우, 이에 대한 서비스 요청을 서비스 제공 서버(100)로 전송할 수 있으며, 서비스 제공 서버(100)는 사용자 혹은 상대방이 업로드한 이미지를 분석하여, 이미지와 관련된 텍스트 정보를 생성하고, 이를 기반으로 대화 메시지를 자동 생성하여 사용자 혹은 상대방에게 전달한다.In this case, when the user selects the answering machine function, a service request for this may be transmitted to the service providing server 100, and the service providing server 100 analyzes an image uploaded by the user or the counterpart and text information related to the image. Create a message, and automatically generate a chat message based on this and deliver it to the user or the other party.

또한, 사용자 장치(200)는 SNS 서비스를 이용 중에 이미지를 업로드하거나, 포탈사이트나 온라인 쇼핑몰 사이트를 이용 중에 이미지를 포함하는 특정 정보(혹은 페이지)에 대하여 SNS 계정을 통한 정보 공유를 요청할 수 있다. 이에 서비스 제공 서버(100)는 상기 이미지를 분석하여 이미지와 관련된 텍스트 정보를 생성하고, 텍스트 정보를 기반으로 해당 정보(이미지)와 관련된 복수의 해시태그를 자동생성할 수 있다.In addition, the user device 200 may upload an image while using the SNS service, or request information sharing through an SNS account for specific information (or page) including the image while using a portal site or an online shopping mall site. The service providing server 100 may analyze the image to generate text information related to the image, and automatically generate a plurality of hashtags related to the corresponding information (image) based on the text information.

이러한 다양한 실시 예와 관련된 구체적인 동작은 도 4 및 도 5의 순서도를 참조하여 설명한다.Specific operations related to these various embodiments will be described with reference to the flowcharts of FIGS. 4 and 5.

도 4는 본 발명의 실시 예에 따른 정보 공유 서비스의 고도화 방법을 도시한 순서도이고, 도 5는 본 발명의 실시 예에 따른 정보 공유 서비스의 고도화 방법의 적용 예를 나타내는 도면이다. 이하의 실시 예에서는 서비스 제공 서버(100)를 중심으로 설명하한다.4 is a flowchart illustrating a method for upgrading an information sharing service according to an exemplary embodiment of the present invention, and FIG. 5 is a diagram illustrating an application example of an method for upgrading an information sharing service according to an exemplary embodiment of the present invention. In the following embodiment, the service providing server 100 will be described.

먼저, 도 4를 참조하면, 서비스 제공 서버(100)는 사용자 장치(200)로부터 서비스 요청을 수신한다(S105). 이때, 상기 서비스 요청은 이미지를 포함하는 정보에 대한 공유 서비스와 관련된 요청으로서, 이미지와 관련된 텍스트 메시지를 자동으로 생성하는 기능을 포함하는 요청이 된다. 구체적으로 예를 들면, 상기 서비스 요청은, 인스턴트 메시징에서 송수신되는 이미지 혹은 SNS에 게시된 이미지에 위한 자동 응답 요청, SNS의 이미지를 포함하는 정보 공유 요청, 전자 게시판 등에 대한 이미지를 포함하는 게시글 업로드시의 자동 타이틀 생성 요청 등을 포함할 수 있다. First, referring to FIG. 4, the service providing server 100 receives a service request from the user device 200 (S105). In this case, the service request is a request related to a sharing service for information including an image, and is a request including a function of automatically generating a text message related to the image. Specifically, for example, the service request is an automatic response request for an image transmitted or received in an instant messaging or an image posted on an SNS, an information sharing request including an image of an SNS, and uploading a post including an image for an electronic bulletin board. May include an automatic title generation request.

상기와 같이, 서비스 요청이 수신되면, 서비스 제공 서버(100)는 텍스트 정보를 자동 생성할 대상 이미지 데이터를 확인한다(S110). 상기의 대상 이미지 데이터는, 인스턴트 메시징 중에 사용자 혹은 상대방이 전송한 이미지가 될 수 있으며, SNS 서비스 혹은 전자 게시판 등과 관련하여 업로드하고자 하는 이미지가 될 수 이다. 이를 위하여, 서비스 제공 서버(100)는 인스턴트 메시징의 대화창으로부터 이미지를 추출하거나, 사용자 장치(200)를 통해 사용자가 작성한 게시글로부터 이미지를 추출하거나, 사용자 장치(200)로부터 이미지 데이터를 수신할 수 있다.As described above, when the service request is received, the service providing server 100 checks the target image data to automatically generate text information (S110). The target image data may be an image transmitted by a user or a counterpart during instant messaging, and may be an image to be uploaded in relation to an SNS service or an electronic bulletin board. To this end, the service providing server 100 may extract an image from a chat window of an instant messaging, extract an image from a post written by a user through the user device 200, or receive image data from the user device 200. .

대상 이미지 데이터가 확인되면, 서비스 제공 서버(100)는 대상 이미지 데이터를 분석하여, 이미지 상에서 분리될 수 있는 독립된 하나 이상의 객체를 인식하고, 해당 객체와 연관된 텍스트를 추출한다(S115). 여기서, 추출되는 텍스트는, 각 객체의 명칭, 상기 객체의 행위, 상태를 나타내는 표현을 포함할 수 있다. 상기 객체의 명칭은, 일반 명사뿐만 아니라, 지명, 성명과 같은 고유 명사를 포함할 수 있다. 그리고 상기 객체의 행위, 상태를 나타내는 표현은, 형용사, 동사가 될 수 있다. 상술한 객체의 추출 및 객체와 연관된 텍스트를 추출하는 과정은 서비스 제공 서버(100)의 이미지 분석 모듈(131)에 의해 수행된다. 상기 이미지 분석 모듈(131)은 이미지 분석 결과로 추출된 객체 및 그에 대한 텍스트를 텍스트 정보 생성 모듈(133)로 전달한다.When the target image data is confirmed, the service providing server 100 analyzes the target image data, recognizes one or more independent objects that can be separated on the image, and extracts text associated with the object (S115). Here, the extracted text may include a name representing each object, an action, and a state of the object. The name of the object may include not only general nouns but also proper nouns such as place names and names. In addition, the expression representing the behavior or state of the object may be an adjective or a verb. Extracting the above-described object and extracting text associated with the object are performed by the image analysis module 131 of the service providing server 100. The image analysis module 131 transmits the object extracted as a result of the image analysis and the text thereof to the text information generation module 133.

이에, 서비스 제공 서버(100)의 텍스트 정보 생성 모듈(133)은, 이미지와 관련되어 추출된 하나 이상의 텍스트를 조합하여, 요청된 서비스를 수행하기 위한 텍스트 정보를 생성한다(S120). 상기 텍스트 정보는, 인스턴트 메시지, SNS를 위한 해시태그, 게시글의 타이트 등이 될 수 있다. 이때, 텍스트 정보는 생성되는 정보의 유형에 맞춘 형식으로 생성된다. 예를 들어, 해시태그의 경우, 특수 기호 "#"에 연결된 문장, 구문, 단어 등으로 생성된다.Accordingly, the text information generating module 133 of the service providing server 100 generates text information for performing the requested service by combining one or more texts extracted in association with the image (S120). The text information may be an instant message, a hash tag for SNS, a tight post, and the like. In this case, the text information is generated in a format suitable for the type of information to be generated. For example, in the case of a hashtag, a sentence, phrase, word, etc., connected to the special symbol "#" is generated.

그리고 서비스 제공 서버(100)는 상기 생성된 텍스트 정보를 이용하여 요청된 서비스를 수행한다(S125).  The service providing server 100 performs the requested service using the generated text information (S125).

상기 S120 및 S125 단계에 대해서는 도 5의 순서도를 참조하여 더 구체적으로 설명한다.The steps S120 and S125 will be described in more detail with reference to the flowchart of FIG. 5.

도 5에 도시된 바와 같이, 서비스 제공 서버(100)는 이미지 분석 결과로서, 이미지에 포함된 객체들에 대한 텍스트가 생성되면, 요청된 서비스 유형에 맞는 텍스트 정보를 생성하기 위하여, 요청된 서비스 유형을 확인한다(S205, S215, S225). 본 발명의 일 실시 예에서는, 서비스 요청이 인스턴트 메시징과 관련된 자동 응답 요청인지, SNS 공유 요청인지, 전자 게시글의 업로드를 위한 자동 타이틀 생성 요청인지 확인할 수 있다.As shown in FIG. 5, when the text for the objects included in the image is generated as the result of analyzing the image, the service providing server 100 generates the requested service type in order to generate text information corresponding to the requested service type. Check (S205, S215, S225). In an embodiment of the present invention, whether the service request is an automatic response request related to instant messaging, an SNS sharing request, or an automatic title generation request for uploading an electronic post may be checked.

확인 결과, 자동 응답 요청인 경우(S205). 서비스 제공 서버(100)는 이미지 분석을 통해 추출한 텍스트를 조합하여 응답 메시지를 생성한다(S210). 이때, 응답 메시지의 생성에는 상기 이미지 분석 결과뿐만 아니라 대화 내용, 즉, 상대방의 메시지 내용을 더 고려할 수 있다. 즉, 상대방의 대화 메시지와 이미지 분석 결과를 조합하여 적절한 문장을 생성한다.As a result of the check, in case of an automatic response request (S205). The service providing server 100 generates a response message by combining text extracted through image analysis (S210). In this case, not only the image analysis result but also the conversation content, that is, the message content of the counterpart, may be considered in generating the response message. That is, an appropriate sentence is generated by combining the conversation message of the other party and the image analysis result.

확인 결과, SNS 공유 요청인 경우, 서비스 제공 서버(100)는 상기 생성한 텍스트 정보와 특수기호 "#"을 결합한 해시태그를 생성한다(S220). 이때, 서비스 제공 서버(100)는 텍스트의 다양한 조합을 통해서, 둘 이상의 해시태그 후보를 사용자 장치(200)로 전송한 후, 사용자 장치(200)의 선택에 따라서, 선택된 해시태그 후보를 이미지와 결합하여 SNS 공유 메시지를 생성하여 업로드할 수 있다.As a result of the check, in the case of the SNS sharing request, the service providing server 100 generates a hash tag combining the generated text information and the special symbol "#" (S220). In this case, the service providing server 100 transmits two or more hashtag candidates to the user device 200 through various combinations of text, and then combines the selected hashtag candidates with the image according to the user device 200's selection. You can create and upload an SNS shared message.

도 6의 SNS 공유 요청에 대한, 해시태그 자동 생성 예를 도시한 것으로서, 대상 이미지 데이터가 원피스인 경우, 해당 이미지로부터 "원피스"라는 객체의 명칭을 추출할 수 있으며, 원피스의 이미징 분석을 통해서 원피스의 스타일의 형상, 색상, 분위기, 느낌, 재질과 관련된 수식어 "공주풍", "레이스", "귀여운" 등의 텍스트가 추출될 수 있다.6 shows an example of automatically generating a hash tag for the SNS sharing request. When the target image data is one piece, the name of the object “one piece” may be extracted from the image, and the one piece may be extracted through imaging analysis of the one piece. Modifiers related to the shape, color, mood, feel, and material of the style of the text, such as "princess", "lace", "cute" can be extracted.

본 발명에 따른 서비스 제공 서버(100)는 이러한 텍스트를 조합하여, #공주풍 원피스, #레이스 원피스, #귀여운 등의 해시태그 후보를 생성하여 도 6의 우측과 같이 사용자에게 제공할 수 있으며, 사용자는 간단한 클릭 동작으로 이 중 원하는 해시태그를 하나 이상 선택함으로써, 이미지와 이미지와 관련된 해시태그가 달린 SNS 공유글을 자동 생성할 수 있다.The service providing server 100 according to the present invention may combine these texts to generate a hashtag candidate such as #princess dress, #lace dress, #cute and the like, and provide the same to the user as shown in FIG. 6. By selecting one or more of the desired hashtags with a simple click, you can automatically generate an SNS shared article with a hashtag associated with the image.

그리고 자동 타이틀 생성 요청인 경우, 서비스 제공 서버(100)는 이미지 분석 결과로 도출된 텍스트들의 조합을 통해서 게시글에 맞는 타이틀을 자동 생성한다(S230). 이때, 서비스 제공 서버(100)는 이미지의 분석 결과로 생성된 텍스트뿐만 아니라, 사용자가 편집한 게시글에 포함된 텍스트를 참조하여 타이틀을 생성할 수 있다. 상기 타이틀은, 예를 들어, 온라인 쇼핑몰 사이트에서, 상품 이미지와 결합되어 함께 노출될 수 있다. In the case of the automatic title generation request, the service providing server 100 automatically generates a title suitable for the post through the combination of the texts derived as a result of the image analysis (S230). In this case, the service providing server 100 may generate a title by referring to the text included in the post edited by the user as well as the text generated as a result of analyzing the image. The title may be combined with the product image and exposed together, for example, in an online shopping mall site.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.As described above, the specification includes the details of a number of specific implementations, but these should not be understood as being limited to the scope of any invention or claimable, but rather may be specific to a particular embodiment of a particular invention. It should be understood as a description of the features. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features operate in a specific combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, wherein the claimed combination is a subcombination Or a combination of subcombinations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. In addition, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Specific embodiments of the subject matter described in this specification have been described. Other embodiments are within the scope of the following claims. For example, the actions recited in the claims can be performed in a different order but still achieve desirable results. As an example, the process depicted in the accompanying drawings does not necessarily require that particular illustrated or sequential order to obtain the desired results. In certain implementations, multitasking and parallel processing may be advantageous.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The foregoing description presents the best mode of the invention, and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus produced is not intended to limit the invention to the specific terms presented. Thus, while the present invention has been described in detail with reference to the examples described above, those skilled in the art can make modifications, changes and variations to the examples without departing from the scope of the invention.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다Therefore, the scope of the present invention should be determined by the claims rather than by the described embodiments.

본 발명은 인스턴트 메신저, SNS(Social Network Service), 전자 게시판과 같이 하나 이상의 다른 사용자와 정보를 공유하는 서비스의 제공과 관련된 것으로서, 이러한 정보 공유와 관련된 서비스의 요청에 따라서, 대상 이미지를 분석하여 대상 이미지와 관련된 텍스트를 자동 생성하여 제공함으로써, 인스턴트 메신저의 응답 메시지, SNS 공유 글에 대한 해시태그, 전자 게시판의 타이틀을 자동 생성할 수 있으며, 이를 통해 사용자 편의 및 만족도를 향상시킬 수 있다.The present invention relates to the provision of a service for sharing information with one or more other users, such as an instant messenger, a social network service (SNS), an electronic bulletin board, and a target image by analyzing a target image according to a request of a service related to such information sharing. By automatically generating and providing text related to an image, it is possible to automatically generate a response message of an instant messenger, a hash tag of an SNS shared post, and a title of an electronic bulletin board, thereby improving user convenience and satisfaction.

100: 검색 서버 110: 통신모듈
120: 저장모듈 130: 제어모듈
131: 이미지 분석 모듈 133: 텍스트 정보 생성 모듈
200: 사용자 장치
210: 통신부 220: 입력부
230: 표시부 240: 저장부
250: 제어부 260: 카메라부
100: search server 110: communication module
120: storage module 130: control module
131: image analysis module 133: text information generation module
200: user device
210: communication unit 220: input unit
230: display unit 240: storage unit
250: control unit 260: camera unit

Claims (12)

서비스 제공 서버가,
사용자 장치로부터 이미지를 포함하는 정보 공유와 관련된 서비스 요청을 수신하는 단계;
공유할 대상 이미지 데이터를 확인하는 단계;
확인된 이미지 데이터를 분석하여, 이미지에 포함된 하나 이상의 객체에 대한 텍스트를 추출하는 단계; 및
하나 이상의 객체에 대한 텍스트들을 조합하여 상기 이미지와 관련된 텍스트 정보를 생성하는 단계;
를 포함하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The service provider server,
Receiving a service request associated with sharing information including an image from a user device;
Identifying target image data to be shared;
Analyzing the identified image data to extract text for one or more objects included in the image; And
Combining text for one or more objects to generate text information associated with the image;
Method of upgrading the information sharing service comprising a.
제1항에 있어서, 상기 서비스 요청은,
인스턴트 메시징을 위한 자동 응답 요청, SNS, 정보 공유 요청, 전자 게시글에 대한 타이틀 생성 요청 중 하나 이상을 포함하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The method of claim 1, wherein the service request,
A method of upgrading an information sharing service comprising one or more of an automatic response request for an instant messaging, an SNS, an information sharing request, and a title generation request for an electronic post.
제1항에 있어서, 상기 텍스트 정보를 생성하는 단계는,
요청된 서비스의 유형에 따른 메시지 형식을 확인하고, 확인된 메시지 형식에 따라서 상기 텍스트 메시지를 생성하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The method of claim 1, wherein the generating of the text information comprises:
Confirming the message format according to the type of the requested service, and generating the text message according to the confirmed message format.
제3항에 있어서, 상기 텍스트 정보를 생성하는 단계는
상기 서비스 요청이 인스턴트 메시징을 위한 자동 응답 요청인 경우, 이전에 수신된 상대방의 대화 메시지, 및 사용자의 대화 메시지에서 텍스트를 추출하고, 이를 더 조합하여 상기 텍스트 메시지를 생성하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The method of claim 3, wherein generating the text information
When the service request is an automatic response request for instant messaging, extracting text from a previously received conversation message of the other party and a conversation message of the user, and further combining them to generate the text message. How to upgrade your service.
제3항에 있어서, 상기 텍스트 정보를 생성하는 단계는
상기 서비스 요청이 SNS(Social Network Service) 정보 공유 요청인 경우, 상기 생성한 하나 이상의 텍스트를 조합하여 하나 이상의 해시태그 후보를 생성하고, 상기 해시태그 후보를 사용자 장치로 제공하여 선택받는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The method of claim 3, wherein generating the text information
When the service request is a social network service (SNS) information sharing request, at least one hash tag candidate is generated by combining the generated one or more texts, and the hash tag candidate is provided to a user device for selection. How to advance information sharing services.
제3항에 있어서, 상기 텍스트 정보를 생성하는 단계는
상기 서비스 요청이 자동 타이틀 생성 요청인 경우, 상기 이미지를 포함하는 게시글로부터 텍스트를 추출하고, 상기 텍스트를 더 조합하여 타이틀을 생성하는 것을 특징으로 하는 정보 공유 서비스의 고도화 방법.
The method of claim 3, wherein generating the text information
If the service request is an automatic title generation request, extracting text from a post including the image, and generating a title by further combining the texts.
사용자 장치로부터 이미지를 포함하는 정보 공유와 관련된 서비스 요청을 수신하기 위한 통신 모듈;
서비스를 위한 이미지 데이터를 저장하는 저장 모듈;
상기 서비스 요청이 수신되면, 공유할 대상 이미지 데이터를 확인하고, 확인된 이미지 데이터를 분석하여, 이미지에 포함된 하나 이상의 객체에 대한 텍스트를 추출하는 이미지 분석 모듈;
상기 이미지 분석 모듈에서 추출하는 하나 이상의 객체에 대한 텍스트들을 조합하여 상기 이미지와 관련된 텍스트 정보를 생성하는 텍스트 정보 생성 모듈을 포함하는 것을 특징으로 하는 서비스 제공 서버.
A communication module for receiving a service request associated with sharing information including an image from a user device;
A storage module for storing image data for a service;
An image analysis module for checking target image data to be shared, analyzing the identified image data, and extracting text for one or more objects included in the image when the service request is received;
And a text information generation module for generating text information related to the image by combining texts of one or more objects extracted by the image analysis module.
제7항에 있어서, 상기 서비스 요청은,
인스턴트 메시징을 위한 자동 응답 요청, SNS, 정보 공유 요청, 전자 게시글에 대한 타이틀 생성 요청 중 하나 이상을 포함하는 것을 특징으로 하는 서비스 제공 서버.
The method of claim 7, wherein the service request,
A service providing server comprising one or more of an automatic response request for an instant messaging, an SNS, an information sharing request, and a title generation request for an electronic post.
제8항에 있어서, 상기 텍스트 정보 생성 모듈은
요청된 서비스의 유형에 따른 메시지 형식을 확인하고, 확인된 메시지 형식에 따라서 상기 텍스트 메시지를 생성하는 것을 특징으로 하는 서비스 제공 서버.
The method of claim 8, wherein the text information generating module
And checking the message format according to the type of the requested service, and generating the text message according to the confirmed message format.
제9항에 있어서, 상기 텍스트 정보 생성 모듈은
상기 서비스 요청이 인스턴트 메시징을 위한 자동 응답 요청인 경우, 이전에 수신된 상대방의 대화 메시지, 및 사용자의 대화 메시지에서 텍스트를 추출하고, 이를 더 조합하여 상기 텍스트 메시지를 생성하는 것을 특징으로 하는 서비스 제공 서버.
The method of claim 9, wherein the text information generation module
When the service request is an automatic response request for instant messaging, extracting text from a previously received conversation message of the other party and a conversation message of the user, and further combining them to generate the text message. server.
제9항에 있어서, 상기 텍스트 정보 생성 모듈은
상기 서비스 요청이 SNS(Social Network Service) 정보 공유 요청인 경우, 상기 생성한 하나 이상의 텍스트를 조합하여 하나 이상의 해시태그 후보를 생성하고, 상기 해시태그 후보를 사용자 장치로 제공하여 선택받는 것을 특징으로 하는 서비스 제공 서버.
The method of claim 9, wherein the text information generation module
When the service request is a social network service (SNS) information sharing request, at least one hash tag candidate is generated by combining the generated one or more texts, and the hash tag candidate is provided to a user device for selection. Service Delivery Server.
제9항에 있어서, 상기 텍스트 정보 생성 모듈은
상기 서비스 요청이 자동 타이틀 생성 요청인 경우, 상기 이미지를 포함하는 게시글로부터 텍스트를 추출하고, 상기 텍스트를 더 조합하여 타이틀을 생성하는 것을 특징으로 하는 서비스 제공 서버.
The method of claim 9, wherein the text information generation module
If the service request is an automatic title generation request, extracting text from a post including the image and generating a title by further combining the text.
KR1020180103399A 2018-08-31 2018-08-31 Enhancement method of information sharing service and apparatus therefor KR20200026398A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180103399A KR20200026398A (en) 2018-08-31 2018-08-31 Enhancement method of information sharing service and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180103399A KR20200026398A (en) 2018-08-31 2018-08-31 Enhancement method of information sharing service and apparatus therefor

Publications (1)

Publication Number Publication Date
KR20200026398A true KR20200026398A (en) 2020-03-11

Family

ID=69809903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103399A KR20200026398A (en) 2018-08-31 2018-08-31 Enhancement method of information sharing service and apparatus therefor

Country Status (1)

Country Link
KR (1) KR20200026398A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100665A1 (en) * 2020-11-16 2022-05-19 深圳市万普拉斯科技有限公司 Image sharing method and apparatus, and terminal device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170115777A (en) 2016-04-08 2017-10-18 주식회사 네온트리파트너스 Using auto-messaging function, messenger reply business model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170115777A (en) 2016-04-08 2017-10-18 주식회사 네온트리파트너스 Using auto-messaging function, messenger reply business model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100665A1 (en) * 2020-11-16 2022-05-19 深圳市万普拉斯科技有限公司 Image sharing method and apparatus, and terminal device

Similar Documents

Publication Publication Date Title
US20200363949A1 (en) Advanced keyboard based search
US10831459B2 (en) Dynamic code management
US20210256200A1 (en) System and method for interactive application preview
US9904469B2 (en) Keyboard stream logging
US20180225114A1 (en) Computer readable storage media and methods for invoking an action directly from a scanned code
US10768810B2 (en) Enhanced keyboard including multiple application execution
US9503410B2 (en) Sharing of activity metadata via messaging systems
US11283740B2 (en) Name label display method and apparatus
JP2018506793A (en) Method, apparatus, system and computer program for providing a rich menu of official accounts in an instant messaging service
US20210359962A1 (en) Bot response generation with dynamically-changing website or native application
KR20200026398A (en) Enhancement method of information sharing service and apparatus therefor
KR20200024619A (en) Method for providing recommend service and apparatus therefor
TWI641969B (en) Electronic device and operation method thereof and server host device
CN106470215B (en) User terminal, server, and message pushing system and method for scene not concerned
KR102282376B1 (en) System and method for integrating associated message in messenger service
CN110708238B (en) Method and apparatus for processing information
KR20200024617A (en) Method and apparatus for providing service based on terminal context
KR20200026423A (en) Apparatus and method for providing user analysis result based on user context
KR20160039523A (en) Keyboard application server and method for providing advertisement contents using the same
KR20200001319A (en) A method for image searching using an edited image and an apparatus therefor
KR20200026391A (en) Method for providing recommend service and apparatus therefor
WO2020219476A1 (en) Advanced keyboard based search
CN111966272A (en) Material editing method and device and storage medium
CN114327189A (en) Operation method, intelligent terminal and storage medium
JP2019508828A (en) Method and apparatus for sending mail while downloading data

Legal Events

Date Code Title Description
N231 Notification of change of applicant