KR20240062218A - 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치 - Google Patents

온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치 Download PDF

Info

Publication number
KR20240062218A
KR20240062218A KR1020220141252A KR20220141252A KR20240062218A KR 20240062218 A KR20240062218 A KR 20240062218A KR 1020220141252 A KR1020220141252 A KR 1020220141252A KR 20220141252 A KR20220141252 A KR 20220141252A KR 20240062218 A KR20240062218 A KR 20240062218A
Authority
KR
South Korea
Prior art keywords
profile image
user
information
terminal
image
Prior art date
Application number
KR1020220141252A
Other languages
English (en)
Inventor
길하양
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020220141252A priority Critical patent/KR20240062218A/ko
Priority to US18/493,110 priority patent/US20240146673A1/en
Publication of KR20240062218A publication Critical patent/KR20240062218A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 컴퓨팅 장치에 의해 수행되는 프로필 이미지 보정 방법에 관한 것으로, 사용자 단말로부터 사용자 입력 정보를 수신하는 단계; 상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 단계; 및 상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 단계를 포함한다.

Description

온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치 {METHOD FOR CORRECTING A PROFILE IMAGE IN ONLINE COMMUNICATION SERVICE AND APPARATUS THEREOF}
본 발명은 온라인 커뮤니케이션 서비스에 관한 것으로서, 보다 구체적으로는 사용자의 감정을 기반으로 프로필 이미지를 보정하는 방법 및 그 장치에 관한 것이다.
메신저나 화상회의 등과 같은 온라인 커뮤니케이션 서비스에서, 사용자의 감정을 상대방에게 전달하는 방법은 텍스트(text)나 이모티콘(emoticon)을 사용하는 것이다. 특히, 사용자의 감정을 보다 효과적으로 전달하기 위해 이모티콘을 주로 활용하고 있다.
이모티콘은 사용자의 감정을 나타내기 위해 사용하는 기호로써, 감정(Emotion)과 아이콘(Icon)을 합성한 용어이다. 초창기의 이모티콘은 키패드에 있는 각종 기호와 문자의 단순 조합으로 만들어 졌지만, 최근에는 다양한 형태의 캐릭터를 통해 사용자의 감정을 나타내는 이모지(emoji) 형태로 발전하고 있다. 이러한 이모티콘에 대한 서비스 사용자들의 수요가 증가하면서, 온라인 커뮤니케이션 서비스에서 다양한 종류의 이모티콘을 서비스 사용자들에게 제공하는 것이 일반화되었다.
하지만, 대화창의 이모티콘을 통해 상대방의 감정을 유추할 수 있을 뿐, 상대방의 표정을 실제로 볼 수 없기 때문에, 대면 커뮤니케이션을 완벽하게 대체하는 수단은 아니다. 따라서, 온라인 커뮤니케이션 서비스 상에서 사용자의 감정을 상대방에게 보다 효과적으로 전달하는 방법이 필요하다.
KR 10-2022-0052789 A KR 10-2020-0073496 A
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 사용자 입력 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있는 방법 및 그 장치를 제공함에 있다.
또 다른 목적은 사용자 입력 정보 및 사용자 얼굴 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있는 방법 및 그 장치를 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 사용자 단말로부터 사용자 입력 정보를 수신하는 단계; 상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 단계; 및 상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 단계를 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법을 제공한다.
본 발명의 다른 측면에 따르면, 하나 이상의 프로세서 및 메모리를 포함하는 프로필 이미지 보정 장치에 있어서, 상기 하나 이상의 프로세서는: 사용자 단말로부터 사용자 입력 정보를 수신하는 것; 상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 것; 및 상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 것을 수행하는, 서비스 제공 서버의 프로필 이미지 보정 장치를 제공한다.
본 발명의 또 다른 측면에 따르면, 사용자 단말로부터 사용자 입력 정보를 수신하는 과정; 상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 과정; 및 상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 과정이 컴퓨터 상에서 실행 가능하도록 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명의 실시 예들에 따른 프로필 이미지 보정 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자 단말로부터 획득된 사용자 입력 정보 및 사용자 영상 정보 중 적어도 하나를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 온라인 커뮤니케이션 서비스 화면에 표시된 프로필 이미지의 얼굴 표정을 실시간으로 변경함으로써, 단말 사용자의 감정을 대화 상대방에게 효과적으로 전달할 수 있을 뿐만 아니라 대화 상대방과 생동감 있고 몰입된 대화를 주고받을 수 있다는 장점이 있다.
다만, 본 발명의 실시 예들에 따른 프로필 이미지 보정 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 온라인 커뮤니케이션 시스템의 구성을 나타내는 도면;
도 2는 본 발명의 일 실시 예에 따른 프로필 이미지 보정 방법을 설명하는 순서도;
도 3은 도 2의 프로필 이미지 보정 방법을 설명하기 위해 참조되는 도면;
도 4는 본 발명의 다른 실시 예에 따른 프로필 이미지 보정 방법을 설명하는 순서도;
도 5a 및 도 5b는 도 4의 프로필 이미지 대체 방법을 설명하기 위해 참조되는 도면;
도 6a 및 도 6b는 도 4의 후보 프로필 이미지 선택 방법을 설명하기 위해 참조되는 도면;
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 구성 블록도.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 사용자 입력 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있는 방법 및 그 장치를 제안한다. 또한, 본 발명은 사용자 입력 정보 및 사용자 얼굴 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있는 방법 및 그 장치를 제안한다. 이하, 본 실시 예에서 설명하는 프로필 이미지는, 일종의 객체 이미지로서, 온라인 커뮤니케이션 서비스 상에서 사용자 또는 상대방을 지시하는 아이콘 이미지, 위젯 이미지, 썸네일 이미지, 사진 이미지 등을 포함하는 모든 이미지를 의미한다.
이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 온라인 커뮤니케이션 시스템의 구성을 도시하는 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 온라인 커뮤니케이션 시스템(10)은 통신 네트워크(100), 서비스 제공 서버(200), 사용자 단말(300) 및 상대방 단말(400) 등을 포함할 수 있다.
서비스 제공 서버(200)와 사용자 단말(300)은 통신 네트워크(100)를 통해 서로 연결될 수 있다. 마찬가지로, 서비스 제공 서버(200)와 상대방 단말(400)은 통신 네트워크(100)를 통해 서로 연결될 수 있다. 통신 네트워크(100)는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크(100)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(100)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유/무선 텔레비전 네트워크 중 적어도 하나를 포함할 수도 있다.
서비스 제공 서버(200)는 사용자 단말(300) 및 상대방 단말(400)에서 요청하는 온라인 커뮤니케이션 서비스(online communication service)를 제공할 수 있다. 본 실시 예에서 설명하는 온라인 커뮤니케이션 서비스는 메신저 서비스, 채팅 서비스, 화상회의 서비스, 메시지 서비스, SNS(Social Network Service) 서비스 등과 같은 모든 온라인 대화 서비스를 포함할 수 있다.
일 예로, 서비스 제공 서버(200)가 메신저 서버인 경우, 서비스 제공 서버(200)는 메신저 서비스를 사용자 단말(300) 및 상대방 단말(400)에 제공할 수 있다. 한편, 다른 예로, 서비스 제공 서버(200)가 화상회의 서버인 경우, 서비스 제공 서버(200)는 화상회의 서비스를 사용자 단말(300) 및 상대방 단말(400)에 제공할 수 있다.
서비스 제공 서버(200)는 온라인 커뮤니케이션 서비스 상의 프로필 이미지를 보정하기 위한 프로필 이미지 보정 장치를 포함할 수 있다. 상기 프로필 이미지 보정 장치는 사용자 입력 정보 및 사용자 얼굴 정보 중 적어도 하나를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 프로필 이미지를 자동으로 보정할 수 있다. 상기 프로필 이미지 보정 장치 및 그 방법에 대한 자세한 설명은 후술하도록 한다.
사용자 단말(300) 및 상대방 단말(400)은 서비스 제공 서버(200)로부터 제공받은 정보를 기반으로 온라인 커뮤니케이션 서비스를 제공할 수 있다. 일 예로, 서비스 제공 서버(200)가 메신저 서버인 경우, 사용자 단말(300) 및 상대방 단말(400)은 메신저 서버로부터 제공받은 정보를 기반으로 메신저 서비스를 제공할 수 있다. 한편, 다른 예로, 서비스 제공 서버(200)가 화상회의 서버인 경우, 사용자 단말(300) 및 상대방 단말(400)은 화상회의 서버로부터 제공받은 정보를 기반으로 화상회의 서비스를 제공할 수 있다.
사용자 단말(300) 및 상대방 단말(400)은 온라인 커뮤니케이션 서비스를 제공하기 위한 프로그램 또는 애플리케이션을 다운로드하여 설치할 수 있다. 이때, 사용자 단말(300) 및 상대방 단말(400)은 앱 스토어(app store), 플레이 스토어(play store), 웹 사이트 등에 접속하여 해당 프로그램 또는 애플리케이션을 다운로드하거나 혹은 별도의 저장매체를 통해 해당 프로그램 또는 애플리케이션을 다운로드할 수 있다.
본 명세서에서 설명되는 사용자 단말(300) 및 상대방 단말(400)로는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크톱 컴퓨터(desktop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device) 등이 사용될 수 있으며 반드시 이에 제한되지는 않는다.
도 2는 본 발명의 일 실시 예에 따른 프로필 이미지 보정 방법을 설명하는 순서도이다. 본 실시 예에 따른 프로필 이미지 보정 방법은 서비스 제공 서버(200)의 프로필 이미지 보정 장치(미도시)에 의해 수행될 수 있다. 상기 프로필 이미지 보정 장치는 사용자 단말(300)과 연동하여 동작할 수 있다. 상기 프로필 이미지 보정 장치는 하나 이상의 프로세서들과 메모리를 포함하는 컴퓨팅 장치를 통해 구현될 수 있다. 도시된 순서도에서는 프로필 이미지 보정 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 2를 참조하면, 사용자 단말(300)은, 사용자 명령에 따라, 서비스 제공 서버(200)에 접속하여 온라인 커뮤니케이션 서비스를 단말 사용자에게 제공할 수 있다(S210).
일 예로, 도 3에 도시된 바와 같이, 사용자 단말(300)은 대화창(311)과 입력창(312)을 포함하는 서비스 화면(310)을 디스플레이부에 표시할 수 있다. 상기 대화창(311)에는 대화 상대방의 프로필 이미지(313), 대화 상대방의 메시지(314), 단말 사용자의 프로필 이미지(미도시), 단말 사용자의 메시지(미도시) 등이 표시될 수 있다. 여기서, 단말 사용자의 프로필 이미지는 생략 가능하도록 구성될 수 있다. 상기 입력창(312)의 일 영역에는 단말 사용자의 프로필 이미지(315)가 표시될 수 있다.
사용자 단말(300)은 서비스 화면의 입력창을 통해 단말 사용자의 메시지가 입력되는지 여부를 확인할 수 있다(S220).
상기 220 단계의 확인 결과, 단말 사용자의 메시지가 입력되는 경우, 사용자 단말(300)은 사용자 입력 정보를 서비스 제공 서버(200)로 제공할 수 있다(S230). 여기서, 사용자 입력 정보는 단말 사용자로부터 입력된 메시지 정보를 포함할 수 있다. 상기 메시지 정보는 텍스트 정보 및 이모티콘 정보 중 적어도 하나를 포함할 수 있다.
일 예로, 도 3에 도시된 바와 같이, 단말 사용자의 메시지가 입력되는 경우, 사용자 단말(300)은 입력된 메시지 정보(316)를 사용자 화면(310)의 입력창(315)에 표시할 수 있다. 이와 동시에, 사용자 단말(300)은 입력된 메시지 정보(316)를 서비스 제공 서버(200)로 전송할 수 있다.
서비스 제공 서버(200)는 사용자 단말(300)로부터 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출할 수 있다(S240). 여기서, 단말 사용자의 감정 정보는 감정의 종류에 관한 정보와 감정의 강도에 관한 정보 중 적어도 하나를 포함할 수 있다. 상기 감정의 종류로는 기쁨, 슬픔, 분노, 우울, 놀람 등이 있으며 반드시 이에 제한되지는 않는다. 상기 감정의 강도로는 매우 기쁨, 기쁨, 조금 기쁨 등이 있으며 반드시 이에 제한되지는 않는다. 한편, 상기 감정의 강도는 수치를 통해 표현될 수도 있다.
일 예로, 서비스 제공 서버(200)는 단말 사용자로부터 입력된 메시지 정보를 미리 학습된 텍스트 분석 모델에 입력하여 사용자의 감정 정보를 추출할 수 있다. 상기 텍스트 분석 모델은, 일종의 기계학습(machine learning) 모델로서, 사용자의 감정 상태에 따른 메시지 데이터들에 대한 기계학습을 통해 미리 구현될 수 있다.
서비스 제공 서버(200)는 단말 사용자의 프로필 이미지를 검출할 수 있다(S250).
서비스 제공 서버(200)는 검출된 프로필 이미지가 감정 표현이 가능한 이미지인지를 확인할 수 있다(S260). 일 예로, 서비스 제공 서버(200)는 검출된 프로필 이미지가 감정 표현이 가능한 얼굴 표정을 포함하고 있는지를 확인할 수 있다.
상기 260 단계의 확인 결과, 해당 프로필 이미지가 감정 표현이 가능한 이미지인 경우, 서비스 제공 서버(200)는 상기 추출된 사용자의 감정 정보를 기반으로 프로필 이미지를 보정할 수 있다(S270). 즉, 서비스 제공 서버(200)는 사용자의 감정을 프로필 이미지의 얼굴 표정에 적용할 수 있다
일 예로, 서비스 제공 서버(200)는 객체 추적 알고리즘을 이용하여 프로필 이미지에 포함된 사람의 얼굴 영역을 추출할 수 있다. 서비스 제공 서버(200)는 상기 추출된 얼굴 영역에 포함된 표정을 상기 추출된 사용자 감정에 맞게 보정할 수 있다. 이때, 서비스 제공 서버(200)는 이미지 합성 알고리즘(가령, 생성적 적대　신경망(Generative Adversarial Networks, GAN) 기반의 딥페이크 기술)을 이용하여 프로필 이미지의 얼굴 표정을 보정할 수 있다.
서비스 제공 서버(200)는 보정된 프로필 이미지를 사용자 단말(300)로 제공할 수 있다(S280).
사용자 단말(300)은 서비스 제공 서버(200)로부터 수신된 보정 프로필 이미지를 서비스 화면에 표시할 수 있다(S290). 일 예로, 도 3에 도시된 바와 같이, 사용자 단말(300)은 기본 프로필 이미지 또는 이전 상태의 프로필 이미지(311)를 서비스 제공 서버(200)로부터 수신된 보정 프로필 이미지(317)로 변경하여 표시할 수 있다.
한편, 상기 260 단계의 확인 결과, 해당 프로필 이미지가 감정 표현이 불가능한 이미지인 경우, 서비스 제공 서버(200)는, 별도의 프로필 이미지 보정 없이, 현재의 프로필 이미지를 그대로 유지할 수 있다.
이후, 사용자 단말(300)은, 단말 사용자의 메시지 전송 명령에 대응하여, 메시지 전송 요청 신호를 서비스 제공 서버(200)로 전송할 수 있다. 이를 수신한 서비스 제공 서버(200)는 단말 사용자의 보정 프로필 이미지와 메시지를 상대방 단말(400)로 전송할 수 있다. 상대방 단말(400)은 서비스 제공 서버(200)로부터 수신된 보정 프로필 이미지와 메시지를 서비스 화면에 표시할 수 있다.
이상 상술한 바와 같이, 본 발명의 일 실시 예에 따른 프로필 이미지 보정 방법은 사용자 단말로부터 획득된 사용자 입력 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있다. 상기 프로필 이미지 보정 방법은 온라인 커뮤니케이션 서비스 화면에 표시된 프로필 이미지의 얼굴 표정을 실시간으로 변경함으로써, 단말 사용자의 감정을 대화 상대방에게 효과적으로 전달할 수 있을 뿐만 아니라 대화 상대방과 생동감 있고 몰입된 대화를 주고받을 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 프로필 이미지 보정 방법을 설명하는 순서도이다. 본 실시 예에 따른 프로필 이미지 보정 방법은 서비스 제공 서버(200)의 프로필 이미지 보정 장치(미도시)에 의해 수행될 수 있다. 상기 프로필 이미지 보정 장치는 사용자 단말(300)과 연동하여 동작할 수 있다. 상기 프로필 이미지 보정 장치는 하나 이상의 프로세서들과 메모리를 포함하는 컴퓨팅 장치를 통해 구현될 수 있다. 도시된 순서도에서는 프로필 이미지 보정 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 4를 참조하면, 사용자 단말(300)은, 사용자 명령에 따라, 서비스 제공 서버(200)에 접속하여 온라인 커뮤니케이션 서비스를 단말 사용자에게 제공할 수 있다(S405).
사용자 단말(300)은 서비스 화면의 입력창을 통해 단말 사용자의 메시지가 입력되는지 여부를 확인할 수 있다(S410).
상기 410 단계의 확인 결과, 단말 사용자의 메시지가 입력되는 경우, 사용자 단말(300)은 사용자 입력 정보를 서비스 제공 서버(200)로 제공할 수 있다(S415). 여기서, 사용자 입력 정보는 사용자로부터 입력된 메시지 정보와 사용자의 타자 속도 정보를 포함할 수 있다. 상기 메시지 정보는 텍스트 정보 및 이모티콘 정보 중 적어도 하나를 포함할 수 있다. 상기 타자 속도 정보는 단말 사용자로부터 입력된 메시지 정보를 기반으로 측정될 수 있다.
사용자 단말(300)은, 단말 사용자의 메시지 입력 시, 카메라를 자동으로 활성화하여 사용자의 얼굴을 포함하는 사용자 영상 정보를 획득할 수 있다. 한편, 다른 실시 예로, 사용자 단말(300)은, 서비스 제공 서버(200)의 요청 명령에 따라 카메라를 활성화하여 사용자 영상 정보를 획득할 수도 있다.
사용자 단말(300)은 카메라를 통해 획득된 사용자 영상 정보를 서비스 제공 서버(200)로 제공할 수 있다(S420).
서비스 제공 서버(200)는 사용자 단말(300)로부터 수신된 사용자 입력 정보 및 사용자 영상 정보를 기반으로 단말 사용자의 감정 정보를 추출할 수 있다(S425). 여기서, 단말 사용자의 감정 정보는 감정의 종류에 관한 정보와 감정의 강도에 관한 정보 중 적어도 하나를 포함할 수 있다. 상기 감정의 종류로는 기쁨, 슬픔, 분노, 우울, 놀람 등이 있으며 반드시 이에 제한되지는 않는다. 상기 감정의 강도로는 매우 기쁨, 기쁨, 조금 기쁨 등이 있으며 반드시 이에 제한되지는 않는다. 한편, 상기 감정의 강도는 수치를 통해 표현될 수도 있다.
일 예로, 서비스 제공 서버(200)는 사용자로부터 입력된 메시지 정보를 미리 학습된 텍스트 분석 모델에 입력하여 단말 사용자의 제1 감정 정보를 추출할 수 있다. 상기 텍스트 분석 모델은, 일종의 기계학습 모델로서, 사용자의 감정 상태에 따른 메시지 데이터들에 대한 기계학습을 통해 미리 구현될 수 있다.
서비스 제공 서버(200)는 사용자의 타자 속도 정보를 미리 학습된 타이핑 분석 모델에 입력하여 단말 사용자의 제2 감정 정보를 추출할 수 있다. 마찬가지로, 상기 타이핑 분석 모델은, 일종의 기계학습 모델로서, 사용자의 감정 상태에 따른 타자 속도 데이터들에 대한 기계학습을 통해 미리 구현될 수 있다.
서비스 제공 서버(200)는 사용자 영상 정보에 포함된 얼굴 이미지의 특징점들을 추출하고, 상기 추출된 특징점들을 기반으로 단말 사용자의 제3 감정 정보를 추출할 수 있다. 이때, 서비스 제공 서버(200)는 Mean-Shift 알고리즘 또는 CAMshift 알고리즘 등과 같은 영상 시프트 알고리즘을 이용하여 얼굴 이미지의 특징점들을 추출할 수 있다.
서비스 제공 서버(200)는 사용자 입력 정보를 통해 추출된 제1 및 제2 감정 정보와 사용자 영상 정보를 통해 추출된 제3 감정 정보를 기반으로 단말 사용자의 감정 정보를 추출할 수 있다. 한편, 다른 실시 예로, 서비스 제공 서버(200)는 제1 내지 제3 감정 정보 중 적어도 하나를 기반으로 단말 사용자의 감정 정보를 추출할 수도 있다.
서비스 제공 서버(200)는 단말 사용자의 프로필 이미지를 검출할 수 있다(S430).
서비스 제공 서버(200)는 검출된 프로필 이미지가 감정 표현이 가능한 이미지인지를 확인할 수 있다(S435). 일 예로, 서비스 제공 서버(200)는 검출된 프로필 이미지가 감정 표현이 가능한 얼굴 표정을 포함하고 있는지를 확인할 수 있다.
상기 435 단계의 확인 결과, 해당 프로필 이미지가 감정 표현이 가능한 이미지인 경우, 서비스 제공 서버(200)는 해당 프로필 이미지에 포함된 얼굴과 사용자 영상 정보에 포함된 얼굴이 서로 일치하는지 여부를 확인할 수 있다(S440). 이는 단말 사용자의 프로필 이미지에 자신이 아닌 다른 사람(가령, 가족, 연예인 등)이 포함될 수 있기 때문이다.
한편, 상기 435 단계의 확인 결과, 해당 프로필 이미지가 감정 표현이 불가능한 이미지인 경우, 서비스 제공 서버(200)는 현재의 프로필 이미지를 새로운 프로필 이미지로 대체할 수 있다(S445). 이때, 새로운 프로필 이미지는 단말 사용자의 얼굴을 포함할 수 있다. 또한, 새로운 프로필 이미지는 단말 사용자의 감정이 적용된 얼굴 표정을 포함할 수 있다.
일 예로, 서비스 제공 서버(200)는 사용자 영상 정보에 포함된 얼굴 이미지를 추출하고, 상기 추출된 얼굴 이미지의 표정을 사용자의 감정에 맞게 보정하여 새로운 프로필 이미지를 생성할 수 있다. 서비스 제공 서버(200)는 새로운 프로필 이미지를 사용자 단말(300)로 제공할 수 있다.
상기 440 단계의 확인 결과, 단말 사용자의 프로필 이미지에 포함된 얼굴과 사용자 영상 정보에 포함된 얼굴이 서로 일치하는 경우, 서비스 제공 서버(200)는 현재의 대화방이 감정 표현이 가능한 대화방인지 여부를 확인할 수 있다(S450). 이는 대화방의 상황 또는 분위기에 따라 단말 사용자의 감정 정보를 프로필 이미지에 적용할지 여부를 결정하기 위함이다.
일 예로, 서비스 제공 서버(200)는 미리 학습된 대화방 분석 모델을 이용하여 대화방에 표시된 메시지 정보를 기반으로 해당 대화방의 분위기를 파악하고, 상기 파악된 분위기를 기반으로 해당 대화방이 감정 표현이 가능한 대화방인지를 확인할 수 있다. 여기서, 상기 대화방 분석 모델은 대화방의 분위기에 따른 메시지 데이터들에 대한 기계 학습을 통해 미리 구현될 수 있다.
한편, 상기 440 단계의 확인 결과, 단말 사용자의 프로필 이미지에 포함된 얼굴과 사용자 영상 정보에 포함된 얼굴이 서로 일치하지 않는 경우, 서비스 제공 서버(200)는 현재의 프로필 이미지를 새로운 프로필 이미지로 교체할 수 있다(S445). 이때, 새로운 프로필 이미지는 단말 사용자의 얼굴을 포함할 수 있다. 또한, 새로운 프로필 이미지는 단말 사용자의 감정이 적용된 얼굴 표정을 포함할 수 있다.
상기 450 단계의 확인 결과, 현재의 대화방이 감정 표현이 가능한 대화방인 경우, 서비스 제공 서버(200)는 상기 추출된 사용자의 감정 정보를 기반으로 프로필 이미지를 보정할 수 있다(S455). 즉, 서비스 제공 서버(200)는 사용자의 감정을 프로필 이미지의 얼굴 표정에 적용할 수 있다.
일 예로, 서비스 제공 서버(200)는 객체 추적 알고리즘을 이용하여 프로필 이미지에 포함된 사람의 얼굴 영역을 추출할 수 있다. 서비스 제공 서버(200)는 상기 추출된 얼굴 영역에 포함된 표정을 상기 추출된 사용자 감정에 맞게 보정할 수 있다. 이때, 서비스 제공 서버(200)는 이미지 합성 알고리즘(가령, 생성적 적대　신경망(GAN) 기반의 딥페이크 기술)을 이용하여 프로필 이미지의 얼굴 표정을 보정할 수 있다.
한편, 도면에 도시되고 있지 않지만, 서비스 제공 서버(200)는, 프로필 이미지 보정 시, 단말 사용자의 얼굴 표정이 현재의 프로필 이미지에 포함되어 있는지를 확인할 수 있다. 상기 확인 결과, 단말 사용자의 얼굴 표정이 현재의 프로필 이미지에 존재하는 경우, 서비스 제공 서버(200)는 단말 사용자의 얼굴 표정이 상기 추출된 사용자의 감정과 일치하는지 여부를 확인할 수 있다. 상기 확인 결과, 단말 사용자의 얼굴 표정이 상기 추출된 사용자의 감정과 일치하는 경우, 서비스 제공 서버(200)는 현재의 프로필 이미지를 그대로 유지할 수 있다. 한편, 상기 확인 결과, 단말 사용자의 얼굴 표정이 상기 추출된 사용자의 감정과 일치하지 않는 경우, 서비스 제공 서버(200)는 현재의 프로필 이미지를 보정할 수 있다.
서비스 제공 서버(200)는 보정된 프로필 이미지를 사용자 단말(300)로 제공할 수 있다(S460).
사용자 단말(300)은 서비스 제공 서버(200)로부터 수신된 보정 프로필 이미지를 서비스 화면에 표시할 수 있다(S465).
한편, 서비스 화면에 표시된 보정 프로필 이미지의 얼굴 표정이 단말 사용자의 현재 감정 상태와 일치하지 않는 경우, 단말 사용자는 자신이 입력한 대화 메시지의 맥락(또는 의도)에 맞는 얼굴 표정을 갖는 다른 프로필 이미지를 선택할 수 있다.
사용자 단말(300)은, 프로필 변경 요청 명령이 단말 사용자로부터 입력되는지를 확인할 수 있다(S470). 상기 프로필 변경 요청 명령은 서비스 화면의 프로필 이미지 영역을 선택하는 사용자 입력을 통해 입력될 수 있다.
상기 470 단계의 확인 결과, 상기 프로필 변경 요청 명령이 입력되는 경우, 사용자 단말(300)은 보정 프로필 이미지의 얼굴 표정과 다른 표정을 갖는 하나 이상의 후보 프로필 이미지들을 요청하는 신호를 서비스 제공 서버(200)에 전송할 수 있다(S475).
서비스 제공 서버(200)는, 사용자 단말의 요청 신호에 대응하여, 하나 이상의 후보 프로필 이미지들을 생성하고, 상기 생성된 후보 프로필 이미지들을 사용자 단말(300)로 제공할 수 있다(S480).
사용자 단말(300)은 서비스 제공 서버(200)로부터 수신된 하나 이상의 후보 프로필 이미지들을 서비스 화면의 일 영역에 표시할 수 있다(S485).
서비스 화면에 표시된 후보 프로필 이미지들 중 어느 하나가 선택된 경우, 사용자 단말(300)은 보정 프로필 이미지를 상기 선택된 후보 프로필 이미지로 변경하여 표시할 수 있다(S495).
한편, 상기 470 단계의 확인 결과, 상기 프로필 변경 요청 명령이 입력되지 않는 경우, 사용자 단말(300)은 보정 프로필 이미지를 그대로 유지할 수 있다.
이후, 사용자 단말(300)은, 단말 사용자의 메시지 전송 명령에 대응하여, 메시지 전송 요청 신호를 서비스 제공 서버(200)로 전송할 수 있다. 이를 수신한 서비스 제공 서버(200)는 단말 사용자의 현재 프로필 이미지와 메시지를 상대방 단말(400)로 전송할 수 있다. 상대방 단말(400)은 서비스 제공 서버(200)로부터 수신한 프로필 이미지와 메시지를 서비스 화면에 표시할 수 있다.
이상 상술한 바와 같이, 본 발명의 일 실시 예에 따른 프로필 이미지 보정 방법은 사용자 단말로부터 획득된 사용자 입력 정보 및 사용자 영상 정보를 기반으로 단말 사용자의 감정을 추출하고, 상기 추출된 감정을 기반으로 온라인 커뮤니케이션 서비스의 프로필 이미지를 자동으로 보정할 수 있다. 상기 프로필 이미지 보정 방법은 온라인 커뮤니케이션 서비스 화면에 표시된 프로필 이미지의 얼굴 표정을 실시간으로 변경함으로써, 단말 사용자의 감정을 대화 상대방에게 효과적으로 전달할 수 있을 뿐만 아니라 대화 상대방과 생동감 있고 몰입된 대화를 주고받을 수 있다.
도 5a 및 도 5b는 도 4의 프로필 이미지 대체 방법을 설명하기 위해 참조되는 도면이다.
도 5a 및 도 5b를 참조하면, 사용자 단말(300)은 대화창(511)과 입력창(512)을 포함하는 서비스 화면(510)을 디스플레이부에 표시할 수 있다. 상기 입력창(512)에는 단말 사용자의 프로필 이미지(513)가 표시될 수 있다.
단말 사용자가 서비스 화면(510)의 입력창(512)을 통해 소정의 메시지(514)를 입력하는 경우, 서비스 제공 서버(200)는 입력된 메시지(514)를 기반으로 단말 사용자의 감정을 추출하고, 단말 사용자의 프로필 이미지(513)가 감정 표현이 가능한 이미지인지를 확인할 수 있다. 상기 확인 결과, 단말 사용자의 프로필 이미지(513)가 감정 표현이 불가능한 사물 이미지인 경우, 서비스 제공 서버(200)는 사용자 영상 정보에 포함된 얼굴 이미지를 추출하고, 상기 추출된 얼굴 이미지의 표정을 사용자의 감정에 맞게 보정하여 새로운 프로필 이미지(516)를 생성할 수 있다. 이때, 사용자 단말(300)은 현재 새로운 프로필 이미지를 생성하고 있음을 지시하는 인디케이터(515)를 서비스 화면(510)에 표시할 수 있다.
서비스 제공 서버(200)는 새로운 프로필 이미지(516)를 사용자 단말(300)로 제공할 수 있다. 사용자 단말(300)은 서비스 제공 서버(200)로부터 수신한 프로필 이미지(516)를 서비스 화면(510)에 표시할 수 있다. 즉, 사용자 단말(300)은 현재의 프로필 이미지(513)를 새로운 프로필 이미지(516)로 변경하여 표시할 수 있다.
한편, 단말 사용자는 서비스 제공 서버(200)에서 제공(또는 추천)하는 프로필 이미지(516)가 아닌 다른 프로필 이미지를 선택할 수도 있다. 가령, 단말 사용자가 서비스 화면(510)의 프로필 이미지 영역을 선택하는 경우, 사용자 단말(300)은 기본 프로필 이미지를 선택하기 위한 이미지 아이콘(517)과 갤러리에 포함된 사진을 새로운 프로필 이미지로 선택하기 위한 갤러리 아이콘(518)을 표시할 수 있다.
단말 사용자가 이미지 아이콘(517)을 선택하는 경우, 사용자 단말(300)은 기본 프로필 이미지(513)를 서비스 화면(510)에 표시할 수 있다. 한편, 단말 사용자가 갤러리 아이콘(518)을 선택하는 경우, 사용자 단말(300)은 복수의 썸네일 이미지들을 포함하는 이미지 목록화면(미도시)을 디스플레이부에 표시할 수 있다. 상기 복수의 썸네일 이미지들 중 어느 하나가 선택된 경우, 사용자 단말(300)은 선택된 썸네일 이미지를 포함하는 새로운 프로필 이미지를 서비스 화면(510)에 표시할 수 있다.
도 6a 및 도 6b는 도 4의 후보 프로필 이미지 선택 방법을 설명하기 위해 참조되는 도면이다.
도 6a 및 도 6b를 참조하면, 사용자 단말(300)은 대화창(611)과 입력창(612)을 포함하는 서비스 화면(610)을 디스플레이부에 표시할 수 있다. 상기 입력창(612)에는 단말 사용자의 프로필 이미지(613)가 표시될 수 있다.
단말 사용자가 서비스 화면(610)의 입력창(612)을 통해 소정의 메시지(614)를 입력하는 경우, 서비스 제공 서버(200)는 입력된 메시지(614)를 기반으로 단말 사용자의 감정을 추출하고, 단말 사용자의 프로필 이미지(513)가 감정 표현이 가능한 이미지인지를 확인할 수 있다. 상기 확인 결과, 단말 사용자의 프로필 이미지(513)가 감정 표현이 가능한 이미지인 경우, 서비스 제공 서버(200)는 상기 추출된 사용자의 감정에 맞게 프로필 이미지를 보정할 수 있다. 서비스 제공 서버(200)는 보정 프로필 이미지(613)를 사용자 단말(300)로 제공할 수 있다.
사용자 단말(300)은 서비스 제공 서버(200)로부터 수신된 보정 프로필 이미지(613)를 서비스 화면(610)에 표시할 수 있다. 한편, 서비스 화면(610)에 표시된 보정 프로필 이미지(613)의 얼굴 표정이 단말 사용자의 현재 감정 상태와 일치하지 않는 경우, 단말 사용자는 자신이 입력한 대화 메시지(614)의 맥락(또는 의도)에 맞는 얼굴 표정을 갖는 다른 프로필 이미지를 선택할 수 있다.
가령, 단말 사용자가 서비스 화면(610)의 프로필 이미지 영역을 선택하는 경우, 사용자 단말(300)은 보정 프로필 이미지(613)의 얼굴 표정과 다른 표정을 갖는 복수의 후보 프로필 이미지들(614~616)을 서비스 화면(610)에 표시할 수 있다. 상기 복수의 후보 프로필 이미지들(614~616)은 서비스 제공 서버(200)로부터 제공받을 수 있다.
상기 복수의 후보 프로필 이미지들(614~616) 중 어느 하나가 선택되는 경우, 사용자 단말(300)은 보정 프로필 이미지(613)를 상기 선택된 후보 프로필 이미지(615)로 변경하여 표시할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 구성 블록도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 컴퓨팅 장치(700)는 적어도 하나의 프로세서(710), 컴퓨터 판독 가능 저장 매체(720) 및 통신 버스(730)를 포함한다. 상기 컴퓨팅 장치(700)는 상술한 프로필 이미지 보정 장치 또는 상기 프로필 이미지 보정 장치를 구성하는 요소들에 포함되는 하나 이상의 컴포넌트일 수 있다.
프로세서(710)는 컴퓨팅 장치(700)로 하여금 앞서 언급된 예시적인 실시 예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(710)는 컴퓨터 판독 가능 저장 매체(720)에 저장된 하나 이상의 프로그램들(725)을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(710)에 의해 실행되는 경우 컴퓨팅 장치(700)로 하여금 예시적인 실시 예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(720)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(720)에 저장된 프로그램(725)은 프로세서(710)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시 예에서, 컴퓨터 판독 가능 저장 매체(720)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(700)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(730)는 프로세서(710), 컴퓨터 판독 가능 저장 매체(720)를 포함하여 컴퓨팅 장치(700)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(700)는 또한 하나 이상의 입출력 장치(750)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(740) 및 하나 이상의 네트워크 통신 인터페이스(760)를 포함할 수 있다. 입출력 인터페이스(740) 및 네트워크 통신 인터페이스(760)는 통신 버스(730)에 연결된다.
입출력 장치(750)는 입출력 인터페이스(740)를 통해 컴퓨팅 장치(700)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(750)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(750)는 컴퓨팅 장치(700)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(700)의 내부에 포함될 수도 있고, 컴퓨팅 장치(700)와는 구별되는 별개의 장치로 컴퓨팅 장치(700)와 연결될 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 온라인 커뮤니케이션 시스템 100: 통신 네트워크
200: 서비스 제공 서버 300: 사용자 단말
400: 상대방 단말 700: 컴퓨팅 장치

Claims (19)

  1. 컴퓨팅 장치에 의해 수행되는 프로필 이미지 보정 방법에 있어서,
    사용자 단말로부터 사용자 입력 정보를 수신하는 단계;
    상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 단계; 및
    상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 단계를 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  2. 제1항에 있어서,
    상기 사용자 입력 정보는, 상기 단말 사용자로부터 입력된 메시지 정보를 포함하고,
    상기 메시지 정보는, 텍스트 정보 및 이모티콘 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  3. 제2항에 있어서, 상기 추출 단계는,
    상기 메시지 정보를 미리 학습된 텍스트 분석 모델에 입력하여 상기 단말 사용자의 감정 정보를 추출하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  4. 제1항에 있어서,
    상기 단말 사용자의 감정 정보는, 감정의 종류에 관한 정보와 감정의 강도에 관한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  5. 제1항에 있어서,
    상기 단말 사용자의 프로필 이미지를 검출하는 단계; 및
    상기 검출된 프로필 이미지가 감정 표현이 가능한 이미지인지를 확인하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  6. 제1항에 있어서, 상기 보정 단계는,
    객체 추적 알고리즘을 이용하여 상기 프로필 이미지에 포함된 사람의 얼굴 영역을 추출하는 단계; 및
    이미지 합성 알고리즘을 이용하여 상기 추출된 얼굴 영역에 포함된 표정을 상기 추출된 감정 정보에 따라 보정하는 단계를 포함하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  7. 제1항에 있어서,
    상기 보정된 프로필 이미지를 상기 사용자 단말로 전송하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  8. 제1항에 있어서,
    상기 단말 사용자의 얼굴을 포함하는 사용자 영상 정보를 상기 사용자 단말로부터 수신하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  9. 제8항에 있어서,
    상기 사용자 입력 정보는, 상기 단말 사용자로부터 입력된 메시지 정보와 상기 단말 사용자의 타자 속도 정보를 포함하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  10. 제9항에 있어서, 상기 추출 단계는,
    상기 메시지 정보를 통해 추출된 제1 감정 정보와, 상기 타자 속도 정보를 통해 추출된 제2 감정 정보와, 상기 사용자 영상 정보를 통해 추출된 제3 감정 정보 중 적어도 하나를 기반으로 상기 단말 사용자의 감정 정보를 추출하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  11. 제10항에 있어서, 상기 추출 단계는
    상기 타자 속도 정보를 미리 학습된 타이핑 분석 모델에 입력하여 상기 제2 감정 정보를 추출하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  12. 제10항에 있어서, 상기 추출 단계는,
    영상 시프트 알고리즘을 이용하여 상기 사용자 영상 정보에 포함된 얼굴 이미지의 특징점들을 추출하고, 상기 추출된 특징점들을 기반으로 상기 제3 감정 정보를 추출하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  13. 제8항에 있어서,
    상기 단말 사용자의 프로필 이미지가 감정 표현이 가능한 이미지인지를 확인하는 단계; 및
    상기 프로필 이미지가 감정 표현이 불가능한 이미지인 경우, 상기 사용자 영상 정보에 포함된 얼굴 이미지를 기반으로 새로운 프로필 이미지를 생성하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  14. 제13항에 있어서,
    상기 프로필 이미지가 감정 표현이 가능한 이미지인 경우, 상기 단말 사용자의 프로필 이미지에 포함된 제1 얼굴과 상기 사용자 영상 정보에 포함된 제2 얼굴이 일치하는지를 확인하는 단계; 및
    상기 제1 및 제2 얼굴이 일치하지 않는 경우, 상기 사용자 영상 정보에 포함된 얼굴 이미지를 기반으로 새로운 프로필 이미지를 생성하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  15. 제1항에 있어서,
    상기 온라인 커뮤니케이션 서비스의 대화방에 표시된 메시지 정보를 기반으로 해당 대화방이 감정 표현이 가능한 대화방인지를 판단하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  16. 제15항에 있어서, 상기 판단 단계는,
    미리 학습된 대화방 분석 모델을 이용하여 대화방에 표시된 메시지 정보를 기반으로 해당 대화방의 분위기를 파악하고, 상기 파악된 분위기를 기반으로 해당 대화방이 감정 표현이 가능한 대화방인지를 판단하는 것을 특징으로 하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  17. 제1항에 있어서,
    상기 사용자 단말의 프로필 이미지 변경 요청에 대응하여, 상기 보정된 프로필 이미지에 포함된 얼굴 표정과 다른 표정을 갖는 하나 이상의 후보 프로필 이미지들을 생성하고, 상기 생성된 후보 프로필 이미지들을 상기 사용자 단말로 제공하는 단계를 더 포함하는 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법.
  18. 청구항 제1항 내지 제17항 중 어느 하나의 항에 따른 방법이 컴퓨터 상에서 수행될 수 있도록 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  19. 하나 이상의 프로세서 및 메모리를 포함하는 프로필 이미지 보정 장치에 있어서, 상기 하나 이상의 프로세서는:
    사용자 단말로부터 사용자 입력 정보를 수신하는 것;
    상기 수신된 사용자 입력 정보를 기반으로 단말 사용자의 감정 정보를 추출하는 것; 및
    상기 추출된 감정 정보를 기반으로 단말 사용자의 프로필 이미지를 보정하는 것을 수행하는, 서비스 제공 서버의 프로필 이미지 보정 장치.
KR1020220141252A 2022-10-28 2022-10-28 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치 KR20240062218A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220141252A KR20240062218A (ko) 2022-10-28 2022-10-28 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치
US18/493,110 US20240146673A1 (en) 2022-10-28 2023-10-24 Method for correcting profile image in online communication service and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220141252A KR20240062218A (ko) 2022-10-28 2022-10-28 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20240062218A true KR20240062218A (ko) 2024-05-09

Family

ID=90833273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220141252A KR20240062218A (ko) 2022-10-28 2022-10-28 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20240146673A1 (ko)
KR (1) KR20240062218A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073496A (ko) 2018-12-14 2020-06-24 주식회사 플랫팜 채팅 서비스를 제공하기 위한 사용자 단말기
KR20220052789A (ko) 2020-10-21 2022-04-28 광운대학교 산학협력단 감정 기반의 얼굴 영상 생성 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073496A (ko) 2018-12-14 2020-06-24 주식회사 플랫팜 채팅 서비스를 제공하기 위한 사용자 단말기
KR20220052789A (ko) 2020-10-21 2022-04-28 광운대학교 산학협력단 감정 기반의 얼굴 영상 생성 시스템 및 방법

Also Published As

Publication number Publication date
US20240146673A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US11831589B2 (en) Method and system of obtaining contact information for a person or an entity
US11252117B2 (en) Electronic communication message coaching service
US11050685B2 (en) Method for determining candidate input, input prompting method and electronic device
KR102429695B1 (ko) 공유 문서를 기반으로 하는 그룹 채팅 개시 방법, 이를 위한 장치, 및 저장 매체
US10708203B2 (en) Systems and methods for indicating emotions through electronic self-portraits
WO2010078972A2 (en) Method and arrangement for handling non-textual information
CN107564526B (zh) 处理方法、装置和机器可读介质
US20200234008A1 (en) Information processing method and device
US20190325201A1 (en) Automated emotion detection and keyboard service
KR20200114173A (ko) 자연어 처리 엔진을 관리하는 방법, 서버 및 컴퓨터 프로그램
US11281761B2 (en) Method and system for using a plurality of accounts in an instant messaging application
CN112307357A (zh) 与陌生人的社交方法和装置
WO2023169193A1 (zh) 用于生成智能合约的方法和装置
JP7145988B2 (ja) 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置
CN110795014B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN110780749B (zh) 一种字符串纠错方法和装置
KR20240062218A (ko) 온라인 커뮤니케이션 서비스에서의 프로필 이미지 보정 방법 및 그 장치
CN116955784A (zh) 内容显示方法、装置、设备、介质和程序产品
KR102192447B1 (ko) 복수의 언어 사용자 대화 시 자동 번역 제공 방법
CN109388328B (zh) 一种输入方法、装置和介质
CN108983992B (zh) 一种具有标点符号的候选项展示方法和装置
CN107145286B (zh) 浏览交互处理方法及装置
CN112181163A (zh) 一种输入方法、装置和用于输入的装置
CN110765338A (zh) 一种数据处理方法、装置和用于数据处理的装置
WO2016197268A1 (zh) 一种集成了网络电话功能的输入法