KR20220136938A - 컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법 - Google Patents

컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR20220136938A
KR20220136938A KR1020220040239A KR20220040239A KR20220136938A KR 20220136938 A KR20220136938 A KR 20220136938A KR 1020220040239 A KR1020220040239 A KR 1020220040239A KR 20220040239 A KR20220040239 A KR 20220040239A KR 20220136938 A KR20220136938 A KR 20220136938A
Authority
KR
South Korea
Prior art keywords
sticker
electronic device
content
application
package
Prior art date
Application number
KR1020220040239A
Other languages
English (en)
Inventor
박춘배
전다미
김상헌
유진형
임연욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20220136938A publication Critical patent/KR20220136938A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)

Abstract

일 실시예에 따른 전자 장치는 제1 어플리케이션에서 제1 컨텐츠로부터 스티커를 생성하고, 제2 컨텐츠를 생성된 스티커에 매핑하며, 제2 컨텐츠에 관련된 의미를 가지는, 제2 어플리케이션에 대한 텍스트 입력을 가상 키보드로부터 수신하는 경우에 응답하여 제2 어플리케이션에게 매핑된 스티커를 제공할 수 있다.

Description

컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법 {METHOD AND ELECTRONIC DEVICE TO PROVIDE STICKER BASED ON CONTENT INPUT}
아래의 개시는 컨텐츠 입력에 기초하여 스티커를 제공하는 기술에 관한 것이다.
특정 인물(예: 유명인)를 활용한 감정 표현을 위한 컨텐츠가 선호된다. 다만, 이러한 컨텐츠가 이미 존재하는데도, 해당 특정 인물을 이용한 감정 표현을 위한 컨텐츠를 사용하기 어렵다.
또한, 사용자가 자체적으로 촬영한 사진이나 다운 받은 이미지 파일을 이용하여 감정 표현을 위한 컨텐츠를 생성하거나, 생성된 컨텐츠를 키보드 어플리케이션을 통해 공유하기도 어렵다.
일 실시예에 따른 전자 장치는 해당 전자 장치를 사용하는 모든 사용자에게 개선된 스티커 관련 경험을 제공할 수 있다.
일 실시예에 따른 전자 장치는 사용자에게 커스텀 스티커를 포함하는 스티커 패키지의 생성 기능을 제공할 수 있다.
일 실시예에 따른 전자 장치는 사용자에 의해 생성된 스티커를 키보드 어플리케이션을 통해 전송 및 공유할 수 있다.
일 실시예에 따른 전자 장치는 디스플레이; 상기 디스플레이와 전기적으로 연결된 프로세서; 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 프로세서는: 제1 어플리케이션에서 사용자 입력에 응답하여 선택된 제1 컨텐츠로부터 스티커를 생성하고, 상기 생성된 스티커에 제2 컨텐츠를 매핑하며, 키보드 어플리케이션에서 상기 제2 컨텐츠에 관련된 입력을 수신하는 경우에 응답하여, 상기 키보드 어플리케이션과 연결된 제2 어플리케이션에 상기 제2 컨텐츠가 매핑된 상기 스티커를 제공하도록 설정될 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 제1 어플리케이션에서 사용자 입력에 응답하여 선택된 제1 컨텐츠로부터 스티커를 생성하는 동작; 상기 생성된 스티커에 제2 컨텐츠를 매핑하는 동작; 및 키보드 어플리케이션에서 상기 제2 컨텐츠에 관련된 입력을 수신하는 경우에 응답하여, 상기 키보드 어플리케이션과 연결된 제2 어플리케이션에게 상기 제2 컨텐츠에 매핑된 상기 스티커를 제공하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치는 스티커와 관련된 사용자 경험을 향상시킬 수 있다.
일 실시예에 따른 전자 장치는 해당 전자 장치를 사용하는 모든 사용자에게 개선된 스티커 관련 경험을 제공할 수 있다.
일 실시예에 따른 전자 장치는 해당 전자 장치의 어플리케이션에서 스티커 생성 및 사용 기능을 제공함으로써, 보다 개인화된 스티커 관련 경험을 제공할 수 있다.
일 실시예에 따른 전자 장치는 사용자에 의해 생성된 스티커를 키보드 어플리케이션을 통해 전송 및 공유함으로써, 개인화된 스티커를 통해 사용자 간의 감정 공유를 확대할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2은 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
도 3은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하는 흐름도이다.
도 4는 다양한 실시예에 따른 스티커를 생성하는 동작을 설명하는 흐름도이다.
도 5는 다양한 실시예에 따른 미리 생성된 스티커 패키지의 표시 예를 설명하는 도면이다.
도 6a 및 도 6b는 다양한 실시예에 따른 스티커의 생성 예시를 설명하는 도면이다.
도 7 내지 도 9는 다양한 실시예에 따른 스티커 패키지의 설치 동작을 설명하는 도면이다.
도 10 내지 도 13은 다양한 실시예에 따른 스티커 및 제2 컨텐츠 간의 매핑을 설명하는 도면이다.
도 14는 다양한 실시예에 따른 스티커 선택을 설명하는 도면이다.
도 15 내지 도 18은 다양한 실시예에 따른 스티커 추천을 설명하는 도면이다.
도 19는 다양한 실시예에 따른 스티커 패키지의 표시 순서를 설명하는 도면이다.
도 20은 다양한 실시예에 따른 스티커의 추가 정보를 제공하는 예시를 설명하는 도면이다.
예시적인 실시예에 따른 전자 장치는 해당 전자 장치를 사용하는 모든 사용자들에게 개선된 스티커 관련 경험을 제공하고, 커스텀 스티커를 포함하는 스티커 패키지를 생성하는 기능을 사용자에게 제공하며, 키보드 어플리케이션을 통해 사용자에 의해 생성된 스티커를 전송 및 공유할 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. 도 1은 전자 장치를 설명하고, 도 2는 전자 장치에서 실행되는 프로그램을 설명한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2은 다양한 실시예에 따른 프로그램(140)을 예시하는 블록도(200)이다. 일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(201)는, 센서 모듈(예: 센서 모듈(176))을 통해 전자 장치의 상태 변경이 식별되면, 전자 장치의 변경된 상태에 대응하는 표시 영역의 정보를 어플리케이션(146)에게 전달할 수 있다. 예를 들어, 전자 장치의 상태 변경이 식별되면, 실행 중인 어플리케이션들 중 연속성이 설정된 어플리케이션에게 전자 장치의 변경된 상태에 대응하는 표시 영역의 정보를 전달할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 그래픽 매니저(221)는 디스플레이의 제2 표시 영역의 해상도에 기반하여 적어도 하나의 레이어를 드로잉할 수 있다. 일 실시 예에서, 어플리케이션(146)은, 그래픽 매니저(221)를 이용하여, 디스플레이 모듈의 표시 영역의 해상도에 기반한 적어도 하나의 레이어를 드로잉할 수 있다. 시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(244)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(146)은 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))의 표시 영역의 해상도에 기반하여 적어도 하나의 레이어를 드로잉할 수 있다. 일 실시예에서, 어플리케이션(146)은 드로잉 라이브러리(예: 뷰)를 이용하여, 디스플레이의 표시 영역의 해상도에 기반한 적어도 하나의 레이어를 드로잉할 수 있다. 어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다. 본 명세서에서는 스티커를 생성하는 제1 어플리케이션, 사용자로부터 입력을 획득하는 키보드 어플리케이션, 및 생성된 스티커를 활용하는 제2 어플리케이션(예: 메신저 어플리케이션 및 SNS(social network service) 어플리케이션)을 설명한다. 키보드 어플리케이션은 제1 어플리케이션에서 생성된 스티커에 관한 데이터베이스를 설치받거나, 스티커 데이터베이스에 접근 가능할 수 있다. 키보드 어플리케이션은 사용자 입력에 기초하여 제2 어플리케이션에게 스티커를 제공할 수 있다. 키보드 어플리케이션에 스티커 센터에 설치된 스티커를 제공하는 플러그인이 설치될 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 외부 전자장치의 디스플레이 모듈 또는 카메라 모듈)의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하는 흐름도이다.
동작(310)에서 전자 장치(예: 도 1의 전자 장치(101))는 제1 컨텐츠로부터 스티커를 생성할 수 있다. 일 실시예에 따르면 전자 장치는 제1 컨텐츠로부터 스티커를 생성할 수 있다. 제1 컨텐츠는 제1 어플리케이션에서 사용자 입력에 응답하여 선택될 수 있다. 제1 어플리케이션은 스티커를 생성하는 어플리케이션일 수 있다. 제1 어플리케이션은 전자 장치 내부 및/또는 외부 서버(예: 도 1의 서버(108))의 제1 컨텐츠에 접근 가능할 수 있다. 제1 컨텐츠는 예시적으로, 이모지 및 이미지(예: 정지 영상(still image) 및 동영상(video))일 수 있다. 사용자는 외부 서버 및/또는 내부 메모리(예: 도 1의 메모리(130))에 저장된 컨텐츠들 중 입력으로 컨텐츠를 제1 어플리케이션을 통해 선택할 수 있다. 전자 장치는 로드된 제1 컨텐츠로부터 도 4 내지 도 6a에서 후술하는 바에 따라 스티커를 생성할 수 있다.
동작(320)에서 전자 장치는 스티커에 제2 컨텐츠를 매핑할 수 있다. 제2 컨텐츠는 스티커에 매핑되고 예측 텍스트(predictive text)를 위해 사용되는 컨텐츠를 나타낼 수 있다. 즉, 사용자가 제2 컨텐츠와 관련된 의미를 가지는 예측 단어(predictive word)로 되는(result in) 텍스트를 입력하는 경우, 스티커는 예측 후보(prediction candidate)로서 제공될 수 있다. 제2 컨텐츠는 예를 들어, 문자열, 이모티콘, 이모지, 음성, 태그(예: 해시태그), URL(Uniform Resource Locator), 및 증강 현실(AR, augmented reality) 정보(예: AR 이모지 및 AR 아바타) 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 참고로, 태그는 메타데이터로서 부여된 태그를 메타데이터 태그라고도 나타낼 수 있다. 해시태그는 해시 기호를 포함하는 키워드로 구성되는 태그를 나타낼 수 있다. 다만, 태그의 구분자(delimiter)를 해시 기호로 한정하는 것은 아니고, 앳 기호(at sign, '@')와 같은 다른 기호도 사용될 수 있다. 전자 장치는 전자 장치에 매핑할 제2 컨텐츠를 사용자 입력에 기초하여 결정하거나, 제1 컨텐츠를 분석한 결과에 기초하여 자동으로 결정할 수도 있다. 스티커 및 제2 컨텐츠 간의 매핑은 하기 도 10 내지 도 13에서 설명한다.
동작(330)에서 전자 장치는 사용자 입력 수신시 제2 컨텐츠에 매핑된 스티커(예: 매핑된 스티커)를 제공할 수 있다. 일 실시예에 따른 전자 장치는, 제2 컨텐츠에 관련된 의미를 가지는 가상 키보드(virtual keyboard)에 대한 텍스트 입력을 수신하는 것에 응답하여, 제2 어플리케이션에게 매핑된 스티커를 제공할 수 있다. 제2 어플리케이션에게 매핑된 스티커를 제공하는 것은, 사용자가 실제로 스티커를 선택하는지 여부와 무관하게 가상 키보드가 제2 어플리케이션에게 입력을 제공하는 동안, 가상 키보드에서 매핑된 스티커를 디스플레이하는 것을 포함할 수 있다. 예를 들어, 전자 장치는 사용자 입력(예: 문자열 및 이모지 입력)으로부터 사용자의 의도(intent)를 예측하여 예측 컨텐츠를 검색하고, 검색된 예측 컨텐츠가 제2 컨텐츠에 관련된 의미를 가지는 경우 매핑된 스티커를 예측 영역에 추천할 수 있다. 예측 컨텐츠는 사용자에 의해 입력된 컨텐츠(예: 문자열, 이모지, 링크 주소, 및 이미지)로부터 사용자가 의도한 것으로 예측된 컨텐츠를 나타낼 수 있다. 전자 장치는, 가상 키보드의 예측 영역으로부터 매핑된 스티커를 선택하는 입력에 응답하여, 선택된 스티커를 제2 어플리케이션에게 입력할 수 있다. 다른 예를 들어, 전자 장치는 사용자 입력에 기초하여 검색된 예측 컨텐츠가 제2 컨텐츠를 포함하는 경우, 자동으로 매핑된 스티커를 제2 어플리케이션에게 제공할 수도 있다.
일 실시예에 따른 전자 장치는 사용자에 의해 촬영된 이미지 및/또는 외부(예: 웹사이트 및 다른 전자 장치)로부터 수신된 이미지를 이용하여 스티커를 생성할 수 있다. 전자 장치는 생성된 스티커를 키보드 어플리케이션을 통해 다른 어플리케이션(예: 메신저 어플리케이션, SNS(social network service) 어플리케이션)에게 공유할 수 있다.
도 4는 다양한 실시예에 따른 스티커를 생성하는 동작을 설명하는 흐름도이다.
동작(401)에서 전자 장치(예: 도 1의 전자 장치(101))는 제1 어플리케이션을 실행하고 스티커를 표시할 수 있다. 제1 어플리케이션은 제1 컨텐츠를 저장한 내부 메모리 공간 및/또는 외부 서버에 접근 가능하고, 제1 컨텐츠로부터 스티커를 생성할 수 있는 툴(tool)을 사용자에게 제공할 수 있다. 예를 들어, 하기 도 5에 도시된 바와 같이, 전자 장치는 제1 어플리케이션 실행 시 기 생성된 스티커의 목록을 표시할 수 있다.
동작 (410)에서 전자 장치는 사용자 입력에 응답하여 스티커를 생성할 수 있다. 예를 들어, 동작(411)에서 전자 장치는 스티커 생성을 개시할 지 여부를 판단할 수 있다. 동작(412)에서 전자 장치는 사용자 입력에 응답하여 제1 컨텐츠를 선택할 수 있다. 예를 들어, 전자 장치는 제1 어플리케이션에 의해 접근 가능한 컨텐츠들을 사용자에게 제공하고, 사용자로부터 하나 이상의 제1 컨텐츠에 대한 선택을 수신할 수 있다. 동작(413)에서 전자 장치는 제1 컨텐츠가 존재하는지 여부를 판별할 수 있다. 전자 장치는 사용자에 의해 선택된 제1 컨텐츠가 존재하지 않는 경우, 동작(401)로 돌아갈 수 있다. 동작(414)에서 전자 장치는 사용자에 의해 선택된 제1 컨텐츠가 존재하는 경우, 획득된 제1 컨텐츠를 크롭하는 기능을 제공할 수 있다. 또한, 앞서 동작(411)에서 스티커 생성을 개시하지 않는 것으로 판별되는 경우, 전자 장치는 기 생성된 스티커를 선택할 수 있다.
하기 도 5는 제1 어플리케이션의 실행시 스티커 패키지의 표시, 도 6a는 제1 어플리케이션에서의 스티커 생성을 설명한다. 참고로, 본 명세서에서 스티커 패키지는 하나 이상의 스티커의 집합을 나타낼 수 있다.
도 5는 다양한 실시예에 따른 미리 생성된 스티커 패키지의 표시 예를 설명하는 도면이다.
일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 제1 어플리케이션을 실행하고, 제1 어플리케이션에서 사용자 입력(510)에 응답하여 스티커와 관련된 화면으로 진입할 수 있다. 전자 장치는 기 생성된 스티커 패키지 목록을 제공할 수 있다. 다만, 이로 한정하는 것은 아니고, 기 생성된 스티커 패키지가 없는 경우, 전자 장치는 빈 공간(empty space)을 출력할 수도 있다. 제1 어플리케이션은 전자 장치의 키보드를 구성하기 위한 어플리케이션이거나 그 일부일 수 있다.
예를 들어, 전자 장치는 기 생성된 스티커 패키지(520)에 대한 선택 입력에 응답하여, 기 생성된 스티커 패키지(520)에 포함된 스티커들을 제공할 수 있다. 전자 장치는 기 생성된 스티커 패키지(520)에 포함된 스티커들에 대응하는 썸네일들(thumbnails)을 제공할 수 있다. 전자 장치는 한 썸네일(530)에 대한 선택 입력에 응답하여, 해당 썸네일(530)을 갖는 스티커(540)를 출력할 수 있다.
스티커 패키지 및 스티커의 생성은 하기 도 6a에서 설명한다.
도 6a 및 도 6b는 다양한 실시예에 따른 스티커의 생성 예시를 설명하는 도면이다.
일 실시예에 따르면 전자 장치(예: 도 1의 전자 장치(101))는 패키지 생성을 요청하는 입력(610)에 응답하여, 새로운 스티커 패키지의 생성을 개시할 수도 있다. 전자 장치는 새로운 스티커 패키지에 포함될 스티커(650)를 제1 컨텐츠로부터 생성할 수 있다.
예를 들어, 전자 장치는 접근 가능한 컨텐츠들 중으로부터 하나 이상의 제1 컨텐츠를 선택할 수 있다. 전자 장치는 사용자의 전자 장치에 저장된 컨텐츠 및 전자 장치에 의해 접속 가능한 외부 장치에 저장된 컨텐츠 중 적어도 하나로부터 제1 컨텐츠를 획득할 수 있다. 도 6a에서는 예시적으로, 전자 장치가 내부 메모리(예: 도 1의 메모리(130))에 저장된 컨텐츠들 중 일부 컨텐츠(620)를 제1 컨텐츠로서 선택 및 획득할 수 있다. 전자 장치는 복수의 제1 컨텐츠들이 선택된 경우, 선택된 복수의 제1 컨텐츠들의 각각을 순차적으로 획득하고, 획득된 제1 컨텐츠로부터 스티커(650)를 생성할 수 있다. 제1 컨텐츠는 예시적으로 인터넷을 통해 다운로드 된 파일로서, gif, bmp, jpg, mp4, 및 avi를 포함하는 다양한 파일 타입의 이미지일 수 있다.
일 실시예에 따른 전자 장치는 획득된 제1 컨텐츠를 편집(edit), 치수 변환(changing dimensions), 및/또는 변환(convert)하거나, 제1 컨텐츠에 부수적인 시각 효과를 부가함으로써 스티커(650)를 생성할 수 있다.
예를 들어, 전자 장치는 제1 컨텐츠를 크롭하는 동작을 수행할 수 있다. 전자 장치는 획득된 제1 컨텐츠의 일부(631)를 보존하고 나머지를 삭제함으로써, 제1 컨텐츠를 크롭할 수 있다. 본 명세서에서 크롭이 필수적으로 수행되는 것은 아니고, 전자 장치는 원본 제1 컨텐츠에 후술하는 보조 그래픽 표현을 부가할 수도 있다.
다른 예를 들어, 전자 장치는 제1 컨텐츠에서 객체와 배경을 분리하는 동작을 수행할 수 있다. 전자 장치는 제1 컨텐츠에 나타난 객체 및 배경을 분리함으로써 객체를 추출할 수도 있다. 전자 장치는 정지 영상 뿐만 아니라, 동영상 및 GIF 포맷의 이미지에서 객체 및 배경을 분리할 수도 있다.
또 다른 예를 들어, 전자 장치는 제1 컨텐츠에 보조 그래픽 표현을 부가하는 동작을 수행할 수 있다. 보조 그래픽 표현은 제1 컨텐츠에 보조적으로 부가되는 그래픽 표현으로서, 예를 들어, 문자열, 기호, 도형, 이모지, 및 다른 이미지, 터치 입력에 기초한 손 필기(Hand Writing), 및 스타일러스 입력에 기초한 스타일러스 펜 필기(Stylus pen writing)를 포함할 수 있다. 전자 장치는 제1 컨텐츠로부터 추출된 객체만 포함하는 이미지에 전술한 보조 그래픽 표현을 부가할 수도 있다.
또 다른 예를 들어, 전자 장치는 제1 컨텐츠를 멀티 레이어 이미지로 구별하여 깊이감(perceptional depth)을 가지는 이미지로 변환하는 동작(632)을 수행할 수 있다. 전자 장치는 제1 컨텐츠에서 제1 컨텐츠를 복수의 레이어들(예: 하나 이상의 전경(foreground) 및 하나 이상의 배경(background))으로 분리하고, 각 레이어를 단안 단서(Monocular cues)에 기초하여 이동시키거나 스케일을 조정함으로써, 깊이감을 가지는 이미지로 변환할 수 있다. 단안 단서는, 단안에 의한 입체감을 주는 요인으로서, 예시적으로 초점조절, 운동시차(Motion parallax), 시야의 크기(Visual field size), 망막상의 크기, 공기투시효과(Aerial perspective), 선 원근법(Linear perspective), 그림자, 및 오버래핑(Overlapping)을 포함할 수 있다.
전자 장치는 전술한 동작들 중 적어도 하나 또는 둘 이상의 조합을 수행함으로써, 스티커(650)를 생성할 수 있다. 전자 장치는 생성된 스티커(650)를 스티커 패키지에 포함시킬 수 있다. 앞서 새로운 스티커 패키지를 생성하는 동작을 설명하였는데, 전자 장치는 기 생성된 스티커 패키지에 대한 선택 입력(640)을 감지하는 경우, 기 생성된 스티커 패키지에 포함된 스티커(650)를 사용자에게 제공할 수도 있다.
참고로, 도 6b에 도시된 바와 같이, 일 실시예에 따른 전자 장치는 선택된 컨텐츠(620b)로부터 복수의 스티커들(651b, 652b, 653b)을 생성할 수도 있다. 예를 들어, 전자 장치는 선택된 컨텐츠(620b)로부터 사용자에 의해 정의되거나 및/또는 미리 설정된 감정 셋트에 대응하는 복수의 스티커들(651b, 652b,653b)을 생성할 수 있다. 예를 들어, 전자 장치는 감사하는 감정(651b), 사랑 감정(652b), 및 인사(salutation) 감정(653b)를 시뮬레이트하기 위해 컨텐츠(620b)를 수정(modify)할 수 있다. 전자 장치는 예시적으로 딥러닝을 이용해서 컨텐츠(620b)를 사용자에 의해 정의되거나 미리 설정된 감정들(예: 감정 프리셋)에 대응하여 편집, 변형, 및/또는 변환하거나, 딥러닝을 이용해서 감정 프리셋에 대응하는 보조 그래픽 표현을 컨텐츠(620b)에 부가함으로써 복수의 스티커들(651b, 652b,653b)을 생성할 수 있다.
전자 장치는 생성된 스티커 패키지를 편집하거나 제2 컨텐츠를 매핑할 수도 있다. 예를 들어, 전자 장치는 추가 메뉴(660)를 통해, 기 생성된 스티커 패키지에 대한 편집 기능(661)을 제공할 수 있다. 전자 장치는 기 생성된 스티커 패키지에 대한 선택 입력(670) 및 삭제 입력(671)에 응답하여, 선택된 스티커 패키지를 삭제할 수도 있다. 스티커 패키지 내 스티커(650)에 대한 제2 컨텐츠의 매핑은 하기 도 10에서 설명한다.
도 7 내지 도 9는 다양한 실시예에 따른 스티커 패키지의 설치 동작을 설명하는 도면이다.
동작(720)에서 전자 장치(예: 도 1의 전자 장치(101))는 스티커 패키지를 키보드 어플리케이션에 설치할 수 있다. 예를 들어, 동작(721)에서 전자 장치는 설치 가능한 스티커 패키지를 표시할 수 있다. 동작(722)에서 전자 장치는 스티커 패키지를 설치할 지 편집할 지 여부를 결정할 수 있다. 전자 장치는 스티커 패키지를 편집하는 경우, 후술하는 도 10의 동작(1030)을 수행할 수 있다.
동작(723)에서 전자 장치는 설치될 스티커 패키지가 키보드 어플리케이션에 기 설치된 패키지와 중복되는지 여부를 판단할 수 있다. 동작(724)에서 전자 장치는 설치되는 스티커 패키지가 이전에 전자 장치에 설치된 패키지와 중복되는 경우에 응답하여, 이전에 설치된 스티커 패키지를 업데이트할 수 있다. 이 때, 전자 장치는 스티커 패키지(810)로 스티커 센터(840) 내의 기존 패키지를 업데이트할 수 있다. 동작(725)에서 전자 장치는 설치되는 스티커 패키지에 중복되는 패키지가 검색되지 않는 경우에 응답하여, 스티커 패키지를 전자 장치에 새로 설치할 수 있다. 이 때, 전자 장치는 새로운 스티커 패키지를 스티커 센터(840)에 새로 설치할 수 있다. 본 명세서에서 스티커 센터는 스티커 패키지를 저장하고 컨텐츠 제공자(Content Provider)를 통해 다른 어플리케이션들의 스티커 패키지 사용을 허용하는 어플리케이션일 수 있다.
예를 들어, 도 8은 사용자에 의해 생성된 스티커 패키지(810)의 설치를 설명한다. 전자 장치는 생성된 하나 이상의 스티커를 패킹(packing)함으로써 스티커 패키지(810)를 생성할 수 있다. 일 실시예에 따르면 전자 장치는 복수의 스티커들을 대표하는 명칭, 커버 이미지, 및 생성자 정보 중 적어도 하나 또는 둘 이상의 조합을 갖고 복수의 스티커들을 그룹핑함으로써 스티커 패키지(810)를 생성할 수 있다. 예를 들어, 전자 장치는 사용자 입력에 기초하여 스티커 패키지에 대한 스티커 패키지(810)의 제목(Title), 생성자(Creator), 및 커버 이미지(Cover image)를 결정할 수 있다. 전자 장치는 사용자 입력(830)에 응답하여, 스티커 패키지(810)에 포함된 하나 이상의 스티커 중 한 스티커를 스티커 패키지(810)의 대표 스티커로 결정하고, 대표 스티커를 전술한 커버 이미지로 결정할 수도 있다. 전자 장치는 생성 완료된 스티커 패키지(810)를 전술한 동작들(724, 725)에서 스티커 센터(840)에 업데이트하거나 새로 설치할 수 있다. 전자 장치는 스티커 패키지(810)의 업데이트 및/또는 설치 완료를 키보드 어플리케이션에게 안내할 수 있다. 또한, 전자 장치는 컨텐츠 매핑 입력(820)에 응답하여 스티커 센터(840)에 설치된 스티커 패키지의 스티커에 대한 제2 컨텐츠의 매핑을 수행할 수 있으며, 하기 도 10 내지 도 13에서 설명한다.
예를 들어, 도 9는 다른 사용자에 의해 생성된 스티커 패키지의 설치를 설명한다. 전자 장치는 사용자 입력(910)에 응답하여 외부 패키지를 다운로드받을 수 있다. 또한, 전자 장치는 사용자 입력(920)에 응답하여 외부 패키지의 업데이트를 요청할 수도 있다. 외부 패키지는 다른 사용자에 의해 생성된 스티커 패키지를 나타낼 수 있다. 전자 장치는 설치된 외부 패키지에 대해 사용자 입력(930)에 응답하여, 외부 패키지 내의 스티커(940)를 표시할 수 있다.
동작(740)에서 전자 장치는 키보드 어플리케이션에 설치된 스티커 패키지에 기초하여, 사용자 입력에 따라 스티커를 제공할 수 있다. 스티커 제공은 하기 도 14 내지 도 18에서 설명한다.
도 10 내지 도 13은 다양한 실시예에 따른 스티커 및 제2 컨텐츠 간의 매핑을 설명하는 도면이다.
전자 장치(예: 도 1의 전자 장치(101))는 도 10에 도시된 동작(1030)에서 생성된 스티커 패키지의 스티커를 관리할 수 있다. 일 실시예에 따르면, 전자 장치는 동작(1032)에서 스티커 패키지로부터 스티커를 삭제할 수도 있다. 예를 들어, 전자 장치는 도 11에 도시된 삭제 입력(1190)에 응답하여, 스티커를 삭제할 수 있다.
일 실시예에 따르면, 전자 장치는 동작(1031)에서 스티커에 제2 컨텐츠를 매핑할 수 있다. 예를 들어, 전자 장치는 도 11에 도시된 매핑 입력(1110)에 응답하여, 스티커에 제2 컨텐츠를 매핑하는 GUI(graphic user interface)로 진입할 수 있다. 전자 장치는 매핑 입력(1110)에 의해 선택된 스티커에 대해 매핑 가능한 복수의 후보 컨텐츠들을 제시할 수 있다. 후보 컨텐츠는 도 11에서 예시적으로 다양한 형태의 감정 정보(예: 행복) 및 행동 정보(예: 윙크)를 포함하는 이모지로 도시되었으나, 이로 한정하는 것은 아니다. 전자 장치는 복수의 후보 컨텐츠들 중 사용자 입력(1120)에 응답하여 선택된 컨텐츠를 제2 컨텐츠로서 스티커에 매핑할 수 있다. 도 11에서는 제2 컨텐츠로서 이모지가 3개까지 해당 스티커에 매핑될 수 있는 것으로 도시되었으나, 이로 한정하는 것은 아니다. 전술한 바와 같이, 전자 장치는 문자열, 이모티콘, 이모지, 음성, 태그, URL, 사용자 제스쳐, 및 증강 현실 정보 중 적어도 하나 또는 둘 이상의 조합을 제2 컨텐츠로서 해당 스티커에 매핑할 수 있다.
일 실시예에 따르면 전자 장치는 스티커의 설명 정보에 따라 제2 컨텐츠를 결정하여 매핑할 수 있다. 이 때, 전자 장치는 설명 정보에 기초하여 후보를 제시하고 후보 중 하나를 선택하는 수동 입력에 따라 제2 컨텐츠를 결정하거나, 설명 정보에 기초하여 자동으로 제2 컨텐츠를 결정하여 스티커에 매핑할 수 있다.
예를 들어, 전자 장치는 생성된 스티커를 분석함으로써, 스티커에 관한 설명 정보(description information)를 추출할 수 있다. 설명 정보는 스티커를 설명하는 정보로서, 예를 들어, 스티커의 장면 유형(scene type), 스티커에 대응하는 태그 정보, 스티커에 대응하는 제1 컨텐츠와 관련된 URL, 제1 컨텐츠와 관련된 메모, 음성, 동영상, 이미지, 제1 컨텐츠와 관련된 위치 정보, 및 스티커에 대한 컨텐츠 소스 정보 중 하나 또는 둘 이상의 항목을 포함할 수 있다. 장면 유형은 스티커 생성의 기초가 된 제1 컨텐츠에 캡쳐된 장면을 설명하는 유형으로서, 예를 들어, 스티커에 포함된 객체의 유형(type)(예: 얼굴을 포함하는 신체 부위, 사람, 사물, 및 동물), 객체의 상황(예: 사람의 감정, 사람의 보행, 및 차량의 주행), 배경의 유형(예: 실내(indoor), 실외(outdoor), 산, 바다, 및 도시), 조명 상태(예: 저조도 상태 및 역광 상태), 문서 유형(예: 명함) 및 코드 유형(예: QR(quick response) 코드 정보)를 포함할 수 있다. 컨텐츠 소스 정보는 스티커를 생성하는데 사용된 원본 컨텐츠(original content)의 소스(source)를 나타내는 정보를 나타낼 수 있다. 전자 장치는 스티커에 대한 제2 컨텐츠의 매핑을 시도할 시 스티커를 분석함으로써 전술한 설명 정보를 추출할 수 있으나, 이로 한정하는 것은 아니고, 스티커를 생성하는 타이밍에 제1 컨텐츠에 기초하여 전술한 설명 정보를 미리 추출하여 저장해둘 수도 있다. 아래 도 13에서는 제1 컨텐츠의 이미지를 분석하여 설명 정보를 추출하는 예시를 설명한다.
전자 장치는 추출된 설명 정보에 기초하여 스티커를 위한 하나 이상의 후보 컨텐츠를 제시할 수 있다. 예를 들어, 전자 장치는 추출된 설명 정보 중 객체의 상황으로서 사람의 감정(예: 행복)을 식별하고, 식별된 감정에 대응하는 후보 컨텐츠(예: 행복을 지시하는 이모지)를 스티커에 대한 매핑 후보로서 제시할 수 있다. 다른 예를 들어, 전자 장치는 설명 정보 중 객체의 유형(예: 동물로서 강아지)을 식별하고, 식별된 유형에 대응하는 후보 컨텐츠(예: 강아지에 대응하는 이모지)를 스티커에 대한 매핑 후보로서 제시할 수도 있다. 또 다른 예를 들어, 전자 장치는 설명 정보 중 URL을 식별하고, 식별된 URL을 스티커에 대한 매핑 후보로서 제시할 수도 있다. 또 다른 예를 드러, 전자 장치는 스티커를 생성하기 위해 사용되는 미리 설정된 또는 사용자 정의된 감정을 식별할 수 있다. 다만, 후보 컨텐츠의 제시 예시를 전술한 바로 한정하는 것은 아니고, 전자 장치는 설명 정보의 다양한 항목들에 기초하여 다양한 방식으로 후보 컨텐츠를 제시할 수 있다.
전자 장치는 사용자 입력에 의한 선택 및 자동 선택 중 적어도 하나에 기초하여, 제시된 하나 이상의 후보 컨텐츠 중으로부터 선택된 컨텐츠를 제2 컨텐츠로서 생성된 스티커에 매핑할 수 있다. 전자 장치는 복수의 후보 컨텐츠들 중 사용자에 의해 선택된 후보 컨텐츠를 제2 컨텐츠로서 스티커에 매핑할 수 있다. 전자 장치는 복수의 후보 컨텐츠들 중 설명 정보와 동일하거나 가장 유사한 후보 컨텐츠를 제2 컨텐츠로서 스티커에 매핑할 수도 있다. 예를 들어, 설명 정보가 복수의 항목들(예: 행복한 감정과 강아지)을 포함하는 경우, 전자 장치는 복수의 후보 컨텐츠들 중 설명 정보의 복수의 항목들에 매칭되는 항목 개수가 가장 많은 후보 컨텐츠(예: 웃는 강아지를 지시하는 이모지)를 제2 컨텐츠로서 스티커에 자동 매핑할 수도 있다. 다만, 이는 순전히 설명을 위한 예시로서, 제2 컨텐츠의 자동 선택을 이로 한정하는 것은 아니다.
또한, 전자 장치는 한 스티커에 다양한 항목의 복수의 제2 컨텐츠들을 매핑할 수도 있다. 예를 들어, 전자 장치는 설명 정보 중 일부(예: URL을 포함하는 컨텐츠 소스 정보)를 제2 컨텐츠로서 스티커에 매핑할 수도 있다. 전자 장치는 설명 정보에 기초하여 제시된 후보 컨텐츠들 중 사용자 입력 및/또는 자동 입력에 의해 선택된 후보 컨텐츠와 함께 설명 정보 중 일부를 제2 컨텐츠로서 스티커에 매핑할 수도 있다.
전자 장치는 스티커 패키지에서 스티커에 매핑된 제2 컨텐츠를 지시하는 그래픽 표현과 함께 스티커(1130)를 출력할 수도 있다. 전자 장치는 스티커에 복수의 제2 컨텐츠들이 매핑된 경우, 복수의 제2 컨텐츠들 중 일부만 출력할 수도 있다. 예를 들어, 스티커에 이모지 및 URL이 제2 컨텐츠로서 매핑된 경우, 전자 장치는 이모지만 스티커와 함께 출력할 수 있다.
도 12는 제2 컨텐츠로서 사용자 입력에 따른 제스쳐를 스티커에 매핑하는 예시를 설명한다. 예를 들어, 전자 장치는 키보드 어플리케이션에서 미리 지정된 키(예: 스페이스바)(1210)를 임계 시간 이상 지정하는 입력이 검출되는 경우에 응답하여, 제스쳐 입력(1220)를 제공할 수 있다. 전자 장치는 제스쳐 입력(1220) 동안 입력되는 궤적(1230)에 기초하여 사용자 제스쳐(1220)를 식별할 수 있다. 전자 장치는 식별된 사용자 제스쳐(1220)를 제2 컨텐츠로서 스티커에 매핑할 수 있다.
도 13은 설명 정보의 추출 예시를 설명한다. 일 실시예에 따른 전자 장치는 스티커 및/또는 스티커 생성의 기초가 된 제1 컨텐츠에 대응하는 이미지(1301)를 분석하여 해당 이미지(1301)에 대한 설명 정보를 추출할 수 있다. 예를 들어, 전자 장치는 이미지(1301)에 대응하는 장면으로부터 객체(1304) 및 배경(1303)을 추출할 수 있다. 객체(1304)는 배경(1303)과 구분되는 사람, 사물, 및 동물로서, 주로 전경(foreground)에 나타날 수 있으나, 이로 한정하는 것은 아니다.
장면은 이미지에 캡쳐된 피사체 및 배경(1303)을 나타낼 수 있고, 피사체 및 배경(1303)의 상황 및 관계에 따라 장면 유형이 분류될 수 있다. 예를 들어, 장면 유형은 이미지의 장면을 설명하는 유형으로서, 전술한 바와 같이, 객체(1304)의 유형, 객체(1304)의 상황, 배경(1303)의 유형, 조명 상태, 문서 유형 및 코드 유형을 포함할 수 있다.
객체(1304)의 유형은, 예를 들어, 얼굴(Face), 아기(Baby), 사람(Person), 개(Dog), 고양이(Cat), 음식(Food), 사람들(People), 차량(Vehicle), 음료(Drink), 꽃(Flower), 나무(Tree), 동물(Animal), 및 신발(Shoes)을 포함할 수 있다. 예를 들어, 얼굴 유형(1312)은 얼굴 중심 사진으로서, 큰 클로즈 업(big close-up), 클로즈 업(close-up), 및 흉부(bust)까지 촬영된 이미지를 설명하는 유형일 수 있다. 사람 유형(1313)은 반신상부터 전신상까지, 예를 들어, 머리부터 허리(Waist)까지 촬영된 이미지, 머리부터 무릎(Knee)까지 촬영된 이미지, 및 완전한 신체(full body)가 촬영된 이미지를 설명하는 유형일 수 있다. 개, 고양이, 및 동물 유형은 이미지에서 동물이 차지하는 영역이 임계 비율(예: 25%) 이상인 이미지를 설명하는 유형일 수 있다. 음식 유형은 접시에 올려진 음식을 촬영한 이미지를 설명하는 유형일 수 있다. 사람들은 2인 이상의 사람들을 촬영한 이미지를 설명하는 유형일 수 있다. 꽃 유형은 임계 비율(예: 25%) 이상의 꽃 영역을 촬영한 이미지를 설명하는 유형일 수 있다.
배경(1303)의 유형은, 예를 들어, 해변(Beach), 하늘(sky), 산(Mountain), 선셋(Sunset), 선라이즈(Sunrise), 도시(City), 눈(Snow), 폭포(Water Fall), 물가(Waterside), 풍경(Scenery), 무대(Stage), 그리너리(Greenery), 및 실내(Indoor)를 포함할 수 있다. 해변 유형은 해변을 촬영한 이미지를 설명하는 유형일 수 있다. 하늘 유형은 임계 비율(예: 80%) 이상이 하늘인 이미지를 설명하는 유형일 수 있다. 산 유형은 산등성이가 촬영된 이미지를 설명하는 유형일 수 있다. 눈 유형은 설산 및 지붕 위 눈을 촬영한 이미지를 설명하는 유형일 수 있다. 선셋 및 선라이즈 유형은 태양을 포함하는 이미지를 설명하는 유형일 수 있다. 폭포 유형은 물 줄 기를 포함하는 유형일 수 있다. 도시 유형은 거리, 도시 뷰 및 고층건물을 촬영한 이미지를 설명하는 유형일 수 있다. 물가는 호수 및 강과 같을 물이 촬영된 이미지를 설명하는 유형일 수 있다. 그리너리 유형은 복합적인 자연물을 촬영한 이미지를 설명하는 유형일 수 있다. 객체(1304)가 식별되지 않거나 해변이 모호하거나, 산, 물줄기, 산등성이의 형태적 특징이 모호한 이미지는 풍경 유형(1314)으로 분류될 수 있다. 실내 유형은 실내에 배치된 객체(1304)가 촬영된 이미지를 설명하는 유형일 수 있다.
조명 상태는, 예를 들어, 역광(Backlit), 및 약한 조명(Low Light)을 포함할 수 있다. 약한 조명 유형은 이미지의 조도가 임계 값 이하인 이미지를 설명하는 유형일 수 있다.
문서 유형은, 예를 들어, 문서, 그림, 명함, 및 책을 포함할 수 있고, 사각 프레임을 가진 객체(1304)를 나타낼 수 있다.
전자 장치는 도 13에 도시된 바에 따라 객체 및 배경을 분석하여 이미지의 장면 유형을 분석하고, 분석된 장면 유형을 설명 정보로서 추출할 수 있다. 예를 들어, 전자 장치는 딥러닝 및/또는 인공지능 기법을 이용하여 이미지의 장면 유형을 분석할 수 있다. 장면 유형이 특정되지 않는 경우, 전자 장치는 미분류(예: N/A) 유형(1311)로 장면 유형을 분류할 수도 있다. 설명 정보는 전술한 바와 같이, 스티커에 매핑될 제2 컨텐츠를 결정하는 데 사용되거나, 설명 정보 자체가 제2 컨텐츠로서 스티커에 매핑될 수도 있다.
도 14는 다양한 실시예에 따른 스티커 선택을 설명하는 도면이다.
일 실시예에 따르면 제2 어플리케이션에서 호출된 키보드 어플리케이션은 스티커 제공과 관련된 GUI를 제공할 수 있다. 예를 들어, 전자 장치는 스티커 메뉴(1410)에 대한 사용자 입력에 응답하여 스티커 패키지들을 제공할 수 있다. 전자 장치는 복수의 스티커 패키지들 중 대상 스티커 패키지(1420)에 대한 선택 입력에 응답하여, 대상 스티커 패키지(1420) 내에 포함된 스티커들을 제시할 수 있다. 전자 장치는 대상 스티커 패키지(1420) 내의 스티커들 중 대상 스티커(1430)에 대한 선택 입력에 응답하여, 선택된 스티커에 대응하는 그래픽 표현(1440)을 출력할 수 있다.
도 14에서는 스티커를 사용자에 의해 수동으로 선택하는 동작을 설명하였으나, 이로 한정하는 것은 아니고, 아래에서는 사용자 입력에 기초하여 후보 스티커를 예측하고, 예측된 후보 스티커 중으로부터 대상 스티커(1430)가 사용자 입력에 의해 선택되는 동작을 설명한다.
도 15 내지 도 18은 다양한 실시예에 따른 스티커 추천을 설명하는 도면이다.
전자 장치(예: 도 1의 전자 장치(101))는 키보드 어플리케이션에서 제2 컨텐츠와 관련된 입력을 수신하는 경우에 응답하여, 제2 컨텐츠에 매핑된 스티커를 제공할 수 있다. 제2 컨텐츠와 관련된 입력은, 예를 들어, 제2 컨텐츠 자체의 입력 및/또는 제2 컨텐츠의 예측의 기초가 되는 입력일 수 있다.
일 실시예에 따르면, 도 15는 전자 장치가 제2 컨텐츠의 예측의 기초가 되는 입력을 수신하는 경우 스티커를 제공하는 동작을 설명한다. 전자 장치는 키보드 어플리케이션에서 수신된 사용자 입력에 기초하여 검색된 예측 컨텐츠가 제2 컨텐츠를 포함하는 경우에 응답하여, 제2 컨텐츠 및 제2 컨텐츠에 매핑된 스티커를 키보드 어플리케이션의 예측 영역(1520)에 표시할 수 있다. 전자 장치는 사용자 입력을 분석하여 사용자의 입력 의도를 해석하고, 해석된 입력 의도에 대응하는 예측 컨텐츠를 검색할 수 있다. 예측 컨텐츠는 사용자가 입력하고자 의도한 것으로 예측된 컨텐츠를 나타낼 수 있다. 도 15에서 전자 장치는 사용자로부터 "Okay"라는 문자열 입력(1510)을 수신할 수 있다. 전자 장치는 문자열 입력(1510)으로부터 다양한 예측 컨텐츠를 검색할 수 있다. 전자 장치는 문자열 입력(1510)에 응답하여, 다른 완성된 문자열, 및 해당 문자열에 대응하는 이모지를 검색하여 제시할 수 있다. 전자 장치는 예측 컨텐츠가 제2 컨텐츠로 매핑된 스티커를 검색할 수 있다. 예를 들어, 도 15에서 대상 스티커에 오케이 이모지가 매핑될 수 있다. 전자 장치는 전술한 바와 같이, 문자열 입력(1510)으로부터 오케이 이모지를 예측 컨텐츠로서 검색하고, 검색된 예측 컨텐츠인 오케이 이모지가 매핑된 대상 스티커를 예측 영역(1520)에 표시할 수 있다.
전자 장치는 사용자 입력에 의해 예측 영역(1520)에 표시된 스티커를 선택하는 경우에 응답하여, 제2 컨텐츠에 매핑된 스티커를 제2 어플리케이션으로 제공할 수 있다. 예를 들어, 전자 장치는 예측 영역(1520)에 표시된 스티커에 대한 선택 입력에 응답하여, 선택된 대상 스티커를 제2 어플리케이션의 입력 영역(1530)에 제공할 수 있다. 제2 어플리케이션이 메신저 어플리케이션인 경우, 전자 장치는 입력 영역(1530)에 제공된 스티커를 발신 입력에 응답하여, 다른 전자 장치로 발신할 수 있다. 스티커는 예시적으로 이미지 포맷으로 전달될 수 있다. 전자 장치는 발신된 스티커(1540)를 제2 어플리케이션에서 출력할 수 있다.
다만, 이로 한정하는 것은 아니고, 전자 장치는 제2 컨텐츠(예: 오케이 이모지) 자체의 입력을 수신할 수도 있다. 전자 장치는 입력된 제2 컨텐츠가 매핑된 스티커를 예측 영역(1520)에 추천할 수 있다. 전자 장치는 제2 컨텐츠에 관련된 입력에 기초하여 제2 컨텐츠에 매핑된 복수의 스티커들이 검색되는 경우에 응답하여, 복수의 스티커들을 키보드 어플리케이션의 예측 영역(1520)에 표시할 수 있다. 예를 들어, 복수의 스티커들에 오케이 이모지가 매핑된 경우, 전자 장치는 오케이 이모지를 입력받을 시 전술한 복수의 스티커들을 추천할 수 있다. 또한, 전자 장치는 키보드 어플리케이션에서 제2 컨텐츠에 관련된 일련의 사용자 입력을 감지하는 동안, 복수의 스티커 패키지들 중 사용자에 의해 설치된 커스텀 패키지에 속하는 스티커를 우선적으로 예측 영역(1520)에 표시할 수도 있다. 커스텀 패키지는 전자 장치의 사용자에 의해 생성된 스티커 패키지를 나타낼 수 있다. 예를 들어, 전자 장치는 제2 컨텐츠에 관련된 사용자 입력에 응답하여 검색된 스티커들 중 커스텀 패키지에 속하는 대상 스티커를 다른 스티커 패키지에 속하는 스티커보다 먼저 노출되는 위치에 출력할 수 있다. 예시적으로 도 15에 도시된 예시에서 커스텀 패키지에 속하는 대상 스티커는 예측 영역(1520) 내에서 좌측에 배치될 수 있다. 전자 장치는 복수의 스티커들 중 한 스티커가 선택되는 경우에 응답하여, 선택된 스티커를 제2 어플리케이션에게 제공할 수 있다. 예시적으로 전자 장치는 커스텀 패키지를 배포 및/또는 공유함으로써 다른 사용자에게도 사용자에 의해 작성된 커스텀 스티커를 공유할 수 있다.
다른 일 실시예에 따르면, 도 16은 제2 컨텐츠에 관련된 사용자 입력으로서 클립보드에 복사된 정보를 입력하는 예시를 설명한다. 전자 장치는 클립보드를 분석한 결과에 매칭하는 스티커를 예측 영역(1520)에 추천할 수 있다.
예를 들어 ,전자 장치는 클립보드를 분석하여 컨텐츠 소스 정보를 추출할 수 있다. 전자 장치는 클립보드로부터 추출된 컨텐츠 소스 정보를 각 스티커에 제2 컨텐츠로서 매핑된 컨텐츠 소스 정보와 비교하고, 비교 결과에 기초하여 추천할 스티커를 결정할 수 있다. 전자 장치는 클립보드로부터 추출된 컨텐츠 소스 정보와 동일 또는 유사한 컨텐츠 소스 정보가 매핑된 스티커를 예측 영역(1520)에 추천할 수 있다. 컨텐츠 소스 정보는 스티커를 생성하는데 사용된 원본 컨텐츠(original content)의 소스(source)를 나타내는 정보로서, 예를 들어, 원본 컨텐츠의 저작자(author), 원본 컨텐츠가 게시된 웹사이트 주소(예: URL), 및 원본 컨텐츠를 생성한 위치(예: 원본 사진을 촬영한 위치를 지시하는 물리적 좌표)를 포함할 수 있다. 원본 컨텐츠는 제1 컨텐츠 자체이거나, 제1 컨텐츠가 다른 컨텐츠로부터 가공된 경우 제1 컨텐츠로 가공되기 전의 컨텐츠를 나타낼 수 있다. 컨텐츠 소스 정보는 제1 컨텐츠를 분석한 결과로부터 획득될 수 있다. 예를 들어, 컨텐츠 소스 정보는 제1 컨텐츠의 메타데이터로부터 추출되거나, 제1 컨텐츠 자체 및/또는 제1 컨텐츠의 메타 데이터를 분석한 결과로부터 획득될 수 있다.
예시적으로 도 16에 도시된 바와 같이, 전자 장치는 웹사이트(1600)에 게시된 이미지에 대한 클립보드 복사를 허용할 수 있다. 클립보드 복사는 사용자의 다양한 인터랙션 입력을 통해 수행될 수 있다. 사용자의 인터랙션은 예를 들어 디스플레이에 대한 터치 입력, 음성 입력, 제스처 입력, 및 스타일러스 입력을 포함할 수 있다. 도 16에서는 예시적으로 이미지 링크(1610)의 복사를 도시하였으나, 이로 한정하는 것은 아니다. 전자 장치는, 사용자가 원하는 텍스트, 인터넷에 게시된 텍스트, 수신 받은 메시지의 텍스트, 인터넷에 게시된 이미지, 및 SNS 통해 공유된 이미지를 포함하는 다양한 데이터를 클립보드로 복사할 수 있다.
전자 장치는 클립보드로 복사된 데이터(이하, '클립보드 데이터')(1609)를 분석할 수 있다. 전자 장치는 클립보드 데이터(1609)로부터, HTML(HyperText Markup Language), 이미지, 문자열,, URI(Uniform Resource Identifier), URI 목록, 및 인텐트(Intent) 객체를 식별할 수 있다. 예를 들어, 전자 장치는 클립보드에 복사된 이미지로부터 OCR(optical character recognition)에 기초한 문자열, QR 코드, 및 이미지에 포함된 객체 유형을 식별할 수 있다. 다른 예를 들어, 전자 장치는 클립보드에 복사된 문자열로부터, 이메일 주소, 연락처(예: 전화번호), 물리적 주소, 및 URL 주소, 태그 정보, 날짜, 및 시간을 식별할 수 있다. 또 다른 예를 들어, 전자 장치는 복사된 데이터를 변형 없이 그대로 붙여넣기(paste)하는 것으로 지정된 인텐트 타입인 지 식별할 수 있다.
일 실시예에 따르면, 전자 장치는 입력된 문자열(예: 문장)을 훈련된 기계 학습 모델을 이용해 분류할 수도 있다. 훈련된 기계 학습 모델은 딥 러닝 모델(예: RNN(recurrent neural network, LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), RNNLM(Recurrent Neural Network Language Model), 및 강화학습 모델)을 포함할 수 있다. 전자 장치는 클립보드 데이터(1609)에 대해 텍스트 분류(Text Classification)를 수행할 수 있다. 텍스트 분류는 텍스트를 입력으로 받아, 텍스트가 어떤 종류의 범주(Class)에 속하는지를 구분하는 작업을 나타낼 수 있다. 예를 들어, URI 분류는 텍스트 범주 및 URI 도메인 범주(예. .com, co.kr, 및 .kr)의 두 개의 범주 중 한 범주에 속하는 클래스로 분류하는 작업일 수 있다. 이진 분류(Binary Classification)는 두 가지(예: 텍스트, 및 URI) 중 한 클래스로 분류하는 작업을 나타낼 수 있고, 다중 클래스 분류(Multi-Class Classification)는 셋 이상의 클래스들(예:텍스트, URI, 및 전화번호) 중 한 클래스로 분류하는 작업을 나타낼 수 있다.
다른 일 실시예에 따르면, 전자장치는 사용자 입력에 의한 문장 데이터로부터 URI 분류 외에도 해당 문장이 긍정적인 텍스트인지 부정적인 텍스트인 지를 분류하는 감정 분석을 수행할 수 있다. 또한, 전자 장치는 입력 받은 문장으로부터 사용자의 의도를 질문, 명령, 거절 등과 같은 클래스로 분류하는 의도 분석을 수행할 수도 있다.
또 다른 일 실시예에 따르면, 전자 장치는 클립보드 데이터(1609)로부터 추출된 항목 중에서 사용자의 입력 패턴에 따른 단어 및 어플리케이션 별 입력 패턴에 따른 단어에 기초하여 사용자 입력 패턴 모델을 생성할 수 있다. 전자 장치는 사용자 입력, 사용자 입력 패턴 모델, 어플리케이션 정보, 및 텍스트 필드 정보(text field information)에 기초하여 예측 컨텐츠를 결정하고, 예측 컨텐츠에 기초하여 스티커를 추천할 수 있다.
도 16에 도시된 전자 장치는 클립보드 데이터(1609)를 분석한 결과로서, 이미지 링크(1610)를 식별하고, 해당 이미지 링크(1610)가 제2 컨텐츠로서 매핑된 대상 스티커(1621)를 예측 영역에 추천할 수 있다.
클립보드 데이터(1609)로서 문자열이 입력되는 예시를 주로 설명하였으나, 이로 한정하는 것은 아니다. 클립보드 데이터(1609)는 복사된 이미지에 관한 정보를 포함할 수도 있다. 전자 장치는 도 13에서 전술한 바와 유사하게 클립보드 데이터(1609)의 이미지를 분석하여 장면 유형을 추출할 수도 있다. 전자 장치는 추출된 장면 유형에 기초하여 스티커를 추천할 수 있다. 예를 들어, 전자 장치는 클립보드로 복사된 이미지 및/또는 클립보드로 복사된 링크에 대응하는 이미지로부터 장면 유형을 추출할 수 있다. 전자 장치는 클립보드 데이터(1609)로부터 추출된 장면 유형과 매칭하는 제2 컨텐츠에 매핑된 스티커를 예측할 수 있다. 예를 들어, 클립보드 데이터(1609)의 이미지에 포함된 객체가 도 16에 도시된 바와 같이 '사람들'인 경우, 전자 장치는 장면 유형이 '사람들'인 대상 컨텐츠(1621)를 예측 영역에 추천할 수도 있다.
도 17은 예측 영역을 설명한다.
전술한 바와 같이 전자 장치는 사용자 입력(예: 문자열 입력, 클립보드 복사, 및 컨텐츠 첨부)에 기초하여 예측 컨텐츠를 제시할 수 있다. 예측 컨텐츠는 예측 문자열, 예측 이모지, 및 예측 스티커를 표시할 수 있다. 전자 장치는 예측 영역(1720)에서 제1 영역(1721)에 예측 문자열을 표시하고, 제2 영역(1722)에서 예측 이모지를 표시하며, 제3 영역(1723)에서 예측 스티커를 표시할 수 있다. 전자 장치는 예측 문자열을 먼저 표시하고, 순차적으로 예측 이모지 및 예측 스티커를 표시할 수도 있다. 전자 장치는 제1 영역(1721)을 단어 개수에 따라 분할하고 분할된 영역들에 예측 단어를 표시할 수 있다. 유사하게, 전자 장치는 제2 영역(1722)을 예측된 이모지 개수에 따라 분할하고 분할된 영역들에 예측 이모지를 표시하며, 제3 영역(1723)도 예측된 스티커 개수에 따라 분할하여 예측 스티커를 표시할 수 있다. 예측 컨텐츠가 차지하는 영역 크기가 예측 영역(1720)을 초과하는 경우, 전자 장치는 예측 문자열 중 적어도 하나를 제1 영역(1721)에 표시하고, 예측 이모지 중 적어도 하나를 제2 영역(1722)에 표시하며, 예측 스티커 중 적어도 하나를 제3 영역(1723)에 표시할 수 있다. 따라서, 전자 장치는 표시 공간이 부족하더라도 예측 컨텐츠 별 우선순위와 무관하게, 제3 영역(1723)(예: 최우측 영역)에 추천하기로 예측된 스티커의 썸네일을 제공할 수 있다. 참고로, 문자열 추천 엔진, 이모지 추천 엔진, 및 스티커 추천 엔진이 서로 다른 모듈에서 독립적으로 동작하는 경우, 예측 컨텐츠 별 우선순위 판단이 어렵거나 불가할 수 있다. 전자 장치는 전술한 바와 같이, 제1 영역(1721), 제2 영역(1722), 및 제3 영역(1723)의 고정된 위치에 각 예측 컨텐츠를 표시함으로써, 추천 누락을 최소화할 수 있다.
전자 장치는 예측 영역(1720)에 대한 스크롤 입력(예: 좌우로 가로 축을 따른 터치 지점의 이동)에 응답하여, 공간의 제약으로 인해 노출되지 않았던 예측 컨텐츠를 추가로 제시할 수도 있다. 전자 장치가 메시징 어플리케이션을 실행하는 경우, 전자 장치는 메시징 어플리케이션의 메시지 발송의 대상이 되는 다른 사용자 별로 예측 컨텐츠를 달리 추천할 수도 있다. 예를 들어 ,전자 장치는 메시지 발송의 대상이 되는 다른 사용자의 성별, 나이, 신분, 신원, 및 사용자와 다른 사용자 간의 사회적 관계 중 적어도 하나 또는 둘 이상의 조합에 기초하여, 복수의 컨텐츠들 중으로부터 해당 다른 사용자에게로의 발송이 추천되는 예측 컨텐츠를 결정할 수 있다.
전자 장치는 제3 영역(1723)에 대한 사용자 입력에 응답하여 예측 영역(1720)을 확장 영역(1750)으로 전환할 수 있다. 전자 장치는 확장 영역(1750)을 문자열 영역, 이모지 영역, 및 스티커 영역으로 분류하고, 각 예측 컨텐츠 유형에 따라 그룹핑하여 예측 컨텐츠를 제공할 수도 있다. 예를 들어, 도 17에 도시된 바와 같이, 전자 장치는 확장 영역(1750)의 상단 영역에서 예측 문자열을 추천하고, 중간 영역에서 예측 이모지를 추천하며, 하단 영역에서 예측 스티커를 추천할 수 있다. 다만, 도 17에 도시되지는 않았으나, 전자 장치는 예측 영역(1720)의 표시를 유지하고, 그 위에 확장 영역(1750)을 출력할 수도 있다. 따라서, 전자 장치는 기본 예측 영역에서 추천을 위해 표시된 문자열, 이모지, 및 스티커의 표시 위치를 유지함으로써 사용자의 사용성을 개선할 수 있다.
전자 장치는 예측 영역(1720)에서 표시된 스티커 및/또는 확장 영역(1750)에서 표시된 스티커에 대한 선택 입력(1751)에 응답하여, 선택된 대상 스티커(1760)를 제2 어플리케이션의 입력 필드(input field)로 제공할 수 있다.
도 18은 사용자 제스쳐에 따른 스티커 입력을 설명하는 도면이다.
예를 들어, 전자 장치는 사용자 입력(1810)에 응답하여 스티커 GUI에 진입할 수 있다. 전자 장치는 다양한 사용자 제스쳐에 기초하여 스티커(1830)를 선택할 수 있다. 전자 장치는 제1 제스쳐(1821)에 응답하여 제1 설명 정보가 매핑된 스티커 그룹을 선택하고, 선택된 스티커 그룹 내에서 제2 제스쳐(1822)에 응답하여 제2 설명 정보도 매핑된 스티커(1830)를 선택할 수 있다. 예를 들어, 전자 장치는 선택된 스티커 패키지 내에서 제1 제스쳐(1821)(예: 제1 축을 따른 터치 지점의 스와이프 이동)에 응답하여 스티커 생성의 기초가 된 객체(예: 연예인)를 변경할 수 있다. 전자 장치는 제2 제스쳐(1822)(예: 제2 축을 따른 터치 지점의 스와이프 이동)에 응답하여, 전술한 바에 따라 선택된 객체의 감정 유형(예: 즐거움 및 슬픔)을 변경할 수 있다. 전자 장치는 제스쳐들(1821, 1822)에 기초하여 스티커 패키지 내에서 제2 어플리케이션에 입력할 스티커(1830)를 지정할 수 있다. 다만, 전술한 제스쳐들(1821, 1822)은 예시로서, 이로 한정하는 것은 아니다.
도 19는 다양한 실시예에 따른 스티커 패키지의 표시 순서를 설명하는 도면이다.
동작(1901)에서 전자 장치(예: 도 1의 전자 장치(101))는 새로 추가된 스티커가 있는지 판별할 수 있다. 전자 장치는 새로 추가된 스티커가 있는 경우, 스티커 트레이에서 새로 추가된 스티커 패키지에 대응하는 그래픽 표현(1910)에 뱃지 인디케이터(badge indicator)를 표시할 수 있다. 전자 장치는 새로 추가된 스티커 패키지가 선택되는 경우 그래픽 표현(1910)으로부터 뱃지 인디케이터를 제거할 수 있다. 전자 장치는 스티커 트레이에 가장 마지막에 추가된 스티커 패키지를 지시하는 탭을 우선적으로(예: 가장 왼쪽 영역에) 디스플레이할 수 있다.
동작(1902)에서 전자 장치는 새로 추가된 스티커가 없는 경우, 스티커를 사용한 적이 있는지 판단할 수 있다. 전자 장치는 스티커 사용 이력이 있는 경우, 가장 최근에 사용했던 스티커를 지시하는 탭(1920)을 스티커 트레이에 제공할 수 있다. 전자 장치는 스티커 사용 이력이 없는 경우, 설치된 스티커 패키지들 중 한 스티커 패키지(1930)를 스티커 트레이에 제공할 수 있다.
참고로 본 명세서에서 디스플레이 폼 팩터가 주로 평면 디스플레이인 예시를 설명하였으나, 이로 한정하는 것은 아니다. 전자 장치는 디스플레이 폼 팩터에 따라 스티커, 스티커 패키지, 및/또는 스티커 트레이를 시각화하는 위치, 크기, 및 형태를 조절할 수 있다. 예를 들어, 전자 장치가 폴더블 디스플레이 및/또는 롤러블 디스플레이를 포함하는 경우, 전자 장치는 확장된 디스플레이 상태(예: 폴더블 디스플레이가 언폴드(unfold)된 상태 및 롤러블 디스플레이가 언롤(unroll)된 상태)에서 증가된 크기로 스티커, 스티커 패키지, 및/또는 스티커 트레이를 시각화하고, 증가된 개수의 스티커들을 한 화면에 디스플레이할 수도 있다. 또한, 전자 장치는 디스플레이 상태를 전환하는 경우(예: 폴드된 상태를 언폴드 상태로 전환 및 롤링(roll)된 상태를 언롤 상태로 전환), 디스플레이에 시각화된 스티커, 스티커 패키지, 및/또는 스티커 트레이의 크기를 증가시키거나 시각화되는 개수를 증가시킬 수 있다.
도 20은 다양한 실시예에 따른 스티커의 추가 정보를 제공하는 예시를 설명하는 도면이다.
일 실시예에 따른 전자 장치는 스티커(2010)에 대해 추가 조작을 검출하는 경우에 응답하여, 스티커(2010)에 관련된 해시태그 정보, URL(Uniform Resource Locator) 정보, 메모 정보, 및 위치 정보 중 적어도 하나 또는 둘 이상의 조합을 포함하는 추가 정보(2020)를 표시할 수 있다. 추가 조작은 일반 터치(예: 임계 시간 이하 동안만 터치를 유지하고 그 이후 해제되는 터치 입력)를 제외한 특수 입력으로서, 예를 들어 스타일러스 펜(2090)의 터치 입력, 호버링 입력, 에어 포인터, 및 에어 제스쳐 중 적어도 하나 또는 둘 이상의 조작을 포함할 수 있다. 호버링 입력은 스타일러스 펜(2090)의 팁(tip)이 디스플레이와 접촉하지 않으면서 디스플레이로부터 임계 거리 미만 내에 위치되는 입력을 나타낼 수 있다. 에어 포인터 및 에어 제스쳐는 전자 장치로부터 이격된 공중에서 포인팅하는 입력 및 제스쳐를 나타낼 수 있다.
전자 장치는 추가 조작에 의해 포인팅된 스티커(2010)의 추가 정보(2020)를 팝업 메시지로 제공할 수 있다. 추가 정보(2020)는 스티커(2010)의 태그 정보, URL, 메모, 음성, 동영상, 이미지, 및 위치를 포함할 수 있다. 전자 장치는 제2 컨텐츠 중 일부를 추가 정보(2020)로 제공하거나, 스티커(2010)의 설명 정보 중 제2 컨텐츠로 매핑되지 않은 나머지 설명 정보를 추가 정보(2020)로서 제공할 수도 있다.
일 실시예에 따른 전자 장치는, 디스플레이; 상기 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 프로세서는: 제1 어플리케이션에서 제1 컨텐츠로부터 스티커를 생성하고, 제2 컨텐츠를 상기 생성된 스티커에 매핑하며, 상기 제2 컨텐츠에 관련된 의미를 가지는, 제2 어플리케이션에 대한 텍스트 입력을 가상 키보드로부터 수신하는 경우에 응답하여 상기 제2 어플리케이션에게 상기 매핑된 스티커를 제공하도록 설정될 수 있다.
상기 프로세서는, 상기 스티커에 관한 설명 정보(description information)를 추출하고, 상기 추출된 설명 정보에 기초하여 상기 스티커를 위한 하나 이상의 후보 컨텐츠를 제시하며, 사용자 입력에 의한 선택 및 자동 선택 중 적어도 하나에 기초하여, 상기 제시된 하나 이상의 후보 컨텐츠 중으로부터 선택된 컨텐츠를 상기 제2 컨텐츠로서 상기 생성된 스티커에 매핑하도록 더 설정될 수 있다.
상기 프로세서는, 상기 텍스트 입력에 대한 예측 컨텐츠가 상기 제2 컨텐츠를 포함하는 경우에 응답하여, 상기 매핑된 스티커를 상기 가상 키보드의 예측 영역에 표시하고, 사용자에 의한 상기 스티커의 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션으로 입력하도록 더 설정될 수 있다.
상기 프로세서는, 상기 매핑된 스티커 및 적어도 하나의 다른 스티커를 상기 가상 키보드의 예측 영역에 표시하고, 상기 매핑된 스티커의 사용자 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션에게 입력하도록 더 설정될 수 있다.
상기 프로세서는, 복수의 스티커 패키지들 중 사용자에 의해 설치된 커스텀 패키지에 속하는 스티커를 우선적으로 상기 가상 키보드의 예측 영역에 표시하도록 더 설정될 수 있다.
상기 프로세서는, 상기 스티커에 대해 추가 조작을 검출하는 경우에 응답하여, 상기 스티커에 관련된 해시태그 정보, URL(Uniform Resource Locator) 정보, 메모 정보, 및 위치 정보 중 적어도 하나 또는 둘 이상의 조합을 포함하는 추가 정보를 표시하도록 더 설정될 수 있다.
상기 프로세서는, 상기 전자 장치에 의해 접속 가능한 외부 장치에 저장된 컨텐츠로부터 상기 제1 컨텐츠를 획득하도록 더 설정될 수 있다.
상기 프로세서는, 상기 제1 컨텐츠를 크롭하는 동작, 상기 제1 컨텐츠에서 객체와 배경을 분리하는 동작, 상기 제1 컨텐츠에 보조 그래픽 표현을 부가하는 동작, 및 상기 제1 컨텐츠를 멀티 레이어 이미지로 구별하여 깊이감(perceptional depth)을 가지는 이미지로 변환하는 동작 중 적어도 하나 또는 둘 이상의 조합을 수행함으로써, 상기 스티커를 생성하도록 더 설정될 수 있다.
상기 프로세서는, 복수의 스티커들을 대표하는 명칭, 커버 이미지, 및 생성자 정보 중 적어도 하나 또는 둘 이상의 조합을 갖고 상기 복수의 스티커들을 그룹핑함으로써 스티커 패키지를 생성하도록 더 설정될 수 있다.
상기 프로세서는, 설치되는 스티커 패키지가 이전에 전자 장치에 미리 설치된 패키지와 중복되는 경우에 응답하여, 상기 이전에 설치된 스티커 패키지를 업데이트하고, 상기 설치되는 스티커 패키지에 중복되는 패키지가 검색되지 않는 경우에 응답하여, 스티커 패키지를 상기 전자 장치에 새로 설치하도록 더 설정될 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 제1 어플리케이션에서 제1 컨텐츠로부터 스티커를 생성하는 동작; 제2 컨텐츠를 상기 생성된 스티커에 매핑하는 동작; 및 상기 제2 컨텐츠에 관련된 의미를 가지는, 제2 어플리케이션에 대한 텍스트 입력을 가상 키보드로부터 수신하는 경우에 응답하여, 상기 제2 어플리케이션에게 상기 매핑된 스티커를 제공하는 동작을 포함할 수 있다.
상기 제2 컨텐츠를 매핑하는 동작은, 상기 스티커에 관한 설명 정보(description information)를 추출하는 동작; 상기 추출된 설명 정보에 기초하여 상기 스티커를 위한 하나 이상의 후보 컨텐츠를 제시하는 동작; 및 사용자 입력에 의한 선택 및 자동 선택 중 적어도 하나에 기초하여, 상기 제시된 하나 이상의 후보 컨텐츠 중으로부터 선택된 컨텐츠를 상기 제2 컨텐츠로서 상기 생성된 스티커에 매핑하는 동작을 포함할 수 있다.
상기 스티커를 제공하는 동작은, 상기 텍스트 입력에 대한 예측 컨텐츠가 상기 제2 컨텐츠를 포함하는 경우에 응답하여, 상기 매핑된 스티커를 상기 가상 키보드의 예측 영역에 표시하는 동작; 및 사용자에 의한 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션으로 입력하는 동작을 포함할 수 있다.
상기 스티커를 제공하는 동작은, 상기 매핑된 스티커 및 적어도 하나의 다른 스티커를 상기 가상 키보드의 예측 영역에 표시하는 동작; 및 상기 매핑된 스티커의 사용자 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션에게 입력하는 동작을 포함할 수 있다.
상기 스티커를 제공하는 동작은, 복수의 스티커 패키지들 중 사용자에 의해 설치된 커스텀 패키지에 속하는 스티커를 우선적으로 상기 가상 키보드의 예측 영역에 표시하는 동작을 포함할 수 있다.
상기 스티커를 제공하는 동작은, 상기 스티커에 대해 추가 조작을 검출하는 경우에 응답하여, 상기 스티커에 관련된 해시태그 정보, URL(Uniform Resource Locator) 정보, 메모 정보, 및 위치 정보 중 적어도 하나 또는 둘 이상의 조합을 포함하는 추가 정보를 표시하는 동작을 포함할 수 있다.
상기 스티커를 생성하는 동작은, 상기 전자 장치에 의해 접속 가능한 외부 장치에 저장된 컨텐츠로부터 상기 제1 컨텐츠를 획득하는 동작을 포함할 수 있다.
상기 스티커를 생성하는 동작은, 상기 제1 컨텐츠를 크롭하는 동작, 상기 제1 컨텐츠에서 객체와 배경을 분리하는 동작, 상기 제1 컨텐츠에 보조 그래픽 표현을 부가하는 동작, 및 상기 제1 컨텐츠를 멀티 레이어 이미지로 구별하여 깊이감(perceptional depth)을 가지는 이미지로 변환하는 동작 중 적어도 하나 또는 둘 이상의 조합을 수행함으로써, 상기 스티커를 생성하는 동작을 포함할 수 있다.
상기 스티커를 생성하는 동작은, 복수의 스티커들을 대표하는 명칭, 커버 이미지, 및 생성자 정보 중 적어도 하나 또는 둘 이상의 조합을 갖고 상기 복수의 스티커들을 그룹핑함으로써 스티커 패키지를 생성하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터 판독 가능 기록 매체는 전술한 방법들을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장할 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    상기 디스플레이와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결된 메모리;
    을 포함하고,
    상기 프로세서는:
    제1 어플리케이션에서 제1 컨텐츠로부터 스티커를 생성하고,
    제2 컨텐츠를 상기 생성된 스티커에 매핑하며,
    상기 제2 컨텐츠에 관련된 의미를 가지는, 제2 어플리케이션에 대한 텍스트 입력을 가상 키보드로부터 수신하는 경우에 응답하여 상기 제2 어플리케이션에게 상기 매핑된 스티커를 제공하도록 설정된,
    전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 스티커에 관한 설명 정보(description information)를 추출하고,
    상기 추출된 설명 정보에 기초하여 상기 스티커를 위한 하나 이상의 후보 컨텐츠를 제시하며,
    사용자 입력에 의한 선택 및 자동 선택 중 적어도 하나에 기초하여, 상기 제시된 하나 이상의 후보 컨텐츠 중으로부터 선택된 컨텐츠를 상기 제2 컨텐츠로서 상기 생성된 스티커에 매핑하도록 더 설정된,
    전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 텍스트 입력에 대한 예측 컨텐츠가 상기 제2 컨텐츠를 포함하는 경우에 응답하여, 상기 매핑된 스티커를 상기 가상 키보드의 예측 영역에 표시하고,
    사용자에 의한 상기 스티커의 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션으로 입력하도록 더 설정된,
    전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 매핑된 스티커 및 적어도 하나의 다른 스티커를 상기 가상 키보드의 예측 영역에 표시하고,
    상기 매핑된 스티커의 사용자 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션에게 입력하도록 더 설정된,
    전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    복수의 스티커 패키지들 중 사용자에 의해 설치된 커스텀 패키지에 속하는 스티커를 우선적으로 상기 가상 키보드의 예측 영역에 표시하도록 더 설정된,
    전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 스티커에 대해 추가 조작을 검출하는 경우에 응답하여, 상기 스티커에 관련된 해시태그 정보, URL(Uniform Resource Locator) 정보, 메모 정보, 및 위치 정보 중 적어도 하나 또는 둘 이상의 조합을 포함하는 추가 정보를 표시하도록 더 설정된,
    전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치에 의해 접속 가능한 외부 장치에 저장된 컨텐츠로부터 상기 제1 컨텐츠를 획득하도록 더 설정된,
    전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 컨텐츠를 크롭하는 동작, 상기 제1 컨텐츠에서 객체와 배경을 분리하는 동작, 상기 제1 컨텐츠에 보조 그래픽 표현을 부가하는 동작, 및 상기 제1 컨텐츠를 멀티 레이어 이미지로 구별하여 깊이감(perceptional depth)을 가지는 이미지로 변환하는 동작 중 적어도 하나 또는 둘 이상의 조합을 수행함으로써, 상기 스티커를 생성하도록 더 설정된,
    전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    복수의 스티커들을 대표하는 명칭, 커버 이미지, 및 생성자 정보 중 적어도 하나 또는 둘 이상의 조합을 갖고 상기 복수의 스티커들을 그룹핑함으로써 스티커 패키지를 생성하도록 더 설정된,
    전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    설치되는 스티커 패키지가 이전에 전자 장치에 미리 설치된 패키지와 중복되는 경우에 응답하여, 상기 이전에 설치된 스티커 패키지를 업데이트하고,
    상기 설치되는 스티커 패키지에 중복되는 패키지가 검색되지 않는 경우에 응답하여, 스티커 패키지를 상기 전자 장치에 새로 설치하도록 더 설정된,
    전자 장치.
  11. 프로세서로 구현되는 방법에 있어서,
    제1 어플리케이션에서 제1 컨텐츠로부터 스티커를 생성하는 동작;
    제2 컨텐츠를 상기 생성된 스티커에 매핑하는 동작; 및
    상기 제2 컨텐츠에 관련된 의미를 가지는, 제2 어플리케이션에 대한 텍스트 입력을 가상 키보드로부터 수신하는 경우에 응답하여, 상기 제2 어플리케이션에게 상기 매핑된 스티커를 제공하는 동작
    을 포함하는 방법.
  12. 제11항에 있어서,
    상기 제2 컨텐츠를 매핑하는 동작은,
    상기 스티커에 관한 설명 정보(description information)를 추출하는 동작;
    상기 추출된 설명 정보에 기초하여 상기 스티커를 위한 하나 이상의 후보 컨텐츠를 제시하는 동작; 및
    사용자 입력에 의한 선택 및 자동 선택 중 적어도 하나에 기초하여, 상기 제시된 하나 이상의 후보 컨텐츠 중으로부터 선택된 컨텐츠를 상기 제2 컨텐츠로서 상기 생성된 스티커에 매핑하는 동작
    을 포함하는 방법.
  13. 제11항에 있어서,
    상기 스티커를 제공하는 동작은,
    상기 텍스트 입력에 대한 예측 컨텐츠가 상기 제2 컨텐츠를 포함하는 경우에 응답하여, 상기 매핑된 스티커를 상기 가상 키보드의 예측 영역에 표시하는 동작; 및
    사용자에 의한 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션으로 입력하는 동작
    을 포함하는 방법.
  14. 제11항에 있어서,
    상기 스티커를 제공하는 동작은,
    상기 매핑된 스티커 및 적어도 하나의 다른 스티커를 상기 가상 키보드의 예측 영역에 표시하는 동작; 및
    상기 매핑된 스티커의 사용자 선택에 응답하여, 상기 매핑된 스티커를 상기 제2 어플리케이션에게 입력하는 동작
    을 포함하는 방법.
  15. 제11항에 있어서,
    상기 스티커를 제공하는 동작은,
    복수의 스티커 패키지들 중 사용자에 의해 설치된 커스텀 패키지에 속하는 스티커를 우선적으로 상기 가상 키보드의 예측 영역에 표시하는 동작
    을 포함하는 방법.
  16. 제11항에 있어서,
    상기 스티커를 제공하는 동작은,
    상기 스티커에 대해 추가 조작을 검출하는 경우에 응답하여, 상기 스티커에 관련된 해시태그 정보, URL(Uniform Resource Locator) 정보, 메모 정보, 및 위치 정보 중 적어도 하나 또는 둘 이상의 조합을 포함하는 추가 정보를 표시하는 동작
    을 포함하는 방법.
  17. 제11항에 있어서,
    상기 스티커를 생성하는 동작은,
    전자 장치에 의해 접속 가능한 외부 장치에 저장된 컨텐츠로부터 상기 제1 컨텐츠를 획득하는 동작
    을 포함하는 방법.
  18. 제11항에 있어서,
    상기 스티커를 생성하는 동작은,
    상기 제1 컨텐츠를 크롭하는 동작, 상기 제1 컨텐츠에서 객체와 배경을 분리하는 동작, 상기 제1 컨텐츠에 보조 그래픽 표현을 부가하는 동작, 및 상기 제1 컨텐츠를 멀티 레이어 이미지로 구별하여 깊이감(perceptional depth)을 가지는 이미지로 변환하는 동작 중 적어도 하나 또는 둘 이상의 조합을 수행함으로써, 상기 스티커를 생성하는 동작
    을 포함하는 방법.
  19. 제11항에 있어서,
    상기 스티커를 생성하는 동작은,
    복수의 스티커들을 대표하는 명칭, 커버 이미지, 및 생성자 정보 중 적어도 하나 또는 둘 이상의 조합을 갖고 상기 복수의 스티커들을 그룹핑함으로써 스티커 패키지를 생성하는 동작
    을 포함하는 방법.
  20. 제11항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
KR1020220040239A 2021-04-01 2022-03-31 컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법 KR20220136938A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210042637 2021-04-01
KR20210042637 2021-04-01

Publications (1)

Publication Number Publication Date
KR20220136938A true KR20220136938A (ko) 2022-10-11

Family

ID=83459413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220040239A KR20220136938A (ko) 2021-04-01 2022-03-31 컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법

Country Status (4)

Country Link
US (1) US20220326846A1 (ko)
EP (1) EP4293607A1 (ko)
KR (1) KR20220136938A (ko)
WO (1) WO2022211509A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239620A1 (en) * 2022-06-05 2023-12-14 Apple Inc. Sticker creation for messaging

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542038B2 (en) * 2010-04-07 2017-01-10 Apple Inc. Personalizing colors of user interfaces
US10155168B2 (en) * 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
KR102337072B1 (ko) * 2014-09-12 2021-12-08 삼성전자 주식회사 이모티콘을 생성하는 방법 및 이를 지원하는 전자장치
US10474877B2 (en) * 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
US20220092071A1 (en) * 2015-09-22 2022-03-24 Google Llc Integrated Dynamic Interface for Expression-Based Retrieval of Expressive Media Content
KR102442521B1 (ko) * 2015-12-22 2022-09-08 주식회사 넥슨코리아 이모티콘 제공 장치 및 이모티콘 제공 방법
US20220179665A1 (en) * 2017-01-29 2022-06-09 Yogesh Rathod Displaying user related contextual keywords and controls for user selection and storing and associating selected keywords and user interaction with controls data with user
US10810211B2 (en) * 2017-05-09 2020-10-20 International Business Machines Corporation Dynamic expression sticker management
US10788900B1 (en) * 2017-06-29 2020-09-29 Snap Inc. Pictorial symbol prediction
US10740974B1 (en) * 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10599289B1 (en) * 2017-11-13 2020-03-24 Snap Inc. Interface to display animated icon
KR102103883B1 (ko) * 2017-11-23 2020-04-23 이진용 이모티콘을 활용한 디지털콘텐츠 제작 전송 및 광고 서비스 제공방법
US11068137B2 (en) * 2017-12-18 2021-07-20 Facebook, Inc. Systems and methods for augmenting content
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
US10691895B2 (en) * 2018-07-19 2020-06-23 International Business Machines Coporation Dynamic text generation for social media posts
US10936649B2 (en) * 2018-10-24 2021-03-02 International Business Machines Corporation Content based profile picture selection
US11052322B1 (en) * 2018-10-31 2021-07-06 Snap Inc. In-game status bar
US11126344B2 (en) * 2019-01-22 2021-09-21 Facebook, Inc. Systems and methods for sharing content
DK201970531A1 (en) * 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
US11361021B2 (en) * 2019-08-01 2022-06-14 Meta Platform, Inc. Systems and methods for music related interactions and interfaces
KR102112584B1 (ko) * 2019-09-09 2020-05-19 김영재 맞춤형 이모티콘 생성 방법 및 장치
US11194970B2 (en) * 2019-09-23 2021-12-07 International Business Machines Corporation Context-based topic recognition using natural language processing
US11962547B2 (en) * 2019-09-27 2024-04-16 Snap Inc. Content item module arrangements
US11625873B2 (en) * 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US20230138677A1 (en) * 2021-10-29 2023-05-04 Snap Inc. Customized animation from video
US20230136013A1 (en) * 2021-10-29 2023-05-04 Snap Inc. Animated custom sticker creation

Also Published As

Publication number Publication date
EP4293607A1 (en) 2023-12-20
US20220326846A1 (en) 2022-10-13
WO2022211509A1 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
CN110286976B (zh) 界面显示方法、装置、终端及存储介质
US11138207B2 (en) Integrated dynamic interface for expression-based retrieval of expressive media content
CN105320428B (zh) 用于提供图像的方法和设备
CN111339246B (zh) 查询语句模板的生成方法、装置、设备及介质
CN105451846B (zh) 用于对内容进行分类的方法和装置
WO2020019220A1 (zh) 在预览界面中显示业务信息的方法及电子设备
CN107977928B (zh) 表情生成方法、装置、终端及存储介质
CN106294798A (zh) 一种基于缩略图的图像分享方法和终端
CN110377204B (zh) 一种生成用户头像的方法及电子设备
CN113228693B (zh) 动态上下文媒体过滤器
US20220092071A1 (en) Integrated Dynamic Interface for Expression-Based Retrieval of Expressive Media Content
US11899719B2 (en) Systems and methods for determining whether to modify content
CN111158924A (zh) 内容分享方法、装置、电子设备及可读存储介质
US20220326846A1 (en) Electronic device and method to provide sticker based on content input
KR20150117043A (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
US20240045899A1 (en) Icon based tagging
US11743530B2 (en) Systems and methods for improved searching and categorizing of media content items based on a destination for the media content machine learning
US11544921B1 (en) Augmented reality items based on scan
US20210224310A1 (en) Electronic device and story generation method thereof
US20220319082A1 (en) Generating modified user content that includes additional text content
KR20230031107A (ko) 감정 결합 컨텐츠의 생성 방법 및 장치
CN115168568A (zh) 一种数据内容的识别方法、装置以及存储介质
KR20220061763A (ko) 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법
EP4261685A1 (en) Method for providing clipboard function, and electronic device supporting same
WO2023246666A1 (zh) 一种搜索方法及电子设备