KR102598496B1 - 이모티콘 패키지 생성 방법, 장치, 설비 및 매체 - Google Patents
이모티콘 패키지 생성 방법, 장치, 설비 및 매체 Download PDFInfo
- Publication number
- KR102598496B1 KR102598496B1 KR1020217009336A KR20217009336A KR102598496B1 KR 102598496 B1 KR102598496 B1 KR 102598496B1 KR 1020217009336 A KR1020217009336 A KR 1020217009336A KR 20217009336 A KR20217009336 A KR 20217009336A KR 102598496 B1 KR102598496 B1 KR 102598496B1
- Authority
- KR
- South Korea
- Prior art keywords
- emoticon
- text
- picture
- package
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 10
- 238000012790 confirmation Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 230000008451 emotion Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
본 출원의 실시예는 이모티콘 패키지 생성 방법, 장치, 설비 및 매체를 개시하였고, 이미지 처리분야에 관한 것이며, 특히 인터넷 기술에 관한 것이다. 구체적인 실시방안은 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하고, 상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함하며; 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하고; 상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성한다. 본 출원의 실시예는 이모티콘 패키지를 자동으로 정확하게 생성하는 이모티콘 패키지 생성 방법, 장치, 설비 및 매체를 제공한다.
Description
본 출원은 2020년 2월 28일 중국특허청에 제출한 출원번호가 202010128305.6인 중국특허출원의 우선권을 주장하는 바, 해당 출원의 전체 내용은 참조로서 본 출원에 포함된다.
본 출원의 실시예는 이미지 처리 분야에 관한 것으로서, 예를 들어, 인터넷 기술에 관한 것이다. 구체적으로, 본 출원의 실시예는 이모티콘 패키지(emoticon package) 생성 방법, 장치, 설비 및 매체를 제공한다.
최근, 인스턴트 메시징 소셜 콘택트가 보급되고, 인터넷에서의 사용자의 오리지널 콘텐츠가 부단히 풍부해짐에 따라, 문자 입력 시나리오에서의 리치 미디어화 추세가 보다 명확해지고 있다. 이모티콘 패키지는 특수한 이미지 언어로서, 입력 시나리오에 널리 사용되고 있다.
현재 인터넷 사용자에게 이모티콘 자원을 제공하는 제품은 주로 이모티콘 검색이며, 즉 사용자가 수동으로 문자를 입력하면, 시스템이 자동으로 이에 관련된 이모티콘 패키지를 매칭한다.
그러나, 콘텐츠 타입 제품으로서, 이모티콘 검색의 결과는 이모티콘 패키지 자원에 크게 의존하고 있고, 현재 이모티콘 자원패키지는 모두 수동으로 제작하여 생산되므로, 생산 주기가 길고 비용이 비교적 많이 들게 된다.
본 출원의 실시예는 이모티콘 패키지를 자동으로 정확하게 생성하는 이모티콘 패키지 생성 방법, 장치, 설비 및 매체를 제공한다.
본 출원의 실시예는 이모티콘 패키지 생성 방법을 제공하며, 해당 방법은,
이모티콘 그림(emoticon picture)의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 단계-상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보(emotion information), 동작 정보 및 함축 정보(connotation information) 중의 적어도 하나를 포함함-;
이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계;
상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성하는 단계; 를 포함한다.
본 출원의 실시예는 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하고, 이모티콘 그림의 관련 텍스트 및/또는 유사 이모티콘 패키지의 관련 텍스트를 후보 매칭 텍스트로 하여, 후보 매칭 텍스트를 자동으로 확정한다.
후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하며, 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함하고, 유사 이모티콘 패키지와 이모티콘 그림은 유사한 특징을 갖기 때문에, 확정된 후보 매칭 텍스트에는 이모티콘 그림의 콘텐츠 정보가 기술(described)되어 있다. 따라서, 미리 설정된 텍스트로부터 타겟 매칭 텍스트를 확정하는 경우에 비해, 본 출원의 실시예에서 확정한 타겟 매칭 텍스트는 보다 정확하게 이모티콘 그림을 기술할 수 있기에, 타겟 매칭 텍스트의 정확도를 향상시킨다. 마지막으로, 정확하게 확정된 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 이모티콘 패키지를 자동으로 정확하게 생성한다.
도면 및 상세한 설명을 읽고 이해하면, 기타 방면도 명확해질 수 있다.
나아가, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 단계를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정함으로써, 이모티콘 그림 관련 텍스트의 확정 차원을 풍부하게 한다.
나아가, 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
단어의 사용 빈도수에 기반하여, 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하는 단계;
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 단계; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 단어의 사용 빈도수에 기반하여, 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하고; 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정함으로써, 이모티콘 그림 관련 텍스트의 정확도를 향상시킨다.
나아가, 상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
이모티콘 그림의 식별 결과와 상기 타겟 텍스트를 매칭하는 단계;
매칭 결과에 따라, 중복 텍스트를 확정하는 단계;
이모티콘 그림의 식별 결과 및 상기 타겟 텍스트로부터 상기 중복 텍스트를 필터링하여, 이모티콘 그림의 관련 텍스트를 획득하는 단계-상기 이모티콘 그림의 식별 결과는 이모션 정보 및 주요부분 정보를 포함함-; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이모티콘 그림의 식별 결과 및 타겟 텍스트를 융합하고, 융합한 후의 텍스트를 이모티콘 그림의 관련 텍스트로 함으로써, 관련 텍스트의 텍스트 콘텐츠를 풍부하게 한다.
이모티콘 그림의 식별 결과가 이모션 정보 및 주요부분 정보를 포함하기 때문에, 이모티콘 그림의 식별 결과에 기반하여 확정한 관련 텍스트는 적어도 두 개의 차원(dimension)의 정보를 포함하게 되므로, 관련 텍스트의 텍스트 차원을 풍부하게 한다. 따라서, 본 출원의 실시예의 확정 방식에 기반하면, 확정된 이모티콘 그림의 관련 텍스트가 보다 풍부해진다.
나아가, 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계는,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 단계;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 해당 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 단계; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이미지 정보 및 관련 텍스트 정보인 두 개의 정보 차원으로부터 유사 이모티콘 패키지를 확정함으로써, 유사 이모티콘 패키지에 대한 리콜률(recall rate)을 향상시키며, 나아가 유사 이모티콘 패키지의 관련 텍스트에 기반하여, 이모티콘 그림의 후보 매칭 텍스트에 대한 리콜률을 향상시킨다.
나아가, 상기 이미지 정보는 이모티콘 패키지 유형 정보 및 물체 유형 정보를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이모티콘 패키지 유형 정보 및 물체 유형 정보에 기반하여, 이미 구비되어 있는 이모티콘 패키지로부터 유사 이모티콘 패키지를 확정함으로써, 유사 이모티콘 패키지의 정확도를 향상시킨다.
나아가, 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 상기 단계는,
단어의 사용 빈도수, 단어 길이 및 단어 의미 중의 적어도 하나에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계를 포함하되, 상기 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 단어의 사용 빈도수, 단어 길이 및 단어 의미 중의 적어도 하나에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정함으로써, 타겟 매칭 텍스트의 확정 정확도를 더 향상시킨다.
나아가, 단어 길이에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 상기 단계는,
후보 매칭 텍스트의 단어 길이가 설정된 길이 범위에 속하면, 상기 후보 매칭 텍스트를 타겟 매칭 텍스트로 확정하는 단계를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 후보 매칭 텍스트의 단어 길이가 설정된 길이 범위에 속하는지 여부를 판단하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정함으로써, 타겟 매칭 텍스트를 정확하게 확정한다.
나아가, 단어 의미에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계는,
후보 매칭 텍스트의 단어 의미에 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는 것을 확정하는 단계;
상기 단어 정보에 따라, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 후보 매칭 텍스트의 단어 의미에 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는 것에 따라, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정함으로써, 타겟 매칭 텍스트를 정확하게 확정한다.
나아가, 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계 이전에, 상기 방법은,
비디오로부터 타겟 대상의 타겟 부위를 포함하는 비디오 이미지를 추출하는 단계;
추출한 비디오 이미지에 대한 스피킹(speaking) 및/또는 동작 수행 진폭을 식별하는 단계;
식별 결과에 따라, 상기 비디오 이미지로부터 이모티콘 그림을 확정하는 단계; 를 더 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하고; 식별 결과에 따라, 비디오 이미지로부터 이모티콘 그림을 확정함으로써, 이모티콘 그림을 정확하게 확정한다.
나아가, 상기 타겟 매칭 텍스트의 중첩 위치를 확정하는 단계는,
이모티콘 그림 중의 배경 영역을 검출하는 단계;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 단계;
상기 최대 내접 그래픽 영역을 상기 타겟 매칭 텍스트의 중첩 위치로 하는 단계; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이모티콘 그림 중의 배경 영역을 검출하고; 배경 영역 중의 최대 내접 그래픽 영역을 타겟 매칭 텍스트의 중첩 위치로 함으로써, 타겟 매칭 텍스트의 중첩 위치를 확정한다.
본 출원의 실시예는 이모티콘 패키지 생성 장치를 더 제공하며, 해당 장치는,
이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 관련 텍스트 확정 모듈-상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함함-;
이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 매칭 텍스트 확정 모듈;
상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성하는 이모티콘 패키지 생성 모듈; 을 포함한다.
나아가, 상기 관련 텍스트 확정 모듈은,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 관련 텍스트 확정 유닛을 포함한다.
나아가, 상기 관련 텍스트 확정 유닛은 구체적으로,
단어의 사용 빈도수에 기반하여, 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하고;
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정한다.
나아가, 상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 것은,
이모티콘 그림의 식별 결과와 상기 타겟 텍스트를 매칭하는 것;
매칭 결과에 따라, 중복 텍스트를 확정하는 것;
이모티콘 그림의 식별 결과 및 상기 타겟 텍스트로부터 상기 중복 텍스트를 필터링하여, 이모티콘 그림의 관련 텍스트를 획득하는 것-상기 이모티콘 그림의 식별 결과는 이모션 정보 및 주요부분 정보를 포함함-; 을 포함한다.
나아가, 상기 관련 텍스트 확정 모듈은,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 이모티콘 그림 매칭 유닛;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 해당 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 이모티콘 패키지 선별 유닛; 을 포함한다.
나아가, 상기 이미지 정보는 이모티콘 패키지 유형 정보 및 물체 유형 정보를 포함한다.
나아가, 상기 매칭 텍스트 확정 모듈은,
단어의 사용 빈도수, 단어 길이 및 단어 의미 중의 적어도 하나에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 매칭 텍스트 확정 유닛-상기 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트를 포함함-; 을 포함한다.
나아가, 상기 매칭 텍스트 확정 유닛은 구체적으로,
후보 매칭 텍스트의 단어 길이가 설정된 길이 범위에 속하면, 상기 후보 매칭 텍스트를 타겟 매칭 텍스트로 확정한다.
나아가, 상기 매칭 텍스트 확정 유닛은 구체적으로,
후보 매칭 텍스트의 단어 의미에 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는 것을 확정하고;
상기 단어 정보에 따라, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정한다.
나아가, 상기 장치는,
이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하기 이전에, 비디오로부터 타겟 대상의 타겟 부위를 포함하는 비디오 이미지를 추출하는 비디오 이미지 추출 모듈;
추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하는 이미지 식별 모듈;
식별 결과에 따라, 상기 비디오 이미지로부터 이모티콘 그림을 확정하는 이모티콘 그림 확정 모듈; 을 더 포함한다.
나아가, 상기 장치는,
이모티콘 그림 중의 배경 영역을 검출하는 배경 검출 모듈;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 영역 확정 모듈;
상기 최대 내접 그래픽 영역을 상기 타겟 매칭 텍스트의 중첩 위치로 하는 위치 확정 모듈; 을 더 포함한다.
본 출원의 실시예는 전자 설비를 더 제공하며, 해당 설비는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신적으로 연결되는 메모리; 를 포함하되, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예 중의 어느 하나에 따른 방법을 수행할 수 있도록 한다.
본 출원의 실시예는 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터가 본 출원의 실시예의 어느 하나에 따른 방법을 수행하도록 한다.
도면은 본 방안을 더 잘 이해하기 위한 것이며, 본 출원을 한정하려는 것이 아니다. 여기서:
도 1은 본 출원의 제 1 실시예에서 제공한 이모티콘 패키지 생성 방법의 흐름도이며;
도 2는 본 출원의 제 2 실시예에서 제공한 이모티콘 패키지 생성 방법의 흐름도이며;
도 3은 본 출원의 제 4 실시예에서 제공한 이모티콘 패키지 생성 장치의 구조 개략도이며;
도 4는 본 출원의 실시예의 이모티콘 패키지 생성 방법을 구현하기 위한 전자 설비의 블록도이다.
도 1은 본 출원의 제 1 실시예에서 제공한 이모티콘 패키지 생성 방법의 흐름도이며;
도 2는 본 출원의 제 2 실시예에서 제공한 이모티콘 패키지 생성 방법의 흐름도이며;
도 3은 본 출원의 제 4 실시예에서 제공한 이모티콘 패키지 생성 장치의 구조 개략도이며;
도 4는 본 출원의 실시예의 이모티콘 패키지 생성 방법을 구현하기 위한 전자 설비의 블록도이다.
이하 도면을 결합하여 본 출원의 예시적인 실시예를 설명하도록 한다. 여기서 본 출원의 실시예를 포함하는 각종 상세한 설명은 이해를 돕기 위한 것이며, 이들을 예시적인 것으로 간주하여야 한다. 따라서, 본 분야의 당업자는 본 출원의 범위 및 요지를 벗어나지 않고 여기서 설명된 실시예에 대하여 다양한 변경 및 수정이 가능함을 이해할 것이다. 마찬가지로, 명확하고 간결하게 하기 위해, 이하의 설명에서는 공지된 기능 및 구조에 대한 설명을 생략하도록 한다.
제 1 실시예
도 1은 본 출원의 제 1 실시예에서 제공한 이모티콘 패키지 생성 방법의 흐름도이다. 본 실시예는 이모티콘 패키지를 자동으로 생성하는 경우에 적용될 수 있다. 해당 방법은 이모티콘 패키지 생성 장치에 의해 수행될 수 있다. 해당 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있다. 도 1을 참조하면, 본 출원의 실시예에서 제공한 이모티콘 패키지 생성 방법은 아래의 단계를 포함한다.
단계(S110): 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정한다.
여기서, 이모티콘 그림은 이모티콘 패키지 중의 이모티콘 이미지이고, 해당 이모티콘 이미지는 정적 이미지일 수 있고, 동적 이미지일 수도 있다.
구체적으로, 이모티콘 그림의 관련 텍스트는 이모티콘 그림의 라벨일 수 있다. 구체적으로 이모티콘 그림의 관련 텍스트는 이모티콘 그림의 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나의 정보를 포함한다.
주요부분 정보는 레이지 코믹 정보(Rage comic information), 귀여운 펫 정보, 귀여운 아이 정보, 영화 예능 정보, 스타 온라인 셀럽, 오리지널 디자인 정보 및 게임 정보 중의 적어도 하나를 포함한다.
시나리오 정보는 평론 정보, 사무 정보, 축제 이벤트, 채팅 정보, 짤(斗暠) 정보, 연애 정보 및 교육 정보 중의 적어도 하나를 포함한다.
이모션 정보는 포지티브 이모션 정보(positive emotion information), 뉴트럴 이모션 정보(neutral emotion information) 및 네거티브 이모션 정보(negative emotion information) 중의 적어도 하나를 포함한다.
동작 정보는 오락 정보, 일상 행위 정보 및 표달 정보 중의 적어도 하나를 포함한다.
함축 정보는 각종 웃음 포인트 정보를 포함한다.
이모티콘 그림의 유사 이모티콘 패키지는 이모티콘 그림과 유사한 이미 구비되어 있는 이모티콘 그림을 의미한다.
구체적으로, 이모티콘 그림의 관련 텍스트를 확정하는 단계는,
이모티콘 그림의 식별 결과를 이모티콘 그림의 관련 텍스트로 하는 단계를 포함한다.
이모티콘 그림의 식별 결과는 이모션 식별 결과, 주요부분 식별 결과 및 시나리오 식별 결과 등을 포함할 수 있다.
전형적으로, 이모티콘 그림의 관련 텍스트의 차원은 적어도 두 개이다.
구체적으로, 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 단계는,
이모티콘 그림의 관련 텍스트와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트를 매칭하는 단계;
매칭 결과에 따라, 이미 구비되어 있는 이모티콘 패키지로부터 상기 유사 이모티콘 패키지를 확정하는 단계; 를 포함한다.
선택적으로, 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 단계는,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하는 단계;
매칭 결과에 따라, 이미 구비되어 있는 이모티콘 패키지로부터 상기 유사 이모티콘 패키지를 확정하는 단계; 를 포함한다.
여기서, 이미지 정보는 이미지로부터 식별하여 획득한 정보를 의미한다.
유사 이모티콘 패키지에 대한 리콜률을 향상시키기 위하여, 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계는,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 단계;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 해당 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 단계; 를 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이미지 정보 및 관련 텍스트 정보인 두 개의 정보 차원으로부터 유사 이모티콘 패키지를 확정함으로써, 유사 이모티콘 패키지에 대한 리콜률을 향상시키며, 나아가 유사 이모티콘 패키지의 관련 텍스트에 기반하여, 이모티콘 그림의 후보 매칭 텍스트에 대한 리콜률을 향상시킨다.
유사 이모티콘 패키지의 정확도를 향상시키기 위하여, 이미지 정보는 이모티콘 패키지 유형 정보 및 물체 유형 정보를 포함한다.
여기서, 이모티콘 패키지 유형 정보는 이모티콘 패키지 유형 특징을 식별(identify)하는 정보를 의미하며, 구체적으로 이모티콘 패키지의 라벨 시스템 중의 정보일 수 있다.
물체 유형 정보는 물체 유형 특징을 식별하는 정보를 의미하며, 구체적으로 ImageNet의 라벨 시스템 중의 정보일 수 있다.
단계(S120): 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정한다.
여기서, 타겟 매칭 텍스트는 곧 이모티콘 그림에 중첩되어 이모티콘 패키지를 생성하는 텍스트이다.
구체적으로, 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계는,
단어의 사용 빈도수, 단어 길이 및 단어 의미 중의 적어도 하나에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계를 포함하되, 상기 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트를 포함한다.
여기서, 단어의 사용 빈도수는 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트에서 단어가 나타나는 빈도를 의미한다.
구체적으로, 단어 의미에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 상기 단계는,
후보 매칭 텍스트의 단어 의미에 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는 것을 확정하는 단계;
상기 단어 정보에 따라, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계; 를 포함한다.
구체적으로, 단어 길이에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 상기 단계는,
후보 매칭 텍스트의 단어 길이가 설정된 길이 범위에 속하면, 상기 후보 매칭 텍스트를 타겟 매칭 텍스트로 확정하는 단계를 포함한다.
구체적으로, 단어의 사용 빈도수, 단어 길이 및 단어 의미에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계는,
단어의 사용 빈도수, 단어 길이 및 단어 의미에 기반하여, 후보 매칭 텍스트를 각각 스코링(scoring)하는 단계;
각 스코링 결과에 대해 가중치 합산을 진행하여, 합산 결과에 따라 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계를 포함한다.
단계(S130): 상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성한다.
구체적으로, 상기 타겟 매칭 텍스트의 중첩 위치를 확정하는 단계는,
이모티콘 그림 중의 배경 영역을 검출하는 단계;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 단계;
상기 최대 내접 그래픽 영역을 상기 타겟 매칭 텍스트의 중첩 위치로 하는 단계; 를 포함한다.
본 출원의 실시예의 기술방안은, 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하고, 이모티콘 그림의 관련 텍스트 및/또는 유사 이모티콘 패키지의 관련 텍스트를 후보 매칭 텍스트로 하여, 후보 매칭 텍스트를 자동으로 확정한다.
후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하며, 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함하고, 유사 이모티콘 패키지와 이모티콘 그림은 유사한 특징을 갖기 때문에, 확정된 후보 매칭 텍스트에는 이모티콘 그림의 콘텐츠 정보가 기술되어 있다. 따라서, 미리 설정된 텍스트로부터 타겟 매칭 텍스트를 확정하는 경우에 비해, 본 출원의 실시예에서 확정한 타겟 매칭 텍스트는 보다 정확하게 이모티콘 그림을 기술할 수 있기에, 타겟 매칭 텍스트의 정확도를 향상시킨다. 마지막으로, 정확하게 확정된 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 이모티콘 패키지를 자동으로 정확하게 생성한다.
나아가, 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계 이전에, 상기 방법은,
비디오로부터 타겟 대상의 타겟 부위를 포함하는 비디오 이미지를 추출하는 단계;
추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하는 단계;
식별 결과에 따라, 상기 비디오 이미지로부터 이모티콘 그림을 확정하는 단계; 를 더 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하고; 식별 결과에 따라, 비디오 이미지로부터 이모티콘 그림을 확정함으로써, 이모티콘 그림을 정확하게 확정한다.
선택적으로, 비디오 이미지의 기타 차원의 식별 결과에 따라, 또는 상기 식별 결과의 기초상에서, 기타 차원의 식별 결과를 결합하여, 비디오 이미지로부터 이모티콘 그림을 확정함으로써, 이모티콘 그림의 확정 정확도를 향상시킬 수도 있다.
제 2 실시예
도 2는 본 출원의 제 2 실시예에서 제공하는 이모티콘 패키지 생성 방법의 흐름도이다. 본 실시예는 상기 실시예의 기초상에서 제출한 선택 가능한 방안이다. 도 2를 참조하면, 본 출원의 실시예에서 제공한 이모티콘 패키지 생성 방법은 아래의 단계를 포함한다.
단계(S210): 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정한다.
구체적으로, 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
상기 유사 이모티콘 패키지의 관련 텍스트를 이모티콘 그림의 관련 텍스트로 하는 단계를 포함한다.
이모티콘 그림의 관련 텍스트의 정확도를 더 향상시키기 위하여, 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
단어의 사용 빈도수에 기반하여, 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하는 단계;
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 단계; 를 포함한다.
여기서, 단어의 사용 빈도수는 유사 이모티콘 패키지의 관련 텍스트에서 단어가 나타나는 빈도이다.
이모티콘 그림의 관련 텍스트의 텍스트 콘텐츠를 더 풍부하게 하기 위하여, 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
이모티콘 그림의 식별 결과와 상기 타겟 텍스트를 매칭하는 단계;
매칭 결과에 따라, 중복 텍스트를 확정하는 단계;
이모티콘 그림의 식별 결과 및 상기 타겟 텍스트로부터 상기 중복 텍스트를 필터링하여, 이모티콘 그림의 관련 텍스트를 획득하는 단계; 를 포함한다.
이모티콘 그림의 관련 텍스트의 텍스트 차원을 더 풍부하게 하기 위하여, 상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
상기 이모티콘 그림의 식별 결과가 이모션 정보 및 주요부분 정보를 포함하는 것을 포함한다.
해당 기술 특징에 기반하면, 본 출원의 실시예는 이모티콘 그림의 식별 결과 및 타겟 텍스트를 융합하고, 융합한 후의 텍스트를 이모티콘 그림의 관련 텍스트로 함으로써, 관련 텍스트의 텍스트 콘텐츠를 풍부하게 한다.
이모티콘 그림의 식별 결과가 이모션 정보 및 주요부분 정보를 포함하기 때문에, 이모티콘 그림의 식별 결과에 기반하여 확정한 관련 텍스트는 적어도 두 개의 차원의 정보를 포함하게 되므로, 관련 텍스트의 텍스트 차원을 풍부하게 한다. 따라서, 본 출원의 실시예의 확정 방식에 기반하면, 확정된 이모티콘 그림의 관련 텍스트가 보다 풍부해진다.
단계(S220): 이모티콘 그림의 관련 텍스트로부터 타겟 매칭 텍스트를 확정한다.
단계(S230): 상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성한다.
본 출원의 실시예의 기술방안은 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정함으로써, 이모티콘 그림 관련 텍스트의 확정 차원을 풍부하게 한다.
제 3 실시예
본 실시예는 상기 실시예의 기초상에서 관련 텍스트가 라벨인 경우를 예로 들어 제출한 선택 가능한 방안이다. 본 출원의 실시예에서 제공한 이모티콘 패키지 생성 방법은,
비디오 자원으로부터 비디오 이미지를 추출하는 단계;
비디오 이미지에 대하여 얼굴 검출을 수행하고, 검출 결과에 따라, 비디오 이미지로부터 얼굴을 포함하는 비디오 이미지를 선별하는 단계;
얼굴을 포함하는 비디오 이미지로부터 얼굴 이미지를 추출하는 단계;
얼굴 이미지에 대하여 이모션 식별, 스피킹 여부 식별 및 과한 동작 존재 여부 식별을 수행하는 단계;
식별 결과에 따라 얼굴 이미지로부터 요구에 부합되는 얼굴 이미지를 선별하는 단계;
요구에 부합되는 얼굴 이미지에 대하여 비디오 트래킹(video tracking)을 수행하여, 동일한 사람에 속하는 얼굴 이미지 시퀀스를 확정하는 단계;
확정한 얼굴 이미지 시퀀스에 따라, 정적 또는 동적의 이모티콘 그림을 확정하는 단계;
이모티콘 그림의 표정 정보 및 물체 정보에 따라, 이미 구비되어 있는 이모티콘 패키지로부터 제 1 유사 이모티콘 패키지를 확정하는 단계;
제 1 유사 이모티콘 패키지의 관련 텍스트 및 이모티콘 그림에 포함되는 스타 정보, 이모션 정보 및 귀여운 펫 정보에 따라, 이모티콘 그림의 적어도 하나의 차원의 라벨을 확정하는 단계;
이모티콘 그림의 라벨에 기반하여, 이미 구비되어 있는 이모티콘 패키지로부터 제 2 유사 이모티콘 패키지를 확정하는 단계;
단어의 출현빈도, 단어 길이 및 단어 의미에 기반하여, 이모티콘 그림의 라벨, 제 1 유사 이모티콘 패키지의 관련 텍스트 및 제 2 유사 이모티콘 패키지의 관련 텍스트로부터, 이모티콘 그림의 타겟 매칭 텍스트를 확정하는 단계;
타겟 매칭 텍스트 중의 폰트(font)의 크기, 폰트 색상, 폰트 스타일, 폰트 움직임 효과 및 중첩 위치를 확정하는 단계;
확정한 타겟 매칭 텍스트 중의 폰트의 크기, 폰트 색상, 폰트 스타일 및 폰트 움직임 효과에 따라, 타겟 매칭 텍스트를 타겟 이모티콘 그림 중의 상기 중첩 위치에 중첩하여, 새로운 이모티콘 패키지를 생성하는 단계; 를 포함한다.
구체적으로, 중첩 위치를 확정하는 단계는,
이모티콘 그림 중의 배경 영역을 검출하는 단계;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 단계;
확정한 최대 내접 그래픽 영역이 설정된 요구를 만족하면, 해당 영역을 중첩 위치로 하는 단계;
확정한 최대 내접 그래픽 영역이 요구를 만족하지 않으면, 이모티콘 그림의 최하단 영역을 중첩 위치로 하는 단계; 를 포함한다.
구체적으로, 타겟 매칭 텍스트의 폰트 크기를 확정하는 단계는,
타겟 매칭 텍스트를 문자 단위로 분할하여, 문자 개수를 획득하는 단계;
문자 개수, 픽쳐 크기 및 텍스트의 중첩 위치에 따라, 텍스트의 폰트 크기를 확정하는 단계; 를 포함한다.
구체적으로, 타겟 매칭 텍스트의 중첩 위치를 확정하는 단계는,
이모티콘 그림의 콘텐츠 정보에 따라, 중첩 위치를 확정하는 단계를 포함한다. 텍스트의 중첩 위치는 픽쳐 실제 상황에 따라 변화된다.
중첩 원칙은 아래와 같다. 중첩된 텍스트는 주요부분을 가리지 않고, 중간에 위치하며, 픽쳐 변두리와의 사이에는 공극이 존재하며; 중요한 주요부분을 가리지 않는 원칙에 따라, 텍스트를 적당하게 좌우로 이동시킬 수 있다.
전형적으로, 정적 이미지의 경우, 클러스터링 알고리즘(clustering algorithm)을 사용하고, 전경과 배경을 검출하며, 침식, 팽창 등 모폴로지 이미지 처리방법을 사용하여, 이상점을 제거한다. 배경 영역에서, 중첩 위치로서 최대 내접 직사각형을 선택하고, 찾은 위치 영역이 매우 작거나 존재하지 않으면, 중첩 위치로서 픽쳐 최하단 영역을 사용한다.
동적 이미지의 경우, 앞뒤 배경의 검출 및 이상점 처리는 정적 이미지와 일치하고, 이러한 기초상에서, 멀티프레임 전경융합 책략을 증가하며, 즉 동적 이미지의 멀티프레임 픽쳐에 의해 선택되는 부착 영역의 교집합을 최종 동적 이미지 부착 영역으로 함으로써, 부착 영역 선택 신뢰성을 향상시킨다.
구체적으로, 폰트 색상 및 폰트 유형을 확정하는 단계는,
이모티콘 그림 중의 엣지 정보, 색상 정보 및 각도 정보 중의 적어도 하나에 기반하여, 폰트 색상 및 폰트 유형을 확정하는 것을 포함한다.
구체적으로, 이모티콘 그림 중의 엣지 정보, 색상 정보 및 각도 정보 중의 적어도 하나에 기반하여, 폰트 색상 및 폰트 유형을 확정하는 것은,
이모티콘 그림이 흑백 이미지이면, 폰트 유형은 FZLanTingHeiS-R-GB, FZDaHei-B02S에서 무작위로 확정되고, 폰트 색상을 블랙 또는 화이트(픽쳐가 연한 색상의 배경이면 검은 글자를 선택하고, 픽쳐가 진한 색상의 배경이면 흰 글자를 선택함)로 확정하는 것;
이모티콘 그림이 채색 정적 이미지이면, 폰트 유형은 FZMingShiTiS, FZBiaoZhiS-R-GB, FZDuHeiS, FZPangWa-M18S, FZHuPo-M04S, FZDaHei-B02S, FZCuYuan-M03S에서 무작위로 선택하여 확정되고, 폰트 색상은 검은 글자 화이트 엣지 또는 흰 글자 블랙 엣지 폰트에서 무작위로 선택하는 것;
이모티콘 그림이 채색 동적 이미지이면, 폰트 유형은 FZMingShiTiS,, FZBiaoZhiS-R-GB, FZDuHeiS, FZPangWa-M18S, FZHuPo-M04S, FZDaHei-B02S, FZCuYuan-M03S에서 무자위로 선택하여 사용함으로써 확정되고, 폰트 색상은, 픽쳐 배경이 연한 색상의 배경이면, 문자는 채색 블랙 엣지이고, 폰트 색상은 채색(블랙, 화이트, 옐로우, 핑크, 블루, 오렌지, 시안(cyan), 그린)이며, 선택한 색상은 픽쳐의 주요 색상과의 콘트라스트가 비교적 크지 않도록 하여, 폰트가 쉽게 강조되고; 픽쳐 배경이 진한 색상의 배경이면, 문자는 채색 화이트 엣지이고, 폰트 색상은 채색(블랙, 화이트, 옐로우, 핑크, 블루, 오렌지, 시안, 그린)이며, 선택한 색상은 픽쳐의 주요 색상과의 콘트라스트가 비교적 크지 않도록 하여, 폰트가 쉽게 강조되는 것; 을 포함한다.
선택적으로, 폰트 스타일을 확정한 후, 무작위로 배합하여 동적 효과를 디스플레이할 수도 있으며, 동적 효과는 폰트 정적 부착, 폰트 롤링 캐로셀(font rolling carousel) 및 폰트 순차적 디스플레이 등을 포함한다.
본 실시예는 아래와 같은 기술적 효과를 가질 수 있다.
인력 투입 감소: 완전 자동화를 통해 이모티콘 그림 자원을 생산하기 때문에, 생산 인력을 방출하여, 생산 비용을 제어할 수 있고;
생산 효율 향상: 기계는 비디오 소스 콘텐츠가 제공된 제 1 시간에서, 순식간에 대규모 수량급의 이모티콘 그림 자원을 생산할 수 있어, 이모티콘 그림의 생산 효율 및 실효성을 대폭 향상시키며;
생산 시효성 향상: 기계로 언제든지 웨이크업 및 생산할 수 있도록 제작되어, 돌발 콘텐츠를 보다 신속하게 처리하기 때문에, 기계의 고효율 생산 능력을 결합하여, 핫한 콘텐츠를 신속하게 처리하므로, 상응하는 이모티콘 그림 자원을 생성하여 사용자가 사용하도록 한다.
우수한 품질 효과: 이모티콘 그림을 정확하게 추출하고 타겟 매칭 텍스트를 정확하게 확정함으로써, 최종적으로 나타나는 이모티콘 패키지는 가짜로 진짜(以假亂眞)의 효과를 나타내므로, 인간 생산과 기계 생산의 차이점을 구분하기 어렵도록 한다.
제 4 실시예
도 3은 본 출원의 제 4 실시예에서 제공한 이모티콘 패키지 생성 장치의 구조 개략도이다. 도 3을 참조하면, 본 출원의 실시예에서 제공한 이모티콘 패키지 생성 장치(300)는, 관련 텍스트 확정 모듈(301), 매칭 텍스트 확정 모듈(302) 및 이모티콘 패키지 생성 모듈(303)을 포함한다.
여기서, 관련 텍스트 확정 모듈(301)은, 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하되, 상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함하고;
매칭 텍스트 확정 모듈(302)은, 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하며;
이모티콘 패키지 생성 모듈(303)은, 상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성한다.
본 출원의 실시예는 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하고, 이모티콘 그림의 관련 텍스트 및/또는 유사 이모티콘 패키지의 관련 텍스트를 후보 매칭 텍스트로 하여, 후보 매칭 텍스트를 자동으로 확정한다.
후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하며, 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함하고, 유사 이모티콘 패키지와 이모티콘 그림은 유사한 특징을 갖기 때문에, 확정된 후보 매칭 텍스트에는 이모티콘 그림의 콘텐츠 정보가 기술되어 있다. 따라서, 미리 설정된 텍스트로부터 타겟 매칭 텍스트를 확정하는 경우에 비해, 본 출원의 실시예에서 확정한 타겟 매칭 텍스트는 보다 정확하게 이모티콘 그림을 기술할 수 있기에, 타겟 매칭 텍스트의 정확도를 향상시킨다. 마지막으로, 정확하게 확정된 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 이모티콘 패키지를 자동으로 정확하게 생성한다.
제 1 실시예에서, 상기 관련 텍스트 확정 모듈은,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 관련 텍스트 확정 유닛을 포함한다.
제 1 실시예에서, 상기 관련 텍스트 확정 유닛은 구체적으로,
단어의 사용 빈도수에 기반하여, 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하고;
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정한다.
제 1 실시예에서, 상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 것은,
이모티콘 그림의 식별 결과와 상기 타겟 텍스트를 매칭하는 것;
매칭 결과에 따라, 중복 텍스트를 확정하는 것;
이모티콘 그림의 식별 결과 및 상기 타겟 텍스트로부터 상기 중복 텍스트를 필터링하여, 이모티콘 그림의 관련 텍스트를 획득하는 것-상기 이모티콘 그림의 식별 결과는 이모션 정보 및 주요부분 정보를 포함함-; 을 포함한다.
제 1 실시예에서, 상기 관련 텍스트 확정 모듈은,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 이모티콘 그림 매칭 유닛;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 해당 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 이모티콘 패키지 선별 유닛; 을 포함한다.
제 1 실시예에서, 상기 이미지 정보는 이모티콘 패키지 유형 정보 및 물체 유형 정보를 포함한다.
제 1 실시예에서, 상기 매칭 텍스트 확정 모듈은,
단어의 사용 빈도수, 단어 길이 및 단어 의미 중의 적어도 하나에 기반하여, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정하는 매칭 텍스트 확정 유닛-상기 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트를 포함함-; 을 포함한다.
제 1 실시예에서, 상기 매칭 텍스트 확정 유닛은 구체적으로,
후보 매칭 텍스트의 단어 길이가 설정된 길이 범위에 속하면, 상기 후보 매칭 텍스트를 타겟 매칭 텍스트로 확정한다.
제 1 실시예에서, 상기 매칭 텍스트 확정 유닛은 구체적으로,
후보 매칭 텍스트의 단어 의미에 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는 것을 확정하고;
상기 단어 정보에 따라, 후보 매칭 텍스트로부터 타겟 매칭 텍스트를 확정한다.
제 1 실시예에서, 상기 장치는,
이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하기 이전에, 비디오로부터 타겟 대상의 타겟 부위를 포함하는 비디오 이미지를 추출하는 비디오 이미지 추출 모듈;
추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하는 이미지 식별 모듈;
식별 결과에 따라, 상기 비디오 이미지로부터 이모티콘 그림을 확정하는 이모티콘 확정 모듈; 을 더 포함한다.
제 1 실시예에서, 상기 장치는,
이모티콘 그림 중의 배경 영역을 검출하는 배경 검출 모듈;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 영역 확정 모듈;
상기 최대 내접 그래픽 영역을 상기 타겟 매칭 텍스트의 중첩 위치로 하는 위치 확정 모듈; 을 더 포함한다.
제 5 실시예
본 출원의 실시예에 따라, 본 출원은 전자 설비 및 판독 가능한 저장매체를 더 제공한다.
도 4에 도시된 바와 같이, 도 4는 본 출원의 실시예의 이모티콘 패키지 생성 방법에 따른 전자 설비의 블록도이다. 전자 설비는 각종 형태의 디지털 컴퓨터, 예를 들어, 랩탑 컴퓨터, 데스크톱 컴퓨터, 워크테이블, 개인용 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터를 의미한다. 전자 설비는 각종 형태의 모바일 장치, 예를 들어, 개인 디지털 처리, 휴대 전화기, 스마트폰, 웨어러블 설비 및 기타 유사한 컴퓨팅 장치를 나타낼 수도 있다. 본 문에서 설명된 컨포넌트, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐, 본 문에서 기술 및/또는 요구한 본 출원의 구현을 한정하지 않는다.
도 4에 도시된 바와 같이, 해당 전자 설비는 하나 또는 복수 개의 프로세서(401), 메모리(402) 및 각 컨포넌트를 연결하기 위한 인터페이스를 포함하되, 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 컨포넌트는 서로 다른 버스를 이용하여 서로 연결되고, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자 설비 내에서 실행되는 명령을 처리할 수 있고, 메모리에 저장되거나 또는 외부 입력/출력장치(예를 들어, 인터페이스에 연결되는 표시설비)에서 GUI의 그래픽 정보를 표시하는 메모리 상의 명령을 포함한다. 기타 실시형태에서, 필요한 경우, 복수 개의 프로세서 및/또는 복수 개의 버스와 복수 개의 메모리 및 복수 개의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수 개의 전자 설비를 연결할 수 있고, 각각의 설비는 일부 필요한 조작(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템)을 제공한다. 도 4에서는 하나의 프로세서(401)를 예로 든다.
메모리(402)는 본 출원에서 제공한 비 일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에서 제공한 이모티콘 패키지 생성 방법을 수행하도록 한다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장매체에는 컴퓨터 명령이 저장되고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에서 제공한 이모티콘 패키지 생성 방법을 수행하도록 한다.
메모리(402)는 비 일시적 컴퓨터 판독 가능 저장매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 수행 가능한 프로그램 및 모듈, 예를 들어, 본 출원의 실시예의 이모티콘 패키지 생성 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 3에 도시된 바와 같은 관련 텍스트 확정 모듈(301), 매칭 텍스트 확정 모듈(302) 및 이모티콘 패키지 생성 모듈(303))을 저장할 수 있다. 프로세서(401)는 메모리(402) 내에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법 실시예의 이모티콘 패키지 생성 방법을 구현하게 된다.
메모리(402)는 프로그램 저장영역 및 데이터 저장영역을 포함할 수 있고, 여기서, 프로그램 저장영역은 조작 시스템, 적어도 하나의 기능에 수요되는 응용 프로그램을 저장할 수 있고; 데이터 저장영역은 이모티콘 패키지 생성 전자 설비를 사용함에 따라 생성된 데이터 등을 저장할 수 있다. 이외, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리, 예를 들어 적어도 하나의 자기디스크 메모리소자, 플래쉬 메모리 소자 또는 기타 비 일시적 솔리드 스테이트 메모리 소자를 포함할 수도 있다. 일부 실시예에서, 메모리(402)는 프로세서(401)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있는데, 이러한 원격 메모리는 네트워크를 통해 이모티콘 패키지 생성 전자 설비에 연결될 수 있다. 상기 네트워크의 예시는 인터넷, 인트라넷, 블록체인 네트워크, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
이모티콘 패키지 생성 방법의 전자 설비는 입력장치(403) 및 출력장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력장치(403) 및 출력장치(404)는 버스 또는 기타 방식을 통해 연결될 수 있고, 도 4에서는 버스를 통해 연결된 경우를 예로 든다.
입력장치(403)는 입력한 숫자 또는 문자 정보를 수신할 수 있고, 이모티콘 패키지 생성 전자 설비의 사용자 설정 및 기능 제어와 관련된 키신호 입력을 생성하며, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수 개의 마우스 버튼, 트랙볼, 조이스틱 등 입력장치이다. 출력장치(404)는 표시설비, 보조 조명장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 해당 표시설비는 액정표시장치(LCD), 발광다이오드(LED) 표시장치 및 플라즈마 표시장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시예에서, 표시설비는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 각종 실시형태는 디지털전자 회로시스템, 집적회로시스템, 전용 ASIC(전용 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이러한 각종 실시형태는 하나 또는 복수 개의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 또는 복수 개의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템에서 실행 및/또는 해석(interpretating)될 수 있으며, 해당 프로그래밍 가능한 프로세서는 전용 또는 범용 프로그래밍 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 칭함)은 프로그래밍 가능한 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 대상 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시한다. 본문에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 설비 및/또는 장치(예를 들어, 자기디스크, 광디스크, 메모리, 프로그래밍 가능한 로직장치(PLD))를 의미하며, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능한 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하는 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(음극선관) 또는 LCD(액정표시장치)모니터), 키보드 및 방향지시 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 해당 키보드 및 해당 방향지시 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치는 사용자와의 인터랙션을 제공할 수도 있으며; 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있으며; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)로 사용자로부터의 입력을 수신한다.
여기서 설명된 시스템 및 기술은 백엔드 컨포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컨포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트엔드 컨포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙팅함), 또는 이러한 백엔드 컨포넌트, 미들웨어 컨포넌트, 또는 프런트엔드 컨포넌트를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)으로 시스템의 컨포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광역 네트워크(WAN), 인터넷 및 블록체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 떨어져 있으며 통상적으로 통신 네트워크를 통해 인터랙팅한다. 클라이언트와 서버의 관계는 상응하는 컴퓨터에서 작동되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생된다.
상술한 각종 형태의 프로세스를 사용하여, 단계의 순서재배정, 추가 또는 삭제를 수행할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬로 수행될 수 있거나 순차적으로 수행될 수도 있거나 서로 다른 순서로 수행될 수도 있으며, 본 출원에서 개시한 기술방안이 희망하는 결과를 달성하기만 하면 되기 때문에, 본문에서는 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본 출원의 보호범위를 한정하지 않는다. 본 분야의 당업자는 설계 요구 및 기타 요소에 따라 다양한 수정 조합 부분 조합 및 대체가 가능함을 이해할 수 있을 것이다. 본 출원의 사상 및 원칙 내에서 이루어진 수정, 등가적 대체 및 개선 등은 모두 본 출원의 보호범위 내에 포함되어야 한다.
Claims (18)
- 이모티콘 패키지 생성 장치에 의해 수행되는 이모티콘 패키지 생성 방법에 있어서,
이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 단계-상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함함-;
이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 단계;
상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성하는 단계; 를 포함하고,
이모티콘 그림의 관련 텍스트 또는 상기 유사 이모티콘 패키지의 관련 텍스트로 중 적어도 하나로부터 상기 타겟 매칭 텍스트를 확정하는 상기 단계는,
단어의 사용 빈도수, 단어 길이가 설정된 길이 범위에 속하는지, 단어 의미가 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는지의 여부 각각에 기반하여 각각의 후보 매칭 텍스트를 스코링하여 상기 단어의 사용 빈도수, 상기 단어 길이 및 상기 단어 의미에 대한 각각의 스코링 결과를 확득하는 단계; 그리고,
상기 획득한 각각의 스코링 결과에 대해 가중치 합산을 진행하여, 상기 가중치 합산 결과에 따라 상기 후보 매칭 텍스트들로부터 상기 타겟 매칭 텍스트를 확정하는 단계;
상기 각각의 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 또는 이모티콘 그림의 유사 이모티콘 패키지 중 적어도 어느 하나를 포함하는 이모티콘 패키지 생성 방법. - 제 1 항에 있어서,
이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 단계를 포함하는 이모티콘 패키지 생성 방법. - 제 2 항에 있어서,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 상기 단계는,
단어의 사용 빈도수에 기반하여, 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 텍스트를 확정하는 단계;
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 단계; 를 포함하는 이모티콘 패키지 생성 방법. - 제 3 항에 있어서,
상기 타겟 텍스트로부터 이모티콘 그림의 관련 텍스트를 확정하는 단계는,
이모티콘 그림의 식별 결과와 상기 타겟 텍스트를 매칭하는 단계;
매칭 결과에 따라, 중복 텍스트를 확정하는 단계;
이모티콘 그림의 식별 결과 및 상기 타겟 텍스트로부터 상기 중복 텍스트를 필터링하여, 이모티콘 그림의 관련 텍스트를 획득하는 단계-상기 이모티콘 그림의 식별 결과는 이모션 정보 및 주요부분 정보를 포함함-; 를 포함하는 이모티콘 패키지 생성 방법. - 제 1 항에 있어서,
이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계는,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 단계;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 해당 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 단계; 를 포함하는 이모티콘 패키지 생성 방법. - 제 5 항에 있어서,
상기 이미지 정보는 이모티콘 패키지 유형 정보 및 물체 유형 정보를 포함하는 이모티콘 패키지 생성 방법. - 제 1 항에 있어서,
이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 상기 단계 이전에,
비디오로부터 타겟 대상의 타겟 부위를 포함하는 비디오 이미지를 추출하는 단계;
추출한 비디오 이미지에 대한 스피킹 및/또는 동작 수행 진폭을 식별하는 단계;
식별 결과에 따라, 상기 비디오 이미지로부터 이모티콘 그림을 확정하는 단계; 를 더 포함하는 이모티콘 패키지 생성 방법. - 제 1 항에 있어서,
상기 타겟 매칭 텍스트의 중첩 위치를 확정하는 단계는,
이모티콘 그림 중의 배경 영역을 검출하는 단계;
배경 영역 중의 최대 내접 그래픽 영역을 확정하는 단계;
상기 최대 내접 그래픽 영역을 상기 타겟 매칭 텍스트의 중첩 위치로 하는 단계; 를 포함하는 이모티콘 패키지 생성 방법. - 이모티콘 그림의 관련 텍스트 및/또는 이모티콘 그림의 유사 이모티콘 패키지를 확정하는 관련 텍스트 확정 모듈-상기 이모티콘 그림의 관련 텍스트는 주요부분 정보, 시나리오 정보, 이모션 정보, 동작 정보 및 함축 정보 중의 적어도 하나를 포함함-;
이모티콘 그림의 관련 텍스트 및/또는 상기 유사 이모티콘 패키지의 관련 텍스트로부터 타겟 매칭 텍스트를 확정하는 매칭 텍스트 확정 모듈;
상기 타겟 매칭 텍스트를 이모티콘 그림에 중첩하여, 새로운 이모티콘 패키지를 생성하는 이모티콘 패키지 생성 모듈; 을 포함하고,
상기 매칭 텍스트 확정 모듈은,
단어의 사용 빈도수, 단어 길이가 설정된 길이 범위에 속하는지, 단어 의미가 이모션 단어, 핫 단어 및 엔티티 단어 중 적어도 하나의 단어 정보가 포함되는지의 여부 각각에 기반하여 각각의 후보 매칭 텍스트를 스코링하여 상기 단어의 사용 빈도수, 상기 단어 길이 및 상기 단어 의미에 대한 각각의 스코링 결과를 획득하는 매칭 텍스트 확정 유닛; 그리고,
상기 획득한 각각의 후보 매칭 텍스트의 스코링 결과에 대해 가중치 합산을 진행하고, 상기 가중치 합산 결과에 따라 상기 후보 매칭 텍스트들로부터 상기 타겟 매칭 텍스트를 확정하고,
상기 각각의 후보 매칭 텍스트는 이모티콘 그림의 관련 텍스트 또는 이모티콘 그림의 유사 이모티콘 패키지 중 적어도 어느 하나를 포함하는 이모티콘 패키지 생성 장치. - 제 9 항에 있어서,
상기 관련 텍스트 확정 모듈은,
상기 유사 이모티콘 패키지의 관련 텍스트에 따라, 이모티콘 그림의 관련 텍스트를 확정하는 관련 텍스트 확정 유닛을 포함하는 이모티콘 패키지 생성 장치. - 제 9 항에 있어서,
상기 관련 텍스트 확정 모듈은,
이모티콘 그림의 이미지 정보와 이미 구비되어 있는 이모티콘 패키지의 이미지 정보를 매칭하고, 및/또는, 이모티콘 그림의 관련 텍스트 정보와 이미 구비되어 있는 이모티콘 패키지의 관련 텍스트 정보를 매칭하는 이모티콘 매칭 유닛;
이미지 매칭도 또는 텍스트 매칭도가 설정된 조건을 만족하면, 상기 이미 구비되어 있는 이모티콘 패키지를 상기 유사 이모티콘 패키지로 하는 이모티콘 패키지 선별 유닛; 을 포함하는 이모티콘 패키지 생성 장치. - 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신적으로 연결되는 메모리; 를 포함하되, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제 1 항 내지 제 8 항 중의 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자 설비. - 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 제 1 항 내지 제 8 항 중의 어느 한 항에 따른 방법을 수행하도록 하는 비 일시적 컴퓨터 판독 가능 저장매체.
- 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 컴퓨터 명령이 프로세서에 의해 실행될 경우, 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램. - 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128305.6A CN111353064B (zh) | 2020-02-28 | 2020-02-28 | 表情包生成方法、装置、设备和介质 |
| CN202010128305.6 | 2020-02-28 | ||
| PCT/CN2020/100034 WO2021169134A1 (zh) | 2020-02-28 | 2020-07-03 | 表情包生成方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210042406A KR20210042406A (ko) | 2021-04-19 |
| KR102598496B1 true KR102598496B1 (ko) | 2023-11-03 |
Family
ID=75723121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009336A KR102598496B1 (ko) | 2020-02-28 | 2020-07-03 | 이모티콘 패키지 생성 방법, 장치, 설비 및 매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11521340B2 (ko) |
| JP (1) | JP7212770B2 (ko) |
| KR (1) | KR102598496B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11775583B2 (en) * | 2020-04-15 | 2023-10-03 | Rovi Guides, Inc. | Systems and methods for processing emojis in a search and recommendation environment |
| KR102567051B1 (ko) * | 2021-04-21 | 2023-08-14 | 주식회사 카카오 | 단말의 동작 방법 및 단말 |
| US11797153B1 (en) * | 2022-08-08 | 2023-10-24 | Sony Group Corporation | Text-enhanced emoji icons |
| CN115223022B (zh) * | 2022-09-15 | 2022-12-09 | 平安银行股份有限公司 | 一种图像处理方法、装置、存储介质及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192008A (ja) | 2010-03-15 | 2011-09-29 | Zeta Bridge Corp | 画像処理システムおよび画像処理方法 |
| US20170154210A1 (en) | 2014-07-02 | 2017-06-01 | Huawei Technologies Co., Ltd. | Information transmission method and transmission apparatus |
| CN106844659A (zh) | 2017-01-23 | 2017-06-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种多媒体数据处理方法和装置 |
| CN107369196A (zh) | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| JP2019504413A (ja) | 2015-12-29 | 2019-02-14 | エム・ゼット・アイ・ピィ・ホールディングス・リミテッド・ライアビリティ・カンパニーＭｚ Ｉｐ Ｈｏｌｄｉｎｇｓ， Ｌｌｃ | 絵文字を提案するためのシステムおよび方法 |
| US20190156826A1 (en) | 2017-11-18 | 2019-05-23 | Cogi, Inc. | Interactive representation of content for relevance detection and review |
| CN110706312A (zh) | 2019-09-20 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种表情包的文案确定方法、装置及电子设备 |
| US20200051341A1 (en) | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Apparatus and method for providing item according to attribute of avatar |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004023225A (ja) * | 2002-06-13 | 2004-01-22 | Oki Electric Ind Co Ltd | 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法 |
| WO2014068573A1 (en) * | 2012-10-31 | 2014-05-08 | Aniways Advertising Solutions Ltd. | Custom emoticon generation |
| US9436891B2 (en) | 2013-07-30 | 2016-09-06 | GlobalFoundries, Inc. | Discriminating synonymous expressions using images |
| KR102108129B1 (ko) * | 2013-09-25 | 2020-05-07 | 에스케이텔레콤 주식회사 | 텍스트 이모티콘 의미 해석 장치, 이를 위한 기록매체 |
| US11589193B2 (en) * | 2015-06-22 | 2023-02-21 | You Map Inc. | Creating and utilizing services associated with maps |
| CN109671137B (zh) | 2018-10-26 | 2023-05-23 | 广东智媒云图科技股份有限公司 | 一种图片配文字的方法、电子设备及存储介质 |
| CN110719525A (zh) | 2019-08-28 | 2020-01-21 | 咪咕文化科技有限公司 | 弹幕表情包的生成方法、电子设备和可读存储介质 |
| US11562510B2 (en) * | 2019-12-21 | 2023-01-24 | Samsung Electronics Co., Ltd. | Real-time context based emoticon generation system and method thereof |
| CN111353064B (zh) | 2020-02-28 | 2023-06-13 | 北京百度网讯科技有限公司 | 表情包生成方法、装置、设备和介质 |
-
2020
- 2020-07-03 KR KR1020217009336A patent/KR102598496B1/ko active IP Right Grant
- 2020-07-03 JP JP2021516910A patent/JP7212770B2/ja active Active
- 2020-07-03 US US17/280,142 patent/US11521340B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192008A (ja) | 2010-03-15 | 2011-09-29 | Zeta Bridge Corp | 画像処理システムおよび画像処理方法 |
| US20170154210A1 (en) | 2014-07-02 | 2017-06-01 | Huawei Technologies Co., Ltd. | Information transmission method and transmission apparatus |
| JP2019504413A (ja) | 2015-12-29 | 2019-02-14 | エム・ゼット・アイ・ピィ・ホールディングス・リミテッド・ライアビリティ・カンパニーＭｚ Ｉｐ Ｈｏｌｄｉｎｇｓ， Ｌｌｃ | 絵文字を提案するためのシステムおよび方法 |
| CN106844659A (zh) | 2017-01-23 | 2017-06-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种多媒体数据处理方法和装置 |
| CN107369196A (zh) | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| US20190156826A1 (en) | 2017-11-18 | 2019-05-23 | Cogi, Inc. | Interactive representation of content for relevance detection and review |
| US20200051341A1 (en) | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Apparatus and method for providing item according to attribute of avatar |
| CN110706312A (zh) | 2019-09-20 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种表情包的文案确定方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220114776A1 (en) | 2022-04-14 |
| KR20210042406A (ko) | 2021-04-19 |
| JP7212770B2 (ja) | 2023-01-25 |
| US11521340B2 (en) | 2022-12-06 |
| JP2022524669A (ja) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102598496B1 (ko) | 이모티콘 패키지 생성 방법, 장치, 설비 및 매체 | |
| EP3901786A1 (en) | Meme generation method and apparatus, and device and medium | |
| EP3843031A2 (en) | Face super-resolution realization method and apparatus, electronic device and storage medium | |
| US20210365749A1 (en) | Image data processing method and apparatus, electronic device, and storage medium | |
| Costanza et al. | Designable visual markers | |
| US11968427B2 (en) | Video message generation method and apparatus, electronic device, and storage medium | |
| CN105872820A (zh) | 添加视频标签的方法和装置 | |
| CN111309200B (zh) | 一种扩展阅读内容的确定方法、装置、设备及存储介质 | |
| JP7264957B2 (ja) | 音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム | |
| TW201820129A (zh) | 通訊方法及裝置 | |
| US11670029B2 (en) | Method and apparatus for processing character image data | |
| Jiang et al. | ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations | |
| WO2022228433A1 (zh) | 信息处理方法、装置以及电子设备 | |
| CN116978028A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111352685B (zh) | 一种输入法键盘的展示方法、装置、设备及存储介质 | |
| CN112579868B (zh) | 多模态识图搜索方法、装置、设备以及存储介质 | |
| WO2022001441A1 (zh) | 阅读物的分享方法和装置 | |
| CN115017922A (zh) | 图片翻译的方法、装置、电子设备及可读存储介质 | |
| CN111833238B (zh) | 图像的翻译方法和装置、图像翻译模型的训练方法和装置 | |
| US11861149B2 (en) | Interface information processing method and apparatus, storage medium, and device | |
| US20240312090A1 (en) | Interactive method and device | |
| CN117707370A (zh) | 页面交互方法、装置、设备以及存储介质 | |
| CN114401419B (zh) | 基于视频的内容生成方法、装置、电子设备及存储介质 | |
| CN118608659A (zh) | 多模态文本的生成方法、获取方法、装置、设备和介质 | |
| CN113485598A (zh) | 聊天信息显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |