JP7212770B2 - 絵文字パッケージ生成方法、装置、機器および記憶媒体 - Google Patents

絵文字パッケージ生成方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP7212770B2
JP7212770B2 JP2021516910A JP2021516910A JP7212770B2 JP 7212770 B2 JP7212770 B2 JP 7212770B2 JP 2021516910 A JP2021516910 A JP 2021516910A JP 2021516910 A JP2021516910 A JP 2021516910A JP 7212770 B2 JP7212770 B2 JP 7212770B2
Authority
JP
Japan
Prior art keywords
text
image
pictogram
package
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021516910A
Other languages
English (en)
Other versions
JP2022524669A (ja
Inventor
相▲竜▼ 徐
▲剣▼▲鋒▼ 朱
家▲華▼ 崔
静 向
▲紅▼涛 李
▲ちぇん▼ ▲韓▼
▲書▼妃 林
▲瑩▼ ▲蘇▼
世操 李
慧琴 李
小楚 甘
菲 高
佳▲楽▼ ▲楊▼
雪云 麻
国洪 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010128305.6A external-priority patent/CN111353064B/zh
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022524669A publication Critical patent/JP2022524669A/ja
Application granted granted Critical
Publication of JP7212770B2 publication Critical patent/JP7212770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、出願日が2020年2月28日であり、出願番号が202010128305.6である中国特許出願に対して優先権の利益を主張するものであり、該出願の全てのコンテンツを引用により本発明に援用する。
本発明の実施例は、画像処理の分野に関し、特に、インターネット技術に関する。具体的に、本発明の実施例は、絵文字パッケージ生成方法、装置、機器および記憶媒体を提供する。
近年、リアルタイム通信による社交の普及や、ネット上のユーザによるオリジナルコンテンツの持続的増加に伴い、テキスト入力のシナリオでのリッチメディア化傾向がますます顕著になってきている。絵文字パッケージは、特別な画像語句の一種として、入力シナリオで広く使用されている。
現在、インターネットユーザに絵文字リソースを提供する製品は主に絵文字検索であり、つまり、ユーザが手動でテキストを入力すると、システムは関連する絵文字を自動的にマッチングする。
しかしながら、コンテンツ型製品として、絵文字検索の結果は絵文字パッケージリソースに依存し、現在の絵文字リソースパッケージはすべて手動で作成され、作成周期が長く、コストが高い。
本発明の実施例は、絵文字パッケージを正確に自動的に生成できる絵文字パッケージ生成方法、装置、機器および記憶媒体を提供する。
本発明の実施例は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定し、前記絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれていることと、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することと、前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成することと、を含む、絵文字パッケージ生成方法を提供する。
本発明の実施例は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定し、絵文字画像の関連テキスト及び/又は類似絵文字パッケージの関連テキストをマッチングテキスト候補とすることにより、マッチングテキスト候補を自動的に確定する。
絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれ、かつ、類似絵文字パッケージと絵文字画像が類似する特徴を有するため、マッチングテキスト候補から目標マッチングテキストを確定することにより、確定されたマッチングテキスト候補に絵文字画像のコンテンツ情報が含まれている。したがって、プリセットテキストから目標マッチングテキストを確定することに比べて、本発明の実施例において確定された目標マッチングテキストは、絵文字画像をより正確に描写でき、すなわち、目標マッチングテキストの正確率を向上させることができる。最終的に、正確に確定された目標マッチングテキストを絵文字画像に重ね合わせることにより、絵文字パッケージを正確に自動的に生成する。
図面と詳細の説明を読んでよく理解すれば、他の方面も把握できる。
さらに、絵文字画像の関連テキストを確定することは、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することを含む。
上記構成によれば、本発明の実施例は、類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することにより、絵文字画像の関連テキストの確定の次元を豊かにする。
さらに、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、語句の使用頻度に基づき、前記類似絵文字パッケージの関連テキストから目標テキストを確定することと、前記目標テキストから絵文字画像の関連テキストを確定することと、を含む。
上記構成によれば、本発明の実施例は、語句の使用頻度に基づき、類似絵文字パッケージの関連テキストから目標テキストを確定し、目標テキストから絵文字画像の関連テキストを確定することにより、絵文字画像の関連テキストの正確率を向上させる。
さらに、前記目標テキストから絵文字画像の関連テキストを確定することは、絵文字画像の識別結果と前記目標テキストをマッチングすることと、マッチングの結果に基づき、重複テキストを確定することと、絵文字画像の識別結果および前記目標テキストから前記重複テキストを取り除き、絵文字画像の関連テキストを得、前記絵文字画像の識別結果に感情情報および本体情報が含まれていることと、を含む。
上記構成によれば、本発明の実施例は、絵文字画像の識別結果と目標テキストを融合することで、融合したテキストを絵文字画像の関連テキストとし、関連テキストのコンテンツを豊かにする。
絵文字画像の識別結果に感情情報および本体情報が含まれているため、絵文字画像の識別結果に基づいて確定された関連テキストに少なくとも2つの次元の情報が含まれ、すなわち、関連テキストの次元を豊かにする。したがって、本発明の実施例に係る確定方式によれば、確定した絵文字画像の関連テキストを更に豊かする。
さらに、絵文字画像の類似絵文字パッケージを確定することは、絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングするとともに、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングすることと、画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとすることと、を含む。
上記構成によれば、本発明の実施例は、画像情報および関連テキスト情報の2つの次元の情報に基づいて類似絵文字パッケージを確定することで、類似絵文字パッケージの回収率を向上させ、ひいては類似絵文字パッケージの関連テキストに基づき、絵文字画像のマッチングテキスト候補の回収率を向上させる。
さらに、前記画像情報は、絵文字パッケージのカテゴリ情報および物体のカテゴリ情報を含む。
上記構成によれば、本発明の実施例は、絵文字パッケージのカテゴリ情報と物体のカテゴリ情報に基づき、既存絵文字パッケージから類似絵文字パッケージを確定することにより、類似絵文字パッケージの正確率を向上させる。
さらに、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することは、語句の使用頻度、語句の長さ及び語句の含意のうちの少なくとも1種に基づき、マッチングテキスト候補から目標マッチングテキストを確定し、前記マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれていることを含む。
上記構成によれば、本発明の実施例は、語句の使用頻度、語句の長さ及び語句の含意のうちの少なくとも1種に基づき、マッチングテキスト候補から目標マッチングテキストを確定することにより、目標マッチングテキストを確定する正確率をさらに向上させる。
さらに、語句の長さに基づき、マッチングテキスト候補から目標マッチングテキストを確定することは、マッチングテキスト候補の語句の長さが所定の長さ範囲にある場合、前記マッチングテキスト候補を目標マッチングテキストとして確定することを含む。
上記構成によれば、本発明の実施例は、マッチングテキスト候補の語句の長さが所定の長さ範囲にあるか否かの判断に基づき、マッチングテキスト候補から目標マッチングテキストを確定し、これにより目標マッチングテキストを正確に確定する。
さらに、語句の含意に基づき、マッチングテキスト候補から目標マッチングテキストを確定することは、マッチングテキスト候補における語句の含意に感情語、流行語、および実体語のうちの少なくとも1種が含まれた語句情報を確定することと、前記語句情報に基づき、マッチングテキスト候補から目標マッチングテキストを確定することと、を含む。
上記構成によれば、本発明の実施例は、マッチングテキスト候補における語句の含意に感情語、流行語、および実体語のうちの少なくとも1種が含まれた含意情報に基づき、マッチングテキスト候補から目標マッチングテキストを確定することにより、目標マッチングテキストを正確に確定する。
さらに、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する前に、前記方法は、動画から目標対象の目標部位が含まれた動画画像を抽出することと、抽出された動画画像における発話及び/又は動作の幅を識別することと、識別の結果に基づき、前記動画画像から絵文字画像を確定することと、をさらに含む。
上記構成によれば、本発明の実施例は、抽出された動画画像における発話及び/又は動作の幅を識別し、識別の結果に基づき、動画画像から絵文字画像を確定することにより、絵文字画像を正確に確定する。
さらに、前記目標マッチングテキストの重ね合わせ位置の確定は、絵文字画像の背景領域を検出することと、背景領域内の最大内接図形領域を確定することと、前記最大内接図形領域を前記目標マッチングテキストの重ね合わせ位置とすることと、を含む。
上記構成によれば、本発明の実施例は、絵文字画像の背景領域を検出し、背景領域内の最大内接図形領域を目標マッチングテキストの重ね合わせ位置とすることにより、目標マッチングテキストの重ね合わせ位置を確定する。
本発明の実施例は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定することに用いられ、前記絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれている、関連テキスト確定モジュールと、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することに用いられる、マッチングテキスト確定モジュールと、
前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成することに用いられる、絵文字パッケージ生成モジュールと、を備える、絵文字パッケージ生成装置をさらに提供する。
さらに、前記関連テキスト確定モジュールは、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することに用いられる関連テキスト確定ユニットを備える。
さらに、前記関連テキスト確定ユニットは、具体的に、語句の使用頻度に基づき、前記類似絵文字パッケージの関連テキストから目標テキストを確定することと、前記目標テキストから絵文字画像の関連テキストを確定することとに用いられる。
さらに、前記目標テキストから絵文字画像の関連テキストを確定することは、絵文字画像の識別結果と前記目標テキストをマッチングすることと、マッチングの結果に基づき、重複テキストを確定することと、絵文字画像の識別結果および前記目標テキストから前記重複テキストを取り除き、絵文字画像の関連テキストを得、前記絵文字画像の識別結果に感情情報および本体情報が含まれていることとに用いられる。
さらに、前記関連テキスト確定モジュールは、絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングし、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングすることに用いられる絵文字画像マッチングユニットと、画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとすることに用いられる絵文字パッケージ選別ユニットと、を備える。
さらに、前記画像情報は、絵文字パッケージのカテゴリ情報および物体のカテゴリ情報を含む。
さらに、前記マッチングテキスト確定モジュールは、語句の使用頻度、語句の長さ及び語句の含意のうちの少なくとも1種に基づき、マッチングテキスト候補から目標マッチングテキストを確定することに用いられ、前記マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれている、マッチングテキスト確定ユニットを備える。
さらに、前記マッチングテキスト確定ユニットは、具体的に、マッチングテキスト候補の語句の長さが所定の長さ範囲にある場合、前記マッチングテキスト候補を目標マッチングテキストとして確定することに用いられる。
さらに、前記マッチングテキスト確定ユニットは、具体的に、マッチングテキスト候補における語句の含意に感情語、流行語、および実体語のうちの少なくとも1種が含まれた語句情報を確定することと、前記語句情報に基づき、マッチングテキスト候補から目標マッチングテキストを確定することとに用いられる。
さらに、前記絵文字パッケージ生成装置は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する前に、動画から目標対象の目標部位が含まれた動画画像を抽出することに用いられる、動画画像抽出モジュールと、抽出された動画画像における発話及び/又は動作の幅を識別することに用いられる、画像識別モジュールと、識別の結果に基づき、前記動画画像から絵文字画像を確定することに用いられる、絵文字画像確定モジュールと、をさらに備える。
さらに、前記絵文字パッケージ生成装置は、絵文字画像の背景領域を検出することに用いられる、背景検出モジュールと、背景領域内の最大内接図形領域を確定することに用いられる、領域確定モジュールと、前記最大内接図形領域を前記目標マッチングテキストの重ね合わせ位置とすることに用いられる、位置確定モジュールとをさらに備える。
本発明の実施例は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されている記憶装置とを備え、前記記憶装置に、前記少なくとも1つのプロセッサに実行可能な命令が格納されており、前記命令が前記少なくとも1つのプロセッサに実行されることにより、前記少なくとも1つのプロセッサが本発明の実施例に係る前記いずれかの方法を実行可能である、電子機器をさらに提供する。
本発明の実施例は、本発明の実施例に係るいずれかの方法をコンピュータに実行させるためのコンピュータ命令が格納されている、非一時的コンピュータ可読記憶媒体をさらに提供する。
図面は、本発明をより明確に説明するために提供されるものであり、本発明を限定するものではない。
本発明の第1実施例に係る絵文字パッケージ生成方法のフローチャートである。 本発明の第2実施例に係る絵文字パッケージ生成方法のフローチャートである。 本発明の第4実施例に係る絵文字パッケージ生成装置の構造模式図である。 本発明の実施例に係る絵文字パッケージ生成方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。ここで、理解の便宜上、本発明の実施例に係る様々な細かい内容まで含まれているが、例示的なもに過ぎないと理解すべきである。したがって、当業者であれば理解するであろうが、本発明の範囲および主旨から逸脱しない限り、ここで説明する実施例に対して様々な変更や修正を行うことができる。同様に、以下の説明において、公知されている機能および構造の説明は、明確且つ簡潔にするために省略している。
第1実施例
図1は、本発明の第1実施例に係る絵文字パッケージ生成方法のフローチャートである。本実施例は、絵文字パッケージを自動的に生成する場合に適用可能である。該当方法は、絵文字パッケージ生成装置によって実行できる。該装置は、ソフトウェア及び/又はハードウェアの形態で実現できる。図1を参照すると、本発明の実施例に係る絵文字パッケージ生成方法は、下記のステップを含む。
S110において、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する。
ここで、絵文字画像は、絵文字パッケージにおける絵文字画像であり、該絵文字画像は静止画像でもよく、動的画像でもよい。
具体的に、絵文字画像の関連テキストは、絵文字画像のタグであってよい。具体的に、絵文字画像の関連テキストは、絵文字画像の本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種の情報を含む。
本体情報は、レイジコミック情報、ペット情報、赤ちゃん情報、映画・テレビ・バラエティ番組情報、タレント・ネット有名人情報、オリジナルデザイン情報、ゲーム情報のうちの少なくとも1種を含む。
シナリオ情報は、コメント情報、事務情報、祝祭日イベント、チャット情報、戯れ画像情報、恋愛情報、教育情報のうちの少なくとも1種を含む。
感情情報は、積極的感情情報、中性的感情情報、消極的感情情報のうちの少なくとも1種を含む。
動作情報は、エンターテインメント情報、日常行動情報、表現情報のうちの少なくとも1種を含む。
含意情報は、さまざまなお笑い情報を含む。
絵文字画像の類似絵文字パッケージとは、絵文字画像と類似する既存絵文字パッケージである。
具体的に、絵文字画像の関連テキストを確定することは、絵文字画像の識別結果を絵文字画像の関連テキストとすることを含む。
絵文字画像の識別結果は、感情識別の結果、画像本体識別の結果及びシナリオ識別の結果などを含んでよい。
典型的には、絵文字画像の関連テキストの次元は少なくとも2つの次元である。
具体的に、絵文字画像の類似絵文字パッケージを確定することは、絵文字画像の関連テキストと既存絵文字パッケージの関連テキストをマッチングすることと、マッチングの結果に基づき、既存絵文字パッケージから前記類似絵文字パッケージを確定することと、を含む。
好ましくは、絵文字画像の類似絵文字パッケージを確定することは、絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングすることと、マッチングの結果に基づき、既存絵文字パッケージから前記類似絵文字パッケージを確定することと、を含む。
ここで、画像情報とは、画像から識別された情報である。
類似絵文字パッケージの回収率を向上させるために、絵文字画像の類似絵文字パッケージを確定することは、絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングし、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングすることと、画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとすることと、を含む。
上記構成によれば、本発明の実施例は、画像情報および関連テキスト情報の2つの次元の情報に基づいて類似絵文字パッケージを確定することで、類似絵文字パッケージの回収率を向上させ、ひいては類似絵文字パッケージの関連テキストに基づき、絵文字画像にマッチングテキスト候補の回収率を向上させる。
類似絵文字パッケージの正確率を向上させるために、画像情報は、絵文字パッケージのカテゴリ情報および物体のカテゴリ情報を含む。
ここで、絵文字パッケージのカテゴリ情報とは、絵文字パッケージの種別特徴を表示する情報であり、具体的には、絵文字パッケージのタグ系統における情報であってよい。
物体のカテゴリ情報とは、物体の種別特徴を表示する情報であり、具体的には、ImageNetのタグ系統における情報であってよい。
S120において、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定する。
ここで、目標マッチングテキストは、絵文字パッケージを生成するために絵文字画像に重ね合わせられるテキストである。
具体的に、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することは、語句の使用頻度、語句の長さ及び語句の含意のうちの少なくとも1種に基づき、マッチングテキスト候補から目標マッチングテキストを確定し、前記マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれていることを含む。
ここで、語句の使用頻度とは、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストに現れた語句の現出頻度である。
具体的に、語句の含意に基づき、マッチングテキスト候補から目標マッチングテキストを確定することは、マッチングテキスト候補における語句の含意に感情語、流行語、および実体語のうちの少なくとも1種が含まれた語句情報を確定することと、前記語句情報に基づき、マッチングテキスト候補から目標マッチングテキストを確定することと、を含む。
具体的に、語句の長さに基づき、マッチングテキスト候補から目標マッチングテキストを確定することは、マッチングテキスト候補の語句の長さが所定の長さ範囲にある場合、前記マッチングテキスト候補を目標マッチングテキストとして確定することを含む。
具体的に、語句の使用頻度、語句の長さ及び語句の含意に基づき、マッチングテキスト候補から目標マッチングテキストを確定することは、語句の使用頻度、語句の長さ及び語句の含意のそれぞれに基づき、マッチングテキスト候補を採点することと、各採点結果を重み付けて加算し、加算の結果に基づき、マッチングテキスト候補から目標マッチングテキストを確定することと、を含む。
S130において、前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成する。
具体的に、前記目標マッチングテキストの重ね合わせ位置の確定は、絵文字画像の背景領域を検出することと、背景領域内の最大内接図形領域を確定することと、前記最大内接図形領域を前記目標マッチングテキストの重ね合わせ位置とすることと、を含む。
本発明の実施例に係る技術案は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定し、絵文字画像の関連テキスト及び/又は類似絵文字パッケージの関連テキストをマッチングテキスト候補とすることにより、マッチングテキスト候補を自動的に確定する。
絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれ、かつ、類似絵文字パッケージと絵文字画像が類似する特徴を有するため、マッチングテキスト候補から目標マッチングテキストを確定することにより、確定されたマッチングテキスト候補に絵文字画像のコンテンツ情報が含まれている。したがって、プリセットテキストから目標マッチングテキストを確定することに比べて、本発明の実施例において確定された目標マッチングテキストは、絵文字画像をより正確に描写でき、すなわち、目標マッチングテキストの正確率を向上させることができる。最終的に、正確に確定された目標マッチングテキストを絵文字画像に重ね合わせることにより、絵文字パッケージを正確に自動的に生成する。
さらに、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する前に、前記方法は、動画から目標対象の目標部位が含まれた動画画像を抽出することと、抽出された動画画像における発話及び/又は動作の幅を識別することと、識別の結果に基づき、前記動画画像から絵文字画像を確定することと、をさらに含む。
上記構成によれば、本発明の実施例は、抽出された動画画像における発話及び/又は動作の幅を識別し、識別の結果に基づき、動画画像から絵文字画像を確定することにより、絵文字画像を正確に確定する。
好ましくは、動画画像の他の次元の識別結果に基づき、あるいは前記識別結果と他の次元の識別結果を組み合わせた結果に基づき、動画画像から絵文字画像を確定することにより、絵文字画像の確定の正確率を向上してもよい。
第2実施例
図2は本発明の第2実施例に係る絵文字パッケージ生成方法のフローチャートである。本実施例は、上記実施例に基づいた好ましい技術案である。図2を参照すると、本発明の実施例に係る絵文字パッケージ生成方法は下記のステップを含む。
S210において、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定する。
具体的に、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、前記類似絵文字パッケージの関連テキストを絵文字画像の関連テキストとすることを含む。
絵文字画像の関連テキストの正確率をさらに向上させるために、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、語句の使用頻度に基づき、前記類似絵文字パッケージの関連テキストから目標テキストを確定することと、前記目標テキストから絵文字画像の関連テキストを確定することと、を含む。
ここで、語句の使用頻度とは、類似絵文字パッケージの関連テキストに現れた語句の現出頻度である。
絵文字画像の関連テキストのコンテンツをさらに豊かにするために、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、絵文字画像の識別結果と前記目標テキストをマッチングすることと、マッチングの結果に基づき、重複テキストを確定することと、絵文字画像の識別結果および前記目標テキストから前記重複テキストを取り除き、絵文字画像の関連テキストを得ることと、を含む。
絵文字画像の関連テキストの次元をさらに豊かにするために、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、前記絵文字画像の識別結果に感情情報および本体情報が含まれていることを含む。
上記構成によれば、本発明の実施例は、絵文字画像の識別結果と目標テキストを融合することで、融合したテキストを絵文字画像の関連テキストとし、関連テキストのコンテンツを豊かにする。
絵文字画像の識別結果に感情情報および本体情報が含まれているため、絵文字画像の識別結果に基づいて確定された関連テキストに少なくとも2つの次元の情報が含まれ、すなわち、関連テキストの次元を豊かにする。したがって、本発明の実施例に係る確定方式によれば、確定した絵文字画像の関連テキストを更に豊かにする。
S220において、絵文字画像の関連テキストから目標マッチングテキストを確定する。
S230において、前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成する。
本発明の実施例に係る技術案は、類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することにより、確定された絵文字画像の関連テキストの次元を豊かにする。
第3実施例
本実施例は、上記実施例に基づき、関連テキストがタグである場合を例として提出した好ましい技術案である。本発明の実施例に係る絵文字パッケージ生成方法は、動画リソースから動画画像を抽出することと、動画画像に対して人顔検出を行い、検出結果に基づき、動画画像から人の顔が含まれた動画画像を選別することと、人の顔が含まれた動画画像から人顔画像を抽出することと、人顔画像に対して感情の識別、発話有無の識別、及び大げさな動作有無の識別を行うことと、識別の結果に基づき、人顔画像から要求に合った人顔画像を選別することと、要求に合った人顔画像に対して動画追跡を行い、同一人物に属する人顔画像系列を確定することと、確定された人顔画像系列に基づき、静態または動態な絵文字画像を確定することと、絵文字画像の表情情報および物体情報に基づき、既存絵文字パッケージから第1類似絵文字パッケージを確定することと、第1類似絵文字パッケージの関連テキストと絵文字画像に含まれているタレント情報、感情情報及びペット情報とに基づき、絵文字画像の少なくとも1次元のタグを確定することと、絵文字画像のタグに基づき、既存絵文字パッケージから第2類似絵文字パッケージを確定することと、語句の現出頻度、語句の長さおよび語句の含意に基づき、絵文字画像のタグ、第1類似絵文字パッケージの関連テキストおよび第2類似絵文字パッケージの関連テキストから、絵文字画像の目標マッチングテキストを確定することと、目標マッチングテキストのフォントサイズ、フォントカラー、フォント様式、フォント動画効果、及び重ね合わせ位置を確定することと、確定された目標マッチングテキストのフォントサイズ、フォントカラー、フォント様式、フォント動画効果に基づき、目標マッチングテキストを目標絵文字画像の前記重ね合わせ位置に重ね合わせ、新たな絵文字パッケージを生成することと、を含む。
具体的に、重ね合わせ位置の確定は、絵文字画像の背景領域を検出することと、背景領域内の最大内接図形領域を確定することと、確定された最大内接図形領域が所定要求を満たす場合、当該領域を重ね合わせ位置とすることと、確定された最大内接図形領域が所定要求を満たさない場合、絵文字画像の最下領域を重ね合わせ位置とすることと、を含む。
具体的に、目標マッチングテキストのフォントサイズを確定することは、目標マッチングテキストに対して文字粒度の切り分けを行うことにより、文字数を得ることと、文字数、画像サイズおよびテキストの重ね合わせ位置に基づき、テキストのフォントサイズを確定することと、を含む。
具体的に、目標マッチングテキストの重ね合わせ位置を確定することは、絵文字画像のコンテンツ情報に基づき、重ね合わせ位置を確定することを含む。テキストの重ね合わせ位置は、画像の実際の状況に応じて変更する。
重ね合わせの原則として、重ね合わせされるテキストは画像本体を隠さず、中央にあり、画像のフレームから隙間がある。重要な画像本体を隠さない原則に応じて、テキストを左側へまたは右側へ適当移動してもよい。
典型的には、静止画像の場合、クラスタリングアルゴリズムによって前景および背景を検出し、侵食や膨張などの形態学的画像処理法により、異常点を取り除く。背景領域において、最大内接矩形を重ね合わせ位置として選定し、検索された位置領域が小さすぎるまたは存在しない場合は、画像の最下領域を重ね合わせ位置とする。
動的画像の場合、前景と背景の検出及び異常点の処理は静止画像の処理と一致しているが、それに加えて、複数枚の前景を融合させる策略を追加した、即ち、動画の複数枚の画像で選定されたフィッティング領域の共通部分を最終的な動画のフィッティング領域として選定することにより、フィッティング領域の選定の信頼性を向上させることができる。
具体的に、フォントカラーおよびフォント様式を確定することは、絵文字画像のエッジ情報、カラー情報および角度情報のうちの少なくとも1種に基づき、フォントカラーおよびフォント様式を確定することを含む。
具体的に、絵文字画像のエッジ情報、カラー情報および角度情報のうちの少なくとも1種に基づき、フォントカラーおよびフォント様式を確定することは、絵文字画像が白黒画像である場合、フォント様式を中文フォント方正蘭亭黒簡体、中文フォント方正大黒簡体にランダムに選定し、フォントカラーを黒色または白色(画像が薄い色の背景の場合は黒字に、画像が暗い色の背景の場合は白字)に選定することと、絵文字画像が静止カラー画像である場合、フォント様式を、中文フォント方正銘石体簡、中文フォント方正標致簡体、中文フォント方正ド黒簡、中文フォント方正胖娃簡体、中文フォント方正琥珀簡体、中文フォント方正大黒簡体、中文フォント方正粗園簡体にランダムに選定し、フォントカラーを、黒字白縁取りまたは白字黒縁取りのフォントにランダムに選定することと、絵文字画像が動的カラー画像である場合、フォント様式を、中文フォント方正銘石体簡、中文フォント方正標致簡体、中文フォント方正ド黒簡、中文フォント方正胖娃簡体、中文フォント方正琥珀簡体、中文フォント方正大黒簡体、中文フォント方正粗園簡体にランダムに選定し、フォントカラーを、画像が薄い色の背景の場合、カラー文字黒縁に選定し、フォント色彩は黒、白、黄色、ピンク、青、オレンジ、シアン、緑といろいろな色があり、選定された色彩と画像の主要なカラーは大きなコントラストがあり、フォントを容易に目立たせることができ、一方、画像が暗い色の背景の場合、カラー文字白縁に選定し、フォント色彩は黒、白、黄色、ピンク、青、オレンジ、シアン、緑のいろいろな色があり、選定された色彩と画像の主要なカラーは大きなコントラストがあり、フォントを容易に目立たせることと、を含む。
好ましくは、フォント様式を確定した後に、ランダムな組み合わせで動的効果を示してもよい。ここで、動的効果は、フォント静的フィッティング、フォントスクロールカルーセル、フォントシーケンシャルなどを含む。
本実施例による技術的効果としては、全般自動化的な表情リソースの産出により、産出人員を解放し、産出コストを制御でき、人的リソースの投入を削減できることと、ビデオソースコンテンツが最初に提供された瞬間に、機械的に大量の絵文字リソースを産出することができるため、絵文字の産出効率と有効性を大幅に向上させて生産の効率が高いことと、機械的な産出により、いつでも起動し産出でき、突発的なコンテンツをより速やかに処理でき、その上で、機械の効率的な産出能力を踏まえると、ホットコンテンツに対して迅速に処理可能であるため、対応する絵文字リソースを産出してユーザに提供して生産の適時性が高いことと、絵文字画像を正確に抽出し、または目標マッチングテキストを正確に確定することにより、最終的に、どちらが人による産出でどちらが機械的な産出かを見分けかねるほど、本物のような絵文字パッケージを提供できて品質が高いことと、が挙げられる。
第4実施例
図3は本発明の第4実施例に係る絵文字パッケージ生成装置の構造模式図である。図3を参照すると、本発明の実施例に係る絵文字パッケージ生成装置300は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定することに用いられ、前記絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれている、関連テキスト確定モジュール301と、絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することに用いられる、マッチングテキスト確定モジュール302と、前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成することに用いられる、絵文字パッケージ生成モジュール303と、を備える。
本発明の実施例は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定し、絵文字画像の関連テキスト及び/又は類似絵文字パッケージの関連テキストをマッチングテキスト候補とすることにより、マッチングテキスト候補を自動的に確定する。
絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれ、且つ、類似絵文字パッケージと絵文字画像が類似する特徴を有するため、マッチングテキスト候補から目標マッチングテキストを確定することにより、確定されたマッチングテキスト候補に絵文字画像のコンテンツ情報が含まれている。したがって、プリセットテキストから目標マッチングテキストを確定することに比べて、本発明の実施例において確定された目標マッチングテキストは、絵文字画像をより正確に描写でき、すなわち、目標マッチングテキストの正確率を向上させることができる。最終的に、正確に確定された目標マッチングテキストを絵文字画像に重ね合わせることにより、絵文字パッケージを正確で自動的に生成する。
一実施例において、前記関連テキスト確定モジュールは、前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することに用いられる、関連テキスト確定ユニットを備える。
一実施例において、前記関連テキスト確定ユニットは、具体的に、語句の使用頻度に基づき、前記類似絵文字パッケージの関連テキストから目標テキストを確定し、前記目標テキストから絵文字画像の関連テキストを確定することに用いられる。
一実施例において、前記目標テキストから絵文字画像の関連テキストを確定することは、絵文字画像の識別結果と前記目標テキストをマッチングすることと、マッチングの結果に基づき、重複テキストを確定することと、絵文字画像の識別結果および前記目標テキストから前記重複テキストを取り除き、絵文字画像の関連テキストを得、前記絵文字画像の識別結果に感情情報および本体情報が含まれていることと、を含む。
一実施例において、前記関連テキスト確定モジュールは、絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングするとともに、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングすることに用いられる、絵文字画像マッチングユニットと、画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとすることに用いられる絵文字パッケージ選別ユニットと、を備える。
一実施例において、前記画像情報は、絵文字パッケージのカテゴリ情報および物体のカテゴリ情報を含む。
一実施例において、前記マッチングテキスト確定モジュールは、語句の使用頻度、語句の長さ及び語句の含意のうちの少なくとも1種に基づき、マッチングテキスト候補から目標マッチングテキストを確定することに用いられ、前記マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれている、マッチングテキスト確定ユニットを備える。
一実施例において、前記マッチングテキスト確定ユニットは、具体的に、マッチングテキスト候補の語句の長さが所定の長さ範囲にある場合、前記マッチングテキスト候補を目標マッチングテキストとして確定することに用いられる。
一実施例において、前記マッチングテキスト確定ユニットは、具体的に、マッチングテキスト候補における語句の含意に感情語、流行語、および実体語のうちの少なくとも1種が含まれた語句情報を確定することと、前記語句情報に基づき、マッチングテキスト候補から目標マッチングテキストを確定することとに用いられる。
一実施例において、前記絵文字パッケージ生成装置は、絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する前に、動画から目標対象の目標部位を含む動画画像を抽出することに用いられる、動画画像抽出モジュールと、抽出された動画画像における発話及び/又は動作の幅を識別することに用いられる、画像識別モジュールと、識別の結果に基づき、前記動画画像から絵文字画像を確定することに用いられる、絵文字画像確定モジュールと、をさらに備える。
一実施例において、前記絵文字パッケージ生成装置は、絵文字画像の背景領域を検出することに用いられる、背景検出モジュールと、背景領域内の最大内接図形領域を確定することに用いられる、領域確定モジュールと、前記最大内接図形領域を前記目標マッチングテキストの重ね合わせ位置とすることに用いられる、位置確定モジュールと、をさらに備える。
第5実施例
本発明の実施例によれば、電子機器およびコンピュータ可読記憶媒体をさらに提供する。
図4に示すように、本発明の実施例に係る絵文字パッケージ生成方法を実現するための電子機器のブロック図である。電子機器とは、各種類のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピュータ、または、その他の適切なコンピュータを表す。電子機器は、各種類の携帯装置、例えば、パーソナルコンピュータ、携帯電話、スマートフォン、ウェアラブル機器、または、その他の類似コンピューティング機器を表すことができる。本明細書で示すコンポーネント、それらの接続や関係、及びそれらの機能は、単なる例示であり、決して本明細書で説明される及び/又は要求される本発明の実現を限定するものではない。
図4に示すように、当該電子機器は、1つまたは複数のプロセッサ401、記憶装置402、及び高速度インターフェースや低速度インターフェースを含んで、各コンポーネントを接続するためのインターフェースを備える。各コンポーネントは異なるバスによって相互に接続され、且つ、共通のマザーボードに設置あるいは必要に応じて他の方式で設置されてよい。プロセッサは、電子機器で実行される命令、例えば、記憶装置内または記憶装置上に格納される外部の入力/出力装置、例えば、インターフェースに結合された表示機器などに、GUIのグラフィック情報を表示するための命令を処理することができる。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを複数の記憶装置と、または複数の記憶装置を共に使用してよい。同様に、複数の電子機器に接続して、各機器は、必要となる一部の操作を提供できる、例えば、サーバーアレイとして、1セットのブレードサーバーとして、またはマルチプロセッサシステムとして働くことができる。図4は、1つのプロセッサ401を例示として挙げる。
記憶装置402は本発明に係る非一時的なコンピュータ可読記憶媒体である。ここで、前記記憶装置には少なくとも1つのプロセッサにより実行可能な命令が格納されており、これにより、前記少なくとも1つのプロセッサは本発明に係る絵文字パッケージ生成方法を実行できる。本発明に係る非一時的なコンピュータ可読記憶媒体は、本発明に係る絵文字パッケージ生成方法を実行するためのコンピュータの命令を格納することに用いられる。
記憶装置402は非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム及びモジュール、例えば、本発明の実施例に係る絵文字パッケージ生成方法に対応するプログラム命令/モジュール、例えば、図面3に示す関連テキスト確定モジュール301、マッチングテキスト確定モジュール302と絵文字パッケージ生成モジュール303を格納することに用いられる。プロセッサ401は記憶装置402に格納された非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバーにおけるさまざまな機能的アプリ及びデータ処理を実行し、前記方法に関する実施例に係る絵文字パッケージ生成方法を実現できる。
記憶装置402はプログラム格納部とデータ格納部を含んで構成されることができ、ここで、プログラム格納部にはオペレーティングシステム、少なくとも1つの機能を実現するためのアプリケーションを格納してよく、データ格納部には絵文字パッケージを生成用電子機器の使用により生成されたデータなどを格納してよい。また、記憶装置402は高速度のランダムアクセス記憶装置を含んでもよく、さらに非一時的な記憶装置、例えば少なくとも1つのハードディスク、フラッシュ記憶装置、または他の非一時的な固体記憶装置を含んでもよい。一部の実施例において、記憶装置402は、好ましくは、プロセッサ401から離れて遠距離的に設置される記憶装置を含んでもよく、これらの遠距離記憶装置は、ネットワークによって絵文字パッケージ生成用電子機器に接続してもよい。前記ネットワークの実際の例示としては、インターネット、企業エリアネットワーク、ブロックチェーンネットワーク、ローカルネットワーク、移動通信網およびそれらの組み合わせを含むが、これらに限定されない。
絵文字パッケージ生成方法に係る電子機器は、入力装置403及び出力装置404をさらに備えてよい。プロセッサ401、記憶装置402、入力装置403及び出力装置404はバス或いはその他の形態で接続されてよい、図4はバスによる接続を例示として挙げる。
入力装置403は入力されたデータまたはキャラクタ情報を受け取り、絵文字パッケージ生成用電子機器のユーザ設置及び機能制御と関連するキーシグナルを生成し、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングレバー、1つまたは複数のマウスボタン、トラックボール、ジョイスティック等入力装置に入力することに用いられる。出力装置404は表示機器、補助照明装置(例えば、LED)および触覚フィードバック装置(例えば、振動モータ)などを含んでよい。当該表示機器は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ及びプラズマディスプレイを含んでよいが、これらに限定されない。一部の実施形態において、表示機器はタッチスクリーンでよい。
ここで説明されたシステムおよび技術に係る各種の実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路(ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせによって実現できる。それらの各種の実施形態は、1つまたは複数のコンピュータプログラムにおいて実施され、当該1つまたは複数のコンピュータプログラムは少なくとも1つのコーディング可能プロセッサのコーディング可能システム上で実行及び/又は解釈することができ、当該コーディング可能プロセッサは専用または通用のコーディング可能プロセッサでよく、記憶システム、少なくとも1つの入力装置、または少なくとも1つの出力装置からデータと命令を受け取り可能であり、且つ、データと命令は当該存儲システム、当該少なくとも1つの入力装置及び当該少なくとも1つの出力装置に伝送してよい。
プログラム、ソフトウェア、ソフトウェアアプリ、またはコードとも呼ばれる、これらの計算プログラムは、コーディング可能プロセッサの機器命令を含み、且つ、高度なプロセス及び/又はオブジェクト指向プログラミング語句、及び/又はアセンブリ語句や機械語句を通じてこれらの計算プログラムを実行することができる。例えば、本明細書で使用された技術用語「機器可読記憶媒体」と「コンピュータ可読記憶媒体」は、機器命令及び/又はデータをコーディング可能プロセッサのいずれかのコンピュータプログラム製品、機器、及び/又は装置、例えば、磁気ディスク、光ディスク、記憶装置、コーディング可能論理装置(PLD)、または機器可読シグナルとなる機器命令を受信する可読記憶媒体を含んで指す。技術用語「機器可読シグナル」は、機器命令及び/又はデータをコーディング可能プロセッサに提供するすべてのシグナルを指す。
ユーザとの対話を提供するため、コンピュータ上で本明細書に記載のシステムと技術を実施することができる。前記コンピュータは、例えば、カソードレイチューブ(CRT)または液晶ディスプレイ(LCD)モニタなどのユーザに向けて情報を表示するための表示機器、及びキーボードとポインティング機器、例えば、マウスまたはトラックボールを備え、ユーザは当該キーボードと当該ポインティング機器を通じて入力をコンピュータに提供できる。その他の種類の装置をユーザとの対話提供に使用してもよい。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックといった任意の形のセンサフィードバックであってよく、且つ、音声入力、または触覚入力を含む任意の形態でユーザからの入力を受信できる。
本明細書に記載のシステムと技術は、バックグラウンドコンポーネントを備える計算システム、例えば、データサーバー、またはミドルウェアコンポーネントを備える計算システム、例えば、アプリケーションサーバー、またはフロントエンドコンポーネントを備える計算システム、またはこれらのバックグラウンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを備える計算システムで実施でき、ここで、フロントエンドコンポーネントの例示としては、例えば、グラフィカル・ユーザ・インターフェースまたはウェブブラウザを備えるユーザコンピュータで実施することができ、ユーザは当該グラフィカル・ユーザ・インターフェースまたは当該ウェブブラウザを通じて本明細書に記載のシステムと技術に係る実施形態と対話できる。任意の形式または媒体のデジタルデータ通信、例えば、通信ネットワークによってシステム上のコンポーネントとお互いに接続できる。通信ネットワークの例示としては、ローカルネットワーク(LAN)、広域ネットワーク(WAN)、インターネットとブロックチェーンネットワークを含む。
コンピュータシステムはクライアントとサーバーを備える。クライアントとサーバーは一般的には互いに離れており、且つ、通常、通信ネットワークを介して対話を行う。対応するコンピュータ上で実行、且つ、お互いにクライアントとサーバーとの関連づけを有するコンピュータプログラムによってクライアントとサーバーとの関連づけを生成する。
理解すべきことは、上述した様々な形態のフローを用いて、各ステップを並べ替え、追加、または削除しうることである。例えば、本発明に記載された各ステップは、並列に実行されてもよいし、順次実行されてもよい。本発明に開示される技術的態様によって所望される結果が実現される限り、本発明ではこれを限定しない。
上述した具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば理解すべきことは、設計要件およびその他の要因に応じて、多様な変更または改良、組み合わせ、細分組み合わせ、および代替が可能であるということである。本発明の精神と原則から逸脱しない限り、いかなる修正、均等置換および改良なども、本発明の保護範囲に含まれるべきである。

Claims (12)

  1. 絵文字パッケージ生成装置が
    絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定し、前記絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれており、前記絵文字画像は動画から取得された静止画像又は動的画像であることと、
    絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することと、
    前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成することと、を実行し、
    絵文字画像の類似絵文字パッケージを確定することは、
    絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングするとともに、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングすることと、
    画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとすることと、を含み、
    絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することは、
    語句の使用頻度、語句の長さが所定の長さ範囲にあるか否か、並びに語句の含意に感情語、流行語及び実体語のうちの少なくとも1つに関する語句情報が含まれるか否かのそれぞれに基づき、各マッチングテキスト候補を採点して前記語句の使用頻度、前記語句の長さ及び前記語句の含意のそれぞれの点数を取得することと、
    各マッチングテキスト候補の取得された点数を重み付けて加算し、重み付け加算の結果に基づき、前記マッチングテキスト候補から目標マッチングテキストを確定することと、を含み、
    各マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれている、
    絵文字パッケージ生成方法。
  2. 絵文字画像の関連テキストを確定することは、
    前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することを含む、
    請求項1に記載の絵文字パッケージ生成方法。
  3. 前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することは、
    語句の使用頻度に基づき、前記類似絵文字パッケージの関連テキストから目標テキストを確定することと、
    前記目標テキストから絵文字画像の関連テキストを確定することと、を含む、
    請求項2に記載の絵文字パッケージ生成方法。
  4. 前記目標テキストから絵文字画像の関連テキストを確定することは、
    絵文字画像の識別結果と前記目標テキストをマッチングすることと、
    マッチングの結果に基づき、重複テキストを確定することと、
    絵文字画像の識別結果および前記目標テキストから前記重複テキストを取り除き、絵文字画像の関連テキストを得、前記絵文字画像の識別結果に感情情報および本体情報が含まれていることと、を含む、
    請求項3に記載の絵文字パッケージ生成方法。
  5. 前記画像情報は、
    絵文字パッケージのカテゴリ情報および物体のカテゴリ情報を含む、
    請求項に記載の絵文字パッケージ生成方法。
  6. 前記絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定する前に、
    動画から目標対象の目標部位が含まれた動画画像を抽出することと、
    抽出された動画画像における発話及び/又は動作の幅を識別することと、
    識別の結果に基づき、前記動画画像から絵文字画像を確定することと、をさらに含む、
    請求項1に記載の絵文字パッケージ生成方法。
  7. 前記目標マッチングテキストの重ね合わせ位置の確定は、
    絵文字画像の背景領域を検出することと、
    背景領域内の最大内接図形領域を確定することと、
    前記最大内接図形領域を前記目標マッチングテキストの重ね合わせ位置とすることと、を含む、
    請求項1に記載の絵文字パッケージ生成方法。
  8. 絵文字画像の関連テキスト及び/又は絵文字画像の類似絵文字パッケージを確定することに用いられ、前記絵文字画像の関連テキストに本体情報、シナリオ情報、感情情報、動作情報、および含意情報のうちの少なくとも1種が含まれており、前記絵文字画像は動画から取得された静止画像又は動的画像である、関連テキスト確定モジュールと、
    絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストから目標マッチングテキストを確定することに用いられる、マッチングテキスト確定モジュールと、
    前記目標マッチングテキストを絵文字画像に重ね合わせ、新たな絵文字パッケージを生成することに用いられる、絵文字パッケージ生成モジュールと、を備え、
    前記関連テキスト確定モジュールは、
    絵文字画像の画像情報と既存絵文字パッケージの画像情報をマッチングし、及び/又は、絵文字画像の関連テキスト情報と既存絵文字パッケージの関連テキスト情報をマッチングする絵文字画像マッチングユニットと、
    画像のマッチング度またはテキストのマッチング度が所定の条件を満たす場合、この既存絵文字パッケージを前記類似絵文字パッケージとする絵文字パッケージ選別ユニットと、を備え、
    前記マッチングテキスト確定モジュールは、
    語句の使用頻度、語句の長さが所定の長さ範囲にあるか否か、並びに語句の含意に感情語、流行語及び実体語のうちの少なくとも1つに関する語句情報が含まれるか否かのそれぞれに基づき、各マッチングテキスト候補を採点して前記語句の使用頻度、前記語句の長さ及び前記語句の含意のそれぞれの点数を取得し、各マッチングテキスト候補の取得された点数を重み付けて加算し、重み付け加算の結果に基づき、前記マッチングテキスト候補から目標マッチングテキストを確定するマッチングテキスト確定ユニットを備え、
    各マッチングテキスト候補に絵文字画像の関連テキスト及び/又は前記類似絵文字パッケージの関連テキストが含まれている、
    絵文字パッケージ生成装置。
  9. 前記関連テキスト確定モジュールは、
    前記類似絵文字パッケージの関連テキストに基づき、絵文字画像の関連テキストを確定することに用いられる関連テキスト確定ユニットを備える、
    請求項に記載の絵文字パッケージ生成装置。
  10. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信可能に接続されている記憶装置とを備え、
    前記記憶装置に、前記少なくとも1つのプロセッサに実行可能な命令が格納されており、前記命令が前記少なくとも1つのプロセッサに実行されることにより、前記少なくとも1つのプロセッサが請求項1~のいずれか1項に記載の絵文字パッケージ生成方法を実行可能である、
    電子機器。
  11. 請求項1~のいずれか1項に記載の絵文字パッケージ生成方法をコンピュータに実行させるためのコンピュータ命令が格納されている、
    非一時的コンピュータ可読記憶媒体。
  12. 請求項1~のいずれか1項に記載の絵文字パッケージ生成方法をコンピュータに実行させるためのプログラム。
JP2021516910A 2020-02-28 2020-07-03 絵文字パッケージ生成方法、装置、機器および記憶媒体 Active JP7212770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010128305.6A CN111353064B (zh) 2020-02-28 2020-02-28 表情包生成方法、装置、设备和介质
CN202010128305.6 2020-02-28
PCT/CN2020/100034 WO2021169134A1 (zh) 2020-02-28 2020-07-03 表情包生成方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
JP2022524669A JP2022524669A (ja) 2022-05-10
JP7212770B2 true JP7212770B2 (ja) 2023-01-25

Family

ID=75723121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516910A Active JP7212770B2 (ja) 2020-02-28 2020-07-03 絵文字パッケージ生成方法、装置、機器および記憶媒体

Country Status (3)

Country Link
US (1) US11521340B2 (ja)
JP (1) JP7212770B2 (ja)
KR (1) KR102598496B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775583B2 (en) * 2020-04-15 2023-10-03 Rovi Guides, Inc. Systems and methods for processing emojis in a search and recommendation environment
KR102567051B1 (ko) * 2021-04-21 2023-08-14 주식회사 카카오 단말의 동작 방법 및 단말
US11797153B1 (en) * 2022-08-08 2023-10-24 Sony Group Corporation Text-enhanced emoji icons
CN115223022B (zh) * 2022-09-15 2022-12-09 平安银行股份有限公司 一种图像处理方法、装置、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023225A (ja) 2002-06-13 2004-01-22 Oki Electric Ind Co Ltd 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法
JP2011192008A (ja) 2010-03-15 2011-09-29 Zeta Bridge Corp 画像処理システムおよび画像処理方法
US20190130498A1 (en) 2015-06-22 2019-05-02 YouMap, Inc. Creating and utilizing services associated with maps
CN110706312A (zh) 2019-09-20 2020-01-17 北京奇艺世纪科技有限公司 一种表情包的文案确定方法、装置及电子设备
US20200051341A1 (en) 2018-08-08 2020-02-13 Samsung Electronics Co., Ltd. Apparatus and method for providing item according to attribute of avatar

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068573A1 (en) * 2012-10-31 2014-05-08 Aniways Advertising Solutions Ltd. Custom emoticon generation
US9436891B2 (en) 2013-07-30 2016-09-06 GlobalFoundries, Inc. Discriminating synonymous expressions using images
KR102108129B1 (ko) * 2013-09-25 2020-05-07 에스케이텔레콤 주식회사 텍스트 이모티콘 의미 해석 장치, 이를 위한 기록매체
US10387717B2 (en) 2014-07-02 2019-08-20 Huawei Technologies Co., Ltd. Information transmission method and transmission apparatus
EP3398082A1 (en) * 2015-12-29 2018-11-07 Mz Ip Holdings, Llc Systems and methods for suggesting emoji
CN106844659A (zh) 2017-01-23 2017-06-13 宇龙计算机通信科技(深圳)有限公司 一种多媒体数据处理方法和装置
CN107369196B (zh) * 2017-06-30 2021-08-24 Oppo广东移动通信有限公司 表情包制作方法、装置、存储介质及电子设备
CN111615696A (zh) * 2017-11-18 2020-09-01 科奇股份有限公司 用于相关性检测和审阅的内容的交互式表示
CN109671137B (zh) 2018-10-26 2023-05-23 广东智媒云图科技股份有限公司 一种图片配文字的方法、电子设备及存储介质
CN110719525A (zh) 2019-08-28 2020-01-21 咪咕文化科技有限公司 弹幕表情包的生成方法、电子设备和可读存储介质
US11562510B2 (en) * 2019-12-21 2023-01-24 Samsung Electronics Co., Ltd. Real-time context based emoticon generation system and method thereof
CN111353064B (zh) 2020-02-28 2023-06-13 北京百度网讯科技有限公司 表情包生成方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023225A (ja) 2002-06-13 2004-01-22 Oki Electric Ind Co Ltd 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法
JP2011192008A (ja) 2010-03-15 2011-09-29 Zeta Bridge Corp 画像処理システムおよび画像処理方法
US20190130498A1 (en) 2015-06-22 2019-05-02 YouMap, Inc. Creating and utilizing services associated with maps
US20200051341A1 (en) 2018-08-08 2020-02-13 Samsung Electronics Co., Ltd. Apparatus and method for providing item according to attribute of avatar
CN110706312A (zh) 2019-09-20 2020-01-17 北京奇艺世纪科技有限公司 一种表情包的文案确定方法、装置及电子设备

Also Published As

Publication number Publication date
US20220114776A1 (en) 2022-04-14
JP2022524669A (ja) 2022-05-10
KR20210042406A (ko) 2021-04-19
US11521340B2 (en) 2022-12-06
KR102598496B1 (ko) 2023-11-03

Similar Documents

Publication Publication Date Title
JP7212770B2 (ja) 絵文字パッケージ生成方法、装置、機器および記憶媒体
WO2021169134A1 (zh) 表情包生成方法、装置、设备和介质
JP7397786B2 (ja) クロスモーダル処理方法、装置、電子機器及びコンピュータ記憶媒体
KR102565659B1 (ko) 정보 생성 방법 및 장치
US11463631B2 (en) Method and apparatus for generating face image
JP7264866B2 (ja) イベント関係の生成方法、装置、電子機器及び記憶媒体
EP3920088A1 (en) Method and apparatus for generating tag of video, electronic device, and storage medium
CN107766349B (zh) 一种生成文本的方法、装置、设备及客户端
JP7223056B2 (ja) 画像審査方法、装置、電子機器及び記憶媒体
KR20210077655A (ko) 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US11800042B2 (en) Video processing method, electronic device and storage medium thereof
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
CN111309200B (zh) 一种扩展阅读内容的确定方法、装置、设备及存储介质
CN111639228B (zh) 视频检索方法、装置、设备及存储介质
JP2023543964A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム
Chen et al. UI layers merger: merging UI layers via visual learning and boundary prior
CN111353070A (zh) 视频标题的处理方法、装置、电子设备及可读存储介质
CN116978028A (zh) 视频处理方法、装置、电子设备及存储介质
US20190243532A1 (en) Information processing device and non-transitory computer readable medium
US20140181672A1 (en) Information processing method and electronic apparatus
CN111352685B (zh) 一种输入法键盘的展示方法、装置、设备及存储介质
US20190243896A1 (en) Information processing device and non-transitory computer readable medium
US11107285B2 (en) Augmented reality-based image editing
CN112988019B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN113655895B (zh) 应用于输入法的信息推荐方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150