JP2023542598A - 文字の表示方法、装置、電子機器及び記憶媒体 - Google Patents
文字の表示方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2023542598A JP2023542598A JP2023504123A JP2023504123A JP2023542598A JP 2023542598 A JP2023542598 A JP 2023542598A JP 2023504123 A JP2023504123 A JP 2023504123A JP 2023504123 A JP2023504123 A JP 2023504123A JP 2023542598 A JP2023542598 A JP 2023542598A
- Authority
- JP
- Japan
- Prior art keywords
- character
- special effect
- characters
- dynamic special
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000000694 effects Effects 0.000 claims abstract description 158
- 230000003190 augmentative effect Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 28
- 230000001953 sensory effect Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】文字の表示方法、装置、電子機器及び記憶媒体である。【解決手段】本発明では、実景撮影画像及び表示対象の文字を取得し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を前記実景撮影画像に表示することにより、仮想拡張現実表示において文字に対して動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。【選択図】 図5
Description
本願は、2020年9月10日に提出された中国特許出願第202010948338.5の優先権の利益を主張する。当該中国特許出願の全内容は、援用によって本願の一部として本願に組み込まれている。
本開示の実施例は、文字の表示方法、装置、電子機器、及び記憶媒体に関する。
拡張現実(Augmented Reality、ARと略称する)表示技術は、仮想情報と現実世界とを巧みに結合させる技術であり、仮想拡張現実表示技術の中に、より多くの特殊効果コンテンツを組み込むことで、応用シーンをより良好に表示することができる。
文字の仮想拡張現実表示における応用は、仮想拡張現実表示技術の重要な構成である。既知の文字表示方案では、一般的に、静的な文字表示方式が用いられるため、文字に対する表示効果が不自然であり、表示方式も単一である。
上記問題に対して、本開示の実施例は、文字の表示方法、装置、電子機器及び記憶媒体を提供する。
第1態様では、本開示の実施例は、文字の表示方法を提供し、
実景撮影画像を取得するステップと、
表示対象の文字を取得するステップと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うステップと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するステップと、を含む。
実景撮影画像を取得するステップと、
表示対象の文字を取得するステップと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うステップと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するステップと、を含む。
第2態様では、本開示の実施例は、文字の表示装置を提供し、
実景撮影画像及び表示対象の文字を取得するための通信モジュールと、
文字の移動軌跡データを呼び出し、ユーザが入力した表示対象の文字に対して動的特殊効果処理を行うための処理モジュールと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するための表示モジュールと、を含む。
実景撮影画像及び表示対象の文字を取得するための通信モジュールと、
文字の移動軌跡データを呼び出し、ユーザが入力した表示対象の文字に対して動的特殊効果処理を行うための処理モジュールと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するための表示モジュールと、を含む。
第3態様では、本開示の実施例は、電子機器を提供し、少なくとも1つのプロセッサとメモリとを含み、
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも1つのプロセッサが前記メモリに記憶されたコンピュータ実行命令を実行すると、前記少なくとも1つのプロセッサに上記第1態様及び第1態様の関連する様々な可能な形態に記載の文字の表示方法を実行させる。
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも1つのプロセッサが前記メモリに記憶されたコンピュータ実行命令を実行すると、前記少なくとも1つのプロセッサに上記第1態様及び第1態様の関連する様々な可能な形態に記載の文字の表示方法を実行させる。
第4態様では、本開示の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータ実行命令が保管されており、プロセッサが前記コンピュータ実行命令を実行すると、上記第1態様及び第1態様の関連する様々な可能な形態に記載の文字の表示方法を実施させる。
本開示の実施例に係る文字の表示方法、装置、電子機器、及び記憶媒体は、実景撮影画像及び表示対象の文字を取得し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を前記実景撮影画像に表示することにより、仮想拡張現実表示において、文字に対して動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。
本開示の実施例又は既知の技術における技術的解決手段をより明確に説明するために、以下で、実施例又は既知の技術の説明に使用される図面を簡単に説明する。明らかなように、以下に説明される図面は、本開示のいくつかの実施例であり、当業者であれば、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を取得することもできる。
本開示の実施例の目的、技術的解決手段、及び利点をより明確にするために、以下に、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明確、かつ完全に説明する。明らかなように、説明される実施例は、本開示の実施例の一部であり、すべての実施例ではない。本開示における実施例に基づき、当業者が創造的な労働を必要とせずに取得した全ての他の実施例は、いずれも本開示の保護範囲に属するものとなる。
拡張現実(Augmented Reality、ARと略称する)表示技術は、仮想情報と現実世界とを巧みに結合させる技術であり、仮想拡張現実表示技術の中に、より多くの特殊効果コンテンツを組み込むことで、応用シーンをより良好に呈示することができる。
文字の仮想拡張現実表示における応用は、仮想拡張現実表示技術の重要な構成部分である。既知の文字表示方案では、一般的に、静的な文字表示方式が用いられるため、文字に対する表示効果が不自然であり、表示も単一になる。
このような問題に対して、本開示の実施例は、文字の表示方法を提供し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、拡張現実技術に基づいて、動的特殊効果処理後の文字を撮影された実景撮影画像に表示することにより、拡張現実表示において、文字に対して動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は、各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。
図1を参照すると、図1は、本開示の基礎となるネットワークアーキテクチャの模式図であり、該図1に示されるネットワークアーキテクチャは、具体的に、端末1、文字の表示装置2、及びサーバ3を含んでもよい。
端末1は、具体的に、ユーザの携帯電話、スマートホームデバイス、タブレットコンピュータなど、実景を撮影して撮影された実景を表示するためのハードウェア機器であってもよく、文字の表示装置2は、前記端末1に集積又はインストールされるクライアント又は表示端子であってもよく、サーバ3は、クラウドに設置された、様々な文字の移動軌跡データを記憶するサーバクラスターを含むものであってもよい。
文字の表示装置2は、端末1で動作し、端末1に表示ページを提供することができ、これによって、端末1がそのスクリーン又は表示構成要素を用いてユーザに文字の表示装置2が提供したページを表示する。
同時に、文字の表示装置2は、さらに、端末1のネットワーク構成要素を用いてサーバ3とインタラクションして、サーバ3に予め記憶された文字の移動軌跡データを取得することができる。
また、いくつかの選択可能な実施形態では、端末1は、使用を容易にするために、サーバ3における様々な文字の移動軌跡データをキャッシュすることもできる。例えば、端末1には様々な文字の移動軌跡データを記憶でき、文字の移動軌跡データを呼び出すことによって、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を該端末1が撮影した実景撮影画像に表示する。
特に、図1に示されるアーキテクチャは、複数の応用シーンに適用でき、図2は、文字の表示方法の基礎となる第1シーンの模式図である。
図2に示すように、該シーンにおいて、ユーザは、文字の表示装置が提供した仮想拡張現実表示機能を起動し、表示対象の文字を表示する操作命令を、端末1を介して、文字の表示装置2に送信し、文字の表示装置2がサーバ3とインタラクションし、対応する文字の移動軌跡データを取得するようにする。文字の表示装置2は、文字の移動軌跡データを用いて表示対象の文字を処理し、表示処理された文字を、端末が撮影した実景撮影画像に表示する。
該シーンにおいて、ユーザは、処理された実景撮影画像に対してスクリーン動画キャプチャなどの操作を行い、個人的なスタイルを有する画像作品を取得することができ、処理された実景撮影画像を、仮想拡張現実表示のナビゲーションシーンの図示、仮想拡張現実表示の旅行シーンの図示などとして用いることもできる。
また、図3を参照すると、図3は、本開示の基礎となる別のネットワークアーキテクチャの模式図であり、該図3に示されるネットワークアーキテクチャは、具体的に、複数の端末1、文字の表示装置2、サーバ3、及び撮影システム4を含んでもよい。
図1に示されるアーキテクチャとの相違点としては、文字の表示装置2がサーバ3に集積されている。該図3に示されるネットワークアーキテクチャでは、撮影システム4は、サーバ3とインタラクションし、文字の表示装置2に実景撮影画像を提供することができ、文字の表示装置2は、本開示に係る文字の表示方法を用いて実景撮影画像を処理し、処理された画像を複数の端末1に送信し、端末1が視聴して取得することを可能にする。
撮影システム4は、同じ撮影領域に設置された複数の撮影機器で構成されてもよく、該複数の撮影機器は、異なる撮影角度で撮影領域を撮影する。撮影システム4が撮影領域を撮影する場合に、撮影された実景撮影画像は、サーバ3に伝送され、サーバ3を介して文字の表示装置2に転送されて、端末1に呈示される。
特に、図3に示されるアーキテクチャは、ビデオライブシーンでの文字の表示シーンに適用できる。図4は、文字の表示方法の基礎となる第2シーンの模式図である。
図4に示すように、該シーンにおいて、撮影システムにより撮影された多角度の実景撮影画像は、サーバにおける文字の表示装置によって処理されて、異なる場所に位置する端末1に送信され、各ユーザが視聴することを可能にする。
以下、図1に示される構造を例として、本開示に係る文字の表示方法をさらに説明する。文字の表示方法の図3に示される構造での応用は、図1に示される構造での応用と同様であり、詳細な説明を省略する。
第1態様では、図5を参照すると、図5は、本開示の実施例に係る文字の表示方法のプロセスを示す図である。本開示の実施例に係る文字の表示方法は、ステップ101~ステップ104を含む。
ステップ101では、実景撮影画像を取得する。
ステップ102では、表示対象の文字を取得する。
本開示では、複数の方式を用いて表示対象の文字を取得することができる。
1つの選択可能な実施形態では、ユーザが入力した文字情報を受信することにより、表示対象の文字を直接的に取得する。
別の選択可能な実施形態では、表示装置は、ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、表示対象の文字を取得することができる。
さらに別の選択可能な実施形態では、ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とすることもできる。前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む。
ステップ103では、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行う。
ステップ104では、動的特殊効果処理後の文字を前記実景撮影画像に表示する。
説明されるように、本例が提供した処理方法の実行本体は、上記文字の表示装置である。上記したように、該文字の表示装置は、端末に架設されてもよく、サーバに架設されてもよく、どのような機器に架設されても、それが架設された機器(端末又はサーバ)によってユーザがトリガした操作を受け付け、対応する処理を行い、処理結果を端末に送信して表示することができる。
既知の技術との相違点としては、本開示の基礎となる方案では、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を前記実景撮影画像に表示するステップが含まれる。
本開示の方案を用いることにより、拡張現実表示において、文字に対して動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は、各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。
図6は、本開示に係る文字の表示方法の第1インタフェースの模式図であり、図7は、本開示に係る文字の表示方法の第2インタフェースの模式図である。図6に示すように、先ず、ユーザが文字の表示装置をトリガして該表示機能を実行する場合に、文字の表示装置は、先ず端末の撮影構成要素又は撮影システムとインタラクションすることにより、実景撮影画像を取得する。次に、表示装置は、表示対象の文字を取得し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、図7に示すように、表示装置は、動的特殊効果処理後の文字を実景撮影画像に表示する。
選択可能な実施例では、ステップ103については、以下の方式によって実現され得る。
ステップ1031では、ユーザによる動的特殊効果のタイプの選択命令を受信する。
ステップ1032で、文字の表示装置は、選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すことができる。
その中、動的特殊効果のタイプとは、具体的に、文字の表示装置がユーザに提供するユーザ選択可能な文字効果を指し、文字に対して、異なる動的特殊効果のタイプによって異なる動的特殊効果処理を行い、異なる動的移動軌跡及び異なるレンダリング結果を呈示することを可能にする。異なる動的特殊効果のタイプに対応する文字の移動軌跡データは、開発者によって予め設計され、かつ、サーバの文字の移動軌跡データベースに記憶され、文字の表示装置が随時に呼び出すことを可能にする。
ステップ1023では、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得する。
ステップ1034では、上記取得された文字の移動軌跡データを用いて、前記文字のモデリングデータを処理し、動的特殊効果処理後の文字を取得する。
さらに、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得する。文字のモデリングデータは、具体的に、文字の3次元文字座標で構成されてもよい。図7を例とすると、例えば、文字が「拝啓」であれば、それに応じて、それぞれ「拝」及び「啓」に対してモデリング処理を行い、それぞれ対応する3次元文字モデル「拝」及び「啓」を得る。次に、該2つの3次元文字モデルの中心座標を文字の3次元文字座標とする。
文字の移動軌跡データは、異なる移動フレームでの文字位置座標を含む。たとえば、ある動的特殊効果のタイプで、たとえば、文字移動軌跡はインタフェースの左側からインタフェースの右側に向かって「スライド」し、かつ、該「スライド」時間は1秒(N個の移動フレームに対応)であり、それによって、文字の移動軌跡データは各移動フレームでの文字位置座標を含むことが分かる。
たとえば、第1移動フレームにおける文字位置座標は[(x11、y11、z11)、(x12、y12、z12)]であり、ここで、(x11、y11、z11)は、第1移動フレームにおける「拝」の文字位置座標を表すことに用いられ、(x12、y12、z12)は、第1移動フレームにおける「啓」の文字位置座標を表すことに用いられる。
第N移動フレームにおいて、文字位置座標は[(xN1、yN1、z21)、(xN2、yN2、zN2)]となり、ここで、(xN1、yN1、zN1)は、第N移動フレームにおける「拝」の文字位置座標を表すことに用いられ、(xN2、yN2、zN2)は、第N移動フレームにおける「啓」の文字位置座標を表すことに用いられる。
すなわち、「拝」に対しては、(x11、y11、z11)、(x21、y21、z21)、…、(xN1、yN1、z21)などのN個の移動フレームでの文字位置座標からなる集合は、該N個の移動フレームに対応する時間での移動軌跡となり、同様に、「啓」に対しては、(x12、y12、z12)、(x22、y22、z22)、…、(xN2、yN2、zN2)などのN個の移動フレームでの文字位置座標からなる集合は、該N個の移動フレームに対応する時間での移動軌跡となる。
もちろん、文字位置座標は、各文字の位置座標を表すことに用いられる。すなわち、同じ動的特殊効果のタイプを用いる場合には、数が異なる文字に対応する文字の移動軌跡データにおける文字位置座標も異なる。それに応じて、文字の数が変化すると、表示装置は、該文字における各文字が正確に表示できることを確保するために、各文字の各移動フレームでの文字位置座標を再決定する必要がある。
ステップ1023では、上記取得された文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、動的特殊効果処理後の文字を取得する。
具体的には、該ステップでは、表示装置は、予め設定された座標マッピングスクリプトを用い、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングして、両方が同じ座標系での座標を用いることを確保する。
次に、表示装置は、マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行い、すなわち、文字における各文字の中心点の3次元文字座標を該文字に対応する文字位置座標に合わせ、最後に、前記合わせ処理後の文字を動的特殊効果処理後の文字とする。
選択可能に、本開示に係る方案では、文字の動的特殊効果処理は、文字の文字形状に対する特殊効果処理をさらに含む。ユーザにより選択された異なる動的特殊効果のタイプに基づき、表示装置は、異なる特殊効果処理アルゴリズムを用いて文字の文字形状を処理し、たとえば、「拝」、「啓」の3次元モデルを基礎として、さらに、3次元モデルに対して特殊効果処理を行うことができ、たとえば、文字の3次元モデルに所定の芸術的なスタイルを持たせるようにアートワード処理を行う。
選択可能な実施例では、動的特殊効果処理後の文字を取得した後、動的特殊効果処理後の文字を前記実景撮影画像に表示するステップをさらに含む。具体的には、該ステップは、仮想現実拡張アルゴリズム、たとえば、SLAMの結合アルゴリズムにより実現されてもよく、すなわち、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示する。SLAMの結合アルゴリズムは、仮想情報と実景画像とを結合させて表示する既知のアルゴリズムモデルであり、該結合アルゴリズム及び各移動フレームでの合わせ処理後の文字の3次元文字座標を用いて、文字を実景撮影画像に結合させて表示する機能を実現する。
選択可能に、表示方法には、特殊効果表示領域を選択する機能がさらに含まれる。具体的には、動的特殊効果処理後の文字を前記実景撮影画像に表示するステップは、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定するステップと、前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示するステップと、をさらに含む。
さらに、特殊効果表示領域を決定する過程で、選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像の目標が位置する領域を確認し、前記実景撮影画像の目標が位置する領域に基づいて、前記特殊効果表示領域を決定することができる。
顔に基づく自撮りシーンを例とすると、図8は本開示に係る文字の表示方法の第3インタフェースの模式図であり、図8に示すように、該シーンにおいて、端末のフロントカメラを起動することによって表示装置が顔を含む実景撮影画像を取得でき、次に、インタフェースで提供された複数の動的特殊効果のタイプから1つの動的特殊効果を選択し、実景撮影画像の顔の特殊効果表示領域に対応する文字を表示させる。
具体的には、図8における第3インタフェースには、タイプA、タイプB、タイプC、及びタイプDなどの複数の動的特殊効果のタイプが設定される。ユーザにより選択された「タイプA(たとえば、該タイプAが文字眼鏡特殊効果である)」の特殊効果タイプの命令を受信した場合に、該タイプに基づき、先ず、実景撮影画像において該文字を生成する特殊効果表示領域、たとえば、実景撮影画像における顔の目が位置する領域を決定し、その後、該特殊効果のタイプに対応する文字の移動軌跡データを呼び出し、文字(たとえば、ユーザが入力した「GOOD GIRL」)に対して動的特殊効果処理を行い、最後に、処理された文字を上記取得された特殊効果表示領域(たとえば、目が位置する領域)に表示する。1つの実施例では、さらに関連する仮想物体を特殊効果表示領域に追加し、処理された文字を該仮想物体に表示することができる。たとえば、図8では、さらに、目領域に先ず仮想眼鏡を設置し、処理された文字を仮想眼鏡に表示し、インタフェースの美しさを高めることができる。
図9は、本開示に係る文字の表示方法の第4インタフェースの模式図であり、図9に示すように、表示装置は、該動的特殊効果のタイプに基づいて、現在の実景撮影画像における顔を識別処理し、顔の目の画像における位置領域を確認し、次に、目が位置する領域に基づいて特殊効果表示領域を決定し、それに応じて、顔が画像中で回転し又は位置変化すると、特殊効果表示領域も変化し、それによって、図9に示される模式図を取得する。たとえば、処理された文字の位置及び角度も、顔の位置及び角度の変化によって画面内で変化する。
また、本開示では、文字の表示装置は、複数の方式で表示対象の文字を取得することができる。
1つの選択可能な実施形態では、ユーザが入力した文字情報を受信することにより、表示対象の文字を直接的に取得する。
別の選択可能な実施形態では、表示装置は、ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行って、表示対象の文字を取得することができる。
さらに別の選択可能な実施形態では、表示装置は、さらに、ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とすることもできる。前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む。
本開示の実施例に係る文字の表示方法は、実景撮影画像を取得し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を前記実景撮影画像に表示することにより、仮想拡張現実表示において、文字に対して動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は、各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。
上記実施例の文字の表示方法に対応して、図10は、本開示の実施例に係る文字の表示装置の構成ブロック図である。説明を容易にするために、本開示の実施例に関連する部分のみが表示されている。図10を参照すると、前記文字の表示装置は、通信モジュール10、処理モジュール20、及び表示モジュール30を含む。
通信モジュール10は、実景撮影画像及び表示対象の文字を取得することに用いられる。
処理モジュール20は、文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うことに用いられる。
表示モジュール30は、動的特殊効果処理後の文字を前記実景撮影画像に表示することに用いられる。
選択可能な実施形態では、通信モジュール10は、ユーザによる動的特殊効果のタイプの選択命令を受信することに用いられ、
処理モジュール20は、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定することに用いられ、
表示モジュール30は、前記動的特殊効果処理後の文字を、前記実景撮影画像の特殊効果表示領域に表示することに用いられる。
処理モジュール20は、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定することに用いられ、
表示モジュール30は、前記動的特殊効果処理後の文字を、前記実景撮影画像の特殊効果表示領域に表示することに用いられる。
選択可能な実施形態では、処理モジュール20は、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像における識別対象の目標が位置する画像領域を確認することと、前記識別対象の目標が位置する画像領域に基づいて、前記特殊効果表示領域を決定することと、に用いられる。
選択可能な実施形態では、通信モジュール10は、ユーザによる動的特殊効果のタイプの選択命令を受信することに用いられ、
処理モジュール20は、具体的に、選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すことと、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得することと、文字の移動軌跡データを用いて、前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得することと、に用いられる。
処理モジュール20は、具体的に、選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すことと、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得することと、文字の移動軌跡データを用いて、前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得することと、に用いられる。
選択可能な実施形態では、前記文字のモデリングデータは、文字の3次元文字座標を含み、前記文字の移動軌跡データは、異なる移動フレームでの文字位置座標を含み、処理モジュール20は、具体的に、予め設定された座標マッピングスクリプトを用い、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングすることと、マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うことと、前記合わせ処理後の文字を前記動的特殊効果処理後の文字とすることと、に用いられる。
選択可能な実施形態では、処理モジュール20は、具体的に、文字の文字形状に対して特殊効果処理を行うことに用いられる。
選択可能な実施形態では、表示モジュール30は、具体的に、拡張現実表示技術に基づき、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示することに用いられる。
選択可能な実施形態では、通信モジュール10は、さらに、ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、前記表示対象の文字を取得することに用いられる。
選択可能な実施形態では、通信モジュール10は、さらに、ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とすることに用いられる。
選択可能な実施形態では、前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む。
本開示の実施例に係る文字の表示装置は、実景撮影画像を取得し、かつ、表示対象の文字を取得し、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行い、動的特殊効果処理後の文字を前記実景撮影画像に表示することにより、仮想拡張現実表示において文字に対して、動的特殊効果の表示を行う機能を実現し、文字の表示効果がより鮮明になり、該表示方法は各応用シーンに広く応用され、より良好な視覚感覚体験をユーザに与えることができる。
本実施例に係る電子機器は、上記方法実施例の技術的解決手段を実行することに用いることができ、その実現原理及び技術的効果は同様であり、本実施例では、ここで詳細な説明を省略する。
図11を参照すると、本開示の実施例を実現するのに適する電子機器900の構造模式図が表示され、該電子機器900は、端末機器又はメディアライブラリであってもよい。端末機器は、たとえば、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント(Personal Digital Assistant、PDAと略称する)、タブレットコンピュータ(Portable Android Device、PADと略称する)、可搬式マルチメディア再生機(Portable Media Player、PMPと略称する)、車載端末(たとえば、車載ナビゲーション端末)などの移動端末及びデジタルTV、デスクトップコンピュータなどの固定端末を含んでもよいが、これらに限定されない。図11に示される電子機器は、単なる一例であり、本開示の実施例の機能及び使用範囲を制限するものではない。
図11に示すように、電子機器900は、文字の表示方法(たとえば、中央プロセッサ、グラフィックスプロセッサなど)901を含んでもよく、それは、読み取り専用メモリ(Read Only Memory、ROMと略称する)902に記憶されたプログラム又は記憶装置908からランダムアクセスメモリ(Random Access Memory、RAMと略称する)903にアップロードされたプログラムに基づいて、様々な適切な動作及び処理を実行することができる。RAM903には、電子機器900の操作に必要な様々なプログラム及びデータがさらに記憶されている。文字の表示方法901、ROM902、及びRAM903は、バス904を介して互いに接続されている。入力/出力(I/O)インタフェース905も、また、バス904に接続される。
通常、たとえば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置906、たとえば、スクリーン、スピーカ、発振器などを含む出力装置907、たとえば、磁気テープ、ハードディスクなどを含む記憶装置908、及び、通信装置909などの装置は、I/Oインタフェース905に接続されてもよい。通信装置909は、電子機器900が他の機器と無線又は有線通信を行ってデータを交換することを可能にする。図11には、様々な装置を有する電子機器900が示されているが、全ての図示された装置を実施するか又は備えることを要求しないことを理解すべきである。より多くの又はより少ない装置を代替的に実施するか又は備えることができる。
特に、本開示の実施例によれば、フローチャートを参照して説明された上記過程は、コンピュータソフトウェアプログラムとして実現されてもよい。たとえば、本開示の実施例は、コンピュータプログラム製品を含み、それは、コンピュータ可読媒体に担持されたコンピュータプログラムを含み、該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは、通信装置909を介して、ネットワークからダウンロードされインストールされてもよく、又は、記憶装置908からインストールされてもよく、又は、ROM902からインストールされてもよい。該コンピュータプログラムが文字の表示方法901によって実行されるとき、本開示の実施例の方法で限定される上記機能を実行する。
説明されるように、本開示の上記コンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、たとえば、電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、もしくは、これらの任意の組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、1つ又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は、上記任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示では、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形媒体であってもよく、該プログラムは、命令実行システム、装置、又はデバイスによって使用されてもよく、又は、これらと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体は、ベースバンド中の又は搬送波の一部として伝播されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが担持される。このように伝播されるデータ信号は、様々な形式を用いてもよく、電磁信号、光信号、又は上記任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスによって使用されるか、又は、これらと組み合わせて使用されるプログラムを送信、伝播、又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体で伝送されてもよく、ワイヤー、ケーブル、RF(無線周波数)など、又は、上記任意の適切な組み合わせを含むが、これらに限定されない。
上記コンピュータ可読媒体は、上記電子機器に含まれてもよく、該電子機器に組み込まれずに、単独で存在してもよい。
上記コンピュータ可読媒体には、1つ又は複数のプログラムが担持され、上記1つ又は複数のプログラムが該電子機器によって実行されるとき、該電子機器に、上記実施例に示される方法を実行させる。
1つ又は複数のプログラミング言語、又は、それらの組み合わせで、本開示の操作を実行するためのコンピュータプログラムコードを作成することができる。上記プログラミング言語は、たとえば、Java(登録商標)、Smalltalk、C++(登録商標)などのオブジェクト指向プログラミング言語を含み、「C」言語などの通常の手続き型プログラミング言語又は類似するプログラミング言語、をさらに含む。プログラムコードは、ユーザコンピュータで完全に実行されてもよく、ユーザコンピュータで部分的に実行されてもよく、1つの独立したソフトウェアパッケージとして実行されてもよく、一部がユーザコンピュータで実行され、他部がリモートコンピュータで実行されてもよく、又は、リモートコンピュータ又はメディアライブラリ上で完全に実行されてもよい。リモートコンピュータに関連する場合に、リモートコンピュータは、ローカルエリアネットワーク(Local Area Network、LANと略称する)、又は、ワイドエリアネットワーク(Wide Area Network、WANと略称する)などの任意の種類のネットワークを介してユーザコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい(たとえば、インターネットサービスプロバイダを利用してインターネットを介して接続される)。
図面におけるフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法、及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能、及び操作を示している。この点で、フローチャート又はブロック図における各ボックスは、1つのモジュール、プログラムセグメント、又はコードの一部を代表してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定された論理機能を実現するための1つ又は複数の実行可能命令を含む。なお、いくつかの代替的な実現では、ボックスにマークされた機能は、図面にマークされた順序とは異なる順序で実行されてもよい。たとえば、連続して示された2つのボックスは、実際に、ほぼ並行して実行されてもよく、逆の順序で実行されてもよく、これは、関連する機能により決められる。なお、ブロック図及び/又はフローチャートにおける各ボックス、及びブロック図、及び/又はフローチャートにおけるボックスの組み合わせは、規定された機能又は操作を実行するハードウェアに基づく専用システムで実現されてもよく、又は、専用ハードウェアとコンピュータの命令との組み合わせで実現されてもよい。
本開示の実施例に関連して説明されたユニットは、ソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。場合によっては、ユニットの名称は、該ユニット自体を限定するものではなく、たとえば、第1取得ユニットは、さらに「少なくとも2つのインターネットプロトコルアドレスを取得するユニット」として説明されてもよい。
本明細書で説明された上記機能は、1つ又は複数のロジックハードウエアによって少なくとも部分的に実行されてもよい。たとえば、非限定的に、使用可能な例示的なタイプのロジックハードウエアは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)などを含む。
本開示の文脈では、機械可読媒体は、有形媒体であってもよく、命令実行システム、装置又は機器が使用するか、又は、命令実行システム、装置、又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体のシステム、装置、又は機器、又は、上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、1つ又は複数の線に基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶機器、磁気記憶機器、又は、上記内容の任意の適切な組み合わせを含む。
以下、本開示のいくつかの実施例が示されている。
第1態様では、本開示の1つ又は複数の実施例によれば、文字の表示方法は、
実景撮影画像を取得するステップと、
表示対象の文字を取得するステップと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うステップと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するステップと、を含む。
実景撮影画像を取得するステップと、
表示対象の文字を取得するステップと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うステップと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するステップと、を含む。
選択可能な実施形態では、動的特殊効果処理後の文字を前記実景撮影画像に表示する前記ステップは、
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定するステップと、
前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示するステップと、を含む。
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定するステップと、
前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示するステップと、を含む。
選択可能な実施形態では、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定する前記ステップは、
選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像における識別対象の目標が位置する画像領域を確認するステップと、
前記識別対象の目標が位置する画像領域に基づいて、前記特殊効果表示領域を決定するステップと、を含む。
選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像における識別対象の目標が位置する画像領域を確認するステップと、
前記識別対象の目標が位置する画像領域に基づいて、前記特殊効果表示領域を決定するステップと、を含む。
選択可能な実施形態では、文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行う前記ステップは、
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すステップと、
選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得するステップと、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得するステップと、を含む。
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すステップと、
選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得するステップと、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得するステップと、を含む。
選択可能な実施形態では、前記文字のモデリングデータは、文字の3次元文字座標を含み、
前記文字の移動軌跡データは、移動軌跡の異なる移動フレームでの文字位置座標を含み、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、動的特殊効果処理後の文字を取得する前記ステップは、
予め設定された座標マッピングスクリプトを用いて、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングするステップと、
マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うステップと、
前記合わせ処理後の文字を前記動的特殊効果処理後の文字とするステップと、を含む。
前記文字の移動軌跡データは、移動軌跡の異なる移動フレームでの文字位置座標を含み、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、動的特殊効果処理後の文字を取得する前記ステップは、
予め設定された座標マッピングスクリプトを用いて、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングするステップと、
マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うステップと、
前記合わせ処理後の文字を前記動的特殊効果処理後の文字とするステップと、を含む。
選択可能な実施形態では、前記動的特殊効果処理は、
文字の文字形状に対する特殊効果処理を、さらに含む。
文字の文字形状に対する特殊効果処理を、さらに含む。
選択可能な実施形態では、動的特殊効果処理後の文字を前記実景撮影画像に表示する前記ステップは、
拡張現実表示技術に基づき、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示するステップを含む。
拡張現実表示技術に基づき、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示するステップを含む。
選択可能な実施形態では、該方法は、
ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、前記表示対象の文字を取得するステップを、さらに含む。
ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、前記表示対象の文字を取得するステップを、さらに含む。
選択可能な実施形態では、該方法は、
ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とするステップを、さらに含む。
ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とするステップを、さらに含む。
選択可能な実施形態では、前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む。
第2態様では、本開示の1つ又は複数の実施例によれば、文字の表示装置は、
実景撮影画像及び表示対象の文字を取得するための通信モジュールと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うための処理モジュールと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するための表示モジュールと、を含む。
実景撮影画像及び表示対象の文字を取得するための通信モジュールと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うための処理モジュールと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するための表示モジュールと、を含む。
選択可能な実施形態では、通信モジュールは、ユーザによる動的特殊効果のタイプの選択命令を受信することに用いられ、
処理モジュールは、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定することに用いられ、
表示モジュールは、前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示することに用いられる。
処理モジュールは、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定することに用いられ、
表示モジュールは、前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示することに用いられる。
選択可能な実施形態では、処理モジュールは、さらに、選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像における識別対象の目標が位置する画像領域を確認することと、前記識別対象の目標が位置する画像領域に基づいて前記特殊効果表示領域を決定することと、に用いられる。
選択可能な実施形態では、通信モジュールは、ユーザによる動的特殊効果のタイプの選択命令を受信することに用いられ、
処理モジュールは、具体的に、選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すことと、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得することと、文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得することと、に用いられる。
処理モジュールは、具体的に、選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すことと、選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得することと、文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得することと、に用いられる。
選択可能な実施形態では、前記文字のモデリングデータは、文字の3次元文字座標を含み、前記文字の移動軌跡データは、異なる移動フレームでの文字位置座標を含み、
処理モジュールは、具体的に、予め設定された座標マッピングスクリプトを用い、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングすることと、マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うことと、前記合わせ処理後の文字を前記動的特殊効果処理後の文字とすることと、に用いられる。
処理モジュールは、具体的に、予め設定された座標マッピングスクリプトを用い、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングすることと、マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うことと、前記合わせ処理後の文字を前記動的特殊効果処理後の文字とすることと、に用いられる。
選択可能な実施形態では、処理モジュールは、具体的に、文字の文字形状に対して特殊効果処理を行うこと、に用いられる。
選択可能な実施形態では、表示モジュールは、具体的に、拡張現実表示技術に基づき、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示すること、に用いられる。
選択可能な実施形態では、通信モジュールは、さらに、ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、前記表示対象の文字を取得すること、に用いられる。
選択可能な実施形態では、通信モジュールは、さらに、ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とすること、に用いられる。
選択可能な実施形態では、前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む。
第3態様では、本開示の1つ又は複数の実施例によれば、電子機器は、少なくとも1つのプロセッサとメモリとを含み、
前記メモリにはコンピュータ実行命令が記憶され、
前記少なくとも1つのプロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行し、前記少なくとも1つのプロセッサに上記いずれか1項に記載の文字の表示方法を実行させる。
前記メモリにはコンピュータ実行命令が記憶され、
前記少なくとも1つのプロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行し、前記少なくとも1つのプロセッサに上記いずれか1項に記載の文字の表示方法を実行させる。
第4態様では、本開示の1つ又は複数の実施例によれば、コンピュータ可読記憶媒体については、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶され、プロセッサが前記コンピュータ実行命令を実行するとき、上記いずれか1項に記載の文字の表示方法を実現する。
以上の説明は、本開示の好ましい実施例及び使用される技術原理に対する説明に過ぎない。当業者であれば理解されるように、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせからなる技術的解決手段に限定されず、上記開示の構想を離脱することなく、上記技術的特徴又はその同等の特徴を任意に組み合わせて形成された別の技術的解決手段も含むべきである。たとえば、上記特徴と、本開示に開示されている(限定さない)類似する機能を有する技術的特徴とを互いに置き換えて形成された技術的解決手段が挙げられる。
また、特定の順序で各操作が説明されたが、これらの操作が示された特定の順序で実行されるか又は順次実行されることを要求するものとして理解されるべきではない。場合により、マルチタスク及び並行処理は有利である可能性がある。同様に、上記論述には複数の具体的な実現詳細が含まれるが、これらは、本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明された、いくつかの特徴は、単一の実施例において、組み合わせて実現されてもよい。逆に、単一の実施例の文脈で説明された様々な特徴は、複数の実施例において、別々に又は任意の適切なサブ組み合わせの方式で実現されてもよい。
構造的特徴及び/又は方法の論理的動作に固有の言語で本主題が説明されたが、添付の特許請求の範囲で限定された主題は、必ずしも上記説明された特定の特徴又は動作に限定されるものではない。逆に、上記説明された特定の特徴及び動作は特許請求の範囲を実現するための例示的な形式に過ぎない。
Claims (13)
- 文字の表示方法であって、
実景撮影画像を取得するステップと、
表示対象の文字を取得するステップと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うステップと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するステップと、
を含む、方法。 - 動的特殊効果処理後の文字を前記実景撮影画像に表示する前記ステップは、
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定するステップと、
前記動的特殊効果処理後の文字を前記実景撮影画像の特殊効果表示領域に表示するステップと、
を含む、請求項1に記載の方法。 - 選択された動的特殊効果のタイプに基づき、前記実景撮影画像における特殊効果表示領域を決定する前記ステップは、
選択された動的特殊効果のタイプに基づき、前記実景撮影画像に対して目標識別処理を行い、前記実景撮影画像における識別対象の目標が位置する画像領域を確認するステップと、
前記識別対象の目標が位置する画像領域に基づいて前記特殊効果表示領域を決定するステップと、を含む、
請求項2に記載の方法。 - 文字の移動軌跡データを呼び出し、表示対象の文字に対して動的特殊効果処理を行う前記ステップは、
ユーザによる動的特殊効果のタイプの選択命令を受信するステップと、
選択された動的特殊効果のタイプに基づき、文字の移動軌跡データベースから対応するタイプの文字の移動軌跡データを呼び出すステップと、
選択された動的特殊効果のタイプに基づき、前記表示対象の文字の3次元文字モデリングを生成し、文字のモデリングデータを取得するステップと、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得するステップと、
を含む、請求項1~3のいずれか1項に記載の方法。 - 前記文字のモデリングデータは、文字の3次元文字座標を含み、
前記文字の移動軌跡データは、移動軌跡の異なる移動フレームでの文字位置座標を含み、
文字の移動軌跡データを用いて前記文字のモデリングデータを処理し、前記動的特殊効果処理後の文字を取得する前記ステップは、
予め設定された座標マッピングスクリプトを用い、前記文字の3次元文字座標を文字の移動軌跡データの基礎となる座標系にマッピングするステップと、
マッピングされた文字の3次元文字座標と文字の移動軌跡データにおける各移動フレームでの文字位置座標に対して座標合わせ処理を行うステップと、
前記座標合わせ処理後の文字を前記動的特殊効果処理後の文字とするステップと、
を含む、請求項4に記載の方法。 - 前記動的特殊効果処理は、さらに、
文字の文字形状に対する特殊効果処理を含む、
請求項1~5のいずれか1項に記載の方法。 - 動的特殊効果処理後の文字を前記実景撮影画像に表示する前記ステップは、
拡張現実表示技術に基づき、前記動的特殊効果処理後の文字と前記実景撮影画像とを結合処理し、結合処理された前記実景撮影画像を表示するステップを含む、
請求項1に記載の方法。 - 前記方法は、さらに、
ユーザが入力した音声を取得し、前記音声に対して音声変換処理を行い、前記表示対象の文字を取得するステップを含む、
請求項1~7のいずれか1項に記載の方法。 - 前記方法は、さらに、
ユーザが入力したジェスチャ情報を取得し、予め設定されたジェスチャ情報と文字との間のマッピング関係に基づき、前記ジェスチャ情報の対応する文字を決定し、前記ジェスチャ情報の対応する文字を前記表示対象の文字とするステップを含む、
請求項1~7のいずれか1項に記載の方法。 - 前記ジェスチャ情報は、手話情報、手振り情報、顔表情情報のうちの1つ又は複数の情報を含む、
請求項9に記載の方法。 - 実景撮影画像を取得し、表示対象の文字を取得するための通信モジュールと、
文字の移動軌跡データを呼び出し、前記表示対象の文字に対して動的特殊効果処理を行うための処理モジュールと、
動的特殊効果処理後の文字を前記実景撮影画像に表示するための表示モジュールと、
を含む、文字の表示装置。 - 少なくとも1つのプロセッサと、
メモリと、を含み、
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも1つのプロセッサが前記メモリに記憶された前記コンピュータ実行命令を実行すると、前記少なくとも1つのプロセッサに請求項1~10のいずれか1項に記載の方法を実行させる、電子機器。 - コンピュータ実行命令が保管されており、
プロセッサが前記コンピュータ実行命令を実行すると、
請求項1~10のいずれか1項に記載の方法を実施させる、
コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010948338.5A CN112053450A (zh) | 2020-09-10 | 2020-09-10 | 文字的显示方法、装置、电子设备及存储介质 |
CN202010948338.5 | 2020-09-10 | ||
PCT/SG2021/050491 WO2022055419A2 (zh) | 2020-09-10 | 2021-08-23 | 文字的显示方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023542598A true JP2023542598A (ja) | 2023-10-11 |
Family
ID=73610437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023504123A Pending JP2023542598A (ja) | 2020-09-10 | 2021-08-23 | 文字の表示方法、装置、電子機器及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11836437B2 (ja) |
EP (1) | EP4170599A4 (ja) |
JP (1) | JP2023542598A (ja) |
CN (1) | CN112053450A (ja) |
WO (1) | WO2022055419A2 (ja) |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075349A (zh) * | 2007-06-22 | 2007-11-21 | 珠海金山软件股份有限公司 | 一种在svg中表达演示动画效果的方法 |
EP2901413B1 (en) * | 2012-09-28 | 2019-05-08 | Apple Inc. | Method of image processing for an augmented reality application |
CN103729878A (zh) | 2013-12-19 | 2014-04-16 | 江苏锐天信息科技有限公司 | 一种基于wpf的三维图形实现方法及三维文字实现方法 |
US10146318B2 (en) * | 2014-06-13 | 2018-12-04 | Thomas Malzbender | Techniques for using gesture recognition to effectuate character selection |
KR102410449B1 (ko) * | 2015-06-30 | 2022-06-16 | 매직 립, 인코포레이티드 | 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법 |
CN105184840A (zh) * | 2015-07-17 | 2015-12-23 | 天脉聚源(北京)科技有限公司 | 动画显示拼字的方法和装置 |
CN106100983A (zh) * | 2016-08-30 | 2016-11-09 | 黄在鑫 | 一种基于增强现实与gps定位技术的移动社交网络系统 |
US10402211B2 (en) * | 2016-10-21 | 2019-09-03 | Inno Stream Technology Co., Ltd. | Method for processing innovation-creativity data information, user equipment and cloud server |
US10914957B1 (en) * | 2017-05-30 | 2021-02-09 | Apple Inc. | Video compression methods and apparatus |
CN107590860A (zh) * | 2017-09-07 | 2018-01-16 | 快创科技(大连)有限公司 | 一种基于ar技术的ar名片数据管理系统 |
CN108337547B (zh) * | 2017-11-27 | 2020-01-14 | 腾讯科技(深圳)有限公司 | 一种文字动画实现方法、装置、终端和存储介质 |
US10565761B2 (en) * | 2017-12-07 | 2020-02-18 | Wayfair Llc | Augmented reality z-stack prioritization |
CN108022306B (zh) * | 2017-12-30 | 2021-09-21 | 华自科技股份有限公司 | 基于增强现实的场景识别方法、装置、存储介质和设备 |
CN110858903B (zh) * | 2018-08-22 | 2022-07-12 | 华为技术有限公司 | 色度块预测方法及装置 |
CN109035421A (zh) * | 2018-08-29 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN110874859A (zh) * | 2018-08-30 | 2020-03-10 | 三星电子(中国)研发中心 | 一种生成动画的方法和设备 |
US11080330B2 (en) * | 2019-02-26 | 2021-08-03 | Adobe Inc. | Generation of digital content navigation data |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
CN111274910B (zh) * | 2020-01-16 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 场景互动方法、装置及电子设备 |
CN111476911B (zh) * | 2020-04-08 | 2023-07-25 | Oppo广东移动通信有限公司 | 虚拟影像实现方法、装置、存储介质与终端设备 |
CN111415422B (zh) * | 2020-04-17 | 2022-03-18 | Oppo广东移动通信有限公司 | 虚拟对象调整方法、装置、存储介质与增强现实设备 |
CN111640193A (zh) * | 2020-06-05 | 2020-09-08 | 浙江商汤科技开发有限公司 | 文字处理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-09-10 CN CN202010948338.5A patent/CN112053450A/zh active Pending
-
2021
- 2021-08-23 EP EP21867239.2A patent/EP4170599A4/en active Pending
- 2021-08-23 JP JP2023504123A patent/JP2023542598A/ja active Pending
- 2021-08-23 WO PCT/SG2021/050491 patent/WO2022055419A2/zh unknown
-
2022
- 2022-11-30 US US18/060,454 patent/US11836437B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN112053450A (zh) | 2020-12-08 |
EP4170599A2 (en) | 2023-04-26 |
WO2022055419A3 (zh) | 2022-05-05 |
US11836437B2 (en) | 2023-12-05 |
US20230177253A1 (en) | 2023-06-08 |
EP4170599A4 (en) | 2023-08-30 |
WO2022055419A2 (zh) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
CN110058685B (zh) | 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质 | |
WO2021008166A1 (zh) | 用于虚拟试衣的方法和装置 | |
CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
CN111414225B (zh) | 三维模型远程展示方法、第一终端、电子设备及存储介质 | |
WO2020248900A1 (zh) | 全景视频的处理方法、装置及存储介质 | |
CN113228625A (zh) | 支持复合视频流的视频会议 | |
CN110378947B (zh) | 3d模型重建方法、装置及电子设备 | |
WO2022095468A1 (zh) | 增强现实场景下的展示方法、装置、设备、介质及程序 | |
US11587280B2 (en) | Augmented reality-based display method and device, and storage medium | |
KR102646977B1 (ko) | 증강 현실에 기반한 디스플레이 방법 및 장치, 및 저장 매체 | |
CN111833458A (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
CN114677386A (zh) | 特效图像处理方法、装置、电子设备及存储介质 | |
US20220335684A1 (en) | Finite aperture omni-directional stereo light transport | |
CN113870439A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN111862349A (zh) | 虚拟画笔实现方法、装置和计算机可读存储介质 | |
CN111818265B (zh) | 基于增强现实模型的交互方法、装置、电子设备及介质 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
CN109636917B (zh) | 三维模型的生成方法、装置、硬件装置 | |
CN112528707A (zh) | 图像处理方法、装置、设备及存储介质 | |
JP2023542598A (ja) | 文字の表示方法、装置、電子機器及び記憶媒体 | |
CN116527993A (zh) | 视频的处理方法、装置、电子设备、存储介质和程序产品 | |
CN114596383A (zh) | 线条特效处理方法、装置、电子设备、存储介质及产品 | |
US20210150815A1 (en) | Method and apparatus for creating augmented reality content | |
CN111862342A (zh) | 增强现实的纹理处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |