JP7098120B2 - 画像処理方法、装置及記憶媒体 - Google Patents
画像処理方法、装置及記憶媒体 Download PDFInfo
- Publication number
- JP7098120B2 JP7098120B2 JP2020505230A JP2020505230A JP7098120B2 JP 7098120 B2 JP7098120 B2 JP 7098120B2 JP 2020505230 A JP2020505230 A JP 2020505230A JP 2020505230 A JP2020505230 A JP 2020505230A JP 7098120 B2 JP7098120 B2 JP 7098120B2
- Authority
- JP
- Japan
- Prior art keywords
- real object
- social network
- image data
- environment
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 19
- 230000003190 augmentative effect Effects 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 77
- 238000009877 rendering Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 13
- 238000005034 decoration Methods 0.000 description 65
- 230000001815 facial effect Effects 0.000 description 32
- 230000000694 effects Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 239000011521 glass Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000006855 networking Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009189 diving Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
一態様によれば、本出願の実施例は画像処理方法を提供し、
取得された画像データから、環境での実オブジェクトの特徴を認識し、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有すると決定し、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得し、
取得された画像データに応じてレンダリングし、
レンダリングして形成された画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成する、ことを含む。
取得された画像データから、環境での実オブジェクトの特徴を認識するための認識モジュールと、
前記実オブジェクトの特徴で、ソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有すると決定するための照会モジュールと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得するためのモデルモジュールと、
取得された画像データに応じて、レンダリングし、レンダリングして形成された画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成するためのレンダリングモジュールとを含む。
実行可能なプログラムを記憶するためのメモリと、
前記メモリに記憶されている実行可能なプログラムを実行する場合に、本出願の実施例で提供される画像処理方法を実現するプロセッサとを含む。
1) 画像データから実オブジェクトの特徴を認識しソーシャルネットワークを照会する形態によれば、ソーシャルネットワークの任意のシーンにおける画像データについて、ソーシャルネットワークに属する実オブジェクトを迅速に認識し、相応するシーンに、ソーシャルネットワークにおける実オブジェクトに適応する拡張現実効果をフュージョンし、一緒に表示される実オブジェクトと仮想オブジェクトとを形成し、ソーシャルネットワークにオブジェクトを拡張する展示方式を提供し、仮想―現実結合の效果を達成することができる。
2) ソーシャルネットワークにおいて異なる実オブジェクトについての拡張現実モデルは多様化の特性を有し、これにより、画像データのレンダリングに適用される場合に、異なるオブジェクトの差別化の表示效果を実現する。
メンバーがソーシャルネットワークの登録ユーザであることを表す登録ユーザ属性と、
メンバーが支払いを受け取るアカウントであることを表す支払いオブジェクト属性と、
被共有物品属性とも呼ばれ、メンバーがソーシャルネットワークで共有される物品、例えば、美食や製品等の様々な物品であることを表す被共有オブジェクト属性と、
メンバーがソーシャルネットワークで共有されるメディア情報、例えば、ビデオ、オーディオ、携帯電話ゲーム等、実際の形態を持たない様々な製品であることを表す被共有メディア情報属性とを含む。
本出願のオプションの実施例において、局所的な特徴に基づく方法は、顔の局所的な幾何学的特徴、例えば、幾つかの顔器官(目、鼻、口等)の相対位置と、相対距離を利用して顔を記述してもよい。その特徴成分は、通常、特徴点間のユークリッド距離、曲率、及び角度を含み、顔の明らかな特徴の効率的な記述を実現することができる。
ここで、全体に基づく方法は、顔画像を全体として、それにある変換処理を行い、特徴を認識することであり、この方法は顔の属性全体を考慮し、顔の構成要素の間のトポロジカル関係と各構成要素自身の情報も保留する。
本出願のオプションの実施例において、実オブジェクトの特徴でソーシャルネットワークの特徴データベースを照会し、実オブジェクトがソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークに属する登録ユーザであると決定する。
本出願のオプションの実施例において、実オブジェクトの特徴でソーシャルネットワークの特徴データベースを照会し、実オブジェクトがソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、実オブジェクトがソーシャルネットワークの被共有オブジェクトであると決定する。
本出願のオプションの実施例において、ソーシャルネットワークから実オブジェクトに適応する拡張現実モデルを取得する前に、まず、クライアントのバッファ又はホストデバイスのデータベースにおいて、ソーシャルネットワークにおける実オブジェクトのIDで、実オブジェクトに適応する拡張現実モデルを照会し、このようにすれば、ローカルクライアントに既に対応する拡張現実モデルが記憶されている場合について、毎回ソーシャルネットワークに要求する必要はなく、拡張現実モデルにおける仮想オブジェクトのレンダリング速度を加速させ、遅延を最大限に減少することができる。
ローカルクライアントのホストデバイスのバッファとデータベースとで実オブジェクトの拡張現実モデルが照会されなかった場合、実オブジェクトのIDでソーシャルネットワークのサーバにおいて実オブジェクトを記憶する拡張現実モデルを照会する。
ソーシャルネットワークのインスタントメッセージング通信シーンでは、スマートフォンやコンピュータ等のデバイスにインストールされているクライアントが拡張現実モデルを取得すると、拡張現実モデルと、インスタントメッセージング通信で伝送される画像データにキャリアされる実オブジェクトとを合成し、合成されたビデオ又は画像の方式でスマートフォンのスクリーン又はコンピュータのスクリーンに表示する。
VRメガネは、ビデオ合成技術の透過型のHMDの表示方式に基づいて、カメラにより現実世界のビデオ又は画像を取得し、次に、発生した又は取得した仮想オブジェクトと、当該現実世界のビデオ又は画像とを合成し、相応するレンダリングを行い、次に、HMDを通じてディスプレイに表示する。
ローカルクライアントのユーザは、インスタントメッセージング(QQ、WeChat等を含む)を使用してピアユーザ(例えば、親戚や友人)とビデオチャットする際に、ユーザがローカルクライアントでカメラを呼び出してビデオ又は画像をリアルタイムで撮影することで、実オブジェクトについてのビデオ又は画像のパラメータを取得し、パーソナライゼーションを強調し、チャットの雰囲気を盛り上げるために、ビデオ又は画像を撮影する前に (ビデオ又は画像の撮影中であってもよい)実オブジェクトに相応する仮想オブジェクト、例えば、パーソナライゼーションの装飾と仮想背景とを追加する。ピアクライアントのユーザにとって、当該ユーザはカメラを使用してビデオ又は写真の撮影を実施する場合に、ローカルユーザと同様に、撮影されたビデオ又はピクチャを装飾するか、撮影されたビデオ又は写真をローカルユーザに直接伝送して、ローカルユーザが上記の装飾操作を実行してもよい。
ローカルユーザは、インスタントメッセージング(QQ、WeChat等を含む)を使用してピアユーザ(例えば、親戚や友人)とビデオチャットする際に、ユーザの両方は、面白くて素敵だと思うビデオ又は写真を相手に送る可能性があり、 例えば、ローカルユーザ(又はピアユーザ)が食事の写真を撮影した後、インスタントメッセージングクライアントは当該写真内の実オブジェクトの特徴を認識し、認識された特徴に応じて、対応する装飾をマッチングし、次に、その写真の上に、マッチングした装飾を追加してからをピアユーザ(又はローカルユーザ)に送信する。
ローカルクライアント、例えば、モバイルQQのユーザは、クライアントの「スキャン」オプションをクリックし、次に「QQ-AR」を選択して、スキャンされるユーザの顔を狙い、次に、スクリーンに、スキャンしている実オブジェクトに関するアニメーションを表示する。アニメーションが終了すると、スキャンが成功したことを表し、つまり、キャプチャされた画像データから環境での実オブジェクトの特徴を認識し、ソーシャルネットワークから特徴に基づいて、対応するIDを照会して、照会されたIDに応じて、ユーザが予め設置したAR装飾をローカルクライアントにプルし、スキャンされた顔の上に装飾の効果を即時に形成する。
ローカルクライアント、例えば、モバイルQQのユーザは「QQ-AR」を通じて、カメラを用いて自分の顔を狙い、その後、スクリーンに顔をスキャンしているアニメーションが表示され、アニメーションが終了すると、顔のスキャンが成功したことを表す。スクリーンの下側に少なくとも一つのパーソナライゼーションの装飾を表示し、ユーザは、好きなパーソナライゼーションの装飾を選択した後、パーソナライゼーションの装飾はスクリーンに適用される。さらに、パーソナライゼーションの装飾は仮想アイテム、仮想背景及びフィルター等であってもよく、仮想アイテムは帽子、メガネ又は他の顔ウィジェット等であってもよい。ユーザがパーソナライゼーションの装飾をアップロードすることをクリックして決定すると、ユーザの顔写真とパーソナライゼーションのAR装飾とがそれぞれサーバにアップロードされ、ユーザのQQ番号とバインドする。
1)画像データから特徴を認識しソーシャルネットワークを照会する形態によれば、ソーシャルネットワークの任意のシーンにおける画像データについて、ソーシャルネットワークに属する実オブジェクトを迅速に認識でき、相応するシーンで、ソーシャルネットワークにおける実オブジェクトに適応する拡張現実効果をフュージョンすることができる。
101 プロセッサ
102 メモリ
103 ディスプレイコンポーネント
104 通信インターフェース
105 カメラ
210 認識モジュール
220 照会モジュール
230 モデルモジュール
240 レンダリングモジュール
1021 クライアント
1022 オペレーティングシステム
1023 データベース
Claims (21)
- 画像処理装置に適用される画像処理方法であって、
取得した画像データから、環境における実オブジェクトの特徴を認識することと、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定することであって、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会することと、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定することと、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定することとを含む、ことと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することと、
取得した画像データに応じて、レンダリングすることと、
レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成することとを含むことを特徴とする方法。 - 前記した取得した画像データから、環境における実オブジェクトの特徴を認識することは、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを含むことを特徴とする請求項1に記載の方法。 - 前記したキャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することは、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを含むことを特徴とする請求項2に記載の方法。 - 前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、
認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断することをさらに含み、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも1つを含むことを特徴とする請求項1に記載の方法。 - 前記した前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することは、
前記実オブジェクトが、前記ソーシャルネットワークにおける登録ユーザである場合に、前記登録ユーザが前記ソーシャルネットワークに予め設置した仮想アイテム、仮想背景、及びフィルターの少なくとも一つを含む仮想オブジェクトを取得し、
前記実オブジェクトが、前記ソーシャルネットワークの被共有オブジェクトの属性を有する場合に、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する仮想オブジェクトを取得し、前記仮想オブジェクトは、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する記事と、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する広告との少なくとも一つを含むことを特徴とする請求項1に記載の方法。 - 前記した取得した画像データから、環境における実オブジェクトの特徴を認識することは、
サーバの認識サービスを呼び出し、取得した画像データから、環境における実オブジェクトの特徴を認識し、
又は、
画像認識スレッドを開始し、開始した画像認識スレッドで、取得した画像データを認識し、環境における実オブジェクトの特徴を得ることを含むことを特徴とする請求項1に記載の方法。 - 前記したレンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることは、
前記画像データ内の前記実オブジェクトのポーズ変化を検出し、
出力された画像内の実オブジェクトの位置に、前記拡張現実モデルにおいて前記ポーズ変化に適応する仮想オブジェクトをレンダリングし出力することを含むことを特徴とする請求項1に記載の方法。 - 前記した前記ソーシャルネットワークから前記実オブジェクトに適応する拡張現実モデルを取得することは、 ローカルクライアントで、前記実オブジェクトに適応する拡張現実モデルを照会し、
ローカルクライアントで見つからないと、前記ソーシャルネットワークから、前記実オブジェクトに適応する拡張現実モデルを照会して得ることを含むことを特徴とする請求項1に記載の方法。 - 画像処理装置であって、
取得した画像データから、環境における実オブジェクトの特徴を認識するための認識モジュールと、
前記実オブジェクトの特徴で、ソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定するための照会モジュールであって、前記照会モジュールが、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会し、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定する、照会モジュールと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得するためのモデルモジュールと、
取得した画像データに応じてレンダリングし、レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成するためのレンダリングモジュールとを含むことを特徴とする装置。 - 前記認識モジュールは、具体的に、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを特徴とする請求項9に記載の装置。 - 前記認識モジュールは、具体的に、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを特徴とする請求項10に記載の装置。 - 前記認識モジュールは、さらに、前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断し、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも一つを含むことを特徴とする請求項9に記載の装置。 - 画像処理装置であって、
実行可能なプログラムを記憶するためのメモリと、
前記メモリに記憶されている実行可能なプログラムを実行する場合に、以下の動作を実現するプロセッサとを含んでおり、
取得した画像データから、環境における実オブジェクトの特徴を認識することと、
前記実オブジェクトの特徴でソーシャルネットワークを照会し、前記実オブジェクトが前記ソーシャルネットワークの属性を有するかを決定することであって、
前記実オブジェクトの特徴で前記ソーシャルネットワークの特徴データベースを照会し、
前記実オブジェクトが前記ソーシャルネットワークの登録ユーザの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの登録ユーザ属性を有すると決定し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの特徴とマッチングする場合に、前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクト属性を有すると決定する、決定することと、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得することと、
取得した画像データに応じてレンダリングすることと、
レンダリングして形成した画像内の前記実オブジェクトの位置に応じて、前記拡張現実モデルにおける仮想オブジェクトをレンダリングすることで、一緒に表示される前記実オブジェクトと前記仮想オブジェクトとを形成することとを含むことを特徴とする装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおけるピアクライアントが環境をキャプチャして伝送した画像データを受信し、受信した画像データから、ピアクライアントの環境にある実オブジェクトの特徴を認識し、
及び/又は、
環境をキャプチャして画像データを形成し、キャプチャして形成した画像データから、ローカルクライアントの環境にある実オブジェクトの特徴を認識することを特徴とする請求項13に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおけるピアクライアントと通信する場合に、ローカルクライアント環境をキャプチャして前記ピアクライアントに伝送するための画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識し、
又は、
前記ローカルクライアントのキャプチャ動作に応答する場合に、ローカルクライアント環境をキャプチャして画像データを形成し、キャプチャされた画像データから、ローカルクライアント環境における実オブジェクトの特徴を認識することを特徴とする請求項14に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記ソーシャルネットワークにおける前記実オブジェクトに適応する拡張現実モデルを取得する前に、
認識された実オブジェクトの特徴がソーシャルネットワークの認識できる条件を満足するかを判断し、
前記条件は、
画像特徴点が認識された場合に、認識された画像特徴点の数が特徴点データ量の閾値を超える条件と、
生体特徴が認識された場合に、認識された生体特徴の完全性が完成性閾値を超える条件との少なくとも一つを含むことを特徴とする請求項13に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記実オブジェクトが前記ソーシャルネットワークにおける登録ユーザである場合に、前記登録ユーザが前記ソーシャルネットワークに予め設置した仮想アイテム、仮想背景及びフィルターの少なくとも一つを含む仮想オブジェクトを取得し、
前記実オブジェクトが前記ソーシャルネットワークの被共有オブジェクトの属性を有する場合に、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する仮想オブジェクトを取得し、前記仮想オブジェクトは、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する記事と、前記ソーシャルネットワークにおける前記被共有オブジェクトに対する広告との少なくとも一つを含むことを特徴とする請求項13に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
サーバの認識サービスを呼び出し、取得した画像データから、環境における実オブジェクトの特徴を認識し、
又は、
画像認識スレッドを開始し、開始した画像認識スレッドで、取得した画像データを認識し、環境における実オブジェクトの特徴を得ることを特徴とする請求項13に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
前記画像データ内の前記実オブジェクトのポーズ変化を検出し、
出力された画像内の実オブジェクトの位置に、前記拡張現実モデルにおける前記ポーズ変化に適応する仮想オブジェクトをレンダリングし出力することを特徴とする請求項13に記載の装置。 - 前記プロセッサは、さらに、前記実行可能なプログラムを実行する場合に、以下の動作を実現し、
ローカルクライアントで前記実オブジェクトに適応する拡張現実モデルを照会し、
ローカルクライアントで見つからないと、前記ソーシャルネットワークから、前記実オブジェクトに適応する拡張現実モデルを照会して得ることを特徴とする請求項13に記載の装置。 - プロセッサにより実行される場合に、請求項1~8のいずれか一項に記載の画像処理方法を実現する実行可能なプログラムが記憶されていることを特徴とする記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710661746.0A CN108305317B (zh) | 2017-08-04 | 2017-08-04 | 一种图像处理方法、装置及存储介质 |
CN201710661746.0 | 2017-08-04 | ||
PCT/CN2018/097860 WO2019024853A1 (zh) | 2017-08-04 | 2018-08-01 | 一种图像处理方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020529084A JP2020529084A (ja) | 2020-10-01 |
JP7098120B2 true JP7098120B2 (ja) | 2022-07-11 |
Family
ID=62872576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020505230A Active JP7098120B2 (ja) | 2017-08-04 | 2018-08-01 | 画像処理方法、装置及記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11182615B2 (ja) |
JP (1) | JP7098120B2 (ja) |
KR (1) | KR102292537B1 (ja) |
CN (1) | CN108305317B (ja) |
TW (1) | TWI708152B (ja) |
WO (1) | WO2019024853A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
KR101988319B1 (ko) * | 2013-09-09 | 2019-06-12 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN108305317B (zh) * | 2017-08-04 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US10375313B1 (en) * | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
CN109165571B (zh) | 2018-08-03 | 2020-04-24 | 北京字节跳动网络技术有限公司 | 用于插入图像的方法和装置 |
CN109040824B (zh) * | 2018-08-28 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
US10573057B1 (en) * | 2018-09-05 | 2020-02-25 | Citrix Systems, Inc. | Two-part context-based rendering solution for high-fidelity augmented reality in virtualized environment |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
WO2020056689A1 (zh) * | 2018-09-20 | 2020-03-26 | 太平洋未来科技(深圳)有限公司 | 一种ar成像方法、装置及电子设备 |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11087430B2 (en) * | 2018-09-28 | 2021-08-10 | Apple Inc. | Customizable render pipelines using render graphs |
CN109933788B (zh) * | 2019-02-14 | 2023-05-23 | 北京百度网讯科技有限公司 | 类型确定方法、装置、设备和介质 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN112102498A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 |
JP7221156B2 (ja) | 2019-06-28 | 2023-02-13 | 富士フイルム株式会社 | 画像処理システム、画像処理方法及びプログラム |
US20220366451A1 (en) * | 2019-10-25 | 2022-11-17 | Nec Solution Innovators, Ltd. | Display apparatus, event support system, display method, and event support system production method |
CN110868635B (zh) * | 2019-12-04 | 2021-01-12 | 深圳追一科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN113496152A (zh) * | 2020-03-20 | 2021-10-12 | 深圳云天励飞技术有限公司 | 基于ar眼镜的人脸识别方法、装置、电子设备及存储介质 |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK181103B1 (en) | 2020-05-11 | 2022-12-15 | Apple Inc | User interfaces related to time |
CN111652107B (zh) * | 2020-05-28 | 2024-05-21 | 北京市商汤科技开发有限公司 | 对象计数方法及装置、电子设备和存储介质 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
CN111899350A (zh) * | 2020-07-31 | 2020-11-06 | 北京市商汤科技开发有限公司 | 增强现实ar图像的呈现方法及装置、电子设备、存储介质 |
CN112100352B (zh) * | 2020-09-14 | 2024-08-20 | 北京百度网讯科技有限公司 | 与虚拟对象的对话方法、装置、客户端及存储介质 |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
CN112348889B (zh) * | 2020-10-23 | 2024-06-07 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置、设备 |
CN112672185B (zh) * | 2020-12-18 | 2023-07-07 | 脸萌有限公司 | 基于增强现实的显示方法、装置、设备及存储介质 |
TWI801089B (zh) * | 2021-01-11 | 2023-05-01 | 宏達國際電子股份有限公司 | 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體 |
KR102472115B1 (ko) * | 2021-02-04 | 2022-11-29 | (주)스마트큐브 | 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법 |
JP7427786B2 (ja) * | 2021-02-09 | 2024-02-05 | 北京字跳▲網▼絡技▲術▼有限公司 | 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品 |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
TWI768913B (zh) * | 2021-05-20 | 2022-06-21 | 國立中正大學 | 眼睛中心定位方法及其定位系統 |
US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
CN113479105A (zh) * | 2021-07-20 | 2021-10-08 | 钟求明 | 一种基于自动驾驶车辆的智能充电方法及智能充电站 |
TWI792693B (zh) * | 2021-11-18 | 2023-02-11 | 瑞昱半導體股份有限公司 | 用於進行人物重辨識的方法與裝置 |
CN116645525B (zh) * | 2023-07-27 | 2023-10-27 | 深圳市豆悦网络科技有限公司 | 一种游戏图像识别方法及处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033611A1 (en) | 2011-08-01 | 2013-02-07 | Mitac Research (Shanghai) Ltd. | Search System of Face Recognition and Method Thereof, Computer Readable Storage Media and Computer Program Product |
JP2014532330A (ja) | 2011-09-23 | 2014-12-04 | タンゴメ,インコーポレイテッド | テレビ会議の強化 |
JP2015095031A (ja) | 2013-11-11 | 2015-05-18 | アルパイン株式会社 | 情報処理装置およびコメント投稿方法 |
CN106295504A (zh) | 2016-07-26 | 2017-01-04 | 车广为 | 人脸识别基础上的增强显示方法 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4367424B2 (ja) * | 2006-02-21 | 2009-11-18 | 沖電気工業株式会社 | 個人識別装置,個人識別方法 |
US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
JP5237394B2 (ja) * | 2009-01-30 | 2013-07-17 | 富士通フロンテック株式会社 | 認証装置、撮像装置、認証方法および認証プログラム |
US20100208033A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
US20110052012A1 (en) * | 2009-03-31 | 2011-03-03 | Myspace Inc. | Security and Monetization Through Facial Recognition in Social Networking Websites |
WO2012139270A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Face recognition control and social networking |
KR101189043B1 (ko) * | 2011-04-27 | 2012-10-08 | 강준규 | 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기 |
US8332424B2 (en) * | 2011-05-13 | 2012-12-11 | Google Inc. | Method and apparatus for enabling virtual tags |
CN102332095B (zh) * | 2011-10-28 | 2013-05-08 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
KR20130063876A (ko) * | 2011-12-07 | 2013-06-17 | (주)엘에이치에스지 | 클라우드 컴퓨팅을 이용한 증강 현실 시스템 및 생성 방법 |
US9258626B2 (en) * | 2012-01-20 | 2016-02-09 | Geun Sik Jo | Annotating an object in a video with virtual information on a mobile terminal |
CN103368816A (zh) * | 2012-03-29 | 2013-10-23 | 深圳市腾讯计算机系统有限公司 | 基于虚拟人物形象的即时通讯方法及系统 |
WO2014031899A1 (en) * | 2012-08-22 | 2014-02-27 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
US10027727B1 (en) * | 2012-11-21 | 2018-07-17 | Ozog Media, LLC | Facial recognition device, apparatus, and method |
JP5991536B2 (ja) * | 2013-02-01 | 2016-09-14 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
CN103544724A (zh) * | 2013-05-27 | 2014-01-29 | 华夏动漫集团有限公司 | 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法 |
US9470911B2 (en) * | 2013-08-22 | 2016-10-18 | Bespoke, Inc. | Method and system to create products |
CN103679204A (zh) * | 2013-12-23 | 2014-03-26 | 上海安琪艾可网络科技有限公司 | 基于智能移动设备平台的图像识别与创作应用系统及方法 |
EP3097545A4 (en) * | 2014-01-22 | 2017-07-19 | Speakeasy, Inc. | Systems and methods of socially-driven product offerings |
KR20150126289A (ko) * | 2014-05-02 | 2015-11-11 | 한국전자통신연구원 | 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법 |
US20160042557A1 (en) * | 2014-08-08 | 2016-02-11 | Asustek Computer Inc. | Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system |
US9798143B2 (en) * | 2014-08-11 | 2017-10-24 | Seiko Epson Corporation | Head mounted display, information system, control method for head mounted display, and computer program |
DE102014226625A1 (de) * | 2014-10-31 | 2016-05-04 | Cortado Ag | Verfahren zur Übertragung von Druckdaten, Server und mobiles Endgerät |
CN104504423B (zh) * | 2014-12-26 | 2018-02-13 | 山东泰宝防伪制品有限公司 | Ar增强现实立体防伪系统及其方法 |
CN107004290B (zh) * | 2015-01-06 | 2020-12-15 | 索尼公司 | 效果生成装置、效果生成方法以及程序 |
US9754355B2 (en) * | 2015-01-09 | 2017-09-05 | Snap Inc. | Object recognition based photo filters |
EP4325806A3 (en) * | 2015-03-18 | 2024-05-22 | Snap Inc. | Geo-fence authorization provisioning |
CN104901873A (zh) * | 2015-06-29 | 2015-09-09 | 曾劲柏 | 一种基于场景和动作的网络社交系统 |
WO2017072534A2 (en) * | 2015-10-30 | 2017-05-04 | 2Mee Ltd | Communication system and method |
JP6589573B2 (ja) * | 2015-11-06 | 2019-10-16 | ブラザー工業株式会社 | 画像出力装置 |
US11237629B2 (en) * | 2016-02-06 | 2022-02-01 | Maximilian Ralph Peter von und zu Liechtenstein | Social networking technique for augmented reality |
CN106200917B (zh) * | 2016-06-28 | 2019-08-30 | Oppo广东移动通信有限公司 | 一种增强现实的内容显示方法、装置及移动终端 |
CN106200918B (zh) * | 2016-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 一种基于ar的信息显示方法、装置和移动终端 |
US20180047200A1 (en) * | 2016-08-11 | 2018-02-15 | Jibjab Media Inc. | Combining user images and computer-generated illustrations to produce personalized animated digital avatars |
KR102219304B1 (ko) * | 2016-11-07 | 2021-02-23 | 스냅 인코포레이티드 | 이미지 변경자들의 선택적 식별 및 순서화 |
JP6753276B2 (ja) * | 2016-11-11 | 2020-09-09 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US11635872B2 (en) * | 2016-11-22 | 2023-04-25 | Snap Inc. | Smart carousel of image modifiers |
CN106780757B (zh) * | 2016-12-02 | 2020-05-12 | 西北大学 | 一种增强现实的方法 |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
GB2560031B (en) * | 2017-02-28 | 2020-05-27 | PQ Solutions Ltd | Binding data to a person's identity |
CN106846237A (zh) * | 2017-02-28 | 2017-06-13 | 山西辰涵影视文化传媒有限公司 | 一种基于Unity3D的增强实现方法 |
JP2019537758A (ja) * | 2017-06-12 | 2019-12-26 | 美的集団股▲フン▼有限公司Midea Group Co., Ltd. | 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体 |
CN108305317B (zh) * | 2017-08-04 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
US9980100B1 (en) * | 2017-08-31 | 2018-05-22 | Snap Inc. | Device location based on machine learning classifications |
KR101968723B1 (ko) * | 2017-10-18 | 2019-04-12 | 네이버 주식회사 | 카메라 이펙트를 제공하는 방법 및 시스템 |
US11488359B2 (en) * | 2019-08-28 | 2022-11-01 | Snap Inc. | Providing 3D data for messages in a messaging system |
-
2017
- 2017-08-04 CN CN201710661746.0A patent/CN108305317B/zh active Active
-
2018
- 2018-08-01 JP JP2020505230A patent/JP7098120B2/ja active Active
- 2018-08-01 WO PCT/CN2018/097860 patent/WO2019024853A1/zh active Application Filing
- 2018-08-01 TW TW107126766A patent/TWI708152B/zh active
- 2018-08-01 KR KR1020207004027A patent/KR102292537B1/ko active IP Right Grant
-
2020
- 2020-02-03 US US16/780,891 patent/US11182615B2/en active Active
-
2021
- 2021-09-17 US US17/478,860 patent/US20220004765A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033611A1 (en) | 2011-08-01 | 2013-02-07 | Mitac Research (Shanghai) Ltd. | Search System of Face Recognition and Method Thereof, Computer Readable Storage Media and Computer Program Product |
JP2014532330A (ja) | 2011-09-23 | 2014-12-04 | タンゴメ,インコーポレイテッド | テレビ会議の強化 |
JP2015095031A (ja) | 2013-11-11 | 2015-05-18 | アルパイン株式会社 | 情報処理装置およびコメント投稿方法 |
CN106295504A (zh) | 2016-07-26 | 2017-01-04 | 车广为 | 人脸识别基础上的增强显示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220004765A1 (en) | 2022-01-06 |
KR20200020960A (ko) | 2020-02-26 |
TW201911082A (zh) | 2019-03-16 |
US11182615B2 (en) | 2021-11-23 |
CN108305317B (zh) | 2020-03-17 |
KR102292537B1 (ko) | 2021-08-20 |
US20200285851A1 (en) | 2020-09-10 |
WO2019024853A1 (zh) | 2019-02-07 |
TWI708152B (zh) | 2020-10-21 |
CN108305317A (zh) | 2018-07-20 |
JP2020529084A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7098120B2 (ja) | 画像処理方法、装置及記憶媒体 | |
US11861936B2 (en) | Face reenactment | |
US20170032577A1 (en) | Real-time virtual reflection | |
US20090202114A1 (en) | Live-Action Image Capture | |
WO2017137948A1 (en) | Producing realistic body movement using body images | |
CN107533727A (zh) | 全息交互式零售系统 | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
KR20240125620A (ko) | 실시간 상체 의복 교환 | |
CN114779948B (zh) | 基于面部识别的动画人物即时交互控制方法、装置及设备 | |
KR20240125621A (ko) | 실시간 모션 및 외관 전달 | |
KR20240128015A (ko) | 실시간 의복 교환 | |
CN114979789A (zh) | 一种视频展示方法、装置以及可读存储介质 | |
US20240249346A1 (en) | Adaptive zoom try-on experience | |
US20240265658A1 (en) | Fingernail segmentation and tracking | |
US20230316665A1 (en) | Surface normals for pixel-aligned object | |
US20240249474A1 (en) | Image generation from text and 3d object | |
WO2023192426A1 (en) | Surface normals for pixel-aligned object | |
CN118536616A (zh) | 具有用于合成图像生成的图像编码器的机器学习扩散模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220311 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220329 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |