KR20200020960A - 이미지 처리 방법 및 장치, 및 저장 매체 - Google Patents

이미지 처리 방법 및 장치, 및 저장 매체 Download PDF

Info

Publication number
KR20200020960A
KR20200020960A KR1020207004027A KR20207004027A KR20200020960A KR 20200020960 A KR20200020960 A KR 20200020960A KR 1020207004027 A KR1020207004027 A KR 1020207004027A KR 20207004027 A KR20207004027 A KR 20207004027A KR 20200020960 A KR20200020960 A KR 20200020960A
Authority
KR
South Korea
Prior art keywords
real object
social network
image data
feature
environment
Prior art date
Application number
KR1020207004027A
Other languages
English (en)
Other versions
KR102292537B1 (ko
Inventor
징웨이 린
잉 츄
제위 랴오
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20200020960A publication Critical patent/KR20200020960A/ko
Application granted granted Critical
Publication of KR102292537B1 publication Critical patent/KR102292537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G06K9/00281—
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/32—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원에서 이미지 처리 방법 및 장치, 및 저장 매체를 개시한다. 방법은:
이 방법은 이미지 데이터를 획득하고, 획득된 이미지 데이터로부터 실제 객체의 특징을 식별하는 단계; 상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하여 상기 실제 객체가 소셜 네트워크 속성을 가지는지를 결정하는 단계; 소셜 네트워크로부터 실제 객체에 적응된 증강 현실 모델을 획득하는 단계; 획득된 이미지 데이터에 따라 렌더링을 수행하는 단계; 및 렌더링 후에 획득된 이미지 내의 실제 객체의 위치에 따라 증강 현실 모델 내의 가상 객체를 렌더링하여 실제 객체와 가상 객체를 통합하여 표시하는 단계를 포함한다. 본 출원에 따르면, 소셜 네트워크에 속하는 실제 객체가 신속하게 식별될 수 있고, 소셜 네트워크에서 실제 객체에 적응된 증강 현실 효과가 대응하는 장면에 통합될 수 있다.

Description

이미지 처리 방법 및 장치, 및 저장 매체
본 출원은 2017년 8월 4일 중국특허청에 출원되고 발명의 명칭이 "이미지 처리 방법 및 장치, 및 저장 매체"인 중국특허출원 제201710661746.0호에 대한 우선권을 주장하는 바이며, 상기 문헌은 본 명세서에 원용되어 포함된다.
본 출원은 이미지 기술 분야에 관한 것이며 특히 이미지 처리 방법, 이미지 처리 장치, 및 저장 매체에 관한 것이다.
인터넷, 특히 모바일 인터넷의 급속한 발전으로, 소셜 네트워크에 기초한 다양한 클라이언트가 나타나고 사용자가 온라인 통신에 큰 편의를 제공한다. 사용자는 다양한 스마트 단말에 소셜 네트워크 클라이언트를 설치하고 언제 어디서나 소셜 네트워크의 사용자와 오프라인 또는 온라인 상호 작용을 수행할 수 있다.
소셜 네트워크의 다양한 시나리오에서 객체의 이미지를 표시하는 것은 클라이언트의 기본 기능이지만, 현재 디스플레이 방식은 단일이다. 사용자인 객체를 예로 사용한다. 종래 기술에서, 사용자의 이미지는 일반적으로 소셜 네트워크에서 인식될 수 있는 가상 캐릭터 이미지 또는 자화상 방식으로 표시된다. 그렇지만, 현재, 이러한 방식은 소셜 네트워크에서 사용자의 개인화된 표현에 대한 요구 사항을 충족시킬 수 없으며, 소셜 네트워크의 다양화에 장애물이 되었다.
소셜 네트워크에서의 애플리케이션 시나리오가 점점 다양화됨에 따라, 상이한 애플리케이션 방식에 대해 상이한 디스플레이 방식이 설정되면, 사용자는 상이한 애플리케이션 시나리오에 대해 디스플레이 방식을 설정해야 하는데, 이는 효율이 낮고 비실용적이며; 다른 한편으로, 소셜 네트워크의 백그라운드 프로세싱은 결과적으로 복잡하여 매우 큰 오버헤드를 야기한다.
소셜 네트워크의 다양화에 적응하기 위해 소셜 네트워크의 다양한 애플리케이션 시나리오에서 객체의 표현 방식을 확장하는 요구 사항에 대해, 현재 효과적인 솔루션은 없다.
본 개시의 실시예에 따라 전술한 기술적 문제를 해결할 수 있는 이미지 처리 방법 및 장치, 및 저장 매체가 제공되어 소셜 네트워크에서 객체의 표현 방식을 효과적으로 확장할 수 있다.
전술한 목적을 달성하기 위해, 본 개시의 실시예에 따라 이하의 기술적 솔루션이 제공된다.
관점에 따라, 본 개시의 실시예는 이미지 처리 방법을 제공하며, 상기 방법은:
획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하는 단계;
상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하는 단계;
상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델(augmented reality model)을 획득하는 단계;
상기 획득된 이미지 데이터에 따라 렌더링을 수행하는 단계; 및
상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하여, 공동으로 표시되는 상기 실제 객체 및 상기 가상 객체를 형성하는 단계
를 포함한다.
다른 관점에 따라, 본 개시의 실시예는 이미지 처리 장치를 제공하며, 상기 장치는:
획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하도록 구성되어 있는 인식 모듈;
상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하도록 구성되어 있는 조회 모듈;
상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하도록 구성되어 있는 모델 모듈;
상기 획득된 이미지 데이터에 따라 렌더링을 수행하고 상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하여, 공동으로 표시되는 상기 실제 객체 및 상기 가상 객체를 형성하도록 구성되어 있는 렌더링 모듈
을 포함한다.
다른 관점에 따라, 본 개시의 실시예는 저장 매체를 제공하며, 상기 장치는 실행 가능한 프로그램을 저장한다. 실행 가능한 프로그램은 프로세서에 의해 실행될 때, 본 개시의 실시예에 제공된 이미지 처리 방법을 실행한다.
다른 관점에 따라, 본 개시의 실시예는 이미지 처리 장치를 제공하며, 상기 장치는:
실행 가능한 프로그램을 저장하도록 구성되어 있는 메모리; 및
상기 메모리에 저장되어 있는 상기 실행 가능한 프로그램을 실행할 때 본 개시의 실시예에 제공된 이미지 처리 방법을 실행하도록 구성되어 있는 프로세서
를 포함한다.
본 발명의 실시예는 적어도 다음과 같은 유익한 효과를 가진다.
1) 이미지 데이터로부터 실제 객체의 특징을 인식하고 소셜 네트워크에 조회하는 방식으로, 소셜 네트워크에 속하는 실제 객체는 소셜 네트워크의 임의의 시나리오에서 이미지 데이터에 대해 신속하게 인식될 수 있고, 시나리오에서 소셜 네트워크에 있고 실제 객체에 적응적인 증강 현실 모델과 결합되어, 공동으로 표시되는 실제 객체와 가상 객체를 형성하므로 객체의 표현 방식이 소셜 네트워크에서 확장되어 가상과 현실의 조합을 달성한다.
2) 상이한 실제 객체에 대한 소셜 네트워크의 증강 현실 모델은 다양화 특성을 가지므로, 이미지 데이터가 렌더링될 때, 상이한 객체가 상이한 디스플레이 효과로 표시된다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1a은 본 발명의 일 실시예에 따른 이미지 처리 장치의 가능한 하드웨어 구조의 개략도이다.
도 1b는 본 발명의 일 실시예에 따른 이미지 처리 장치의 가능한 기능적 구조의 개략도이다.
도 2는 본 개시의 일 실시예에 따라 AR 장치로서 구현된 이미지 처리 장치의 가능한 시스템 구조의 개략도이다.
도 3은 본 개시의 다른 실시예에 따라 AR 장치로서 구현된 이미지 처리 장치의 가능한 구조의 개략도이다.
도 4는 본 개시의 일 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다.
도 5는 본 발명의 다른 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 특징점의 개략도이다.
도 7은 본 발명의 일 실시예에 따라 실제 객체와 가상 객체를 공동으로 표시하는 효과를 나타내는 개략도이다.
도 8은 본 발명의 일 실시예에 따라 실제 객체와 가상 객체를 공동으로 표시하는 효과를 나타내는 개략도이다.
도 9는 본 발명의 다양한 실시예에 따른 실제 객체와 가상 객체를 공동으로 표시하는 효과를 나타내는 개략도이다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 만화 캐릭터 데코레이션 효과 및 커스텀 네트워크 가상 캐릭터 효과의 개략도이다.
도 11은 본 개시의 다른 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다.
본 발명의 실시예의 목적, 기술적 솔루션, 및 이점을 더 잘 이해할 수 있도록 하기 위해, 이하에서는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예에 따른 기술적 솔루션에 대해 명확하고 완전하게 설명한다. 당연히, 이하의 상세한 설명에서의 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
본 발명을 더욱 상세하게 설명하기 전에, 본 발명의 실시예에서의 명사 및 용어에 대해 설명하고, 다음과 같은 설명은 본 발명의 실시예에 관련된 명사 및 용어에 적용할 수 있다.
1) 증강 현실(Augmented reality, AR)은 가상 세계를 현실 세계에 적용하는 기술이며, 실제 객체 및 가상 객체는 실시간으로 동일한 이미지 또는 공간에 중첩되어 공존한다.
증강 현실 기술은 현실 세계에 관한 정보와 가상 세계에 관한 정보를 매끄럽게 통합하고, 가상의 정보를 현실 세계에 적용하여 인간의 감각에 의해 인식되도록 과학 기술을 사용함으로써 현실 세계에서 경험할 수 없는 정보(시각, 청각, 미각 등)를 시뮬레이션하고 그런 다음 중첩하므로, 가상과 현실의 조합에 대한 감각적인 경험을 달성한다.
예를 들어, 실제 이미지 내의 실제 객체의 위치 및 자세(즉, 실제 세계에서 실제 객체의 사진 또는 비디오만 포함)가 계산되며, 사진, 비디오 또는 3차원(3D) 모델과 같은, 가상 객체를 포함하는 이미지의 기술은 실제 객체의 위치 및 자세에 따라 실제 이미지에 적용되고, 가상 객체를 포함하는 이미지가 3D 공간 내의 실제 이미지에 추가된다. 예를 들어, 얼굴 데코레이션 효과를 구현하기 위해 얼굴을 기반으로 위치하는 가상 아이템은 실제 객체의 사진 또는 비디오에서 얼굴의 위치 및 자세에 따라 추가된다. 다른 예에서, 스캔된 제품의 2차원 코드에 따라, 표시된 2차원 코드 근처에 제품 정보 및/또는 상점 및 제품을 구매할 수 있는 주소가 표시될 수 있다.
증강 현실은 시나리오에 따라 실시간 상호 작용을 추가로 구현할 수 있다. 예를 들어, AR 게임을 구현하는 과정에서, AR 시스템과 일치하는 글러브 또는 핸들을 사용하여 게임의 동작을 제어하거나; 또는 AR 체스 게임에서, AR 시스템과 일치하는 글러브는 피스를 제어하는 데 사용될 수 있다.
2) 클라이언트는 본 명세서의 장치에 설치된 클라이언트 또는 장치 중의 서드-파티 클라이언트이며, 소셜 네트워크를 기반으로 다양한 애플리케이션을 지원하고 비디오 통화 기능 또는 사진 전송 기능과 같은 여러 가지 사회적 기능을 구현한다.
3) 장치는 스마트폰, 태블릿 컴퓨터, 또는 이미지 처리 장치 디스플레이 및 헤드 마운트 디스플레이(head-mounted display, HMD)에 기초한 장치와 같이 클라이언트의 실행을 지원하는 전자 장치이다. HMD는 광학 원리에 기초한 전송 HMD 또는 비디오 합성 기술에 기초한 전송 HMD일 수 있다. 본 명세서에서 장치는 클라이언트의 호스트 장치라고도 한다.
4) 소셜 네트워크는 다수의 사용자가(광역 네트워크 또는 근거리 네트워크와 같은) 네트워크 상에 배치된 서버에 기초하여(QQ 또는 엔터프라이즈 IM과 같은) 클라이언트를 통해 상호 통신을 수행할 수 있도록 지원하는 네트워크이다.
5) 이미지 데이터는 환경에서 실제 객체의 이미지 상의 각각의 포인트의 빛의 강도 및 스펙트럼(컬러)의 표현이며, 빛의 강도 및 스펙트럼에 관한 정보에 따라, 실제 세계의 이미지 정보는 데이터 정보, 즉 이미지 데이터로 변환되어 디지털 처리 및 분석을 용이하게 한다.
6) 증강 현실 모델은 디지털 그래픽 기술을 이용하여 이미지 처리 장치에 의해 윤곽이 잡히고 증강 현실, 예를 들어 모자, 안경 및 배경 이미지와 같은 데코레이션일 수 있는, 소셜 네트워크에서의 개인화된 AR 데코레이션에 사용되는 디지털 시나리오이다.
7) 실제 객체는 이미지 데이터에 포함된 실생활에서의 사람 또는 객체이며, 여기서 객체는 강 또는 산과 같은 자연 장면, 및 도시 경관 또는 건물 풍경 또는 다른 유형의 객체와 같은 문화적 장면을 포함한다.
8) 가상 객체: 이미지 데이터를 렌더링할 때, 클라이언트는 실제 데이터와 가상 객체의 융합을 구현하고, 디스플레이 효과를 높이거나 정보량을 향상시키기 위해 이미지 데이터가 캡처되는 환경에 존재하지 않는 가상 객체를 렌더링할 필요가 있다. 예를 들어, 실제 객체가 사람인 경우, 가상 객체는 캐릭터 이미지를 꾸미기 위해 사용되는 다양한 아이템 및 가상 배경일 수 있거나, 개인 명함일 수 있다.
9) 렌더: 클라이언트에서 렌더 엔진을 사용하여 스크린에 출력된 실제 객체 및 가상 객체의 시각적 이미지. 예를 들어, 소셜 클라이언트를 사용하여 통신하는 프로세스에서, 통신을 활성화하기 위해, 실제 객체를 포함하는 이미지 또는 비디오에 대해 적절한 렌더링이 수행된다. 예를 들어, 현재 통신 시나리오와 일치하는 일부 가상 객체는 특수 효과를 형성하기 위해 사용자의 이미지 또는 비디오에 추가된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 구현하기 위한 이미지 처리 장치에 대하여 설명한다. 이미지 처리 장치는 다양한 형태로 구현될 수 있으며, 본 발명의 이러한 실시예에 따른 이미지 처리 장치의 하드웨어 구조는 다음과 같다.
도 1a를 참조하면, 도 1a는 본 개시의 일 실시예에 따른 이미지 처리 장치의 가능한 하드웨어 구조의 개략도이다. 실제 응용에서, 장치는 데스크톱 컴퓨터, 노트북 컴퓨터 및 스마트폰과 같은 클라이언트를 실행하기 위한 전술한 다양한 장치로서 구현될 수 있다. 도 1a에 도시된 이미지 처리 장치(100)는: 적어도 하나의 프로세서(101), 메모리(102), 디스플레이 컴포넌트(103), 적어도 하나의 통신 인터페이스(104) 및 카메라(105)를 포함한다. 이미지 처리 장치(100)의 컴포넌트들은 버스 시스템(106)을 사용하여 결합된다. 버스 시스템(106)은 컴포넌트들 사이의 연결 및 통신을 구현하도록 구성되는 것으로 이해될 수 있다. 구성 데이터 버스 외에, 버스 시스템(106)은 전력 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그렇지만, 명확한 설명을 용이하게 하기 위해, 도 1의 모든 유형의 버스는 버스 시스템(106)으로 표시되어 있다.
디스플레이 컴포넌트(103)는 이미지 처리 장치 디스플레이, 이동 전화 디스플레이 스크린, 및 디스플레이를 위한 태블릿 컴퓨터 디스플레이 스크린을 포함할 수 있다.
통신 인터페이스(104)는 안테나 시스템, 블루투스, 무선 충실도(WiFi), 근거리 통신(NFC) 모듈 및/또는 데이터 라인을 포함할 수 있다.
카메라(105)는 표준 카메라, 망원 카메라, 광각 렌즈, 줌 카메라, 디지털 라이트 필드 카메라, 디지털 카메라 등일 수 있다.
메모리(102)는 휘발성 메모리 또는 비휘발성 메모리일 수 있거나, 휘발성 메모리 및 비휘발성 메모리를 모두 포함할 수 있음을 이해할 수 있다.
본 개시의 이 실시예에서의 메모리(102)는 이미지 처리 장치(100)의 동작을 지원하기 위해 다양한 유형의 구성 데이터를 저장하도록 구성된다. 구성 데이터의 예는: 클라이언트(1021)와 같은 이미지 처리 장치(100)에서 동작하기 위한 프로그램을 포함하고, 운영 체제(1022) 및 데이터베이스(1023)를 더 포함한다. 본 개시의 실시예들에 따른 방법을 구현하기 위한 프로그램은 클라이언트(1021)에 포함될 수 있다.
본 개시의 실시예들에 따라 개시된 방법은 프로세서(101)에 적용될 수 있거나 프로세서(101)에 의해 구현될 수 있다. 프로세서(101)는 집적 회로 칩일 수 있고 신호 처리 능력을 가진다. 구현 프로세스에서, 이미지 프로세싱 방법의 단계들은 프로세서(101)의 하드웨어 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령을 사용함으로써 구현될 수 있다. 프로세서(101)는 범용 프로세서, DSP(digital signal processor), 다른 프로그래머블 로직 컴포넌트, 이산 게이트 또는 트랜지스터 로직 디바이스, 이산 하드웨어 컴포넌트 등일 수 있다. 프로세서(101)는 본 발명의 실시예에서 제공되는 방법, 단계 및 논리 블록도를 구현 또는 수행할 수 있다. 범용 프로세서는 마이크로프로세서 또는 임의의 종래의 프로세서 등일 수 있다. 본 개시의 실시예들을 참조하여 제공된 방법들의 단계들은 하드웨어 디코딩 프로세서를 사용하여 직접 수행되고 완료될 수 있거나, 또는 디코딩 프로세서에서 하드웨어와 소프트웨어 모듈의 조합을 사용하여 수행되고 완료될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있고, 저장 매체는 메모리(102)에 위치할 수 있다. 프로세서(101)는 메모리(102)에서 정보를 판독하고, 본 개시의 실시예들에 따라 제공된 이미지 처리 방법을 그 하드웨어와의 조합으로 수행한다.
그런 다음, 도 1a에 도시된 이미지 처리 장치의 기능적 구조를 설명한다. 일례로서 소프트웨어 구현을 사용하여, 도 1b를 참조하면, 도 1b는 본 개시의 일 실시예에 따라 로컬 클라이언트를 실행하기 위한 이미지 처리 장치의 가능한 기능적 구조의 개략도이다(로컬 클라이언트 및 피어 클라이언트가 상대적 개념임을 이해할 수 있다). 도 1b에 도시된 기능 모듈을 참조하여 설명한다. 도 1a에 따라, 하드웨어 상의 도 1b에 도시된 기능 모듈의 구현이 이해될 수 있다.
인식 모듈(210)은 획득된 이미지 데이터로부터 환경에서 실제 객체의 특징을 인식하도록 구성된다.
본 발명의 가능한 실시예에서, 인식 모듈(210)은 소셜 네트워크에서 피어 클라이언트의 환경을 캡처하는 것에 의해 형성되고 피어 클라이언트에 의해 전송되는 이미지 데이터를 수신하고, 수신된 이미지 데이터로부터 피어 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하며; 및/또는, 이미지 데이터를 형성하기 위해 환경을 캡처하고, 캡처된 이미지 데이터로부터 로컬 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식한다.
본 개시의 가능한 실시예에서, 인식 모듈(210)은: 소셜 네트워크에서 피어 클라이언트와 통신하는 경우, 로컬 클라이언트의 환경을 캡처하여 피어 클라이언트에 전송될 이미지 데이터를 형성하고, 캡처된 이미지 데이터로부터 로컬 클라이언트의 환경에 있는 실제 객체의 특징을 인식하거나; 또는 로컬 클라이언트의 캡처 동작에 응답하여 이미지 데이터를 형성하기 위해 로컬 클라이언트의 환경을 캡처하고, 캡처된 이미지 데이터로부터 로컬 클라이언트의 환경에 있는 실제 객체의 특징을 인식하도록 구성되어 있다.
본 개시의 가능한 실시예에서, 인식 모듈(210)은: 실제 객체에 적응적이고 소셜 네트워크에 있는 증강 현실 모델이 획득되기 전에, 실제 객체의 인식된 특징이 소셜 네트워크에 대해 인식 가능한 조건을 충족하는 것으로 결정하도록 구성되어 있으며, 소셜 네트워크에 대해 인식 가능한 조건은 다음: 이미지 특징점이 인식되는 경우, 인식된 이미지 특징점의 수량이 특징점 수량 임계 값을 초과하는 조건; 및 생물학적 특징이 인식되는 경우, 인식된 생물학적 특징의 완전성은 완전성 임계 값을 초과하는 조건 중 적어도 하나를 포함한다.
조회 모듈(220)은 실제 객체의 특징을 사용함으로써 소셜 네트워크를 조회하고, 실제 객체가 소셜 네트워크의 속성을 가지는지를 결정하도록 구성된다.
본 개시의 실시예들에 포함된 소셜 네트워크의 속성은 미디어 기능(예를 들어, 콘텐츠 집계), 통신, 전자 상거래 및 지급과 같은, 소셜 네트워크에 의해 수행되는 기능을 위한 것이며, 이러한 기능을 구현하는 프로세스에 참여하는 구성원은 유형/기능으로 분류되고, 다음:
구성원들이 소셜 네트워크의 등록된 사용자임을 나타내는 등록된 사용자 속성;
구성원이 지급을 받는 계정임을 나타내는 지급 객체 속성;
구성원이 소셜 네트워크에서 아이템, 예를 들어 음식 및 제품과 같은 다양한 아이템을 구성하는 것을 나타내는, 공유 아이템 속성이라고도 하는 공유 객체 속성; 및
구성원이 소셜 네트워크에서 미디어 정보, 예를 들어 비디오, 오디오 및 이동 전화 게임과 같이, 실제 형태가 없는 다양한 제품을 공유하는 공유 미디어 정보 속성
을 포함한다.
본 개시의 가능한 실시예에서, 조회 모듈(220)은: 실제 객체의 특징을 사용함으로써 소셜 네트워크의 특징 데이터베이스에 조회하고; 실제 객체가 소셜 네트워크에서 등록된 사용자의 특징과 일치하는 경우, 실제 객체가 소셜 네트워크에 속하는 등록된 사용자인지 결정하고, 여기서 실제 객체는 소셜 네트워크의 등록된 사용자 속성을 가지며; 실제 객체가 소셜 네트워크의 공유 객체의 특징과 일치하는 경우, 실제 객체가 소셜 네트워크의 공유 객체인 것으로 결정하도록 구성되어 있고, 여기서 실제 객체는 소셜 네트워크의 공유 객체 속성을 가진다.
모델 모듈(230)은 실제 객체에 적응적이고 소셜 네트워크의 모델 베이스에 있는 증강 현실 모델을 획득하도록 구성된다.
본 개시의 가능한 실시예에서, 모델 모듈(230)은: 실제 객체가 소셜 네트워크에서 등록된 사용자인 경우, 소셜 네트워크에서 등록된 사용자의 사전 설정된 가상 객체를 획득하며, 가상 객체는 다음: 가상 아이템, 가상 배경 및 필터 중 적어도 하나를 포함하고; 실제 객체가 소셜 네트워크에서 공유 객체인 경우, 소셜 네트워크에서 공유 객체에 대한 가상 객체를 획득하도록 구성되어 있으며, 여기서 가상 객체는 다음: 소셜 네트워크에서 공유 객체에 대한 기사, 및 소셜 네트워크에서 상기 공유 객체에 대한 광고 중 적어도 하나를 포함한다.
본 개시의 가능한 실시예에서, 모델 모듈(230)은: 서버의 인식 서비스를 호출하고, 획득된 이미지 데이터로부터 실제 객체의 특징을 인식하거나; 또는 이미지 인식 스레드를 시작하고, 시작된 이미지 인식 스레드에서 획득된 이미지 데이터를 인식하여 실제 객체의 특징을 획득한다.
렌더링 모듈(240)은 획득된 이미지 데이터에 따라 렌더링을 수행하고, 렌더링에 의해 형성된 이미지 내의 실제 객체의 위치에 따라 증강 현실 모델에서 가상 객체를 렌더링하여, 공동으로 표시되는 실제 객체와 가상 객체를 형성하도록 구성되어 있다.
본 개시의 가능한 실시예에서, 렌더링 모듈(240)은: 이미지 데이터에서 실제 객체의 위치 및 자세 변화를 검출하고; 출력된 이미지 내의 실제 객체의 위치에서, 증강 현실 모델에 있고 위치 및 자세 변화에 적응적인 가상 객체를 렌더링 및 출력하여, 중첩되는 실제 객체 및 가상 객체를 형성하도록 구성되어 있다.
본 개시의 가능한 실시예에서, 조회 모듈(220)은 실제 객체에 적응된 증강 현실 모델에 대한 로컬 버퍼 또는 데이터베이스를 조회하고; 그리고 상기 증강 현실 모델이 상기 로컬 클라이언트에서 발견되지 않는 경우, 실제 객체에 적응적인 증강 현실 모델에 대해 소셜 네트워크에 조회하도록 구성되어 있다.
본 발명의 일 실시예에 따라 제공되는 이미지 처리 장치의 구조는 이미지 처리 장치가 증강 현실 기능을 수행하기 위한 증강 현실 안경으로 구현되는 경우를 예로 들어 설명한다. 도 2 및 도 3을 참조한다. 도 2는 본 발명의 일 실시예에 따라, 예를 들어 환경의 이미지 데이터 캡처를 구현하는 증강 현실 장치로 구현된 이미지 처리 장치의 가능한 구조, 및 증강 현실 모델을 구현하는 이미지 데이터와 가상 객체의 합성을 구현하는 개략도이다. 도 3은 본 발명의 다른 실시예에 따라 이미지 데이터와 가상 객체의 합성 출력을 구현하기 위한 AR 장치로서 구현된 이미지 처리 장치의 가능한 구조의 개략도이다.
이미지 처리 장치의 구조는 도 2 및 도 3에 개별적으로 도시되어 있지만, 도 2 및 도 3에 도시된 구조는 사용 시에, 환경의 이미지 데이터를 캡처하는 것으로부터 이미지 데이터와 가상 객체의 합성된 디스플레이 효과를 렌더링 및 출력하는 기능을 구현하기 위해 결합될 수 있다. 도 2 및 도 3에 관련된 구성 요소를 설명한다.
카메라는 이미지 또는 비디오를 포함하는 실제 객체를 포함하는 환경의 이미지 데이터를 획득하고, 획득된 이미지 또는 비디오를 이미지 신디사이저로 전송하여 증강 현실 모델의 가상 객체와 합성하도록 구성된다.
시나리오 제너레이터는 이미지 데이터에서 실제 객체의 위치 정보, 예를 들어 헤드 트래커에 의해 획득되는, 이미지 데이터에서의 헤드의 위치 정보에 따라, 증강 현실 모델에서의 위치 정보에 대응하는 가상 객체를 추출하고, 이 가상 객체를 이미지 신디사이저로 전송하도록 구성되어 있다.
시나리오 제너레이터는 위치 정보에 따라 가상 객체를 생성하고, 가상 객체를 디스플레이로 보내도록 구성되어 있으며, 여기서 가상 객체는 이미지 신디사이저 상의 실제 객체와 중첩되기 위해 사용된다.
이미지 신디사이저는 획득된 실제 객체의 이미지 또는 비디오를 가상 객체와 합성하고, 합성된 이미지 또는 합성된 비디오를 렌더링하도록 구성되어 있으며, 렌더링 결과는 디스플레이 상에 표시되고 규칙적으로 리프레쉬된다.
디스플레이는 증강 현실 모델의 실제 객체와 가상 객체를 공동으로 표시하는 효과를 형성하기 위해, 이미지 신디사이저에 의해 전송된 합성된 이미지 또는 합성된 비디오를 표시하도록 구성된다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 이미지 처리 방법을 구현하는 구현 과정을 설명하며, 도 1 내지 도 3에 따른 스마트폰 또는 AR 안경으로서 구현되는 이미지 처리 장치를 예로 든다. 도 4를 참조하면, 도 4는 본 개시의 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다. 환경에 의해 형성되고 실제 객체 및 증강 현실 모델의 가상 이미지를 포함하는 이미지 데이터를 획득하는 이미지 처리 장치가 설명되며, 이는 다음 단계 501 내지 단계 501을 포함한다.
단계 501에서, 실제 객체를 포함하는 이미지 데이터가 획득된다.
실제 객체의 이미지 데이터를 획득하는 것은 증강 현실을 구현하는 제1 단계이다. 사용자는 현실 세계의 이미지가 이미지 처리 장치에 입력되고, 이미지 처리 장치에 의해 증강 현실 모델로부터 추출되어 생성된 가상 이미지와 합성되고, 전술한 디스플레이 컴포넌트로 출력될 때만 최종 증강 시나리오 이미지를 볼 수 있다.
실제 객체의 이미지 데이터는 전술한 카메라에 의해 캡처될 수 있다. 예를 들어, 디지털 라이트 필드 카메라가 사람 또는 자연 풍경과 같은 실제 객체를 촬영할 때, 완전한 라이트 필드 정보가 획득될 수 있으므로, 사용자가 이미지 처리 장치를 사용하는 프로세스에서 육안으로 보는 곳마다 자동 포커싱이 구현될 수 있다. 획득된 광은 실제 광 필드에서 캡처된 광 세트이며, 실제 객체가 가상 이미지와 합성된 후에, 사용자는 안경을 통해 실제 객체와 가상 객체를 구별할 수 없다. 확실히, 이미지 데이터는 다른 이미지 처리 장치에 의해 캡처되고 전송될 수 있다.
즉, 가능한 구현에서, 이미지 처리 장치는 카메라를 통해 실제 환경에서 이미지 데이터를 캡처한다. 실제 객체는 실제 환경에 존재하기 때문에, 캡처된 이미지 데이터는 실제 객체를 포함한다. 다른 가능한 구현에서, 다른 이미지 처리 장치는 실제 객체를 포함하는 이미지 데이터를 캡처하고 이 실시예에 따라 이미지 데이터를 이미지 처리 장치로 전송하고, 이미지 처리 장치는 이미지 데이터를 수신한다.
단계 502에서, 실제 객체의 위치 정보가 검출된다.
사람 및 아이템과 같은 실제 객체와 가상 객체의 완벽한 조합을 구현하려면 가상 객체를 실제 세계의 정확한 위치에 결합해야 한다. 따라서, 이미지 데이터에서 실제 객체의 위치는 실시간으로 검출되고, 실제 객체의 이동 방향조차도 추적되어, 시스템이 증강 현실 모델이 어떤 가상 물체 및 가상 객체의 위치를 표시할지를 결정하고, 관찰자의 시야에 따라 좌표 시스템을 재구성하도록 돕는다. 실제 객체의 위치 정보는 비디오 검출 방법과 같은 다수의 방법으로 측정될 수 있으며, 여기서 비디오 이미지 내의 사전 정의된 마크, 물체 또는 기준점(datum point)은 모드 인식 기술을 사용하여 인식되고, 그런 다음 시프트 및 회전 각도에 따라 좌표 변환 행렬이 계산되고, 좌표 변환 행렬은 실제 객체의 위치 정보를 나타내는 데 사용되거나; 또는 사용자의 머리의 회전 각도는 자이로스코프에 의해 측정되고, 시야에서 가상 물체의 좌표 및 내용을 변환하는 방법을 결정하기 위해 실제 객체의 위치 정보가 결정된다.
즉, 이미지 데이터를 획득한 후, 이미지 처리 장치는 전술한 위치 정보 측정 방법 중 어느 하나를 이용하여 이미지 데이터에서 실제 객체의 위치 정보를 검출한다. 또한, 이미지 처리 장치는 실제 객체가 실제 환경에서 이동하는 과정에서 실제 객체를 포함하는 다수의 이미지 데이터를 획득하고, 이미지 데이터 조각 간의 위치 및 자세 변화에 따라 실제 객체의 이동 트랙을 추적할 수 있으며, 이에 의해, 이미지 데이터의 각각의 조각에서의 실제 객체의 위치 정보를 결정한다. 각각의 조각의 이미지 데이터의 위치 및 자세 변화는 자이로스코프에 의해 검출되거나 추적 알고리즘을 사용하여 2 조각의 이웃 이미지 데이터를 추적함으로써 획득될 수 있다.
단계 503에서, 증강 현실 모델로부터 가상 객체가 획득된다.
AR 장치의 몰입 경험을 얻으려면 디스플레이가 사실적인 이미지를 표시하고 증강 현실 시나리오에서 시뮬레이션 및 표시를 수행해야 한다. 따라서, 이미지 처리 장치는 증강 현실 모델로부터 가상 객체를 획득한다.
증강 현실 시나리오에서 실제 객체의 로케이팅 마크가 인식되면, 사전 정의된 마크로부터 현재 증강 현실 시나리오에서의 마크로의 좌표 변환 행렬이 재구성되고, 이미지 처리 장치는 좌표 변환 행렬에 따라 증강 현실 모델에서 가상 객체를 드로잉하고, 렌더링을 수행한다.
단계 504에서, 실제 객체 및 가상 객체의 비디오는 위치 정보에 따라 결합되거나 직접 표시된다.
이미지 처리 장치의 이미지 신디사이저는 먼저 카메라의 위치 정보 및 실제 객체의 로케이팅 마크에 따라 가상 물체 좌표로부터 카메라 시각 평면으로의 아핀 변환(affine transformation)을 계산하고, 그런 다음 아핀 변환 행렬에 따라 가상 면 상에서 가상 객체를 드로잉하므로, 가상 객체와 실제 객체의 비디오 또는 사진이 결합된 후 디스플레이 상에 표시되어, 실제 객체와 가상 객체를 함께 표시하는 효과를 형성할 수 있다.
예를 들어, 소셜 네트워크의 클라이언트를 사용하여 영상 통화를 수행하는 시나리오에서, 가상 객체와 실제 객체의 비디오 또는 이미지가 합성되어 클라이언트의 통화 인터페이스에 표시된다. 예를 들어, 모자 및 안경과 같은 가상 객체는 실시간으로 발신자의 비디오 또는 이미지의 얼굴에 중첩되거나, 이것은 비디오 대화의 흥미를 크게 향상시키며; 또는 소셜 네트워크의 클라이언트가 실제 객체를 오프라인으로 스캔하는 데 사용되는 시나리오에서, 소셜 네트워크에 있는 사용자의 개인 명함이 실제 객체의 이미지와 공동으로 표시되며, 이것은 오프라인 통신과 온라인 통신의 원활한 연결을 구현한다.
이미지 처리 장치가 도 4의 증강 현실 모델의 실제 객체 및 가상 객체를 포함하는 이미지 데이터를 융합하기 위해 설명된 처리 절차에 기초하여, 사용자가 소셜 네트워크의 애플리케이션 시나리오에서 이미지 프로세싱을 수행하기 위해 소셜 네트워크의 클라이언트(이것은 피어 클라이언트와의 통신을 포함하기 때문에 본 명세서에서 로컬 클라이언트로 지칭됨)를 사용하는 프로세스가 아래에 설명된다. 도 5는 본 개시의 다른 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다. 도 5에 도시된 단계 601 내지 단계 606에 따라 설명된다.
단계 601에서, 로컬 클라이언트는 이미지 데이터를 획득한다.
본 발명의 가능한 실시예에서, 이미지 데이터는 로컬 클라이언트를 통해 카메라를 호출하는 사용자에 의한 촬영을 통해 획득될 수 있으며, 즉, 로컬 클라이언트의 프로세스에 의해 이미지 데이터를 형성하기 위해 환경이 캡처되거나; 또는 이미지 데이터는 소셜 네트워크에서 다른 사용자의 피어 클라이언트와 로컬 클라이언트를 사용하여 비디오 통신을 수행할 때 피어 클라이언트에 의해 전송될 수 있으며(피어 클라이언트의 수가 제한되지 않음), 즉 환경을 캡처하는 것에 의해 형성되고 소셜 네트워크에서 피어 클라이언트에 의해 전송되는 이미지 데이터는 로컬 클라이언트의 프로세스에서 수신되고, 그 환경에 있는 실제 객체의 특징은 수신된 이미지 데이터로부터 인식된다.
단계 602에서, 로컬 클라이언트는 획득된 이미지 데이터로부터 실제 객체의 특징을 인식한다.
실제 객체는 자연 장면, 문화적 장면 및 자연의 살아있는 객체(인간 포함)일 수 있다. 실제 객체의 다수의 특징 유형, 예를 들어, 이미지 특징은: 얼굴의 특징점, 윤곽 특징 및 객체의 텍스처 특징 등을 포함하고; 다른 예를 들면, 음성 인식 특징, 홍채 특징, 지문 특징 등을 포함하는 생물학적 특징 등을 포함한다. 본 개시의 실시예들에서, 사람은 주로 설명을 위한 예로서 사용된다. 예를 들어, 사람의 얼굴 특징 정보는 이미지 데이터로부터 인식된다. 다른 유형의 특징들에 대한 구현은 다음의 설명에 기초하여 이해될 수 있다.
본 발명의 가능한 실시예에서, 로컬 클라이언트는 로컬 클라이언트의 호스트 장치의 카메라를 호출하여 사용자의 얼굴을 포함하는 하나 이상의 얼굴 이미지를 얻기 위해 촬영하고, 샷 얼굴 이미지(shot face image)의 얼굴 특징점을 인식한다. 예를 들어, 형상 특징의 치수 인식의 관점에서, 외부 윤곽 특징을 사용하여 상이한 얼굴 기관이 검출되고, 얼굴 기관의 상이한 부분의 얼굴 특징점이 인식된다.
본 발명의 다른 가능한 실시예에서, 다수의 얼굴 이미지 프레임이 또한 획득될 수 있고, 샷 얼굴 이미지의 다수의 프레임이 개별적으로 인식되어, 각각의 얼굴 이미지에서 다수의 얼굴 특징점의 위치를 획득한다. 예를 들어, 얼굴 특징점은 눈 특징점, 코 특징점, 입술 특징점, 눈썹 특징점 및 얼굴 가장자리 특징점 중 하나 이상을 포함한다.
다수의 얼굴 이미지 프레임이 연속적으로 촬영될 수 있다. 예를 들어, 얼굴 이미지는 지정된 기간 동안 샷 비디오(shot video)에서 얼굴 이미지의 다수의 연속적인 프레임일 수 있다. 지정된 지속 시간은 예를 들어 1초 또는 0.5초이다. 물론, 얼굴 이미지는 또한 샷 비디오에서 타임라인으로 이산적으로 분포된 다수의 얼굴 이미지 프레임일 수 있다.
예를 들어, 도 6에 도시된 얼굴 특징점의 인식 결과가 획득될 수 있다. 아래에서 설명을 쉽게 하기 위해 숫자를 사용하여 인식된 얼굴 특징점을 표시한다. 예를 들어, 도 6에 도시된 1 ~ 20은 얼굴 가장자리 특징점을 나타내고, 21 ~ 28 및 29 ~ 36은 사용자의 왼쪽 눈썹 특징점 및 오른쪽 눈썹 특징점을 각각 나타내고, 37 ~ 44 및 88은 사용자의 왼쪽 눈 특징점을 나타내고, 여기서 88은 왼쪽 눈동자 특징이고, 45 ~ 51 및 89는 사용자의 오른쪽 눈 특징점을 나타내고, 여기서 89는 오른쪽 눈동자 특징점을 나타내고, 53 ~ 65는 사용자의 코 특징점을 나타내고, 66 ~ 87은 사용자의 입술 특징점을 나타낸다. 전술한 것은 단지 예일 뿐이다. 가능한 실시예에서, 전술한 얼굴 특징점 또는 더 많은 특징점 중 일부만이 인식될 수 있거나, 특징점은 다른 방식으로 표시되며, 이는 본 개시의 실시예의 범위 내에 속한다.
본 발명의 실시예에서, 얼굴 특징 인식은 전술한 실제 객체의 특징 인식을 설명하기 위한 예로서 사용된다. 얼굴 특징 인식 기술은 상이한 사용 기준에 따라, 일반적으로 상이한 인식 특징에 따라 2 가지 유형으로 분류된다.
(1) 국소 특징에 기초한 방법
본 개시의 가능한 실시예에서, 국소 특징에 기초한 방법에서, 얼굴은 얼굴의 국소 기하학적 특징, 예컨대 일부 얼굴 기관(눈, 코, 입 등)의 상대 위치 및 상대 거리를 사용하여 설명될 수 있다. 특징 구성 요소는 일반적으로 특징점 사이의 유클리드 거리, 곡률 및 각도를 포함하며 명백한 얼굴 형상을 효과적으로 설명할 수 있다.
예를 들어, 통합 투영 방법(integration projection method)은 얼굴 특징점을 위치시키기 위해 사용되고, 특징점 사이의 유클리드 거리는 분류를 위한 다차원 얼굴 특징 벡터를 인식하기 위한 특징 성분으로서 사용된다. 특징 구성 요소는: 눈썹과 눈 중심 사이의 수직 거리, 눈썹 라디안의 다수의 설명 데이터, 코 폭 및 코의 수직 위치, 콧구멍 위치 및 얼굴 폭 등을 주로 포함한다. 전술한 얼굴 특징 정보의 인식을 통해 인식 과정에서 100% 정확한 인식률을 얻을 수 있다.
본 개시의 가능한 실시예에서, 로컬 특징에 기초한 방법은 얼굴 특징의 일반적인 특징에 관한 경험 설명 일 수 있다.
예를 들어, 얼굴 이미지에는 몇 가지 명백한 기본 기능이 있다. 예를 들어, 두 눈, 코 및 입과 같은 얼굴 특징을 포함하는 얼굴 영역은 일반적으로 주변 영역보다 밝기가 낮고, 두 눈은 대략 대칭이며, 코와 입은 대칭 축에 분포되어 있다.
전술한 통합 투영 방법 및 규칙 방법에 더하여, 국소 특징에 기초한 방법은 기하학적 형상 정보에 기초한 방법을 더 포함한다. 본 개시의 실시예들에서, 국소 특징에 기초한 방법의 유형은 제한되지 않는다.
(2) 전체에 기초한 방법
전체에 기초한 방법은 특징을 인식하기 위해 이미지에 대한 변환 처리를 수행하기 위해 얼굴 이미지를 전체로서 사용한다. 이 방법은 얼굴의 전체 특성을 고려하고 또한 얼굴 부분과 해당 부분에 대한 정보 간의 토폴로지 관계를 유지한다.
얼굴 이미지는 일반적으로 높은 차원을 가지고, 고차원 공간에서의 얼굴 이미지의 분포는 매우 컴팩트하기 때문에 분류에 불리하고 높은 컴퓨팅 복잡성을 야기한다. 목표에 따라 선형 또는 비선형 공간 변환을 찾고, 원본 고차원 데이터를 저차원 부분 공간으로 압축하기 위해 부분 공간 분석 방법이 사용될 수 있으며, 그에 따라 부분 공간에서의 데이터 분포가 더 컴팩트하여 컴퓨팅 복잡성을 줄인다.
또한, 사각형 그리드 노드 세트가 얼굴 이미지에 배치될 수 있고, 각 노드의 특징은 그 노드에서 멀티-스케일 웨이블릿 특징(multi-scale wavelet feature)을 사용하여 설명되며, 노드 간의 연결 관계는 기하학적 거리를 사용하여 표시되며, 이로써 2차원 토폴로지 다이어그램에 기초하여 얼굴 표현을 구성한다. 얼굴 인식 프로세스에서, 두 이미지에서의 노드와 연결 간의 유사성에 따라 인식이 수행된다.
전술한 부분 공간 분석 방법 및 탄성 그래프 매칭 방법에 더하여, 전체에 기초한 방법은 신경망에 기초한 방법 등을 더 포함한다. 본 개시의 실시예들에서, 전체에 기초한 방법의 유형은 제한되지 않는다.
본 개시의 가능한 실시예에서, 특징을 인식하기 위한 상이한 실행 주체에 따르면, 이미지 데이터에 대한 특징 인식은 다음 2가지 방식으로 분류될 수 있다:
방식 1: 로컬 클라이언트가 서버의 인식 서비스를 호출하고 이미지 데이터를 서버의 인식 서비스로 전송하고, 서버는 획득된 이미지 데이터로부터 실제 객체의 특징을 인식하고 그 특징을 로컬 클라이언트로 반환한다.
방식 1은 특히 로컬 클라이언트의 컴퓨팅 자원이 제한되는 상황에 적용 가능하고, 특징 인식을 수행하는 로컬 클라이언트에 의해 소비되는 컴퓨팅 자원 및 특징 인식을 수행함으로써 야기되는 지연을 효과적으로 감소시킬 수 있다. 예를 들어, 비디오에서의 특징 인식을 위해, 비디오 내의 객체가 일반적으로 이동 상태에 있기 때문에, 대응하는 동작에서 이동 객체의 특징점 인식이 복잡하고, 클라이언트의 호스트 장치의 큰 오버헤드를 점유한다. 이 경우, 서버의 인식 서비스가 호출될 수 있고, 서버의 인식 서비스는 획득된 이미지 데이터로부터 실제 객체의 특징을 인식하고, 그 특징을 로컬 클라이언트에게 반환한다.
방식 2: 로컬 클라이언트의 프로세스에서 이미지 인식 스레드를 시작하고, 시작된 이미지 인식 스레드에서 획득된 이미지 데이터를 인식하여 실제 객체의 특징을 얻는다.
단순한 이미지 데이터의 특징 인식에 있어서, 특징점을 보다 신속하게 인식하기 위해, 클라이언트의 호스트 장치의 프로세스에서 이미지 인식 스레드가 시작될 수 있다.
예를 들어, 특징 인식 동작은 클라이언트의 호스트 장치에 의해 수행된다. 인식 프로세스에서, 사용자는 또한 음악을 듣거나 게임 또는 비디오 프로세스를 시작할 수 있기 때문에, 다른 애플리케이션의 자원 점유를 피하기 위해, 이미지 인식 스레드는 클라이언트의 프로세스에서 시작될 수 있다. 시작 스레드의 수는 컴퓨팅의 복잡한 인식(예를 들어, 비디오의 프레임 속도 또는 이미지의 해상도)에 따라 결정될 수 있다. 컴퓨팅 복잡도가 비교적 낮으면, 비교적 적은 수의 스레드만이 시작될 수 있고, 인식의 컴퓨팅 복잡성이 비교적 높으면, 다중 스레드가 시작될 수 있다. 이미지 인식 스레드가 시작된 후에, 획득된 이미지 데이터는 시작된 이미지 인식 스레드에서 인식되어 실제 객체의 특징을 획득하며, 이에 의해 이미지 데이터의 특징 정보의 정상적인 인식을 보장하고, 그 프로세스 또는 다른 애플리케이션의 스레드의 중단을 피한다.
본 개시의 가능한 실시예에서, 인식된 특징에 대해, 실제 객체의 인식된 특징이 실제 객체가 인식될 수 있는 조건을 충족시키는 것으로 결정될 수 있고, 여기서 조건은 다음: 이미지 특징점들이 인식되는 경우, 인식된 이미지 특징점의 수량은 특징점 수량 임계 값을 초과하는 조건; 및 생물학적 특징이 인식되는 경우, 인식된 생물학적 특징의 완전성은 완전성 임계 값을 초과하는 조건 중 적어도 하나를 포함하며; 조건이 충족되면, 후속 단계가 수행되거나, 그렇지 않으면, 조건을 만족하는 특징이 획득될 때까지 절차는 단계 601로 되돌아 간다.
사용자가 실제 객체의 이미지 데이터를 캡처할 때, 다음 상황 중 하나가 있을 수 있다: 1) 저조도 환경에 위치한다; 2) 실제 객체가 이동 상태에 있다; 3) 카메라가 이동 상태에 있다; 4) 실제 객체의 특징은 부분적으로 차단된다. 예를 들어, 사용자가 얼굴을 촬영할 때, 대부분의 얼굴이 차단된다. 전술한 상황 중 하나가 발생하면, 획득된 특징 정보는 후속 동작을 완료하기에 충분하지 않다. 따라서, 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하기 전에, 대응하는 특징 정보의 수량 또는 완전성이 결정되어, 불완전한 특징 조회에 의해 야기되는 소셜 네트워크의 컴퓨팅 자원 소비가 회피될 수 있다.
예를 들어, 얼굴 인식에 사용자가 이미지를 촬영할 때 눈, 코, 입과 같은 얼굴 특징이 필요하고, 눈, 코 및 입이 각각 특징점을 100개보다 작지 않게 가진다고 가정하면, 사용자가 이미지를 촬영할 때, 촬영 광이 너무 어두워지거나 사용자와 카메라가 상대적으로 움직이는 상태에 있거나 또는 사용자의 얼굴 대부분이 가려져 있기 때문에, 촬영된 이미지에 있어서, 동일한 특징점 및 유효하지 않은 특징점을 제외하고 눈, 코 및 입은 각각 100개 미만의 특징점을 가진다. 따라서 이 캡처는 실패하므로 캡처를 다시 수행해야 하며, 그렇지 않으면, 다음 동작이 수행될 수 있다.
단계 603에서, 로컬 클라이언트는 실제 객체의 특징에 따라 소셜 네트워크를 조회하고, 실제 객체가 소셜 네트워크에 속하는지를 결정한다. 실제 객체가 소셜 네트워크에 속하면, 단계 604가 수행된다. 그렇지 않으면, 절차는 단계 601로 돌아간다.
본 발명의 가능한 실시예에서, 실제 객체의 특징에 따라, 소셜 네트워크의 서버에서 실행되는 특징 데이터베이스는 실제 객체의 특징과 일치하는 사전 설정된 특징 정보가 저장되는지를 결정하기 위해 검색된다. 실제 객체의 특징과 일치하는 사전 설정된 특징 정보가 저장되면, 실제 객체는 소셜 네트워크에 속하는 것으로 결정된다. 실제 객체의 특징과 일치하는 사전 설정된 특징 정보가 저장되지 않으면, 실제 객체는 소셜 네트워크에 속하지 않는다.
예를 들어, 로컬 클라이언트가 QQ 클라이언트인 예가 사용된다. 사용자는 "QQ-AR" 기능 옵션을 선택하고 사용자 또는 다른 사용자의 이미지를 촬영한다. 촬영이 완료된 후, QQ 클라이언트는 사진에서 사용자 얼굴의 특징 정보를 수집하고, 특징 정보에 따라 소셜 네트워크를 검색하여 사용자의 특징 정보가 존재하는지를 결정한다. 사용자가 미리 사용자의 이미지를 업로드하고, 소셜 네트워크가 사용자 얼굴의 사전 설정된 특징 정보를 미리 저장한 경우, 사용자의 사전 설정된 특징 정보가 발견될 수 있고, 사용자가 소셜 네트워크에 속하는 것으로 결정되며; 사용자가 사용자의 이미지를 업로드하지 않으면, 사용자가 소셜 네트워크에 속하지 않는 것으로 결정된다.
소셜 네트워크의 다양한 실제 객체는 소셜 네트워크의 등록된 사용자뿐만 아니라 소셜 네트워크의 공유 객체, 예를 들어 제품과 같은 다양한 아이템을 포함할 수 있다. 소셜 네트워크는 기능 데이터베이스에 기록된 해당 기능을 사용하여 조회된다. 예를 들어, 소셜 네트워크의 특징 데이터베이스는 등록된 사용자의 얼굴 특징, 공유 객체의 텍스처 특징 및 그래픽 코드를 사용하여 조회된다. 따라서 조회 결과에 따라 다음 두 가지 시나리오가 있다.
시나리오 1: 발견된 객체의 유형은 소셜 네트워크의 등록된 사용자이다
본 개시의 가능한 실시예에서, 소셜 네트워크의 특징 데이터베이스는 실제 객체의 특징을 사용하여 조회된다. 실제 객체가 소셜 네트워크의 등록된 사용자의 특징과 일치할 때, 실제 객체는 소셜 네트워크에 속하는 등록된 사용자로 결정된다.
예를 들어, 로컬 클라이언트의 사용자가 사용자 또는 다른 사용자의 이미지를 촬영할 때, 로컬 클라이언트는 사람의 이미지 데이터를 획득하고, 네트워크의 특징 데이터베이스는 이미지 데이터의 특징에 따라 조회된다. 특징 데이터베이스가 이미지 데이터에 사용자의 이미지를 사전 저장하는 경우, 사용자는 소셜 네트워크에 속하는 등록된 사용자인 것으로 결정될 수 있고, 소셜 네트워크에서 등록된 사용자의 ID가 획득될 수 있다.
특징 데이터베이스는 등록된 사용자의 이미지 특징을 미리 저장한다. 등록되지 않은 사용자의 이미지 기능은 기능 데이터베이스에 저장되지 않는다. 따라서, 특징 데이터베이스가 사용자의 특징을 이미지 데이터에 저장하는지에 따라 소셜 네트워크에서 사용자가 등록된 사용자인지가 결정될 수 있다.
시나리오 2: 발견된 객체의 유형은 소셜 네트워크에서 공유된 객체이다
본 개시의 가능한 실시예에서, 소셜 네트워크의 특징 데이터베이스는 실제 객체의 특징을 사용하여 조회된다. 실제 객체가 소셜 네트워크의 공유 객체의 특징과 일치할 때, 실제 객체는 소셜 네트워크의 공유 객체로 결정된다.
예를 들어, 사용자는 제품 또는 장면과 같은 실제 객체를 촬영하고, 클라이언트는 실제 객체의 이미지 데이터를 획득하고, 실제 객체의 특징 정보, 예를 들어 제품 2차원 코드 또는 장면 윤곽과 같은 특징을 획득하고, 그런 다음 획득된 특징에 따라 네트워크에서 특징 데이터베이스에 조회한다. 특징 데이터베이스가 실제 객체와 일치하는 공유 객체의 이미지를 사전 저장하는 경우, 실제 객체는 소셜 네트워크의 공유 객체인 것으로 결정될 수 있고, 소셜 네트워크에서 공유 객체의 ID가 획득될 수 있다. 소셜 네트워크의 공유 관련 콘텐츠는 ID에 기초한 조회를 통해 획득되는 것을 지원한다.
조회된 객체의 유형이 공유 객체인 경우 일반적인 응용 프로그램은 다음과 같다: 사용자가 소셜 네트워크에서 사용자가 공유한 제품을 볼 때 구매처를 모를 경우 사용자는 2차원 코드 또는 바코드만 스캔하면 된다. 스캐닝이 완료된 후, 제품을 구매할 수 있는 상점과 상점의 주소 정보는 AR 방식으로 이미지 처리 장치의 스크린 또는 HMD에 공동으로 표시될 수 있다. 주소 정보는 실제 주소일 수 있거나, 구매를 위한 웹 사이트, 전자 상거래의 네트워크 주소일 수 있다.
단계 604에서, 로컬 클라이언트는 소셜 네트워크로부터 실제 객체에 적응된 증강 현실 모델을 획득한다.
본 발명의 가능한 실시예에서, 실제 객체가 소셜 네트워크에서 등록된 사용자인 경우, 소셜 네트워크에서 사전 설정된 증강 현실 모델에서 등록된 사용자의 가상 객체가 획득된다. 가상 객체는 데코레이션 효과를 구현하는 데 사용될 수 있으며, 예를 들어, 다음: 가상 아이템, 가상 배경 및 필터 중 적어도 하나를 포함한다. 전술한 필터는 내부 필터, 내장 필터 또는 플러그인 필터 일 수 있다. 확실히, 가상 객체는 또한 소셜 네트워크에서 사용자의 명함 및 공유 정보 인덱스를 표시하는 것과 같은 정보 디스플레이 효과를 구현할 수 있다.
예를 들어, 소셜 네트워크의 서버에서, 사용자의 얼굴 특징은 소셜 네트워크에서 사용자의 얼굴 특징과 일치하는 이미지를 찾기 위해 인식되고 매칭되며, 소셜 네트워크에서의 대응하는 ID는 매칭된 이미지를 사용하여 획득되며, 적응형 증강 현실 모델로서 사용되는 관련 증강 현실 모델은 ID에 따라 발견된다. 소셜 네트워크의 등록된 사용자의 증강 현실 모델은 적어도 등록된 사용자의 개인 명함을 표시하기 위해 네트워크에 의해 무작위로 할당될 수 있거나, 또는 사용자에 따라 개인화된 방식으로 설정될 수 있음을 이해할 수 있을 것이다.
본 개시의 가능한 실시예에서, 실제 객체가 소셜 네트워크에서 공유 객체인 경우, 소셜 네트워크에서 공유 객체에 대한 가상 객체가 획득된다. 가상 객체는 다음: 소셜 네트워크에서 공유 객체에 대한 기사; 및 소셜 네트워크에서 공유 객체에 대한 광고 중 적어도 하나를 포함한다.
예를 들어, 사용자가 좋아하는 제품 또는 아름다운 경치를 발견했지만 제품 또는 장면의 관련 정보를 알지 못하는 경우, 사용자는 "QQ-AR"을 통해 제품 또는 장면을 겨냥할 수 있으며, 그런 다음 제품 또는 장면을 스캔하는 애니메이션이 스크린에 나타난다. 애니메이션이 끝나면 제품 또는 장면의 스캔이 성공했음을 나타낸다. 그런 다음, 그 제품의 패키지, 외관, 바코드 또는 2차원 코드와 같은 정보에 따라 그 제품을 구매하기 위한 관련 기사 또는 광고, 또는 상점 및 주소가 발견되거나; 또는 관련 기사 또는 광고는 그 장면의 특징, 외관 및 지리적 위치와 같은 정보에 따라 발견된다.
본 개시의 가능한 실시예에서, 증강 현실 모델을 획득하기 위해, 증강 현실 모델을 로컬 클라이언트의 버퍼에 버퍼링하기 위한 솔루션이 제공된다. 예를 들어, 로컬 클라이언트 사용자의 경우 소셜 네트워크는 잠재적 친구 및 관심 있는 사용자 또는 제품을 계산하고 해당 증강 현실 모델을 로컬 클라이언트에 미리 버퍼링하여 가상 객체의 렌더링 속도를 가속화하고 지연을 피한다.
따라서, 증강 현실 모델에 대한 로컬 버퍼 및 소셜 네트워크에 조회하는 우선순위에 따라, 다음 2가지 상이한 조회 결과가 관련된다:
방식 1: 버퍼 또는 호스트 장치의 데이터베이스에 저장하기
본 개시의 가능한 실시예에서, 실제 객체에 적응된 증강 현실 모델이 소셜 네트워크로부터 획득되기 전에, 클라이언트의 버퍼 또는 호스트 장치의 데이터베이스는 소셜 네트워크에서 실제 객체의 ID를 사용하여 실제 객체에 적응하는 증강 현실 모델에 대해 조회된다. 이러한 방식으로, 대응하는 증강 현실 모델이 로컬 클라이언트에 저장되는 상황에서, 매번 소셜 네트워크를 요청할 필요가 없으며, 증강 현실 모델에서 가상 객체의 렌더링 속도가 가속되어 지연을 최대한 줄일 수 있다.
예를 들어, 사용자가 이미지 또는 비디오를 촬영하기 위해 "QQ-AR"을 통해 자신을 겨냥한 후, 사용자의 얼굴 특징 파라미터가 획득되고, 클라이언트는 특징 파라미터에 따라 버퍼를 조회하여 이전에 사용된 증강 현실 모델이 버퍼에 저장되어 있는지, 예를 들어 개인화된 AR 데코레이션이 설정되어 있는지를 결정한다. 이전에 사용된 증강 현실 모델이 버퍼에 저장되어 있으면, 증강 현실 모델이 버퍼로부터 획득되고, 이에 의해 증강 현실 모델을 획득하는 효율을 향상시킨다.
방식 2: 소셜 네트워크의 서버에 저장되기
실제 클라이언트의 증강 현실 모델이 로컬 클라이언트의 호스트 장치의 버퍼 및 데이터베이스에서 발견되지 않으면, 소셜 네트워크의 서버는 가상 객체의 ID를 사용하여 실제 객체의 증강 현실 모델에 대해 조회된다.
단계 605에서, 로컬 클라이언트는 획득된 이미지 데이터에 따라 렌더링을 수행한다.
단계 606에서, 로컬 클라이언트는 렌더링에 의해 형성된 이미지 내의 실제 객체의 위치에 따라 증강 현실 모델에서 가상 객체를 렌더링하여, 공동으로 표시되는 실제 객체 및 가상 객체를 형성한다.
상이한 디스플레이 방식에 따르면, 다음 두 가지 상황이 있을 수 있다:
방식 1: 스마트폰 및 컴퓨터와 같은 장치
소셜 네트워크의 인스턴트 메시징 시나리오에서, 스마트폰 및 컴퓨터와 같은 장치에 설치된 클라이언트가 증강 현실 모델을 획득할 때, 증강 현실 모델은 인스턴트 메시징 프로세스에서 전송된 이미지 데이터에 실려 있는 실제 객체와 합성되고, 합성된 비디오 또는 이미지는 스마트폰 스크린 또는 컴퓨터 스크린에 표시된다.
방식 2: HMD로 세팅된 VR 안경
비디오 합성 기술의 전송 HMD의 디스플레이 방식에 기초하여, VR 안경은 카메라를 통해 현실 세계에서 비디오 또는 이미지를 획득하고, 그런 다음 생성된 또는 획득된 가상 객체를 현실 세계의 비디오 또는 이미지와 합성하고, 대응하는 렌더링을 수행하며, 그런 다음 HMD를 통해 디스플레이에 표시를 수행한다.
렌더링 동안, 증강 현실 모델의 가상 객체와 실제 객체 사이의 위치 관계가 고려될 필요가 있으며, 다음 예를 사용하여 설명된다.
1) 도 7에 도시된 바와 같이, 사용자는 로컬 클라이언트를 통해 소셜 네트워크의 다른 사용자와 이미지 채팅을 수행하고, 피어 클라이언트의(다른 사용자의 이미지를 운송하는) 이미지 데이터를 수신한다. 로컬 클라이언트는 이미지 데이터에 대한 얼굴 특징 인식(71)을 수행하고, 사용자가 소셜 네트워크의 등록된 사용자임을 인식하고, 소셜 네트워크에서 사용자의 사전 설정된 증강 현실 모델이 AR 데코레이션-다이빙 안경인 것을 발견한다. 렌더링 프로세스에서, AR 안경 데코레이션 및 사용자 눈의 상대 위치에 따라, 다이빙 안경(72)은 사용자의 눈의 "앞에서" 렌더링된다.
2) 도 8에 도시된 바와 같이, 로컬 클라이언트는 호스트 장치가 위치한 환경에서 얼굴의 이미지 데이터를 캡처하는 것을 포함하여 그 환경으로부터 비디오를 캡처하고; 로컬 클라이언트의 사용자가 소셜 네트워크의 등록된 사용자임을 결정하기 위해 얼굴 특징 인식(81)을 수행하고; 소셜 네트워크에 조회하여, 파도에 대응하는 배경(83) 및 다이빙 안경(82)을 포함하여, AR 데코레이션인 사전 설정된 증강 현실 모델을 획득하고; 다이빙 안경(82), 가상 배경(83) 및 사용자 눈의 상대 위치, 및 배경(83)과 사용자의 계층적 관계에 따라 사용자의 최하층에 가상 배경(83)을 배치하여 배경(83)이 사용자를 차단하지 않게 한다.
3) 도 9에 도시된 바와 같이, 사용자는 로컬 클라이언트의 스캐닝 기능을 사용하여 호스트 장치의 카메라를 호출하여 새로운 친구의 얼굴을 스캔하고, 즉, 환경에서 얼굴의 이미지 데이터를 캡처하고, 얼굴 특징 인식(91)을 수행하여 새로운 친구가 소셜 네트워크에 등록된 사용자인 것으로 결정하고, 사전 설정된 증강 현실 모델이 AR 데코레이션인 것을 발견하고, AR 데코레이션에 따라, 로컬 클라이언트에서 얼굴을 표시하는 인터페이스에서의 얼굴 위치에 따른 토끼 귀(92)의 개인 데코레이션 및 열린 입 동작(93)을 렌더링한다. 합성 후, 토끼 귀와 열린 입을 가진 머리의 이미지가 클라이언트에 나타난다.
본 발명의 다른 가능한 실시예에서, 이미지 데이터가 비디오 데이터 또는 일련의 사진인 상황에서, 로컬 클라이언트는 이미지 데이터에서 실제 객체의 위치 및 자세 변화를 검출한다. 위치 및 자세 변화는 사용자와 클라이언트 장치 사이의 상대적인 위치 변화 또는 각도 변화일 수 있다. 각도 변화는 사용자와 클라이언트 사이의 측면 시야각, 평면 시야각 및 하부 시야각의 변화일 수 있다. 증강 현실 모델에 있고 위치 및 자세 변화에 적응적인 가상 객체는 출력된 이미지 내의 실제 객체의 위치에 따라 렌더링 및 출력되어, 중첩된 실제 객체 및 가상 객체를 형성하고, 실제 객체와 가상 객체의 완벽한 융합 효과를 보장한다.
로컬 클라이언트는 스캔된 이미지 데이터에 따라 사용자의 위치가 변하는 것을 검출한다. 로컬 클라이언트는 HDM 또는 이동 전화와 같은 장치의 AR 소프트웨어 개발 키트(software development kit, SDK)를 사용하여 렌더링된 실제 객체에서 추적 및 일치를 수행한다. 즉, 실제 객체의 강조된 움직임 또는 로컬 클라이언트와 실제 객체 사이의 거리의 변화 및 객체 각도의 변화에 따라, 증강 현실 모델에 대응하는 위젯 및 배경의 렌더링이 변경되어 더 나은 증강 현실 효과를 형성한다.
현재 많은 IM 클라이언트가 채팅으로 대표되는 네트워크 가상 문자(아바타) 설정을 지원한다. 도 10a 및 도 10b에 도시된 바와 같이, 사용자는 사용자가 좋아하는 3D 아바타 이미지를 선택하여 그 이미지를 비디오 채팅에 적용할 수 있다. 머리가 움직이거나 입이 열리면 사용자가 선택한 아바타도 해당 동작을 수행한다. 또한, 다른 만화 이미지 데코레이션이 있으며, 예를 들어, 사용자는 가상 세계에서 사용자를 나타내기 위해 만화 이미지를 선택하고, 사용자는 만화 이미지에 대한 의상 및 얼굴을 변경할 수 있다. 오늘날의 새로운 끝없는 기술을 사용하면 전술한 시나리오는 사용자 요구를 충족시킬 수 없다. 한편으로, 만화 캐릭터와 사용자는 관계가 없다. 젊은 사용자의 경우, 사용자를 나타내기 위해 만화 캐릭터 이미지를 사용하는 대신, 사용자가 플레이하는 만화 캐릭터가 친구에게 보여지며, 이는 사용자의 개성을 더 잘 반영한다.
본 발명의 실시예들에 따라 제공되는 이미지 처리 방법의 솔루션은 전술한 문제를 해결하기 위해 사용될 수 있다. 도 11을 참조하면, 도 11은 본 개시의 다른 실시예에 따른 이미지 처리 방법의 가능한 구현 흐름의 개략도이다. 소셜 네트워크에는 얼굴 인식 서버 및 소셜 데코레이션 서버가 배치된다. 이 방법은 다음 단계 801 내지 단계 811을 포함한다.
단계 801에서, 클라이언트는 캡처 동작을 수행한다.
클라이언트는 얼굴을 포함하는 이미지를 획득하고, 이미지에 대한 특징 포착 동작을 수행하여 이미지에 포함된 특징점을 획득할 수 있다.
예를 들어, 모바일 QQ 클라이언트는 스캐닝 기능을 호출하는 데 사용될 수 있다. 예를 들어, 아이콘 "+"를 클릭하고 "스캔"을 선택한 다음 "QQ-AR"을 선택하고 얼굴(사용자 또는 다른 사람)을 겨냥한 다음 스캔이 수행된다. 설명의 편의를 위해, 본 명세서에서, 스캔된 사용자는 사용자 C로 지칭된다.
단계 802에서, 클라이언트는 충분한 특징점이 있는지를 결정하고, 여기에 충분한 특징점이 있다면, 단계 803이 수행된다. 그렇지 않으면, 단계 802가 계속 수행된다.
캡처 동작 후에, 캡처된 특징점의 수량이 획득되고, 특징점의 수량이 특징점 수량 임계 값을 초과하는지가 결정된다. 특징점의 수량이 특징점 수량 임계 값을 초과하면, 특징점의 수량이 충분하고 얼굴의 스캐닝이 성공했음을 나타낸다. 특징점의 수량이 특징점 수량 임계 값을 초과하지 않으면, 특징점의 수량이 부족하여 캡처를 계속해야 함을 나타낸다.
얼굴 정면이 스크린에서 스캔되는 애니메이션을 관찰하여 특징점이 충분한지를 결정할 수 있다. 일반적으로 애니메이션이 끝난 후에는 얼굴 스캔이 성공했음을 나타낸다. 얼굴의 스캐닝에 실패하면, 스캐닝은 1초 동안 중단되고, 그런 다음 단계 802가 계속 수행된다.
단계 803에서, 클라이언트는 로컬로 버퍼링된 AR 데코레이션이 있는지를 검출한다. 로컬로 버퍼링된 AR 데코레이션이 존재하면, 단계 804가 수행된다. 로컬로 버퍼링된 AR 데코레이션이 없으면, 단계 805가 수행된다.
AR 데코레이션을 처음으로 사용하는 사용자에 대해, 클라이언트는 로컬로 버퍼링된 대응하는 AR 데코레이션을 가지지 않는다. 또한, 다른 사람의 얼굴 정보가 촬영될 때, 일반적으로, 로컬로 버퍼링되는 대응하는 AR 데코레이션이 존재하지 않는다. 확실히, 실제 응용에서, QQ 클라이언트는 배경 서버에 의해 푸시된 다른 사용자(예를 들어, 잠재적인 친구 및 관심 있는 사용자)의 AR 데코레이션을 수신할 수 있다. 따라서, 사용자가 오프라인 통신 프로세스에서 잠재적인 사용자를 알고 QQ 클라이언트를 사용하여 사용자를 스캔하면 AR 데코레이션이 즉시 얻어지고 배경 서버에서 조회를 수행할 필요가 없으므로 지연이 최대한으로 감소한다.
단계 804에서, 클라이언트는 AR 이미지 또는 비디오를 표시한다.
AR 이미지 또는 비디오는: AR 데코레이션과 사용자에 의해 촬영된 이미지의 합성 이미지, 및 AR 데코레이션과 사용자에 의해 촬영된 비디오의 합성 이미지이다. 클라이언트가 AR 데코레이션을 획득한 후, AR 데코레이션 및 사용자에 의해 촬영된 이미지 또는 비디오가 합성되어 AR 사진 또는 비디오를 획득하고, 사용자에게 데코레이션을 추가하는 효과가 AR 픽쳐 또는 비디오에 구현된다.
단계 805에서, 클라이언트는 얼굴 인식 서버에 사진을 업로드한다.
로컬 라이브러리에서 해당 AR 데코레이션이 발견되지 않으면, 인식 결과에 따라 얼굴 인식 서버에 저장된 이미지에 대해 매칭 동작을 수행하기 위해 얼굴 인식 서버에서 얼굴 인식이 수행되어야 한다.
단계 806에서, 얼굴 인식 서버는 매칭이 성공적이라고 결정한다.
얼굴 인식 서버가 매칭된 이미지를 가지는 경우, 이는 매칭이 성공했음을 나타내고, 얼굴 인식 서버는 사용자 C의 이미지를 저장하고, 사용자 C는 소셜 네트워크의 등록된 사용자임을 나타낸다.
단계 806은 2개의 장면에서 수행된다. 첫 번째 장면에서 사용자 C는 클라이언트를 사용하는 사용자이며 AR 데코레이션을 설정하지 않는다. 두 번째 장면 2에서, 사용자 C는 다른 사람이다.
단계 807에서, 얼굴 인식 서버는 소셜 네트워크 계정을 획득한다.
소셜 네트워크 계정은 QQ 번호일 수 있거나, WeChat 번호 또는 다른 IM 계정일 수 있다.
소셜 데코레이션 서버는 각 소셜 네트워크 계정에 대응하는 개인화된 데코레이션을 저장하고, 등록된 사용자를 인식한 후, 얼굴 인식 서버는 등록된 사용자의 소셜 네트워크 계정을 획득한다. 획득된 소셜 네트워크 계정은 소셜 데코레이션 서버에서 소셜 네트워크 계정을 사용하여 개인화된 데코레이션을 가져 오기 위해 사용된다.
단계 808에서, 얼굴 인식 서버는 개인화된 데코레이션 모델을 끌어당기라는 요청을 소셜 데코레이션 서버에 전송한다. 요청은 획득된 소셜 네트워크 계정을 운송한다.
단계 809에서, 소셜 데코레이션 서버는 개인화된 데코레이션 모델을 끌어당긴다.
첫 번째 장면의 경우에, 사용자 C는 클라이언트를 사용하는 사용자이며, AR 데코레이션을 설정하지 않는다.
얼굴 인식 서버는 소셜 데코레이션 서버로부터 개인화된 데코레이션 모델을 획득한 후, 소셜 데코레이션 서버를 이용하여 클라이언트에 대응하는 개인화된 데코레이션 모델을 추천한다.
두 번째 장면의 경우에, 사용자 C는 다른 사람이다.
사용자 C가 AR 데코레이션을 설정한 경우, 얼굴 서버는 소셜 데코레이션 서버로부터 사용자 C에 의해 설정된 AR 데코레이션을 획득하고, 그런 다음 소셜 데코레이션 서버를 사용하여 대응하는 개인화된 데코레이션 모델을 클라이언트에 추천한다. 사용자 C가 AR 데코레이션을 설정하지 않으면 이 작업은 종료된다.
단계 810에서, 개인화된 데코레이션 모델이 클라이언트에 전송된다.
단계 811에서, 클라이언트는 로컬 ARSDK에 따라 모델을 로딩한다.
사용자가 이동할 때, 클라이언트는 HDM 또는 이동 전화와 같은 장치의 AR SDK를 사용하여 표시된 콘텐츠 및 형태에 대한 추적 및 매칭을 수행하므로, 개인화된 데코레이션이 렌더링되고 사용자가 이동함에 따라 변경되며, 이에 따라 더 나은 증강 현실 효과를 형성한다.
전술한 구현들은 다음과 같은 몇 가지 전형적인 시나리오에 적용될 수 있으며, 여기서 QQ 클라이언트인 로컬 클라이언트가 예로서 사용된다는 것을 이해하기 쉽다.
시나리오 1: 온라인 통신-인스턴트 이미지 채팅에서의 AR 데코레이션 구현
로컬 클라이언트의 사용자가 인스턴트 메시징(QQ, WeChat 등 포함)을 사용하여 피어 사용자(예를 들어 친척 및 친구)와 이미지 채팅을 수행하는 경우, 사용자는 로컬 클라이언트에서 카메라를 호출하여 실시간 방식으로 비디오 또는 이미지를 촬영하며, 이에 의해 실제 객체의 비디오 또는 이미지에 대한 파라미터를 얻는다. 개인화를 강조하고 채팅 분위기를 활기차게 하기 위해, 비디오 또는 이미지를 촬영하기 전에(또는 비디오 또는 이미지를 촬영하는 과정에서), 개인화 데코레이션 및 가상 배경과 같은 해당 가상 객체가 실제 객체에 추가된다. 피어 클라이언트의 사용자에 있어서, 사용자가 카메라를 사용하여 로컬 사용자와 유사한 비디오 또는 사진을 촬영할 때, 사용자는 샷 비디오 또는 사진을 데코레이션하거나, 또는 로컬 비디오 사용자에게 샷 비디오 또는 사진을 직접 전송할 수 있으며, 로컬 사용자는 전술한 데코레이션 동작을 수행한다.
확실히, 전술한 AR 데코레이션은 소셜 네트워크에 포함된 개인 명함, 계정 및 이미지 검증 등과 같이, 소셜 네트워크에서 사용자의 다른 정보로 대체될 수 있다.
시나리오 2: 온라인 통신-비디오 전송 프로세스에서 AR 데코레이션 구현
로컬 사용자가 인스턴트 메시지(QQ, WeChat 등 포함)를 사용하여 동료 사용자(예를 들어 친척 및 친구)와 채팅할 때 두 사용자는 서로 재미있고 멋지게 생각하는 샷 비디오 또는 사진을 보낼 수 있다. 예를 들어, 로컬 사용자(또는 피어 사용자)가 저녁 식사 동안 사진을 촬영한 후, 인스턴트 메시징 클라이언트는 사진에서 실제 객체의 특징을 인식하고 그 인식된 특징과 일치하는 해당 데코레이션을 결정하며, 그런 다음 일치하는 데코레이션을 추가하며, 그 사진을 피어 사용자(또는 로컬 사용자)에게 전송한다.
시나리오 3: 오프라인 통신-클라이언트가 다른 사용자를 스캔한다
모바일 QQ와 같은 로컬 클라이언트의 사용자는 클라이언트 상에서 "스캔" 옵션을 탭한 다음 "QQ-AR"을 선택한다. 스캔할 사용자의 얼굴을 겨냥한다. 그런 다음, 스캔 중인 실제 개체의 애니메이션이 스크린에 나타난다. 애니메이션이 끝난 후, 스캔이 성공했음을 나타내며, 즉, 환경에서 실제 개체의 기능이 캡처된 이미지 데이터에서 인식된다. 이 특징에 기초하여 소셜 네트워크는 대응하는 ID에 대해 조회되고, 발견된 ID에 따라 사용자의 사전 설정된 AR 데코레이션이 로컬 클라이언트로 당겨져서 그 스캔된 얼굴에 대한 데코레이션 효과를 즉시 형성한다.
시나리오 4: 오프라인 통신-클라이언트가 클라이언트 사용자를 스캔한다
모바일 QQ와 같은 로컬 클라이언트의 사용자는 카메라를 사용하여 "QQ-AR"을 통해 사용자의 얼굴을 겨냥하며, 그런 다음 스캔되는 얼굴의 애니메이션이 스크린에 나타난다. 애니메이션이 끝난 후 얼굴 스캔이 성공했음을 나타낸다. 적어도 하나의 개인화된 데코레이션이 선택될 스크린의 하단에 나타날 수 있고, 사용자가 좋아하는 개인화된 데코레이션을 사용자가 선택한 후에, 개인화된 데코레이션이 스크린에 적용될 수 있다. 개인화된 데코레이션은 가상 아이템, 가상 배경, 필터 등일 수 있고, 가상 아이템은 모자, 안경 또는 다른 얼굴 위젯일 수 있다. 사용자가 개인화된 데코레이션을 탭핑하고 업로드하기로 결정한 후, 사용자의 얼굴 사진 및 개인화된 AR 데코레이션은 각각 서버에 업로드되고, 사용자의 QQ 번호와 결합될 수 있다.
결론적으로, 본 개시 내용의 실시 형태는 다음의 유리한 효과를 달성한다:
1) 이미지 데이터로부터 특징을 인식하고 소셜 네트워크에 조회하는 방식에 기초하여, 소셜 네트워크의 임의의 시나리오에서 이미지 데이터에 대해, 소셜 네트워크에 속하는 실제 객체가 신속하게 인식될 수 있고, 소셜 네트워크에서 실제 객체에 적응적인 증강 현실 효과가 해당 시나리오에서 융합된다.
2) 소셜 네트워크는 필요에 따라 AR 형태의 데코레이션 및 소셜 비즈니스 카드일 수 있는 상이한 실제 객체의 증강 현실 모델을 다양화하므로, 이미지 데이터의 렌더링이 적용될 때, 다른 객체의 차별화된 디스플레이 효과가 달성된다.
3) 가상 데코레이션과 사용자의 특성의 조합은 사용자에게 새로운 광범위한 통신 주제 진입점을 제공하고, 오프라인 통신으로부터 온라인 통신으로의 원활한 액세스를 용이하게 한다.
4) 클라이언트는 상황에 따라 로컬로 또는 서버의 인식 서비스를 호출함으로써 이미지 데이터로부터 특징을 인식하고, 이는 지연을 줄이고 실제 객체와 가상 객체의 동기 디스플레이를 구현하는 것을 돕는다.
5) 증강 현실 모델에 대해 클라이언트의 호스트 장치를 우선적으로 조회하는 방식에 따르면, 클라이언트가 증강 현실 모델을 국부적으로 사전 저장하는 상황에 대해, 클라이언트에서 가상 객체를 적시에 표시할 수 있으며, 이에 의해 네트워크로 인한 실제 객체와 가상 객체의 비동기화된 디스플레이 문제를 피할 수 있다.
6) 소셜 네트워크로부터 증강 현실 모델을 요청할지는 이미지 데이터로부터 인식된 특징의 완전성에 따라 결정되므로, 소셜 네트워크의 배경에서 유효하지 않은 컴퓨팅을 피하고 소셜 네트워크의 컴퓨팅 자원을 효과적으로 절약한다.
전술한 설명은 본 발명의 예시적인 실시예일 뿐이며, 본 발명의 보호 범위를 제한하기 위해 사용되지는 않는다. 본 개시의 사상 및 범위 내에서 이루어진 임의의 수정, 균등 한 대체 및 개선은 본 개시의 보호 범위 내에 속한다.

Claims (23)

  1. 이미지 처리 장치에 적용되는 이미지 처리 방법으로서,
    획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하는 단계;
    상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하는 단계;
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델(augmented reality model)을 획득하는 단계;
    상기 획득된 이미지 데이터에 따라 렌더링을 수행하는 단계; 및
    상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하여, 공동으로 표시되는 상기 실제 객체 및 상기 가상 객체를 형성하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하는 단계는:
    상기 소셜 네트워크에서 피어 클라이언트의 환경을 캡처하는 것에 의해 형성되고 상기 피어 클라이언트에 의해 전송되는 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터로부터 상기 피어 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하는 단계; 및/또는
    이미지 데이터를 형성하기 위해 환경을 캡처하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하는 단계
    를 포함하는, 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 캡처된 이미지 데이터로부터 로컬 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하는 단계는:
    상기 소셜 네트워크에서 상기 피어 클라이언트와 통신하는 경우, 상기 로컬 클라이언트의 환경을 캡처하여 상기 피어 클라이언트로 전송될 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하는 단계; 또는
    상기 로컬 클라이언트의 캡처 동작에 응답하여 상기 로컬 클라이언트의 환경을 캡처하여 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하는 단계
    를 포함하는, 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하는 단계 이전에,
    상기 실제 객체의 인식된 특징이 상기 소셜 네트워크에 대한 인식 가능한 조건을 충족하는 것으로 결정하는 단계
    를 더 포함하며, 상기 조건은:
    이미지 특징점들이 인식되는 경우, 상기 인식된 이미지 특징점들의 수량은 특징점 수량 임계 값을 초과하는 조건; 및
    생물학적 특징이 인식되는 경우, 상기 인식된 생물학적 특징의 완전성(completeness)은 완전성 임계 값을 초과하는 조건
    중 적어도 하나를 포함하는, 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하는 단계는:
    상기 실제 객체의 특징을 사용하여 상기 소셜 네트워크의 특징 데이터베이스에 조회하는 단계;
    상기 실제 객체가 상기 소셜 네트워크의 등록된 사용자의 특징과 일치하는 경우, 상기 실제 객체가 상기 소셜 네트워크의 등록된 사용자 속성을 가지는 것으로 결정하는 단계; 및
    상기 실제 객체가 상기 소셜 네트워크의 공유 객체의 특징과 일치하는 경우, 상기 실제 객체가 상기 소셜 네트워크의 공유 객체 속성을 가지는 것으로 결정하는 단계
    를 포함하는, 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하는 단계는:
    상기 실제 객체가 상기 소셜 네트워크에 등록된 사용자인 경우, 상기 소셜 네트워크에 등록된 사용자의 사전 설정된 가상 객체를 획득하는 단계 - 상기 가상 객체는 가상 아이템, 가상 배경 및 필터 중 적어도 하나를 포함함 - ; 및
    상기 실제 객체가 상기 소셜 네트워크의 공유 객체의 속성을 가지는 경우, 상기 소셜 네트워크에서 상기 공유 객체에 대한 가상 객체를 획득하는 단계
    를 포함하며, 상기 가상 객체는:
    상기 소셜 네트워크에서 공유 객체에 대한 기사, 및
    상기 소셜 네트워크에서 상기 공유 객체에 대한 광고
    중 적어도 하나를 포함하는, 이미지 처리 방법.
  7. 제1항에 있어서,
    상기 획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하는 단계는:
    서버의 인식 서비스를 호출하고, 상기 획득된 이미지 데이터로부터 상기 환경에 있는 실제 객체의 특징을 인식하는 단계; 또는
    이미지 인식 스레드(image recognition thread)를 시작하고, 상기 시작된 이미지 인식 스레드에서 상기 획득된 이미지 데이터를 인식하여, 상기 환경에 있는 실제 객체의 특징을 획득하는 단계
    를 포함하는, 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하는 것은:
    상기 이미지 데이터에서 상기 실제 객체의 위치 및 자세 변화를 검출하는 것;
    출력된 이미지 내의 상기 실제 객체의 위치에서, 상기 증강 현실 모델에 있고 상기 위치 및 자세 변화에 적응적인 가상 객체를 렌더링 및 출력하는 것
    을 포함하는, 이미지 처리 방법.
  9. 제1항에 있어서,
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하는 단계는:
    상기 실제 객체에 적응적인 상기 증강 현실 모델에 대해 로컬 클라이언트에 조회하는 단계; 및
    상기 증강 현실 모델이 상기 로컬 클라이언트에서 발견되지 않는 경우 상기 실제 객체에 적응적인 상기 증강 현실 모델에 대해 소셜 네트워크에 조회하는 단계
    를 포함하는, 이미지 처리 방법.
  10. 이미지 처리 장치로서,
    획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하도록 구성되어 있는 인식 모듈;
    상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하도록 구성되어 있는 조회 모듈;
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하도록 구성되어 있는 모델 모듈;
    상기 획득된 이미지 데이터에 따라 렌더링을 수행하고 상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하여, 공동으로 표시되는 상기 실제 객체 및 상기 가상 객체를 형성하도록 구성되어 있는 렌더링 모듈
    을 포함하는 이미지 처리 장치.
  11. 제10항에 있어서,
    상기 인식 모듈은 구체적으로:
    상기 소셜 네트워크에서 피어 클라이언트의 환경을 캡처하는 것에 의해 형성되고 상기 피어 클라이언트에 의해 전송되는 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터로부터 상기 피어 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하며; 그리고/또는
    이미지 데이터를 형성하기 위해 환경을 캡처하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하도록 구성되어 있는, 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 인식 모듈은 구체적으로:
    상기 소셜 네트워크에서 상기 피어 클라이언트와 통신하는 경우, 상기 로컬 클라이언트의 환경을 캡처하여 상기 피어 클라이언트로 전송될 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하거나; 또는
    상기 로컬 클라이언트의 캡처 동작에 응답하여 상기 로컬 클라이언트의 환경을 캡처하여 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하도록 구성되어 있는, 이미지 처리 장치.
  13. 제10항에 있어서,
    상기 인식 모듈은: 상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 상기 증강 현실 모델이 획득되기 전에, 상기 실제 객체의 인식된 특징이 상기 소셜 네트워크에 대한 인식 가능한 조건을 충족하는 것으로 결정하도록 추가로 구성되어 있으며, 상기 조건은:
    이미지 특징점들이 인식되는 경우, 상기 인식된 이미지 특징점들의 수량은 특징점 수량 임계 값을 초과하는 조건; 및
    생물학적 특징이 인식되는 경우, 상기 인식된 생물학적 특징의 완전성(completeness)은 완전성 임계 값을 초과하는 조건
    중 적어도 하나를 포함하는, 이미지 처리 장치.
  14. 이미지 처리 장치로서,
    실행 가능한 프로그램을 저장하도록 구성되어 있는 메모리; 및
    상기 메모리에 저장되어 있는 상기 실행 가능한 프로그램을 실행할 때 다음의 동작:
    획득된 이미지 데이터로부터 환경에 있는 실제 객체의 특징을 인식하는 단계;
    상기 실제 객체의 특징을 사용하여 소셜 네트워크에 조회하고, 상기 실제 객체가 상기 소셜 네트워크의 속성을 가지는 것으로 결정하는 단계;
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하는 단계;
    상기 획득된 이미지 데이터에 따라 렌더링을 수행하는 단계; 및
    상기 렌더링에 의해 형성된 이미지 내의 상기 실제 객체의 위치에 따라 상기 증강 현실 모델 내의 가상 객체를 렌더링하여, 공동으로 표시되는 상기 실제 객체 및 상기 가상 객체를 형성하는 단계를 수행하도록 구성되어 있는 프로세서
    를 포함하는 이미지 처리 장치.
  15. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 소셜 네트워크에서 피어 클라이언트의 환경을 캡처하는 것에 의해 형성되고 상기 피어 클라이언트에 의해 전송되는 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터로부터 상기 피어 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하는 단계; 및/또는
    이미지 데이터를 형성하기 위해 환경을 캡처하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 위치하는 실제 객체의 특징을 인식하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  16. 제15항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 소셜 네트워크에서 상기 피어 클라이언트와 통신하는 경우, 상기 로컬 클라이언트의 환경을 캡처하여 상기 피어 클라이언트로 전송될 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하는 단계; 또는
    상기 로컬 클라이언트의 캡처 동작에 응답하여 상기 로컬 클라이언트의 환경을 캡처하여 이미지 데이터를 형성하고, 상기 캡처된 이미지 데이터로부터 상기 로컬 클라이언트의 환경에 있는 상기 실제 객체의 특징을 인식하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  17. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 실제 객체에 적응적이고 상기 소셜 네트워크에 있는 증강 현실 모델을 획득하는 단계 이전에,
    상기 실제 객체의 인식된 특징이 상기 소셜 네트워크에 대한 인식 가능한 조건을 충족하는 것으로 결정하는 단계
    를 실행하도록 추가로 구성되어 있으며, 상기 조건은:
    이미지 특징점들이 인식되는 경우, 상기 인식된 이미지 특징점들의 수량은 특징점 수량 임계 값을 초과하는 조건; 및
    생물학적 특징이 인식되는 경우, 상기 인식된 생물학적 특징의 완전성은 완전성 임계 값을 초과하는 조건
    중 적어도 하나를 포함하는, 이미지 처리 장치.
  18. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 실제 객체의 특징을 사용하여 상기 소셜 네트워크의 특징 데이터베이스에 조회하는 단계;
    상기 실제 객체가 상기 소셜 네트워크의 등록된 사용자의 특징과 일치하는 경우, 상기 실제 객체가 상기 소셜 네트워크의 등록된 사용자 속성을 가지는 것으로 결정하는 단계; 및
    상기 실제 객체가 상기 소셜 네트워크의 공유 객체의 특징과 일치하는 경우, 상기 실제 객체가 상기 소셜 네트워크의 공유 객체 속성을 가지는 것으로 결정하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  19. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 실제 객체가 상기 소셜 네트워크에 등록된 사용자인 경우, 상기 소셜 네트워크에 등록된 사용자의 사전 설정된 가상 객체를 획득하는 단계 - 상기 가상 객체는 가상 아이템, 가상 배경 및 필터 중 적어도 하나를 포함함 - ; 및
    상기 실제 객체가 상기 소셜 네트워크의 공유 객체의 속성을 가지는 경우, 상기 소셜 네트워크에서 상기 공유 객체에 대한 가상 객체를 획득하는 단계
    를 실행하도록 추가로 구성되어 있으며, 상기 가상 객체는:
    상기 소셜 네트워크에서 공유 객체에 대한 기사, 및
    상기 소셜 네트워크에서 상기 공유 객체에 대한 광고
    중 적어도 하나를 포함하는, 이미지 처리 장치.
  20. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    서버의 인식 서비스를 호출하고, 상기 획득된 이미지 데이터로부터 상기 환경에 있는 실제 객체의 특징을 인식하는 단계; 또는
    이미지 인식 스레드를 시작하고, 상기 시작된 이미지 인식 스레드에서 상기 획득된 이미지 데이터를 인식하여, 상기 환경에 있는 실제 객체의 특징을 획득하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  21. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 이미지 데이터에서 상기 실제 객체의 위치 및 자세 변화를 검출하는 단계;
    출력된 이미지 내의 상기 실제 객체의 위치에서, 상기 증강 현실 모델에 있고 상기 위치 및 자세 변화에 적응적인 가상 객체를 렌더링 및 출력하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  22. 제14항에 있어서,
    상기 프로세서는 상기 실행 가능한 프로그램을 실행하여 다음의 동작:
    상기 실제 객체에 적응적인 상기 증강 현실 모델에 대해 로컬 클라이언트에 조회하는 단계; 및
    상기 증강 현실 모델이 상기 로컬 클라이언트에서 발견되지 않는 경우 상기 실제 객체에 적응적인 상기 증강 현실 모델에 대해 소셜 네트워크에 조회하는 단계
    를 실행하도록 추가로 구성되어 있는, 이미지 처리 장치.
  23. 실행 가능한 프로그램을 저장하는 저장 매체로서,
    상기 실행 가능한 프로그램은 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는, 저장 매체.
KR1020207004027A 2017-08-04 2018-08-01 이미지 처리 방법 및 장치, 및 저장 매체 KR102292537B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710661746.0A CN108305317B (zh) 2017-08-04 2017-08-04 一种图像处理方法、装置及存储介质
CN201710661746.0 2017-08-04
PCT/CN2018/097860 WO2019024853A1 (zh) 2017-08-04 2018-08-01 一种图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
KR20200020960A true KR20200020960A (ko) 2020-02-26
KR102292537B1 KR102292537B1 (ko) 2021-08-20

Family

ID=62872576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004027A KR102292537B1 (ko) 2017-08-04 2018-08-01 이미지 처리 방법 및 장치, 및 저장 매체

Country Status (6)

Country Link
US (2) US11182615B2 (ko)
JP (1) JP7098120B2 (ko)
KR (1) KR102292537B1 (ko)
CN (1) CN108305317B (ko)
TW (1) TWI708152B (ko)
WO (1) WO2019024853A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220112655A (ko) * 2021-02-04 2022-08-11 (주)스마트큐브 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR101988319B1 (ko) * 2013-09-09 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
CN109040824B (zh) * 2018-08-28 2020-07-28 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和可读存储介质
US10573057B1 (en) * 2018-09-05 2020-02-25 Citrix Systems, Inc. Two-part context-based rendering solution for high-fidelity augmented reality in virtualized environment
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
WO2020056689A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技（深圳）有限公司 一种ar成像方法、装置及电子设备
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11087430B2 (en) * 2018-09-28 2021-08-10 Apple Inc. Customizable render pipelines using render graphs
CN109933788B (zh) * 2019-02-14 2023-05-23 北京百度网讯科技有限公司 类型确定方法、装置、设备和介质
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112102498A (zh) * 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法
JP7221156B2 (ja) 2019-06-28 2023-02-13 富士フイルム株式会社 画像処理システム、画像処理方法及びプログラム
JP7368048B2 (ja) * 2019-10-25 2023-10-24 Ｎｅｃソリューションイノベータ株式会社 表示装置、イベント支援システム、表示方法、及びイベント支援システムの生産方法
CN110868635B (zh) * 2019-12-04 2021-01-12 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
CN111652107B (zh) * 2020-05-28 2024-05-21 北京市商汤科技开发有限公司 对象计数方法及装置、电子设备和存储介质
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN111899350A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 增强现实ar图像的呈现方法及装置、电子设备、存储介质
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
WO2022083038A1 (zh) * 2020-10-23 2022-04-28 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和计算机可读存储介质
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
US11449155B2 (en) * 2021-01-11 2022-09-20 Htc Corporation Control method of immersive system
JP7427786B2 (ja) 2021-02-09 2024-02-05 北京字跳▲網▼絡技▲術▼有限公司 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
TWI768913B (zh) * 2021-05-20 2022-06-21 國立中正大學 眼睛中心定位方法及其定位系統
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
CN113479105A (zh) * 2021-07-20 2021-10-08 钟求明 一种基于自动驾驶车辆的智能充电方法及智能充电站
TWI792693B (zh) * 2021-11-18 2023-02-11 瑞昱半導體股份有限公司 用於進行人物重辨識的方法與裝置
CN116645525B (zh) * 2023-07-27 2023-10-27 深圳市豆悦网络科技有限公司 一种游戏图像识别方法及处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130063876A (ko) * 2011-12-07 2013-06-17 (주)엘에이치에스지 클라우드 컴퓨팅을 이용한 증강 현실 시스템 및 생성 방법
KR20150126289A (ko) * 2014-05-02 2015-11-11 한국전자통신연구원 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置，個人識別方法
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
JP5237394B2 (ja) * 2009-01-30 2013-07-17 富士通フロンテック株式会社 認証装置、撮像装置、認証方法および認証プログラム
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110044512A1 (en) * 2009-03-31 2011-02-24 Myspace Inc. Automatic Image Tagging
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking
KR101189043B1 (ko) * 2011-04-27 2012-10-08 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
US8332424B2 (en) * 2011-05-13 2012-12-11 Google Inc. Method and apparatus for enabling virtual tags
CN102916986A (zh) * 2011-08-01 2013-02-06 环达电脑(上海)有限公司 人脸辨识的搜寻系统及其方法
WO2013043289A1 (en) 2011-09-23 2013-03-28 Tangome, Inc. Augmenting a video conference
CN102332095B (zh) * 2011-10-28 2013-05-08 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
US9258626B2 (en) * 2012-01-20 2016-02-09 Geun Sik Jo Annotating an object in a video with virtual information on a mobile terminal
CN103368816A (zh) * 2012-03-29 2013-10-23 深圳市腾讯计算机系统有限公司 基于虚拟人物形象的即时通讯方法及系统
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US10027727B1 (en) * 2012-11-21 2018-07-17 Ozog Media, LLC Facial recognition device, apparatus, and method
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN103544724A (zh) * 2013-05-27 2014-01-29 华夏动漫集团有限公司 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
KR102207026B1 (ko) * 2013-08-22 2021-01-22 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
JP2015095031A (ja) 2013-11-11 2015-05-18 アルパイン株式会社 情報処理装置およびコメント投稿方法
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
EP3097545A4 (en) * 2014-01-22 2017-07-19 Speakeasy, Inc. Systems and methods of socially-driven product offerings
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
DE102014226625A1 (de) * 2014-10-31 2016-05-04 Cortado Ag Verfahren zur Übertragung von Druckdaten, Server und mobiles Endgerät
CN104504423B (zh) * 2014-12-26 2018-02-13 山东泰宝防伪制品有限公司 Ar增强现实立体防伪系统及其方法
WO2016111174A1 (ja) 2015-01-06 2016-07-14 ソニー株式会社 エフェクト生成装置およびエフェクト生成方法、並びにプログラム
US9754355B2 (en) * 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
KR102371138B1 (ko) * 2015-03-18 2022-03-10 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
CN104901873A (zh) * 2015-06-29 2015-09-09 曾劲柏 一种基于场景和动作的网络社交系统
US20190222806A1 (en) * 2015-10-30 2019-07-18 2Mee Ltd Communication system and method
JP6589573B2 (ja) * 2015-11-06 2019-10-16 ブラザー工業株式会社 画像出力装置
US11237629B2 (en) * 2016-02-06 2022-02-01 Maximilian Ralph Peter von und zu Liechtenstein Social networking technique for augmented reality
CN106200917B (zh) * 2016-06-28 2019-08-30 Oppo广东移动通信有限公司 一种增强现实的内容显示方法、装置及移动终端
CN106200918B (zh) * 2016-06-28 2019-10-01 Oppo广东移动通信有限公司 一种基于ar的信息显示方法、装置和移动终端
CN106295504A (zh) * 2016-07-26 2017-01-04 车广为 人脸识别基础上的增强显示方法
US20180047200A1 (en) * 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US10623666B2 (en) * 2016-11-07 2020-04-14 Snap Inc. Selective identification and order of image modifiers
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11635872B2 (en) * 2016-11-22 2023-04-25 Snap Inc. Smart carousel of image modifiers
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
CN106846237A (zh) * 2017-02-28 2017-06-13 山西辰涵影视文化传媒有限公司 一种基于Unity3D的增强实现方法
GB2560031B (en) * 2017-02-28 2020-05-27 PQ Solutions Ltd Binding data to a person's identity
JP2019537758A (ja) * 2017-06-12 2019-12-26 美的集団股▲フン▼有限公司Ｍｉｄｅａ Ｇｒｏｕｐ Ｃｏ．， Ｌｔｄ． 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
US9980100B1 (en) * 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
KR101968723B1 (ko) * 2017-10-18 2019-04-12 네이버 주식회사 카메라 이펙트를 제공하는 방법 및 시스템
US11488359B2 (en) * 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130063876A (ko) * 2011-12-07 2013-06-17 (주)엘에이치에스지 클라우드 컴퓨팅을 이용한 증강 현실 시스템 및 생성 방법
KR20150126289A (ko) * 2014-05-02 2015-11-11 한국전자통신연구원 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220112655A (ko) * 2021-02-04 2022-08-11 (주)스마트큐브 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
TWI708152B (zh) 2020-10-21
TW201911082A (zh) 2019-03-16
US20200285851A1 (en) 2020-09-10
WO2019024853A1 (zh) 2019-02-07
JP7098120B2 (ja) 2022-07-11
CN108305317B (zh) 2020-03-17
CN108305317A (zh) 2018-07-20
US20220004765A1 (en) 2022-01-06
US11182615B2 (en) 2021-11-23
KR102292537B1 (ko) 2021-08-20
JP2020529084A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
KR102292537B1 (ko) 이미지 처리 방법 및 장치, 및 저장 매체
US9460340B2 (en) Self-initiated change of appearance for subjects in video and images
US11763481B2 (en) Mirror-based augmented reality experience
CN109691054A (zh) 动画用户标识符
US11734866B2 (en) Controlling interactive fashion based on voice
US20240071131A1 (en) Interactive augmented reality content including facial synthesis
US11900506B2 (en) Controlling interactive fashion based on facial expressions
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
US11673054B2 (en) Controlling AR games on fashion items
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
US20230130535A1 (en) User Representations in Artificial Reality
Wen et al. A survey of facial capture for virtual reality
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN114779948B (zh) 基于面部识别的动画人物即时交互控制方法、装置及设备
CN108320331A (zh) 一种生成用户场景的增强现实视频信息的方法与设备
US20240037832A1 (en) Metaverse system
CN117041670B (zh) 图像处理方法及相关设备
CN113849142B (zh) 图像展示方法、装置、电子设备及计算机可读存储介质
KR102570735B1 (ko) 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법
US20230316665A1 (en) Surface normals for pixel-aligned object
US20240070992A1 (en) Hand-tracking stabilization
US20240185508A1 (en) Multisensorial presentation of volumetric content
US20240070969A1 (en) Multisensorial presentation of volumetric content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant