KR102222087B1 - 증강 현실에 기초한 이미지 인식 방법 및 장치 - Google Patents
증강 현실에 기초한 이미지 인식 방법 및 장치 Download PDFInfo
- Publication number
- KR102222087B1 KR102222087B1 KR1020197023416A KR20197023416A KR102222087B1 KR 102222087 B1 KR102222087 B1 KR 102222087B1 KR 1020197023416 A KR1020197023416 A KR 1020197023416A KR 20197023416 A KR20197023416 A KR 20197023416A KR 102222087 B1 KR102222087 B1 KR 102222087B1
- Authority
- KR
- South Korea
- Prior art keywords
- image feature
- image
- library
- samples
- user
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 55
- 238000007405 data analysis Methods 0.000 claims description 24
- 238000013480 data collection Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 75
- 230000006399 behavior Effects 0.000 description 39
- 239000000463 material Substances 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 230000002354 daily effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G06K9/00671—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G06K9/4604—
-
- G06K9/6202—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H04L67/20—
-
- H04L67/22—
-
- H04L67/38—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/53—Network services using third party service providers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Abstract
본 출원은 증강 현실에 기초한 이미지 인식 방법을 제공하며, 이 방법은, 포함하는, 증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하는 단계; 미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별(screen out)하는 단계; 및 선별된 화상 피처 샘플들에 기초하여, 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 화상 피처 샘플 서브-라이브러리를 증강 현실 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, 증강 현실 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 하는 단계 본 출원은 AR 클라이언트 단말의 이미지 인식 효율을 개선할 수 있다.
Description
본 출원은 2017년 1월 11일에 출원된 중국 특허 출원 번호 제201710018395.1호 및 2018년 1월 8일에 출원된 미국 특허 출원 번호 제15/864,572호를 우선권으로 주장하며, 이로써, 이들의 전체 내용들은 인용에 의해 포함된다.
본 발명은 증강 현실 분야에 관한 것으로서, 특히 증강 현실에 기초한 이미지 인식 방법 및 장치에 관한 것이다.
증강 현실(AR) 기술은 실제 세계와 가상 세계를 융합시키기 위해 이미지의 위치 및 각도를 실시간으로 계산함으로써 이미지 상에 대응하는 화상, 비디오 및 3D 모델을 중첩시키는 기술이다. AR 클라이언트 단말은 AR 클라이언트 단말에 로컬로(locally) 저장된 화상 인식 자료들을 이용함으로써 실시간으로 사용자의 오프라인 환경에서 이미지들을 인식하고, 미리-구성된 프리젠테이션 효과에 따라, 실제 시나리오 내의 인식된 특정 오프라인 타겟의 위치 상에, 대응하는 프리젠테이션 데이터를 증강된 방식으로 디스플레이할 수 있다. 그러나, AR 기술이 지속적으로 발전하고 AR 장면들이 점점 더 풍부해짐에 따라, AR 클라이언트 단말의 컴퓨테이션 양(computation amount)이 또한 날마다 증가한다. 많은 양의 컴퓨테이션은 AR 클라이언트 단말이 전력을 빠르게 소비하고 비정상적으로 가열되게 한다. 따라서, AR 클라이언트 단말의 컴퓨테이션 양을 어떻게 감소시킬지가 이 업계에서 급히 해결될 문제들 중 하나이다.
본 출원은 증강 현실에 기초한 이미지 인식 방법을 제공하며, 이 방법은, 증강 현실 서버 단말에 적용되고,
증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하는(gathering) 단계;
미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별(screen out)하는 단계; 및
선별된 화상 피처 샘플들에 기초하여, 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 화상 피처 샘플 서브-라이브러리를 증강 현실 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, 증강 현실 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 하는 단계를 포함한다.
본 출원은 또한, 증강 현실에 기초한 이미지 인식 장치를 제공하며, 이 장치는, 증강 현실 서버 단말에 적용되고,
증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하도록 구성된 취득 모듈;
미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별(screen out)하도록 구성된 선별 모듈 ― 화상 피처 샘플 라이브러리는 화상 피처 샘플들과 사용자 정보 사이의 연관 관계를 포함함 ― ; 및
선별된 화상 피처 샘플들에 기초하여, 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 화상 피처 샘플 서브-라이브러리를 증강 현실 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, 증강 현실 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 하도록 구성된 푸시 모듈을 포함한다.
본 출원에서, 증강 현실 서버 단말은, 증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하고, 미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별하고, 선별된 화상 피처 샘플들에 기초하여 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 그리고 그 후, 화상 피처 샘플 서브-라이브러리를 증강 현실 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, 증강 현실 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 한다. 증강 현실 서버 단말은 사용자 정보에 기초하여 화상 피처 샘플 라이브러리를 선별하기 때문에, 증강 현실 서버 단말에 의해 증강 현실 클라이언트 단말로 푸시된 화상 인식 자료들의 수, 및 증강 현실 클라이언트 단말이 이미지 인식을 수행할 때 사용되는 화상 인식 자료들의 수가 상당히 감소될 수 있고, 이에 따라 증강 현실 클라이언트 단말의 컴퓨테이션 양을 감소시키고 증강 현실 클라이언트 단말의 이미지 인식 효율을 개선한다.
도 1은 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 방법의 프로세싱 흐름도이다.
도 2는 본 출원의 일 실시예에 따른 AR 서버 단말의 아키텍처도이다.
도 3은 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 장치의 로직 블록도이다.
도 4는 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 장치를 휴대한 증강 현실 서버 단말에 수반되는 하드웨어 구조도이다.
도 2는 본 출원의 일 실시예에 따른 AR 서버 단말의 아키텍처도이다.
도 3은 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 장치의 로직 블록도이다.
도 4는 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 장치를 휴대한 증강 현실 서버 단말에 수반되는 하드웨어 구조도이다.
관련 기술에서, 사용자의 오프라인 환경에서 이미지들을 스캔하는 프로세스에서, AR 클라이언트 단말은 일반적으로, 미리 구성된 화상 인식 자료 라이브러리를 사용함으로써 실시간으로 스캔된 이미지 정보에 대한 이미지 인식을 수행할 수 있다. 화상 인식 자료 라이브러리는 오프라인 타겟들의 매우 다수의 화상 샘플들로부터 추출된 화상 피처 샘플들을 포함한다. 이미지 정보가 사용자의 오프라인 환경으로부터 스캔된 후, AR 클라이언트 단말은, AR 엔진에 휴대된 이미지 인식 알고리즘을 이용하여 이미지 정보로부터 화상 피처를 추출하고, 화상 인식 자료 라이브러리 내의 화상 피처 샘플들과 추출된 화상 피처 사이의 유사도를 일일이 계산하여 스캔된 이미지 정보에서 오프라인 타겟을 인식할 수 있다. 이미지 인식이 완료된 후, AR 클라이언트 단말은 또한, 실제 시나리오에서 인식된 오프라인 타겟의 위치를 계산하고, 그 후 미리 구성된 프리젠테이션 효과에 따라 증강된 방식으로 대응하는 프리젠테이션 데이터를 디스플레이할 수 있다.
현재, 이미지 인식의 실행 동안, AR 클라이언트 단말에 의해 사용될 필요가 있는 화상 인식 자료 라이브러리, 프리젠테이션 데이터, 및 대응하는 프리젠테이션 효과(예를 들어, 애니메이션 효과)는 일반적으로, AR 서비스 플랫폼에서 미리 구성되며, 여기서 프리젠테이션 데이터는 화상 인식 자료 라이브러리 내의 각각의 오프라인 타겟에 대해 미리 구성되고 연관된 방식으로 제시될 필요가 있다. 이미지 스캔을 시작하기 전에, AR 클라이언트 단말은 AR 서비스 플랫폼으로부터 미리 구성된 화상 인식 자료 라이브러리뿐만 아니라, 프리젠테이션 데이터 및 프리젠테이션 효과들을 완전히 다운로드하여 이들을 로컬로 저장할 필요가 있다.
그러나, 실제의 애플리케이션에서, 화상 인식 자료 라이브러리에 너무 많은 자료들이 존재하는 경우, 한편으로는, AR 클라이언트 단말의 데이터 저장 압력이 증가할 것이고, 다른 한편으로는, 이미지 인식 동안 AR 클라이언트 단말의 컴퓨테이션 양이 다소 크며, 이에 따라 AR 클라이언트 단말의 빠른 전력 소비, 비정상적인 가열, 및 낮은 이미지 인식 효율의 문제들을 야기한다.
이러한 관점에서, 본 출원은 AR 클라이언트 단말에 의해 업로드된 사용자 정보에 기초하여 화상 인식 자료를 유연하게 선별하고 선별된 자료들을 AR 클라이언트 단말로 푸시할 수 있는 AR 서버 단말을 제공한다.
AR 클라이언트 단말에 의해 업로드된 사용자 정보를 취득함으로써, AR 서버 단말은, 미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별하고, 선별된 화상 피처 샘플들에 기초하여 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 그리고 그 후, 화상 피처 샘플 서브-라이브러리를 AR 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, AR 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 한다.
전체 솔루션에서, AR 서버 단말은 사용자 정보에 기초하여 화상 피처 샘플 라이브러리를 선별하기 때문에, AR 서버 단말에 의해 AR 클라이언트 단말로 푸시된 화상 인식 자료들의 수, 및 AR 클라이언트 단말이 이미지 인식을 수행할 때 사용되는 화상 인식 자료들의 수가 상당히 감소될 수 있고, 이에 따라 AR 클라이언트 단말의 컴퓨테이션 양을 감소시키고 AR 클라이언트 단말의 이미지 인식 효율을 개선한다.
본 출원은, 특정 실시예를 사용하고 특정 애플리케이션 시나리오들을 참조하여 이하에 설명된다.
도 1을 참조하면, 도 1은 본 출원의 일 실시예에 따라 증강 현실에 기초한 이미지 인식 방법을 도시한다. 이 방법은 AR 서버 단말에 적용되며 다음의 단계들을 포함한다:
단계 101 : 증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보가 취득된다.
단계 102 : 사용자 정보와 연관된 화상 피처 샘플들이 미리 설정된 화상 피처 샘플 라이브러리로부터 선별된다.
단계 103 : 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리가 선별된 화상 피처 샘플들에 기초하여 생성되고, 증강 현실 클라이언트 단말로 푸시되어서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, AR 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 한다.
AR 클라이언트 단말은 AR 기술에 기초하여 개발되거나 AR 기능과 통합된 클라이언트 단말 소프트웨어를 지칭한다. 예를 들어, AR 클라이언트 단말은 AR 서비스 기능과 통합된 제 3 자 지불 앱(APP)일 수 있다. AR 클라이언트 단말은 휴대된 이미지 스캔 툴을 사용하여 사용자의 오프라인 환경에서 현실 장면에 대한 이미지 스캔을 수행하고 스캔된 오프라인 타겟에 대한 이미지 인식을 개시할 수 있다. 또한, AR 클라이언트 단말은 AR 클라이언트 단말의 프론트-엔드 AR 엔진을 이용하여, 인식된 오프라인 타겟에 대응하고 백-엔드 AR 서버 단말에 의해 푸시된 프리젠테이션 데이터에 대한 시각화 렌더링(visualization rendering)을 수행한다. AR 클라이언트 단말은 렌더링된 프리젠테이션 데이터를 현실 장면(예를 들어, 현실 장면 이미지)에 오버레이(overlay) 및 융합시키고, 미리 구성된 프리젠테이션 효과에 따라, 현실 현장 내의 인식된 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 프리젠테이션 데이터를 디스플레이한다.
프리젠테이션 데이터는 일반적으로, 인식된 오프라인 타겟과 관련하여 제시될 필요가 있는 가상 데이터를 포함할 수 있다. 프리젠테이션 효과는 일반적으로, 현실 장면에서 프리젠테이션 데이터를 제시하기 위한 프리젠테이션 효과를 포함할 수 있다.
예를 들어, 오프라인 타겟이 오프라인 상점의 로고 화상인 경우, 프리젠테이션 데이터는 구체적으로, 오프라인 상점의 로고와 관련하여 제시될 필요가 있는 레이블 데이터, 예를 들어 상점의 기본 정보 및 할인 정보이다. 프리젠테이션 효과는 구체적으로, 레이블 데이터가 상점의 로고와 관련하여 제시될 때 사용되는 자체-정의된 특수 프리젠테이션 효과, 예를 들어, 자체-정의된 애니메이션 효과, 동적 프리젠테이션 템플릿, 프리젠테이션 텍스트 등을 포함할 수 있다.
AR 서버 단말은 구체적으로, AR 클라이언트 단말을 위한 서비스를 제공하는 서버, 서버 클러스터, 또는 서버 클러스터에 기초하여 설정된 클라우드 서비스 플랫폼을 포함할 수 있다. 예를 들어, AR 클라이언트가 AR 클라이언트 기능이 통합된 제 3 자 지불 APP인 경우, AR 서버 단말은 AR 서비스 기능과 통합된 제 3 자 지불 APP에 대한 연결 서비스를 제공하는 클라우드 서비스 플랫폼일 수 있다. AR 서버 단말은 백-엔드 AR 엔진에 기초하여, AR 클라이언트 단말에 의해 스캔된 이미지를 인식하고(물론, 이 이미지 인식 프로세스는 또한 프론트-엔드 AR 엔진을 사용하여 AR 클라이언트 단말에 의해 완료될 수 있음); 오프라인 서비스와 관련된 가상 데이터의 콘텐트를 관리하고; 그리고 이미지 인식 결과에 기초하여, 인식된 오프라인 타겟에 관련된 가상 데이터를 AR 클라이언트 단말에 푸시할 수 있다.
미리 설정된 화상 피처 샘플 라이브러리는 앞서 설명된 화상 인식 자료 라이브러리이며, 일반적으로 오프라인 타겟들의 매우 다수의 샘플 화상들로부터 추출된 화상 피처 샘플들을 포함한다.
사용자 정보는 구체적으로, 화상 피처 샘플 라이브러리를 선별하기 위한 선별 디멘션(screening dimension)으로서 사용될 수 있는 사용자 데이터를 포함할 수 있다.
예를 들어, 하나의 도시된 구현에서, 사용자 정보는 사용자의 위치를 포함할 수 있다. 이 경우에, AR 클라이언트 단말은 실시간으로 AR 서버 단말로 사용자의 위치를 업로드할 수 있다. AR 서버 단말은 AR 클라이언트 단말에 의해 업로드된 사용자의 위치에 기초하여 화상 피처 샘플 라이브러리로부터, 사용자에 대한 거리가 소정의 범위 내에 있는 화상 피처 샘플을 선별할 수 있다.
다른 예를 들어, 다른 도시된 구현에서, 사용자 데이터는 또한 사용자의 거동 로그일 수 있다. 이러한 경우에, AR 서버 단말은 AR 클라이언트 단말에 의해 업로드된 사용자의 거동 로그들을 취득하고, 취득된 거동 로그에 대해 빅 데이터 분석(big data analysis)을 수행하여 사용자의 거동 선호도를 결정할 수 있다. 그 후, AR 서버 단말은 사용자의 위치에 기초하여 선별된 화상 피처 샘플 라이브러리로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별한다.
화상 피처 샘플 서브-라이브러리는 사용자 정보에 기초하여, 상술한 화상 피처 샘플 라이브러리로부터 선별된 일부 화상 피처 샘플을 사용하여 AR 서버 단말에 의해 생성된 화상 피처 샘플 라이브러리를 지칭한다. 화상 피처 샘플 서브-라이브러리는 사용자 정보에 대응하며, 화상 피처 샘플 라이브러리의 서브-세트이다.
예를 들어, 하나의 도시된 구현에서, 사용자 정보는 사용자의 위치 및 사용자의 거동 로그들을 포함할 수 있다. AR 서버 단말은 사용자의 위치에 기초하여 화상 인식 자료 라이브러리로부터, 사용자의 위치에 대한 거리가 소정의 범위 내에 있는 일부 화상 피처 샘플들을 예비적으로 선별할 수 있다. 한편, AR 서버 단말은 사용자의 취득된 거동 로그들에 대해 빅 데이터 분석을 수행하여 사용자의 거동 선호도를 결정하고; 그리고 사용자의 결정된 거동 선호도에 기초하여, 이들 예비적으로 선별된 화상 피처 샘플들로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별할 수 있다. 그 후, AR 서버 단말은 추가로 선별된 화상 피처 샘플들을 사용하여 화상 피처 샘플 서브-라이브러리를 생성한다.
사용자 정보가 사용자의 위치 및 거동 로그를 포함하는 예를 사용함으로써, 본 출원의 기술적 솔루션은 특정 실시예들을 참조하여 아래에서 상세하게 설명된다.
사용자의 위치 및 사용자 거동 로그들인 사용자 정보는 본원에서 단지 예일 뿐이다. 물론, 실제 애플리케이션에서, 사용자 정보는 화상 피처 샘플 라이브러리를 선별하기 위한 선별 디멘션들로서 사용될 수 있는 다른 사용자 데이터를 더 포함할 수 있다. 세부사항들이 본 출원에서 일일이 열거되지 않는다.
이 실시예에서, 초기 상태에서, AR 서버 단말은 휴대된 데이터 수집 시스템을 사용하여, 화상 샘플들 및 화상 샘플들과 연관된 위치들을 능동적으로 수집하여 화상 인식 자료 라이브러리를 생성할 수 있다.
AR 서버 단말에 휴대된 백-엔드 관리 시스템에 로그인함으로써, 오퍼레이터는 화상 인식 자료 라이브러리 내의 화상 피처 샘플들에 대해, 화상 피처 샘플들에 대응하는 오프라인 타겟들과 관련하여 제시될 필요가 있는 프리젠테이션 데이터를 구성하고, 프리젠테이션 데이터에 대한 프리젠테이션 효과들을 구성할 수 있다. 또한, 오퍼레이터는 추가로, AR 서버 단말에 휴대된 백-엔드 관리 시스템에 로그인함으로써 구성된 프리젠테이션 데이터 및 프리젠테이션 효과들을 동적으로 수정 및 업데이트할 수 있다.
사용자가 AR 클라이언트 단말을 사용할 때, AR 클라이언트 단말은 사용자의 위치 및 거동 로그들을 취득하고, 그 후 이들을 AR 서버 단말에 실시간으로 업로드할 수 있다. AR 서버 단말은 AR 클라이언트 단말에 의해 업로드된 사용자의 위치 및 거동 로그들을 수집하고, AR 클라이언트 단말에 의해 업로드된 사용자 정보 및 거동 로그들에 기초하여, 화상 인식 자료 라이브러리 내의 화상 인식 자료들을 보다 유연하게 관리할 수 있다.
한편으로, AR 서버 단말은, AR 클라이언트 단말에 의해 업로드된 위치에 기초하여 AR 클라이언트 단말에 대하여, 화상 인식 자료 라이브러리로부터, 사용자의 위치에 대한 거리가 미리 설정된 임계치 미만인 화상 피처 샘플들을 예비적으로 선별할 수 있다.
다른 한편으로, AR 서버 단말은 휴대된 클라우드 컴퓨팅 시스템을 이용하여 취득된 거동 로그들에 대해 빅 데이터 분석을 수행하여 사용자의 거동 선호도를 결정할 수 있다. 그리고, AR 서버 단말은, 결정된 거동 선호도에 기초하여, 예비적으로 선별된 화상 피처 샘플로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하여, 사용자에 대한 화상 피처 샘플 서브-라이브러리를 생성하고, 그 후 화상 피처 샘플 서브-라이브러리를 AR 클라이언트 단말에 푸시한다.
이러한 방식은 AR 서버 단말에 의해 푸시된 화상 인식 자료들의 수를 상당히 감소시키고, 이미지 인식 동안 AR 클라이언트 단말의 컴퓨테이션 양을 감소시키며, AR 클라이언트 단말의 이미지 인식 효율을 개선할 수 있다.
도 2를 참조하면, 도 2는 이 실시예에 따른 AR 서버 단말의 아키텍처도이다.
도 2에 도시된 바와 같이, AR 서버 단말은 구체적으로, AR 화상 인식 자료들에 대한 분산된 아키텍처-기반 관리 플랫폼(이하, 줄여서 관리 플랫폼으로서 지칭됨)일 수 있다. 관리 플랫폼에 휴대되는 기능 노드들은 구체적으로, 클라우드 서비스 인터페이스, WEB 백-엔드 관리 포털, 분산 저장 시스템, 백-엔드 관리 시스템, 데이터 수집 시스템, 분산 리트리벌(retrieval) 시스템, 클라우드 컴퓨팅 시스템, 이미지 인식 시스템, 사용자 데이터 분석 시스템, 자료 선별 시스템, 콘텐트 푸시 시스템 등을 포함할 수 있다.
클라우드 서비스 인터페이스는 AR 클라이언트 단말에 대한 서비스를 제공하기 위해 관리 플랫폼에 의해 사용되는 서비스 인터페이스이다. AR 클라이언트 단말은 서비스 인터페이스에 액세스함으로써 관리 플랫폼으로부터 대응하는 클라우드 서비스를 요청할 수 있다. 관리 플랫폼은 또한, 서비스 인터페이스를 통해 AR 클라이언트 단말로 AR 클라이언트 단말에 의해 요청된 서비스 데이터를 리턴할 수 있다.
예를 들어, 클라우드 서비스 인터페이스는 구체적으로, HTTP 인터페이스일 수 있다. AR 클라이언트 단말은 대응하는 HTTP 서비스 요청을 설정하고, HTTP 인터페이스에 액세스함으로써 관리 플랫폼에, 설정된 HTTP 서비스 요청을 제출할 수 있다. 관리 플랫폼은 또한, HTTP 인터페이스에 기초하여, AR 클라이언트 단말에 대응하는 서비스 데이터를 리턴할 수 있다.
웹 백-엔드 관리 포털은 화상 인식 자료 라이브러리에 수동으로 개입하거나 업데이트하기 위해 오퍼레이터에 의해 사용되는 관리 포털뿐만 아니라 관리 플랫폼에서 미리 구성된 관련된 프리젠테이션 데이터 및 프리젠테이션 효과들이다. 오퍼레이터는 관리 플랫폼의 콘텐트를 관리하기 위해 일반 웹 방식으로 백-엔드 관리 시스템에 로그인할 수 있다(예를 들어, 오퍼레이터는 관리 플랫폼의 포털 URL 어드레스에 액세스하고 그 후 관리 계정과 패스워드를 입력하여 백-엔드 관리 시스템에 원격으로 로그인함).
분산 저장 시스템은 전체 관리 플랫폼의 데이터 토대이며, 화상 인식 자료 라이브러리뿐만 아니라 화상 인식 자료 라이브러리 내의 화상 피처 샘플들에 대해 오퍼레이터에 의해 미리 구성된 프리젠테이션 데이터 및 프리젠테이션 효과와 같은 데이터를 분산된 방식으로 저장하는 데 사용된다. 분산 저장 방식은 데이터의 신뢰성을 보장할 수 있다. 따라서 분산 저장 시스템은 전체 관리 플랫폼의 신뢰성에 대한 토대로서 역할을 할 수 있다.
백-엔드 관리 시스템은 관리 플랫폼을 직접 관리하기 위해 오퍼레이터에 의해 사용되는 사용자 플랫폼이다. 백-엔드 관리 시스템은 다양한 관리 동작들에 대응하는 가시적 사용자 인터페이스들을 오퍼레이터에게 제공할 수 있다. 오퍼레이터는 이러한 가시적 사용자 인터페이스에서 대응하는 관리 동작을 수행할 수 있는데, 예를 들어, 화상 인식 자료로서 역할을 하는 화상 피처 샘플을 화상 인식 자료 라이브러리에 추가하고, 화상 인식 자료로서 역할을 하는 화상 피처 샘플을 화상 인식 자료 라이브러리로부터 제거하고, 화상 인식 자료 라이브러리에서 화상 인식 자료로서 역할을 하는 화상 피처 샘플을 업데이트하고, AR 클라이언트 단말에 대해, 인식된 오프라인 타겟 및 프리젠테이션 효과와 관련하여 제시될 필요가 있는 프리젠테이션 데이터를 미리 구성하고, 실제 요건에 따라, 구성된 프리젠테이션 데이터 및 프리젠테이션 효과를 동적으로 업데이트하는 등을 수행한다.
물론, 실제 애플리케이션에서, 백-엔드 관리 시스템에 로그인하여 관리 플랫폼의 콘텐트를 관리하는 것 외에도, 오퍼레이터는 또한, 백-엔드 관리 시스템을 사용하여 관리 플랫폼 내의 다른 시스템들에 개입할 수 있다.
예를 들어, 오퍼레이터는 클라우드 컴퓨팅 시스템의 데이터 분석 로직 및 파라미터들을 수동으로 편집하고 이에 개입할 수 있고, 화상 인식 자료 라이브러리 내의 화상 피처 샘플과 관련하여 저장된 사용자 위치를 추가로 편집하고 조정할 수 있다.
데이터 수집 시스템은 주로, 인터넷 또는 연결된 제 3 자 서버 단말로부터 관리 플랫폼에 의해 요구되는 데이터, 이를테면, "자료"를 능동적으로 수집하는 데 사용된다.
종래의 관리 플랫폼에서, 화상 인식 자료들은 일반적으로 오퍼레이터에 의해 수동으로 입력되고 편집된다. 따라서 데이터가 충분하지 않다. 그러나, 본 출원에서, 관리 플랫폼은 데이터 수집 시스템을 휴대함으로써 인터넷 또는 연결된 제 3 자 서버 단말로부터 화상 인식 자료들을 능동적으로 수집하고, 수집된 자료들을 관리 플랫폼의 분산 저장 시스템에 저장할 수 있다.
또한, 화상 인식 자료들을 능동적으로 수집하는 것 외에도, 데이터 수집 시스템은 추가로, AR 클라이언트 단말에 의해 업로드된 사용자의 거동 로그들을 능동적으로 취득하여 클라우드 컴퓨팅 플랫폼에 의해 수행되는 후속 빅 데이터 분석을 용이하게 할 수 있다.
분산 리트리벌 시스템은 주로, 분산 저장 시스템에 저장된 데이터를 리트리브 및 질의하는 데 사용된다. 관리 플랫폼은 화상 인식 자료들과 연관된 위치들, 프리젠테이션 데이터 및 프리젠테이션 효과들과 같은 다수의 화상 인식 자료들 및 데이터를 관리할 필요가 있다. 따라서, 데이터 리트리벌 및 질의를 용이하게 하기 위해, 관리 플랫폼은 분산 저장 시스템에 연결된 분산 리트리벌 시스템을 휴대할 수 있다. 관리 플랫폼에서 관리될 필요가 있는 데이터는 분산 리트리벌 시스템을 사용하여 리트리브 및 질의되고, 이에 따라 데이터 관리의 유연성 및 안정성을 보장한다.
클라우드 컴퓨팅 시스템은 관리 플랫폼에서 모든 데이터 계산들을 책임지는 데 사용된다. 실제 애플리케이션에서, 클라우드 컴퓨팅 시스템은 관리 시스템 내의 분산 저장 시스템, 사용자 데이터 분석 시스템, 자료 선별 시스템 및 이미지 인식 시스템에 개별적으로 연결되어, 분산 저장 시스템, 사용자 데이터 분석 시스템, 자료 선별 시스템 및 이미지 인식 시스템의 모든 데이터 계산들을 책임지고, 이에 따라 관리 플랫폼의 데이터 프로세싱 효율을 개선한다.
클라우드 컴퓨팅 시스템에 휴대된 데이터 분석 로직은 백-엔드 관리 시스템을 이용하여 오퍼레이터에 의해 수동으로 세팅될 수 있고, 본 발명에서는 특별히 제한되지 않는다.
이미지 인식 시스템은 AR 클라이언트 단말에 대한 클라우드 이미지 인식 서비스를 제공하는 데 사용된다. 이미지 인식 시스템은 클라우드 컴퓨팅 플랫폼에 연결되어 클라우드 컴퓨팅 플랫폼을 이용함으로써 AR 클라이언트 단말로부터 업로드된 이미지 데이터로부터 화상 피처를 추출하고, 추출된 화상 피처와 화상 인식 자료 라이브러리 내의 화상 피처 샘플들 간의 유사도들을 일일이 계산하여 이미지 데이터에 대한 이미지 인식을 완료할 수 있다.
사용자 데이터 분석 시스템은 수집 시스템에 의해 취득된 사용자의 거동 로그들에 대해 빅 데이터 분석을 수행하는 데 사용된다. 이미지 인식 시스템은 클라우드 컴퓨팅 플랫폼에 연결될 수 있고, 클라우드 컴퓨팅 플랫폼에 휴대된 빅 데이터 분석 알고리즘을 사용함으로써 수집 시스템에 의해 취득된 사용자의 거동 로그들에 대해 빅 데이터 분석을 수행하여 사용자의 거동 선호도를 획득한다.
클라우드 컴퓨팅 플랫폼에 휴대된 빅 데이터 분석 알고리즘은 또한, 백-엔드 관리 시스템을 이용하여 오퍼레이터에 의해 수동으로 세팅될 수 있고, 본 발명에서는 특별히 제한되지 않는다.
자료 선별 시스템은 분산 저장 시스템에 저장된 화상 인식 자료 라이브러리로부터, AR 클라이언트 단말에 의해 업로드된 사용자 정보와 연관된 화상 피처 샘플들을 선별하는 데 사용된다. 자료 선별 시스템은 클라우드 컴퓨팅 플랫폼에 연결될 수 있다. 자료 선별 시스템은 클라우드 컴퓨팅 플랫폼을 이용하여, 화상 인식 자료 라이브러리 내의 화상 피처 샘플들과 연관된 위치들과 사용자의 위치 간의 거리들을 개별적으로 계산하고, 위의 화상 피처 샘플 라이브러리로부터, 사용자의 위치에 대한 거리가 미리 설정된 임계치보다 작은 일부 화상 피처 샘플들을 예비적으로 선별한다.
클라우드 컴퓨팅 플랫폼을 이용하여 사용자의 취득된 거동 로그들에 대해 빅 데이터 분석이 수행된 후에, 자료 선별 시스템은 사용자의 거동 선호도를 결정하고, 이들 예비적으로 선별된 화상 피처 샘플들로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하고, 그 후 추가로 선별된 화상 피처 샘플들에 기초하여 화상 피처 샘플 서브-라이브러리를 생성한다.
콘텐트 푸시 시스템은 선별된 화상 피처 샘플들에 기초하여 자료 선별 시스템에 의해 생성된 화상 피처 샘플 서브-라이브러리를 AR 클라이언트 단말에 푸시하는 데 사용된다.
AR 클라이언트 단말이 화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟을 성공적으로 인식할 때, 콘텐트 푸시 시스템은, 분배 저장 시스템에 화상 피처 샘플과 관련하여 저장된 프리젠테이션 데이터 및 프리젠테이션 효과를 AR 클라이언트 단말에 푸시 한다. AR 클라이언트 단말은 프리젠테이션 효과에 기초하여, AR 장면 내의 인식된 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 프리젠테이션 데이터를 디스플레이한다.
본 출원의 기술적 솔루션은 3개의 스테이지들, 즉 화상 피처 샘플 라이브러리의 생성, 화상 피처 샘플들의 선별 및 이미지 인식을 참조하여 그리고 예로서 도 2에 도시된 전술한 기능 노드들을 사용하여 아래에서 상세히 설명된다.
도 2에 도시된 AR 서버 단말의 아키텍처는 단지 예일 뿐이며, 본 출원을 제한하려는 것은 아니란 점이 주의되어야 한다. 물론, 실제 애플리케이션에서, 당업자들은, 실제 요건에 따라, 도 2에 도시된 기능 노드들을 기능적으로 통합(예를 들어, 다수의 기능 노드들을 하나의 기능 노드로 결합함)할 수 있거나, 또는 도 2에 도시된 기능 노드들을 기능적으로 추가로 세분화(예를 들어, 임의의 기능 노드를 다수의 기능 노드들로 세분화함)할 수 있다. 세부사항들이 본 출원에서 열거되지 않는다.
1) 화상 피처 샘플 라이브러리의 생성
이 실시예에서, 오퍼레이터는 백-엔드 관리 시스템에 로그인함으로써 화상 인식 자료 라이브러리에, 대응하는 화상 피처 샘플들 및 연관된 위치들을 수동으로 부가할 수 있다. 이러한 방식 이외에도, 관리 플랫폼은 또한, 휴대된 데이터 수집 시스템을 사용하여 화상 샘플들 및 화상 샘플들과 연관된 위치들을 능동적으로 수집할 수 있다.
하나의 도시된 구현에서, 데이터 수집 시스템은 인터넷 크롤러(Internet crawler)와 같은 방식으로 인터넷 상의 수많은 온라인 서비스 데이터로부터 화상 샘플들 및 화상 샘플들과 연관된 위치들을 능동적으로 수집할 수 있다.
다른 도시된 구현에서, 수많은 온라인 서비스 데이터로부터 화상 샘플들을 능동적으로 수집하는 것 외에도, 데이터 수집 시스템은 또한, 화상 샘플들 및 화상 샘플들과 연관된 위치들을 저장하는 연결된 제 3 자 서버 단말로부터, 화상 샘플들 및 위치들을 직접 수집할 수 있다. 예를 들어, 관리 플랫폼은 연결된 파트너 서비스 플랫폼에 저장된 화상 샘플들 및 화상 샘플들과 연관된 위치들을 가져올 수 있다.
실제 애플리케이션에서, 관리 플랫폼은 위에 도시된 2개의 화상 샘플 수집 방식들 중 어느 하나를 사용할 수 있거나, 또는 위의 2개의 수집 방식들을 유기적으로 결합할 수도 있다는 것이 주의되어야 한다. 이는 본 출원에서 특별히 제한되지 않는다.
이 실시예에서, 수집된 화상 샘플들 및 연관된 위치들은 모두 분산 저장 시스템에 저장될 수 있다. 클라우드 컴퓨팅 시스템은 화상 피처 추출 알고리즘을 사용하여, 분산 저장 시스템에 저장된 화상 샘플들로부터 화상 피처들을 추출하고, 그 후 추출된 화상 피처들 및 화상 샘플들과 연관된 위치들에 기초하여 분산 저장 시스템에서 화상 인식 자료 라이브러리를 생성할 수 있다. 이 경우에, 생성된 화상 인식 자료 라이브러리에 저장되는 정보는 화상 샘플들 및 화상 샘플들과 연관된 위치들에 대응하는 추출된 화상 피처들을 포함한다.
화상 인식 자료 라이브러리가 생성된 후에, 오퍼레이터는 웹 브라우저를 사용하여 관리 플랫폼의 포털 URL 어드레스에 액세스하고, 그 후 관리 계정 및 패스워드를 입력하여 관리 플랫폼의 콘텐트를 관리하기 위해 백-엔드 관리 시스템에 원격으로 로그인할 수 있다.
백-엔드 관리 시스템에 성공적으로 로그인하면, 오퍼레이터는, 화상 인식 자료 라이브러리 내의 각각의 화상 피처 샘플에 대해, 화상 피처 샘플에 대응하는 오프라인 타겟과 관련하여 제시될 필요가 있는 프리젠테이션 데이터를 구성하고 프리젠테이션 데이터에 대한 프리젠테이션 효과를 구성하기 위해 백-엔드 관리 시스템에 의해 제공되는 가시적 사용자 인터페이스에서 대응하는 관리 동작을 수행할 수 있다.
백-엔드 관리 시스템은 오퍼레이터에 의해 구성된 프리젠테이션 데이터 및 프리젠테이션 효과를 획득하고, 획득된 프리젠테이션 데이터 및 프리젠테이션 효과를 화상 인식 자료 라이브러리 내의 대응하는 화상 피처 샘플과 관련하여 저장하여 리트리벌을 용이하게 할 수 있다.
게다가, 오퍼레이터는 또한, 구성된 프리젠테이션 데이터 및 프리젠테이션 효과를 동적으로 업데이트하기 위해 백-엔드 관리 시스템에 의해 제공된 가시적 사용자 인터페이스에서, 구성된 프리젠테이션 데이터 및 프리젠테이션 효과에 대해 대응하는 업데이트 동작을 수행할 수 있다. 오퍼레이터의 업데이트 동작에 대한 응답으로, 백-엔드 관리 시스템은 분산 리트리벌 시스템을 사용함으로써, 대응하는 화상 피처 샘플에 대해 화상 인식 자료 라이브러리에 질의하고, 오퍼레이터에 의해 미리 구성되는 프리젠테이션 데이터 및 프리젠테이션 효과에 기초하여, 화상 피처 샘플과 관련하여 저장된 오퍼레이터 프리젠테이션 데이터 및 프리젠테이션 효과가 업데이트할 수 있다.
이러한 방식으로, 오퍼레이터는 백-엔드 관리 시스템에 로그인함으로써, 실제 요건에 따라 언제든지 화상 인식 자료 라이브러리 내의 화상 피처 샘플들과 관련하여 저장된 프리젠테이션 데이터 및 프리젠테이션 효과를 동적으로 업데이트할 수 있고, 이에 따라 프리젠테이션 데이터 및 프리젠테이션 효과들의 관리 유연성을 개선한다.
2) 화상 피처 샘플들의 선별
이 실시예에서, 사용자가 AR 클라이언트 단말을 사용할 때, AR 클라이언트 단말은 사용자의 위치 및 거동 로그들을 수집하고, 그 후 클라우드 서비스 인터페이스에 액세스함으로써 사용자의 수집된 위치 및 거동 로그들을 실시간으로 관리 플랫폼에 업로드할 수 있다. 관리 플랫폼은 휴대된 데이터 수집 시스템을 사용하여, AR 클라이언트 단말에 의해 업로드된 사용자의 위치 및 거동 로그들을 취득하고, AR 클라이언트 단말에 의해 업로드된 사용자 정보 및 거동 로그들에 기초하여, 화상 인식 자료 라이브러리 내의 화상 인식 자료들을 보다 유연하게 관리할 수 있다.
한편으로, 자료 선별 시스템은 클라우드 컴퓨팅 시스템에 연결될 수 있고, 클라우드 컴퓨팅 시스템은 모든 데이터 선별 계산들을 책임진다. 클라우드 컴퓨팅 시스템은 AR 클라이언트 단말에 의해 업로드된 사용자의 위치와 화상 인식 자료 라이브러리 내의 화상 피처 샘플들과 연관된 위치들 간의 거리들을 실시간으로 계산할 수 있다. 클라우드 컴퓨팅 시스템이 계산을 완료한 후에, 자료 선별 시스템은 사용자의 위치에 대한 거리가 미리 설정된 임계치보다 작은 화상 피처 샘플들을 예비적으로 선별할 수 있다. 이 경우에, 화상 인식 자료 라이브러리에 대한 예비 선별이 완료된다.
예를 들어, 화상 인식 자료 라이브러리가 매우 다수의 오프라인 상점 로고들로부터 추출된 화상 피처 샘플들을 저장하고 사용자가 AR 클라이언트 단말을 사용하여 오프라인 상점들의 스캔을 날마다 수행하는 애플리케이션 시나리오가 예로서 사용된다. 사용자가 AR 클라이언트 단말을 이용하여 오프라인 상점의 로고를 스캔하기 전에, AR 클라이언트 단말은 실시간으로 사용자의 위치를 관리 플랫폼에 업로드할 수 있다. 관리 플랫폼은 사용자의 위치에 기초하여 화상 인식 자료 라이브러리로부터, 사용자 근처의 특정 범위 내의 상인들의 로고 화상들을 선별하여 사용자에 대한 화상 피처 샘플 서브-라이브러리를 생성할 수 있고, 이에 따라 AR 클라이언트 단말에 푸시될 필요가 있는 로고 화상들의 수를 감소시킨다.
다른 한편으로, 사용자 데이터 분석 시스템은 또한 클라우드 컴퓨팅 시스템에 연결될 수 있다. 클라우드 컴퓨팅 시스템은 모든 데이터 분석 계산들을 책임진다. 클라우드 컴퓨팅 시스템은 휴대된 빅 데이터 분석 알고리즘에 기초하여, 데이터 수집 시스템에 의해 취득된 사용자의 거동 로그들에 대해 빅 데이터 분석을 수행하여 사용자의 거동 선호도를 결정할 수 있다.
거동 선호도는 구체적으로, 사용자가 AR 클라이언트 단말의 일상적인 사용 동안 형성되는 특정 사용 습관 또는 사용 규칙을 지칭한다.
예를 들어, 화상 인식 자료 라이브러리가 매우 다수의 오프라인 상점 로고들로부터 추출된 화상 피처 샘플들을 저장하고 사용자가 AR 클라이언트 단말을 사용하여 오프라인 상점들의 스캔을 날마다 수행하는 위의 애플리케이션 시나리오가 여전히 예로서 사용된다. AR 클라이언트 단말은 사용자가 오프라인 상점을 스캔할 때마다 생성된 관련 거동 데이터를 로컬로 기록하고, 대응하는 로그 파일을 생성하고, 모든 로그 파일들을 관리 플랫폼에 업로드할 수 있다. 관리 플랫폼은 오프라인 상점들에 대한 사용자의 선호도를 추가로 분석하기 위해 클라우드 컴퓨팅 플랫폼을 사용함으로써, 취득된 로그 파일들에 대해 빅 데이터 분석을 수행할 수 있다. 예를 들어, 분석 시에, 일상 생활에서, 사용자는 저가 상품들을 판매하는 오프라인 상점 및 쿠폰을 제공하는 오프라인 상점을 선호한다는 것이 학습된다.
관리 플랫폼이 거동 로그들에 대한 빅 데이터 분석을 통해 사용자의 거동 선호도를 결정한 후에, 예비적으로 선별된 화상 피처 샘플들의 수를 추가로 감소시키고 푸시될 화상 인식 자료들의 수를 줄이기 위해, 자료 선별 시스템은 또한, 예비적으로 선별된 화상 피처 샘플들로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 선별할 수 있다.
예를 들어, 화상 인식 자료 라이브러리가 매우 다수의 오프라인 상점 로고들로부터 추출된 화상 피처 샘플들을 저장하고 사용자가 AR 클라이언트 단말을 사용하여 오프라인 상점들의 스캔을 날마다 수행하는 위의 애플리케이션 시나리오가 여전히 예로서 사용된다. 분석에 의해, 사용자의 일상 거동 선호도가 "쿠폰을 제공하는 오프라인 상점 및 저가 상품들을 판매하는 오프라인 상점"임을 관리 플랫폼이 학습한다고 가정하면, 자료 선별 시스템은 또한, 이들 예비적으로 선별된 화상 피처 샘플들에 대응하는 오프라인 상점들의 관련된 정보에 액세스함으로써, 사용자에게 쿠폰을 제공할 수 있는 오프라인 상점 및 저가의 상품들을 판매하는 오프라인 상점을 추가로 검색할 수 있다. 그 후, 자료 선별 시스템은 이러한 오프라인 상점들에 대응하는 화상 피처 샘플들을 추가로 선별한다.
이들 예비적으로 선별된 화상 피처 샘플들로부터 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 선별할 때, 관리 플랫폼은 이들 최종적으로 선별된 화상 피처 샘플들에 기초하여 사용자에 대한 화상 피처 샘플 서브-라이브러리를 생성할 수 있다. 그 후, 관리 플랫폼은 콘텐트 푸시 시스템을 사용하여, 생성된 화상 피처 샘플 서브-라이브러리를 AR 클라이언트 단말에 푸시한다.
화상 인식 자료 라이브러리에서 화상 피처 샘플들을 선별할 때, 자료 선별 시스템은 사용자의 위치에 기초하여 예비적으로 선별을 수행하고, 그 후 분석을 통해 획득된 사용자 선호도에 기초하여 추가의 선별을 수행한다는 것이 주의되어야 한다. 그러나, 실제 애플리케이션에서, 자료 선별 시스템은 또한, 분석을 통해 획득된 사용자 선호도에 기초하여 추가의 선별을 수행함 없이, 예비 선별 결과에 기초하여 사용자에 대한 화상 피처 샘플 서브-라이브러리를 직접 생성할 수 있다. 세부사항들이 본 출원에서 설명되지 않는다.
3) 이미지 인식
이 실시예에서, 관리 플랫폼에 의해 푸시된 화상 피처 샘플 서브-라이브러리를 수신하면, AR 클라이언트 단말은 화상 피처 샘플 서브-라이브러리를 로컬로 로딩할 수 있다. 사용자가 오프라인 환경에서 이미지들을 스캔하기 위해 AR 클라이언트 단말을 사용할 때, AR 클라이언트 단말은 프론트-엔드 AR 엔진에 휴대되는 이미지 인식 알고리즘에 기초하여 스캔된 이미지 정보로부터 화상 피처들을 추출하고, 그 후 스캔된 이미지 정보에 대한 이미지 인식을 완료하기 위해 화상 피처 샘플과 화상 피처 샘플 서브-라이브러리 내의 화상 피처 샘플들 간의 유사성 매칭을 일일이 수행한다. 이미지 인식에 있어서의 구체적인 계산 프로세스는 이 실시예에서 상세히 설명되지 않는다. 당업자는 본 출원에 기록된 기술적 솔루션을 수행할 때 관련 기술 분야의 기록을 참조할 수 있다.
이 경우에, 관리 플랫폼에 의해 푸시된 화상 피처 샘플 서브-라이브러리 내의 화상 피처 샘플들은 사용자의 위치 및 거동 선호도에 기초하여 정제된 방식으로 선별된다. 따라서, 사용자의 오프라인 환경으로부터 스캔된 이미지 데이터에 대해 이미지 인식을 수행할 때, AR 클라이언트 단말은 관리 플랫폼에서 생성된 화상 인식 자료 라이브러리 내의 모든 화상 인식 자료들을 연속적으로 횡단할 필요가 없고, 이에 따라 AR 클라이언트 단말의 이미지 인식 효율을 상당히 개선한다.
물론, 스캔된 이미지 정보에 대해 이미지 인식을 로컬로 수행하는 것 외에도, AR 클라이언트 단말은 또한, 클라우드 서버 단말 인터페이스에 액세스함으로써 관리 플랫폼에 스캔된 이미지 정보를 실시간으로 업로드할 수 있다. 관리 플랫폼에 휴대된 이미지 인식 시스템은 사용자에 대해 선별되고 생성된 화상 피처 샘플 서브-라이브러리에 기초하여, 스캔된 이미지 정보에 대한 이미지 인식을 완료한다.
이 실시예에서, 화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟이 위에서 보여진 이미지 인식 프로세스를 통해, 스캔된 이미지 정보로부터 최종적으로 인식될 때, 분산 리트리벌 시스템은 화상 피처 샘플과 관련하여 저장된 프리젠테이션 데이터 및 프리젠테이션 효과에 대해 분산 저장 시스템에 질의하고, 그 후 콘텐트 푸시 시스템을 이용하여, 발견된 프리젠테이션 데이터 및 프리젠테이션 효과를 AR 클라이언트 단말로 푸시할 수 있다.
AR 클라이언트 단말에 푸시된 프리젠테이션 데이터 및 프리젠테이션 효과를 수신한 후에, AR 클라이언트 단말은 프리젠테이션 효과에 기초하여, AR 장면 내의 인식된 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 프리젠테이션 데이터를 디스플레이할 수 있다.
실제 애플리케이션에서, 화상 피처 샘플 서브-라이브러리 내의 화상 피처 샘플들과 관련하여 저장된 프리젠테이션 데이터 및 프리젠테이션 효과는 또한 콘텐트 푸시 시스템에 의해 AR 클라이언트 단말에 푸시될 수 있는 반면, 콘텐트 푸시 시스템은 생성된 화상 피처 샘플 서브-라이브러리를 푸시한다는 것이 주의되어야 한다. 즉, 오퍼레이터에 의해 구성되는 프리젠테이션 데이터 및 프리젠테이션 효과는 생성된 화상 피처 샘플 서브-라이브러리와 함께 AR 클라이언트 단말에 푸시될 수 있거나, 또는 이미지 인식의 완료 후에, 별개로 푸시될 수 있다. 이는 본 출원에서 특별히 제한되지 않는다.
본 출원은 AR 클라이언트 단말에 의해 업로드된 사용자 정보에 기초하여, AR 클라이언트 단말에 대한 화상 인식 자료들을 유연하게 선별하고 선별된 자료들을 AR 클라이언트 단말로 푸시할 수 있는 AR 서버 단말을 제공한다는 것이 위의 실시예들로부터 알게 될 수 있다.
AR 서버 단말은 AR 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하고, 미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별하고, 선별된 화상 피처 샘플들에 기초하여, 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성할 수 있다. 그 후, AR 서버 단말은 화상 피처 샘플 서브-라이브러리를 AR 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, AR 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 한다.
전체 솔루션에서, AR 서버 단말은 사용자 정보에 기초하여 화상 피처 샘플 라이브러리를 선별하기 때문에, AR 서버 단말에 의해 AR 클라이언트 단말로 푸시된 화상 인식 자료들의 수, 및 AR 클라이언트 단말이 이미지 인식을 수행할 때 사용되는 화상 인식 자료들의 수가 상당히 감소될 수 있고, 이에 따라 AR 클라이언트 단말의 컴퓨테이션 양을 감소시키고 AR 클라이언트 단말의 이미지 인식 효율을 개선한다.
본 출원은 또한, 전술한 방법 실시예에 대응하는 장치 실시예를 제공한다.
도 3을 참조하면, 본 출원은 증강 현실에 기초한 이미지 인식 장치(30)를 제공하며, 이 장치는 AR 서버 단말에 적용된다. 도 4를 참조하면, 증강 현실에 기초하여 이미지 인식 장치(30)를 휴대한 AR 서버 단말에 수반되는 하드웨어 아키텍처는 일반적으로, CPU, 메모리, 비-휘발성 저장 디바이스, 네트워크 인터페이스, 내부 버스 등을 포함한다. 예로서 소프트웨어 구현 사용하여, 증강 현실에 기초한 이미지 인식 장치(30)는 일반적으로, CPU가 메모리에 로딩된 컴퓨터 프로그램을 실행한 후에 형성되는 소프트웨어-하드웨어-결합 로직 장치로서 해석될 수 있다. 장치(30)는,
증강 현실 클라이언트 단말에 의해 업로드된 사용자 정보를 취득하도록 구성된 취득 모듈(301);
미리 설정된 화상 피처 샘플 라이브러리로부터 사용자 정보와 연관된 화상 피처 샘플들을 선별하도록 구성된 선별 모듈(302); 및
선별된 화상 피처 샘플들에 기초하여, 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하고, 화상 피처 샘플 서브-라이브러리를 증강 현실 클라이언트 단말로 푸시하여서, 사용자의 오프라인 환경에서의 이미지 스캔 동안, 증강 현실 클라이언트 단말이 화상 피처 샘플 서브-라이브러리에 기초하여 스캔된 이미지 정보에 대해 이미지 인식을 수행하게 하도록 구성된 푸시 모듈(303)을 포함한다.
이 실시예에서, 사용자 정보는 사용자의 위치를 포함한다.
장치(30)는,
연결된 제 3 자 서버 단말에 저장된 화상 샘플들 및 화상 샘플들과 연관된 위치들을 수집하고; 그리고/또는 미리 설정된 데이터 수집 알고리즘에 기초하여 온라인 서비스 데이터로부터 화상 샘플들 및 화상 샘플들과 연관된 위치들을 수집하도록 구성된 수집 모듈(도 3에 도시되지 않음); 및
수집된 화상 샘플들로부터 화상 피처 샘플들을 추출하고, 추출된 화상 피처 샘플들 및 화상 샘플들과 연관된 위치들에 기초하여 화상 피처 샘플 라이브러리를 로컬로 생성하도록 구성된 생성 모듈(305)(도 3에 도시되지 않음)을 더 포함한다.
이 실시예에서, 장치는,
화상 피처 샘플 라이브러리 내의 화상 피처 샘플들에 대해 오퍼레이터에 의해 구성된 프리젠테이션 데이터, 및 프리젠테이션 데이터에 대해 구성된 프리젠테이션 효과들을 획득하도록 구성된 획득 모듈(306)(도 3에 도시되지 않음); 및
화상 피처 샘플 라이브러리 내의 화상 피처 샘플들과 관련하여 획득된 프리젠테이션 데이터 및 프리젠테이션 효과들을 저장하고, 오퍼레이터의 업데이트 동작에 대한 응답으로 프리젠테이션 데이터 및 프리젠테이션 효과들을 동적으로 업데이트하도록 구성된 저장 모듈(307)(도 3에 도시되지 않음)을 더 포함한다.
이 실시예에서, 장치(30)는,
증강 현실 클라이언트 단말에 의해 업로드된 스캔된 이미지 정보를 수신하고; 그리고 생성된 화상 피처 샘플 서브-라이브러리에 기초하여 이미지 정보에 대해 이미지 인식을 수행하도록 구성된 인식 모듈(308)(도 3에 도시되지 않음)를 더 포함한다.
이 실시예에서, 푸싱 모듈(303)은 또한,
화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟이 이미지 정보로부터 인식될 때, 화상 피처 샘플과 연관된 프리젠테이션 데이터 및 프리젠테이션 데이터와 연관된 프리젠테이션 효과를 증강 현실 클라이언트 단말에 푸시하여서, 증강 현실 클라이언트 단말이 프리젠테이션 효과에 기초하여, 증강 현실 장면 내의 오프라인 타겟에 대응하는 위치상에 증강된 방식으로 프리젠테이션 데이터를 디스플레이하게 하도록 구성된다.
이 실시예에서, 선별 모듈(302)은,
증강 현실 클라이언트 단말에 의해 업로드된 사용자의 위치와 화상 피처 샘플 라이브러리 내의 화상 피처 샘플들과 연관된 위치들 간의 거리들을 계산하고; 그리고
화상 피처 샘플 라이브러리로부터, 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들을 선별하도록 구성된다.
이 실시예에서, 사용자 정보는 사용자의 거동 로그들을 더 포함한다.
선별 모듈(302)은 또한,
사용자의 거동 선호도를 결정하기 위해 사용자의 취득된 거동 로그들에 대해 빅 데이터 분석을 수행하고; 그리고
화상 피처 샘플들로부터, 미리 설정된 임계치보다 작은 거리들을 갖는, 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하도록 구성된다.
장치 실시예는 기본적으로 방법 실시예에 대응한다. 따라서, 관련된 부분들에 대한 방법 실시예의 설명이 참조될 수 있다. 설명된 장치 실시예는 단지 예일 뿐이며, 별개의 부분들로서 설명된 유닛들은 물리적으로 별개일 수 있거나, 또는 그렇지 않을 수도 있다. 유닛으로서 디스플레이되는 부분은 물리적 유닛일 수 있거나, 또는 그렇지 않을 수도 있는데, 즉, 부분은 한 장소에 위치되거나 다수의 네트워크 유닛들 사이에 분산될 수 있다. 일부 또는 모든 모듈들은 본 출원의 솔루션의 목적을 구현하기 위한 실제 요건에 따라 선택될 수 있다. 당업자는 창조적인 노력들을 기울이지 않고서 본 출원을 이해하고 구현할 수 있다.
위의 실시예들에서 예시된 장치, 모듈들 또는 유닛들은 특정 기능을 갖는 컴퓨터 칩 또는 엔티티, 또는 제품에 의해 구현될 수 있다. 통상적인 구현 디바이스는 컴퓨터이다. 컴퓨터의 특정 형태는 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 폰, 카메라 폰, 스마트폰, 개인용 디지털 보조기기, 미디어 플레이어, 내비게이션 디바이스, 이메일 전송 및 수신 디바이스, 게임 콘솔, 태블릿 컴퓨터, 웨어러블 디바이스 또는 이들 디바이스들 중 여러 디바이스들의 조합일 수 있다.
당업자들은, 본 명세서를 고려하고 본원에서 개시된 본 발명을 실습한 후에 본 출원의 다른 구현 솔루션들을 쉽게 구상할 수 있다. 본 출원은 본 출원의 임의의 변동들, 사용들 또는 개조들을 커버하는 것으로 의도된다. 이러한 변형들, 사용들 또는 개조들은 본 출원의 일반적인 원리를 따르며, 본 출원에 개시되지 않은 당 분야의 일반 지식 또는 종래 기술 수단을 포함한다. 명세서 및 실시예들은 단지 예시적인 것으로 간주되며, 본 출원의 진정한 범위 및 사상은 다음의 청구항들에 의해 표시된다.
본 출원은 위에서 설명되고 첨부 도면들에 도시된 바로 그 구조로 제한되지 않고, 본 출원의 범위로부터 벗어남 없이 다양한 수정들 및 변경들이 이루어질 수 있다는 것이 이해되어야 한다. 본 출원의 범위는 첨부된 청구항들에 의해서만 제한된다.
위에서 설명된 것은 본 출원의 단지 바람직한 실시예들일 뿐이며, 본 출원을 제한하려는 것은 아니다. 본 출원의 사상 및 원리 내에서 이루어진 임의의 수정들, 등가의 대체들 또는 개선들은 본 출원의 보호 범위 내에 있다.
Claims (20)
- 방법으로서,
서버에서, 증강 현실 디바이스로부터 상기 증강 현실 디바이스에 의해 업로드된 사용자 정보를 수신하는 단계로서, 상기 사용자 정보는 상기 증강 현실 디바이스를 사용하는 사용자와 연관되고, 상기 사용자 정보는 상기 사용자의 위치 및 상기 사용자의 거동 로그(behavior log)들을 포함하는 것인, 상기 사용자 정보를 수신하는 단계;
미리 설정된 화상 피처 샘플 라이브러리(picture feature sample library)로부터 상기 사용자 정보와 연관된 화상 피처 샘플들을 선별(screen out)하는 단계로서, 상기 선별하는 단계는, 상기 증강 현실 디바이스에 의해 업로드된 상기 사용자의 위치와 상기 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들과 연관된 위치들 간의 거리들을 계산하는 단계 및 상기 화상 피처 샘플 라이브러리로부터, 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들을 선별하는 단계를 포함하는 것인, 상기 화상 피처 샘플들을 선별하는 단계;
상기 사용자의 거동 선호도를 결정하기 위해 상기 사용자의 거동 로그들에 대해 빅데이터 분석을 수행하고, 상기 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들로부터 상기 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하는 단계;
상기 추가로 선별된 화상 피처 샘플들에 기초하여, 상기 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리(picture feature sample sub-library)를 생성하는 단계; 및
상기 증강 현실 디바이스에 상기 화상 피처 샘플 서브-라이브러리를 제공하는 단계로서, 상기 화상 피처 샘플 서브-라이브러리는, 상기 사용자의 오프라인 환경의 이미지 스캐닝동안, 스캔된 이미지를 상기 화상 피처 샘플 서브-라이브러리의 화상 피처들과 비교함으로써 상기 오프라인 환경으로부터 스캔된 이미지의 이미지 인식을 수행하기 위해 상기 증강 현실 디바이스에 의해 사용되도록 구성될 수 있는, 상기 화상 피처 샘플 서브-라이브러리를 제공하는 단계
를 포함하는, 방법. - 제1항에 있어서,
연결된 제 3 자 서버로부터 제 1 화상 샘플들 및 상기 제 1 화상 샘플들과 연관된 제 1 위치들을 수집하는 단계;
온라인 서비스 데이터로부터 미리 설정된 데이터 수집 알고리즘을 사용하여 제 2 화상 샘플들 및 상기 제 2 화상 샘플들과 연관된 제 2 위치들을 수집하는 단계;
상기 제 1 및 제 2 화상 샘플들로부터 화상 피처 샘플들을 추출하는 단계; 및
상기 추출된 화상 피처 샘플들을 사용하여 상기 미리 설정된 화상 피처 샘플 라이브러리를 업데이트하는 단계
를 더 포함하는, 방법. - 제2항에 있어서,
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들에 대해 구성된 프리젠테이션 데이터 및 프리젠테이션 효과들을 상기 서버의 오퍼레이터로부터 획득하는 단계;
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들과 관련하여 상기 획득된 프리젠테이션 데이터 및 프리젠테이션 효과들을 저장하는 단계; 및
상기 오퍼레이터의 업데이트 동작에 대한 응답으로 상기 프리젠테이션 데이터 및 상기 프리젠테이션 효과들을 동적으로 업데이트하는 단계
를 더 포함하는, 방법. - 제3항에 있어서,
상기 화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟이 상기 스캔된 이미지로부터 인식될 수 있을 때, 상기 화상 피처 샘플과 연관된 프리젠테이션 데이터 및 상기 프리젠테이션 데이터와 연관된 프리젠테이션 효과를 상기 증강 현실 디바이스에 제공하여, 상기 증강 현실 디바이스가 상기 프리젠테이션 효과에 기초하여, 증강 현실 장면 내의 상기 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 상기 프리젠테이션 데이터를 디스플레이하게 하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 증강 현실 디바이스로부터, 상기 스캔된 이미지를 수신하는 단계; 및
상기 서버에서, 상기 생성된 화상 피처 샘플 서브-라이브러리에 기초하여 상기 스캔된 이미지에 대해 상기 이미지 인식을 수행하는 단계
를 더 포함하는, 방법. - 삭제
- 삭제
- 동작을 수행하도록 컴퓨터 시스템에 의해 실행 가능한 하나 이상의 명령어를 저장하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 동작은,
서버에서, 증강 현실 디바이스로부터 상기 증강 현실 디바이스에 의해 업로드된 사용자 정보를 수신하는 것으로서, 상기 사용자 정보는 상기 증강 현실 디바이스를 사용하는 사용자와 연관되고, 상기 사용자 정보는 상기 사용자의 위치 및 상기 사용자의 거동 로그들을 포함하는 것인, 상기 사용자 정보를 수신하는 것;
미리 설정된 화상 피처 샘플 라이브러리로부터 상기 사용자 정보와 연관된 화상 피처 샘플들을 선별하는 것으로서, 상기 선별하는 것은 상기 증강 현실 디바이스에 의해 업로드된 상기 사용자의 위치와 상기 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들과 연관된 위치들 간의 거리들을 계산하는 것 및 상기 화상 피처 샘플 라이브러리로부터, 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들을 선별하는 것을 포함하는 것인, 상기 화상 피처 샘플들을 선별하는 것;
상기 사용자의 거동 선호도를 결정하기 위해 상기 사용자의 거동 로그들에 대해 빅데이터 분석을 수행하고, 상기 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들로부터 상기 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하는 것;
상기 추가로 선별된 화상 피처 샘플들에 기초하여, 상기 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하는 것; 및
상기 증강 현실 디바이스에 상기 화상 피처 샘플 서브-라이브러리를 제공하는 것으로서, 상기 화상 피처 샘플 서브-라이브러리는, 상기 사용자의 오프라인 환경의 이미지 스캐닝동안, 스캔된 이미지를 상기 화상 피처 샘플 서브-라이브러리의 화상 피처들과 비교함으로써 상기 오프라인 환경으로부터 스캔된 이미지의 이미지 인식을 수행하기 위해 상기 증강 현실 디바이스에 의해 사용되도록 구성될 수 있는, 상기 화상 피처 샘플 서브-라이브러리를 제공하는 것
을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체. - 제8항에 있어서,
상기 동작은,
연결된 제 3 자 서버로부터 제 1 화상 샘플들 및 상기 제 1 화상 샘플들과 연관된 제 1 위치들을 수집하는 것;
온라인 서비스 데이터로부터 미리 설정된 데이터 수집 알고리즘을 사용하여 제 2 화상 샘플들 및 상기 제 2 화상 샘플들과 연관된 제 2 위치들을 수집하는 것;
상기 제 1 및 제 2 화상 샘플들로부터 화상 피처 샘플들을 추출하는 것; 및
상기 추출된 화상 피처 샘플들을 사용하여 상기 미리 설정된 화상 피처 샘플 라이브러리를 업데이트하는 것
을 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체. - 제9항에 있어서, 상기 동작은,
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들에 대해 구성된 프리젠테이션 데이터 및 프리젠테이션 효과들을 상기 서버의 오퍼레이터로부터 획득하는 것;
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들과 관련하여 상기 획득된 프리젠테이션 데이터 및 프리젠테이션 효과들을 저장하는 것; 및
상기 오퍼레이터의 업데이트 동작에 대한 응답으로 상기 프리젠테이션 데이터 및 상기 프리젠테이션 효과들을 동적으로 업데이트하는 것
을 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체. - 제10항에 있어서, 상기 동작은,
상기 화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟이 상기 스캔된 이미지로부터 인식될 수 있을 때, 상기 화상 피처 샘플과 연관된 프리젠테이션 데이터 및 상기 프리젠테이션 데이터와 연관된 프리젠테이션 효과를 상기 증강 현실 디바이스에 제공하여, 상기 증강 현실 디바이스가 상기 프리젠테이션 효과에 기초하여, 증강 현실 장면 내의 상기 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 상기 프리젠테이션 데이터를 디스플레이하게 하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체. - 제8항에 있어서, 상기 동작은,
상기 증강 현실 디바이스로부터, 상기 스캔된 이미지를 수신하는 것; 및
상기 서버에서, 상기 생성된 화상 피처 샘플 서브-라이브러리에 기초하여 상기 스캔된 이미지에 대해 상기 이미지 인식을 수행하는 것
을 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체. - 삭제
- 삭제
- 컴퓨터로 구현되는(computer-implemented) 시스템으로서,
하나 이상의 컴퓨터; 및
상기 하나 이상의 컴퓨터와 상호동작가능하게 커플링되고, 하나 이상의 명령어를 저장하는 유형의(tangible) 비일시적 기계 판독가능 매체를 갖는 하나 이상의 컴퓨터 메모리 디바이스
를 포함하고, 상기 하나 이상의 명령어는 상기 하나 이상의 컴퓨터에 의해 실행될 때, 하나 이상의 동작을 수행하고, 상기 하나 이상의 동작은,
서버에서, 증강 현실 디바이스로부터 상기 증강 현실 디바이스에 의해 업로드된 사용자의 사용자 정보를 수신하는 것으로서, 상기 사용자 정보는 상기 증강 현실 디바이스를 사용하는 사용자와 연관되고, 상기 사용자 정보는 상기 사용자의 위치 및 상기 사용자의 거동 로그들을 포함하는 것인, 상기 사용자 정보를 수신하는 것;
미리 설정된 화상 피처 샘플 라이브러리로부터 상기 사용자 정보와 연관된 화상 피처 샘플들을 선별하는 것으로서, 상기 선별하는 것은 상기 증강 현실 디바이스에 의해 업로드된 상기 사용자의 위치와 상기 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들과 연관된 위치들 간의 거리들을 계산하는 것 및 상기 화상 피처 샘플 라이브러리로부터, 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들을 선별하는 것을 포함하는 것인, 상기 화상 피처 샘플들을 선별하는 것;
상기 사용자의 거동 선호도를 결정하기 위해 상기 사용자의 거동 로그들에 대해 빅데이터 분석을 수행하고, 상기 미리 설정된 임계치보다 작은 거리들을 갖는 화상 피처 샘플들로부터 상기 사용자의 거동 선호도를 만족하는 화상 피처 샘플들을 추가로 선별하는 것;
상기 추가로 선별된 화상 피처 샘플들에 기초하여, 상기 사용자 정보에 대응하는 화상 피처 샘플 서브-라이브러리를 생성하는 것; 및
상기 증강 현실 디바이스에 상기 화상 피처 샘플 서브-라이브러리를 제공하는 것으로서, 상기 화상 피처 샘플 서브-라이브러리는, 상기 사용자의 오프라인 환경의 이미지 스캐닝동안, 스캔된 이미지를 상기 화상 피처 샘플 서브-라이브러리의 화상 피처들과 비교함으로써 상기 오프라인 환경으로부터 스캔된 이미지의 이미지 인식을 수행하기 위해 상기 증강 현실 디바이스에 의해 사용되도록 구성될 수 있는, 상기 화상 피처 샘플 서브-라이브러리를 제공하는 것
을 포함하는, 컴퓨터로 구현되는 시스템. - 제15항에 있어서,
상기 동작은,
연결된 제 3 자 서버로부터 제 1 화상 샘플들 및 상기 제 1 화상 샘플들과 연관된 제 1 위치들을 수집하는 것;
온라인 서비스 데이터로부터 미리 설정된 데이터 수집 알고리즘을 사용하여 제 2 화상 샘플들 및 상기 제 2 화상 샘플들과 연관된 제 2 위치들을 수집하는 것;
상기 제 1 및 제 2 화상 샘플들로부터 화상 피처 샘플들을 추출하는 것; 및
상기 추출된 화상 피처 샘플들을 사용하여 상기 미리 설정된 화상 피처 샘플 라이브러리를 업데이트하는 것
을 더 포함하는, 컴퓨터로 구현되는 시스템. - 제16항에 있어서, 상기 동작은,
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 상기 화상 피처 샘플들에 대해 구성된 프리젠테이션 데이터 및 프리젠테이션 효과들을 상기 서버의 오퍼레이터로부터 획득하는 것;
상기 미리 설정된 화상 피처 샘플 라이브러리 내의 화상 피처 샘플들과 관련하여 상기 획득된 프리젠테이션 데이터 및 프리젠테이션 효과들을 저장하는 것; 및
상기 오퍼레이터의 업데이트 동작에 대한 응답으로 상기 프리젠테이션 데이터 및 상기 프리젠테이션 효과들을 동적으로 업데이트하는 것
을 더 포함하는, 컴퓨터로 구현되는 시스템. - 제17항에 있어서, 상기 동작은,
상기 화상 피처 샘플 서브-라이브러리 내의 임의의 화상 피처 샘플에 대응하는 오프라인 타겟이 상기 스캔된 이미지로부터 인식될 수 있을 때, 상기 화상 피처 샘플과 연관된 프리젠테이션 데이터 및 상기 프리젠테이션 데이터와 연관된 프리젠테이션 효과를 상기 증강 현실 디바이스에 제공하여, 상기 증강 현실 디바이스가 상기 프리젠테이션 효과에 기초하여, 증강 현실 장면 내의 상기 오프라인 타겟에 대응하는 위치 상에 증강된 방식으로 상기 프리젠테이션 데이터를 디스플레이하게 하는 것을 더 포함하는, 컴퓨터로 구현되는 시스템. - 제15항에 있어서, 상기 동작은,
상기 증강 현실 디바이스로부터, 상기 스캔된 이미지를 수신하는 것; 및
상기 서버에서, 상기 생성된 화상 피처 샘플 서브-라이브러리에 기초하여 상기 스캔된 이미지에 대해 상기 이미지 인식을 수행하는 것
을 더 포함하는, 컴퓨터로 구현되는 시스템. - 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710018395.1A CN107038408A (zh) | 2017-01-11 | 2017-01-11 | 基于增强现实的图像识别方法及装置 |
| CN201710018395.1 | 2017-01-11 | ||
| US15/864,572 | 2018-01-08 | ||
| US15/864,572 US10614341B2 (en) | 2017-01-11 | 2018-01-08 | Image recognition based on augmented reality |
| PCT/US2018/013344 WO2018132590A1 (en) | 2017-01-11 | 2018-01-11 | Image recognition method and apparatus based on augmented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190107069A KR20190107069A (ko) | 2019-09-18 |
| KR102222087B1 true KR102222087B1 (ko) | 2021-03-05 |
Family
ID=59530481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197023416A KR102222087B1 (ko) | 2017-01-11 | 2018-01-11 | 증강 현실에 기초한 이미지 인식 방법 및 장치 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US10614341B2 (ko) |
| EP (1) | EP3568805A4 (ko) |
| JP (1) | JP6736145B2 (ko) |
| KR (1) | KR102222087B1 (ko) |
| CN (1) | CN107038408A (ko) |
| PH (1) | PH12019501599A1 (ko) |
| SG (1) | SG11201906315TA (ko) |
| TW (1) | TWI691934B (ko) |
| WO (1) | WO2018132590A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038408A (zh) | 2017-01-11 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 基于增强现实的图像识别方法及装置 |
| CN109062523B (zh) * | 2018-06-14 | 2021-09-24 | 北京三快在线科技有限公司 | 增强现实数据的展示方法、装置、电子设备及存储介质 |
| US10725629B2 (en) * | 2018-06-25 | 2020-07-28 | Google Llc | Identifying and controlling smart devices |
| US11350264B2 (en) * | 2018-07-25 | 2022-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus for establishing device connection |
| CN109260705A (zh) * | 2018-08-06 | 2019-01-25 | 光锐恒宇（北京）科技有限公司 | 游戏的实现方法、装置、智能终端和计算机可读存储介质 |
| US11430216B2 (en) | 2018-10-22 | 2022-08-30 | Hewlett-Packard Development Company, L.P. | Displaying data related to objects in images |
| EP3921803A4 (en) * | 2019-02-04 | 2022-11-02 | Beam Therapeutics, Inc. | SYSTEMS AND PROCESSES FOR MIXED REALITY IMPLEMENTED IN LABORATORY AUTOMATION |
| CN110020981A (zh) * | 2019-03-27 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种图像信息处理方法、装置及电子设备 |
| CN113923252B (zh) * | 2021-09-30 | 2023-11-21 | 北京蜂巢世纪科技有限公司 | 图像显示装置、方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092061A1 (en) * | 2013-09-30 | 2015-04-02 | Qualcomm Incorporated | Location based brand detection |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7522163B2 (en) | 2004-08-28 | 2009-04-21 | David Holmes | Method and apparatus for determining offsets of a part from a digital image |
| US7945099B2 (en) * | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
| US20090237546A1 (en) * | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
| US8190604B2 (en) * | 2008-04-03 | 2012-05-29 | Microsoft Corporation | User intention modeling for interactive image retrieval |
| US8819172B2 (en) | 2010-11-04 | 2014-08-26 | Digimarc Corporation | Smartphone-based methods and systems |
| US20110279445A1 (en) * | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for presenting location-based content |
| KR101746838B1 (ko) * | 2010-06-14 | 2017-06-27 | 주식회사 비즈모델라인 | 진열대를 이용한 증강현실 운영 방법 |
| JP2015062090A (ja) | 2011-12-15 | 2015-04-02 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
| US8654149B2 (en) | 2011-12-20 | 2014-02-18 | Honeywell International Inc. | System and method for displaying enhanced vision and synthetic images |
| JP6168303B2 (ja) | 2012-01-30 | 2017-07-26 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム |
| US9678617B2 (en) | 2013-01-14 | 2017-06-13 | Patrick Soon-Shiong | Shared real-time content editing activated by an image |
| JP2015090553A (ja) | 2013-11-05 | 2015-05-11 | 株式会社ソニー・コンピュータエンタテインメント | 端末装置、付加情報管理装置、および付加情報管理方法 |
| JP6435779B2 (ja) | 2014-10-30 | 2018-12-12 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN104834375A (zh) * | 2015-05-05 | 2015-08-12 | 常州恐龙园股份有限公司 | 基于增强现实的游乐园指南系统 |
| JP2017016466A (ja) | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 端末制御方法、画像生成方法、端末制御プログラム、及び端末 |
| US20170103440A1 (en) * | 2015-08-01 | 2017-04-13 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
| CN105243142A (zh) * | 2015-10-10 | 2016-01-13 | 安徽尚舟电子科技有限公司 | 一种基于增强现实与可视计算的智能信息推送方法 |
| CN105227448B (zh) * | 2015-10-30 | 2019-09-17 | Tcl集团股份有限公司 | 一种信息推送方法及系统 |
| US10052170B2 (en) | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
| US20170352282A1 (en) | 2016-06-03 | 2017-12-07 | International Business Machines Corporation | Image-based feedback for assembly instructions |
| CN107038408A (zh) | 2017-01-11 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 基于增强现实的图像识别方法及装置 |
| US20190005724A1 (en) * | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
| US10565764B2 (en) * | 2018-04-09 | 2020-02-18 | At&T Intellectual Property I, L.P. | Collaborative augmented reality system |
| US20180350144A1 (en) * | 2018-07-27 | 2018-12-06 | Yogesh Rathod | Generating, recording, simulating, displaying and sharing user related real world activities, actions, events, participations, transactions, status, experience, expressions, scenes, sharing, interactions with entities and associated plurality types of data in virtual world |
-
2017
- 2017-01-11 CN CN201710018395.1A patent/CN107038408A/zh active Pending
- 2017-11-09 TW TW106138738A patent/TWI691934B/zh active
-
2018
- 2018-01-08 US US15/864,572 patent/US10614341B2/en active Active
- 2018-01-11 WO PCT/US2018/013344 patent/WO2018132590A1/en unknown
- 2018-01-11 JP JP2019558338A patent/JP6736145B2/ja active Active
- 2018-01-11 SG SG11201906315TA patent/SG11201906315TA/en unknown
- 2018-01-11 KR KR1020197023416A patent/KR102222087B1/ko active IP Right Grant
- 2018-01-11 EP EP18739418.4A patent/EP3568805A4/en not_active Withdrawn
-
2019
- 2019-07-08 PH PH12019501599A patent/PH12019501599A1/en unknown
-
2020
- 2020-04-06 US US16/841,467 patent/US10762382B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092061A1 (en) * | 2013-09-30 | 2015-04-02 | Qualcomm Incorporated | Location based brand detection |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3568805A1 (en) | 2019-11-20 |
| US20200234077A1 (en) | 2020-07-23 |
| WO2018132590A1 (en) | 2018-07-19 |
| SG11201906315TA (en) | 2019-08-27 |
| TWI691934B (zh) | 2020-04-21 |
| JP2020507173A (ja) | 2020-03-05 |
| JP6736145B2 (ja) | 2020-08-05 |
| TW201826225A (zh) | 2018-07-16 |
| EP3568805A4 (en) | 2020-01-15 |
| US10762382B2 (en) | 2020-09-01 |
| US20180197043A1 (en) | 2018-07-12 |
| KR20190107069A (ko) | 2019-09-18 |
| PH12019501599A1 (en) | 2020-02-24 |
| CN107038408A (zh) | 2017-08-11 |
| US10614341B2 (en) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102222087B1 (ko) | 증강 현실에 기초한 이미지 인식 방법 및 장치 | |
| US20210279274A1 (en) | Systems and Methods of Building and Using an Image Catalog | |
| US10885100B2 (en) | Thumbnail-based image sharing method and terminal | |
| US11190624B2 (en) | User interface for just-in-time image processing | |
| US20180197220A1 (en) | System and method of image-based product genre identification | |
| US10902077B2 (en) | Search result aggregation method and apparatus based on artificial intelligence and search engine | |
| US8718369B1 (en) | Techniques for shape-based search of content | |
| US9507480B1 (en) | Interface optimization application | |
| US20160364373A1 (en) | Method and apparatus for extracting webpage information | |
| CN104602128A (zh) | 视频处理方法和视频处理装置 | |
| CN110245069B (zh) | 页面版本的测试方法和装置、页面的展示方法和装置 | |
| US10496696B2 (en) | Search method and apparatus | |
| US20210225056A1 (en) | Systems and Methods for Creating and Delivering Augmented Reality Content | |
| US8706572B1 (en) | Generating product image maps | |
| CN111310049B (zh) | 一种信息交互方法及相关设备 | |
| CN110188216B (zh) | 一种具有文字识别的照片直播系统及其方法 | |
| CN104899306A (zh) | 信息处理方法、信息显示方法及装置 | |
| US20130262463A1 (en) | Method and system to provide smart tagging of search input | |
| US10867119B1 (en) | Thumbnail image generation | |
| CN106899755B (zh) | 信息分享方法、信息分享装置及终端 | |
| CN117083586A (zh) | 用于将图像链接到网页的网络浏览器扩展 | |
| US10264324B2 (en) | System and method for group-based media composition | |
| CN106875464B (zh) | 三维模型文件处理方法、上传方法及客户端 | |
| WO2017124697A1 (zh) | 基于图片的信息搜索方法和装置 | |
| JP7297829B2 (ja) | 情報表示制御装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |