KR20180088886A - 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 - Google Patents

증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 Download PDF

Info

Publication number
KR20180088886A
KR20180088886A KR1020187018631A KR20187018631A KR20180088886A KR 20180088886 A KR20180088886 A KR 20180088886A KR 1020187018631 A KR1020187018631 A KR 1020187018631A KR 20187018631 A KR20187018631 A KR 20187018631A KR 20180088886 A KR20180088886 A KR 20180088886A
Authority
KR
South Korea
Prior art keywords
model
image
user device
colors
polygons
Prior art date
Application number
KR1020187018631A
Other languages
English (en)
Other versions
KR102545296B1 (ko
Inventor
바이탈리 비탈리예비치 아베랴노프
안드레이 발레리예비치 코미사로브
Original Assignee
데바 엔터테인먼트 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 데바 엔터테인먼트 리미티드 filed Critical 데바 엔터테인먼트 리미티드
Publication of KR20180088886A publication Critical patent/KR20180088886A/ko
Application granted granted Critical
Publication of KR102545296B1 publication Critical patent/KR102545296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G06K9/46—
    • G06K9/56—
    • G06K9/68—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이미지 데이터, 텍스처 분석을 포함하는 이미지 분석을 처리 및 생성하고, 3D 이미지를 디스플레이하는 분야에 관한 것이다. 증강 현실을 생성하기 위한 디바이스를 제어하는 방법은 사용자 디바이스 센서들로부터 객체 관련 데이터를 수신하는 단계, 객체를 인식하는 단계 및 가상 객체를 생성하는 단계로 이루어지며, 여기서 객체들을 포함하는 그림들의 세트를 식별하는 활성화 코드의 진위는 미리 검증되고, 객체와 관련되는 데이터는 객체의 사진 또는 비디오 이미지의 적어도 하나의 프레임의 형태로 획득되고, 객체는 사용자 디바이스의 메모리에 저장되는 이미지들과 비교함으로써 사진 또는 비디오 이미지의 프레임 상에서 식별되고, 가상 객체는 3D 모델의 형태로 생성되며, 그 이미지는 수신된 사진 또는 비디오 이미지의 프레임들의 상단 상에서, 사용자 디바이스의 디스플레이의 도움으로, 실시간으로 재생되며, 여기서 3D 모델이 생성되는 것과 관련된 객체는 활성화 코드가 할당되는 세트에 포함되는 그림들 상에 도시되는 적어도 하나의 아이템의 2차원 이미지이다.

Description

증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법
본 발명은 텍스처 및 3D 이미지 시각화를 포함하는, 이미지 데이터의 처리 및 생성, 이미지 분석에 관한 것이다.
기술적 본질의 프로토타입에 가장 근접한 것은: 사용자 디바이스를 사용하여 사용자에 가까이 근접하여 위치되는 물리적 객체에 대한 센서 데이터를 수신하는 단계 - 상기 데이터는 사용자 디바이스와 연관되는 센서들에 의해 생성됨 -; 객체를 인식하는 단계; 객체 인식에 응답하여 물리적 객체와 미리 결정된 관계를 갖는 가상 객체를 생성하는 단계; 및 상술한 미리 결정된 관계에 따라 사용자에 대한 프리젠테이션을 위해 가상 객체를 사용자 디바이스와 연관되는 디스플레이에 송신하는 단계를 포함하는 컴퓨터 구현 방법이다(RU 2013154098 A, cl. G06F 15/16 참조).
공지된 방법은 실제 물리적 객체와 관련되는 가상 객체를 생성하기 위해 사용될 수 있다.
공지된 방법의 단점은 데이터를 획득하기 위한 센서들의 사용으로 인해 원격 객체들에 대한 증강 현실 환경을 생성하는 능력의 부족이며 이것에 의해 센서 상의 효과만을 검출한다.
공지된 방법의 다른 단점은 센서에 의해 생성되는 데이터에 더하여 객체에 대한 추가적인 데이터의 부족으로 인해 그들의 특성들에서 유사한 객체들의 높은 인식의 신뢰성을 제공하는 능력의 부족이다.
공지된 해결책의 다른 결점은 그것이 가상 객체의 형성의 상세들을 개시하지 않는다는 것이다. 가상 객체가 사용자 디바이스와 연관되는 디스플레이에 송신되고 있다는 표시로부터, 가상 객체가 원격으로 생성된다고 결론 내릴 수 있으며, 이는 다량의 데이터를 전송하기 위한 통신 속도의 관점에서 원격 생성 수단과의 통신을 위한 높은 요건들을 의미한다.
게다가, 공지된 방법의 사용은 사용자의 자질들에 따라, 예를 들어 전문적 또는 연령 기준들에 따라 콘텐츠에 대한 액세스를 구별하는 능력을 제공하지 않는다.
본 명세서에서 처리되는 기술적 목적은 특정 객체들과 연관되는 고유한 활성화 코드들을 사용함으로써 그들의 특성들에 의해 유사한 객체들의 인식의 신뢰성을 증가시키고, 통신 수단에 대한 요건들을 감소시킴으로써 구현을 단순화할 뿐만 아니라, 특정 기준에 의해 증강 현실 환경의 형성에 대한 사용자 엑세스를 제한하는 능력을 제공하는 동안, 물리적 객체의 사진 또는 비디오 이미지들을 사용하여 원격 객체들을 포함하는 물리적 객체들에 대한 증강 현실 환경을 생성하는 능력을 제공하는 것이다.
상기 결과는 사용자 디바이스를 사용하여 사용자 디바이스의 센서들로부터 객체와 연관되는 데이터를 획득하는 단계, 객체를 인식하고 가상 객체를 생성하는 단계, 복수의 객체들을 포함하는 한 세트의 픽처(pictures)들을 식별하는 활성화 코드를 인증하는 단계, 객체를 포함하는 적어도 하나의 사진 또는 비디오 이미지 프레임의 형태로 객체와 연관되는 데이터를 획득하는 단계 - 객체 인식은 사용자 디바이스의 메모리에 저장되는 이미지들과 비교함으로써 사진 또는 비디오 프레임 상에서 수행됨 -, 수신된 사진 또는 비디오 이미지의 프레임들에 걸쳐 사용자 디바이스의 스크린에서 실시간으로 디스플레이되는 3D 모델로서 가상 객체를 생성하는 단계로 구성되는 증강 현실 환경을 형성하는 방법에 의해 달성되며, 여기서 3D 모델이 형성되는 것과 관련한 객체는 활성화 코드에 연관된, 픽처들의 결합된 세트에 도시되는 적어도 하나의 객체의 2차원 이미지이다.
또한:
- 활성화 코드는 문자들 및/또는 숫자들의 시퀀스를 포함하는 코드 워드일 수 있고;
- 활성화 코드는 그것을 사진 또는 비디오 카메라로 스캐닝하는 가능성으로 이루어지는 2차원 이미지이고;
- 수신된 사진 또는 비디오 이미지의 하나보다 많은 프레임이 존재하면, 그들은 허용 가능한 이미지 품질의 관점에서 그들로부터 선택되고;
- 객체와 관련된 3D 모델 상황 정보(context)은 그것의 인식에 응답하여 형성되고;
- 3D 모델이 컬러로 형성되는 동안, 이미지 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키는 매트릭스를 형성하고, 3D 모델의 요소들은 대응하는 다각형들(polygons)이 이전 단계들에서 결정되는 텍스처링 좌표들에 따라 텍스처의 대응하는 섹션들에 의해 커버되는 그러한 방식으로 좌표 변환 매트릭스를 사용하여 스캐닝된 이미지 영역의 텍스처를 형성하고 텍스처의 후속 할당을 갖는 데이터를 3D 모델에 보간시킴으로써 사진 이미지의 대응하는 요소들의 컬러들로 페인트되고;
- 3D 모델이 컬러로 형성되는 동안, 이미지 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키는 매트릭스를 형성하고, 좌표 변환 매트릭스를 사용하여 사진 이미지의 미리 설정된 포인트들에서, 컬러 판독에 기초하여 3D 모델의 재료들의 컬러를 결정함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 컬러화하고, 그 다음, 컬러들을 3D 모델의 대응하는 재료들에 할당하고;
- 3D 모델이 컬러로 형성되는 동안, 이미지 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키는 매트릭스를 형성하고, 좌표 변환 매트릭스를 사용하여 사진 이미지의 미리 결정된 포인트들에서 취해지는 단색들(solid colors)로 채워지는, 사진 섹션들로 구성되는 텍스처를 생성함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 컬러링하고;
- 3D 모델을 위해 생성되는 텍스처 상의 이전에 공지된 영역들은 결과(resulting) 이미지 상에 페인트될 객체의 윤곽들(outlines)을 제거하기 위해 인접한 픽셀들의 컬러들로 채움으로써 페인트되고;
- 음영들(shadows)의 맵은 또한 3D 모델을 위해 생성되는 텍스처에 적용된다.
사용자 디바이스를 사용하여 증강 현실 환경을 형성하는 방법은 도면들을 사용하여 설명되며, 여기서 도 1은 사용자 디바이스를 사용한 증강 현실 환경의 형성의 일 예를 도시하며, 도 2는 증강 현실 환경 형성 디바이스의 블록도이며, 도 3은 사용자 디바이스 컴퓨팅 수단의 프로세서를 제어하기 위한 알고리즘이다.
도면에 기재된 명칭들은 이하와 같이 이루어진다:
1 - 한 세트의 픽처들로부터의 픽처, 2 - 증강 현실 환경이 생성되는 것과 관련한 객체, 3 - 사용자 디바이스(모바일 디바이스), 4 - 캠코더 또는 카메라, 5 - 디스플레이, 6 - 입력 수단, 7 - 서버와의 통신 수단, 8 - 활성화 코드 인식 수단, 9 - 활성화 코드 인증 수단, 10 - 객체 인식 수단, 11 - 3D 모델 생성 수단, 12 - 메모리 수단, 13 - 사운드 출력 수단, 14 - 최종 이미지의 신호들 생성 수단, 15 - 활성화 코드 데이터 획득, 16 - 활성화 코드의 사전 승인, 17 - 활성화 코드를 서버에 송신 및 인증 결과들을 수신, 18 - 서버 상에서의 활성화 코드의 인증의 결과들의 평가, 19 - 증강 현실 환경의 형성을 런칭, 20 - 사진 또는 비디오 카메라의 출력으로부터 이미지 신호들을 수신, 21 - 이미지 상의 객체를 인식, 22 - 디스플레이를 위한 최종 이미지 신호 생성, 23 - 활성화 코드 검증 수단을 포함하는 서버, 24 - 인터넷, 25 - 사용자 디바이스를 산출하는 수단.
증강 현실 환경을 형성하도록 적응되는 디바이스를 제어하기 위한 방법은 사용자 디바이스 및 활성화 서버를 사용하여 증강 현실 환경의 형성을 제공하며, 방법은 다음 단계들을 포함한다: 증강 현실 환경이 생성되는 것과 관련한 객체는 픽처(picture)에 의해 표시되는 적어도 하나의 객체의 2차원 이미지이다(도 1). 픽처들은 문자 및/또는 숫자들의 시퀀스를 포함하는 코드 워드, 또는 사진 또는 비디오 카메라로 스캐닝될 수 있는 2차원 이미지인 활성화 코드를 구비하는, 수개의 픽처들로 구성되는 세트로 결합된다. 활성화 코드의 진위가 검증되며, 상기 코드는 3D 모델로서 디스플레이될 객체들을 포함하는 한 세트의 픽처들을 식별한다. 성공적인 검증 결과의 경우, 활성화 코드는 3D 공간 모델의 렌더링의 프로세스를 시작하며, 그 동안에 객체의 적어도 하나의 사진 또는 비디오 이미지 프레임은 사용자 디바이스의 카메라 또는 비디오 카메라에 의해 획득된다. 증강 현실 형성 수단을 포함하는 사용자 디바이스의 메모리에 저장되는 기준 이미지들에 기초하여, 객체는 프레임 상에서 인식되고, 그 다음, 객체에 대한 의미론적 연결(semantic connection)을 갖는 3D 모델이 형성되며, 그것의 이미지는 수신된 사진 또는 비디오 이미지의 프레임들에 걸쳐 디스플레이 수단에 의해 실시간으로 재생된다. 이 경우, 객체의 사진 또는 비디오 이미지의 적어도 하나의 프레임이 획득되며, 여기서 사진 또는 비디오 이미지의 하나보다 많은 프레임이 획득되면, 프레임은 픽처 품질에 기초하여 선택된다.
3D 모델은 컬러로 형성되며, 컬러링은 접근된 3개 중 하나로 수행된다. 제1 컬러링 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키는 변환 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여 영역을 판독함으로써 이미지의 텍스처를 형성하고 후속 할당을 갖는 데이터를 3D 텍스처 모델에 보간시킴으로써, 대응하는 다각형들이 텍스처링의 스테이지에서 텍스처 좌표들을 미리 형성함으로써 텍스처의 대응하는 섹션들에 의해 커버되도록, 3D 모델의 요소들을 대응하는 사진 이미지 요소들의 컬러들로 컬러화하는 단계를 포함한다.
제2 컬러링 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환하기 위한 변환 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여 사진 이미지의 미리 결정된 포인트들에서의 컬러 판독에 기초하여 3D 모델 재료들의 컬러들을 결정함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 컬러링하는 단계, 및 그 다음 컬러들을 3D 모델의 대응하는 재료들에 할당하는 단계를 포함한다.
제3 컬러링 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환하기 위한 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여, 사진 이미지의 미리 결정된 포인트들에서 취해지는 단색들로 채워지는, 사진 섹션들을 구성하는 텍스처를 생성함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 컬러링하는 단계를 포함한다.
3D 모델을 위해 생성되는 텍스처 상에 결과 이미지 상에 페인트되는 객체의 윤곽들을 제거하기 위해 인접된 픽셀들의 컬러로 채움으로써 미리 결정된 영역들을 페인팅하는 단계, 및 또한 3D 모델을 위해 생성된 텍스처에 엠비언트 오클루전 맵(ambient occlusion map)을 적용시키는 단계를 포함한다.
사용자 디바이스를 사용하여 증강 현실 환경을 형성하기 위한 방법은 다음과 같이 사용된다.
증강 현실 효과는 내장된 사진 또는 비디오 카메라, 컴퓨팅 수단, 메모리 수단, 입력 및 이미지들을 디스플레이하기 디스플레이 수단을 포함하는 모바일 디바이스인 사용자 디바이스를 사용하고, 또한 적절한 인터페이스를 사용자 디바이스에 제공하는 서버 하드웨어를 사용하여 생성된다. 모바일 디바이스는 인터넷을 사용하여 서버와 신호를 교환하도록 구성되고 적절한 무선 통신 수단을 구비한다.
증강 현실의 효과가 형성되는 것에 관련한 객체들은 2차원 이미지들, 일반적으로 한 세트의 픽처들이다. 공간 3D 모델은 각각의 그러한 픽처에 대해 생성된다. 상기 3D 모델은 정적 이미지 또는 비디오 시퀀스, 예를 들어, 애니메이션 이미지의 형태로 디스플레이 상에 도시될 수 있다.
예를 들어, 특정 수의 픽처들은 예를 들어 20개의 양으로, 활성화 코드가 연관되는 세트로 결합된다. 활성화 코드는 특수 영역, 예를 들어 커버 상에 프린트되는, 코드워드 또는 내장된 사진 또는 비디오 카메라로 스캐닝될 수 있는 다른 2차원 이미지이므로, 그것은 픽처들의 세트가 오픈될 때까지 숨겨진 채 남아 있다.
코드워드는 공지된 폰트들 중 하나에 의해 이루어지는 문자들 및/또는 숫자들을 포함하는 영숫자 시퀀스이다.
활성화 코드들은 배치 모드(batch mode)에서 미리 생성된다: 패킷 내의 적어도 100 유닛들. 배치들의 형성 동안에, 활성화 코드들은 이전에 생성된 활성화 코드들과 관련하여 고유성(uniqueness)에 대해 체크된다. 형성된 배치들은 활성화 서버 상에 저장되며, 이는 활성화 코드들과 함께 작동하기 위한 인터페이스를 제공한다.
따라서, 활성화 코드는 객체들의 특정 세트에 대응하고, 그것의 고유성은 그것을 그들의 파라미터들에 가까운 객체들의 세트들을 구분하는 추가적인 특징으로서 사용하는 것이 가능하며, 예를 들어, 그것은 그들의 브랜드에 의해 동일한 유형의 차들의 이미지들을 분리하는 것을 허용한다.
증강 현실 수단을 매핑하는 프로세스는 주로 활성화 서버 상에서 구현되는 인터페이스를 사용하여, 사용된 픽처들의 세트에 대응하는 활성화 코드를 인증하는 것을 수반한다. 이러한 목적을 위해, 정보 입력 수단을 사용하여 코드워드는 모바일 관리 프로그램의 개시 페이지들 중 하나의 대응하는 필드로 입력되거나, 활성화 코드 이미지는 사용자 디바이스에 내장된 비디오 또는 카메라를 사용하여 판독되며, 그 다음, 그것의 구성 심볼들을 인식하고 사용자 디바이스의 컴퓨팅 수단에 의한 예비 체크 후에, 그것은 증강 현실 환경을 형성하는 프로세스를 활성화하기 위한 허가를 얻기 위해 서버에 송신된다. 테스트의 긍정적인 결과의 경우, 서버는 증강 현실 환경을 형성하는 프로세스에 대한 활성화 명령을 생성하고 그것을 사용자 디바이스에 송신한다.
이러한 방식으로 활성화되는 사용자 디바이스 제어 프로그램은 사진 또는 비디오 카메라의 출력으로부터 나오는 신호 처리 명령을 생성하며, 이것에 의해 객체의 이미지는 사용자 디바이스의 상기 사진 또는 비디오 카메라를 세트 내의 픽처들 중 하나를 가리킴으로써 캡처된다. 적어도 하나의 프레임이 대응하는 피겨(figure)의 이미지와 함께 획득되며, 그 상에서, 컴퓨팅 수단에 의해, 픽처에 대응하는 객체가 인식된다.
인식은 산출 도구들의 메모리에 저장되는 미리 생성된 이미지들을 사용하여 수행된다.
사진 또는 비디오 카메라 출력으로부터의 신호들은 캡처된 이미지를 도시하기 위해 디스플레이의 입력 수단에 적용된다.
수신된 사진 또는 비디오 이미지의 하나보다 많은 프레임이 존재하면, 선택은 이미지 품질에 기초하여 이루어진다.
다음으로, 사용자 디바이스 컴퓨팅 수단을 사용하여, 인식된 객체에 대응하는 3D 모델이 형성된다.
3D 모델의 이미지가 컬러로 렌더링되는 동안, 요소들은 다음 옵션들을 포함하는 임의의 허용 가능한 방식으로 컬러화된다. 컬러링을 위한 초기 데이터는 다음과 같다:
- 다각형들의 그룹들로 구성되는 모델, 여기서 재료들은 상기 그룹들에 할당되며,
- 하나 또는 두개의 언랩(unwrap)(텍스처 좌표들),
- 마커 이미지,
- 조명, 릴리프(relief) 등의 추가적인 맵들.
제1 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키기 위한 매트릭스를 형성하는 단계, 좌표 변환 매트릭스을 사용하여 이미지 판독 영역의 텍스처를 형성하고 3D 모델의 텍스처의 후속 할당을 갖는 데이터를 보간함으로써, 대응하는 다각형들이 텍스처링 단계에서 미리 형성되는 텍스처의 대응하는 섹션들에 의해 커버되도록, 3D 모델 다각형들(요소들)을 대응하는 사진 또는 비디오 요소들의 컬러들로 컬러링하는 단계를 포함한다.
이하, "재료"는 모델 다각형들의 그룹에 할당되고 다수의 세팅들을 갖는다. 컬러는 단순히 컬러를 특정함으로써 또는 텍스처(픽처 + 모델에 다른 그것의 스윕(sweep)의 좌표들)를 할당함으로써 설정될 수 있다. "텍스처"는 3D 모델의 "컬러"로서 사용되고 이것으로서 사용되도록 계획되는 임의의 디지털 이미지이다. "텍스처의 좌표들" - 3D 모델 다각형들을 텍스처의 영역에 매핑시키는 데이터. 텍스터의 하나의 섹션은 수개의 다각형들에 대응할 수 있다. 텍스처의 좌표들에 대한 다른 명칭은 스캔 또는 랩(wrap)/언랩(unwrap)이다.
따라서, 제1 접근법의 컬러링은: 이미지 프레임을 획득하는 단계, 인식 수단에 의해 공급되는 마커 좌표들을 사용하여 "직교" 마커 이미지를 복원하는 단계, 그것을 미리 만들어진 직교 언랩을 사용하여 텍스처로서 모델 상에 중첩시키는 단계를 포함한다.
제2 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키기 위한 변환 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여 미리 결정된 이미지 포인트들에서, 컬러 판독에 기초하여 3D 모델 재료들의 컬러들을 결정함으로써 3D 모델의 다각형들을 대응하는 사진 요소들의 컬러들로 컬러링하는 단계, 및 그 다음 컬러들을 대응하는 3D 모델 재료에 할당하는 단계를 포함한다.
따라서, 제2 컬러링 접근법은: 이미지 프레임를 획득하는 단계, 인식 수단에 의해 공급되는 마커 좌표들을 사용하여, 프레임 내의 주어진 포인트들에서 컬러를 판독하는 단계, 그 다음, 그것을 미리 만들어진 직교 스캔을 사용하여 텍스처로서 모델에 적용하는 단계를 포함하며, 모델 재료들에는 이들 컬러들이 할당된다. 마커 상의 포인트는 특정 모델 영역과 미리 정렬된다.
대안적으로, 새로운 텍스처는 미리 형성된 마스크들에 기초하여 생성된다. 대응하는 컬러들의 마스크들은 주어진 순서로 새로운 텍스처 상에 중첩되어, "통상의" 언랩(unwrap)으로 이미지를 형성하고, 추가적으로 결과 텍스처 상에 조명/음영들(shadows) 등의 추가적인 맵들이 적용된다.
제3 접근법은 사진 이미지의 좌표들을 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환하기 위한 변환 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여, 사진 이미지의 미리 결정된 포인트들에서, 사진 세그먼트들로 구성되는 텍스처를 생성함으로써 3D 모델의 요소들을 대응하는 사진 요소들의 컬러들로 컬러링하는 단계를 포함한다.
따라서, 제3 접근법의 컬러링은: 이미지 프레임을 획득하는 단계, 인식 수단에 의해 공급되는 마커 좌표들을 사용하여 "직교" 마커 이미지를 복원하는 단계, 마커로부터 전체 이미지의 요소 대 요소 전송을 사용하여 "통상의(normal)" 언랩으로 새로운 텍스처를 생성하는 단계를 포함한다. 전송은 2개의 언랩 좌표들 - 종래 및 평면을 관련시킴으로써 발생한다. 모델의 각각의 다각형은 두 언랩들 상에 존재하며, 이것에 의해 이들 영역들을 연관시키고, 그 다음, 필요한 경우, 추가적인 광/음영 맵들 등이 결과 텍스처에 걸쳐 적용된다.
추가적으로 각각의 접근법에 있어서, 마커 라인들의 "삭제"는 특정 픽셀들의 컬러들을 이웃한 픽셀들의 컬러들로 대체함으로써 사용될 수 있다. 즉, 생성된 3D 텍스처 모델 상에 페인트될 객체의 윤곽들(contours)을 제거하기 위해, 미리 설정된 영역들은 인접한 픽셀들의 컬러들로 컬러화된다.
추가적인 텍스처 요소들은 또한 3D 모델을 위해 생성되는 텍스처에 적용되며, 특히 엠비언트 오클루전 맵이 적용된다.
다음으로, 최종 이미지 신호들이 생성되며 여기서 3D 모델 이미지는 3D 모델 이미지가 사진 또는 비디오 카메라에 의해 캡처된, 실시간 이미지에 걸쳐 재생되도록, 사진 또는 비디오 카메라의 출력으로부터의 이미지 상에 중첩되고 디스플레이 입력에 공급된다.
사용자 디바이스를 사용하여 증강 현실 환경을 형성하기 위한 방법은 사진 또는 비디오 카메라를 사용하여 구현되며, 이는 원근 둘 다에서, 객체의 시야 내의 임의의 객체에 대한 증강 현실 환경을 형성하는 것을 가능하게 한다.
사용자 디바이스를 사용하는 것에 의해 증강 현실 환경을 형성하는 방법은 프로세스의 사전 활성화를 전제로 하며, 활성화 코드는 객체들을 포함하는 그림들(figures)의 상세 세트로서 사용될 수 있어서, 메모리로부터 객체 인식을 위한 특정 범주만의 이미지들의 선택을 용이하게 하며, 이는 객체들의 정확한 인식의 신뢰성을 증가시킨다.
방법의 구현에 수반되는 서버는 활성화 코드의 유효성을 검증하기 위해 사용됨으로써, 서버와의 통신 채널은 강력하고 고속의 통신 설비들의 사용을 필요로 하지 않으며, 이는 방법의 하드웨어 구현을 단순화한다.
게다가, 활성화 코드의 입증(validation)으로 인해, 사용자 디바이스를 사용하여 증강 현실 환경을 형성하는 방법은 그것이 방법에 대한 액세스를 갖지 않는 사용자들에게 제한되도록 하는 것을 허용한다. 그러한 제한들에 대한 기준들은 예를 들어, 사용자의 연령일 수 있으며, 이것에 의해 구현에 의해 제공되는 콘텐츠를 그러한 사용자에게 제한한다. 제한 기준들의 다른 예는 그에게 허용되는 비밀 정보에 대한 액세스의 정도에 영향을 미치는 사용자의 전문적 상태(professional status)일 수 있다. 제한들은 다른 기준들에 의해 결정될 수 있다.
증강 현실을 형성하도록 적응되는 디바이스(도 2)는 메모리 수단의 입력들/출력들에 연결되는 컴퓨팅 수단, 사진 또는 비디오 카메라, 디스플레이, 정보 입력 수단, 오디오 출력 수단 및 서버와의 통신을 위해, Wi-Fi 표준들 또는 GPRS 표준들, 또는 LTE 등의 프레임워크 내에서, 무선 데이터 전송 노드인 서버와의 통신수단, 및 활성화 코드의 유효성을 체크하기 위한 입증 수단을 장착한 활성화 서버, 활성화 코드들을 저장하고 인터넷을 통해 사용자 디바이스와 연결되는 메모리 수단을 포함하는 사용자 디바이스, 바람직하게는 모바일 디바이스를 포함한다. 컴퓨팅 수단은 활성화 코드 인식 수단, 활성화 코드 체크 수단, 객체 인식 수단, 3D 모델 형성 수단, 메모리 수단, 및 결과 이미지의 신호 생성 수단을 포함한다.
컴퓨팅 수단은 다음의 동작 절차를 가정한다(도 3).
처음에, 활성화 코드 데이터가 획득되며, 이는 입력 수단을 사용하는사용자에 의해 또는 사진 또는 비디오 카메라를 그것의 이미지에 가리킴으로써 수동으로 입력된다. 입력 도구들은 제어 버튼들, 터치 키보드의 버튼들, 음성 입력 노드 또는 사진 또는 비디오 카메라 일 수 있다.
그 다음, 활성화 코드는 길이, 및/또는 패리티, 및/또는 허용 가능한 심볼들 등을 유효 값들과 비교함으로써 형식적 특성들에 따라 검증된다.
로컬 체크 후에, 활성화 코드 데이터는 통신 수단에 의해 서버에 송신된다. 서버는 그것의 메모리에 저장되는 코드들과 그것을 비교함으로써 코드의 유효성을 체크한다.
서버로부터의 검증 결과들을 수신한 후, 서버 명령은 증강 현실 환경의 형성을 관리하는 프로세스를 활성화하거나 잠금 해제하기 위해 사용된다. 테스트 결과들이 부정적이면, 이때, 프로세스는 종료된다.
테스트의 결과들이 긍정적이면, 이때, 증강 현실 환경을 형성하는 프로세스가 시작된다.
이미지는 객체를 포함하는 픽처에 사용자에 의해 포인트되는 사진 또는 비디오 카메라의 출력으로부터 획득된다.
계산 수단은 그것을 저장된 객체 이미지들과 비교함으로써 캡처된 이미지 상에 객체를 위치시키고 이를 인식하기 위해 메모리에 액세스한다.
객체가 인식되면, 인식된 객체와 연관되는 3D 모델이 생성된다.
증강 현실 환경의 형성의 최종 스테이지에서, 최종 이미지 신호들의 출력이 생성된다.
본 발명의 설명된 실시예들 및 이들 실시예들에 진술되는 구성요소들, 수식들 및 수치 값들의 배열은 특별히 지시되지 않으면 본 발명의 범위를 제한하지 않는다.
실시예
증강 현실 형성 수단은 사용자 디바이스를 포함하며, 이는 내장된 비디오 카메라, 컴퓨팅 수단, 메모리 수단, 터치 버튼들의 형태의 입력 수단, 통합 디스플레이 및 인터넷을 통해 서버와의 통신을 위한 통신 수단, 및 또한 활성 서버 자체를 장착하는 모바일 통신 디바이스를 포함한다.
증강 현실이 형성되고 있는 것과 관련한 객체들은 미리 밀봉된 앨범에 수집되는 종이의 시트들 상에 인쇄되는 픽처들이며, 그 커버의 내측 상에 코드워드가 인쇄된다.
사용자는 앨범을 개봉함으로써, 상기 앨범의 코드워드에 액세스한다. 모바일 통신 디바이스에서 대응하는 애플리케이션을 런칭함으로써, 사용자는 애플리케이션의 대응하는 필드에 코드워드를 입력하며, 이는 신호들의 형태로 컴퓨팅 수단의 입력에 공급되며, 여기서 형식적 특성들이 체크되고 그 다음 코드워드는 통신 수단에 의해 서버에 송신되어 서버 상에 저장된 코드워드들 중 하나와의 컴플라이언스(compliance)를 검증한다. 서버 컴퓨팅 수단은 활성화 서버 상에서 구현되는 인터페이스를 사용하여 진위(authenticity)에 대해 사용자-입력 코드워드를 체크한다.
부정적인 테스트 결과의 경우, 증강 현실 생성 매체의 작업은 종료되고대응하는 애플리케이션은 잠김 상태로 유지된다.
서버의 긍정적인 결과가 체크되면, 사용자 디바이스가 인터넷을 통해 모바일 통신 수단에 송신되는 증강 현실 환경을 생성하고 따라서 대응하는 애플리케이션을 잠금 해제하는 것을 허용하는 신호가 생성된다.
증강 현실의 효과를 형성하는 능력을 획득하면, 사용자는 모바일 통신 디바이스의 비디오 카메라를 앨범 픽처들 중 하나에 지향시켜, 카메라가 객체의 이미지를 캡처할 뿐만 아니라, 컴퓨팅 수단에 의해 그것의 검출 및 인식을 가능하게 한다. 이 경우, 컴퓨팅 수단은 모바일 디바이스의 메모리에 액세스하며, 여기서 앨범에 포함되는 객체들의 이미지들이 저장된다. 인식된 객체와 관련하여, 공간 모델이 형성되고 캡처된 이미지에 걸쳐 디스플레이상에 대응하는 비디오 시퀀스로서 디스플레이된다.
오디오 출력 수단은 3D 모델의 재생된 이미지와 연관되는 사운드 효과들을 재생하기 위해 사용된다.
사용자 디바이스를 사용하여 증강 현실 환경을 생성하기 위한 방법은 표준 구성요소들 및 카메라, 디스플레이, 프로세서 등과 같은 독립 모듈들을 포함하는 전자 구성요소 기반을 사용하여 구현될 수 있다.
따라서, 사용자 디바이스를 사용하여 증강 현실 환경을 형성하는 방법은 물리적 객체의 사진 또는 비디오 이미지를 사용함으로써 원격 객체들을 포함하는 객체들에 관한 증강 현실 환경을 생성하는 것을 허용하고, 특정 객체들과 연관되는 고유한 활성화 코드를 사용함으로써 그들의 특성들에 근접한 객체들의 인식의 증가된 신뢰성을 제공하고, 통신들을 위한 요건들을 감소시킴으로써 구현을 단순화하고, 특정 사용자들에 대해 증강 현실 환경의 형성에 대한 액세스를 제한하는 능력을 제공한다.

Claims (10)

  1. 사용자 디바이스를 사용하여 증강 현실 환경을 생성하기 위한 방법으로서,
    상기 사용자 디바이스 센서들로부터 객체와 연관되는 데이터를 획득하는 단계,
    상기 객체를 인식하는 단계, 및
    가상 객체를 생성하는 단계를 포함하며,
    활성화 코드를 서버에 송신하기 위해, 객체들을 포함하는 픽처들의 세트를 식별하는 활성화 코드를 인증하고, 긍정의 테스트 결과의 경우, 활성화 명령이 상기 증강 현실 환경의 형성을 위해 생성되어 상기 사용자 디바이스에 송신하고, 상기 객체와 연관되는 상기 데이터가 상기 객체의 적어도 하나의 사진 또는 비디오 이미지 프레임의 형태로 획득되고, 상기 객체 인식이 상기 사용자 디바이스의 메모리에 저장되는 이미지들과 매칭함으로써 상기 사진 또는 비디오 이미지 프레임 상에서 수행되고, 상기 가상 객체가 3D 모델로서 생성되고, 상기 3D 모델의 이미지가 상기 획득된 사진 또는 비디오 이미지의 프레임들에 걸쳐 상기 사용자 디바이스의 디스플레이 수단에 의해 실시간으로 재생되는 동안, 상기 3D 모델이 형성되는 것과 관련한 상기 객체는 상기 활성화 코드가 연관되는 세트로 결합되는 상기 픽처들에 나타나는 적어도 하나의 객체의 2차원 이미지인 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 활성화 코드는 문자들 및/또는 숫자들의 시퀀스를 포함하는 코드 워드인 방법.
  3. 제1항에 있어서,
    상기 활성화 코드는 사진 또는 비디오 카메라를 사용하여 스캐닝될 수 있는 2차원 이미지인 방법.
  4. 제1항에 있어서,
    상기 획득된 사진 또는 비디오 이미지의 하나 이상의 프레임이 존재하는 경우, 프레임 선택은 허용 가능한 이미지 품질에 기초하여 이루어지는 방법.
  5. 제1항에 있어서,
    상기 객체 인식에 응답하여 생성되는 상기 3D 모델은 상기 객체에 관련된 상황 정보(context)인 방법.
  6. 제1항에 있어서,
    상기 3D 모델은 컬러로 형성되며,
    상기 이미지 좌표들의 변환 매트릭스를 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 형성하는 단계; 및 상기 3D 모델 다각형들의 컬러들이 상기 변환 매트릭스를 사용함으로써 스캐닝된 영역의 텍스처를 형성하고 후속 할당 텍스처를 갖는 데이터를 상기 3D 모델에 보간시킴으로써 대응하는 사진 요소들의 컬러들과 일치함에 따라, 상기 대응하는 다각형들이 텍스처링 스테이지에서 수행되는 좌표들에 기초하여 상기 대응하는 텍스처들에 의해 커버되는 방식으로 상기 3D 모델의 다각형들을 컬러링하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 3D 모델은 컬러로 형성되며,
    상기 이미지 좌표들의 변환 매트릭스를 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 형성하는 단계; 상기 3D 모델 다각형들의 컬러들이 상기 좌표 변환 매트릭스를 사용하여 상기 사진 이미지의 미리 결정된 포인트들에서의 컬러 판독에 기초하여 상기 3D 모델의 컬러 재료들을 결정함으로써 대응하는 사진 요소들의 컬러들과 대응하는 방식으로 상기 3D 모델의 다각형들을 컬러링하는 단계; 및 이어서, 컬러들을 상기 3D 모델의 상기 대응하는 재료들에 할당하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 3D 모델은 컬러로 형성되며,
    상기 이미지 좌표들의 변환 매트릭스를 그 자신의, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환하는 단계; 및 상기 3D 모델 다각형들의 컬러들이 상기 좌표 변환 매트릭스를 사용하여, 상기 사진 이미지의 미리 정의된 포인트들에서 선택된 단색으로 채워지는 영역들뿐만 아니라, 상기 사진 이미지의 영역들로 구성되는, 텍스처를 생성함으로써 대응하는 사진 요소들의 컬러들과 일치하는 방식으로 상기 3D 모델의 다각형들을 컬러링하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 텍스처가 상기 3D 모델을 위해 생성되는 동안, 미리 결정된 영역들은 페인팅 결과 페인팅되는 객체의 윤곽들을 제거하기 위해 인접한 픽셀들의 컬러들로 채워져 페인팅되는 방법.
  10. 제8항에 있어서,
    음영들(shadows)의 맵은, 상기 3D 모델을 위해 생성되는 텍스처에 적용되는 방법.
KR1020187018631A 2015-12-02 2016-11-27 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 KR102545296B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2015151481A RU2606874C1 (ru) 2015-12-02 2015-12-02 Способ управления устройством формирования среды дополненной реальности
RU2015151481 2015-12-02
PCT/RU2016/050075 WO2017095273A1 (ru) 2015-12-02 2016-11-27 Способ управления устройством формирования среды дополненной реальности

Publications (2)

Publication Number Publication Date
KR20180088886A true KR20180088886A (ko) 2018-08-07
KR102545296B1 KR102545296B1 (ko) 2023-06-20

Family

ID=58452426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187018631A KR102545296B1 (ko) 2015-12-02 2016-11-27 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법

Country Status (6)

Country Link
US (1) US10706627B2 (ko)
EP (1) EP3385914A4 (ko)
KR (1) KR102545296B1 (ko)
CN (1) CN108369749B (ko)
RU (1) RU2606874C1 (ko)
WO (1) WO2017095273A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949103B1 (ko) 2018-10-10 2019-05-21 (주)셀빅 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템
KR20220080007A (ko) * 2020-09-09 2022-06-14 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667602C2 (ru) * 2017-03-15 2018-09-21 Общество с ограниченной ответственностью "АВИАРЕАЛ" Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
CN111147747B (zh) * 2019-12-30 2021-07-27 深圳市优必选科技股份有限公司 一种识别互补组件的方法及图像处理设备
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
CN113129814B (zh) * 2021-04-23 2022-11-11 浙江博采传媒有限公司 应用于led环屏虚拟制片的校色方法及系统
CN113570729B (zh) * 2021-07-28 2024-03-15 上海哔哩哔哩科技有限公司 标记生成方法及装置、对象展示方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071086A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
KR20140081213A (ko) * 2012-12-21 2014-07-01 이기호 이미지 인식을 이용한 스마트 보안인증 시스템 및 그 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
US6950800B1 (en) * 1999-12-22 2005-09-27 Eastman Kodak Company Method of permitting group access to electronically stored images and transaction card used in the method
US8114172B2 (en) * 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
US8203564B2 (en) * 2007-02-16 2012-06-19 Qualcomm Incorporated Efficient 2-D and 3-D graphics processing
AU2008271910A1 (en) * 2007-06-29 2009-01-08 Three Pixels Wide Pty Ltd Method and system for generating a 3D model from images
EP2073175A1 (fr) * 2007-12-17 2009-06-24 Gemalto SA Support d'identification sécurisé et procédé de sécurisation d'un tel support
RU2433487C2 (ru) * 2009-08-04 2011-11-10 Леонид Михайлович Файнштейн Способ проецирования изображения на поверхности реальных объектов
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
US9104677B2 (en) * 2010-11-18 2015-08-11 Chahoo Co., Ltd. Comprehensive pipeline management system and method using information recognition means
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
RU2017118159A (ru) * 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
CN102843347B (zh) * 2011-06-24 2017-10-31 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
CN103761460B (zh) * 2013-12-18 2017-01-18 微软技术许可有限责任公司 显示设备上的用户认证
CN104915579A (zh) * 2015-05-06 2015-09-16 腾讯科技（深圳）有限公司 一种信息处理方法和装置
US10607230B2 (en) * 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071086A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
KR20140081213A (ko) * 2012-12-21 2014-07-01 이기호 이미지 인식을 이용한 스마트 보안인증 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949103B1 (ko) 2018-10-10 2019-05-21 (주)셀빅 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템
KR20220080007A (ko) * 2020-09-09 2022-06-14 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체

Also Published As

Publication number Publication date
KR102545296B1 (ko) 2023-06-20
WO2017095273A1 (ru) 2017-06-08
EP3385914A4 (en) 2019-08-14
US10706627B2 (en) 2020-07-07
CN108369749A (zh) 2018-08-03
EP3385914A1 (en) 2018-10-10
RU2606874C1 (ru) 2017-01-10
US20180322703A1 (en) 2018-11-08
CN108369749B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
KR102545296B1 (ko) 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법
US11043032B2 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
CN107484428B (zh) 用于显示对象的方法
CN107154924A (zh) 基于验证码的验证处理方法及装置
JP2007122400A (ja) 認証装置、プログラムおよび記録媒体
CN106169064A (zh) 一种现实增强系统的图像识别方法和系统
CN111311759B (zh) 移动增强现实视频编辑系统
CN107994994A (zh) 图像验证码验证方法、系统、服务器及终端
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN112734657B (zh) 基于人工智能和三维模型的云合影方法、装置及存储介质
KR20220037995A (ko) 시각적 인코딩 등록 및 프로세싱 플랫폼
CN109741243B (zh) 彩色素描图像生成方法及相关产品
CN106327457A (zh) 一种图片处理方法、装置及设备
JP2021033707A (ja) 情報処理装置
KR102527809B1 (ko) 예술작품 관련 음원 제공 방법
US20170228915A1 (en) Generation Of A Personalised Animated Film
Seetha et al. Transparent digital watermark on Drug's images
KR102602213B1 (ko) 2차원 코드 인식과 생체 정보 인증을 기반으로 상품에 대한 정품 인증 및 부가 정보 제공을 수행하는 전자 단말 장치 및 그 동작 방법
US11282275B1 (en) Apparatus and method for generating storybook
WO2021060016A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
CN117576744A (zh) 视频数据的处理方法和装置
KR20220043798A (ko) 증강 현실 마커를 포함하는 서적의 진위 여부 판단 방법 및 이를 실행하는 시스템
KR20170062794A (ko) 증강현실을 이용한 학습 컨텐츠 제공방법 및 그 제공장치
CN115114557A (zh) 基于区块链的页面数据获取方法及装置
CN117857770A (zh) 终端装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant