KR101535579B1 - 증강 현실 인터액션 구현 방법 및 시스템 - Google Patents
증강 현실 인터액션 구현 방법 및 시스템 Download PDFInfo
- Publication number
- KR101535579B1 KR101535579B1 KR1020147035808A KR20147035808A KR101535579B1 KR 101535579 B1 KR101535579 B1 KR 101535579B1 KR 1020147035808 A KR1020147035808 A KR 1020147035808A KR 20147035808 A KR20147035808 A KR 20147035808A KR 101535579 B1 KR101535579 B1 KR 101535579B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- template image
- feature points
- template
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 36
- 230000003993 interaction Effects 0.000 title claims abstract description 33
- 239000003550 marker Substances 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000086550 Dinosauria Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 증강 현실에서의 인터액션을 실현하기 위한 방법 및 시스템을 제공한다. 상기 방법은: 프레임 이미지를 수집하고 그 프레임 이미지를 업로드하는 단계; 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 반환하는 단계; 상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 단계; 그리고 상기 템플리트 이미지에 대응하는 미디어 데이터를 상기 마커 영역 상에 중첩하고 그리고 그 중첩된 이미지를 디스플레이하는 단계를 포함한다.
Description
본 발명 개시는 시뮬레이션 기술들에 관련된 것이며, 그리고 특히, 증강 현실 (augmented reality)에서의 인터액션 (interaction)을 실현하기 위한 방법 및 시스템에 관한 것이다.
증강 현실 기술은 가상 정보를 실제의 세계에 적용하는 시뮬레이션 기술이며, 그리고 실제의 환경과 가상 환경을 실시간으로 동일한 프레임 내에서 중첩시킨다. 증강 현실 기술을 사용하는 모든 종류의 애플리케이션들은 사용자를 가상 환경에 꼭 맞추어지게 만들 수 있다. 증강 현실 기술에서 전통적인 인터액션 프로세스는 단말 디바이스들 상에서 동작하는 모든 종류의 클라이언트들에 의해서 실현될 수 있다.
예를 들면, 포스터를 마커 (marker)로서 취한다. 상기 마커의 이미지는 카메라를 이용하여 캡쳐되며 그리고 인식을 위해서 사용되어 인식 결과를 얻도록 한다. 그 인식 결과에 따라서, 이 특정 포스터의 콘텐트에 관련된 영화 트레일러가 얻어지며 그리고 재생된다. 상기 증강 현실 기술의 인터액션 프로세스 동안에 인식을 위해서 결부된 로직이 매우 복잡하며 그리고 모든 종류의 파일들을 포함하기 때문에, 이는 클라이언트의 크기가 아주 큰 결과가 되며, 그래서 모든 종류의 클라이언트들에 의해서 실현된 증강 현실 기술의 인터액션 애플리케이션들에서, 각 종류의 인터액션 애플리케이션은 단일의 마커에 대응할 수 있을 뿐이며 그리고 대응하는 클라이언트에 의해서 실현된다.
다른 말로 하면, 각 클라이언트는 한 종류의 마커에 대응할 수 있을 뿐이며, 그리고 상이한 마커들에 대해서는 대응 클라이언트들은 특별하게 개발될 필요가 있으며, 그리고 단일의 클라이언트는 여러 종류의 마커들에 대한 증강 현실 기술의 인터액션 프로세스를 실현할 수 없으며, 이는 사용자가 반복해서 다운로드해야 하고 그리고 여러 클라이언트들에 설치해야 하며, 그래서 유연성이 부족하게 되는 결과가 된다.
또한, 증강 현실 기술에서의 전통적인 인터액션은 실내 또는 실외에 셋업된 큰 스크린에 연결된 메인프레임 컴퓨터에 의해서 또한 실현될 수 있을 것이다. 예를 들면, 샴푸 광고가 실외의 큰 스크린 상에서 재생되고 있을 때에, 뷰어 (viewer)가 그 큰 스크린 앞의 어떤 영역에 서 있다면, 가상의 유명한 사람과 함께 춤을 학습하는 또는 그 유명한 사람과 함께 사진을 찍는 그 뷰어의 비디오는 그 큰 스크린 상에서 재생될 것이다; 다른 예로서, 실내의 큰 스크린 광고가 박물관에서 시작될 때에, 뷰어가 뷰어가 특정 영역에 서 있다면, 그 뷰어는 그 실내의 큰 스크린 상에서 자신의 옆을 지나가는 공룡이나 우주 비행사의 비디오를 볼 수 있을 것이다.
비록 단말 디바이스 상에서 동작하는 클라이언트에 비교되지만, 실내 또는 실외의 큰 스크린에 연결된 메인프레임 컴퓨터는 상대적으로 강한 배경의 계산 능력들을 가지며 그리고 증강 현실 기술들의 인터액션 프로세스에서 복잡한 로직을 처리할 수 있으며, 큰 스크린 및 그 큰 스크린에 연결된 메인프레임에 의해서 실현된 증강 현실 기술에서의 인터액션은 그 사용의 한계들로 인해서 단일의 마커 그리고 유연성의 부족들을 또한 목표로 한다.
이것을 기초로 하여, 향상된 유연성을 가진 증강된 현실에서의 인터액션을 실현하기 위한 방법이 제공된다.
또한, 향상된 유연성을 가진 증강 현실에서 인터액션을 실현하기 위한 시스템을 제공하는 것이 필요하다.
증강 현실에서의 인터액션 (interaction)을 실현하기 위한 상기 방법은 다음의 단계들을 포함한다: 프레임 이미지를 수집하고 그 프레임 이미지를 업로드하는 단계; 상기 프레임 이미지에 부합 (match)하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 반환하는 단계; 상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 단계; 그리고 상기 템플리트 이미지에 대응하는 미디어 데이터를 상기 마커 영역 상에 중첩하고 그리고 그 중첩된 이미지를 디스플레이하는 단계.
증강 현실에서의 인터액션을 실현하기 위한 상기 시스템은 클라이언트 및 서버를 포함하며; 이 경우 상기 클라이언트는 수집 모듈, 탐지 모듈 및 디스플레이 프로세싱 모듈을 포함하며; 상기 수집 모듈은 프레임 이미지를 수집하고 그 프레임 이미지를 업로드하도록 구성되며; 상기 서버는 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 반환하도록 구성되며; 상기 탐지 모듈은 상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하도록 구성되며; 그리고 상기 디스플레이 모듈은 상기 템플리트 이미지에 대응하는 미디어 데이터를 상기 마커 영역 상에 중첩하고 그리고 그 중첩된 이미지를 디스플레이하도록 구성된다.
증강 현실에서의 인터액션을 실현하기 위한 상기의 방법 및 시스템은 상기 프레임 이미지가 수집된 이후에 상기 프레임 이미지를 업로드하고, 그 업로드된 프레임 이미지에 따라 인식을 수행하며 그리고 그것에 부합하는 템플리트 이미지를 반환하며, 그 반환된 템플리트 이미지에 따라서 프레임 이미지의 마커 영역을 탐지하고, 상기 마커 영역 상에 상기 미디어 데이터를 더 중첩시키고, 그 중첩된 이미지를 디스플레이하며, 그리고 그 프레임 이미지를 원격 서버로 업로드하여, 그 템플리트 이미지에 대한 인식 및 부합을 수행하며, 그래서 상대적으로 복잡한 인식 프로세스가 국부적으로 완료될 필요가 없도록 하며, 증강 현실에서의 인터액션에서의 인식 가능성을 또한 크게 개선시키며, 그리고 모든 종류의 마커들에 대해서, 그것들에 부합하는 템플리트 이미지들을 모두 인식할 수 있도록 하며, 이는 유연성을 크게 개선시킨다.
본 발명의 효과는 본 명세서의 해당되는 부분들에 개별적으로 명시되어 있다.
도 1은 일 실시예에 따라 증강된 현실에서 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 2는 도 1에서 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그리고 그 템플리트 이미지를 반환하기 위한 방법의 흐름도를 보여준다.
도 3은 도 1의 템플리트 이미지에 따라서 프레임 이미지의 마커 영역을 탐지하기 위한 방법의 흐름도를 보여준다.
도 4는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 5는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 6은 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 7은 일 예에서 증강 현실에서의 인터액션을 실현하기 위한 시스템의 구조적인 개략적 도면이다.
도 8은 도 7에서의 서버의 구조적인 개략적 도면이다.
도 9는 도 7에서 탐지 모듈의 구조적인 개략적 도면이다.
도 10은 일 예에서 클라이언트의 구조적인 개략적 도면이다.
도 11은 다른 예에서 서버의 구조적인 개략적 도면이다.
도 12는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 시스템의 구조적인 개략적 도면이다.
도 2는 도 1에서 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그리고 그 템플리트 이미지를 반환하기 위한 방법의 흐름도를 보여준다.
도 3은 도 1의 템플리트 이미지에 따라서 프레임 이미지의 마커 영역을 탐지하기 위한 방법의 흐름도를 보여준다.
도 4는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 5는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 6은 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 방법의 흐름도를 보여준다.
도 7은 일 예에서 증강 현실에서의 인터액션을 실현하기 위한 시스템의 구조적인 개략적 도면이다.
도 8은 도 7에서의 서버의 구조적인 개략적 도면이다.
도 9는 도 7에서 탐지 모듈의 구조적인 개략적 도면이다.
도 10은 일 예에서 클라이언트의 구조적인 개략적 도면이다.
도 11은 다른 예에서 서버의 구조적인 개략적 도면이다.
도 12는 다른 예에서 증강 현실에서의 인터액션을 실현하기 위한 시스템의 구조적인 개략적 도면이다.
도 1에서 보이는 것처럼, 일 예에서, 증강 현실에서의 인터액션을 실현하기 위한 방법은 다음의 프로세스를 포함한다.
블록 S110에서, 프레임 이미지가 수집되어 업로드된다.
본 예에서, 프레임 이미지는 이미지 수집에 의해서 획득된다. 상기 프레임 이미지는 2차원 (2D) 포맷 또는 3차원 포맷 (3D)일 수 있으며, 그리고 이미지 수집 프로세스 동안에 획득된 비디오 스트림에 대응하는 이미지 시퀀스의 특정 이미지이다. 예를 들면, 이미지 수집은 비디오 스트림을 획득하기 위해서 계속해서 수행된다. 그 비디오 스트림은 이미지 시퀀스로 형성되며, 즉, 상기 이미지 시퀀스는 여러 프레임 이미지들을 포함한다. 수집되어 서버로 업로드된 프레임 이미지는 상기 이미지 시퀀스로부터 지금 수집되는 이미지이다.
블록 S130에서, 상기 프레임 이미지에 부합 (match)하는 템플리트 (template) 이미지가 인식되고 그리고 그 템플리트 이미지는 반환된다.
본 예에서, 여러 상이한 템플리트 이미지들이 미리 저장되고, 그리고 상기 업로드된 프레임 이미지와 부합하는 템플리트 이미지는 미리 저장된 상기 템플리트 이미지로부터 인식된다. 템플리트 이미지는 SIFT (Scale-Invariant Feature Transformation) 기반의 패턴 인식 알고리즘 등과 같은 인식 알고리즘들을 이용하여 상기 프레임 이미지에 따라서 인식될 수 있을 것이다. 예를 들면, 상기 프레임 이미지가 영화 XX의 포스터의 이미지이고, 미리 저장된 템플리트 이미지들은 수백 개의 영화 포스터들을 포함한다면, 그때에는, 상기 저장된 템플리트 이미지들을 인식함으로써 상기 저장된 템플리트 이미지들로부터 영화 XX의 포스터의 이미지가 얻어질 수 있으며, 그리고 상기 포스터의 인식된 이미지는 상기 프레임 이미지와 부합하는 템플리트 이미지이다. 상기 프레임 이미지와 부합하는 템플리트 이미지가 인식되어 획득된 이후에, 상기 서버는 상기 인식된 템플리트 이미지를 그 프레임 이미지를 업로드했던 클라이언트로 돌려보낸다
블록 S150에서, 프레임 이미지의 마커 영역이 상기 템플리트 이미지에 따라서 탐지된다.
본 예에서, 이미지 수집 프로세스 동안에, 마커 오브젝트 (marker object)는 그 마커 오브젝트의 프레임 이미지를 얻기 위해서 촬영되며, 상기 프레임 이미지 내에서 마커 오브젝트가 형성하는 영역이 마커 영역이다. 템플리트 이미지는 프레임 이미지 내에서 마커 영역을 탐지하기 위해서 사용되며, 그리고 그 마커 오브젝트의 이미지는 템플리트 이미지 내에도 또한 존재한다. 프레임 이미지의 마커 영역을 탐지하는 프로세스 동안에, 그 프레임 이미지의 마커 영역은 상기 템플리트 이미지와 상기 프레임 이미지를 비교함으로써 획득될 수 있으며, 더욱이, 상기 마커 영역을 형성하는 템플리트 이미지 내의 포인트들 또한 미리 기록될 수 있으며, 그리고 또한 상기 프레임 이미지 내 마커 영역은 상기 기록된 포인트들에 따라서 빠르게 획득될 수 있다.
블록 S170에서, 상기 템플리트 이미지에 대응하는 미디어 데이터가 마커 영역 상에 중첩되고 그리고 그 중첩된 이미지가 디스플레이된다.
본 예에서, 상기 미디어 데이터는 상기 템플리트 이미지에 대응하며 그리고 비디오 스트림 또는 3D 비디오 모델일 수 있다. 예를 들면, 상기 템플리트 이미지가 영화의 포스터라면, 그러면 상기 미디어 데이터는 그 영화의 재생 파일이다. 상기 미디어 데이터는 상기 마커 영역 상에 중첩되며, 그리고 그 중첩된 이미지를 디스플레이하는 동안에, 그 미디어 데이터를 재생하는 것은 가상 환경을 구성하며, 제거되고 있는 마커 영역을 구비한 일련의 프레임 이미지들은 실제 환경을 구성하며, 그리고 증강 현실의 효과가 실현된다.
도 2에서 보이는 것처럼, 일 예에서, 상기 블록 S130의 상세한 프로세스는 다음의 프로세스를 포함한다.
블로 S131에서, 상기 업로드된 프레임 이미지의 특성 정보가 획득된다.
본 예에서, 상기 업로드된 프레임 이미지의 상기 특성 정보는 프레임 이미지에 관련된 기술 (description) 정보를 기록하기 위해서 사용된다. 일 예에서, 상기 특성 정보는 사용자 정보 및 디바이스 정보를 포함하며, 이 경우 상기 사용자 정보는 그 사용자에 의해서 등록된 개인 신원 정보, 예를 들면, 성별, 나이, 교육 배경, 취미 등이다; 상기 디바이스 정보는 그 사용자가 상기 프레임 이미지를 업로드했을 때에 사용된 하드웨어 디바이스에 의해서 반환된 정보이다. 예를 들면, 사용자가 프레임 이미지를 서버로 업로드하기 위해서 모바일 단말을 사용했다고 가정하면, 그러면 상기 디바이스 정보는 GPS 지리적 정보, 디바이스 제조자 및 네트워크 환경 등을 포함한다.
블록 S133에서, 부합 범위가 상기 저장된 템플리트 이미지들내에서 상기 특성 정보에 따라서 한정된다.
본 예에서, 다중의 저장된 템플리트 이미지들에서 상기 특성 정보를 기초로 하여 범위가 한정된다. 예를 들면, 상기 특성 정보가 그 프레임 이미지를 업로드한 사용자가 여성이며 그리고 그 GPS 지리적 정보는 베이징라는 것을 기록한다면, 그러면 상기 한정된 부합 범위는 여성 및 베이징에 관련된 템플리트 이미지들이다. 특히, 상기 저장된 템플리트 이미지들 내에, 화장품 광고 이미지들, 면도 광고 이미지들, 베이징 콘서트 이미지들 그리고 상하이 콘서트 이미지들이 존재한다고 가정하면, 그러면 부합 범위 내에 템플리트 이미지들은 화장품 광고 이미지들 및 베이징 콘서트 이미지들이다. 부합 범위를 한정하는 것은, 상기 프레임 이미지에 부합하며 그리고 부합의 정밀도를 개선하는 템플리트 이미지를 빠르게 얻는 것을 용이하게 한다.
블록 S135에서, 부합 범위 내의 템플리트 이미지들이 검색되며, 그리고 검색된 템플리트 이미지가 상기 프레임 이미지에 부합하는가의 여부가 판별되며, 그리고 부합한다면, 블록 S137로 진입되며, 또는 부합하지 않는다면, 블록 S110으로 되돌아간다.
이 예에서, 상기 프레임 이미지에 부합하는 템플리트 이미지를 획득하기 위해서 상기 부합 범위 내의 템플리트 이미지들은 하나씩 검색되며 그리고 그 검색된 템플리트 이미지를 그 프레임 이미지를 업로드했던 사용자에게 반환한다.
블록 S137에서, 상기 검색된 템플리트 이미지가 반환된다.
도 3에서 보이는 것처럼, 일 예에서, 상기 블록 S150의 상세한 프로세스는 다음을 포함한다.
블록 S151에서, 상기 프레임 이미지의 피처 (feature) 포인트들이 상기 템플리트 이미지에 대응하는 트레이닝 데이터에 따라서 획득된다.
본 예에서, 상기 트레이닝 데이터는 상기 템플리트 이미지의 마커 영역을 기록하기 위해서 사용된 피처 포인트들이며 그리고 상기 템플리트 이미지의 상기 마커 영역은 일련의 피처 포인트들에 의해서 마킹될 수 있다. 상기 템플리트 이미지가 상기 프레임 이미지에 부합하기 때문에, 상기 프레임 이미지 내에 마커 영역에 마킹하기 위해서 사용된 상기 피처 포인트들은 상기 트레이닝 데이터에 기록된 피처 포인트들에 의해서 획득된다. 즉, 상기 트레이닝 데이터에서 기록된 피처 포인트들 그리고 상기 프레임 이미지 내의 피처 포인트들은 서로 부합하는 피처 포인트 쌍들이다.
블록 S153에서, 상기 프레임 이미지 내의 상기 마커 영역의 외곽선 위치는 상기 피처 포인트들을 경유하여 획득된다.
본 예에서, 상기 프레임 내 마커 영역의 윤곽선 위치는 그 프레임 이미지 내 일련의 피처 포인트들에 의해서 획득되며, 그리고 또한 상기 프레임 이미지 내 상기 마커 영역의 윤곽선 그리고 그것의 좌표들은 그 윤곽선 위치를 이용하여 획득된다.
상기 마커 영역을 획득하는 상기의 프로세스는 클라이언트에서 처리된다. 그러나, 이것으로 한정되지 않으며 그리고 또한 서버에서 처리될 수도 있다.
도 4에서 보이는 것처럼, 다른 예에서, 상기 블록 S150 이전에, 다음을 더 포함한다.
블록 S210에서, 템플리트 이미지에 대응하는 트레이닝 데이터 및 미디어 데이터가 로컬 파일 내에 존재하는가의 여부가 판별되며, 그리고 존재하지 않는다면, 블록 S230으로 진입하며, 그리고 존재한다면 블록 S250으로 진입한다.
본 예에서, 상기 로컬 파일은 클라이언트에서 국부적으로 저장된 파일이다. 상기 프레임 이미지의 마커 영역이 획득된 이후에, 상기 템플리트 이미지에 대응하는 상기 트레이닝 데이터 및 상기 미디어 데이터가 상기 클라이언트에 국부적으로 존재하는지의 여부가 판별되며, 그리고 존재하지 않는다면, 그러면 상기 트레이닝 데이터 및 상기 미디어 데이터는 상기 서버로부터 다운로드될 필요가 있으며, 그리고 상기 템플리트 이미지에 대응하는 트레이닝 데이터 및 미디어 데이터가 상기 클라이언트 내에 국부적으로 존재한다면, 그러면 그것은 직접 로딩된다.
블록 S230에서, 상기 트레이닝 데이터 및 상기 미디어 데이터가 다운로드된다.
본 예에서, 마커 영역 탐지 그리고 미디어 데이터 중첩 및 재생하는 것은 사용자가 트레이닝 데이터 및 미디어 데이터를 다운로드한 이후에 수행되며, 또는 그 후의 프로세스는 상기 트레이닝 데이터 및 상기 미디어 데이터를 스트림들로 데이터 전송하는 동안의 전송을 따라서 수행될 수 있다.
블록 S250에서, 상기 트레이닝 데이터 및 상기 미디어 데이터가 로딩된다.
도 5에서 보이는 것처럼, 다른 예에서, 블록 S150 이전에, 블록 S310에서, 피처 포인트들을 획득하기 위해서 상기 저장된 템플리트 이미지가 탐지되며, 그리고 피처 포인트들의 개수가 임계값보다 더 작은가의 여부가 판별되어, 더 작지 않다면 블록 S330으로 진입하며, 그리고 더 작다면 상기 프로세스는 종료한다.
본 예에서, 상기 템플리트 이미지에 따라서 프레임 이미지의 마커 영역을 탐지하는 동안에, 상기 프레임 이미지 내 피처 포인트들은 상기 템플리트 이미지 내의 피처 포인트들에 따라서 획득된다. 상기 템플리트 이미지는 상기 서버에 의해서 수집되고 저장된 이미지이며, 사용자에 의해서 업로드되고 저장된다. 상기 템플리트 이미지로서 저장된 이미지에 대해서, 그것에 대응하는 트레이닝 데이터 및 미디어 데이터는 상기 서버에 저장된 데이터에는 존재하지 않으며, 그때에는, 상기 템플리트 이미지는 상기 트레이닝 데이터를 획득하기 위해서 트레이닝되어야 할 필요가 있으며 그리고 대응하는 관계는 상기 템플리트 이미지 및 상기 미디어 데이터 사이에서 설립될 필요가 있다. 상기 템플리트 이미지를 위한 트레이닝은 상기 서버에서 수행될 수 있으며 또는 상기 클라이언트에서 수행될 수 있다; 그러나, 바람직하게는, 상기 템플리트 이미지의 트레이닝은 상기 서버에서 실현되며, 이는 경량의 클라이언트를 더 실현한다.
상기 템플리트 이미지의 트레이닝 동안에, 상기 템플리트 이미지에서 상기 피처 포인트들을 얻기 위해서, 상기 템플리트 이미지로서 저장된 이미지는 피처 포인트 탐지 알고리즘에 따라서 탐지될 필요가 있다. 상기 피처 포인트 탐지 알고리즘은 FAST 피처 포인트 탐지 알고리즘 또는 유사한 SURF 피처 포인트 탐지 알고리즘일 수 있으며, 그리고 또한 다른 피처 포인트 탐지 알고리즘들일 수 있으며, 이것들은 여기에서는 열거되지 않을 것이다.
상기 템플리트 이미지의 피처 포인트들이 획득된 이후에, 템플리트 이미지의 정당함을 보증하기 위해서 상기 피처 포인트들의 개수가 상기 프레임 이미지의 마커 영역을 탐지하기에 충분한가의 여부가 판별될 필요가 더 있다. 바람직한 실시예에서, 선택된 임계값은 100이다.
블록 S330에서, 상기 템플리트 이미지에 대응하는 샘플 이미지들이 획득되며, 그리고 상기 샘플 이미지들 내 피처 포인트들이 탐지된다.
본 예에서, 상기 피처 포인트들을 탐지하는 정밀도를 보장하기 위해서, 상기 템플리트 이미지에 대응하는 여러 샘플 이미지들이 상기 피처 포인트 탐지를 위해서 획득되며, 이는 상기 피처 포인트들의 강건함을 보장하기 위한 것이다. 상기 샘플 이미지들은 상기 템플리트 이미지에 대응하며 그리고 상이한 회전 각도들 및/또는 스케일링 (scaling) 크기들을 가진다. 예를 들면, 360°에 대해서，회전 각도는 매 10°마다 세팅되며, 그리고 36개의 회전 각도들이 획득된다; 그리고 매 회마다 0.8의 스케일링 크기가 축소되어 7개의 스케일링 레벨들을 얻으며, 그리고 상이한 회전 각도들 및 스케일링 크기들의 전체 36×7=252개 샘플 이미지들이 획득될 수 있으며, 그리고 상기 피처 포인트 탐지는 모든 샘플 이미지에 대해서 수행된다.
블록 S350에서, 상기 템플리트 이미지 그리고 상기 샘플 이미지들 내의 피처 포인트들은 그 피처 포인트들을 기록하는 트레이닝 데이터를 생성하기 위해서 처리된다.
본 예에서, 상기 피처 포인트들을 기록하는 상기 트레이닝 데이터는 상기 템플리트 이미지 내의 그리고 샘플 이미지 내의 피처 포인트들을 결합함으로써 형성된다. 특히, 상기 템플리트 이미지 내의 그리고 상기 샘플 이미지 내의 동일한 피처 포인트들은 결합되어 피처 포인트를 형성하며, 그리고 상기 피처 포인트의 위치는 상기 트레이닝 데이터를 얻기 위해서 기록된다.
다른 예에서, 상기 피처 포인트들은 상기 피처 포인트들의 정밀도를 보장하기 위해서 잘려진다. 다중의 샘플 이미지들에서, 몇몇의 피처 포인트들의 빠르게 출현하는 빈도는 매우 낮으며, 그러면 상대적으로 적게 다시 출현하는 이 피처 포인트들은 실수에 의한 탐지로 인해서 상대적으로 높은 가능성을 가지면서 생성되며, 그리고 상기 프레임 이미지의 마커 영역의 이어지는 탐지에 대한 간섭을 초래할 수 있을 것이며, 그래서 이 피처 포인트들은 잘려져야 하고 그리고 배제되어야 한다.
특히, 상기 템플리트 이미지 및 상기 샘플 이미지 내 피처 포인트들을 결합하고 잘라내는 상세한 프로세스는 다음과 같다: 상기 템플리트 이미지 및 상기 샘플 이미지에 대해서 랜덤 노이즈들을 추가하고 불명료화 (obfuscation)를 수행하며, 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대해서 피처 포인트 탐지를 다시 수행하여, 그에 따른 피처 포인트들을 획득하고;
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 존재하는가의 여부를 판별하고, 그리고 존재하지 않는다면 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내고, 또는 존재한다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 결합한다.
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 또한 존재한다고 판별된다면, 그러면 그것은 상기 피처 포인트가 재생산 가능 (reproducible)하다는 것을 의미하며, 그리고 어떤 피처 포인트가 상기 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들에서 나타나지 않는다면, 그러면 그것은 덜 재생산 가능한 것으로 간주될 것이다.
또한, 재생산 가능한 피처 포인트에 관해서, 상기 피처 포인트의 재생산 (reproduction) 횟수들의 개수가 판별되며, 그리고 상기 피처 포인트의 재생산 횟수들의 개수가 재생산 임계값보다 더 크다면, 그러면 상기 피처 포인트는 기록되며, 또는 더 크지 않다면, 상기 피처 포인트들의 정밀도가 더 효율적인 것을 보장하기 위해서 상기 피처 포인트는 배제된다.
상기 트레이닝 데이터를 생성하는 상기의 프로세스는 상기 서버에서 실현되지만, 그러나, 그것은 이런 말단적인 것에 제한되지 않아야 하며 그리고 그것은 또한 상기 클라이언트에서 또한 실현될 수 있다.
도 6에서 보이는 것처럼, 다른 예에서, 블록 S310 이전에, 그것은 다음을 더 포함한다.
블록 S410에서, 상기 템플리트 이미지 및 대응 미디어 데이터가 선택된다.
본 예에서, 미리 저장된 상기 템플리트 이미지들 및 상기 미디어 데이터에 관해서, 상기 사용자는 자신에 의해서 증강 현실에서 개인화된 인터액션을 실현하기 위해서 상기 템플리트 이미지들 그리고 대응하는 미디어 데이터를 선택할 수 있다. 특히, 템플리트 이미지는 사용자가 찍은 사진일 수 있으며, 또는 다른 방식들로 얻은 이미지일 수 있다; 상기 미디어 데이터는 사용자가 찍은 비디오 스트림일 수 있으며 또는 3D 비디오 모델일 수 있으며, 또는 인터넷으로부터 얻은 비디오 스트림 또는 3D 비디오 모델을 사용자가 편집하여 얻을 수 있으며, 예를 들면, 상기 사용자는 다운로드된 비디오 스트림에서 배경 음악을 변경할 수 있으며, 그리고 그것을 자신의 음성으로 변경할 수 있다
블록 S430에서, 상기 선택된 템플리트 이미지 및 상기 대응 미디어 데이터가 로그온 사용자의 업로드 동작에 따라서 공유되는가의 여부가 판별되며, 그것들이 공유된다면, 블록 S450으로 진입하며, 또는 공유되지 않는다면, 블록 S470으로 진입한다.
본 예에서, 상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 업로드되기 이전에, 로그온 상태로 진입하기 위해서 상기 사용자 정보를 확인하는 것이 더 필요하며, 그 시점에서, 상기 로그온 사용자가 업로드하는 동작이 얻어지며, 그 업로드하는 동작은 상기 사용자에 의해서 트리거된 업로드 지시 그리고/또는 공유 지시를 포함하며, 그리고 그 사용자는 자신의 필요성들에 따라서 공유할 것인가의 여부를 선택할 수 있다.
블록 S450에서, 상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터는 공개 저장 공간으로 업로드되어 저장된다.
본 예에서, 상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 공유될 것이라면, 그러면 그것들은 상기 공개 저장 공간으로 업로드되어 저장되며, 그래서 다른 사용자들이 상기 로그온 사용자에 의해서 업로드된 상기 템플리트 이미지 및 상기 미디어 데이터를 또한 이용할 수 있도록 한다.
블록 S470에서, 상기 템플리트 이미지 및 상기 대응 미디어 데이터는 상기 로그온 사용자에 대응하는 저장 공간으로 업로드되어 저장된다.
본 예에서, 상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 공유될 것이 아니라면, 그러면 상기 업로드된 템플리트 이미지 및 상기 대응 미디어 데이터는 상기 로그온 사용자에 대응하는 저장 공간으로 저장된다.
일 예에서, 상기 로그온 사용자에 대응하는 저장 공간의 우선순위는 상기 공개 저장 공간의 우선순위보다 더 높다.
본 예에서, 상기 로그온 사용자에 대응하는 저장 공간의 우선순위 그리고 상기 공개 저장 공간의 우선순위는 그 내부에 저장된 템플리트 이미지들의 우선순위를 결정한다. 다른 말로 하면, 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하는 프로세스 동안에, 상기 프레임 이미지에 부합하는 두 개의 템플리트 이미지들이 인식되고 그리고 상기 두 템플리트 이미지들이 상기 로그온 사용자에 대응하는 저장 공간 그리고 상기 공개 저장 공간에 각각 저장된다면, 그러면 그 당시에, 상기 로그온 사용자에 대응하는 상기 저장 공간의 우선순위가 공개 저장 공간의 우선순위보다 더 높기 때문에, 그러면 상기 로그온 사용자에 대응하는 저장 공간에 저장된 템플리트 이미지가 우선적으로 채택될 것이며 그리고 상기 로그온 사용자에게 돌아갈 것이다.
도 7에서 보이는 것처럼, 일 예에서, 증강 현실에서 인터액션을 실현하기 위한 시스템은 클라이언트 (10) 그리고 서버 (30)를 포함하며, 이 경우 상기 클라이언트 (10)는 수집 모듈 (110), 탐지 모듈 (130) 그리고 디스플레이 프로세싱 모듈 (150)을 포함한다.
일 예에서, 상기 클라이언트는 단말 디바이스에 설치되며, 그리고 그것은 컴퓨터 클라이언트, 모바일 클라이언트, 그리고 웹 페이지 클라이언트로 나누어진다. 상기 컴퓨터 클라이언트는 컴퓨터에 설치되며, 상기 모바일 클라이언트는 모바일 단말에 설치되며 그리고 상기 웹 페이지 클라이언트는 브라우저를 기반으로 하여 실현된다.
상기 수집 모듈 (110)은 프레임 이미지를 수집하고 그리고 그 프레임 이미지를 업로드하기 위해서 사용된다.
상기 예에서, 상기 수집 모듈 (110)은 프레임 이미지를 얻기 위해 이미지 수집을 수행하기 위해서 사용되며 그리고 상기 프레임 이미지는 2D 포맷 또는 3D 포맷일 수 있다. 상기 수집 모듈 (110)은 비디오 스트림에 대응하는 이미지 시퀀스의 어떤 이미지를 얻는다. 예를 들면, 상기 수집 모듈 (110)은 비디오 스트림을 획득하기 위해서 이미지 수집을 계속해서 수행한다. 상기 비디오 스트림은 이미지 시퀀스로 형성되며, 즉, 상기 이미지 시퀀스는 여러 프레임 이미지들을 포함한다. 수집되어 상기 서버로 업로드된 프레임 이미지는 상기 이미지 시퀀스로부터 지금 수집된 이미지이다. 특히, 상기 수집 모듈 (110)은 상기 단말 디바이스 내 카메라일 수 있다.
상기 서버 (30)는 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그리고 그 템플리트 이미지를 돌려보내기 위해서 사용된다.
본 예에서, 여러 상이한 템플리트 이미지들은 상기 서버 (30)에 미리 저장되며, 그리고 상기 업로드된 프레임 이미지에 부합하는 상기 템플리트 이미지는 미리 저장된 템플리트 이미지들로부터 인식된다. 상기 템플리트 이미지는 SIFT (Scale-Invariant Feature Transformation) 기반의 패턴 인식 알고리즘 등과 같은 인식 알고리즘들을 이용하여 상기 프레임 이미지에 따라서 인식될 수 있을 것이다. 예를 들면, 상기 프레임 이미지가 영화 XX의 포스터의 이미지이고, 상기 서버 (30)에 미리 저장된 템플리트 이미지들이 수백 개의 영화 포스터들을 포함한다면, 그때에는, 상기 저장된 템플리트 이미지들을 인식함으로써 상기 저장된 템플리트 이미지들로부터 영화 XX의 포스터의 이미지가 얻어질 수 있으며, 그리고 상기 포스터의 인식된 이미지는 상기 프레임 이미지와 부합하는 템플리트 이미지이다. 상기 프레임 이미지와 부합하는 템플리트 이미지가 인식되어 획득된 이후에, 상기 서버 (30)는 상기 인식된 템플리트 이미지를 그 프레임 이미지를 업로드했던 클라이언트 (10)로 돌려보낸다
상기 탐지 모듈 (130)은 상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마킹된 영역을 탐지하기 위해서 사용된다.
본 예에서, 상기 탐지 모듈 (130)은 마커 오브젝트 (marker object)를 촬영하여 그 마커 오브젝트의 프레임 이미지를 얻으며, 그리고 상기 프레임 이미지 내에서 마커 오브젝트가 형성하는 영역이 마커 영역이다. 상기 템플리트 이미지는 프레임 이미지 내에서 마커 영역을 탐지하기 위해서 사용되며, 그리고 그 마커 오브젝트의 이미지는 템플리트 이미지 내에도 또한 존재한다. 프레임 이미지의 마커 영역을 탐지하는 프로세스 동안에, 그 프레임 이미지의 마커 영역은 상기 템플리트 이미지와 상기 프레임 이미지를 비교함으로써 획득될 수 있으며, 더욱이, 상기 마커 영역을 형성하는 템플리트 이미지 내의 포인트들 또한 미리 기록될 수 있으며, 그리고 또한 상기 프레임 이미지 내 마커 영역은 상기 기록된 포인트들에 따라서 빠르게 획득될 수 있다.
상기 디스플레이 프로세싱 모듈 (150)은 상기 템플리트 이미지에 대응하는 미디어 데이터를 마커 영역 상에 중첩시키고 그리고 그 중첩된 이미지를 디스플레이한다.
본 예에서, 상기 미디어 데이터는 상기 템플리트 이미지에 대응하며 그리고 그것은 비디오 스트림 또는 3D 비디오 모델일 수 있다. 예를 들면, 상기 템플리트 이미지가 영화의 포스터라면, 그러면 상기 미디어 데이터는 그 영화의 재생 파일이다. 상기 미디어 데이터는 상기 마커 영역 상에 중첩되며, 그리고 그 중첩된 이미지를 디스플레이하는 동안에, 그 미디어 데이터를 재생하는 것은 가상 환경을 구성하며, 제거되고 있는 마커 영역을 구비한 일련의 프레임 이미지들은 실제 환경을 구성하며, 그리고 이는 증강 현실의 효과를 실현한다.
도 8에서 보이는 것처럼, 일 예에서, 상기 서버 (30)는 특성 획득 모듈 (310), 범위 한정 모듈 (330) 그리고 검색 모듈 (350)을 포함한다.
상기 특성 획득 모듈 (310)은 상기 업로드된 프레임 이미지의 특성 정보를 획득하기 위해서 사용된다.
본 예에서, 상기 업로드된 프레임 이미지의 상기 특성 정보는 상기 프레임 이미지들에 관련된 기술 (description) 정보를 기록하기 위해서 사용된다. 일 예에서, 상기 특성 정보는 사용자 정보 및 디바이스 정보를 포함하며, 이 경우 상기 사용자 정보는 그 사용자에 의해서 등록된 개인 신원 정보, 예를 들면, 성별, 나이, 교육 배경, 취미 등이다; 상기 디바이스 정보는 그 사용자가 상기 프레임 이미지를 업로드했을 때에 사용된 하드웨어 디바이스에 의해서 반환된 정보이다. 예를 들면, 사용자가 프레임 이미지를 서버로 업로드하기 위해서 모바일 단말을 사용했다고 가정하면, 그러면 상기 디바이스 정보는 GPS 지리적 정보, 디바이스 제조자 및 네트워크 환경 등을 포함한다.
상기 범위 한정 모듈 (330)은 상기 특성 정보에 따라서 상기 저장된 템플리트 이미지들 내에서 부합 범위를 한정한다.
본 예에서, 상기 범위 한정 모듈 (330)은 상기 특성 정보를 기초로 하여 상기 저장된 다중의 템플리트 이미지들에서 범위를 한정한다. 예를 들면, 상기 특성 정보가 그 프레임 이미지를 업로드한 사용자가 여성이며 그리고 그 GPS 지리적 정보는 베이징라는 것을 기록한다면, 그러면 상기 한정된 부합 범위는 여성 및 베이징에 관련된 템플리트 이미지들이다. 특히, 상기 저장된 템플리트 이미지들 내에, 화장품 광고 이미지들, 면도 광고 이미지들, 베이징 콘서트 이미지들 그리고 상하이 콘서트 이미지들이 존재한다고 가정하면, 그러면 부합 범위 내에 템플리트 이미지들은 화장품 광고 이미지들 및 베이징 콘서트 이미지들이다. 부합 범위를 한정하는 것은, 상기 프레임 이미지에 부합하며 그리고 부합의 정밀도를 개선하는 템플리트 이미지를 빠르게 얻는 것을 용이하게 한다.
상기 검색 모듈 (350)은 부합 범위 내에서 템플리트 이미지들을 검색하고, 상기 프레임 이미지가 검색된 템플리트 이미지에 부합하는가의 여부를 판별하며, 그리고 부합한다면, 상기 클라언트 (10)로 상기 템플리트 이미지를 돌려보내며, 또는 부합하지 않는다면, 상기 수집 모듈 (110)에게 통보한다.
이 예에서, 상기 검색 모듈 (3500은 상기 프레임 이미지에 부합하는 템플리트 이미지를 획득하기 위해서 상기 부합 범위 내의 템플리트 이미지들을 하나씩 검색하며 그리고 그 검색된 템플리트 이미지를 그 프레임 이미지를 업로드했던 사용자에게 반환하도록 구성된다.
도 9에서 보이는 것처럼, 일 예에서, 상기 탐지 모듈 (130)은 피처 탐지 유닛 (131) 그리고 외곽선 획득 유닛 (133)을 포함한다.
상기 피처 탐지 유닛 (131)은 상기 프레임 이미지 내 피처 포인트들이 상기 템플리트 이미지에 대응하는 트레이닝 데이터에 따라서 획득하도록 구성된다.
본 예에서, 상기 트레이닝 데이터는 상기 템플리트 이미지의 마커 영역을 기록하기 위해서 사용된 피처 포인트들이며 그리고 상기 템플리트 이미지의 상기 마커 영역은 일련의 피처 포인트들에 의해서 마킹될 수 있다. 상기 템플리트 이미지가 상기 프레임 이미지에 부합하기 때문에, 상기 피처 탐지 유닛 (131)은 상기 프레임 이미지 내에 마커 영역에 마킹하기 위해서 사용된 상기 피처 포인트들을 상기 트레이닝 데이터에 기록된 피처 포인트들을 이용함으로써 획득한다. 즉, 상기 트레이닝 데이터에서 기록된 피처 포인트들 그리고 상기 프레임 이미지 내의 피처 포인트들은 서로 부합하는 피처 포인트 쌍들이다.
상기 윤곽선 획득 유닛 (133)은 상기 프레임 이미지 내의 상기 마커 영역의 외곽선 위치를 상기 피처 포인트들을 경유하여 획득하도록 구성된다.
본 예에서, 상기 윤곽선 획득 유닛 (133)은 상기 프레임 내 마커 영역의 윤곽선 위치를 그 프레임 이미지 내 일련의 피처 포인트들에 의해서 획득하며, 그리고 또한 상기 프레임 이미지 내 상기 마커 영역의 윤곽선 그리고 그것의 좌표들을 그 윤곽선 위치를 이용함으로써 획득한다.
상기 탐지 모듈 (130)은 상기 클라이언트 (10) 내에서 세팅되는 것 대신에 상기 서버 (30)에서 또한 세팅될 수 있다.
도 10에서 보이는 것처럼, 다른 예에서, 상기 클라이언트 (10)는 데이터 획득 모듈 (170)을 또한 포함할 수 있다.
상기 데이터 획득 모듈 (170)은 상기 템플리트 이미지에 대응하는 트레이닝 데이터 및 미디어 데이터가 로컬 파일 내에 존재하는가의 여부를 판별하고, 그리고 존재하지 않는다면, 상기 트레이닝 데이터 및 미디어 데이터를 다운로드하고, 또는 존재한다면 그 트레이닝 데이터 및 미디어 데이터를 로딩하도록 구성된다.
본 예에서, 상기 로컬 파일은 상기 클라이언트에서 국부적으로 저장된 파일이다. 상기 데이터 획득 모듈 (170)은 상기 템플리트 이미지에 대응하는 상기 트레이닝 데이터 및 상기 미디어 데이터가 상기 클라이언트에 국부적으로 존재하는지의 여부를 판별하며, 그리고 존재하지 않는다면, 그러면 상기 데이터 획득 모듈 (170)은 상기 트레이닝 데이터 및 상기 미디어 데이터를 다운로드할 필요가 있으며, 그리고 상기 템플리트 이미지에 대응하는 트레이닝 데이터 및 미디어 데이터가 상기 클라이언트 내에 국부적으로 존재한다면, 그러면 상기 데이터 획득 모듈 (170)은 그 트레이닝 데이터 및 미디어 데이터를 직접 로딩한다.
상기 다운로드하는 것이 완료된 이후에 사용자는 상기 마커 영역을 탐지하고 그리고 미디어 데이터를 중첩시키며 상기 미디어 데이터를 재생시킬 수 있으며, 그리고 그 후의 프로세스를 상기 트레이닝 데이터 및 상기 미디어 데이터를 스트림들로 데이터 전송하는 동안의 전송을 따라서 또한 수행할 수 있다.
도 11에서 보이는 것처럼, 다른 예에서, 상기 서버 (30)는 피처 프로세싱 모듈 (370) 및 트레이닝 데이터 생성 모듈 (390)을 또한 포함한다.
상기 피처 프로세싱 모듈 (370)은 피처 포인트들을 획득하기 위해서 상기 저장된 템플리트 이미지를 탐지하며, 그리고 피처 포인트들의 개수가 임계값보다 더 작은가의 여부를 판별하도록 구성되며, 그리고 더 작지 않다면 상기 템플리트 이미지에 대응하는 샘플 이미지를 획득하고 그리고 상기 샘플 이미지의 피처 포인트들을 탐지하며, 그리고 더 작다면, 상기 프로세스는 종료한다.
본 예에서, 상기 피처 프로세싱 모듈 (370)은 상기 프레임 이미지 내의 피처 포인트들을 상기 템플리트 이미지 내의 피처 포인트들을 이용하여 획득한다. 상기 템플리트 이미지는 상기 서버가 의해서 수집하고 저장한 이미지이며, 사용자가 업로드하였고 저장하였다. 상기 템플리트 이미지로서 저장된 이미지에 대해서, 상기 그것에 대응하는 트레이닝 데이터 및 미디어 데이터는 상기 서버에 저장된 데이터에는 존재하지 않으며, 그때에는, 상기 템플리트 이미지는 상기 트레이닝 데이터를 획득하기 위해서 트레이닝되어야 할 필요가 있으며 그리고 상기 템플리트 이미지 및 상기 미디어 데이터 사이에서의 대응 관계를 설립할 필요가 있다. 상기 템플리트 이미지를 위한 트레이닝은 상기 서버에서 수행될 수 있으며 그리고 또한 상기 클라이언트에서 수행될 수 있다; 그러나, 바람직하게는, 경량의 클라이언트를 더 실현하기 위해서 상기 서버는 템플리트 이미지의 트레이닝을 실현하기 위해서 사용된다.
상기 템플리트 이미지의 트레이닝 동안에, 상기 피처 프로세싱 모듈 (370)은 상기 템플리트 이미지에서 상기 피처 포인트들을 얻기 위해서, 상기 템플리트 이미지로서 저장된 이미지를 피처 포인트 탐지 알고리즘에 따라서 탐지할 필요가 있다. 상기 피처 포인트 탐지 알고리즘은 FAST 피처 포인트 탐지 알고리즘 또는 유사한 SURF 피처 포인트 탐지 알고리즘일 수 있으며, 그리고 또한 다른 피처 포인트 탐지 알고리즘들일 수 있으며, 이것들은 여기에서는 열거되지 않을 것이다.
상기 피처 프로세싱 모듈 (370)은 템플리트 이미지의 정당함을 보증하기 위해서, 상기 피처 포인트들의 개수가 상기 프레임 이미지의 마커 영역을 탐지하기에 충분한가의 여부를 또한 판별할 필요가 있다. 바람직한 실시예에서, 선택된 임계값은 100이다.
상기 트레이닝 데이터 생성 모듈 (390)은 피처 포인트들을 기록하는 트레이닝 데이터를 생성하기 위해서 상기 템플리트 이미지 및 샘플 이미지 내 피처 포인트들을 처리하도록 구성된다.
본 예에서, 상기 피처 포인트들을 탐지하는 정밀도를 보장하기 위해서, 상기 트레이닝 데이터 생성 모듈 (390)은 상기 피처 포인트들을 탐지하기 위해서 상기 템플리트 이미지에 대응하는 여러 샘플 이미지들을 획득하며, 이는 상기 피처 포인트들의 강건함을 보장하기 위한 것이다. 상기 샘플 이미지들은 상기 템플리트 이미지에 대응하며 그리고 상이한 회전 각도들 및/또는 스케일링 (scaling) 크기들을 가진다. 예를 들면, 360°에 대해서，상기 트레이닝 데이터 생성 모듈 (390)은 매 10°마다 회전 각도를 세팅하며, 그리고 전체적으로 36개의 회전 각도들이 획득된다; 그리고 매 회마다 0.8의 스케일링 크기가 축소되어 7개의 스케일링 레벨들을 얻으며, 그리고 상이한 회전 각도들 및 스케일링 크기들의 전체 36×7=252개 샘플 이미지들이 획득될 수 있으며, 그리고 상기 피처 포인트 탐지는 모든 샘플 이미지에 대해서 수행된다.
다른 예에서, 상기 트레이닝 데이터 생성 모듈 (390)은 상기 피처 포인트들의 정밀도를 보장하기 위해서 상기 피처 포인트들을 또한 잘라낸다. 다중의 샘플 이미지들에서, 몇몇의 피처 포인트들의 빠르게 출현하는 빈도는 매우 낮으며, 그러면 상대적으로 적게 다시 출현하는 이 피처 포인트들은 실수에 의한 탐지로 인해서 상대적으로 높은 가능성을 가지면서 생성되며, 그리고 상기 프레임 이미지의 마커 영역의 이어지는 탐지에 대한 간섭을 초래할 수 있을 것이며, 그래서 상기 트레이닝 데이터 생성 모듈 (390)은 그 피처 포인트들은 잘라내고 그리고 배제해야 한다.
특히, 상기 트레이닝 데이터 생성 모듈 (390)은 상기 템플리트 이미지 및 상기 샘플 이미지에 대해서 랜덤 노이즈들을 추가하고 불명료화 (obfuscation)를 수행하며, 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대해서 피처 포인트 탐지를 다시 수행하며, 그리고 상기 대응 피처 포인트들을 획득하며; 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 존재하는가의 여부를 판별하고, 그리고 존재하지 않는다면 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내고, 또는 존재한다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 결합한다.
상기 트레이닝 데이터 생성 모듈 (390)이 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 또한 존재한다고 판별한다면, 그러면 그것은 상기 피처 포인트가 재생산 가능 (reproducible)하다는 것을 의미하며, 그리고 어떤 피처 포인트가 상기 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들에서 나타나지 않는다면, 그러면 그것은 덜 재생산 가능한 것으로 간주될 것이다.
또한, 재생산 가능한 피처 포인트에 관해서, 상기 트레이닝 데이터 생성 모듈 (390)은 상기 피처 포인트의 재생산 횟수들의 개수를 판별하도록 또한 구성되며, 그리고 상기 피처 포인트의 재생산 횟수들의 개수가 재생산 임계값보다 더 크다면, 그러면 상기 피처 포인트는 기록되며, 또는 더 크지 않다면, 상기 피처 포인트들의 정밀도가 더 효율적이라는 것을 보장하기 위해서 상기 피처 포인트는 배제될 것이다.
다른 예에서, 상기 피처 프로세싱 모듈 (370) 및 상기 트레이닝 데이터 생성 모듈 (390)은 클라이언트 (10)에서 또한 세팅될 수 있으며, 그리고 트레이닝 데이터가 생성된 이후에, 그것은 상기 서버 (30)로 업로드된다.
다른 예에서, 상기 클라이언트 (10)는 상기 템플리트 이미지 그리고 상기 대응 미디어 데이터를 선택하도록 또한 구성된다.
본 예에서, 미리 저장된 상기 템플리트 이미지들 및 상기 미디어 데이터에 관해서, 상기 사용자는 자신에 의해서 증강 현실에서 개인화된 인터액션을 실현하기 위해서 상기 템플리트 이미지들 그리고 대응하는 미디어 데이터를 선택할 수 있다. 특히, 템플리트 이미지는 사용자가 찍은 사진일 수 있으며, 또는 다른 방식들로 얻은 이미지일 수 있다; 상기 미디어 데이터는 사용자가 찍은 비디오 스트림일 수 있으며 또는 3D 비디오 모델일 수 있으며, 또는 인터넷으로부터 얻은 비디오 스트림 또는 3D 비디오 모델을 사용자가 편집하여 얻을 수 있으며, 예를 들면, 상기 사용자는 다운로드된 비디오 스트림에서 배경 음악을 변경할 수 있으며, 그리고 그것을 자신의 음성으로 변경할 수 있다
도 12에서 보이는 것처럼 상기 증강 현실에서 인터액션을 실현하기 위한 상기의 시스템은 또한 사용자 데이터베이스 (50) 및 공유 데이터베이스 (70)를 포함한다.
상기 서버 (30)는 상기 선택된 템플리트 이미지 및 상기 대응 미디어 데이터를 로그온 사용자의 업로드 동작에 따라서 공유하는가의 여부를 판별하기 위해서 또한 사용되며, 그것들이 공유된다면, 그러면 상기 선택된 템플리트 및 상기 대응 미디어 데이터를 업로드하고 그리고 그것들을 상기 공유 데이터베이스 (70)에 저장하며, 또는 공유되지 않는다면, 그것들을 업로드하고 상기 로그온 사용자에 대응하는 상기 사용자 데이터베이스 (50)에 저장한다.
본 예에서, 상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 업로드되기 이전에, 로그온 상태로 진입하기 위해서 상기 사용자 정보를 확인하는 것이 더 필요하며, 그 시점에서, 상기 서버 (30)는 상기 로그온 사용자의 업로드 동작을 획득하며, 그 업로드 동작은 상기 사용자에 의해서 트리거된 업로드 지시 그리고/또는 공유 지시를 포함하며, 그리고 그 사용자는 자신의 필요성들에 따라서 공유할 것인가의 여부를 선택할 수 있다.
상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 공유될 것이라면, 그러면 그것들은 상기 공유 데이터베이스 (70)로 업로드되어 저장되며, 그래서 다른 사용자들이 상기 로그온 사용자에 의해서 업로드된 상기 템플리트 이미지 및 상기 미디어 데이터를 또한 이용할 수 있도록 한다.
상기 선택된 템플리트 이미지 그리고 상기 대응 미디어 데이터가 공유될 것이 아니라면, 그러면 상기 업로드된 템플리트 이미지 및 상기 대응 미디어 데이터는 상기 로그온 사용자에 대응하는 사용자 데이터베이스 (50)에 저장된다.
다른 예에서, 상기 사용자 데이터베이스 (50)의 우선순위는 상기 공유 데이터베이스 (70)의 우선순위로 세팅된다.
본 예에서, 상기 로그온 사용자에 대응하는 상기 사용자 데이터베이스 (50)의 우선순위 그리고 상기 공유 데이터베이스 (70)의 우선순위는 그 내부에 저장된 템플리트 이미지들의 우선순위를 결정한다. 다른 말로 하면, 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하는 프로세스 동안에, 상기 서버 (30)가 상기 프레임 이미지에 부합하는 두 개의 템플리트 이미지들을 인식하고 그리고 상기 두 템플리트 이미지들이 상기 로그온 사용자에 대응하는 상기 사용자 데이터베이스 (50) 그리고 상기 공유 데이터베이스 (70)에 저장된다면, 그러면 그 당시에, 상기 로그온 사용자에 대응하는 상기 데이터베이스 (50)의 우선순위가 상기 공유 데이터베이스의 우선순위보다 더 높기 때문에, 그러면 상기 로그온 사용자에 대응하는 상기 사용자 데이터베이스 (50)에 저장된 템플리트 이미지가 우선적으로 채택될 것이며 그리고 상기 로그온 사용자에게 반환될 것이다.
증강 현실에서의 인터액션을 실현하기 위한 상기의 방법 및 시스템은 상기 프레임 이미지가 수집된 이후에 상기 프레임 이미지를 업로드하고, 그 업로드된 프레임 이미지에 따라 인식을 수행하며 그리고 그것에 부합하는 템플리트 이미지를 반환하며, 그 반환된 템플리트 이미지에 따라서 프레임 이미지의 마커 영역을 탐지하고, 상기 마커 영역 상에 상기 미디어 데이터를 더 중첩시키고, 그 중첩된 이미지를 디스플레이하며, 그리고 그 프레임 이미지를 원격 서버로 업로드하여, 그 템플리트 이미지에 대한 인식 및 부합을 수행하며, 그래서 상대적으로 복잡한 인식 프로세스가 국부적으로 완료될 필요가 없도록 하며, 증강 현실에서의 인터액션에서의 인식 가능성을 또한 크게 개선시키며, 그리고 모든 종류의 마커들에 대해서, 그것들에 부합하는 템플리트 이미지들을 모두 인식할 수 있도록 하며, 이는 유연성을 크게 개선시킨다.
본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자들은, 상기 방법 예들에서의 흐름들의 모두 또는 일부는 대응하는 하드웨어에게 지시하는 컴퓨터 프로그램들에 의해서 실현될 수 있으며 그리고 상기 프로그램들은 컴퓨터 판독가능 저장 매체 내에 저장될 수 있으며, 그리고 그 프로그램이 실행될 때에, 상기 방법 에들 내의 상기 흐름들이 포함될 수 있다는 것을 이해할 수 있다. 상기 저장 매체는 자기 디스크, 디스크, 읽기-전용 (Read-Only) 메모리 또는 랜덤 액세스 메모리 등일 수 있다.
설명의 목적을 위한 앞에서의 설명은 특정 예들을 참조하여 기술되었다. 그러나, 상기에서의 예시적인 설명들은 전부 망라하려고 의도된 것이 아니며 또는 본 발명 개시를 그 개시된 세세한 모습들로 제한하려고 의도된 것이 아니다. 상기의 교시들을 고려한 많은 수정들 및 변형들이 가능하다. 상기 예들은 본 발명 개시의 원칙들 및 그것의 실제적인 응용들을 최선으로 설명하고, 그럼으로써 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 다른 자들이 본 발명 개시 그리고 예상되는 특별한 사용에 적합한 다양한 수정들을 구비한 다양한 예들을 최선으로 활용하는 것을 가능하게 하기 위해서 선택되고 기술되었다.
Claims (21)
- 증강 현실에서의 인터액션 (interaction)을 실현하기 위한 방법으로서:
프레임 이미지를 수집하고 그 프레임 이미지를 서버에 업로드하는 단계;
상기 프레임 이미지에 부합 (match)하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 클라이언트로 반환하는 단계;
상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 단계; 그리고
상기 템플리트 이미지에 대응하는 미디어 데이터를 상기 마커 영역 상에 중첩하고 그리고 그 중첩된 이미지를 디스플레이하는 단계를 포함하며,
상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 상기 단계는:
상기 프레임 이미지 내 피처 (feature) 포인트들을 상기 템플리트 이미지에 대응하는 트레이닝 데이터에 따라서 획득하는 단계; 그리고
상기 프레임 이미지 내 상기 마커 영역의 외곽선 위치를 상기 피처 포인트들에 따라서 획득하는 단계를 포함하며;
상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 상기 단계 이전에, 상기 방법은:
상기 피처 포인트들을 획득하기 위해서 상기 템플리트 이미지를 탐지하고 그리고 그 피처 포인트들의 개수가 임계값보다 더 작은가의 여부를 판별하며, 그리고 더 작지 않다면 상기 템플리트 이미지에 대응하는 샘플 이미지를 획득하고, 그리고 그 샘플 이미지 내 피처 포인트들을 탐지하는 단계; 그리고
상기 피처 포인트들을 기록하는 트레이닝 데이터를 생성하기 위해서 상기 템플리트 이미지 내의 그리고 상기 샘플 이미지 내의 피처 포인트들을 처리하는 단계;를 더 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제1항에 있어서,
상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 클라이언트로 반환하는 단계는:
상기 프레임 이미지의 특성 정보를 획득하는 단계;
템플리트 이미지들 내에서 상기 특성 정보에 따라서 부합 범위를 한정하는 단계; 그리고
상기 부합 범위에서 템플리트 이미지를 검색하고 상기 프레임 이미지가 그 검색된 템플리트 이미지와 부합하는지의 여부를 판별하여, 부합한다면 그 검색된 템플리트 이미지를 상기 클라이언트로 반환하는 단계를 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제1항에 있어서,
상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하는 상기 단계 이전에, 상기 방법은:
상기 템플리트 이미지에 대응하는 트레이닝 데이터 및 미디어 데이터가 로컬 파일 내에 존재하는가의 여부를 판별하고, 그리고 존재하지 않는다면, 상기 트레이닝 데이터 및 미디어 데이터를 다운로드하고, 그리고 존재한다면, 상기 트레이닝 데이터 및 미디어 데이터를 로딩하는 단계를 더 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제1항에 있어서,
상기 피처 포인트들을 기록하는 트레이닝 데이터를 생성하기 위해서 상기 템플리트 이미지 내의 그리고 상기 샘플 이미지들 내의 피처 포인트들 처리하는 상기 단계는:
상기 피처 포인트들을 기록하는 상기 트레이닝 데이터를 형성하기 위해서 상기 템플리트 이미지 내 그리고 상기 샘플 이미지 내 피처 포인트들을 결합하거나 또는 잘라내는 단계를 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제4항에 있어서,
상기 피처 포인트들을 기록하는 상기 트레이닝 데이터를 형성하기 위해서 상기 템플리트 이미지 내 그리고 상기 샘플 이미지 내 피처 포인트들을 결합하거나 또는 잘라내는 상기 단계 이전에, 상기 방법은:
상기 템플리트 이미지 및 상기 샘플 이미지에 대해서 랜덤 노이즈들을 추가하고 불명료화 (obfuscation)를 수행하며, 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대해서 피처 포인트 탐지를 다시 수행하여, 대응하는 피처 포인트들을 획득하는 단계;
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 존재하는가의 여부를 판별하고, 그리고 존재한다면,
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내고, 또는 존재하지 않는다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 결합하는 단계를 더 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제5항에 있어서,
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내는 단계 이전에, 상기 방법은:
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들의 재생산 횟수들의 개수가 재생산 임계값보다 더 큰가의 여부를 판별하고, 더 크지 않다면 상기 피처 포인트를 배제하고 그리고 더 크다면,
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내는 상기 단계로 진입하는 단계를 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제1항에 있어서,
상기 피처 포인트들을 획득하기 위해서 상기 템플리트 이미지를 탐지하기 이전에 상기 방법은:
템플리트 이미지 및 대응하는 미디어 데이터를 선택하는 단계; 그리고
상기 선택된 템플리트 이미지 및 대응하는 미디어 데이터가 로그온 사용자의 업로드 동작에 따라서 공유되는가의 여부를 판별하고, 그리고 공유된다면, 상기 선택된 템플리트 이미지 및 상기 대응하는 미디어 데이터를 공개 저장 공간에 업로드하여 저장하고, 그리고 공유되지 않는다면, 상기 선택된 템플리트 이미지 및 상기 대응하는 미디어 데이터를 상기 로그온 사용자에 대응하는 저장 공간에 업로드하여 저장하는 단계를 더 포함하는, 증강 현실에서의 인터액션 실현 방법. - 제7항에 있어서,
상기 로그온 사용자에 대응하는 상기 저장 공간의 우선순위는 상기 공개 저장 공간의 우선순위보다 더 높으며, 그래서 상기 로그온 사용자에 대응하는 상기 저장 공간 내 저장된 템플리트 이미지가 우선적으로 채택되도록 하는, 증강 현실에서의 인터액션 실현 방법. - 제1항에 있어서,
상기 중첩된 이미지를 디스플레이하는 상기 단계는:
상기 미디어 데이터를 플레이함으로써 가상 환경을 구축하고 그리고 제거되는 마커 영역을 구비한 프레임 이미지를 이용함으로써 실제 환경을 구축하는, 증강 현실에서의 인터액션 실현 방법. - 증강 현실에서의 인터액션을 실현하기 위한 시스템으로서:
클라이언트 및 서버를 포함하며;
상기 클라이언트는 수집 모듈, 탐지 모듈 및 디스플레이 프로세싱 모듈을 포함하며;
상기 수집 모듈은 프레임 이미지를 수집하고 그 프레임 이미지를 상기 서버로 업로드하도록 구성되며;
상기 서버는 상기 프레임 이미지에 부합하는 템플리트 이미지를 인식하고 그 템플리트 이미지를 상기 클라이언트로 반환하도록 구성되며;
상기 탐지 모듈은 상기 템플리트 이미지에 따라서 상기 프레임 이미지의 마커 영역을 탐지하도록 구성되며; 그리고
상기 디스플레이 프로세싱 모듈은 상기 템플리트 이미지에 대응하는 미디어 데이터를 상기 마커 영역 상에 중첩하고 그리고 그 중첩된 이미지를 디스플레이하도록 구성되며;
상기 탐지 모듈은:
상기 프레임 이미지 내 피처 (feature) 포인트들을 상기 템플리트 이미지에 대응하는 트레이닝 데이터에 따라서 획득하기 위한 피처 탐지 유닛; 그리고
상기 프레임 이미지 내 상기 마커 영역의 외곽선 위치를 상기 피처 포인트들에 따라서 획득하기 위한 외곽선 획득 유닛;을 포함하며,
상기 서버는:
상기 피처 포인트들을 획득하기 위해서 상기 템플리트 이미지를 탐지하고 그리고 피처 포인트들의 개수가 임계값보다 더 작은가의 여부를 판별하며, 그리고 더 작지 않다면 상기 템플리트 이미지에 대응하는 샘플 이미지를 획득하고, 그리고 그 샘플 이미지 내 피처 포인트들을 탐지하는 피처 프로세싱 모듈; 그리고
상기 피처 포인트들을 기록하는 트레이닝 데이터를 생성하기 위해서 상기 템플리트 이미지 내의 그리고 상기 샘플 이미지 내의 피처 포인트들을 처리하기 위한 트레이닝 데이터 생성 모듈을 포함하는, 증강 현실에서의 인터액션 실현 시스템. - 제10항에 있어서, 상기 서버는:
상기 프레임 이미지의 특성 정보를 획득하기 위한 특성 획득 모듈;
상기 특성 정보에 따라서, 템플리트 이미지들 내에서 부합 범위를 한정하기 위한 범위 한정 모듈; 그리고
상기 부합 범위에서 상기 템플리트 이미지를 검색하고 그리고 상기 프레임 이미지가 상기 검색된 템플리트 이미지와 부합하는지의 여부를 판별하며, 그리고 부합한다면 상기 템플리트 이미지를 상기 클라이언트로 반환하기 위한 검색 모듈을 포함하는, 증강 현실에서의 인터액션 실현 시스템. - 제10항에 있어서, 상기 클라이언트는:
상기 템플리트 이미지에 대응하는 상기 트레이닝 데이터 및 미디어 데이터가 로컬 파일 내에 존재하는가의 여부를 판별하고, 그리고 존재하지 않는다면, 상기 트레이닝 데이터 및 미디어 데이터를 다운로드하고, 그리고 존재한다면, 상기 트레이닝 데이터 및 미디어 데이터를 로딩하는,
데이터 획득 모듈을 더 포함하는, 증강 현실에서의 인터액션 실현 시스템. - 제10항에 있어서,
상기 트레이닝 데이터 생성 모듈은 상기 피처 포인트들을 기록하는 상기 트레이닝 데이터를 형성하기 위해서 상기 템플리트 이미지 내 그리고 상기 샘플 이미지 내 피처 포인트들을 결합하거나 또는 잘라내도록 더 구성된, 증강 현실에서의 인터액션 실현 시스템. - 제13항에 있어서,
상기 트레이닝 데이터 생성 모듈은,
상기 템플리트 이미지 및 상기 샘플 이미지에 대해서 랜덤 노이즈들을 추가하고 불명료화 (obfuscation)를 수행하며, 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대해서 피처 포인트 탐지를 다시 수행하여, 대응하는 피처 포인트들을 획득하며, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들이 상기 랜덤 노이즈들 및 상기 불명료화가 추가된 상기 이미지들에 대응하는 피처 포인트들 내에 존재하는가의 여부를 판별하고, 그리고 존재한다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내고, 그리고 존재하지 않는다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 결합하도록 더 구성된, 증강 현실에서의 인터액션 실현 시스템. - 제14항에 있어서,
상기 트레이닝 데이터 생성 모듈은,
상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들의 재생산 횟수들의 개수가 재생산 임계값보다 더 큰가의 여부를 판별하고, 그리고 더 크지 않다면 상기 피처 포인트를 배제하고 그리고 더 크다면, 상기 템플리트 이미지 및 상기 샘플 이미지의 피처 포인트들을 잘라내도록 더 구성된, 증강 현실에서의 인터액션 실현 시스템. - 제10항에 있어서,
상기 클라이언트는 상기 템플리트 이미지 및 대응하는 미디어 데이터를 선택하도록 또한 구성되며,
상기 서버는,
상기 선택된 템플리트 이미지 및 상기 대응하는 미디어 데이터가 로그온 사용자의 업로드 동작에 따라서 공유되는가의 여부를 판별하고, 그리고 공유된다면, 상기 선택된 템플리트 이미지 및 상기 대응하는 미디어 데이터를 공개 저장 공간에 업로드하여 저장하고, 그리고 공유되지 않는다면, 상기 선택된 템플리트 이미지 및 상기 대응하는 미디어 데이터를 상기 로그온 사용자에 대응하는 저장 공간에 업로드하여 저장하도록 또한 구성된, 증강 현실에서의 인터액션 실현 시스템. - 제16항에 있어서,
상기 로그온 사용자에 대응하는 상기 저장 공간의 우선순위는 상기 공개 저장 공간의 우선순위보다 더 높으며, 그래서 상기 로그온 사용자에 대응하는 상기 저장 공간 내 저장된 템플리트 이미지가 우선적으로 채택되도록 하는, 증강 현실에서의 인터액션 실현 시스템. - 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210160524.8 | 2012-05-22 | ||
| CN201210160524.8A CN103426003B (zh) | 2012-05-22 | 2012-05-22 | 增强现实交互的实现方法和系统 |
| PCT/CN2013/075784 WO2013174231A1 (zh) | 2012-05-22 | 2013-05-17 | 增强现实交互的实现方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150011008A KR20150011008A (ko) | 2015-01-29 |
| KR101535579B1 true KR101535579B1 (ko) | 2015-07-09 |
Family
ID=49623107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147035808A Active KR101535579B1 (ko) | 2012-05-22 | 2013-05-17 | 증강 현실 인터액션 구현 방법 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9189699B2 (ko) |
| JP (1) | JP5827445B2 (ko) |
| KR (1) | KR101535579B1 (ko) |
| CN (1) | CN103426003B (ko) |
| WO (1) | WO2013174231A1 (ko) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8493408B2 (en) | 2008-11-19 | 2013-07-23 | Apple Inc. | Techniques for manipulating panoramas |
| US10303945B2 (en) | 2012-12-27 | 2019-05-28 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
| US8965066B1 (en) * | 2013-09-16 | 2015-02-24 | Eye Verify LLC | Biometric template security and key generation |
| WO2015075937A1 (ja) | 2013-11-22 | 2015-05-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理プログラム、受信プログラムおよび情報処理装置 |
| CN105023266B (zh) * | 2014-04-29 | 2018-03-30 | 高德软件有限公司 | 增强现实实现方法、装置和终端设备 |
| HK1201682A2 (en) * | 2014-07-11 | 2015-09-04 | Idvision Limited | Augmented reality system |
| JP6750500B2 (ja) | 2014-08-27 | 2020-09-02 | 日本電気株式会社 | 情報処理装置および認識支援方法 |
| CN107111894B (zh) * | 2014-09-08 | 2022-04-29 | 西姆克斯有限责任公司 | 用于专业和教育训练的增强或虚拟现实模拟器 |
| CN105574006A (zh) * | 2014-10-10 | 2016-05-11 | 阿里巴巴集团控股有限公司 | 建立拍照模板数据库、提供拍照推荐信息的方法及装置 |
| EP3220558B1 (en) * | 2014-11-14 | 2019-03-06 | Panasonic Intellectual Property Corporation of America | Reproduction method, reproduction device and program |
| US9811734B2 (en) * | 2015-05-11 | 2017-11-07 | Google Inc. | Crowd-sourced creation and updating of area description file for mobile device localization |
| US9977493B2 (en) * | 2015-06-17 | 2018-05-22 | Microsoft Technology Licensing, Llc | Hybrid display system |
| KR20180081674A (ko) | 2015-11-12 | 2018-07-17 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 표시 방법, 프로그램 및 표시 장치 |
| EP3393132B1 (en) * | 2015-12-17 | 2022-11-02 | Panasonic Intellectual Property Corporation of America | Display method and display device |
| CN105912555B (zh) * | 2016-02-04 | 2019-03-05 | 北京通感科技有限公司 | 一种数据信息与实景空间的交互再现方法 |
| GB2551473A (en) * | 2016-04-29 | 2017-12-27 | String Labs Ltd | Augmented media |
| CN106127858B (zh) * | 2016-06-24 | 2020-06-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN106302444A (zh) * | 2016-08-16 | 2017-01-04 | 深圳市巴古科技有限公司 | 智能云识别方法 |
| CN110114988B (zh) | 2016-11-10 | 2021-09-07 | 松下电器（美国）知识产权公司 | 发送方法、发送装置及记录介质 |
| CN106777083A (zh) * | 2016-12-13 | 2017-05-31 | 四川研宝科技有限公司 | 一种标记图片中物体的方法及装置 |
| US10375130B2 (en) | 2016-12-19 | 2019-08-06 | Ricoh Company, Ltd. | Approach for accessing third-party content collaboration services on interactive whiteboard appliances by an application using a wrapper application program interface |
| US10250592B2 (en) | 2016-12-19 | 2019-04-02 | Ricoh Company, Ltd. | Approach for accessing third-party content collaboration services on interactive whiteboard appliances using cross-license authentication |
| CN106685941A (zh) * | 2016-12-19 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种优化ar注册的方法、装置及服务器 |
| CN106683196A (zh) * | 2016-12-30 | 2017-05-17 | 上海悦会信息科技有限公司 | 一种增强现实的展示方法、系统以及智能终端 |
| CN106859956B (zh) * | 2017-01-13 | 2019-11-26 | 北京安云世纪科技有限公司 | 一种人体穴位识别按摩方法、装置及ar设备 |
| US10395405B2 (en) * | 2017-02-28 | 2019-08-27 | Ricoh Company, Ltd. | Removing identifying information from image data on computing devices using markers |
| CN107168619B (zh) * | 2017-03-29 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 用户生成内容处理方法和装置 |
| CN107194817B (zh) * | 2017-03-29 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 用户社交信息的展示方法、装置和计算机设备 |
| WO2018177134A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技（深圳）有限公司 | 用户生成内容处理方法、存储介质和终端 |
| CN107146275B (zh) * | 2017-03-31 | 2020-10-27 | 北京奇艺世纪科技有限公司 | 一种设置虚拟形象的方法及装置 |
| US10824866B2 (en) * | 2017-06-13 | 2020-11-03 | The Marketing Store Worldwife, LP | System, method, and apparatus for augmented reality implementation |
| CN107358658B (zh) * | 2017-07-20 | 2021-08-20 | 深圳市大象文化科技产业有限公司 | 一种乳房整形ar预测方法、装置和系统 |
| CN109429002A (zh) * | 2017-08-28 | 2019-03-05 | 中国科学院深圳先进技术研究院 | 一种拍摄人像的方法及装置 |
| CN107845122B (zh) * | 2017-09-08 | 2022-06-10 | 百度在线网络技术（北京）有限公司 | 一种确定建筑物的面状信息的方法与装置 |
| PT3456905T (pt) | 2017-09-19 | 2023-08-02 | Univ Evora | Sistema de abrigo transportável com capacidade de capturar, coletar e converter névoa e humidade ambientais em água potável |
| WO2019148442A1 (zh) * | 2018-02-02 | 2019-08-08 | 深圳前海达闼云端智能科技有限公司 | 模板优化方法、装置、电子设备和计算机程序产品 |
| CN108388637A (zh) * | 2018-02-26 | 2018-08-10 | 腾讯科技（深圳）有限公司 | 一种用于提供增强现实服务的方法、装置以及相关设备 |
| CN109490843B (zh) * | 2018-11-15 | 2020-08-04 | 成都傅立叶电子科技有限公司 | 一种归一化雷达屏幕监测方法及系统 |
| KR102111499B1 (ko) * | 2019-09-19 | 2020-05-18 | (주)자이언트스텝 | 얼굴 애니메이션을 위한 얼굴 형태 변화 전사 방법 및 컴퓨터 판독 가능한 저장매체 |
| WO2021173147A1 (en) * | 2020-02-28 | 2021-09-02 | Google Llc | System and method for playback of augmented reality content triggered by image recognition |
| CN115667810A (zh) | 2020-05-26 | 2023-01-31 | 三菱电机株式会社 | 空调操作终端、空调操作程序以及空调系统 |
| CN112153422B (zh) * | 2020-09-25 | 2023-03-31 | 连尚(北京)网络科技有限公司 | 视频融合方法和设备 |
| CN114548304A (zh) * | 2022-03-01 | 2022-05-27 | 深慧视(深圳)科技有限公司 | 一种基于机器视觉和增强现实技术的套楦自动检测装置 |
| WO2024108026A1 (en) * | 2022-11-16 | 2024-05-23 | Aveva Software, Llc | Computerized systems and methods for an industrial metaverse |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110311100A1 (en) * | 2010-06-22 | 2011-12-22 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing Object Tracking Using Template Switching and Feature Adaptation |
| KR20140082610A (ko) * | 2014-05-20 | 2014-07-02 | (주)비투지 | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| KR100912264B1 (ko) * | 2008-02-12 | 2009-08-17 | 광주과학기술원 | 사용자 반응형 증강 영상 생성 방법 및 시스템 |
| CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其系统 |
| JP5686673B2 (ja) * | 2010-07-22 | 2015-03-18 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN102129708A (zh) | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN102156808A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟饰品试戴系统及方法 |
| CN102332095B (zh) * | 2011-10-28 | 2013-05-08 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| US8681179B2 (en) * | 2011-12-20 | 2014-03-25 | Xerox Corporation | Method and system for coordinating collisions between augmented reality and real reality |
-
2012
- 2012-05-22 CN CN201210160524.8A patent/CN103426003B/zh active Active
-
2013
- 2013-05-17 WO PCT/CN2013/075784 patent/WO2013174231A1/zh active Application Filing
- 2013-05-17 KR KR1020147035808A patent/KR101535579B1/ko active Active
- 2013-05-17 US US14/403,115 patent/US9189699B2/en active Active
- 2013-05-17 JP JP2015513001A patent/JP5827445B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110311100A1 (en) * | 2010-06-22 | 2011-12-22 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing Object Tracking Using Template Switching and Feature Adaptation |
| WO2011161579A1 (en) * | 2010-06-22 | 2011-12-29 | Nokia Corporation | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation |
| EP2591460A1 (en) * | 2010-06-22 | 2013-05-15 | Nokia Corp. | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation |
| KR20140082610A (ko) * | 2014-05-20 | 2014-07-02 | (주)비투지 | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103426003A (zh) | 2013-12-04 |
| CN103426003B (zh) | 2016-09-28 |
| JP5827445B2 (ja) | 2015-12-02 |
| KR20150011008A (ko) | 2015-01-29 |
| US20150139552A1 (en) | 2015-05-21 |
| JP2015524103A (ja) | 2015-08-20 |
| US9189699B2 (en) | 2015-11-17 |
| WO2013174231A1 (zh) | 2013-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101535579B1 (ko) | 증강 현실 인터액션 구현 방법 및 시스템 | |
| CN112565825B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| US11741681B2 (en) | Interaction analysis systems and methods | |
| KR102027670B1 (ko) | 관람자 관계형 동영상 제작 장치 및 제작 방법 | |
| US20170065888A1 (en) | Identifying And Extracting Video Game Highlights | |
| EP3678035A1 (en) | Computerized method and device for annotating at least one feature of an image of a view | |
| WO2017190639A1 (zh) | 媒体信息的展示方法、客户端及服务器 | |
| US10593114B2 (en) | Information processing system | |
| US20150185599A1 (en) | Audio based on captured image data of visual content | |
| US20100250588A1 (en) | Image searching system and image searching method | |
| CN114372172A (zh) | 生成视频封面图像的方法、装置、计算机设备及存储介质 | |
| CN105141974B (zh) | 一种视频剪辑方法和装置 | |
| CN113570730B (zh) | 视频数据采集方法、视频创作方法及相关产品 | |
| CN111625101B (zh) | 一种展示控制方法及装置 | |
| JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
| CN109523941B (zh) | 基于云识别技术的室内伴随导游方法及装置 | |
| Ejaz et al. | Video summarization by employing visual saliency in a sufficient content change method | |
| CN107015662A (zh) | 一种利用虚拟现实技术实现产品展示的方法 | |
| Fernandes et al. | Identifying and extracting football features from real-world media sources using only synthetic training data | |
| KR102745087B1 (ko) | 영상 소스에 기반한 가상 인물 객체 및 가상 공연 서비스 제공 방법, 그리고 이를 가상 자산으로 이용하는 시스템 | |
| KR20140037440A (ko) | 영상의 피쳐 정보를 이용한 음악 재생 방법 및 장치 | |
| WO2018035830A1 (zh) | 一种广告视频文件分级查找方法 | |
| CN115357810A (zh) | 足迹记录方法、足迹显示方法、终端设备以及存储介质 | |
| CN114501097A (zh) | 在视频中插入数字内容 | |
| HK40041108A (en) | A video data processing method, device, equipment, and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20141219 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20150113 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150209 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150414 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150703 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150706 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20180618 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180618 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190618 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190618 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210621 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230601 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240610 Start annual number: 10 End annual number: 10 |