KR102172611B1 - 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템 - Google Patents

정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템 Download PDF

Info

Publication number
KR102172611B1
KR102172611B1 KR1020190152936A KR20190152936A KR102172611B1 KR 102172611 B1 KR102172611 B1 KR 102172611B1 KR 1020190152936 A KR1020190152936 A KR 1020190152936A KR 20190152936 A KR20190152936 A KR 20190152936A KR 102172611 B1 KR102172611 B1 KR 102172611B1
Authority
KR
South Korea
Prior art keywords
recognition
image
user
recognition target
content
Prior art date
Application number
KR1020190152936A
Other languages
English (en)
Inventor
한정혁
Original Assignee
한정혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한정혁 filed Critical 한정혁
Priority to KR1020190152936A priority Critical patent/KR102172611B1/ko
Application granted granted Critical
Publication of KR102172611B1 publication Critical patent/KR102172611B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템에 관한 것으로서, 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 단계, 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 단계 및 상기 인식 영상에서 상기 인식 대상을 인식하는 단계를 포함하되, 상기 인식 대상을 설정하는 단계는 상기 사용자의 선택 입력에 따라 인식 대상 리스트에 상기 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.

Description

정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템{AUGMENTED REALITY SERVICE PROVIDING METHOD USING STILL IMAGE OR VIDEO RECOGNITION AND THE SYSTEM THEREOF}
본 발명은 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 인식하는 기술에 관한 것이다.
최근 스마트폰과 같은 모바일 컴퓨팅 장치가 발전하면서, 스마트폰에 구비된 카메라를 이용하여 쉽게 인식할 수 있는 QR 코드 등의 2차원 코드의 활용도가 증가하고 있다. 다만, 현재까지 QR 코드의 활용은 QR 코드를 정지된 이미지나 인쇄물의 형태로 제공하여 사용자가 이를 스캔하면 소정의 웹 페이지로 연결하는 정도에 그치고 있는 실정이다.
이에, 스마트폰의 카메라를 이용하여 정지된 QR 코드뿐만 아니라, 동영상 속 마크 또는 패턴을 인식하고, 이에 대응하는 다양한 영상 콘텐츠 및 3D 콘텐츠의 증강현실(Augmented Reality; AR) 콘텐츠를 제공하는 기술이 요구된다.
한국등록특허 제10-1745895호(2017.06.12. 공고)
본 발명의 목적은 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 보다 정확히 인식하고자 한다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 단계, 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 단계 및 상기 인식 영상에서 상기 인식 대상을 인식하는 단계를 포함하되, 상기 인식 대상을 설정하는 단계는 상기 사용자의 선택 입력에 따라 인식 대상 리스트에 상기 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.
상기 인식 영상을 선택하는 단계는 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 디스플레이하는 단계를 포함하며, 상기 디스플레이된 영상 종류에서 사용자의 선택 입력에 따라 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 상기 인식 영상을 선택할 수 있다.
상기 인식 대상을 설정하는 단계는 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 상기 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 상기 인식 대상을 책정하며, 상기 단일 프레임은 상기 인식 영상 내 특정 위치에 고정된 마크를 나타내고, 상기 복수의 프레임들은 상기 인식 영상 내 이동하며 위치하는 마크 또는 패턴을 나타낼 수 있다.
상기 인식 대상을 설정하는 단계는 상기 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 상기 인식 대상으로 책정하는 기본 설정에서, 상기 사용자의 선택 입력에 따라 실물의 대상체로 구성된 상기 인식 대상을 상기 인식 대상 리스트에 추가 또는 제거할 수 있다.
상기 인식 대상을 설정하는 단계는 상기 사용자의 선택 입력에 기반하여, 상기 인식 대상 리스트에 추가된 실물의 대상체로 구성된 상기 인식 대상을 상기 기본 설정으로 책정하여 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 상기 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 상기 인식 대상을 인식하는 경우, 동일한 증강현실(Augmented Reality; AR) 콘텐츠가 제공되도록 할 수 있다.
상기 인식 대상을 인식하는 단계는 상기 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 상기 인식 대상을 인식할 수 있다.
또한, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 인식 대상 리스트에서 상기 인식 대상의 인식 여부를 제어하는 단계를 더 포함하며, 상기 제어하는 단계는 사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 상기 인식 대상 리스트에 포함된 상기 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어할 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템은 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 영상 선택부, 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 대상 설정부, 상기 인식 영상에서 상기 인식 대상을 인식하는 인식부 및 인식 대상 리스트에서 상기 인식 대상의 인식 여부를 제어하는 제어부를 포함하되, 상기 대상 설정부는 상기 사용자의 선택 입력에 따라 인식 대상 리스트에 상기 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 보다 정확히 인식할 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 선택에 따라 인식 영상 내 인식 대상을 특정하여 인식 대상에 적절한 증강현실(AR) 콘텐츠를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 인식 대상의 예를 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 인식 영상에서 인식 대상을 인식하여 증강현실 콘텐츠를 체험하는 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템의 세부 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법의 동작 흐름도를 도시한 것이며, 도 2는 본 발명의 실시예에 따른 인식 대상의 예를 도시한 것이다.
도 1의 방법은 도 4에 도시된 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 시스템에 의해 수행된다.
도 1을 참조하면, 단계 110에서, 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택한다.
단계 110은 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 디스플레이하는 단계를 포함하며, 디스플레이된 영상 종류에서 사용자의 선택 입력에 따라 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상을 선택할 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템은 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)일 수 있으며, 모바일 디바이스는 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 노트북, 데스크탑 PC, 디지털방송용 단말, PDA(Personal Digital Assistants) 및 PMP(Portable Multimedia Player) 중 적어도 어느 하나의 단말 장치일 수 있다. 이때, 모바일 디바이스는 영상을 촬영 및 인식하는 카메라를 포함하며, 터치 - 감지 영역을 포함하는 스크린을 통해 소정의 기능 집합의 동작을 수행할 수 있는 터치 스크린 형태의 디스플레이를 포함하는 것일 수 있고, 하나 이상의 물리적 버튼 또는 가상의 버튼을 포함하는 기기일 수 있으므로 종류 및 형태는 이에 한정되지 않는다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법의 단계 110 전에, 상기 디스플레이하는 단계는 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 사용자에게 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 예컨대, 상기 디스플레이하는 단계는 모바일 디바이스의 디스플레이를 통해 사용자에게 정지 영상, 고보라이트 영상 및 동영상 중 인식하고자 하는 인식 영상의 영상 종류를 선택할 수 있도록 제공하며, 사용자는 영상 종류를 선택할 수 있다.
사용자의 영상 종류 선택에 따라, 사용자가 모바일 디바이스의 카메라로 정지 영상, 고보라이트(GOBO Light) 영상 또는 동영상을 스캔하면, 단계 120에서, 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정한다.
단계 120은 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 책정할 수 있다. 이때, 인식 대상은 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 것일 수 있다.
일 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 특정 위치에 고정된 마크, 코드, 패턴 또는 문구를 나타내는 단일 프레임 또는 이동하며 위치하는 마크, 코드, 패턴 또는 문구의 복수의 프레임들이 포함될 수 있다. 예컨대, 단일 프레임은 인식 영상의 특정 영역에 고정되어 위치되는 것으로, 일정 시간 동안 동일한 프레임을 출력되는 것일 수 있다. 또한, 복수의 프레임들은 인식 영상에서 특정 영역에 고정되는 것이 아닌, 영상을 따라 이동하며 위치하는 것으로, 복수 개의 프레임들이 연결되어 출력되는 것일 수 있다. 이에 따라서, 단계 120은 인식 영상에서 단일 프레임 또는 복수의 프레임들로 구성된 마크, 코드, 패턴 또는 문구의 인식 대상을 책정할 수 있다.
다른 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체가 위치할 수 있다. 예컨대, 사용자는 모바일 디바이스의 카메라를 통해 실물의 대상체를 촬영할 수 있으며, 단계 120은 기념품, 동상, 인형, 피규어와 같은 실물의 대상체를 인식 대상으로 책정할 수 있다. 도 2에 도시된 바와 같이, 단계 120에서 설정하는 인식 대상은 서울시를 나타내는 코드 또는 패턴과 같은 형태(도 2(a))일 수 있으며, 서울시를 상징하는 마크와 같은 형태(도 2(b))일 수 있고, 서울시를 상징하는 기념품, 동상, 인형, 피규어와 같은 실물의 형태(도 2(c))일 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법의 단계 120은 사용자의 선택 입력에 따라 인식 대상 리스트에 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.
단계 120은 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 인식 대상으로 책정하는 기본 설정에서, 사용자의 선택 입력에 따라 실물의 대상체로 구성된 인식 대상을 인식 대상 리스트에 추가 또는 제거할 수 있다. 이에, 단계 120은 사용자의 선택 입력에 기반하여, 인식 대상 리스트에 추가된 실물의 대상체로 구성된 인식 대상을 기본 설정으로 책정하여 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 인식 대상을 인식하는 경우, 동일한 증강현실(Augmented Reality; AR) 콘텐츠가 제공되도록 할 수 있다.
예컨대, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상 중에서 사용자의 선택 또는 초기 설정에 따라 인식 대상에 대한 기본 설정이 설정되어 있다. 예를 들면, 사용자가 선택하지 않은 초기 설정이 되어 있는 경우에, 인식 대상 리스트에는 단일 프레임으로 구성된 마크 또는 패턴에 대해서만 인식 대상으로 인식하는 초기 설정이 설정된 상태일 수 있다. 이에, 사용자는 인식 대상 리스트에 설정된 초기 설정을 변경할 수 있으며, 인식 대상을 추가 또는 제거할 수 있다.
상세하게는, 인식 대상 리스트에 사용자가 모바일 디바이스를 통해 단일 프레임인 서울시 마크를 인식하는 경우에만 증강현실 콘텐츠를 제공하는 것이 기본 설정된 경우, 사용자는 서울시를 상징하는 기념품 또는 피규어의 실물 대상체를 인식 대상으로 추가 지정할 수 있으며, 단계 120은 인식 대상 리스트에 서울시 마크와 서울시를 상징하는 대상체 모두를 인식 대상으로 설정할 수 있다. 이러한 추가 지정이 이루어진 후에, 사용자가 서울시 마크를 인식 대상으로 인식하거나, 또는 서울시를 상징하는 대상체를 인식 대상으로 인식하는 경우, 동일한 증강현실 콘텐츠를 체험할 수 있게 된다.
단계 130에서, 인식 영상에서 인식 대상을 인식한다.
단계 130은 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 인식 대상을 인식할 수 있다. 예컨대, 단계 130은 사용자에 의해 동영상이 인식 영상으로 선택된 경우, 사용자가 모바일 디바이스의 카메라를 통해 동영상으로 촬영하는 도중에 서울시 마크의 단일 프레임인 인식 대상을 인식하면, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 서울시 홍보 영상 콘텐츠 및 서울시청의 3D 콘텐츠를 포함하는 증강현실(AR) 콘텐츠를 모바일 디바이스에 제공하게 된다.
단계 130 이후에, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 제1 단계(미도시) 및 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 제2 단계(미도시)를 더 포함할 수 있다.
제1 단계에서, 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이할 수 있다.
제1 단계는 인식 대상에 대응하는 동영상 포맷의 영상 콘텐츠 및 3D 모델링의 3D 콘텐츠를 동시에 디스플레이할 수 있다. 예컨대, 제1 단계는 서울시 마크 또는 서울시를 상징하는 대상체의 인식 대상에 대응하는 서울시 홍보 영상 콘텐츠 및 서울시청 건물을 3D 모델링한 3D 콘텐츠를 동시에 모바일 디바이스에 디스플레이하여 증강현실 콘텐츠를 제공하며, 기본적으로 영상 콘텐츠는 상단에, 3D 콘텐츠는 하단에 위치한다. 실시예에 따라서, 제1 단계는 인식 대상이 마크인 경우, 패턴인 경우 또는 대상체인 경우에 따라서 서로 다른 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실 콘텐츠를 디스플레이할 수 있다.
제2 단계에서, 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 사용자의 행동 및 상황에 따라 증강현실 콘텐츠를 반응시켜 제공하는 인터랙션 모드를 제공하는 것을 특징으로 한다.
이에 대한 제1 실시예로, 제2 단계는 모바일 디바이스의 자세 및 각도에 따라 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나 이상의 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 제2 단계는 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 이때, 제2 단계는 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나의 콘텐츠 시점을 변경하거나, 영상 콘텐츠 및 3D 콘텐츠의 시점 모두를 동시에 변경하여 디스플레이할 수 있다.
제2 실시예로, 제2 단계는 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 기반하여 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 소지하고 일정 거리를 이동하는 경우, 제2 단계는 사용자의 이동에 따른 방향과 동일하게 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이할 수 있다. 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 지정된 자리에 위치한 인식 대상을 인식하는 경우, 지정된 자리를 기준으로 기 설정된 반경 내의 범위 내에 모바일 디바이스가 위치하는 경우에만 인식 대상에 대응하는 증강현실 콘텐츠를 제공할 수 있다. 이에, 제2 단계는 범위 내에서 사용자가 움직이면, 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 따라 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하며, 사용자가 범위를 벗어나는 경우 증강현실 콘텐츠를 디스플레이하지 않을 수 있다.
제3 실시예로, 제2 단계는 모바일 디바이스의 자세 및 각도에 따라 사용자의 선택 입력으로부터 선택되는 영상 콘텐츠 또는 3D 콘텐츠의 시점만 변경하여 증강현실 콘텐츠로 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 제2 단계는 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 다만 이때, 제2 단계는 영상 콘텐츠 및 3D 콘텐츠 중에서 사용자의 선택 입력에 의해 선택되는 콘텐츠의 시점만 변경하여 디스플레이하는 것을 특징으로 한다. 예를 들어, 사용자가 3D 콘텐츠의 시점만 변경하도록 선택하면, 제2 단계는 모바일 디바이스의 자세 및 각도에 따라 3D 콘텐츠의 시점만 변경하여 디스플레이하며, 영상 콘텐츠의 시점은 변경하지 않고 기본 값으로 일정하게 디스플레이할 수 있다.
제4 실시예로, 제2 단계는 모바일 디바이스를 소지하는 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 모바일 디바이스를 통해 인식 대상을 인식하는 경우, 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 종로구에서 서울시 마크를 인식하는 경우, 제2 단계는 종로구에 관련된 홍보 영상 콘텐츠 및 종로구의 경복궁에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이하고, 사용자가 중구에서 서울시 마크를 인식하는 경우, 제2 단계는 중구에 관련된 홍보 영상 콘텐츠 및 중구의 남산 타워에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이할 수 있다. 즉, 본 발명의 실시예에 따른 제2 단계는 사용자의 위치 정보에 따라 서로 다른 증강현실 콘텐츠를 디스플레이할 수 있으며, 사용자의 선택 입력에 따라 구에 관련된 정보가 아닌, 서울시에 관련된 홍보 영상 콘텐츠 및 서울시에 관련된 건물의 3D 콘텐츠를 우선적으로 디스플레이할 수도 있다.
또한, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법은 인식 대상 리스트에서 인식 대상의 인식 여부를 제어하는 단계(미도시)를 더 포함할 수 있다.
상기 제어하는 단계는 사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 인식 대상 리스트에 포함된 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어할 수 있다. 일례로, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 리스트화하는 것을 가정하면, 상기 제어하는 단계는 사용자가 일정한 속도로 길을 걸으며 이동하는 경우에는 움직이면서 인식 대상을 인식하기 위한 행동은 위험 행위로 판단하여 마크 또는 패턴의 인식 대상과 대상체로 구성된 인식 대상 모두를 인식할 수 없는, 인식 불가능의 상태로 제어할 수 있다. 다른 예로, 서버로부터 제어 커맨드 정보를 통해 마크 또는 패턴의 인식 대상이 오류로 인한 인식 불가능 임을 수신하는 경우, 상기 제어하는 단계는 마크 또는 패턴의 인식 대상을 인식 불가능 상태로 제어하고, 대상체로 구성된 인식 대상만을 인식 가능의 상태로 제어할 수 있다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 인식 영상에서 인식 대상을 인식하여 증강현실 콘텐츠를 체험하는 예를 도시한 것이다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템은 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)일 수 있다.
본 발명은 사용자에게 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 이하에서는 도 3a에 도시된 바와 같이, 사용자가 동영상을 인식 영상(300)으로 선택한 것을 가정한다.
사용자는 모바일 디바이스의 카메라를 통해 동영상의 인식 영상(300)을 촬영하여 이동하며, 이동하는 도중에 바닥에 위치하는 성남시 마크의 인식 대상(310)을 촬영할 수 있다. 이에 따라, 성남시 마크가 인식 대상(310)이 될 수 있다. 마크의 인식 대상(310)은 단일 프레임이나, 복수의 프레임들로 구성된 것일 수 있으며 또한, 인식 대상(310)은 마크가 아닌 패턴 또는 실물 형태의 대상체일 수도 있다.
사용자가 인식 영상(300)에서 인식 대상(310)을 촬영하면, 본 발명은 인식 대상(310)을 인식하여 도 3b에 도시된 바와 같이 인식 대상(310)에 관련된 영상 콘텐츠(321) 및 3D 콘텐츠(322)의 증강현실(AR) 콘텐츠를 인식 영상(300) 상에 제공한다.
이때, 영상 콘텐츠(321)는 성남시를 홍보하는 홍보 영상일 수 있으며, 3D 콘텐츠(322)는 3D 모델링한 성남시청 또는 성남시 내의 특정 건물을 나타낼 수 있다. 다만, 영상 콘텐츠(321) 및 3D 콘텐츠(322)는 도시한 바에 한정하지 않으며, 인식 대상(310)에 관련된 안전 정보, 홍보 정보, 안내 정보 및 마케팅 정보를 제공하기 위한 콘텐츠일 수 있다.
도 4는 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템의 세부 구성을 블록도로 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템은 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 인식한다.
이를 위해, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템(400)은 영상 선택부(410), 대상 설정부(420) 및 인식부(430)를 포함하며, 제어부(440)를 더 포함할 수 있다.
영상 선택부(410)는 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택한다.
영상 선택부(410)는 인식 영상을 선택하기 전에, 사용자에게 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 이후에, 영상 선택부(410)는 사용자의 선택 입력에 따라 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상을 선택할 수 있다.
사용자의 영상 종류 선택에 따라, 사용자가 모바일 디바이스의 카메라로 정지 영상, 고보라이트(GOBO Light) 영상 또는 동영상을 스캔하면, 대상 설정부(420)는 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정한다.
대상 설정부(420)는 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 책정할 수 있다. 이때, 인식 대상은 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 것일 수 있다.
일 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 특정 위치에 고정된 마크, 코드, 패턴 또는 문구를 나타내는 단일 프레임 또는 이동하며 위치하는 마크, 코드, 패턴 또는 문구의 복수의 프레임들이 포함될 수 있다. 예컨대, 단일 프레임은 인식 영상의 특정 영역에 고정되어 위치되는 것으로, 일정 시간동안 동일한 프레임을 출력되는 것일 수 있다. 또한, 복수의 프레임들은 인식 영상에서 특정 영역에 고정되는 것이 아닌, 영상을 따라 이동하며 위치하는 것으로, 복수 개의 프레임들이 연결되어 출력되는 것일 수 있다. 이에 따라서, 대상 설정부(420)는 인식 영상에서 단일 프레임 또는 복수의 프레임들로 구성된 마크, 코드, 패턴 또는 문구의 인식 대상을 책정할 수 있다.
다른 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체가 위치할 수 있다. 예컨대, 사용자는 모바일 디바이스의 카메라를 통해 실물의 대상체를 촬영할 수 있으며, 대상 설정부(420)는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체를 인식 대상으로 책정할 수 있다. 도 2에 도시된 바와 같이, 대상 설정부(420)에서 설정하는 인식 대상은 서울시를 나타내는 코드 또는 패턴과 같은 형태(도 2(a))일 수 있으며, 서울시를 상징하는 마크와 같은 형태(도 2(b))일 수 있고, 서울시를 상징하는 기념품, 동상, 인형, 피규어와 같은 실물의 형태(도 2(c))일 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템(400)의 대상 설정부(420)는 사용자의 선택 입력에 따라 인식 대상 리스트에 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.
대상 설정부(420)는 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 인식 대상으로 책정하는 기본 설정에서, 사용자의 선택 입력에 따라 실물의 대상체로 구성된 인식 대상을 인식 대상 리스트에 추가 또는 제거할 수 있다. 이에, 대상 설정부(420)는 사용자의 선택 입력에 기반하여, 인식 대상 리스트에 추가된 실물의 대상체로 구성된 인식 대상을 기본 설정으로 책정하여 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 인식 대상을 인식하는 경우, 동일한 증강현실(Augmented Reality; AR) 콘텐츠가 제공되도록 할 수 있다.
예컨대, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상 중에서 사용자의 선택 또는 초기 설정에 따라 인식 대상에 대한 기본 설정이 설정되어 있다. 예를 들면, 사용자가 선택하지 않은 초기 설정이 되어 있는 경우에, 인식 대상 리스트에는 단일 프레임으로 구성된 마크 또는 패턴에 대해서만 인식 대상으로 인식하는 초기 설정이 설정된 상태일 수 있다. 이에, 사용자는 인식 대상 리스트에 설정된 초기 설정을 변경할 수 있으며, 인식 대상을 추가 또는 제거할 수 있다.
상세하게는, 인식 대상 리스트에 사용자가 모바일 디바이스를 통해 단일 프레임인 서울시 마크를 인식하는 경우에만 증강현실 콘텐츠를 제공하는 것이 기본 설정된 경우, 사용자는 서울시를 상징하는 기념품 또는 피규어의 실물 대상체를 인식 대상으로 추가 지정할 수 있으며, 대상 설정부(420)는 인식 대상 리스트에 서울시 마크와 서울시를 상징하는 대상체 모두를 인식 대상으로 설정할 수 있다. 이러한 추가 지정이 이루어진 후에, 사용자가 서울시 마크를 인식 대상으로 인식하거나, 또는 서울시를 상징하는 대상체를 인식 대상으로 인식하는 경우, 동일한 증강현실 콘텐츠를 체험할 수 있게 된다.
인식부(430)는 인식 영상에서 인식 대상을 인식한다.
인식부(430)는 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 인식 대상을 인식할 수 있다. 예컨대, 인식부(430)는 사용자에 의해 동영상이 인식 영상으로 선택된 경우, 사용자가 모바일 디바이스의 카메라를 통해 동영상으로 촬영하는 도중에 서울시 마크의 단일 프레임인 인식 대상을 인식하면, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템(400)은 서울시 홍보 영상 콘텐츠 및 서울시청의 3D 콘텐츠를 포함하는 증강현실(AR) 콘텐츠를 모바일 디바이스에 제공하게 된다.
제어부(440)는 인식 대상 리스트에서 인식 대상의 인식 여부를 제어한다.
제어부(440)는 사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 인식 대상 리스트에 포함된 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어할 수 있다. 일례로, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 리스트화하는 것을 가정하면, 제어부(440)는 사용자가 일정한 속도로 길을 걸으며 이동하는 경우에는 움직이면서 인식 대상을 인식하기 위한 행동은 위험 행위로 판단하여 마크 또는 패턴의 인식 대상과 대상체로 구성된 인식 대상 모두를 인식할 수 없는, 인식 불가능의 상태로 제어할 수 있다. 다른 예로, 서버로부터 제어 커맨드 정보를 통해 마크 또는 패턴의 인식 대상이 오류로 인한 인식 불가능임을 수신하는 경우, 제어부(440)는 마크 또는 패턴의 인식 대상을 인식 불가능 상태로 제어하고, 대상체로 구성된 인식 대상만을 인식 가능의 상태로 제어할 수 있다.
또한, 본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템(400)은 디스플레이부(미도시) 및 인터랙션 제공부(미도시)를 더 포함할 수 있다.
상기 디스플레이부는 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이할 수 있다.
상기 디스플레이부는 인식 대상에 대응하는 동영상 포맷의 영상 콘텐츠 및 3D 모델링의 3D 콘텐츠를 동시에 디스플레이할 수 있다. 예컨대, 상기 디스플레이부는 서울시 마크 또는 서울시를 상징하는 대상체의 인식 대상에 대응하는 서울시 홍보 영상 콘텐츠 및 서울시청 건물을 3D 모델링한 3D 콘텐츠를 동시에 모바일 디바이스에 디스플레이하여 증강현실 콘텐츠를 제공하며, 기본적으로 영상 콘텐츠는 상단에, 3D 콘텐츠는 하단에 위치한다. 실시예에 따라서, 상기 디스플레이부는 인식 대상이 마크인 경우, 패턴인 경우 또는 대상체인 경우에 따라서 서로 다른 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실 콘텐츠를 디스플레이할 수 있다.
상기 인터랙션 제공부는 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다.
본 발명의 실시예에 따른 영상 인식을 이용한 증강현실 서비스 제공 시스템(400)은 사용자의 행동 및 상황에 따라 증강현실 콘텐츠를 반응시켜 제공하는 인터랙션 모드를 제공하는 것을 특징으로 한다.
비록, 도 4에서 설명하지 않았지만, 도 4의 시스템은 상술한 도 1 내지 도 3에서 설명한 영상 인식을 이용한 증강현실 서비스 제공 방법에 대한 동작을 모두 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 단계;
    상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 단계;
    상기 인식 영상에서 상기 인식 대상을 인식하는 단계;
    상기 인식 대상에 대응하는 영상 콘텐츠 및 3차원 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 단계; 및
    모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보 중 적어도 하나에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 단계
    를 포함하되,
    상기 인식 대상을 설정하는 단계는
    상기 사용자의 선택 입력에 따라 인식 대상 리스트에 상기 인식 대상을 추가 또는 제거하고,
    상기 인식 대상을 설정하는 단계는
    상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 상기 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 상기 인식 대상을 책정하며,
    상기 단일 프레임은 상기 인식 영상 내 특정 위치에 고정된 마크를 나타내고, 상기 복수의 프레임들은 상기 인식 영상 내 이동하며 위치하는 마크 또는 패턴을 나타내며,
    상기 인식 대상을 설정하는 단계는
    상기 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 상기 인식 대상으로 책정하는 기본 설정에서, 상기 사용자의 선택 입력에 따라 실물의 대상체로 구성된 상기 인식 대상을 상기 인식 대상 리스트에 추가 또는 제거하고,
    상기 인식 대상을 설정하는 단계는
    상기 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 상기 인식 대상으로 책정하는 기본 설정에서, 상기 사용자의 선택 입력에 따라 실물의 대상체로 구성된 상기 인식 대상을 상기 인식 대상 리스트에 추가 또는 제거하며,
    상기 인식 대상을 설정하는 단계는
    상기 사용자의 선택 입력에 기반하여, 상기 인식 대상 리스트에 추가된 실물의 대상체로 구성된 상기 인식 대상을 상기 기본 설정으로 책정하여 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 상기 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 상기 인식 대상을 인식하는 경우, 동일한 증강현실 콘텐츠가 제공되도록 하고,
    상기 인터랙션 모드를 제공하는 단계는
    상기 모바일 디바이스의 자세와 각도에 따라 상기 인터랙션 모드를 제공하는 경우, 상기 모바일 디바이스의 자세와 각도가 조절되면, 상기 모바일 디바이스의 각도와 상기 사용자가 상기 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 상기 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이하며,
    상기 인터랙션 모드를 제공하는 단계는
    상기 모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보에 기반하여 상기 인터랙션 모드를 제공하고, 미리 설정된 제1 위치의 인식 대상을 인식하는 경우, 상기 사용자가 상기 제1 위치를 기준으로 미리 설정된 반경 범위 내에 위치하면 상기 모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보에 기반하여 상기 영상 콘텐츠의 각도와 위치를 변경하고, 상기 3차원 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하며, 상기 사용자가 상기 제1 위치를 기준으로 미리 설정된 반경 범위를 벗어나는 경우 상기 증강현실 콘텐츠를 디스플레이하지 않는 것을 특징으로 하는, 영상 인식을 이용한 증강현실 서비스 제공 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 인식 대상을 인식하는 단계는
    상기 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 상기 인식 대상을 인식하는, 영상 인식을 이용한 증강현실 서비스 제공 방법.
  7. 제6항에 있어서,
    인식 대상 리스트에서 상기 인식 대상의 인식 여부를 제어하는 단계를 더 포함하며,
    상기 제어하는 단계는
    사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 상기 인식 대상 리스트에 포함된 상기 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어하는 것을 특징으로 하는, 영상 인식을 이용한 증강현실 서비스 제공 방법.
  8. 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 영상 선택부;
    상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 대상 설정부;
    상기 인식 영상에서 상기 인식 대상을 인식하는 인식부;
    인식 대상 리스트에서 상기 인식 대상의 인식 여부를 제어하는 제어부;
    상기 인식 대상에 대응하는 영상 콘텐츠 및 3차원 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 디스플레이부; 및
    모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보 중 적어도 하나에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 인터랙션 제공부
    를 포함하되,
    상기 대상 설정부는
    상기 사용자의 선택 입력에 따라 인식 대상 리스트에 상기 인식 대상을 추가 또는 제거하고,
    상기 대상 설정부는
    상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 상기 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 상기 인식 대상을 책정하며,
    상기 단일 프레임은 상기 인식 영상 내 특정 위치에 고정된 마크를 나타내고, 상기 복수의 프레임들은 상기 인식 영상 내 이동하며 위치하는 마크 또는 패턴을 나타내며,
    상기 대상 설정부는
    상기 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 상기 인식 대상으로 책정하는 기본 설정에서, 상기 사용자의 선택 입력에 따라 실물의 대상체로 구성된 상기 인식 대상을 상기 인식 대상 리스트에 추가 또는 제거하고,
    상기 대상 설정부는
    상기 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 상기 인식 대상으로 책정하는 기본 설정에서, 상기 사용자의 선택 입력에 따라 실물의 대상체로 구성된 상기 인식 대상을 상기 인식 대상 리스트에 추가 또는 제거하며,
    상기 대상 설정부는
    상기 사용자의 선택 입력에 기반하여, 상기 인식 대상 리스트에 추가된 실물의 대상체로 구성된 상기 인식 대상을 상기 기본 설정으로 책정하여 상기 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 상기 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 상기 인식 대상을 인식하는 경우, 동일한 증강현실 콘텐츠가 제공되도록 하고,
    상기 인터랙션 제공부는
    상기 모바일 디바이스의 자세와 각도에 따라 상기 인터랙션 모드를 제공하는 경우, 상기 모바일 디바이스의 자세와 각도가 조절되면, 상기 모바일 디바이스의 각도와 상기 사용자가 상기 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 상기 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이하며,
    상기 인터랙션 제공부는
    상기 모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보에 기반하여 상기 인터랙션 모드를 제공하고, 미리 설정된 제1 위치의 인식 대상을 인식하는 경우, 상기 사용자가 상기 제1 위치를 기준으로 미리 설정된 반경 범위 내에 위치하면 상기 모바일 디바이스의 자세, 각도와 상기 사용자의 위치 정보에 기반하여 상기 영상 콘텐츠의 각도와 위치를 변경하고, 상기 3차원 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하며, 상기 사용자가 상기 제1 위치를 기준으로 미리 설정된 반경 범위를 벗어나는 경우 상기 증강현실 콘텐츠를 디스플레이하지 않는 것을 특징으로 하는, 영상 인식을 이용한 증강현실 서비스 제공 시스템.
KR1020190152936A 2019-11-26 2019-11-26 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템 KR102172611B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152936A KR102172611B1 (ko) 2019-11-26 2019-11-26 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152936A KR102172611B1 (ko) 2019-11-26 2019-11-26 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR102172611B1 true KR102172611B1 (ko) 2020-11-02

Family

ID=73397724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152936A KR102172611B1 (ko) 2019-11-26 2019-11-26 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102172611B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745895B1 (ko) 2016-11-29 2017-06-12 유한회사 올빼미하우스 동영상에 삽입된 2차원 코드를 이용한 컨텐츠 확장 시스템 및 방법과, 이를 위한 재생 장치 및 컴퓨터 프로그램
KR20180054377A (ko) * 2016-11-15 2018-05-24 주식회사 살린 인터랙티브한 가상현실 시스템
KR20190026264A (ko) * 2017-09-04 2019-03-13 정두환 마커 등록이 자유로운 혼합현실 콘텐츠 제공시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180054377A (ko) * 2016-11-15 2018-05-24 주식회사 살린 인터랙티브한 가상현실 시스템
KR101745895B1 (ko) 2016-11-29 2017-06-12 유한회사 올빼미하우스 동영상에 삽입된 2차원 코드를 이용한 컨텐츠 확장 시스템 및 방법과, 이를 위한 재생 장치 및 컴퓨터 프로그램
KR20190026264A (ko) * 2017-09-04 2019-03-13 정두환 마커 등록이 자유로운 혼합현실 콘텐츠 제공시스템

Similar Documents

Publication Publication Date Title
US8135440B2 (en) System for using mobile communication terminal as pointer and method and medium thereof
KR101989089B1 (ko) 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템
CN106687922B (zh) 参数惯性和api
US20150097865A1 (en) Method and computing device for providing augmented reality
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
CN109905592B (zh) 根据用户的交互控制或者合成的内容的提供方法及装置
JP6877149B2 (ja) 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム
KR20140116401A (ko) 패닝 애니메이션
EP3547098B1 (en) Display control apparatus and control method
US20210303905A1 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
KR102276048B1 (ko) 새로운 사용자 경험의 정보 제공 인터페이스 방법 및 그 시스템
KR102172611B1 (ko) 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템
KR102257442B1 (ko) 사용자의 상황에 반응하는 증강현실 서비스 제공 방법 및 그 시스템
US11770551B2 (en) Object pose estimation and tracking using machine learning
US20170228136A1 (en) Content providing method, content providing apparatus, and computer program stored in recording medium for executing the content providing method
KR20140078083A (ko) 증강 현실이 구현된 만화책
CN114138250A (zh) 系统用例的步骤生成方法、装置、设备及存储介质
KR102533209B1 (ko) 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
KR102276816B1 (ko) 공간 단위로 구성된 컨텐츠를 제공하는 방법 및 시스템
KR20150041548A (ko) 증강 현실을 제공하는 방법 및 컴퓨팅 디바이스
KR102164879B1 (ko) 사용자 초점 일치형 증강 현실 제공 방법 및 장치
KR101595960B1 (ko) 3차원 영상 생성 방법 및 이를 실행하는 장치
KR102076561B1 (ko) 전자 문서 내에 포함된 복수의 이미지들을 제어하는 전자 장치 및 그의 동작 방법
KR102493345B1 (ko) 프로그래스 바를 이용한 영상 탐색 방법 및 시스템
Rocha et al. Inpresso AR: a generic augmented book

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant