KR102197885B1 - 증강 현실 컨텐츠를 표시하는 단말 및 서버 - Google Patents

증강 현실 컨텐츠를 표시하는 단말 및 서버 Download PDF

Info

Publication number
KR102197885B1
KR102197885B1 KR1020180109408A KR20180109408A KR102197885B1 KR 102197885 B1 KR102197885 B1 KR 102197885B1 KR 1020180109408 A KR1020180109408 A KR 1020180109408A KR 20180109408 A KR20180109408 A KR 20180109408A KR 102197885 B1 KR102197885 B1 KR 102197885B1
Authority
KR
South Korea
Prior art keywords
augmented reality
terminal
reality content
server
image
Prior art date
Application number
KR1020180109408A
Other languages
English (en)
Other versions
KR20200030767A (ko
Inventor
김대성
김범준
문지현
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020180109408A priority Critical patent/KR102197885B1/ko
Publication of KR20200030767A publication Critical patent/KR20200030767A/ko
Application granted granted Critical
Publication of KR102197885B1 publication Critical patent/KR102197885B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

단말이 개시된다. 일 실시예는 영상 표시 장치에 표시되는 영상을 인식하고 상기 인식된 영상으로부터 특징점을 검출하며, 상기 검출된 특징점과 연관된 증강 현실 컨텐츠를 서버에 조회하고, 상기 서버로부터 상기 증강 현실 컨텐츠를 수신하고, 상기 수신된 증강 현실 컨텐츠를 상기 단말의 디스플레이에 표시한다.

Description

증강 현실 컨텐츠를 표시하는 단말 및 서버{SERVER AND TERMINAL OF DISPLAYING AUGMENTED REALITY(AR) CONTENT}
아래 실시예들은 증강 현실 컨텐츠를 표시하는 기술에 관한 것이다.
최근에, 증강 현실 및 가상 현실을 이용한 게임, 학습 방법, 및 기타 서비스 등이 개발되고 있다.
관련 선행기술로, 한국 공개특허공보 제10-2018-0075723호(발명의 명칭: 증강현실 서비스를 수행하는 이동 단말기 및 이를 수행하는 방법, 출원인: 경희대학교 산학협력단)가 있다. 해당 공개특허공보에 개시된 이동 단말기는 카메라로부터 이미지 및 센서로부터의 센서 데이터를 수신하고, 상기 이미지의 특징점을 뷰 평면(view plane) 상의 실제 3차원 좌표에 매핑 (mapping)시키며, 증강 현실 서비스를 위하여 사용자(user) 위치에 대해 계산을 수행하고, 상기 사용자 위치 정보에 기반하여 상기 뷰 평면 상의 특징점을 상기 이미지 상 픽셀 값으로 치환하여, 상기 사용자 위치 정보의 정확성을 판정한다.
일 측에 따른 단말의 증강 현실 컨텐츠 표시 방법은 영상 표시 장치에 표시되는 영상을 인식하는 단계; 상기 인식된 영상으로부터 특징점을 검출하는 단계; 상기 검출된 특징점과 연관된 증강 현실 컨텐츠를 서버에 조회하는 단계; 상기 서버로부터 상기 증강 현실 컨텐츠를 수신하는 단계; 및 상기 수신된 증강 현실 컨텐츠를 상기 단말의 디스플레이에 표시하는 단계를 포함한다.
상기 증강 현실 컨텐츠를 상기 서버에 조회하는 단계는 상기 검출된 특징점을 상기 서버로 전송하는 단계를 포함할 수 있다.
상기 서버는 상기 검출된 특징점을 기초로 데이터베이스로부터 상기 증강 현실 컨텐츠를 획득하여 상기 단말로 전송할 수 있다.
상기 증강 현실 컨텐츠를 상기 서버에 조회하는 단계는 상기 검출된 특징점을 기초로 상기 영상의 식별자를 예측하는 단계; 및 상기 예측된 식별자를 상기 서버로 전송하는 단계를 포함할 수 있다.
상기 서버는 데이터베이스로부터 상기 예측된 식별자에 맵핑된 증강 현실 컨텐츠를 획득하고, 상기 획득된 증강 현실 컨텐츠를 상기 단말로 전송할 수 있다.
단말의 증강 현실 컨텐츠 표시 방법은 상기 영상 표시 장치를 인식하는 단계를 더 포함할 수 있다.
단말의 증강 현실 컨텐츠 표시 방법은 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임이 상기 표시된 증강 현실 컨텐츠와 관련되지 않으면, 상기 표시된 증강 현실 컨텐츠를 사라지게 하는 단계를 더 포함할 수 있다.
단말의 증강 현실 컨텐츠 표시 방법은 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 상기 검출된 특징점과 다른 특징점을 검출하는 경우, 다른 증강 현실 컨텐츠를 서버에 조회하는 단계; 상기 서버로부터 상기 다른 증강 현실 컨텐츠를 수신하는 단계; 및 상기 표시된 증강 현실 컨텐츠를 상기 수신된 다른 증강 현실 컨텐츠로 변경하여 표시하는 단계를 더 포함할 수 있다.
일 측에 따른 서버의 동작 방법은 영상에서 특징점을 추출하는 단계; 상기 추출된 특징점을 기초로 식별자를 생성하는 단계; 상기 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑하는 단계; 단말로부터 컨텐츠 조회 요청을 수신하는 단계; 및 상기 수신된 컨텐츠 조회 요청이 상기 생성된 식별자와 부합되는 경우, 상기 단말로 상기 증강 현실 컨텐츠를 전송하는 단계를 포함한다.
상기 단말로부터 상기 컨텐츠 조회 요청을 수신하는 단계는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점을 상기 단말로부터 수신하는 단계를 포함한다.
상기 단말로부터 상기 컨텐츠 조회 요청을 수신하는 단계는 상기 단말에 의해 예측된 식별자를 상기 단말로부터 수신하는 단계를 포함할 수 있다.
상기 예측된 식별자는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점에 기초할 수 있다.
서버의 동작 방법은 상기 추출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 다른 특징점을 추출하는 단계; 상기 추출된 다른 특징점을 기초로 제2 식별자를 생성하는 단계; 및 상기 생성된 제2 식별자와 다른 증강 현실 컨텐츠를 서로 맵핑하는 단계를 더 포함할 수 있다.
상기 영상이 실시간 방송 영상에 해당하는 경우, 시간이 지남에 따라 여러 식별자들 각각이 순차적으로 생성되어 데이터베이스에 증강 현실 컨텐츠와 맵핑될 수 있다.
일 측에 따른 단말은 디스플레이; 통신 인터페이스; 및 영상 표시 장치에 표시되는 영상을 인식하고, 상기 인식된 영상으로부터 특징점을 검출하며, 상기 검출된 특징점과 연관된 증강 현실 컨텐츠를 상기 통신 인터페이스를 통해 서버에 조회하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 증강 현실 컨텐츠를 수신하고, 상기 수신된 증강 현실 컨텐츠를 상기 디스플레이에 표시하는 컨트롤러를 포함한다.
상기 컨트롤러는 상기 통신 인터페이스를 통해 상기 검출된 특징점을 상기 서버로 전송할 수 있다.
상기 서버는 상기 검출된 특징점을 기초로 데이터베이스로부터 상기 증강 현실 컨텐츠를 획득하여 상기 단말로 전송할 수 있다.
상기 컨트롤러는 상기 검출된 특징점을 기초로 상기 영상의 식별자를 예측하고, 상기 통신 인터페이스를 통해 상기 예측된 식별자를 상기 서버로 전송할 수 있다.
상기 서버는 데이터베이스로부터 상기 예측된 식별자에 맵핑된 증강 현실 컨텐츠를 획득하고, 상기 획득된 증강 현실 컨텐츠를 상기 단말로 전송할 수 있다.
상기 컨트롤러는 상기 영상 표시 장치를 인식할 수 있다.
상기 컨트롤러는 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임이 상기 표시된 증강 현실 컨텐츠와 관련되지 않으면, 상기 표시된 증강 현실 컨텐츠를 사라지게 할 수 있다.
상기 컨트롤러는 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 상기 검출된 특징점과 다른 특징점을 검출하는 경우, 다른 증강 현실 컨텐츠를 서버에 조회하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 다른 증강 현실 컨텐츠를 수신하며, 상기 표시된 증강 현실 컨텐츠를 상기 수신된 다른 증강 현실 컨텐츠로 변경하여 상기 디스플레이에 표시할 수 있다.
일 측에 따른 서버는 통신 인터페이스; 및 영상에서 특징점을 추출하고, 상기 추출된 특징점을 기초로 식별자를 생성하며, 상기 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑하고, 상기 통신 인터페이스를 통해 단말로부터 컨텐츠 조회 요청을 수신하고, 상기 수신된 컨텐츠 조회 요청이 상기 생성된 식별자와 부합되는 경우, 상기 통신 인터페이스를 통해 상기 단말로 상기 증강 현실 컨텐츠를 전송하는 컨트롤러를 포함한다.
상기 컨트롤러는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점을 상기 통신 인터페이스를 통해 상기 단말로부터 수신할 수 있다.
상기 컨트롤러는 상기 통신 인터페이스를 통해 상기 단말에 의해 예측된 식별자를 상기 단말로부터 수신할 수 있다.
상기 예측된 식별자는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점에 기초할 수 있다.
상기 컨트롤러는 상기 추출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 다른 특징점을 추출하고, 상기 추출된 다른 특징점을 기초로 제2 식별자를 생성하며, 상기 생성된 제2 식별자와 다른 증강 현실 컨텐츠를 서로 맵핑할 수 있다.
상기 영상이 실시간 방송 영상에 해당하는 경우, 시간이 지남에 따라 여러 식별자들 각각이 순차적으로 생성되어 데이터베이스에 증강 현실 컨텐츠와 맵핑될 수 있다.
실시예들은 TV 방송중인 영상을 실시간으로 분석함으로써 방송 중인 영상을 3D로 증강하거나 해당 영상과 연관된 컨텐츠를 증강하여 해당 영상과 동기화된 증강 현실 컨텐츠를 표시할 수 있다.
도 1은 일 실시예에 따른 영상 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 분석 장치의 동작을 설명하기 위한 도면이다.
도 3a 내지 도 3c는 일 실시예에 따른 데이터베이스를 설명하기 위한 도면이다.
도 4 내지 도 6c는 일 실시예에 따른 단말의 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 영상 시스템의 전반적인 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 단말의 증강 현실 컨텐츠 표시 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 서버의 동작 방법을 설명하기 위한 순서도이다.
도 10은 일 실시예에 따른 단말을 설명하기 위한 블록도이다.
도 11은 일 실시예에 따른 서버를 설명하기 위한 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 영상 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상 시스템(100)은 영상 분석 장치(110) 및 단말(120)을 포함한다.
단말(120)은 영상 표시 장치에 표시된 영상을 인식하여 특징점을 추출하고, 추출된 특징점과 부합되는 증강 현실 컨텐츠를 영상 분석 장치(110)에 요청한다.
영상 분석 장치(110)는 특정 증강 현실 컨텐츠를 단말(120)에 전송한다.
단말(120)은 영상 분석 장치(110)로부터 수신한 증강 현실 컨텐츠를 자신의 디스플레이에 표시한다. 이에 따라, 단말(120)은 영상과 관련된 증강 현실 컨텐츠를 해당 영상과 동기화하여 표시할 수 있다. 영상 분석 장치(110) 및 단말(120)의 동작에 대해서 자세히 설명한다.
도 2는 일 실시예에 따른 영상 분석 장치의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 영상 분석 장치(110)는 디지털 DNA 생성부(210) 및 맵핑부(220)를 포함한다.
영상 분석 장치(110)는 영상을 서버로부터 수신한다. 일례로, 영상 분석 장치(110)는 방송 서버(또는 방송 기지국) 및 기타 장치 중 적어도 하나로부터 TV로 송출될 영상(또는 방송 영상)을 수신할 수 있다.
디지털 DNA 생성부(210)는 영상에서 특징점을 추출하고 추출된 특징점을 기초로 디지털 DNA를 생성한다. 일 실시예에 있어서, 디지털 DNA 생성부(210)는 TV로 송출될 영상(또는 방송 영상)의 프레임(예를 들어, I 프레임)마다 특징점을 추출할 수 있고, 추출된 특징점을 기초로 디지털 DNA를 생성할 수 있다. TV로 송출된 영상의 경우, 실시간으로 추출되는 특징점이 다를 수 있고 이에 따라 생성되는 디지털 DNA 역시 다를 수 있다. 일례로, 디지털 DNA 생성부(210)는 방송 영상 1의 일련의 프레임으로부터 특징점 a1_1을 추출할 수 있고 추출된 특징점 a1_1을 기초로 디지털 DNA 1_1을 생성할 수 있다. 디지털 DNA 생성부(210)는 디지털 DNA 1_1에 관한 프레임의 이후 프레임으로부터 특징점 a1_2를 추출할 수 있고 추출된 특징점 a1_2를 기초로 디지털 DNA 1_2를 생성할 수 있다. 마찬가지로, 디지털 DNA 생성부(210)는 방송 영상 A가 종료할 때 까지 여러 특징점들을 추출할 수 있고 각 특징점을 기초로 서로 다른 디지털 DNA를 생성할 수 있다.
맵핑부(220)는 생성된 디지털 DNA와 증강 현실 컨텐츠를 맵핑한다. 일례로, 맵핑부(220)는 실시간 방송 영상으로부터 디지털 DNA 생성부(210)가 디지털 DNA를 생성할 때마다 해당 디지털 DNA와 미리 편성된 증강 현실 컨텐츠를 영상 분석 장치(110)의 데이터베이스에 맵핑할 수 있다. 다시 말해, 맵핑부(220)는 디지털 DNA 생성부(210)가 방송 영상 1을 실시간으로 분석하여(예를 들어, 방송 영상 1을 1초마다 분석하여) 디지털 DNA 1를 생성하면 데이터베이스에 디지털 DNA 1과 증강 현실 컨텐츠 1을 맵핑할 수 있고, 시간이 지난 후 디지털 DNA 생성부(210)가 방송 영상 1을 분석하여 디지털 DNA 2를 생성하면 데이터베이스에 디지털 DNA 2와 증강 현실 컨텐츠 2를 맵핑할 수 있다. 도 3a에 방송 영상 1에 대한 맵핑 관계가 도시된다.
도 3a를 참조하면, 방송 영상 1의 디지털 DNA 1_1과 AR 컨텐츠 1_1이 데이터베이스에서 맵핑되고, 방송 영상 1의 디지털 DNA 1_2과 AR 컨텐츠 1_2가 데이터베이스에서 맵핑되며, 방송 영상 1의 디지털 DNA 1_3과 AR 컨텐츠 1_3가 데이터베이스에서 맵핑된다. 방송 영상 1이 진행 될 수록 방송 영상 1로부터 생성된 다수의 디지털 DNA들과 다수의 AR 컨텐츠들이 데이터베이스에서 맵핑될 수 있다.
도 3b에, 방송 영상 2에 대한 맵핑 관계의 일례가 도시된다. 도 3b를 참조하면, 방송 영상 2의 디지털 DNA 2_1과 AR 컨텐츠 2_1이 데이터베이스에서 맵핑되고, 방송 영상 2의 디지털 DNA 2_2와 AR 컨텐츠 1_1이 데이터베이스에서 맵핑된다. AR 컨텐츠 1_1은 도 3a의 디지털 DNA 1_1 뿐 아니라 디지털 DNA 2_2와도 맵핑될 수 있다. 이는, 디지털 DNA 1_1와 디지털 DNA 2_2 사이의 유사성이 높은 경우를 의미할 수 있다. 방송 영상 2의 디지털 DNA 2_3과 AR 컨텐츠 3_4가 데이터베이스에서 맵핑된다. 방송 영상 2가 진행 될 수록 방송 영상 2로부터 생성된 다수의 디지털 DNA들과 다수의 AR 컨텐츠들이 맵핑될 수 있다.
도 3c에, 방송 영상 3에 대한 맵핑 관계의 일례가 도시된다. 도 3c를 참조하면, 방송 영상 3의 디지털 DNA 3_1과 AR 컨텐츠 1_3이 데이터베이스에서 맵핑된다. AR 컨텐츠 1_3은 도 3a의 디지털 DNA 1_3 뿐 아니라 디지털 DNA 3_1과도 맵핑될 수 있다. 이는, 디지털 DNA 1_3과 디지털 DNA 3_1 사이의 유사성이 높다는 것을 의미할 수 있다. 또한, AR 컨텐츠 1_3은 적어도 하나의 다른 디지털 DNA와도 맵핑될 수 있다. 방송 영상 3의 디지털 DNA 3_2와 AR 컨텐츠 3_1이 데이터베이스에서 맵핑되고, 방송 영상 3의 디지털 DNA 3_3과 AR 컨텐츠 4_5가 데이터베이스에서 맵핑된다. 방송 영상 3이 진행 될 수록 방송 영상 3으로부터 생성된 다수의 디지털 DNA들과 다수의 AR 컨텐츠들이 맵핑될 수 있다.
도 4는 일 실시예에 따른 단말의 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 단말(120)은 영상 표시 장치를 인식하고, 해당 영상 표시 장치에 표시되는 영상을 인식한다. 일례로, 단말(120)은 카메라를 구동하여 TV를 인식할 수 있고, 해당 TV에 표시되는 영상을 인식할 수 있다. 도 5에 도시된 예를 참조하면, 단말(120)은 카메라를 이용하여 TV를 촬영할 수 있고, 촬영 결과에서 TV를 인식할 수 있다. 촬영 결과에는 TV 뿐 아니라 TV 주변 배경이 포함될 수 있는데, 단말(120)은 촬영 결과에서 자신이 타겟으로 하는 TV를 인식할 수 있다. 이 때, TV에는 방송 영상 1이 표시되고, 단말(120)은 TV에 표시되는 방송 영상 1을 인식할 수 있다.
도 4로 돌아와서, 단말(120)은 인식된 영상에서 특징점을 추출하고 추출된 특징점을 기반으로 영상 분석 장치(110)에 컨텐츠를 조회하며(410), 영상 분석 장치(110)로부터 컨텐츠를 수신한다(420).
일 실시예에 있어서, 단말(120)은 추출된 특징점을 상술한 데이터베이스에 조회하여 증강 현실 컨텐츠를 영상 분석 장치(110)로부터 수신할 수 있다. 달리 표현하면, 단말(120)은 추출된 특징점을 영상 분석 장치(110)의 데이터베이스 또는 영상 분석 장치(110)로 전송할 수 있다. 이 때, 영상 분석 장치(110)의 데이터베이스 또는 영상 분석 장치(110)는 추출된 특징점에 부합되는 디지털 DNA를 검색할 수 있고, 검색된 디지털 DNA와 맵핑된 증강 현실 컨텐츠를 단말(120)로 전송할 수 있다. 일례로, 단말(120)은 방송 영상 1을 표시하는 TV를 촬영하여 방송 영상 1의 특정 프레임으로부터 특징점 a_1을 추출하는 경우, 특징점 a_1을 영상 분석 장치(110)로 전송할 수 있고, 영상 분석 장치(110)는 특징점 a_1이 어떤 디지털 DNA와 부합되는지를 결정할 수 있다. 도 2 및 3a를 통해 설명한 예와 같이 특징점 a_1은 디지털 DNA 1_1과 부합될 수 있으므로, 영상 분석 장치(110)는 데이터베이스 상에서 디지털 DNA 1_1와 맵핑된 AR 컨텐츠 1_1을 단말(120)로 전송할 수 있다.
다른 실시예에 있어서, 단말(120)은 인식된 영상에서 추출된 특징점을 기초로 해당 영상의 디지털 DNA를 예측할 수 있고, 예측된 디지털 DNA를 영상 분석 장치(110)의 데이터베이스 또는 영상 분석 장치(110)로 전송할 수 있다. 영상 분석 장치(110)의 데이터베이스 또는 영상 분석 장치(110)는 단말(120)로부터 수신한 디지털 DNA와 맵핑된 증강 현실 컨텐츠를 단말(120)로 전송할 수 있다. 일례로, 단말(120)은 방송 영상 1을 표시하는 TV를 촬영하여 방송 영상 1의 특정 프레임으로부터 특징점 a_1을 추출할 수 있고, 추출된 특징점 a_1로부터 디지털 DNA 1_1을 예측할 수 있다. 단말(120)은 예측된 디지털 DNA 1_1을 영상 분석 장치(110)로 전송할 수 있고, 영상 분석 장치(110)는 예측된 디지털 DNA 1_1이 어떤 AR 컨텐츠와 맵핑되어 있는지를 알 수 있다. 도 3a를 통해 설명한 예와 같이 데이터베이스 상에서 AR 컨텐츠 1_1은 디지털 DNA 1_1와 맵핑되어 있으므로, 영상 분석 장치(110)는 AR 컨텐츠 1_1을 단말(120)로 전송할 수 있다.
단말(120)은 증강 현실 컨텐츠를 영상 분석 장치(110)로부터 수신하는 경우, 해당 증강 현실 컨텐츠를 표시할 수 있다. 일례로, 도 6a에 도시된 예를 참조하면, 단말(120)은 AR 컨텐츠 1_1을 자신의 디스플레이에 표시된 TV 화면과 인접한 영역에 표시할 수 있다. 달리 표현하면, 단말(120)은 자신의 디스플레이 상의 TV 화면 및 증강 현실 컨텐츠를 동기화시켜 표시할 수 있다. 이에 따라, 단말(120)은 사용자로 하여금 증강 현실을 경험하게 할 수 있다.
증강 현실 컨텐츠는 TV에 방송되는 영상과 관련된 컨텐츠에 해당할 수 있다. 일례로, 증강 현실 컨텐츠는 TV에 방송되는 영상 내의 특정 장소, 특정 소품 등에 대한 정보, 방송되고 있는 시간(또는 방송 시간), 방송 프로그램 정보, 방송사 정보 중 어느 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 있어서, 단말(120)은 디스플레이에 표시된 증강 현실 컨텐츠를 사라지게 할 수 있다. 일례로, 도 6b에 도시된 예를 참조하면, 단말(120)은 방송 영상 1의 AR 컨텐츠 1_1과 관련된 프레임의 이후 프레임이 AR 컨텐츠 1_1을 증강하도록 정의되지 않으면 AR 컨텐츠 1_1을 디스플레이에서 사라지게 할 수 있다. 달리 표현하면, 단말(120)은 AR 컨텐츠 1_1을 디스플레이에 표시한 후, AR 컨텐츠 1_1과 관련된 프레임의 이후 프레임이 AR 컨텐츠 1_1과 관련 없으면 AR 컨텐츠 1_1을 사라지게 할 수 있다. 예를 들어, AR 컨텐츠 1_1과 관련된 프레임의 이후에 중간 광고가 등장한다면, 단말(120)은 TV에 중간 광고가 표시되는 동안에 AR 컨텐츠 1_1을 사라지게 할 수 있다. 중간 광고가 끝나고 방송 영상 1을 분석하여 AR 컨텐츠 1_1과 관련이 있으면, 단말(120)은 AR 컨텐츠 1_1을 다시 표시할 수 있다. 만약, 중간 광고가 끝나고 방송 영상 1을 분석하여 AR 컨텐츠 1_2와 관련이 있으면, 단말(120)은 영상 분석 장치(110)로부터 AR 컨텐츠 1_2를 수신하여 디스플레이에 표시할 수 있다.
일 실시예에 있어서, 단말(120)은 디스플레이에 표시된 증강 현실 컨텐츠를 다른 증강 현실 컨텐츠로 변경할 수 있다. 일례로, 도 6c에 도시된 예를 참조하면, 단말(120)은 AR 컨텐츠 1_1을 디스플레이에 표시한 후, 방송 영상 1로부터 특징점 a_2를 추출하여 영상 분석 장치(110)로 전송하거나 특징점 a_2로부터 예측된 디지털 DNA 1_2를 영상 분석 장치(110)로 전송할 수 있다. 단말(120)은 영상 분석 장치(110)로부터 AR 컨텐츠 1_2를 수신할 수 있고, AR 컨텐츠 1_1 대신에 AR 컨텐츠 1_2를 디스플레이에 표시할 수 있다.
도 7은 일 실시예에 따른 영상 시스템의 전반적인 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 영상 시스템(100)은 영상 수신 서버(710), 디지털 DNA 생성 서버(720), 데이터베이스(730), 증강 현실 컨텐츠 서버(740), 단말(120), 및 영상 표시 장치(750)를 포함한다. 영상 수신 서버(710), 디지털 DNA 생성 서버(720), 데이터베이스(730), 및 증강 현실 컨텐츠 서버(740)는 상술한 영상 분석 장치(110)에 대응할 수 있다. 실시예에 따라, 영상 수신 서버(710), 디지털 DNA 생성 서버(720), 및 증강 현실 컨텐츠 서버(740) 각각은 영상 시스템(100)에서 물리적으로 구분되는 장치이거나 논리적으로 구분될 수 있다. 데이터베이스(730)은 도 2 및 도 3a 내지 도 3c를 통해 설명한 데이터베이스에 대응될 수 있다.
영상 수신 서버(710)는 방송 서버 또는 기타 장치로부터 영상을 수신한다. 해당 영상은 영상 표시 장치(750)로도 전송되어 영상 표시 장치(750)에 표시된다. 영상 표시 장치(750)는, 예를 들어, TV, 이동 단말(예를 들어, 스마트폰, 태블릿 등), 또는 고정 단말(예를 들어, PC 등)에 해당할 수 있으나 이에 제한되지 않고, 영상을 수신하여 재생 가능한 장치를 의미한다.
영상 수신 서버(710)는 영상에서 특징점을 추출하고, 추출된 특징점을 디지털 DNA 생성 서버(720)로 전송할 수 있다.
디지털 DNA 생성 서버(720)는 추출된 특징점을 기초로 디지털 DNA를 생성하고, 디지털 DNA를 데이터베이스(730)에 기록한다. 이 때, 디지털 DNA 생성 서버(720)는 영상(또는 디지털 DNA)과 관련된 증강 현실 컨텐츠를 증강 현실 컨텐츠 서버(740)에 요청할 수 있고, 증강 현실 컨텐츠 서버(740)는 데이터베이스(730)에 해당 증강 현실 컨텐츠를 기록할 수 있다.
데이터베이스(730)에는 하나 이상의 디지털 DNA와 하나 이상의 증강 현실 컨텐츠가 맵핑될 수 있다.
단말(120)은 영상 표시 장치(750)를 촬영하여 영상 표시 장치(750)를 인식할 수 있고, 영상 표시 장치(750)에 표시되는 영상을 인식할 수 있다.
단말(120)은 인식된 영상으로부터 특징점을 추출할 수 있고, 추출된 특징점으로 DB(730)를 조회한다. 단말(120)은 추출된 특징점에 부합되는 증강 현실 컨텐츠를 DB(730)로부터 수신할 수 있다.
단말(120)은 수신된 증강 현실 컨텐츠를 디스플레이에 노출할 수 있다. 이에 따라, 단말(120)의 사용자는 증강 현실을 경험할 수 있다.
도 8은 일 실시예에 따른 단말의 증강 현실 컨텐츠 표시 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 단말(120)은 영상 표시 장치(750)에 표시되는 영상을 인식한다(810).
단말(120)은 인식된 영상으로부터 특징점을 검출한다(820).
단말(120)은 검출된 특징점과 연관된 증강 현실 컨텐츠를 서버에 조회한다(830). 일례로, 단말(120)은 검출된 특징점을 서버로 전송할 수 있다. 이 때, 서버는 수신된 특징점을 기초로 데이터베이스로부터 증강 현실 컨텐츠를 획득하여 단말(120)로 전송할 수 있다. 다른 일례로, 단말(120)은 검출된 특징점을 기초로 영상의 식별자를 예측할 수 있고, 예측된 식별자를 서버로 전송할 수 있다. 이 때, 서버는 예측된 식별자에 맵핑된 증강 현실 컨텐츠를 데이터베이스로부터 획득할 수 있고, 획득된 증강 현실 컨텐츠를 단말(120)로 전송할 수 있다. 여기서, 식별자는 상술한 디지털 DNA에 해당할 수 있다.
서버는 영상 분석 장치(110)에 대응되거나 영상 분석 장치(110)를 포함할 수 있다.
단말(120)은 서버로부터 증강 현실 컨텐츠를 수신한다(840).
단말(120)은 수신된 증강 현실 컨텐츠를 디스플레이에 표시한다(850).
실시예에 있어서, 단말(120)은 검출된 특징점에 대응되는 영상 프레임의 이후 프레임이 표시된 증강 현실 컨텐츠와 관련되지 않으면, 표시된 증강 현실 컨텐츠를 사라지게 할 수 있다.
실시예에 있어서, 단말(120)은 검출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 상기 검출된 특징점과 다른 특징점을 검출하는 경우, 다른 증강 현실 컨텐츠를 서버에 조회할 수 있다. 단말(120)은 서버로부터 다른 증강 현실 컨텐츠를 수신할 수 있고, 단계(850)에서의 표시된 증강 현실 컨텐츠를 다른 증강 현실 컨텐츠로 변경하여 디스플레이에 표시할 수 있다.
도 1 내지 도 7을 통해 기술된 사항들은 도 8을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
도 9는 일 실시예에 따른 서버의 동작 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 서버는 영상에서 특징점을 추출한다(910).
서버는 추출된 특징점을 기초로 영상의 식별자를 생성한다(920). 여기서, 식별자는 상술한 디지털 DNA에 해당한다.
서버는 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑한다(930).
서버는 단말로부터 컨텐츠 조회 요청을 수신한다(940).
서버는 수신된 컨텐츠 조회 요청이 생성된 식별자와 부합되는 경우, 단말(120)로 생성된 식별자와 맵핑된 증강 현실 컨텐츠를 전송한다(950). 일례로, 수신된 컨텐츠 조회 요청에는 단말에 의해 인식된 영상에서 검출된 특징점이 포함될 수 있고, 검출된 특징점이 단계(930)에서 생성된 식별자와 상응하는 경우, 서버는 해당 식별자와 맵핑된 증강 현실 컨텐츠를 단말(120)로 전송할 수 있다.
실시예에 있어서, 서버는 추출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 다른 특징점을 추출할 수 있고, 추출된 다른 특징점을 기초로 제2 식별자를 생성할 수 있으며, 생성된 제2 식별자와 다른 증강 현실 컨텐츠를 서로 맵핑할 수 있다.
실시예에 있어서, 영상이 실시간 방송 영상에 해당하는 경우, 시간이 지남에 따라 여러 식별자들 각각이 순차적으로 생성되어 데이터베이스에 증강 현실 컨텐츠와 맵핑될 수 있다.
도 1 내지 도 8을 통해 기술된 사항들은 도 9를 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
도 10은 일 실시예에 따른 단말을 설명하기 위한 블록도이다.
도 10을 참조하면, 단말(120)은 디스플레이(1010), 통신 인터페이스(1020), 및 컨트롤러(1030)를 포함한다.
통신 인터페이스(1020)는 단말(120)의 통신을 수행한다. 일례로, 통신 인터페이스(1020)는 이동 통신(예를 들어, 3G, 4G, 5G) 모듈 및/또는 와이파이 모듈을 포함할 수 있다.
컨트롤러(1030)는 영상 표시 장치에 표시되는 영상을 인식하고, 인식된 영상으로부터 특징점을 검출한다.
컨트롤러(1030)는 검출된 특징점과 연관된 증강 현실 컨텐츠를 통신 인터페이스(1020)를 통해 서버에 조회한다.
컨트롤러(1030)는 통신 인터페이스(1020)를 통해 서버로부터 증강 현실 컨텐츠를 수신하고, 수신된 증강 현실 컨텐츠를 디스플레이(1010)에 표시한다.
도 1 내지 도 9를 통해 기술된 사항들은 도 10을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
도 11은 일 실시예에 따른 서버를 설명하기 위한 블록도이다.
도 11을 참조하면, 서버(1100)는 통신 인터페이스(1110) 및 컨트롤러(1120)를 포함한다.
컨트롤러(1120)는 영상에서 특징점을 추출하고, 추출된 특징점을 기초로 해당 영상의 식별자를 생성한다
컨트롤러(1120)는 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑하고, 통신 인터페이스(1110)를 통해 단말(120)로부터 컨텐츠 조회 요청을 수신한다.
컨트롤러(1120)는 수신된 컨텐츠 조회 요청이 생성된 식별자와 부합되는 경우, 통신 인터페이스(1110)를 통해 단말(120)로 증강 현실 컨텐츠를 전송한다.
도 1 내지 도 10을 통해 기술된 사항들은 도 11을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (22)

  1. 단말의 증강 현실 컨텐츠 표시 방법에 있어서,
    영상 표시 장치에 표시되는 영상을 인식하는 단계;
    상기 인식된 영상으로부터 특징점을 검출하는 단계;
    상기 검출된 특징점과 연관된 증강 현실 컨텐츠를 서버에 조회하는 단계;
    상기 서버로부터 상기 증강 현실 컨텐츠를 수신하는 단계; 및
    상기 수신된 증강 현실 컨텐츠를 상기 단말의 디스플레이에 표시하는 단계
    를 포함하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  2. 제1항에 있어서,
    상기 증강 현실 컨텐츠를 상기 서버에 조회하는 단계는,
    상기 검출된 특징점을 상기 서버로 전송하는 단계
    를 포함하고,
    상기 서버는 상기 검출된 특징점을 기초로 데이터베이스로부터 상기 증강 현실 컨텐츠를 획득하여 상기 단말로 전송하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  3. 제1항에 있어서,
    상기 증강 현실 컨텐츠를 상기 서버에 조회하는 단계는,
    상기 검출된 특징점을 기초로 상기 영상의 식별자를 예측하는 단계; 및
    상기 예측된 식별자를 상기 서버로 전송하는 단계
    를 포함하고,
    상기 서버는 데이터베이스로부터 상기 예측된 식별자에 맵핑된 증강 현실 컨텐츠를 획득하고, 상기 획득된 증강 현실 컨텐츠를 상기 단말로 전송하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  4. 제1항에 있어서,
    상기 영상 표시 장치를 인식하는 단계
    를 더 포함하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  5. 제1항에 있어서,
    상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임이 상기 표시된 증강 현실 컨텐츠와 관련되지 않으면, 상기 표시된 증강 현실 컨텐츠를 사라지게 하는 단계
    를 더 포함하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  6. 제1항에 있어서,
    상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 상기 검출된 특징점과 다른 특징점을 검출하는 경우, 다른 증강 현실 컨텐츠를 서버에 조회하는 단계;
    상기 서버로부터 상기 다른 증강 현실 컨텐츠를 수신하는 단계; 및
    상기 표시된 증강 현실 컨텐츠를 상기 수신된 다른 증강 현실 컨텐츠로 변경하여 표시하는 단계
    를 더 포함하는,
    단말의 증강 현실 컨텐츠 표시 방법.
  7. 서버의 동작 방법에 있어서,
    영상에서 특징점을 추출하는 단계;
    상기 추출된 특징점을 기초로 식별자를 생성하는 단계;
    상기 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑하는 단계;
    단말로부터 컨텐츠 조회 요청을 수신하는 단계; 및
    상기 컨텐츠 조회 요청이 상기 생성된 식별자와 부합되는 경우, 상기 단말로 상기 증강 현실 컨텐츠를 전송하는 단계
    를 포함하고,
    상기 컨텐츠 조회 요청은 상기 단말이 영상 표시 장치에 표시된 영상을 인식함으로써 검출한 특징점과 연관된 증강 현실 컨텐츠를 상기 서버에 조회하는 것에 해당하는,
    서버의 동작 방법.
  8. 제7항에 있어서,
    상기 단말로부터 상기 컨텐츠 조회 요청을 수신하는 단계는,
    상기 단말에 의해 인식된 영상으로부터 검출된 특징점을 상기 단말로부터 수신하는 단계
    를 포함하는,
    서버의 동작 방법.
  9. 제7항에 있어서,
    상기 단말로부터 상기 컨텐츠 조회 요청을 수신하는 단계는,
    상기 단말에 의해 예측된 식별자를 상기 단말로부터 수신하는 단계
    를 포함하고,
    상기 예측된 식별자는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점에 기초하는,
    서버의 동작 방법.
  10. 제7항에 있어서,
    상기 추출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 다른 특징점을 추출하는 단계;
    상기 추출된 다른 특징점을 기초로 제2 식별자를 생성하는 단계; 및
    상기 생성된 제2 식별자와 다른 증강 현실 컨텐츠를 서로 맵핑하는 단계
    를 더 포함하는,
    서버의 동작 방법.
  11. 제7항에 있어서,
    상기 영상이 실시간 방송 영상에 해당하는 경우, 시간이 지남에 따라 여러 식별자들 각각이 순차적으로 생성되어 데이터베이스에 증강 현실 컨텐츠와 맵핑되는,
    서버의 동작 방법.
  12. 디스플레이;
    통신 인터페이스; 및
    영상 표시 장치에 표시되는 영상을 인식하고, 상기 인식된 영상으로부터 특징점을 검출하며, 상기 검출된 특징점과 연관된 증강 현실 컨텐츠를 상기 통신 인터페이스를 통해 서버에 조회하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 증강 현실 컨텐츠를 수신하고, 상기 수신된 증강 현실 컨텐츠를 상기 디스플레이에 표시하는 컨트롤러
    를 포함하는,
    단말.
  13. 제12항에 있어서,
    상기 컨트롤러는 상기 통신 인터페이스를 통해 상기 검출된 특징점을 상기 서버로 전송하고,
    상기 서버는 상기 검출된 특징점을 기초로 데이터베이스로부터 상기 증강 현실 컨텐츠를 획득하여 상기 단말로 전송하는,
    단말.
  14. 제12항에 있어서,
    상기 컨트롤러는 상기 검출된 특징점을 기초로 상기 영상의 식별자를 예측하고, 상기 통신 인터페이스를 통해 상기 예측된 식별자를 상기 서버로 전송하며,
    상기 서버는 데이터베이스로부터 상기 예측된 식별자에 맵핑된 증강 현실 컨텐츠를 획득하고, 상기 획득된 증강 현실 컨텐츠를 상기 단말로 전송하는,
    단말.
  15. 제12항에 있어서,
    상기 컨트롤러는 상기 영상 표시 장치를 인식하는,
    단말.
  16. 제12항에 있어서,
    상기 컨트롤러는 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임이 상기 표시된 증강 현실 컨텐츠와 관련되지 않으면, 상기 표시된 증강 현실 컨텐츠를 사라지게 하는,
    단말.
  17. 제12항에 있어서,
    상기 컨트롤러는 상기 검출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 상기 검출된 특징점과 다른 특징점을 검출하는 경우, 다른 증강 현실 컨텐츠를 서버에 조회하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 다른 증강 현실 컨텐츠를 수신하며, 상기 표시된 증강 현실 컨텐츠를 상기 수신된 다른 증강 현실 컨텐츠로 변경하여 상기 디스플레이에 표시하는,
    단말.
  18. 서버에 있어서,
    통신 인터페이스; 및
    영상에서 특징점을 추출하고, 상기 추출된 특징점을 기초로 식별자를 생성하며, 상기 생성된 식별자와 증강 현실 컨텐츠를 서로 맵핑하고, 상기 통신 인터페이스를 통해 단말로부터 컨텐츠 조회 요청을 수신하고, 상기 컨텐츠 조회 요청이 상기 생성된 식별자와 부합되는 경우, 상기 통신 인터페이스를 통해 상기 단말로 상기 증강 현실 컨텐츠를 전송하는 컨트롤러
    를 포함하고,
    상기 컨텐츠 조회 요청은 상기 단말이 영상 표시 장치에 표시된 영상을 인식함으로써 검출한 특징점과 연관된 증강 현실 컨텐츠를 상기 서버에 조회하는 것에 해당하는,
    서버.
  19. 제18항에 있어서,
    상기 컨트롤러는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점을 상기 통신 인터페이스를 통해 상기 단말로부터 수신하는,
    서버.
  20. 제18항에 있어서,
    상기 컨트롤러는 상기 통신 인터페이스를 통해 상기 단말에 의해 예측된 식별자를 상기 단말로부터 수신하고,
    상기 예측된 식별자는 상기 단말에 의해 인식된 영상으로부터 검출된 특징점에 기초하는,
    서버.
  21. 제18항에 있어서,
    상기 컨트롤러는 상기 추출된 특징점에 대응되는 영상 프레임의 이후 프레임에서 다른 특징점을 추출하고, 상기 추출된 다른 특징점을 기초로 제2 식별자를 생성하며, 상기 생성된 제2 식별자와 다른 증강 현실 컨텐츠를 서로 맵핑하는,
    서버.
  22. 제18항에 있어서,
    상기 영상이 실시간 방송 영상에 해당하는 경우, 시간이 지남에 따라 여러 식별자들 각각이 순차적으로 생성되어 데이터베이스에 증강 현실 컨텐츠와 맵핑되는,
    서버.
KR1020180109408A 2018-09-13 2018-09-13 증강 현실 컨텐츠를 표시하는 단말 및 서버 KR102197885B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180109408A KR102197885B1 (ko) 2018-09-13 2018-09-13 증강 현실 컨텐츠를 표시하는 단말 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180109408A KR102197885B1 (ko) 2018-09-13 2018-09-13 증강 현실 컨텐츠를 표시하는 단말 및 서버

Publications (2)

Publication Number Publication Date
KR20200030767A KR20200030767A (ko) 2020-03-23
KR102197885B1 true KR102197885B1 (ko) 2021-01-04

Family

ID=69998458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109408A KR102197885B1 (ko) 2018-09-13 2018-09-13 증강 현실 컨텐츠를 표시하는 단말 및 서버

Country Status (1)

Country Link
KR (1) KR102197885B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102675616B1 (ko) * 2020-12-01 2024-06-18 주식회사 인터포 증강 물체 좌표 보정 시스템 및 그 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126415B1 (ko) * 2010-03-31 2012-03-28 인천대학교 산학협력단 모바일 기기에서의 증강공간 제공 가속 장치

Also Published As

Publication number Publication date
KR20200030767A (ko) 2020-03-23

Similar Documents

Publication Publication Date Title
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
CN108921894B (zh) 对象定位方法、装置、设备和计算机可读存储介质
US9811911B2 (en) Apparatus and method for generating virtual reality content based on non-virtual reality content
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
KR101060753B1 (ko) 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9373174B2 (en) Cloud based video detection and tracking system
CN109040960A (zh) 一种实现位置服务的方法和装置
US20150186426A1 (en) Searching information using smart glasses
US20130084012A1 (en) Methods, apparatuses, and computer program products for restricting overlay of an augmentation
KR20150075532A (ko) 증강 현실 제공 장치 및 방법
JP2002152713A (ja) 被写体情報処理装置、被写体情報処理方法
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
WO2015165071A1 (en) Identifying entities to be investigated using storefront recognition
US9418284B1 (en) Method, system and computer program for locating mobile devices based on imaging
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
KR102197885B1 (ko) 증강 현실 컨텐츠를 표시하는 단말 및 서버
US9916664B2 (en) Multi-spectrum segmentation for computer vision
CN111475677A (zh) 图像处理方法、装置、存储介质及电子设备
KR102034897B1 (ko) 방송 프로그램에 포함된 오브젝트의 정보 제공 단말 장치 및 단말 장치의 동작 방법
KR101403159B1 (ko) 객체에 관한 부가정보 제공 장치 및 방법
KR20220002626A (ko) 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
KR102372181B1 (ko) 전자 장치 및 그의 제어 방법
KR20150095034A (ko) 광학 인식 코드를 이용한 다국어 지원 서비스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant