KR101085718B1 - 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 - Google Patents

서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101085718B1
KR101085718B1 KR1020090103302A KR20090103302A KR101085718B1 KR 101085718 B1 KR101085718 B1 KR 101085718B1 KR 1020090103302 A KR1020090103302 A KR 1020090103302A KR 20090103302 A KR20090103302 A KR 20090103302A KR 101085718 B1 KR101085718 B1 KR 101085718B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
server
unit
terminal
Prior art date
Application number
KR1020090103302A
Other languages
English (en)
Other versions
KR20110046703A (ko
Inventor
김동환
김태호
정용욱
김한철
이정선
김무항
김승경
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020090103302A priority Critical patent/KR101085718B1/ko
Publication of KR20110046703A publication Critical patent/KR20110046703A/ko
Application granted granted Critical
Publication of KR101085718B1 publication Critical patent/KR101085718B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 제공 시스템 및 방법에 관한 것으로서, 본 발명의 증강현실 제공 시스템은 외부로부터 영상신호를 수신하여 증강현실 처리를 하고, 증강현실 처리된 영상정보를 스트리밍방식으로 송출하는 서버 및 영상을 촬영하여 영상신호를 입력받고, 입력받은 영상신호를 상기 서버에 전송하며, 상기 서버로부터 증강현실 처리된 영상정보를 수신하고, 서버로부터 수신된 영상정보를 재생하는 단말기를 포함한다. 본 발명에 의하면 증강현실 서비스를 제공하는데 필요한 영상처리를 서버에서 수행하고 네트워크를 통해 실시간으로 단말기에 제공하도록 함으로써, 단말기에 걸리는 부하를 감소시켜서 단말기를 보다 단순화하고 경량화할 수 있는 효과가 있다.
단말기, 네트워크, 증강현실, 영상신호, 서버, 클라이언트, 영상 정합.

Description

서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 {System and method for offering augmented reality using server-side distributed image processing}
본 발명은 증강현실 제공 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 서버와 단말기를 포함하는 증강현실 제공 시스템 및 방법에 관한 것이다.
증강현실이라 함은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한 다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다.
증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽·문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다. 따라서 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이룬다. 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(head mounted display)가 있다.
최근 스마트폰과 같은 어플리케이션의 설치와 업데이트가 가능한 범용 운영체제를 기반으로 하며 고화질의 카메라가 장착된 이동형 단말기의 보급이 확대되고 있다. 이러한 하드웨어적 특징과 항시 휴대하고 있다는 점에 있어서, 이동통신 단말기는 증강현실 서비스를 제공하기에 적격인 하드웨어이다. 그러나 증강현실시스템의 이미지처리 과정은 큰 컴퓨팅 파워를 필요로 한다. 게다가, 최근에 고해상도의 영상과 대용량 3차원 모델이 일반화되고 있는 추세에 비추어 볼 때, 실시간으로 다양한 증강현실 컨텐츠를 제공하기 위해서는 고사양의 시스템이 필요하다. 따라서, 현재 이동형 단말기에서의 증강현실 서비스를 제공하기에는 많은 한계점을 지니고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 서버를 이용하여 단말기에 증강현실 서비스를 제공할 수 있는 증강현실 제공 시스템 및 증강현실 제공 방법을 제공하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위한 본 발명은 외부로부터 영상신호를 수신하여 증강현실 처리를 하고, 증강현실 처리된 영상정보를 스트리밍방식으로 송출하는 서버 및 영상을 촬영하여 영상신호를 입력받고, 입력받은 영상신호를 상기 서버에 전송하며, 상기 서버로부터 증강현실 처리된 영상정보를 수신하고, 서버로부터 수신된 영상정보를 재생하는 단말기를 포함한다.
상기 단말기는, 실시간으로 영상을 촬영하여 영상신호를 입력받는 실시간 영상입력부, 상기 실시간 영상입력부에 입력된 영상신호를 인코딩하기 위한 단말기 인코더부, 상기 단말기 인코더부에서 인코딩된 신호를 상기 서버에 전송하거나, 상기 서버로부터 인코딩된 신호를 수신하기 위한 제1 네트워크 통신부, 상기 서버로부터 수신한 인코딩된 신호를 디코딩하기 위한 단말기 디코더부 및 상기 단말기 디코더부에서 디코딩된 신호를 재생하여 증강현실 처리된 영상을 디스플레이 하기 위한 영상 재생부를 포함할 수 있다.
상기 실시간 영상입력부는 영상신호를 입력받기 위한 이미지 센서를 포함할 수 있다.
상기 서버는, 상기 단말기로부터 영상신호를 수신하고, 증강현실 처리된 영상정보를 송출하기 위한 제2 네트워크 통신부, 상기 제2 네트워크 통신부로부터 수신한 인코딩된 영상신호를 디코딩하기 위한 서버 디코더부, 상기 서버 디코더부에서 디코딩된 영상으로부터 증강현실 처리에 필요한 마커 정보를 분석하여 추출하는 비교 판단부, 상기 비교 판단부로부터 전달받은 마커 정보에 따라 객체 이미지를 생성하고, 원본 영상 이미지에 상기 객체 이미지가 정합될 위치 정보를 포함하는 객체정보를 생성하는 증강현실 객체정보 생성부, 상기 증강현실 객체정보 생성부로부터 전달받은 상기 객체정보에 따라 원본 영상 이미지에 상기 객체 이미지를 정합하는 증강현실 객체 정합부 및 상기 증강현실 객체 정합부에서 정합된 이미지를 인코딩하고, 인코딩된 신호를 상기 제2네트워크 통신부에 전달하는 서버 인코더부를 포함할 수 있다.
상기 서버는 다수의 비교 판단부를 포함할 수 있다.
상기 서버는, 상기 서버 디코더부에서 디코딩된 영상신호를 분배하여 상기 다수의 비교 판단부에 전달하기 위한 영상 분석 분배부 및 상기 다수의 비교 판단부에서 전달받은 마커 정보를 취합하기 위한 영상 분석 취합부를 더 포함할 수 있다.
상기 서버는 증강현실 객체 정보가 저장되어 있는 증강현실 객체 정보 저장소를 더 포함하며, 상기 증강현실 객체 정보 생성부는 상기 마커 정보에 해당하는 객체 이미지를 상기 증강현실 객체 정보 저장소에서 조회하여 상기 객체 이미지를 생성할 수 있다.
상기 비교 판단부는 상기 디코딩된 영상으로부터 마커의 종류, 위치, 각도를 포함하는 마커 정보를 분석하여 추출할 수 있다.
본 발명의 일 실시예에 따른 증강현실 제공 방법은 단말기에서 증강현실에 필요한 마커를 촬영하고, 실시간으로 영상을 입력받는 단계, 상기 단말기는 입력받은 영상을 인코딩하여 서버에 전송하는 단계, 상기 서버는 인코딩된 영상신호를 디코딩하는 단계, 상기 서버는 상기 디코딩된 영상신호로부터 객체정보가 표시되어야 할 영역을 계산하는 단계, 상기 서버는 상기 객체정보를 상기 영상신호에 정합하는 단계, 상기 서버는 정합된 영상신호를 인코딩하여 상기 단말기에 전송하는 단계, 상기 단말기는 상기 서버로부터 수신한 인코딩된 영상신호를 디코딩하는 단계 및 상기 단말기는 디코딩된 영상신호를 재생하여 디스플레이하는 단계를 포함한다.
상기 서버는 상기 디코딩된 영상신호로부터 객체정보가 표시되어야 할 영역을 계산하는 단계는, 상기 서버가 상기 디코딩된 영상신호를 분석하여 객체정보가 표시되어야 할 영역을 계산하고, 상기 디코딩된 영상신호를 분석하여 필요한 변형정보를 산출하고, 상기 변형정보를 기반으로 객체 데이터를 2차원 데이터로 변형 및 렌더링하는 것일 수 있다.
본 발명에 의하면 증강현실 서비스를 제공하는데 필요한 영상처리를 서버에서 수행하고 네트워크를 통해 실시간으로 단말기에 제공하도록 함으로써, 단말기에 걸리는 부하를 감소시켜서 단말기를 보다 단순화하고 경량화할 수 있는 효과가 있다. 즉, 증강현실 서비스 제공시에, 단말기에서는 실시간으로 입력되는 영상에 정합될 동영상, 3차원 모델링 등의 대용량 컨텐츠와 컴퓨팅 작업이 필요치 않기 때문에 보다 단순화하고 초경량으로 단말기를 생산할 수 있는 장점이 있다.
또한, 대용량 컨텐츠가 업데이트 되었을 때, 다수의 단말기에 각각 전송할 필요없이 단말기와 네트워크로 연결된 서버 내의 컨텐츠를 업데이트하면 되기 때문에 네트워크 부담을 줄일 수 있고 업데이트 작업이 용이해지는 효과가 있다.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 시스템을 보여주는 블록도이다.
도 1을 참조하면, 증강현실 제공 시스템은 단말기(100), 서버(200), 인터넷 망(300)을 포함한다.
단말기(100)는 영상을 촬영하여 영상신호를 입력받고, 입력받은 영상신호를 서버(200)에 전송하며, 서버(200)로부터 증강현실 처리된 영상정보를 수신하고, 서버(200)로부터 수신된 영상정보를 재생한다. 본 발명의 일 실시예에서 단말기(100)는 스마트 폰, PDA를 포함하는 이동통신 단말기일 수 있다. 본 발명에서 단말기(100)에 대한 상세한 설명은 후술하기로 한다.
서버(200)는 단말기로부터 영상신호를 수신하여 증강현실 처리를 하고, 증강현실 처리된 영상정보를 스트리밍방식으로 송출한다. 본 발명에서 서버(200)에 대한 상세한 설명은 후술하기로 한다.
인터넷 망(300)은 단말기(100)와 서버(200)를 네트워킹하도록 해주는 역할을 하며, 본 발명의 다른 실시예에서 인터넷 망(300)외에 다른 유무선 네트워크가 사용될 수 있음은 당연하다.
단말기(100)는 실시간 영상 입력부(110), 단말기 인코더부(120), 제1 네트워크 통신부(130), 단말기 디코더부(140), 영상 재생부(150)를 포함하여 이루어진다.
실시간 영상 입력부(110)는 실시간으로 영상을 촬영하여 영상신호를 입력받는 역할을 한다. 본 발명의 일 실시예에서 실시간 영상 입력부(110)는 영상신호를 입력받기 위한 이미지센서를 포함할 수 있다.
단말기 인코더부(120)는 실시간 영상입력부(110)에 입력된 영상신호를 인코딩하는 역할을 한다.
제1 네트워크 통신부(130)는 단말기 인코더부(120)에서 인코딩된 신호를 서버(200)에 전송하거나, 서버(200)로부터 인코딩된 신호를 수신하는 역할을 한다.
단말기 디코더부(140)는 서버(200)로부터 수신한 인코딩된 신호를 디코딩하 는 역할을 한다.
영상 재생부(150)는 단말기 디코더부(140)에서 디코딩된 신호를 재생하여 증강현실 처리된 영상을 디스플레이 하는 역할을 한다. 본 발명의 일 실시예에서 영상 재생부(150)는 LCD(Liquid Crystal Diplay)를 통하여 영상을 디스플레이할 수 있다.
서버(200)는 제2 네트워크 통신부(210), 서버 디코더부(220), 영상 분석 분배부(230), 비교 판단부(240), 영상 분석 취합부(250), 증강현실 객체 정보 생성부(260), 증강현실 객체 정보 저장소(290), 증강현실 객체 정합부(270), 서버 인코더부(280)를 포함한다.
제2 네트워크 통신부(210)는 단말기(100)로부터 영상신호를 수신하고, 증강현실 처리된 영상정보를 송출하는 역할을 한다.
서버 디코더부(220)는 제2 네트워크 통신부(210)로부터 수신한 인코딩된 영상신호를 디코딩하는 역할을 한다.
영상 분석 분배부(230)는 서버 디코더부(220)에서 디코딩된 영상신호를 분배하여 다수의 비교 판단부(240)에 전달하는 역할을 한다. 본 발명의 일 실시예에서 영상 분석 분배부(230)는 생략 가능하다.
비교 판단부(240)는 서버 디코더부에서 디코딩된 영상으로부터 증강현실 처리에 필요한 마커 정보를 분석하여 추출하는 역할을 한다. 도 1의 실시예에서 비교 판단부(240)는 다수 개의 비교 판단부(240)로 구현되는 실시예이다. 이처럼 다수의 비교 판단부(240)에서는 영상 분석 분배부(230)로부터 전달받은 영상을 병렬적으로 작업을 수행하여 마커 정보를 추출하게 된다. 본 발명의 일 실시예에서 비교 판단부(240)는 디코딩된 영상으로부터 마커의 종류, 위치, 각도를 포함하는 마커 정보를 분석하여 추출할 수 있다.
영상 분석 취합부(250)는 다수의 비교 판단부(240)에서 전달받은 마커 정보를 취합하는 역할을 한다. 본 발명의 일 실시예에서 영상 분석 취합부(230)는 생략 가능하다.
증강현실 객체정보 생성부(260)는 영상분석 취합부(250)로부터 전달받은 마커 정보에 따라 객체 이미지를 생성하고, 원본 영상 이미지에 객체 이미지가 정합될 위치 정보를 포함하는 객체정보를 생성한다.
증강현실 객체 정합부(270)는 증강현실 객체정보 생성부(260)로부터 전달받은 객체정보에 따라 원본 영상 이미지에 객체 이미지를 정합하는 역할을 한다.
서버 인코더부(280)는 증강현실 객체 정합부(270)에서 정합된 이미지를 인코딩하고, 인코딩된 신호를 제2네트워크 통신부(210)에 전달하는 역할을 한다.
증강현실 객체 정보 저장소(290)는 증강현실 객체 정보를 저장하는 역할을 한다. 본 발명의 일 실시ㅖ에서 증강현실 객체 정보 생성부(260)는 마커 정보에 해당하는 객체 이미지를 증강현실 객체 정보 저장소(290)에서 조회하여 객체 이미지를 생성할 수 있다.
이제 상술한 구조를 갖는 증강현실 제공 시스템에서 증강현실 서비스를 제공 하는 구체적인 방법을 도면을 참조하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 보여주는 흐름도이다.
단말기(100)에서 증강현실에 필요한 마커를 촬영한다(S201). 그리고, 실시간으로 영상을 입력받는다(S203).
단말기(100)는 입력받은 영상을 인코딩하여 서버(200)에 전송한다(S205).
서버(200)는 인코딩된 영상신호를 디코딩한다(S207).
서버(200)는 디코딩된 영상신호로부터 객체정보가 표시되어야 할 영역을 계산한다(S209). 본 발명의 일 실시예에서 S209 단계는 서버(200)가 디코딩된 영상신호를 분석하여 객체정보가 표시되어야 할 영역을 계산하고, 디코딩된 영상신호를 분석하여 필요한 변형정보를 산출하고, 변형정보를 기반으로 객체 데이터를 2차원 데이터로 변형 및 렌더링하는 것일 수 있다.
다음, 서버(200)는 객체정보를 영상신호에 정합하고(S211), 정합된 영상신호를 인코딩하여 단말기(100)에 전송한다(S213).
단말기(100)는 서버(200)로부터 수신한 인코딩된 영상신호를 디코딩하고(S215), 디코딩된 영상신호를 재생하여 디스플레이한다(S217).
도 3은 본 발명의 일 실시예에 따른 증강현실 제공 시스템에서 제공되는 화면예이다.
도 3을 참조하면, 단말기(100)에서는 점선으로 표시된 부분을 마커로 실시간 으로 입력받게 되고, 이렇게 입력된 영상을 서버(200)에 전송하여 증강현실 처리를 하고, 증강현실 처리된 영상을 네트워킹을 통해 스트리밍 방식으로 제공받게 된다. 도 3에서 단말기(100)에 디스플레이된 화면이 증강현실 처리된 영상의 화면예이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 시스템을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 제공 시스템에서 제공되는 화면예이다.
*도면의 주요 부분에 대한 부호의 설명*
100 단말기 110 실시간 영상 입력부
120 단말기 인코더부 130 제1 네트워크 통신부
140 단말기 디코더부 150 영상 재생부
200 서버 210 제2 네트워크 통신부
220 서버 디코더부 230 영상 분석 분배부
240 비교 판단부 250 영상 분석 취합부
260 증강현실 객체 정보 생성부 270 증강현실 객체 정합부
280 서버 인코더부

Claims (15)

  1. 외부로부터 영상신호를 수신하여 증강현실 처리를 하고, 증강현실 처리된 영상정보를 스트리밍방식으로 송출하는 서버; 및
    실시간으로 영상을 촬영하여 영상신호를 입력받는 실시간 영상입력부와, 상기 실시간 영상입력부에 입력된 영상신호를 인코딩하기 위한 단말기 인코더부와, 상기 단말기 인코더부에서 인코딩된 신호를 상기 서버에 전송하거나, 상기 서버로부터 인코딩된 신호를 수신하기 위한 제1 네트워크 통신부와, 상기 서버로부터 수신한 인코딩된 신호를 디코딩하기 위한 단말기 디코더부와, 상기 단말기 디코더부에서 디코딩된 신호를 재생하여 증강현실 처리된 영상을 디스플레이 하기 위한 영상 재생부를 포함하여 이루어지는 단말기를 포함하며,
    상기 서버는, 상기 단말기로부터 영상신호를 수신하고, 증강현실 처리된 영상정보를 송출하기 위한 제2 네트워크 통신부와, 상기 제2 네트워크 통신부로부터 수신한 인코딩된 영상신호를 디코딩하기 위한 서버 디코더부와, 상기 서버 디코더부에서 디코딩된 영상으로부터 증강현실 처리에 필요한 마커 정보를 분석하여 추출하는 비교 판단부와, 상기 비교 판단부로부터 전달받은 마커 정보에 따라 객체 이미지를 생성하고, 원본 영상 이미지에 상기 객체 이미지가 정합될 위치 정보를 포함하는 객체정보를 생성하는 증강현실 객체정보 생성부와, 상기 증강현실 객체정보 생성부로부터 전달받은 상기 객체정보에 따라 원본 영상 이미지에 상기 객체 이미지를 정합하는 증강현실 객체 정합부와, 상기 증강현실 객체 정합부에서 정합된 이미지를 인코딩하고, 인코딩된 신호를 상기 제2네트워크 통신부에 전달하는 서버 인코더부를 포함하여 이루어지는 것을 특징으로 하는 증강현실 제공 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 실시간 영상입력부는 영상신호를 입력받기 위한 이미지 센서를 포함하는 것을 특징으로 하는 증강현실 제공 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 서버는 다수의 비교 판단부를 포함하는 것을 특징으로 하는 증강현실 제공 시스템.
  6. 제5항에 있어서,
    상기 서버는,
    상기 서버 디코더부에서 디코딩된 영상신호를 분배하여 상기 다수의 비교 판단부에 전달하기 위한 영상 분석 분배부; 및
    상기 다수의 비교 판단부에서 전달받은 마커 정보를 취합하기 위한 영상 분석 취합부를 더 포함하는 것을 특징으로 하는 증강현실 제공 시스템.
  7. 제1항에 있어서,
    상기 서버는 증강현실 객체 정보가 저장되어 있는 증강현실 객체 정보 저장소를 더 포함하며,
    상기 증강현실 객체 정보 생성부는 상기 마커 정보에 해당하는 객체 이미지를 상기 증강현실 객체 정보 저장소에서 조회하여 상기 객체 이미지를 생성하는 것을 특징으로 하는 증강현실 제공 시스템.
  8. 제1항에 있어서,
    상기 비교 판단부는 상기 디코딩된 영상으로부터 마커의 종류, 위치, 각도를 포함하는 마커 정보를 분석하여 추출하는 것을 특징으로 하는 증강현실 제공 시스템.
  9. 단말기로부터 영상신호를 수신하고, 증강현실 처리된 영상정보를 송출하기 위한 제2 네트워크 통신부;
    상기 제2 네트워크 통신부로부터 수신한 인코딩된 영상신호를 디코딩하기 위한 서버 디코더부;
    상기 서버 디코더부에서 디코딩된 영상으로부터 증강현실 처리에 필요한 마커 정보를 분석하여 추출하는 비교 판단부;
    상기 비교 판단부로부터 전달받은 마커 정보에 따라 객체 이미지를 생성하 고, 원본 영상 이미지에 상기 객체 이미지가 정합될 위치 정보를 포함하는 객체정보를 생성하는 증강현실 객체정보 생성부;
    상기 증강현실 객체정보 생성부로부터 전달받은 상기 객체정보에 따라 원본 영상 이미지에 상기 객체 이미지를 정합하는 증강현실 객체 정합부; 및
    상기 증강현실 객체 정합부에서 정합된 이미지를 인코딩하고, 인코딩된 신호를 상기 제2네트워크 통신부에 전달하는 서버 인코더부를 포함하는 서버.
  10. 제9항에 있어서,
    다수의 비교 판단부를 포함하는 것을 특징으로 하는 서버.
  11. 제10항에 있어서,
    상기 서버 디코더부에서 디코딩된 영상신호를 분배하여 상기 다수의 비교 판단부에 전달하기 위한 영상 분석 분배부; 및
    상기 다수의 비교 판단부에서 전달받은 마커 정보를 취합하기 위한 영상 분석 취합부를 더 포함하는 것을 특징으로 하는 서버.
  12. 제9항에 있어서,
    상기 서버는 증강현실 객체 정보가 저장되어 있는 증강현실 객체 정보 저장소를 더 포함하며,
    상기 증강현실 객체 정보 생성부는 상기 마커 정보에 해당하는 객체 이미지를 상기 증강현실 객체 정보 저장소에서 조회하여 상기 객체 이미지를 생성하는 것을 특징으로 하는 서버.
  13. 제9항에 있어서,
    상기 비교 판단부는 상기 디코딩된 영상으로부터 마커의 종류, 위치, 각도를 포함하는 마커 정보를 분석하여 추출하는 것을 특징으로 하는 서버.
  14. 단말기에서 증강현실에 필요한 마커를 촬영하고, 실시간으로 영상을 입력받는 단계;
    상기 단말기는 입력받은 영상을 인코딩하여 서버에 전송하는 단계;
    상기 서버는 인코딩된 영상신호를 디코딩하는 단계;
    상기 서버는 상기 디코딩된 영상신호를 분석하여 객체정보가 표시되어야 할 영역을 계산하고, 상기 디코딩된 영상신호를 분석하여 필요한 변형정보를 산출하고, 상기 변형정보를 기반으로 객체 데이터를 2차원 데이터로 변형 및 렌더링하는 방식으로, 상기 디코딩된 영상신호로부터 객체정보가 표시되어야 할 영역을 계산하는 단계;
    상기 서버는 상기 객체정보를 상기 영상신호에 정합하는 단계;
    상기 서버는 정합된 영상신호를 인코딩하여 상기 단말기에 전송하는 단계;
    상기 단말기는 상기 서버로부터 수신한 인코딩된 영상신호를 디코딩하는 단계; 및
    상기 단말기는 디코딩된 영상신호를 재생하여 디스플레이하는 단계를 포함하는 증강현실 제공 방법.
  15. 삭제
KR1020090103302A 2009-10-29 2009-10-29 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 KR101085718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090103302A KR101085718B1 (ko) 2009-10-29 2009-10-29 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090103302A KR101085718B1 (ko) 2009-10-29 2009-10-29 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110046703A KR20110046703A (ko) 2011-05-06
KR101085718B1 true KR101085718B1 (ko) 2011-11-21

Family

ID=44238095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090103302A KR101085718B1 (ko) 2009-10-29 2009-10-29 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101085718B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI512487B (zh) * 2012-05-31 2015-12-11 Intel Corp 提供擴增實境服務之方法、伺服器和電腦可讀取記錄媒體
KR20190045679A (ko) 2017-10-24 2019-05-03 삼성에스디에스 주식회사 증강 현실 서비스 제공 방법 및 그 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942049B (zh) 2014-04-14 2018-09-07 百度在线网络技术（北京）有限公司 增强现实的实现方法、客户端装置和服务器
KR102629990B1 (ko) 2019-12-03 2024-01-25 엘지전자 주식회사 허브 및 이를 포함하는 전자 디바이스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI512487B (zh) * 2012-05-31 2015-12-11 Intel Corp 提供擴增實境服務之方法、伺服器和電腦可讀取記錄媒體
TWI564730B (zh) * 2012-05-31 2017-01-01 英特爾股份有限公司 提供擴增實境服務之方法、伺服器和電腦可讀取記錄媒體
KR20190045679A (ko) 2017-10-24 2019-05-03 삼성에스디에스 주식회사 증강 현실 서비스 제공 방법 및 그 장치

Also Published As

Publication number Publication date
KR20110046703A (ko) 2011-05-06

Similar Documents

Publication Publication Date Title
US9001229B2 (en) Multiple sensor input data synthesis
WO2018059034A1 (zh) 一种全景视频播放方法及装置
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
CN114003190B (zh) 一种适应多场景和多设备的增强现实方法和装置
Han Mobile immersive computing: Research challenges and the road ahead
CN111869222B (zh) 基于http的dash客户端网元、方法及介质
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
US11310560B2 (en) Bitstream merger and extractor
US20230153941A1 (en) Video generation method and apparatus, and readable medium and electronic device
US20240048676A1 (en) Method, apparatus and device for processing immersive media data, storage medium
KR101085718B1 (ko) 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111773697A (zh) 游戏赛事直播画面的生成方法及装置与系统、介质、设备
CN114374853A (zh) 内容展示方法、装置、计算机设备和存储介质
CN109714628B (zh) 播放音视频的方法、装置、设备、存储介质及系统
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
CN114143568B (zh) 一种用于确定增强现实直播图像的方法与设备
CN115174954A (zh) 视频直播方法、装置、电子设备以及存储介质
Chen et al. Lightweight Neural Network‐Based Viewport Prediction for Live VR Streaming in Wireless Video Sensor Network
CN112714331B (zh) 信息提示方法和装置、存储介质、电子设备
CN112423108B (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
JP2006304163A (ja) 静止画生成システム
CN115225975A (zh) 多自由度场景下的沉浸式媒体获取方法、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141113

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 8