KR20180004557A - 증강현실 가상 스튜디오 시스템 및 그 구현 방법 - Google Patents

증강현실 가상 스튜디오 시스템 및 그 구현 방법 Download PDF

Info

Publication number
KR20180004557A
KR20180004557A KR1020160084276A KR20160084276A KR20180004557A KR 20180004557 A KR20180004557 A KR 20180004557A KR 1020160084276 A KR1020160084276 A KR 1020160084276A KR 20160084276 A KR20160084276 A KR 20160084276A KR 20180004557 A KR20180004557 A KR 20180004557A
Authority
KR
South Korea
Prior art keywords
virtual
studio
camera
marker
image
Prior art date
Application number
KR1020160084276A
Other languages
English (en)
Other versions
KR101983727B1 (ko
Inventor
김학서
정민재
Original Assignee
주식회사 그래픽코드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 그래픽코드 filed Critical 주식회사 그래픽코드
Priority to KR1020160084276A priority Critical patent/KR101983727B1/ko
Publication of KR20180004557A publication Critical patent/KR20180004557A/ko
Application granted granted Critical
Publication of KR101983727B1 publication Critical patent/KR101983727B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 가상 스튜디오 시스템 및 그 구현 방법에 관한 것으로, 스튜디오(10)에 설치되는 하나 이상의 스튜디오 마커(110);와, 하나 이상 배열된 가상 카메라 마커(130)가 부착된 영상 촬영부 카메라(120);와, 상기 스튜디오 마커(110) 및 상기 가상 카메라 마커(130)를 촬영할 수 있도록 하나 이상 설치되는 마커 촬영용 카메라(141)를 포함하여 구성되며, 상기 스튜디오 마커(110)의 촬영 영상을 통하여 상기 스튜디오(10)의 공간 정보를 검출하고, 상기 가상 카메라 마커(130)의 촬영 영상을 이용하여 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 마커 인식부(140);와, 상기 마커 인식부(140)로부터 전달받은 상기 스튜디오(10)의 공간 정보 및 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 증강 현실 가상 스튜디오 영상을 구현하여 합성하는 주제어부(150); 를 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100) 및 그 구현 방법에 관한 것이다.

Description

증강현실 가상 스튜디오 시스템 및 그 구현 방법{Argument Reality Virtual Studio System}
본 발명은 증강현실 가상 스튜디오 시스템 및 그 구현 방법에 관한 것으로, 스튜디오(10)에 설치되는 하나 이상의 스튜디오 마커(110);와, 하나 이상 배열된 가상 카메라 마커(130)가 부착된 영상 촬영부 카메라(120);와, 상기 스튜디오 마커(110) 및 상기 가상 카메라 마커(130)를 촬영할 수 있도록 하나 이상 설치되는 마커 촬영용 카메라(141)를 포함하여 구성되며, 상기 스튜디오 마커(110)의 촬영 영상을 통하여 상기 스튜디오(10)의 공간 정보를 검출하고, 상기 가상 카메라 마커(130)의 촬영 영상을 이용하여 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 마커 인식부(140);와, 상기 마커 인식부(140)로부터 전달받은 상기 스튜디오(10)의 공간 정보 및 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 증강 현실 가상 스튜디오 영상을 구현하여 합성하는 주제어부(150); 를 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100) 및 그 구현 방법에 관한 것이다.
가상 현실(Virtual Reality)이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다.
한편, 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.
증강 현실의 가장 간단한 형태로는 엔터테인먼트와 뉴스 분야 등에서 응용되고 있다. TV에서 일기예보를 하는 경우 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 것을 볼 수 있는데, 실제로는 기상 캐스트가 블루스크린(Blue-Screen) 앞에 서 있고 컴퓨터로 만들어진 가상의 영상이 가상 스튜디오 환경을 만들어 증강 현실을 이루어내는 것이다. 또한 스포츠 중계에서 경기장에 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 화면에 삽입하여 시청자들에게 송출하는 가상 광고 시스템이나, 핸드폰 카메라를 이용하여 사용자의 동작을 인식하고, 반응하도록 구성된 게임 등이 증강현실의 응용 예라 할 수 있다.
그러나 현재 증강 현실 기술들이 그 용용 가능성이 다양함에도 불구하고, 실제적인 이용을 제한하게 되는 가장 근본적인 문제점 중의 하나가 바로 정합(Registration) 문제이다. 정합이란 증강현실에서 사용자가 보는 현실세계와 가상으로 생성된 물체가 서로 적절히 배치되는 일련의 과정을 말하는 것으로, 카메라의 위치와 카메라가 바라보는 방향을 정확히 추적해야만 원하는 가상의 그래픽을 영상의 정확한 장소에 위치시킬 수 있게 된다.
종래의 정합 시스템은 영상에서 위치와 자세가 알려진 패턴을 인식하여 현재 카메라의 위치와 방향을 알아내는 방법, GPS, 자이로 등 실시간으로 얻어지는 센서정보를 이용하여 현재 카메라의 위치와 자세를 구하는 방법들이 사용되었는데, 이들은 잡음과 주위 환경, 센서 자체의 저 해상도 특성으로 인하여 정확한 정합이 어렵게 되는 문제점이 있었다.
이러한 기존의 문제점을 해결하기 위하여 하기 특허문헌 1의 "증강 현실 장치 및 가상 이미지 합성 방법(대한민국 등록특허 제10-0941749호)"에는 카메라를 통해 실사 영상을 입력받는 단계, 카메라에 부착된 카메라 센서로부터 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계, 초기 자세 정보에 카메라 센서로부터 수신되는 카메라의 회전 정보를 더하여 카메라의 현재 자세 정보를 생성하는 단계, 카메라의 위치 정보 및 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고 계산된 합성 위치를 기초하여 가상 이미지를 실사 영상에 합성하는 단계를 포함하는 기술이 제안되었다.
그러나 상기한 기존 기술은 카메라의 위치정보를 획득하기 위하여, 카메라에 일체형으로 구현되는 방위각 센서(digital compass), 관성 측정 장치(inertial measurement unit, IMU), 팬 틸트 센서, 고정밀 DGPS(Differential GPS)등을 포함하는 구성을 택하고 있는 바, 이러한 경우 장비의 가격이 고가인 것은 물론, 필요에 따라 카메라를 교체하여 설치하거나 하는 경우 동일하게 상기한 센서들이 내장된 카메라를 사용해야만 하므로 카메라 선택이 극히 제한될 수밖에 없다는 문제점이 있었다.
또한, 카메라를 교체하는 경우 교체된 카메라에 따라 보정 단계 등을 수행하여야만 한다는 문제점이 있었다.
대한민국 등록특허 제10-0941749호
본 발명은 상기한 기존 발명들의 문제점을 해결하여, 스튜디오 및 카메라에 각각 마커를 설치하고 설치된 마커를 촬영하는 간단하고도 효율적인 구성으로 증강 현실 가상 스튜디오를 구현하기 위해 필수적인 정합(Registration)을 효율적으로 수행하는 것이 가능한 증강현실 가상 스튜디오 시스템 및 그 구현 방법을 제공하는 것을 그 과제로 한다.
상기한 과제를 해결하기 위하여 본 발명의 증강현실 가상 스튜디오 시스템 은, 스튜디오(10)에 설치되는 하나 이상의 스튜디오 마커(110);와, 하나 이상 배열된 가상 카메라 마커(130)가 부착된 영상 촬영부 카메라(120);와, 상기 스튜디오 마커(110) 및 상기 가상 카메라 마커(130)를 촬영할 수 있도록 하나 이상 설치되는 마커 촬영용 카메라(141)를 포함하여 구성되며, 상기 스튜디오 마커(110)의 촬영 영상을 통하여 상기 스튜디오(10)의 공간 정보를 검출하고, 상기 가상 카메라 마커(130)의 촬영 영상을 이용하여 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 마커 인식부(140);와, 상기 마커 인식부(140)로부터 전달받은 상기 스튜디오(10)의 공간 정보 및 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 증강 현실 가상 스튜디오 영상을 구현하여 합성하는 주제어부(150); 를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 스튜디오(10) 상에 배열될 아이템(1)의 위치에 설치되는 아이템 마커(180); 를 더 포함하여 구성되고, 상기 마커 인식부(140)는 상기 아이템 마커(180)의 촬영 영상을 통하여 상기 아이템 마커(180)의 3차원 위치 정보를 더 검출하는 것을 특징으로 한다.
또한, 상기 주제어부(150)는, 상기 스튜디오(10)의 공간 정보를 이용하여 가상 스튜디오 영상을 생성하는 가상 스튜디오 생성부(151);와, 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 가상 카메라를 생성하는 가상 카메라 생성부(153);와, 상기 아이템 마커(180)의 3차원 위치 정보를 이용하여 가상 아이템의 영상을 생성하는 가상 아이템 생성부(153); 를 더 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 주제어부(150)에 연결되는 저장부(160);와, 상기 주제어부(150)에 연결되며, 생성된 상기 증강 현실 가상 스튜디오 영상을 외부로 출력하는 인터페이스부(170); 를 더 포함하여 구성되는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 의한 증강현실 가상 스튜디오 시스템의 구현 방법은, 상기 가상 스튜디오 마커(110)를 상기 스튜디오에 설치하는 단계(S1);와, 상기 영상 촬영부 카메라(120)를 설치하는 단계(S2);와, 상기 영상 촬영부 카메라(120)에 상기 가상 카메라 마커(130)를 설치하는 단계(S3);와, 상기 마커 촬영용 카메라(141)를 설치하는 단계(S4);와, 상기 마커 촬영용 카메라(141)를 작동하는 단계(S5);와, 상기 영상 촬영부 카메라(120)를 작동하는 단계(S6);와, 상기 주제어부(150)에서 가상 스튜디오 프로그램을 구동(S7)하여, 가상 스튜디오 및 가상 카메라를 구현하는 단계(S7c);와, 상기 영상 촬영부 카메라(120)에서 촬영된 영상을 크로마키 장비로 처리(S8)한 후, 가상 스튜디오 및 가상 카메라를 구현한 영상과 합성(S8)하는 단계; 를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 의하는 경우, 스튜디오 및 카메라에 각각 마커를 설치하고 설치된 마커를 촬영하는 간단하고도 효율적인 구성으로 증강 현실 가상 스튜디오를 구현하기 위해 필수적인 정합(Registration)을 효율적으로 수행하는 것이 가능하다는 장점이 있다.
도 1: 본 발명의 일 실시 예에 따른 증강현실 가상 스튜디오 시스템의 구성을 나타내는 도면.
도 2: 본 발명의 일 실시 예에 따른 증강현실 가상 스튜디오 시스템의 구성을 나타내는 블럭 다이어그램.
도 3: 본 발명의 일 실시 예에 따른 증강현실 가상 스튜디오 시스템의 구현 방법을 나타내는 흐름도.
도 4: 본 발명의 일 실시 예에 따른 증강현실 가상 스튜디오 시스템에서 구현된 가상 스튜디오 영상을 나타내는 도면.
이하에서는 첨부된 도면을 참조로 하여, 본 발명의 일 실시 예에 따른 증강현실 가상 스튜디오 시스템 및 그 구현 방법을 상세히 설명한다. 우선, 도면들 중, 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호로 나타내고 있음에 유의하여야 한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 관한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.
먼저, 본 발명의 일 실시예에 의한 증강현실 가상 스튜디오 시스템에 관하여 설명한다.
본 발명의 일 실시예에 의한 증강현실 가상 스튜디오 시스템9100)은 도 1 및 도 2에 나타낸 것과 같이, 스튜디오 마커(110), 영상 촬영부 카메라(120), 가상 카메라 마커(130), 마커 인식부(140) 및 주제어부(150)를 포함하여 구성된다.
먼저, 스튜디오 마커(110)에 관하여 설명한다. 상기 스튜디오 마커(110)는 도 1에 나타낸 것과 같이 스튜디오(10)에 하나 이상 설치된다. 이 경우, 상기 스튜디오 마커(110)는 필요에 따라 도 1에 나타낸 것과 같이 기둥(30)과 같은 구조물 위에 설치되는 것도 가능하다.
다음으로, 영상 촬영부 카메라(120)에 관하여 설명한다. 상기 영상 촬영부 카메라(120)는 촬영 대상자(20) 등과 같이 합성된 증강현실 영상에서 촬영된 영상으로 합성되어 표현될 대상물을 촬영하는 기능을 가진다.
다음으로, 가상 카메라 마커(130)에 관하여 설명한다. 상기 가상 카메라 마커(130)는 상기 영상 촬영부 카메라(120)의 실제 위치 등의 정보를 검출하기 위한 것으로, 도 1 및 도 2에 나타낸 것과 같이 상기 영상 촬영부 카메라(120)에 하나 이상 배열되어 부착된다. 이러한 구성에 의하여 필요에 따라 상기 영상 촬영부 카메라(120)를 교체하여 사용하는 경우에도, 간단하게 상기 가상 카메라 마커(130) 만을 교체되 상기 영상 촬영부 카메라(120)에 부착하는 것만으로도 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 것이 가능하지는 것은 물론, 별도의 센서 장치 등이 필요없으므로 상기 영상 촬영부 카메라(120)를 선택하는 데 제한이 없게 된다.
다음으로, 마커 인식부(140)에 관하여 설명한다. 상기 마커 인식부(140)는 도 1 및 도 2에 나타낸 것과 같이 상기 스튜디오 마커(110) 및 상기 가상 카메라 마커(130)를 촬영할 수 있도록 하나 이상 설치되는 마커 촬영용 카메라(141)를 포함하여 구성된다. 한편, 상기 마커 인식부(140)는 상기 스튜디오 마커(110)의 촬영 영상을 통하여 상기 스튜디오(10)의 공간 정보를 검출하고, 상기 가상 카메라 마커(130)의 촬영 영상을 이용하여 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 기능을 수행한다.
한편, 증강 현실 가상 스튜디오의 영상에서 배경과 인물 이외에 다양한 소품들을 포함하며 그 위치나 형상을 변경하여 표현하여야 하는 아이템(item)을 표현하는 것이 필요한 경우가 있다. 이러한 경우를 위하여 도 1 및 도 2에 나타낸 것과 같이, 상기 스튜디오(10) 상에 배열될 아이템(1)의 위치에 설치되는 아이템 마커(180); 를 더 포함하여 구성되고, 상기 마커 인식부(140)는 상기 아이템 마커(180)의 촬영 영상을 통하여 상기 아이템 마커(180)의 3차원 위치 정보를 더 검출하는 것이 바람직하다.
다음으로, 주제어부(150)에 관하여 설명한다. 상기 주제어부(150)는 도 2에 나타낸 것과 같이, 상기 마커 인식부(140)로부터 전달받은 상기 스튜디오(10)의 공간 정보 및 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 증강 현실 가상 스튜디오 영상을 구현하여 합성하는 기능을 가지도록 구성된다.
이러한 상기 주제어부(150)는 다양한 실시예로 구현되는 것이 가능하며, 그 일실시예로 상기 주제어부(150)는 도 2에 나타낸 것과 같이, 상기 스튜디오(10)의 공간 정보를 이용하여 가상 스튜디오 영상을 생성하는 가상 스튜디오 생성부(151)와, 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 가상 카메라를 생성하는 가상 카메라 생성부(153)와, 상기 아이템 마커(180)의 3차원 위치 정보를 이용하여 가상 아이템의 영상을 생성하는 가상 아이템 생성부(153)를 더 포함하여 구성되는 것이 바람직하다.
한편, 상기 주제어부(150)는 범용적으로 널리 이용되는 "Unreal Engine™" 과 같은 3차원 가상현실 구현 영상처리 프로그램을 이용하여 구성되는 것도 가능하다. 이러한 기존의 프로그램을 이용하여 구현된 3차원 증강현실 가상 영상에 상기 영상 촬영부 카메라(120)를 통하여 촬영된 실제 영상을 크로마키 등의 영상 처리단계를 거쳐 합성하여, 최종적인 증강현실 가상 영상을 구현할 수 있게 된다.
또한, 상기 주제어부(150)는 도 2에 나타낸 것과 같이 상기 주제어부(150)에 연결되는 저장부(160)를 더 포함하도록 하여 구현된 증강 현실 영상 정보를 저장할 수 잇도록 하는 것이 바람직하다. 한편, 상기 주제어부(150)는 도 2에 나타낸 것과 같이 상기 주제어부(150)에 연결되며, 생성된 상기 증강 현실 가상 스튜디오 영상을 외부로 출력하는 인터페이스부(170)를 더 포함하여 구성되는 것이 바람직하다.
다음으로, 본 발명의 일 실시예에 의한 증강현실 가상 스튜디오 시스템의 구현 방법에 관하여 설명한다.
본 발명의 일 실시예에 의한 증강현실 가상 스튜디오 시스템의 구현 방법은 ㄷ 3에 나타낸 것과 같이, 상기 가상 스튜디오 마커(110)를 상기 스튜디오에 설치하는 단계(S1)와, 상기 영상 촬영부 카메라(120)를 설치하는 단계(S2)와, 상기 영상 촬영부 카메라(120)에 상기 가상 카메라 마커(130)를 설치하는 단계(S3)와, 상기 마커 촬영용 카메라(141)를 설치하는 단계(S4)와, 상기 마커 촬영용 카메라(141)를 작동하는 단계(S5)와, 상기 영상 촬영부 카메라(120)를 작동하는 단계(S6)와, 상기 주제어부(150)에서 "Unreal Engine™" 과 같은 "가상 스튜디오 프로그램을 구동(S7)하여, 가상 스튜디오 및 가상 카메라를 구현하는 단계(S7c)와, 상기 영상 촬영부 카메라(120)에서 촬영된 영상을 크로마키 장비로 처리(S8)한 후, 가상 스튜디오 및 가상 카메라를 구현한 영상과 합성(S8)하는 단계를 포함하여 구성될 수 있다.
도면과 명세서에서 최적 실시 예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 스튜디오
20: 촬영대상자
100: 증강현실 가상 스튜디오 시스템
110: 가상 스튜디오 마커
120: 영상 촬영부 카메라
130: 가상 카메라 마커
140: 마커 인식부 141: 마커 촬영용 카메라
150: 주 제어부
151: 가상 스튜디오 생성부 152: 가상 카메라 생성부
153: 가상 아이템 생성부
160: 저장부
170: 인터페이스
180: 아이템 마커

Claims (5)

  1. 스튜디오(10)에 설치되는 하나 이상의 가상 스튜디오 마커(110);
    하나 이상 배열된 가상 카메라 마커(130)가 부착된 영상 촬영부 카메라(120);
    상기 가상 스튜디오 마커(110) 및 상기 가상 카메라 마커(130)를 촬영할 수 있도록 하나 이상 설치되는 마커 촬영용 카메라(141)를 포함하여 구성되며, 상기 가상 스튜디오 마커(110)의 촬영 영상을 통하여 상기 스튜디오(10)의 공간 정보를 검출하고, 상기 가상 카메라 마커(130)의 촬영 영상을 이용하여 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 검출하는 마커 인식부(140);
    상기 마커 인식부(140)로부터 전달받은 상기 스튜디오(10)의 공간 정보 및 상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 증강 현실 가상 스튜디오 영상을 구현하여 합성하는 주제어부(150); 를 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100).
  2. 청구항 제 1항에 있어서,
    상기 스튜디오(10) 상에 배열될 아이템(1)의 위치에 설치되는 아이템 마커(180); 를 더 포함하여 구성되고,
    상기 마커 인식부(140)는 상기 아이템 마커(180)의 촬영 영상을 통하여 상기 아이템 마커(180)의 3차원 위치 정보를 더 검출하는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100).
  3. 청구항 제 2항에 있어서,
    상기 주제어부(150)는,
    상기 스튜디오(10)의 공간 정보를 이용하여 가상 스튜디오 영상을 생성하는 가상 스튜디오 생성부(151);
    상기 영상 촬영부 카메라(120)의 3차원 위치 및 상하좌우 촬영각을 이용하여 가상 카메라를 생성하는 가상 카메라 생성부(153);
    상기 아이템 마커(180)의 3차원 위치 정보를 이용하여 가상 아이템의 영상을 생성하는 가상 아이템 생성부(153); 를 더 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100).
  4. 청구항 제 3항에 있어서,
    상기 주제어부(150)에 연결되는 저장부(160);
    상기 주제어부(150)에 연결되며, 생성된 상기 증강 현실 가상 스튜디오 영상을 외부로 출력하는 인터페이스부(170); 를 더 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템(100).
  5. 청구항 제 1항 내지 제4항 중 어느 한 항의 증강현실 가상 스튜디오 시스템을 이용한 증강현실 가상 스튜디오 시스템 구현 방법에 있어서,
    상기 가상 스튜디오 마커(110)를 상기 스튜디오에 설치하는 단계(S1);
    상기 영상 촬영부 카메라(120)를 설치하는 단계(S2);
    상기 영상 촬영부 카메라(120)에 상기 가상 카메라 마커(130)를 설치하는 단계(S3);
    상기 마커 촬영용 카메라(141)를 설치하는 단계(S4);
    상기 마커 촬영용 카메라(141)를 작동하는 단계(S5);
    상기 영상 촬영부 카메라(120)를 작동하는 단계(S6);
    상기 주제어부(150)에서 가상 스튜디오 프로그램을 구동(S7)하여, 가상 스튜디오 및 가상 카메라를 구현하는 단계(S7c);
    상기 영상 촬영부 카메라(120)에서 촬영된 영상을 크로마키 장비로 처리(S8)한 후, 가상 스튜디오 및 가상 카메라를 구현한 영상과 합성(S8)하는 단계; 를 포함하여 구성되는 것을 특징으로 하는 증강현실 가상 스튜디오 시스템 구현 방법.
KR1020160084276A 2016-07-04 2016-07-04 증강현실 가상 스튜디오 시스템 및 그 구현 방법 KR101983727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160084276A KR101983727B1 (ko) 2016-07-04 2016-07-04 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160084276A KR101983727B1 (ko) 2016-07-04 2016-07-04 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Publications (2)

Publication Number Publication Date
KR20180004557A true KR20180004557A (ko) 2018-01-12
KR101983727B1 KR101983727B1 (ko) 2019-06-04

Family

ID=61000939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160084276A KR101983727B1 (ko) 2016-07-04 2016-07-04 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Country Status (1)

Country Link
KR (1) KR101983727B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230060328A (ko) 2021-10-27 2023-05-04 (주)와이즈업 온라인 강의를 위한 ai 스튜디오 시스템 및 이의 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941749B1 (ko) 2008-08-25 2010-02-11 에이알비전 (주) 증강 현실 장치 및 가상 이미지 합성 방법
KR20120038316A (ko) * 2010-10-13 2012-04-23 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR20160022704A (ko) * 2014-08-20 2016-03-02 재단법인 아산사회복지재단 수술 내비게이션에 의해 수술도구를 표시하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941749B1 (ko) 2008-08-25 2010-02-11 에이알비전 (주) 증강 현실 장치 및 가상 이미지 합성 방법
KR20120038316A (ko) * 2010-10-13 2012-04-23 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR20160022704A (ko) * 2014-08-20 2016-03-02 재단법인 아산사회복지재단 수술 내비게이션에 의해 수술도구를 표시하는 방법

Also Published As

Publication number Publication date
KR101983727B1 (ko) 2019-06-04

Similar Documents

Publication Publication Date Title
US11721076B2 (en) System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera
CN109716398B (zh) 图像处理设备、图像生成方法和存储介质
US9390344B2 (en) Sensor-based camera motion detection for unconstrained slam
US9729788B2 (en) Image generation apparatus and image generation method
US8797353B2 (en) Augmented media message
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
US9894272B2 (en) Image generation apparatus and image generation method
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
US20140300693A1 (en) Image generation apparatus and image generation method
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
JP2008033531A (ja) 情報処理方法
JP2006059136A (ja) ビューア装置及びそのプログラム
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2012038153A (ja) 周囲情報検索装置及び周囲情報検索方法
JP6374754B2 (ja) 画像合成装置及びそのプログラム
JPWO2018179176A1 (ja) 表示制御装置、表示制御方法、及びプログラム
US9305401B1 (en) Real-time 3-D video-security
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2018033107A (ja) 動画の配信装置及び配信方法
KR101983727B1 (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법
Albrecht et al. Omnidirectional video stabilisation on a virtual camera using sensor fusion
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20200167948A1 (en) Control system, method of performing analysis and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101004534; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170922

Effective date: 20190416

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)