KR102218843B1 - 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법 - Google Patents

스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법 Download PDF

Info

Publication number
KR102218843B1
KR102218843B1 KR1020190148790A KR20190148790A KR102218843B1 KR 102218843 B1 KR102218843 B1 KR 102218843B1 KR 1020190148790 A KR1020190148790 A KR 1020190148790A KR 20190148790 A KR20190148790 A KR 20190148790A KR 102218843 B1 KR102218843 B1 KR 102218843B1
Authority
KR
South Korea
Prior art keywords
camera
image
virtual
augmented reality
generating
Prior art date
Application number
KR1020190148790A
Other languages
English (en)
Inventor
이승현
권순철
이재현
이대현
이문용
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190148790A priority Critical patent/KR102218843B1/ko
Application granted granted Critical
Publication of KR102218843B1 publication Critical patent/KR102218843B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 명세서는 실시간 영상 신호처리로 인해 높은 지연 시간을 가지는 기존 시스템에 반해 단순 그래픽 생성을 출력함으로 안정된 영상을 출력할 수 있는 증강현실 방송시스템을 개시한다. 본 명세서에 따른 증강현실 방송 시스템은, 영상 카메라와 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치된 스테레오 카메라를 포함하는 적어도 하나의 영상 촬영부; 상기 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성하는 가상 카메라 생성부; 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 컴퓨터 그래픽 생성부; 및 상기 영상 카메라가 촬영한 실제 공간 영상에 상기 컴퓨터 그래픽 생성부가 생성한 가상의 오브젝트를 합성하는 영상 합성부;를 포함하는 증강현실 방송 시스템으로서, 상기 가상 카메라는 상기 가상 공간 내에서 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정될 수 있다.

Description

스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법{MULTI-CAMERA AUGMENTED REALITY BROADCASTING SYSTEM BASED ON OVERLAPPING LAYER USING STEREO CAMERA AND PROVIDING METHOD THEREOF}
본 발명은 증강현실 방송시스템에 관한 것이며, 보다 상세하게는 중첩 레이어를 통해 영상 지연 문제를 개선한 증강현실 방송시스템에 관한 것이다.
기존 증강현실 방송시스템은 센서를 통한 위치 데이터와 실제 RGB 카메라의 영상 신호를 컴퓨터로 보내어 실제 카메라의 영상과 컴퓨터 그래픽(CG)을 실시간으로 합성하여 최종 영상물을 출력한다. 하지만 이러한 방식은 실시간 영상 신호처리에 따른 높은 지연 시간(latency)이 발생한다. 이는 컴퓨터 그래픽이 합성되지 않은 일반 카메라와의 연동성을 떨어뜨려 실시간 멀티 카메라 방식에서 사용하기 어렵다는 문제를 가지고 있으며 2대 이상의 증강현실 시스템을 사용하기 위해서는 동일한 수만큼의 컴퓨터 영상 입출력 시스템을 가지고 있어야 한다는 단점이 있다.
대한민국 등록특허공보 제　10-1850482호 (2018.04.13)
본 명세서는 실시간 영상 신호처리로 인해 높은 지연 시간을 가지는 기존 시스템에 반해 단순 그래픽 생성을 출력함으로 안정된 영상을 출력할 수 있는 증강현실 방송시스템을 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 증강현실 방송 시스템은, 영상 카메라와 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치된 스테레오 카메라를 포함하는 적어도 하나의 영상 촬영부; 상기 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성하는 가상 카메라 생성부; 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 컴퓨터 그래픽 생성부; 및 상기 영상 카메라가 촬영한 실제 공간 영상에 상기 컴퓨터 그래픽 생성부가 생성한 가상의 오브젝트를 합성하는 영상 합성부;를 포함하는 증강현실 방송 시스템으로서, 상기 가상 카메라는 상기 가상 공간 내에서 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 스테레오 카메라는 촬영 공간에 대해서 깊이 지도(Depth Map)를 생성할 수 있는 정보를 상기 가상 카메라 생성부에게 출력할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 스테레오 카메라는 관성측정유닛을 포함하고, 상기 관성측정유닛은 상기 스테레오 카메라의 현재 위치 및 회전 정보를 상기 가상 카메라 생성부에게 출력할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 가상 카메라 생성부는 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부에서 출력된 정보를 이용하여 가상 카메라를 생성할 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 컴퓨터 그래픽 생성부는 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성할 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 영상 합성부는 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라가 촬영한 실제 공간 영상에 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성할 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 증강현실 영상 생성 방법은, 영상 카메라와 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치된 스테레오 카메라를 가진 적어도 하나의 영상 촬영부와 프로세서를 포함하는 증강현실 방송 시스템을 이용하여 증강현실 영상을 생성하는 방법으로서, (a) 상기 프로세서가, 상기 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 생성된 가상 카메라가 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정하는 단계; (b) 상기 프로세서가, 상기 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성하는 단계; (c) 상기 프로세서가, 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 단계; 및 (d) 상기 프로세서가, 상기 영상 카메라가 촬영한 실제 공간 영상에 상기 생성된 가상의 오브젝트를 합성하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 (a) 단계는, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부에서 출력된 정보를 이용하여 가상 카메라를 생성하는 단계일 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 (b) 단계는, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 단계일 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 영상 촬영부는 복수 개이며, 상기 (c) 단계는, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라가 촬영한 실제 공간 영상에 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성하는 단계일 수 있다.
본 명세서에 따른 증강현실 영상 생성 방법은 컴퓨터에서 증강현실 영상 생성의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서에 따른 증강현실 방송시스템은, 실시간 영상 신호처리로 인해 높은 지연 시간을 가지는 기존 시스템에 반해 단순 그래픽 생성을 출력함으로 안정된 영상을 출력할 수 있다. 이를 통해 멀티 카메라 운용이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 증강현실 방송 시스템의 개략적인 구성도이다.
도 2는 복수의 영상 중 하나의 영상에 가상 이미지를 합성하는 예시도이다.
도 3은 마커를 이용한 복수의 가상 카메라의 위치를 설정하는 참고도이다.
도 4는 본 명세서에 따른 증강현실 영상 생성 방법이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 증강현실 방송 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 명세서에 따른 증강현실 방송 시스템(100)은 적어도 하나의 영상 촬영부(110), 가상 카메라 생성부(120), 컴퓨터 그래픽 생성부(130) 및 영상 합성부(140)를 포함할 수 있다.
상기 영상 촬영부(110)는 영상 카메라(111)와 스테레오 카메라(120)를 포함할 수 있다.
상기 영상 카메라(111)는, 일반적으로 RGB 카메라로서, 증강현실 영상에서 배경이 되는 실제 현실 영상을 촬영하는 카메라이다. 상기 영상 카메라(111)에서 촬영된 영상은 상기 영상 합성부(140)로 출력될 수 있다.
상기 스테레오 카메라(120)는 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치될 수 있다. 상기 스테레오 카메라(120)는 촬영 공간에 대해서 깊이 지도(Depth Map)를 생성할 수 있는 정보를 상기 가상 카메라 생성부(120)에게 출력할 수 있다. 또한 상기 스테레오 카메라(120)는 내부에 관성측정유닛(Inertial Measurement Unit, IMU)를 포함할 수 있다. 상기 관성측정유닛은 상기 스테레오 카메라(120)의 현재 위치 및 회전 정보 등을 상기 가상 카메라 생성부(120)에게 출력할 수 있다. 이를 위해 상기 관성측정유닛은 가속도센서, 자이로스코프 센서, 지자기 센서 등을 포함할 수 있다.
상기 가상 카메라 생성부(120)는 상기 스테레오 카메라(120)에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성할 수 있다. 상기 가상 공간은 상기 스테레오 카메라(120)에서 출력된 정보 중 촬영 공간에 대해서 깊이 지도(Depth Map)를 생성할 수 있는 정보를 이용하여 생성될 수 있다. 상기 가상 카메라는 상기 스테레오 카메라(120)에서 출력된 정보 중 상기 관성측정유닛에서 출력된 정보를 이용하여 생성될 수 있다.
한편, 상기 가상 카메라는 상기 영상 카메라(111)가 촬영하는 촬영각, 촬영방향, 촬영높이 등이 일치하도록 교정될 수 있다. 상기 영상 카메라(111)와 상기 스테레오 카메라(120)가 현실 공간에서 물리적으로 근접하게 배치되어 있어도, 상기 영상 카메라(111)와 상기 스테레오 카메라(120)의 위치는 서로 다르며 이로 인해 상기 영상 카메라(111)와 상기 스테레오 카메라(120)가 촬영하는 영상도 서로 다를 수 있다. 따라서, 상기 스테레오 카메라(120)에서 출력된 정보가 상기 영상 카메라(111)에서 촬영된 것과 같이 수정을 하는 것이 상기 "교정(Calibration)"이다. 상기 교정 방법의 일 예로, 체크보드 영상을 이용하는 교정일 수 있다. 체크보드 영상을 이용한 카메라 교정은 동일한 체크보드를 상기 영상 카메라(111)와 상기 스테레오 카메라(120)로 촬영한다. 그리고 상기 영상 카메라(111)로 촬영한 영상과 상기 스테레오 카메라(120)로 촬영한 영상이 일치하도록, 상기 스테레오 카메라(120)에서 출력된 정보를 수정하는 것이다.
따라서, 상기 상기 가상 카메라는 상기 가상 공간 내에서 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정될 수 있다. 이를 통해, 상기 영상 카메라(111)가 움직일 때 마다, 상기 스테레오 카메라(120)가 함께 움직이게 되고, 스테레오 카메라(120)에서 출력된 정보를 이용하여 생성된 가상 카메라 역시 가상 공간 내에서 동일하게 움직일 수 있다.
상기 컴퓨터 그래픽 생성부(130)는 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성할 수 있다. 상기 가상의 오브젝트는 가상 공간 내의 3차원 오브젝트일 수 있다. 3차원 오브젝트는 가상 공간 내 시점에 따라 보여지는 모습이 변화될 수 있다. 앞서 설명하였듯이, 상기 가상 카메라는 상기 영상 카메라(111)가 현실 공간에서 움직일 때 마다 동일하게 가상 공간에서 움직일 수 있다. 따라서, 상기 영상 카메라(111)의 시점 변화와 동일하게 상기 가상 카메라의 시점도 변화하게 된다. 상기 컴퓨터 그래픽 생성부(130)는 상기 가상 공간 내 상기 가상 카메라의 시점 변화에 대응하여 상기 3차원 오브젝트에 해당하는 가상의 오브젝트를 생성할 수 있다.
상기 영상 합성부(140)는 상기 영상 카메라(111)가 촬영한 실제 공간 영상에 상기 컴퓨터 그래픽 생성부(130)가 생성한 가상의 오브젝트를 합성할 수 있다.
한편, 본 명세서에 따른 증강현실 방송 시스템(100)은 복수의 영상 촬영부(110)를 포함할 수 있다. 복수의 영상 촬영부(110)가 존재할 경우, 어느 영상 촬영부(110)에 촬영한 영상을 최종적으로 출력할 것인지 선택할 수 있다. 본 명세서에서는 어느 영상을 최종 영상으로 출력할 것인지 선택하는 신호를 '영상 선택 신호'라 명명하고, 상기 영상 선택 신호는 외부에서 입력되는 것으로 가정하겠다.
본 명세서의 일 실시예에 따르면, 상기 가상 카메라 생성부(120)는 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부(110)에서 출력된 정보를 이용하여 가상 카메라를 생성할 수 있다. 즉, 하나의 가상 카메라만 생성하는 것이다.
본 명세서의 다른 실시예에 따르면, 상기 컴퓨터 그래픽 생성부(130)는 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부(110)와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성할 수 있다. 즉, 하나의 가상 오브젝트만 생성하는 것이다.
본 명세서의 또 다른 실시예에 따르면, 상기 영상 합성부(140)는 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라(111)가 촬영한 실제 공간 영상에 해당 영상 촬영부(110)와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성할 수 있다. 즉, 다수의 영상 레이어에서 하나의 영상 레이어를 선택하고, 다수의 가상 오프젝트에서 하나의 가상 오브젝트를 선택하여, 선택된 영상 레이어에 선택된 가상 오브젝트를 합성하는 것이다.
도 2는 복수의 영상 중 하나의 영상에 가상 이미지를 합성하는 예시도이다.
도 2를 참조하면, 복수의 영상 촬영부(110)에 각각 포함된 영상 카메라(111)가 촬영한 영상을 각각 레이어로 처리하는 것을 확인할 수 있다. 그리고 복수의 영상 촬영부(110)에 각각 포함된 스테레오 카메라(120)를 통해 생성된 가상 카메라의 시점에 따라 각각의 레이어로 처리된 가상 이미지(가상 오브젝트)를 확인할 수 있다. 본 명세서에 따른 증강현실 방송 시스템은 상기 영상 선택 신호에 따라 선택된 하나의 영상 레이어에 하나의 가상 이미지 레이어를 합성하여 최종 영상을 출력할 수 있다. 상기 가상 이미지는 알파 값의 형태로 출력한다는 점에서 기존 증강현실 스튜디오 시스템과의 차이가 있다. 기존 시스템은 실시간 영상 신호처리로 인해 높은 지연 시간을 가지지만, 본 명세서에 따른 증강현실 방송 시스템은 알파 값의 형태로 출력을 통해 단순 그래픽 생성을 출력함으로 안정된 영상을 출력할 수 있다. 즉, 상기 컴퓨터 그래픽 생성부(130)는 알파 값을 출력하여 상기 영상 합성부(140)에서 레이어 중첩을 이용하여 최종 합성 영상을 출력함으로서 안정된 환경에서 멀티 카메라 운용이 가능하다. 또한 2대 이상의 영상 촬영부(110)를 사용하는 경우, 컴퓨터 그래픽 생성부에서 가상 카메라의 시점을 변경하여 출력함으로 하나의 시스템에서 여러 대의 영상 촬영부(110)를 사용할 수 있는 장점을 가지고 있다.
한편, 복수의 영상 촬영부(110)가 존재할 경우, 상기 복수의 영상 촬영부(110)는 하나의 공간에 동시에 존재할 수 있다. 이 경우, 하나의 대상물을 서로 다른 각도에서 촬영할 수 있도록 실제 공간 내 서로 다른 위치에 배치될 수 있다. 이때, 실제 공간을 반영하는 가상 공간 역시, 가상의 카메라가 실제 카메라의 위치와 일치하도록 설정할 필요가 있다. 이를 위해서, 실제 공간상에서 마커를 이용하여 동일한 지점에 대한 정보가 필요할 수 있다.
도 3은 마커를 이용한 복수의 가상 카메라의 위치를 설정하는 참고도이다.
도 3을 참조하면, 복수의 영상 촬영부(110)가 실제 공간상에 배치된 앵커(Anchor)를 촬영하는 것을 확인할 수 있다. 상기 앵커를 촬영한 각도에 따라 상기 앵커를 촬영한 영상 역시 조금씩 다를 수 있다. 상기 앵커를 촬영한 영상을 이용하여 상기 가상 카메라 생성부(120)은 각각의 가상 카메라가 가상 공간 내에서 배치되는 위치를 현실 공간에서 배치된 카메라의 위치와 일치시킬 수 있다.
이하에서는 본 명세서에 따른 증강현실 방송 시스템(100)을 이용하여 증강현실 영상을 생성하는 방법을 설명하도록 하겠다. 다만, 본 명세서에 따른 증강현실 영상 생성 방법을 설명함에 있어서, 증강현실 방송 시스템(100)의 각 구성에 대한 반복적인 설명은 생략하도록 한다. 다만, 본 명세서에 따른 증강현실 방송 시스템(100)의 가상 카메라 생성부(120), 컴퓨터 그래픽 생성부(130) 및 영상 합성부(140)의 역할은 프로세서가 수행하는 것으로 설명하겠다.
도 4는본 명세서에 따른 증강현실 영상 생성 방법이다.
도 4를 조하면, 단계 S100에서, 프로세서는 상기 스테레오 카메라(120)에서 출력된 정보를 이용하여 가상 공간에 생성된 가상 카메라가 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정할 수 있다.
다음 단계 S110에서, 프로세서는 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성할 수 있다.
다음 단계 S120에서, 프로세서는 상기 영상 카메라(111)가 촬영한 실제 공간 영상에 상기 생성된 가상의 오브젝트를 합성할 수 있다.
한편, 상기 영상 촬영부는 복수 개인 경우, 상기 단계 S110은, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부에서 출력된 정보를 이용하여 가상 카메라를 생성하는 단계일 수 있다.
한편, 상기 영상 촬영부는 복수 개인 경우, 상기 단계 S120은, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 단계일 수 있다.
한편, 상기 영상 촬영부는 복수 개인 경우, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라가 촬영한 실제 공간 영상에 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성하는 단계일 수 있다.
본 명세서에 따른 증강현실 영상 생성 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.
상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 증강현실 방송 시스템
110 : 영상 촬영부
111 : 영상 카메라
112 : 스테레오 카메라
120 : 가상 카메라 생성부
130 : 컴퓨터 그래픽 생성부
140 : 영상 합성부

Claims (11)

  1. 영상 카메라와 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치된 스테레오 카메라를 포함하는 복수 개의 영상 촬영부;
    외부에 입력된 영상 선택 신호에 따라 해당 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성하는 가상 카메라 생성부;
    상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 컴퓨터 그래픽 생성부; 및
    상기 영상 카메라가 촬영한 실제 공간 영상에 상기 컴퓨터 그래픽 생성부가 생성한 가상의 오브젝트를 합성하는 영상 합성부;를 포함하는 증강현실 방송 시스템으로서,
    상기 가상 카메라는 상기 가상 공간 내에서 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정된 증강현실 방송 시스템.
  2. 청구항 1에 있어서,
    상기 스테레오 카메라는, 촬영 공간에 대해서 깊이 지도(Depth Map)를 생성할 수 있는 정보를 상기 가상 카메라 생성부에게 출력하는 것을 특징으로 하는 증강현실 방송 시스템.
  3. 청구항 1에 있어서,
    상기 스테레오 카메라는 관성측정유닛을 포함하고,
    상기 관성측정유닛은, 상기 스테레오 카메라의 현재 위치 및 회전 정보를 상기 가상 카메라 생성부에게 출력하는 것을 특징으로 하는 증강현실 방송 시스템.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 컴퓨터 그래픽 생성부는 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 것을 특징으로 하는 증강현실 방송 시스템.
  6. 청구항 1에 있어서,
    상기 영상 합성부는 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라가 촬영한 실제 공간 영상에 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성하는 것을 특징으로 하는 증강현실 방송 시스템.
  7. 영상 카메라와 상기 영상 카메라의 촬영 방향과 동일한 방향을 향하도록 배치된 스테레오 카메라를 가진 복수 개의 영상 촬영부와 프로세서를 포함하는 증강현실 방송 시스템을 이용하여 증강현실 영상을 생성하는 방법으로서,
    (a) 상기 프로세서가, 외부에 입력된 영상 선택 신호에 따라 해당 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 생성된 가상 카메라가 상기 영상 카메라의 움직임과 동일하게 움직이도록 설정하는 단계;
    (b) 상기 프로세서가, 상기 스테레오 카메라에서 출력된 정보를 이용하여 가상 공간에 가상 카메라를 생성하는 단계;
    (c) 상기 프로세서가, 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 단계; 및
    (d) 상기 프로세서가, 상기 영상 카메라가 촬영한 실제 공간 영상에 상기 생성된 가상의 오브젝트를 합성하는 단계;를 포함하는 증강현실 영상 생성 방법.
  8. 삭제
  9. 청구항 7에 있어서,
    상기 (b) 단계는, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 생성하는 단계인 증강현실 영상 생성 방법.
  10. 청구항 7에 있어서,
    상기 (c) 단계는, 상기 프로세서가 외부에 입력된 영상 선택 신호에 따라 상기 영상 카메라가 촬영한 실제 공간 영상에 해당 영상 촬영부와 관련된 상기 가상 카메라가 촬영한 가상의 오브젝트를 합성하는 단계인 증강현실 영상 생성 방법.
  11. 컴퓨터에서 청구항 7, 청구항 9 및 청구항 10 중 어느 한 청구항에 따른 증강현실 영상 생성의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
KR1020190148790A 2019-11-19 2019-11-19 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법 KR102218843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148790A KR102218843B1 (ko) 2019-11-19 2019-11-19 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148790A KR102218843B1 (ko) 2019-11-19 2019-11-19 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Publications (1)

Publication Number Publication Date
KR102218843B1 true KR102218843B1 (ko) 2021-02-22

Family

ID=74687560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148790A KR102218843B1 (ko) 2019-11-19 2019-11-19 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Country Status (1)

Country Link
KR (1) KR102218843B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040128A (zh) * 2021-11-24 2022-02-11 视辰信息科技(上海)有限公司 时间戳延时标定方法及系统、设备和计算机可读存储介质
WO2023017911A1 (ko) * 2021-08-13 2023-02-16 주식회사 비브스튜디오스 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
JP2016001476A (ja) * 2015-07-10 2016-01-07 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
KR101850482B1 (ko) 2016-10-27 2018-04-19 주식회사 씨제이헬로 방송 연동형 증강현실 서비스 시스템 및 방법
KR20190032473A (ko) * 2016-09-22 2019-03-27 애플 인크. 세계 및 사용자 센서들을 갖는 디스플레이 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
JP2016001476A (ja) * 2015-07-10 2016-01-07 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
KR20190032473A (ko) * 2016-09-22 2019-03-27 애플 인크. 세계 및 사용자 센서들을 갖는 디스플레이 시스템
KR101850482B1 (ko) 2016-10-27 2018-04-19 주식회사 씨제이헬로 방송 연동형 증강현실 서비스 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017911A1 (ko) * 2021-08-13 2023-02-16 주식회사 비브스튜디오스 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법
US11972167B2 (en) 2021-08-13 2024-04-30 Vive Studios Co., Ltd Device, system, and method for video shooting in virtual production
CN114040128A (zh) * 2021-11-24 2022-02-11 视辰信息科技(上海)有限公司 时间戳延时标定方法及系统、设备和计算机可读存储介质
CN114040128B (zh) * 2021-11-24 2024-03-01 视辰信息科技(上海)有限公司 时间戳延时标定方法及系统、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11380068B2 (en) Technique for recording augmented reality data
US11715269B1 (en) Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
CN108389264B (zh) 坐标系统确定方法、装置、存储介质及电子设备
CN109668545B (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
KR101905580B1 (ko) 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
JP2020514909A (ja) 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
WO2019006650A1 (zh) 虚拟现实内容的显示方法和装置
US11044398B2 (en) Panoramic light field capture, processing, and display
KR102218843B1 (ko) 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
US20230360333A1 (en) Systems and methods for augmented reality video generation
WO2022180459A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
KR20180106811A (ko) 벡터를 이용한 증강 현실 영상 구현 방법
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
KR20130118761A (ko) 증강 현실 생성을 위한 방법 및 시스템
JP7459195B2 (ja) 生成装置、生成方法、及びプログラム
JP2004310686A (ja) 画像処理方法及び装置
KR20210076615A (ko) 영상 정보 제공 방법 및 장치
JP6859763B2 (ja) プログラム、情報処理装置
KR102587078B1 (ko) 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
KR102453561B1 (ko) 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR102350226B1 (ko) 증강현실 컨텐츠 배치 장치 및 방법
KR102614102B1 (ko) 실물 객체에 대한 정밀한 추적을 위한 자동화된 캘리브레이션 시스템, 캘리브레이션 방법 및 캘리브레이션 방법을 기초로 이미지 내에서 실물 객체를 추적하고 실물 객체에 가상 모델을 증강하는 방법
KR102550967B1 (ko) 이미지 출력 방법 및 장치
KR101926459B1 (ko) 가상현실 이미지 처리방법 및 그 장치
KR20230056161A (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant