KR102490449B1 - 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법 - Google Patents

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법 Download PDF

Info

Publication number
KR102490449B1
KR102490449B1 KR1020220103889A KR20220103889A KR102490449B1 KR 102490449 B1 KR102490449 B1 KR 102490449B1 KR 1020220103889 A KR1020220103889 A KR 1020220103889A KR 20220103889 A KR20220103889 A KR 20220103889A KR 102490449 B1 KR102490449 B1 KR 102490449B1
Authority
KR
South Korea
Prior art keywords
image
instructor
module
hologram
video
Prior art date
Application number
KR1020220103889A
Other languages
English (en)
Inventor
유선형
김용현
Original Assignee
(주)자이닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자이닉스 filed Critical (주)자이닉스
Application granted granted Critical
Publication of KR102490449B1 publication Critical patent/KR102490449B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/89Television signal recording using holographic recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 현장감 있는 강의 영상의 제공에 있어, 경제적 상황 및 강의 영상 수준 등을 고려해 온라인 강의에 참여하면서도 마치 오프라인 강의에 참여하는 거와 같은 느낌이 나도록 하는 실감형 실시간 원격 학습 시스템 및 방법에 관한 것이다. 먼저, 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템은 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 강의 영상과 함께 송신하는 스튜디오부, 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부 및 복수 개의 조명모듈을 포함하고 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하는 디스플레이부를 포함한다.
또한, 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은 (a) 스튜디오부가 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 강의 영상과 함께 송신하는 단계; (b)서버부가 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계; (c) 디스플레이부가 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함한다.

Description

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법{Realistic Real-Time Learning System Using Hologram Display Device And Method Thereof}
본 발명은 서로 다른 각각의 원격지에 있는 홀로그램 디스플레이 장치를 통해 실감나는 강사의 모습으로 강의를 수강할 수 있도록 하는 시스템과 관련된 기술이다. 즉, 본 발명은 원격학습과 관련된 기술이다.
통신 기술이 발달하게 되면서, 다양한 곳에서 서버에서 제공되는 영상을 많은 사람들이 시청할 수 있게 되었다. 아울러, 바이러스 등에 의한 전염병에 의해 비대면 수업인 원격 수업이 확산되고 있다. 비대면 원격 수업은 바이러스 감염 확산을 막으며 수업을 진행할 수 있는 유일한 방식으로 자리 잡았다.
현재까지, 많은 원격 수업은 원격지에 있는 카메라로 강의가 촬영되면, 카메라와 네트워크로 연결된 서버에 접속된 학습자가 강의 영상을 시청하는 방식으로 진행되고 있다. 원격 수업은 별도의 하드웨어, 소프트웨어 장치를 이용하여 실시간으로 학습자와 강의 영상을 공유하면서 수업을 진행하거나, 미리 녹화된 강의 영상을 영상 스트리밍 서버 등에 저장하여, 학습자에게 비실시간으로 전달하는 방식이다.
이와 같은 원격 수업은 강사자나 학습자의 입장에서는 직접 대면의 필요성이 없고, 시공간의 제약이 없어, 언제 어디서나 강의하고 학습할 수 있다는 장점을 가진다.
다만, 이러한 강의 영상을 이용하는 원격 수업은 직접 대면으로 진행하는 수업 방식에 비해서는 강사자의 실재감이 부족하고 실감성이 떨어져, 학습자를 장시간 집중시키게 할 수 없다는 문제를 가지고 있다.
이러한 문제를 해결하기 위해, 원격 학습 시스템에 대한 기술을 개발하는 쪽에서는 생생한 강의 영상을 전달할 수 있도록, VR(Virtual Realty), AR(Augmented Realty) 및 MR(Mixed Realty) 등에 기반하여 실감나는 영상을 제작하려는 시도가 활발하게 이루어지고 있다.
그러나, 이와 같은 실감 미디어 방식으로 강의 영상을 제작하려면 고가의 하드웨어 및 소프트웨어 장치를 구비한 특별한 전문 스튜디오 등의 영상 제작 장치 및 설비를 별도로 구성할 필요가 있다. 이에 따라, 영상 제작에 높은 비용이 드는 문제가 있다.
대한민국 공개특허 제10-2001-0096152호 (공개일: 2001년 11월 07일)
본 발명은 현장감 있는 온라인 강의 영상의 제공에 있어, 고 비용이 투입되는 문제를 해결하고 온라인 수업의 문제 즉, 수업 참여에 집중력이 떨어지는 문제를 해결하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템은 강의 영상을 촬영하고, 촬영된 된 강의 영상에 대한 환경데이터가 입력되면 강의 영상과 함께 환경데이터를 송신하는 스튜디오부, 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부 및 복수 개의 조명모듈을 포함하고, 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하는 디스플레이부를 포함한다.
여기서, 스튜디오부는 스튜디오 내에서 진행되는 강의를 촬영하는 카메라모듈과, 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 환경정보입력모듈과, 카메라모듈에서 촬영된 강의영상과 촬영환경정보를 서버부로 실시간으로 송신하는 강의영상정보송신모듈과, 컴퓨터의 입력값에 의해 빛의 세기 및 빛을 비추는 방향이 조절되며 스튜디오부의 스크린모듈을 향해 빛을 조사하는 조명모듈을 포함할 수 있다.
서버부는 네트워크를 통해 스튜디오부와 접속하여 강의 촬영 영상을 수신하는 영상수신모듈과, 스튜디오부로부터 환경데이터를 수신하는 환경데이터수신모듈과, 스튜디오부로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 설정 객체를 추출하는 강사영상추출모듈과, 추출된 강사 영상을 저장하는 강사영상저장모듈과, 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성한 후 저장하는 데이터관리모듈과, 강사영상추출모듈에서 추출된 강사 영상에 데이터관리모듈에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 영상합성모듈과, 영상합성모듈에서 생성된 강사합성영상을 디스플레이부에 전송하는 강사영상송신모듈과, 스튜디오부로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 조명제어데이터생성모듈과, 조명제어데이터생성모듈에서 생성된 조명제어데이터를 디스플레이부에 전송하는 조명제어정보송신모듈을 포함할 수 있다. 여기서, 디스플레이부는 서버부로부터 강사합성영상을 수신하는 강사영상수신모듈과, 수신된 강사합성영상을 재생하여 출력하는 강사영상재생모듈과, 서버부가 전송한 조명제어데이터를 수신하는 조명제어데이터수신모듈과, 조명제어데이터를 기반으로 복수 개의 조명모듈의 조명의 색도 및 조도를 제어하는 조명제어모듈과, 전면에 투명한 패널로 형성된 LCD패널이 설치되어 내부에 공간이 형성된 몸체모듈과, 몸체모듈의 내부 공간의 상단, 측면, 후면 및 하단에 설치되는 LED모듈과, 몸체모듈의 일면에서 전면을 향해 돌출 형성되어 측면으로부터 유입되는 빛이 LCD패널로 유입되지 않도록 하는 시선방제모듈을 포함할 수 있다.
여기서, 복수 개의 홀로그램 효과를 가지는 배경이미지는 칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함할 수 있다. 그리고 복수 개의 그림자이미지는 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함할 수 있다. 그리고 복수 개의 반사이미지는 강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은, (a) 스튜디오부에서 강의 영상을 촬영하고 촬영된 강의 영상에서 환경데이터를 추출하여 강의 영상과 함께 송신하는 단계, (b) 서버부가 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계, (c) 디스플레이부가 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함한다. 이때, 조명모듈은 컴퓨터의 입력값에 의해 빛의 세기 및 빛을 비추는 방향이 조절되며 스튜디오부의 스크린모듈을 향해 빛을 조사할 수 있다.
여기서, (a) 단계는 (a-1) 스튜디오부에 포함되는 카메라모듈이 스튜디오 내에서 진행되는 강의를 촬영하는 단계, (a-2) 스튜디오부에 포함되는 환경정보입력모듈이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 단계, (a-3) 스튜디오부에 포함되는 강의영상정보송신모듈이 강의촬영영상과 촬영환경정보를 서버부로 실시간으로 송신하는 단계를 포함할 수 있다. 또한, (b) 단계는 (b-1) 서버부에 포함되는 영상수신모듈이 네트워크를 통해 스튜디오부와 접속하여 강의 촬영 영상을 수신하는 단계, (b-2) 서버부에 포함되는 환경데이터수신모듈이 스튜디오부로부터 환경데이터를 수신하는 단계, (b-3) 서버부에 포함되는 강사영상추출모듈이 스튜디오부로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 강사영상을 추출하는 추출하는 단계, (b-4) 서버부에 포함되는 강사영상저장모듈이 추출된 강사 영상을 저장하는 단계, (b-5) 서버부에 포함되는 데이터관리모듈이 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성하며 생성된 이미지를 저장하는 단계, (b-6) 서버부에 포함되는 영상합성모듈이 강사영상추출모듈에서 추출된 강사 영상에 데이터관리모듈에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 단계, (b-7) 서버부에 포함되는 강사영상송신모듈이 영상합성모듈에서 생성된 강사합성영상을 디스플레이부에 전송하는 단계, (b-8) 서버부에 포함되는 조명제어데이터생성모듈이 스튜디오부로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 단계, (b-9) 서버부에 포함되는 조명제어정보송신모듈이 조명제어데이터생성모듈에서 생성된 조명제어데이터를 디스플레이부에 전송하는 단계를 포함할 수 있다.
(c) 단계는 (c-1) 디스플레이부에 포함되는 강사영상수신모듈이 서버부로 부터 강사합성영상을 수신하는 단계, (c-2) 디스플레이부에 포함되는 강사영상재생모듈이 수신된 강사합성영상을 재생하여 출력하는 단계, (c-3) 디스플레이부에 포함되는 조명제어데이터수신모듈이 수신된 서버부가 전송한 조명제어데이터를 수신하는 단계, (c-4) 디스플레이부에 포함되는 조명제어모듈이 조명제어데이터를 기반으로 복수 개의 조명모듈의 조명의 색도 및 조도를 제어하는 단계를 포함할 수 있다.
디스플레이부는 일면에 시선방제모듈이 돌출 형성되어 몸체모듈의 측면으로부터 LCD패널로 빛의 유입을 차단할 수 있다. 이때, 복수 개의 홀로그램 효과를 가지는 배경이미지는 칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함할 수 있다. 그리고 복수 개의 그림자이미지는 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함할 수 있다. 그리고 복수 개의 반사이미지는 강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함할 수 있다.
본 발명은 현장감 있는 강의 영상의 제공에 있어, 경제적 상황 및 강의 영상 수준 등을 고려해 온라인 강의에 참여하면서도 마치 오프라인 강의에 참여하는 것과 같은 느낌이 나도록 한다.
도 1은 본 발명의 일 실시예에 따른 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템의 전체 구성도이다.
도 2는 도 1의 본 발명의 일 실시예에 따른 스튜디오부의 기본 구성도이다.
도 3 및 도 4는 스튜디오부에 형성된 웹 인터페이스를 나타낸 도면이다.
도 5는 도 1의 본 발명의 일 실시예에 따른 서버의 기본 구성도이다.
도 6, 도 7, 도 8은 본 발명의 일 실시예에 따른 홀로그램 효과 이미지 세트의 예시를 나타낸 도면이다.
도 9는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 구성도이다.
도 10은 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 사시도이다.
도 11 및 도 12는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 작동 상태를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 강사 영상의 홀로그램 합성 후 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
도 14는 시선가리개판이 설치된 다른 실시예의 디스플레이부를 나타낸 도면이다.
도 15는 시선방제모듈이 설치된 또 다른 실시예의 디스플레이부를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 강사 영상의 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 본 발명의 실감형 실시간 원격학습방법의 순서도이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 장치는 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되지는 않는다. 본 발명은 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 발명의 청구범위는 청구항에 의해 정의될 수 있다. 아울러, 본 명세서 전체에 걸쳐 기재된 동일 참조 부호는 동일 구성요소를 지칭한다.
이하, 도 1 내지 도 17을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습에 대해 구체적으로 설명한다.
먼저, 도 1을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.
홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)은 서로 다른 원격지의 강의 현장에서 강의 영상을 촬영하고, 촬영한 강의 영상에서 강사 영상을 추출한다. 그리고 추출한 강사 영상을 홀로그램 영상으로 합성한 후, 서로 다른 원격지의 디스플레이부(30)로 송신하며 재생될 수 있도록 한다.
이와 같은 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)은 스튜디오부(10), 서버부(20) 및 디스플레이부(30)를 구성요소로 포함하여 강사 영상과 강사가 있는 곳의 조명 등의 환경적 요소를 추출하고 이를 다시 재현할 수 있는 홀로그램 강사 영상으로 제공함으로써, 원격 수업의 장점을 살리며 높은 온라인 효과를 기대할 수 있도록 한다. 여기서, 스튜디오부(10)와 서버부(20) 및 디스플레이부(30)는 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)을 구현하기 위한 각 구성 요소들로써 일반적으로 네트워크를 통하여 접속되고 연결된다.
이하, 도 2 내지 도 10을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 이루는 구성요소에 대해 구체적으로 설명한다.
도 2는 도 1의 본 발명의 일 실시예에 따른 스튜디오부의 기본 구성도이고, 도 3 및 도 4는 스튜디오부에 형성된 웹 인터페이스를 나타낸 도면이다. 그리고 도 5는 도 1의 본 발명의 일 실시예에 따른 서버의 기본 구성도이고, 도 6 , 도 7, 도 8은 본 발명의 일 실시예에 따른 홀로그램 효과 이미지 세트의 예시를 나타낸 도면이고, 도 9는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 구성도이다. 그리고 도 10은 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 사시도이다.
스튜디오부(10)는 강의 영상을 촬영하고 촬영된 된 강의 영상에 대한 환경데이터를 수신해, 이를 강의 영상과 함께 서버부(20)로 전송한다. 이와 같은 스튜디오부(10)는 복수 개의 조명 및 크로마키 스크린 및 컴퓨터 등이 설치되어 강사가 강의를 촬영하는 장소가 된다. 이때, 스튜디오부(10)는 서로 다른 위치에 위치한 복수 개가 될 수 있다. 스튜디오부(10)는 강의 영상을 실시간 촬영하고, 촬영된 영상에서 강사를 캡쳐 한다. 그리고 촬영하고 캡쳐 한 영상을 유선 또는 무선 네트워크로 연결된 서버부(20)로 전송할 수 있다. 더욱이, 스튜디오부(10)는 서버부(20)와 접속하여 실시간으로 정보를 주고받을 수 있도록 하는 웹 브라우저 등의 인터넷 네트워크 프로그램이 탑재되어 있다. 여기서, 스튜디오부(10)는 일괄하여 강의 영상 캡쳐 스튜디오라 칭할 수 있다.
이와 같은 스튜디오부(10)는 카메라모듈(101), 환경정보입력모듈(102), 강의영상정보송신모듈(103)을 포함한다. 아울러, 스튜디오부(10)는 녹음모듈(104), 조명모듈(105), 스크린모듈(106) 및 방음장치모듈(107)등의 제반 설비를 구성요소로 더 포함할 수 있다.
카메라모듈(101)은 강의를 진행하는 강사를 촬영하는 카메라가 될 수 있다. 이와 같은 카메라모듈(101)은 하나의 컴퓨터가 되거나, 하나의 컴퓨터 내에 설치된 프로그램 모듈이 되어 환경정보입력모듈(102), 강의영상정보송신모듈(103)과 하나의 컴퓨터 내에 설치될 수 있다.
환경정보입력모듈(102)은 스튜디오 내의 조명에 대한 다양한 정보를 사용자가 입력할 수 있도록 한다. 이러한 환경정보입력모듈(102)은 컴퓨터에 설치되어 도 3에 도시된 바와 같은 화면을 나타낼 수 있도록 한다. 환경정보입력모듈(102)은 사용자가 광원의 방향, 조도 및 색조를 입력할 수 있도록 하며 카메라모듈(101)에서 촬영되는 환경 그리고 카메라모듈(101)에서 캡쳐 될 때 강사를 비추는 광원의 방향, 조도 및 색조를 입력할 수 있도록 한다. 여기서, 광원의 색조는 후술되는 서버부(20)에서 촬영된 강의 영상에서 설정된 객체 일례로, 강사를 색조의 차이로 추출할 수 있는 요소가 될 수 있다.
강의영상정보송신모듈(103)은 단말들 및 서버들 상호 간에 데이터 교환이 가능하게 하는 모듈이 될 수 있다. 이와 같은 강의영상정보송신모듈(103)은 Wi-Fi, 블루투스(Bluetooth), 인터넷, LAN(Local AreaNetwork), WAN(Wide Area Network), PAN(Personal Area Network), LTE 및, 5G 등과 같은 데이터를 송수신 가능하게 하는 네트워크 모듈을 포함할 수 있다.
녹음모듈(104)은 강사의 목소리를 녹음한다. 이러한 녹음모듈(104)은 강사의 옷에 부착된 마이크와 연결되어, 강사의 목소리를 녹음하는 기기로 형성될 수 있다. 이러한 녹음모듈(104)은 녹음한 음성데이터를 강의영상정보송신모듈(103)로 전달하여 서버부(20)로 전송될 수 있도록 한다.
조명모듈(105)은 스튜디오부(10)의 스크린모듈(106)을 향해 빛을 조사하는 조명이 될 수 있다. 이러한 조명모듈(105)의 빛의 세기 및 빛을 비추는 방향은 컴퓨터의 입력값에 의해 조절되어, 조명모듈(105)은 크로마키 스크린을 향해 다양한 세기 빛 다양한 방향으로 빛을 쏠 수 있다.
스크린모듈(106)은 다양한 배경화면을 입힐 수 있는 크로마키 스크린으로 형성될 수 있다.
방음장치모듈(107)은 스튜디오의 내부 외측에 설치되어 스튜디오 내부에서 외부로 방출되는 강사의 강의 소리가 나가지 않도록 한다. 이러한 방음장치모듈(107)은 스튜디오의 내부 외측에 부착되는 흡음재가 될 수 있다.
서버부(20)는 스튜디오부(10)에서 전송되는 데이터를 연산 처리하여 디스플레이부(30)로 전송하는 장치가 된다. 일례로, 데이터통신 가능한 컴퓨터가 될 수 있다. 이때, 서버부(20)는 복수 개의 기능을 발휘할 수 있도록 각 기능을 수행할 수 있는 복수 개의 모듈로 구성될 수 있다. 이와 같은 서버부(20)는 네트워크를 통하여 스튜디오부(10)와 접속하여 강의영상정보송신모듈(103)을 통하여 강의 영상을 수신하고, 환경정보입력모듈(102)을 통하여 송신된 강의 영상 캡쳐 환경 정보를 수신하고, 수신된 강의 영상에서 강사 영상을 추출한다. 그리고 추출된 강사 영상과 합성할 홀로그램 효과 이미지 세트를 생성하거나 선택한 다음, 홀로그램 강사 영상을 합성하여 생성하고, 생성한 홀로그램 강사 영상을 디스플레이부(30)로 송신한다.
다시 말해, 서버부(20)는 네트워크를 통해 스튜디오부(10)로부터 강의 영상을 수신 받고, 수신 받은 강의 영상에서 강사 영상을 추출한 다음 홀로그램 강사 영상으로 합성하고 생성한 후, 디스플레이부(30)로 송신할 수 있도록 한다. 이와 같은 서버부(20)는 영상수신모듈(201), 환경데이터수신모듈(202), 강사영상추출모듈(203), 강사영상저장모듈(204), 데이터관리모듈(205)을 구성요소로 포함한다. 그리고 영상합성모듈(206), 강사영상송신모듈(207), 조명제어데이터생성모듈(208) 및 조명제어정보송신모듈(209)을 더 포함할 수 있다. 여기서, 영상수신모듈(201)은 네트워크를 통해 스튜디오부(10)와 접속하여 촬영된 강의 영상을 수신할 수 있다. 그리고 환경데이터수신모듈(202)은 스튜디오부(10)로부터 환경데이터를 수신할 수 있다.
강사영상추출모듈(203)은 스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이 즉, 크로마키(Chroma-Key)를 통해 설정 객체를 추출한다. 이를 통해, 강사영상추출모듈(203)은 색조의 차이를 이용해 강사 영상만을 추출할 수 있도록 한다.
강사영상저장모듈(204)은 추출된 강사 영상을 저장하는 장치가 된다. 즉, 강사영상저장모듈(204)은 데이터를 저장하는 메모리 장치로 형성될 수 있다.
데이터관리모듈(205)은 강사영상추출모듈(203)에서 추출된 강사 영상에 대한 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)를 생성하고 저장할 수 있다. 그리고 저장된 이미지들이 추출된 강사 영상과 합성될 수 있도록 관리한다. 여기서, 데이터관리모듈(205)에 저장되어 있는 홀로그램 효과를 가지는 배경이미지(B)는 도 6에 도시된 바와 같이, 칠판의 왼쪽 위, 칠판의 왼쪽 아래, 칠판의 중앙, 칠판의 중앙 아래, 칠판의 오른쪽 위, 칠판의 오른쪽 아래 등과 같은 홀로그램 효과를 가지는 배경이미지가 될 수 있다. 그리고, 그림자이미지(C)는 도 7에 도시된 바와 같이, 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래에 그림자가 위치한 이미지, 강사의 아래 방향 일례로, 6시 방향으로 그림자가 위치한 이미지, 강사의 우측 위 일례로, 1시 방향으로 그림자가 위치한 이미지, 강사의 우측 아래, 일례로, 5시 방향으로 그림자가 위치한 이미자가 될 수 있다.
또한, 반사이미지 (D)는 도 8에 도시된 바와 같이, 강사를 기준으로 반사이미지가 형성될 수 있다.
영상합성모듈(206)은 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지 (C) 및 반사이미지 (D)를 합성하여 강사합성영상을 생성한다.
데이터관리모듈(205)은 추출된 강사 영상 및 환경데이터에 따라 배경이미지를 선택하고 그림자이미지를 선택하고 반사이미지를 선택한 다음, 홀로그램 효과 이미지 세트를 새로이 생성할 수 있다. 데이터관리모듈(205)은 추출된 강사 영상 및 환경데이터 즉, 강의 영상 캡쳐 환경 정보에 따라 저장되어 있는 데이터 중 이미 존재하고 있는 효과이미지를 선택하며 홀로그램 효과를 나타낼 수 있다. 여기서, 홀로그램 효과 이미지 세트를 생성하기 위한 배경이미지, 그림자이미지, 반사이미지 들은 홀로그램 효과를 구현하기 위한 가상의 이미지들로써 합성할 상기 강사 영상의 실제 배경, 실제 강사의 그림자, 실제 강사의 반사이미지를 굳이 고려하지 않아도 상관없다.
도 6, 도 7, 도 8에서 도시된 배경이미지, 그림자이미지, 반사이미지 들은 평면적인 강사 영상을 입체적인 홀로그램 강사 영상으로 합성하면서, 보다 생생한 홀로그램 효과를 구현하기 위한 것일 뿐, 배경이미지, 그림자이미지, 반사이미지 들이 이로써 한정되는 것은 아니다.
강사영상송신모듈(207)은 영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송한다.
조명제어데이터생성모듈(208)은 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출한다. 조명제어정보송신모듈(209)은 조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송한다. 즉, 조명제어정보송신모듈(209)은 디스플레이부(30)에 데이터를 전송하는 전송 모듈이 된다.
디스플레이부(30)는 복수 개의 조명모듈(105)을 포함하고, 서버부(20)로부터 홀로그램 강사 영상과 조명제어데이터를 수신 받아 홀로그램 강사 영상을 재생하고 조명제어데이터 연산하여 조명모듈(105)을 제어한다.
이와 같은 디스플레이부(30)는 네트워크를 통하여 서버부(20)와 접속하여, 생성된 홀로그램 강사 영상을 수신 받고, 저장하고, 재생하고, 출력할 수 있다. 이때, 디스플레이부(30)는 스튜디오부(10)가 서버부(20)로 송신한 강의 환경데이터를 수신 받아, 조명에서 출력되는 빛의 세기 및 조명의 작동 순서 등, 복수 개의 LED모듈을 작동 제어할 수 있는 조명제어데이터로 사용하여 디스플레이부(30)를 제어하면서 조명이 작동되도록 한다. 여기서, 디스플레이부(30)는 도 9에 도시된 바와 같이, 몸체모듈(310), LCD패널(320), LED모듈(330), 시선가리개판(340), 강사영상수신모듈(301), 강사영상재생모듈(302), 조명제어데이터수신모듈(303) 및 조명제어모듈(304)을 포함한다. 일례로, 디스플레이부(30)는 도 10에 도시된 바와 같이 형성된 몸체모듈(310)을 기본 골격으로 하여, 몸체모듈(310)의 앞면에 LCD패널(320)이 설치되고, 몸체모듈(310)의 내부에 형성된 공간의 상단, 양 측면, 후면 및 하단에 LED모듈(330)이 설치될 수 있다. 여기서, LCD패널(320)은 투명한 패널로 형성될 수 있어, 외부에서 몸체모듈(310)의 내부를 볼 수 있게 되도록 한다. 이때, LCD패널은 LED패널, OLED패널 등과 같은 패널로 변형될 수 있다. 이와 같은 LCD패널은 투명한 패널인 구조에 한해서 다양하게 변형되어 형성될 수 있다.
이하, 도 11 내지 도 14를 참조하여, 디스플레이부의 작동 상태에 대해 구체적으로 설명한다.
도 11 및 도 12는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 작동 상태를 나타낸 도면이고, 도 13은 본 발명의 일 실시예에 따른 영상의 홀로그램 합성 후 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
LED모듈(330)은 도 11에 도시된 바와 같이, 몸체모듈(310)의 상단, 하단, 측면 및 후면 등에 설치될 수 있다. 이때, LED모듈(330)은 몸체모듈(310)의 내부에 설치된 조명제어모듈(304)을 통해, 후면에 설치된 LED모듈(330), 측면에 설치된 LED모듈(330) 그리고 하단에 설치된 LED모듈(330)이 각각 또는 동시에 켜질 수 있다. 이를 통해, 디스플레이부(30)는 도 12에 도시된 바와 같이, 몸체모듈(310)의 내부에 그라데이션이 나타나 입체적인 환경이 조성될 수 있도록 한다.
이와 같은 환경에서, 디스플레이부(30)는 서버부(20)에서 홀로그램 강사 영상을 수신하여 도 13에 도시된 바와 같이 홀로그램 강사 영상을 출력할 수 있다.
이하, 도 14 및 도 15를 참조하여, 다양한 디스플레이부의 구조에 대해 구체적으로 설명한다.
도 14는 다른 실시예의 시선가리개판이 설치된 디스플레이부를 나타낸 도면이고, 도 15는 시선방제가 설치된 또 다른 실시예의 디스플레이부를 나타낸 도면이다.
디스플레이부(30)는 도 12에 도시된 바와 같이, 구조 외에도 몸체모듈(310)의 전면에 시선가리개판(340)이 설치된 제1디스플레이부(30-1) 및 몸체모듈(310)에서 전면을 향해 시선방제모듈(350)이 형성된 제2디스플레이부(30-2)로 형성될 수 있다. 여기서, 제1디스플레이부(30-1) 및 제2디스플레이부(30-2)는 모두 디스플레이부(30)에 포함되는 강사영상수신모듈(301), 강사영상재생모듈(302), 조명제어데이터수신모듈(303), 조명제어모듈(304), 몸체모듈(310) 그리고 LCD패널(320) 및 LED모듈(330)을 포함할 수 있다.
먼저, 도 14에 도시된 바와 같이, 제1디스플레이부(30-1)는 사각형의 박판의 시선가리개판(340)을 포함할 수 있다. 시선가리개판(340)은 몸체모듈(310)의 일측면에 탈 부착 가능하게 설치될 수 있다. 이러한 시선가리개판(340)은 열리고 닫히며 투명 LCD패널의 전면 또는 가장자리를 보호하고, 투명 LCD패널에의 출력 화면에 대한 청중의 측면으로부터의 시선을 차단할 수 있도록 한다. 또한, 도 15에 도시된 바와 같이, 제2디스플레이부(30-2)는 몸체모듈의 일면에 몸체모듈의 내측에 좌우의 옆면 및 상하에 돌출된 시선방제모듈(350)을 포함할 수 있다. 이러한 시선방제모듈(350)은 측면으로부터 유입되는 빛이 LCD패널(320)로 유입되지 않도록 하고 마찬가지로 청중의 측면으로부터의 시선을 차단할 수 있도록 한다.
이하, 도 16을 참조하여, 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습에 대해 설명한다.
도 16은 본 발명의 일 실시예에 따른 영상의 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지 등이 강사 영상에 합성되지 않을 시, 도 16에 도시된 바와 같이, 디스플레이부에는 밋밋한 영상이 출력될 수 있다.
전술한 바와 같이, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 구성하는 구성요소를 기반으로 하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대해 구체적으로 설명한다.
홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법의 설명에 있어, 각 단계를 실행하는 주체는 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 구성하는 구성요소가 될 수 있다.
이에, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대한 설명이 간결하고 명확해질 수 있도록, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템과 중복되는 방법의 주체에 대한 설명은 생략한다.
이하, 도 17을 참조하여 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대해 구체적으로 설명한다.
도 17은 본 발명의 일 실시예에 따른 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법의 순서도이다.
홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은 스튜디오부(10)가 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 추출하여 강의 영상과 함께 송신하는 (a)단계, 서버부(20)가 원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하여 수신한 강의 영상에서 강사 영상을 추출하고, 다수 종류의 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지 (C) 및 반사이미지 (D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 합성하여 생성하는 (b)단계로 진행된다. 이후, 디스플레이부(30)가 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈(105)을 제어하면서 홀로그램 강사 영상을 출력하는 (c)단계로 진행될 수 있다. 여기서, (a)단계는 스튜디오부(10)에 포함되는 카메라모듈(101)이 스튜디오 내에서 진행되는 강의를 촬영하는 (a-1)단계(S602), 스튜디오부(10)에 포함되는 환경정보입력모듈(102)이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 (a-2)단계(S603), 스튜디오부(10)에 포함되는 강의영상정보송신모듈(103)이 촬영 영상을 실시간으로 서버부(20)로 송신할 수 있으며(S604), 촬영환경정보를 서버부(20)로 실시간으로 송신하는 (a-3)단계(S605))를 포함할 수 있다. (a)단계는 (a-1)단계가 진행되기 전에 진행되는 스튜디오의 웹인터페이스에 접속하는 단계(S601)를 더 포함할 수 있다. 그리고 (b)단계는 서버부(20)에 포함되는 영상수신모듈(201)이 네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 (b-1)단계(S606) 그리고 서버부(20)에 포함되는 환경데이터수신모듈(202)이 스튜디오부(10)로부터 촬영환경데이터를 수신하는 (b-2)단계(S607), 서버부(20)에 포함되는 강사영상추출모듈(203)이 스튜디오부(10)로부터 수신한 강의 영상에서 크로마키(Chroma-Key)를 통해서 강사를 추출하는 (b-3)단계(S608), 서버부(20)에 포함되는 강사영상저장모듈(204)이 추출된 강사 영상을 저장하는 (b-4)단계(S609) 그리고 서버부(20)에 포함되는 데이터관리모듈(205)이 복수 개의 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 생성 하는 단계(S611) 및 생성된 이미지를 저장하는 단계(S612) 그리고 이를 추출된 강사 영상에 반영하는 (b-5)단계를 포함할 수 있다. 그리고 서버부(20)에 포함되는 영상합성모듈(206)이 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 홀로그램 강사합성영상을 생성하는 (b-6)단계(S614), 서버부(20)에 포함되는 강사영상송신모듈(207)이 영상합성모듈(206)에서 생성된 홀로그램 강사합성영상을 디스플레이부(30)에 전송하는 (b-7)단계(S615) 그리고 서버부(20)에 포함되는 조명제어데이터생성모듈(208)이 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 (b-8)단계(S610) 그리고 서버부(20)에 포함되는 조명제어정보송신모듈(209)이 조명제어데이터생성모듈(208)에서 조명제어데이터를 디스플레이부(30)에 전송하는 (b-9)단계(S616)를 포함할 수 있다. 그리고 (c)단계는 디스플레이부(30)에 포함되는 강사영상수신모듈(301)이 서버부(20)로부터 강사합성영상 즉, 홀로그램 강사 영상을 수신하는 (c-1)단계(S617), 디스플레이부(30)에 포함되는 강사영상재생모듈(302)이 수신된 강사합성영상을 재생하여 출력하는 (c-2)단계(S621, S622), 디스플레이부(30)에 포함되는 조명제어데이터수신모듈(303)이 수신된 서버부(20)가 전송한 조명제어데이터를 수신하는 (c-3)단계(S619) 및 디스플레이부(30)에 포함되는 조명제어모듈(304)이 조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 (c-4)단계(S620)를 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템
10: 스튜디오부
101: 카메라모듈
102: 환경정보입력모듈 103: 강의영상정보송신모듈
104: 녹음모듈 105: 조명모듈
106: 스크린모듈 107: 방음장치모듈
20: 서버부
201: 영상수신모듈 202: 환경데이터수신모듈
203: 강사영상추출모듈 204: 강사영상저장모듈
205: 데이터관리모듈 206: 영상합성모듈
207: 강사영상송신모듈 208: 조명제어데이터생성모듈
209: 조명제어정보송신모듈
30: 디스플레이부
301: 강사영상수신모듈 302: 강사영상재생모듈
303: 조명제어데이터수신모듈 304: 조명제어모듈
310: 몸체모듈 320: LCD패널
330: LED모듈 340: 시선가리개판
350: 시선방제모듈
A: 웹 인터페이스
B: 홀로그램 효과를 가지는 배경이미지
C: 그림자이미지
D: 반사이미지

Claims (2)

  1. 강의 영상을 촬영하고, 촬영된 된 강의 영상에 대한 환경데이터가 입력되면 강의 영상과 함께 환경데이터를 송신하는 스튜디오부(10);
    원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부(20) 및
    복수 개의 조명모듈(105)을 포함하고, 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈(105)을 제어하는 디스플레이부(30)를 포함하고,
    스튜디오부(10)는,
    스튜디오 내에서 진행되는 강의를 촬영하는 카메라모듈(101)과,
    스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 환경정보입력모듈(102)과,
    카메라모듈(101)에서 촬영된 강의영상과 촬영환경정보를 서버부(20)로 실시간으로 송신하는 강의영상정보송신모듈(103)과,
    컴퓨터의 입력값에 의해 빛의 세기 및 빛을 비추는 방향이 조절되며 스튜디오부(10)의 스크린모듈(106)을 향해 빛을 조사하는 조명모듈(105)을 포함하고,
    서버부(20)는,
    네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 영상수신모듈(201)과,
    스튜디오부(10)로부터 환경데이터를 수신하는 환경데이터수신모듈(202)과,
    스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 설정 객체를 추출하는 강사영상추출모듈(203)과,
    추출된 강사 영상을 저장하는 강사영상저장모듈(204)과,
    복수 개의 홀로그램 효과를 가지는 배경이미지(B), 복수 개의 그림자이미지(C) 및 복수 개의 반사이미지(D)를 생성한 후 저장하는 데이터관리모듈(205)과,
    강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 영상합성모듈(206)과,
    영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송하는 강사영상송신모듈(207)과,
    스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 조명제어데이터생성모듈(208)과,
    조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송하는 조명제어정보송신모듈(209)을 포함하고,
    디스플레이부(30)는,
    서버부(20)로부터 강사합성영상을 수신하는 강사영상수신모듈(301)과,
    수신된 강사합성영상을 재생하여 출력하는 강사영상재생모듈(302)과,
    서버부(20)가 전송한 조명제어데이터를 수신하는 조명제어데이터수신모듈(303)과,
    조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 조명제어모듈(304)과,
    전면에 투명한 패널로 형성된 LCD패널(320)이 설치되어 내부에 공간이 형성된 몸체모듈(310)과,
    몸체모듈(310)의 내부 공간의 상단, 측면, 후면 및 하단에 설치되는 LED모듈(330)과,
    몸체모듈의 일면에서 전면을 향해 돌출 형성되어 측면으로부터 유입되는 빛이 LCD패널(320)로 유입되지 않도록 하는 시선방제모듈(350)을 포함하고,
    복수 개의 홀로그램 효과를 가지는 배경이미지(B)는,
    칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함하고,
    복수 개의 그림자이미지(C)는,
    강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함하고,
    복수 개의 반사이미지(D)는,
    강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함하는, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템.
  2. (a) 스튜디오부(10)에서 강의 영상을 촬영하고 촬영된 강의 영상에서 환경데이터를 추출하여 강의 영상과 함께 송신하는 단계;
    (b) 서버부(20)가 원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계;
    (c) 디스플레이부(30)가 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여, 컴퓨터의 입력값에 의해 빛의 세기 및 빛을 비추는 방향이 조절되며 스튜디오부(10)의 스크린모듈(106)을 향해 빛을 조사하는 조명모듈(105)을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함하고,
    (a) 단계는,
    (a-1) 스튜디오부(10)에 포함되는 카메라모듈(101)이 스튜디오 내에서 진행되는 강의를 촬영하는 단계;
    (a-2) 스튜디오부(10)에 포함되는 환경정보입력모듈(102)이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 단계;
    (a-3) 스튜디오부(10)에 포함되는 강의영상정보송신모듈(103)이 강의촬영영상과 촬영환경정보를 서버부(20)로 실시간으로 송신하는 단계를 포함하고,
    (b) 단계는,
    (b-1) 서버부(20)에 포함되는 영상수신모듈(201)이 네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 단계;
    (b-2) 서버부(20)에 포함되는 환경데이터수신모듈(202)이 스튜디오부(10)로부터 환경데이터를 수신하는 단계;
    (b-3) 서버부(20)에 포함되는 강사영상추출모듈(203)이 스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 강사영상을 추출하는 추출하는 단계;
    (b-4) 서버부(20)에 포함되는 강사영상저장모듈(204)이 추출된 강사 영상을 저장하는 단계;
    (b-5) 서버부(20)에 포함되는 데이터관리모듈(205)이 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성하며 생성된 이미지를 저장하는 단계;
    (b-6) 서버부(20)에 포함되는 영상합성모듈(206)이 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 단계;
    (b-7) 서버부(20)에 포함되는 강사영상송신모듈(207)이 영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송하는 단계;
    (b-8) 서버부(20)에 포함되는 조명제어데이터생성모듈(208)이 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 단계;
    (b-9) 서버부(20)에 포함되는 조명제어정보송신모듈(209)이 조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송하는 단계를 포함하고,
    (c) 단계는,
    (c-1) 디스플레이부(30)에 포함되는 강사영상수신모듈(301)이 서버부(20)로부터 강사합성영상을 수신하는 단계;
    (c-2) 디스플레이부(30)에 포함되는 강사영상재생모듈(302)이 수신된 강사합성영상을 재생하여 출력하는 단계;
    (c-3) 디스플레이부(30)에 포함되는 조명제어데이터수신모듈(303)이 수신된 서버부(20)가 전송한 조명제어데이터를 수신하는 단계;
    (c-4) 디스플레이부(30)에 포함되는 조명제어모듈(304)이 조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 단계를 포함하고,
    디스플레이부(30)는 일면에 시선방제모듈(350)이 돌출 형성되어 몸체모듈의 측면으로부터 LCD패널(320)로 빛의 유입을 차단하고,
    복수 개의 홀로그램 효과를 가지는 배경이미지(B)는,
    칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함하고,
    복수 개의 그림자이미지(C)는,
    강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함하고,
    복수 개의 반사이미지(D)는,
    강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함하는, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법.
KR1020220103889A 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법 KR102490449B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210125147 2021-09-17
KR20210125147 2021-09-17
KR1020220011943A KR102437155B1 (ko) 2021-09-17 2022-01-27 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011943A Division KR102437155B1 (ko) 2021-09-17 2022-01-27 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102490449B1 true KR102490449B1 (ko) 2023-01-19

Family

ID=83113470

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020220011943A KR102437155B1 (ko) 2021-09-17 2022-01-27 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103890A KR102490450B1 (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103891A KR20230041596A (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103889A KR102490449B1 (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103892A KR20230041597A (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020220011943A KR102437155B1 (ko) 2021-09-17 2022-01-27 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103890A KR102490450B1 (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR1020220103891A KR20230041596A (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220103892A KR20230041597A (ko) 2021-09-17 2022-08-19 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법

Country Status (1)

Country Link
KR (5) KR102437155B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010096152A (ko) 2000-04-17 2001-11-07 곽동욱 원격 학습 제공 방법 및 그 시스템
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
KR20170082338A (ko) * 2016-01-06 2017-07-14 (주)젬백스테크놀러지 홀로그램 기반의 입체 영상 표시 장치
KR20180039508A (ko) * 2016-10-10 2018-04-18 이용호 크로마키를 이용한 홀로그램 영상 제작 시스템
KR20200035784A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010096152A (ko) 2000-04-17 2001-11-07 곽동욱 원격 학습 제공 방법 및 그 시스템
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
KR20170082338A (ko) * 2016-01-06 2017-07-14 (주)젬백스테크놀러지 홀로그램 기반의 입체 영상 표시 장치
KR20180039508A (ko) * 2016-10-10 2018-04-18 이용호 크로마키를 이용한 홀로그램 영상 제작 시스템
KR20200035784A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 방법 및 장치

Also Published As

Publication number Publication date
KR102490450B1 (ko) 2023-01-19
KR20230041597A (ko) 2023-03-24
KR20230041596A (ko) 2023-03-24
KR102437155B1 (ko) 2022-08-26

Similar Documents

Publication Publication Date Title
US10063822B2 (en) Tri-surface image projection system and method
CN105794202B (zh) 用于视频和全息投影的深度键合成
Lantz Planetarium of the Future
KR20180052496A (ko) 가상 공연 스튜디오 시스템
Kavakli et al. The virtual production studio concept–an emerging game changer in filmmaking
JP2019115408A (ja) ホール用表示システム及びこれを用いて行うイベントの実施方法
KR20090044105A (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR102490449B1 (ko) 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법
KR101554574B1 (ko) 투명 칠판을 이용한 강의 동영상의 녹화 시스템 및 방법
Hendrickx et al. Audiovisual spatial coherence for 2D and stereoscopic-3D movies
Jones et al. Time-offset conversations on a life-sized automultiscopic projector array
CN210713979U (zh) 基于ar技术的虚拟主持人剧场
EP3062519A1 (en) Ambient surround information system for a media presentation
US9681041B1 (en) Apparatus, system and method for capturing and compositing an image using a light-emitting backdrop
JP7309148B2 (ja) ホール用表示システム及びこれを用いて行うイベントの実施方法
Lantz Digital domes and the future of large-format film
Helzle Immersive media productions involving light fields and virtual production LED walls
KR102184339B1 (ko) 홀로그램 기반의 실시간 방송 컨텐츠 제공 시스템 및 방법
JP2005175644A (ja) 映像合成装置および映像合成装置を駆動する映像駆動装置並びに映像合成装置の映像を投影する透過性パネル並びに映像合成装置と映像駆動装置と透過性パネルとを有する立体映像システム
Lescop et al. Designing Intradiegetic and Extradiegetic Spaces for Virtual Reality
Orisaremi et al. A Critical Scrutiny of Cinematic Lighting Technique in Cultural works of Selected Yoruba Nollywood Films
Collin et al. How to Design Virtual Video Production for Augmented Student Presentations
KR101743874B1 (ko) 복수의 공연객체들의 협업을 이용한 동영상 컨텐츠 생성 시스템 및 방법
KR20240022199A (ko) 공연, 강연 및 방송촬영 등이 가능한 이동식 가변형 가상 스튜디오 시스템
JP2020178219A (ja) 写真作成ゲーム機、情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant