KR20170029725A - 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 - Google Patents
영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20170029725A KR20170029725A KR1020150126605A KR20150126605A KR20170029725A KR 20170029725 A KR20170029725 A KR 20170029725A KR 1020150126605 A KR1020150126605 A KR 1020150126605A KR 20150126605 A KR20150126605 A KR 20150126605A KR 20170029725 A KR20170029725 A KR 20170029725A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lecture
- screen
- video
- lecturer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000002194 synthesizing effect Effects 0.000 title description 5
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 40
- 239000000463 material Substances 0.000 claims abstract description 16
- 229910000831 Steel Inorganic materials 0.000 claims description 33
- 239000010959 steel Substances 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 26
- 239000000470 constituent Substances 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000001308 synthesis method Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 스마트 장치에서와 같이 하나의 화면에 강의를 보게하는 강의 비디오를 실시간으로 강사가 보며 강의를 원격으로 할수 있도록 강사와 강의 자료를 마치 교실에 칠판을 사용하듯 강사가 가상 전자 칠판을 화면에 강사와 함께 보여 주며 강의 내용인 PPT, 동영상, 혹은 화면 스크린을 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 강의하는 강사의 촬영 영상, 강의에 사용되는 프리젠테이션 자료 영상 등 다수의 영상을 합성하되, 강사의 필요에 따라 상황에 맞추어 마우스 등을 이용하여 용이하게 합성되도록 하거나, 또는 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 합성되도록 함으로써, 강의 현장에서 또는 온라인을 통하여 강의를 듣는 청중들이 흥미를 가지고 집중할 수 있도록 생동감있는 강의 영상을 매우 용이하게 생성하도록 해 주는 강의 영상 생성 방법 및 그 장치에 관한 것이다.
본 발명에 의하면, 프리젠테이션 자료와 강사 영상을 하나의 화면에 빈 공간을 최소화하고, 시청자에게 흥미를 느끼게 하는 효과적인 형태로 배치할 뿐만 아니라, 강의 영상을 편집하는 전문 기술자 없이도 강의를 진행하는 강사가 강의를 진행하면서 직접, 상황에 맞게 효과적으로 강사 및 자료 화면을 매우 용이하고 간단한 수단에 의하여 재배치할 수 있도록 하고, 경우에 따라 강사가 직접 화면 구성을 재배치하지 않더라도 본 발명의 강의 영상 생성 장치가 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 가장 적절한 화면 배치가 되도록 조정되게 함으로써, 청중들 또는 온라인 강의 수강자들이 마치 작은 강의실에서 강사의 말과 행동 및 프리젠테이션 자료를 모두 한눈에 보면서 강의를 듣는 것과 같은 생동감 있는 강의가 되게 하여, 그와 같은 방식으로 전해지는 강의, 강의 녹화 및 온라인 강의가 더욱 활성화 되도록 한다.
본 발명에 의하면, 프리젠테이션 자료와 강사 영상을 하나의 화면에 빈 공간을 최소화하고, 시청자에게 흥미를 느끼게 하는 효과적인 형태로 배치할 뿐만 아니라, 강의 영상을 편집하는 전문 기술자 없이도 강의를 진행하는 강사가 강의를 진행하면서 직접, 상황에 맞게 효과적으로 강사 및 자료 화면을 매우 용이하고 간단한 수단에 의하여 재배치할 수 있도록 하고, 경우에 따라 강사가 직접 화면 구성을 재배치하지 않더라도 본 발명의 강의 영상 생성 장치가 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 가장 적절한 화면 배치가 되도록 조정되게 함으로써, 청중들 또는 온라인 강의 수강자들이 마치 작은 강의실에서 강사의 말과 행동 및 프리젠테이션 자료를 모두 한눈에 보면서 강의를 듣는 것과 같은 생동감 있는 강의가 되게 하여, 그와 같은 방식으로 전해지는 강의, 강의 녹화 및 온라인 강의가 더욱 활성화 되도록 한다.
Description
본 발명은 스마트 장치를 통해 강의를 들을 수 있도록 하기 위해 강사와 강의 화면의 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 강의하는 강사의 촬영 영상, 강의에 사용되는 프리젠테이션 자료 영상 등 다수의 영상을 학생들이 보아야 할 장면으로 합성하여 실시간으로 원하는 장면으로 보여 주게 하는 방식으로, 크로마키 기술을 사용하지 않고도 강사의 필요에 따라 상황에 맞추어 마우스 등을 이용하여 용이하게 합성되도록 하거나, 또는 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 합성되도록 함으로써, 강의 현장에서 또는 온라인을 통하여 강의를 듣는 청중들이 그동안 프리젠테이션을 원격지 혹은 이러닝, 혹은 화상 회의에서 실제 현장에서 듣는 것 이상으로 강의에 집중을 집중할 수 있도록 생동감 있는 강의 영상을 매우 용이하게 생성하도록 해 주는 강의 영상 생성 방법으로 실시간 강의의 새로운 강의 방식의 강의실의 강의 장치, 새로운 화상회의를 통한 프리젠테이션 회의 장치, 스마트 장치들을 위한 원격 강의 및 방송방법 및 그 장치에 관한 것이다.
도 1은 종래 강의 영상에서 강사와 발표 자료 배치 구성의 예를 도시한 도면이고, 도 2는 종래 강의 영상에서 전체 비디오 화면에서 유효 면적이 차지하는 비율의 예를 도시한 도면이고, 도 3은 종래 강의 영상에서 두 개의 스크린으로 보여주는 원격 강의 화면을 도시한 도면이다.
기존의 강의 녹화 방식의 스위칭, 혹은 믹서 방식, 내지는 화면과 스크린을 합성하는 방식의 실시간 강의 영상 생성 또는 녹화를 하는 방식은 강사의 영상, 발표 프로젝터 영상, 칠판 화면, 학생 영상 등, 두 개 이상의 화면의 조합을 위해 다양한 방송 장비들을 사용하는 복잡한 과정이 필요하였다. 따라서 장비의 복잡성 및 녹화 편집의 어려움 등의 문제로 강의 영상 생성 또는 녹화가 원활히 이루어지기 어려웠을 뿐만 아니라, 이로 인해 원격강의로 사용하기 위해 개발된 대부분의 장비가 실제로 현장에 사용되지 못하고 있는 문제점이 있었다.
이에 따라 강의 영상 생성에서는 도 1에 도시된 바와 같이 강사와 프리젠테이션 화면 등을 단순하게 분할하여 배치한 방법이 주로 사용되고 있다. 그러나 이 경우, 강사 영상만 나오거나(12), 프리젠테이션 자료를 설명할 경우 그 프리젠테이션 자료만 나오도록 하거나(13), 프리젠테이션 자료와 강사 영상을 모두 보게 하도록 할 경우에는 화면을 분할하여 각각의 영상이 나오도록 하는 방식을 채택하고 있으며(11), 이러한 화면들 중 시청자가 선택하여 볼 수 있게 하기도 한다.
프리젠테이션 자료와 강사 영상을 모두 보게 하도록 할 경우(101), 도 2의 예시에서 보는 바와 같이 강사 크기를 50%에서 30%가 되는 경우 40-50%의 영역이 빈 공간으로 사용이 되어 전체 비디오 화면을 액티브 영역으로 쓰지 못하게 되는 문제가 있다.
또한, 프리젠테이션 자료와 강사 영상을 모두 보게 하도록 할 경우(101), 자료의 내용이 잘 보이도록 하기 위해 강사 이미지는 도시된 바와 같이 작게 하는 것이 필요하게 된다. 이에 따라 시청자는 그러한 화면을 계속 보거나, 또는 강사 화면의 필요성을 느끼지 못하여 자료 내용만으로 구성된 화면(103)을 보면서 강사의 음성만 듣게 되는 경우가 일반적이다. 이러한 시청 방식은, 작은 강의실에서 강사의 말과 행동 및 프리젠테이션 자료를 모두 한눈에 보면서 강의를 들을 때와 같은 생동감 있는 강의가 되기 어렵게 되어 수강자로 하여금 지루함을 느끼게 하기 쉽고, 따라서 비 효율적인 강의가 되게 하는 문제점이 있어 왔다. 이를 해결하기 위해 좀 더 다양한 화면 구성을 하려면, 강의 영상 촬영 중 또는 강의 영상 촬영 후 전문 기술자가 복잡한 장비를 사용하여 구성하여 작업을 하는 과정을 거쳐야만 하였다.
이러한 문제점을 개선하기 위해, 도 3과 같이 2개의 화면으로 강사 화면과 발표화면을 보내 주는 방식을 사용하여, 강사를 하나의 TV로 보고, 발표 자료를 또 하나의 TV 화면 혹은 프로젝터를 통해 보여 주는 방식을 채택하기도 한다. 그러나 이러한 경우에도 시청자는 주로 대형 프로젝터 화면만을 보고 TV 화면에 갇혀 있는 강사 비디오는 거의 보지 않게 되어, 이와 같은 온라인을 통한 원격수업은 여전히 실제 강의실보다 강의 효과 저하를 가져 오는 문제가 있어 왔다.
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 사용하기 번거로운 크로마키 배경을 쓰지 않고도 가상 교실의 효과를 최대한 내도록 하는 크롭핑/페더링(feathering)기법을 적용함으로써 3D 합성 기술을 통해 그동안 강의 방식의 녹화, 방송의 한계의 문제점을 해결하기 위한 것이다.
프리젠테이션 자료와 강사 영상을 하나의 화면에 빈 공간을 최소화하고, 시청자에게 흥미를 느끼게 하는 효과적인 형태로 배치할 뿐만 아니라, 강의 영상을 편집하는 전문 기술자 없이도 강의를 진행하는 강사가 강의를 진행하면서 직접, 상황에 맞게 효과적으로 강사 및 자료 화면을 매우 용이하고 간단한 수단에 의하여 재배치할 수 있도록 함으로써, 청중들 또는 온라인 강의 수강자들이 마치 작은 강의실에서 강사의 말과 행동 및 프리젠테이션 자료를 모두 한눈에 보면서 강의를 듣는 것과 같은 생동감 있는 강의가 되게 하는데 그 목적이 있다.
또한 이와 함께, 경우에 따라 강사가 직접 화면 구성을 재배치하지 않더라도, 본 발명의 강의 영상 생성 장치가 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 가장 적절한 화면 배치가 되도록 조정되게 함으로써 더욱 편리하게 생동감 있는 강의가 되게 하여 그와 같은 방식으로 전해지는 강의, 강의 녹화 및 온라인 강의가 더욱 활성화 되도록 하는데 그 목적이 있다.
또한 그동안의 교실의 수업이 선생님과 발표 화면을 학생들에 보여 주며 집중도를 높이기 위해 선생님이 학생들과 눈 맞춤을 위한 노력을 해야 하던 문제를 해결하기 위한 동시에 전 학생의 눈맞춤을 발생하게 하는 방식의 수업과 원격지의 수업이 현장 수업보다 떨어지지 않고 할 수 있는 교실을 만들 수 없었던 문제, 그리고 양방향 프리젠테이션 보고가 화상회의를 하기 어려웠던 문제들을 해결하는데 기술 개발의 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 강의 영상 생성 장치가, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 방법은, (a) 촬영 카메라로부터 강사 또는 화상회의자(이하 '강사'라 통칭한다), 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다)을 수신하는 단계; (b) 사용자에게 강의 영상의 화면을 2D 또는 3D로의 구성하기 위한 편집 화면을 제공하는 단계; (c) 상기 사용자로부터, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 마우스, 키보드 또는 무선 포인팅 장치 등을 이용하여 입력받는 단계; (d) 상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성하는 단계; 및, (e) 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 강의 영상 생성 장치가, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 방법은, (a) 발표에 사용할 PPT, 영상 이미지 등의 자료와, 복수의 촬영카메라로부터 강사, 발표자 또는 화상회의자(이하 '강사'라 통칭한다) 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다) 및 하나 이상의 프리젠테이션 자료 화면 영상을 수신하는 단계; (b) 상기 강의 영상 생성 장치를 사용하는 상기 강사 또는 사용자(이하 '사용자'라 총칭한다)에게, 강의 상대방에게 보여줄 강의 영상 화면들을 2D 또는 3D 공간상에 합성하여 구성하기 위한 편집 화면과, 발표자료와 발표자 등 카메라들의 입력들의 합성장면을 제공하며, 상기 구성 영상들을 다양한 장면으로 아름답게 합성화면으로 만들어지도록 하기 위하여 복수의 2D 레이어나 3D 공간상에 설정(이하 '화면 배치 설정'이라 한다)하여, 실시간으로 강의를 하며 사용할 합성 장면 들을 미리 설정하는 단계; (c) 상기 사용자가, 실시간으로 강의 영상 화면을 선택하며 강의를 하는 단계로, 사용자 또는 강사가 혼자서 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 강의 자료 전환, 화면 배치 장면의 전환, 장면 전환 및 발표 자료 변경을 동시에 할 수 있도록 하며, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 필요한 합성 장면을 보며 실시간으로 포인터를 가리키고 발표자료를 전환하며 실시간 강의를 하는 단계; (d) 상기 강사가 강의를 하며 합성 장면과 강의 자료 화면 등 실시간으로 만들어지는 영상을 녹화하고, 이 출력을 화상회의 프로그램에 입력으로 사용되어 지도록 하여 마치 출력 영상이 하나의 카메라처럼 화상회의 프로그램에 사용되어지도록 만들어지게 하는 원격 프리젠테이션 회의 방법을 사용하는 녹화 및 전송 단계; 및 (e) 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 단계를 포함한다.
상기 화면 배치 설정에는, 상기 합성 장면들의 구성 영상(강사 카메라, 발표 자료 , 학생 카메라) 들의 크기, 위치, 모양을 설정하는 기능 및, 설정된 각각의 구성 영상을 이동 또는 회전하거나, 크기 또는 모양을 조정하여 다양한 합성 장면을 설정하는기능을 포함할 수 있다.
상기 화면 배치 설정에는, 향후 강의 중 강의 영상의 구성의 변경을 사용자의 입력에 따른 방식은 물론 장면 전환이 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선을 인식하여, 그 인식된 결과에 따라 자동으로 상기 설정 합성 장면이 선택되도록 하는 자동 장면 선택 기능을 포함하며, 마우스의 위치 즉 해당 가상 전자 칠판에 마우스/포인터가 움직이거나 그림/글씨를 쓰는 경우 해당 전자칠판이 커지는 장면으로 자동전환이 되는 기능을 더 포함할 수 있다.
상기 화면 배치 설정에는, 합성 장면들이 9개 혹은 12개와 같이 다양한 장면이 만들어지는 경우 강의시 이들 장면을 직관적으로 기억할수 있게 하여 강사나 사용자가 메뉴를 보지 않고 작동이 가능하도록 장면 배치를 바둑판형으로 왼쪽은 왼쪽 가상칠판, 우측은 우측 가상칠판이 보여지는 장면들을 배치하고 마우스 좌우 또는 중앙 클릭으로 해당 장면들을 전환하게 하며, 다시 각 가상 칠판이 커지고 작아 지는 것을 마우스 휠을 회전하는 방식과 같이 직관적으로 장면 전환이 마우스 혹은 포인터로 가능하게 하는 기능을 더 포함할 수 있다.
상기 화면 배치 설정에는, 합성화면에 강사 및 강의자료를 사용하도록 배치하면서 아름다운 합성화면을 만들기 위해 상기 카메라 영상에서 강사 및 그 주변을 포함하는 부분을 잘라내어, 강사 외의 영역을 투명도 처리하거나 가상 배경과 합성하는 크롭핑 기능, 또는 잘라낸 강사 영상의 에지(edge)를 시각적으로 배경과 자연스럽게 이어지도록 하는 기능(이하 '에지 기능'이라 한다), 또는 상기 카메라 영상 또는 프리젠테이션 자료 영상의 테두리를, 입력받은 무늬 또는 기 설정된 무늬로 장식하는 기능을 더 포함하며, 강사 에지를 인식하는 뎁스(depth) 카메라 등의 정보를 활용하여 더 많은 공간을 가상칠판의 강의 자료 화면에 활용할 수 있다.
상기 화면 배치 설정에는, 2D/3D 배경의 이미지,영상들과, 상기 강의 영상의 각 구성 영상들의 멀티 레이어 합성에 대하여, 각각의 레이어 혹은 영상입력의 색깔, 투명도, 질감 등을 실시간 조정하는 기능을 더 포함할 수 있다.
상기 단계(d) 이후, 상기 강사의 마우스, 키보드, 스크린 터치 또는 무선 포인팅 장치 등을 이용한 글자 쓰기, 줄긋기, 특정 모양의 표시, 그리기 등을 포함하는 다양한 판서 내용을 입력받아, 그 판서 내용이 상기 프리젠테이션 자료 화면즉 가상 전자칠판(이하 '가상 전자칠판'으로 총칭한다) 위에 씌여지도록 하는 단계를 더 포함할 수 있다.
상기 가상 전자칠판은, 상기 영상 장면마다 다수 개가 배치 가능하고 상기 강의 자료 영상들이 각각 보여질 수 있도록 가상 전자 칠판에 입력 강의 자료의 스위칭이, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 간단한 방법으로 가능하게 하며, 상기 다수개의 가상 전자칠판에는 각각 독립적으로 판서가 가능할 수 있다.
상기 가상 전자칠판이 포함된 강의 영상의 배치가 변경되거나 또는 상기 가상 전자칠판이 포함된 상태에서 장면이 전환될 경우, 상기 가상 전자칠판에 판서된 내용은, 변경된 강의 영상 내에서 이동된 상기 가상 전자칠판의 위치에 따라 이동하거나, 또는, 변경된 강의 영상 내에서 변화된 상기 가상 전자칠판의 크기에 맞추어 크기가 변경될 수 있다.
상기 단계(d)에서 강의 영상 생성을 시작한 이후, 생성되는 강의 영상을, 강의실의 청중에게 프로젝터로 제공하거나, 네트워크를 통하여 온라인 상의 청중에게 제공하거나, 또는 화상회의 상대방에게 전송하는 단계를 더 포함하고, 상기 강의 영상을 화상회의 상대방에게 전송하는 경우, 다수의 영상 채팅을 위한 기존의 프로그램을 이용하여, 상기 생성된 강의 영상을 전송할 수 있도록 영상 합성화면을 다른 화상회의 프로그램의 카메라 설정에서 선택되도록 하는 가상 캡쳐 카메라로 인식되게 할 수 있다.
본 발명의 또 다른 측면에 따르면, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 장치는, 촬영 카메라로부터 강사 또는 화상회의자(이하 '강사'라 통칭한다), 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다)을 수신하는 카메라 영상 수신모듈; 사용자에게 강의 영상의 화면을 2D 또는 3D로의 구성하기 위한 편집 화면을 제공하는 편집 인터페이스 제공모듈; 상기 사용자로부터, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 마우스, 키보드 또는 무선 포인팅 장치 등을 이용하여 입력받는 설정입력 수신모듈; 상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성하는 강의 영상 생성모듈; 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 강의 영상 조정모듈; 및, 영상 합성을 이용한 강의 영상 생성 장치의 상기 각 모듈을 제어하여 영상 합성을 이용한 강의 영상 생성과 관련된 일련의 처리를 수행하는 제어부를 포함한다..
본 발명에 의하면, 프리젠테이션 자료와 강사 영상을 하나의 화면에 효율적인 배치를 위해 강사의 영상을, 그 주변 영역을 그래디언트 및 투명도 조정에 의해 크롭핑 및 페더링(feathering)처리함으로써 멋지게 스튜디오처럼 가상 강의실에 빈 공간을 최소화하여 배치하고, 시청자에게 흥미를 느끼게 하는 효과적인 형태로 배치할 뿐만 아니라, 강의 영상을 편집하는 전문 기술자 없이도 강의를 진행하는 강사가 강의를 진행하면서 직접, 상황에 맞게 효과적으로 강사 및 자료 화면을 매우 용이하고 간단한 수단에 의하여 재배치할 수 있도록 하고, 경우에 따라 강사가 직접 화면 구성을 재배치하지 않더라도 본 발명의 강의 영상 생성 장치가 강사의 제스쳐나 얼굴 등을 인식하여 자동으로 가장 적절한 화면 배치가 되도록 조정되게 함으로써, 청중들 또는 온라인 강의 수강자들이 마치 작은 강의실에서 강사의 말과 행동 및 프리젠테이션 자료를 모두 한눈에 보면서 강의를 듣는 것과 같은 생동감 있는 강의가 되게 하여, 그와 같은 방식으로 전해지는 강의, 강의 녹화 및 온라인 강의가 더욱 활성화 되도록 하는 효과가 있다.
이러한 합성 기술은 도 20 에서와 같이 강의실에서 강사트랙킹과 강의 자료를 실시간으로 합성해서 녹화하는 방식의 새로운 강의 녹화 장치로서의 방식과, 이를 전송/원격 강의 활용 및 스마트 장치로의 방송을 하는 방식의 새로운 스마트 강의 장치로의 활용이 가능하게 되어 강의의 녹화는 물론 기존의 원격지로의 강의 방송이 불가능했던 것을 자동으로 해결하는 기술이 가능하게 된다.
이것은 실제 강의실에서도 강사와 칠판을 강사의 제스쳐를 통해 번갈아 보는 학생의 수업 방식을 강사와 강의 자료 컴퓨터 화면을 강사가 보여줄 장면을 강의실 프로젝터 화면에 보여 주게 할수 있게 하여도 기존 방식보다 더 우수한 강의 집중도를 만들어 내고, 그동안 동시 눈맞춤이 불가능 했던 것을 해결하여 전체 강의실 학생들이 동시 눈맞춤이 일어나게 하는 강의 장치가 되게 하며, 더 나아가 선생님이 있는 강의실에서 듣는 학생이나 원격지에서 합성된 화면을 보는 것이 차이가 없게 하므로서 그동안 불가능하게 생각하던 원격 강의가 가능하게 되는 장치가 만들어지게 된다.
도 1은 종래 강의 영상에서 강사와 발표 자료 배치 구성의 예를 도시한 도면.
도 2는 종래 강의 영상에서 전체 비디오 화면에서 유효 면적이 차지하는 비율의 예를 도시한 도면.
도 3은 종래 강의 영상에서 두 개의 스크린으로 보여주는 원격 강의 화면을 도시한 도면.
도 4는 본 발명에 따른 영상 합성을 이용한 강의 영상을 생성하여 강의실에서 제공하는 경우의 구성을 나타내는 도면.
도 5는 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 방법의 순서도를 도시한 도면.
도 6은 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 장치의 구성을 도시한 도면.
도 7은 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면 등의 크기, 회전, 배치 등을 조정하는 편집 기능을 제공하는 본 발명에 따른 편집화면의 예를 도시한 도면.
도 8은 본 발명에 따른, 전체 비디오 화면에서 유효 면적이 차지하는 비율을 높인 강의 영상 화면 배치의 예를 도시한 도면.
도 9는 본 발명에 따른, 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면의 다양한 구성예를 도시한 도면.
도 10은 강의 중 강사와 특정 청중 간의 의사소통시 그 화면 배치의 예를 도시한 도면.
도 11은 마우스에 의하여 강의 영상의 배치 형태를 강의 중인 강사가 매우 용이하게 조정할 수 있게 하는 실시예를 도시한 도면.
도 12는 강의 영상의 화면 배치가 설정된 시간에 의하여 자동으로 전환되는 애니메이션 기능을 설명하기 위한 도면.
도 13은 강사의 제스쳐나 얼굴 등을 인식하여 강사 화면, 프리젠테이션 자료 화면의 배치가 자동으로 전환되는 실시예를 도시한 도면.
도 14는 배경, 강사, 강사비디오 프레임, 모니터, 전자 칠판, 모니터 프레임 등의 다양한 레이어로 구성되는 레이어 배치를 나타내는 도면.
도 15는 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템을 도시한 도면.
도 16은 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템과 기존의 화상 회의 시스템의 차별점을 설명하기 위한 도면.
도 17은 크롭핑에 의한 장면 편집방법을 도시한 도면.
도 18은 크롭핑 및 가상 프리젠팅 자료 화면 벤딩 효과에 의한 화성 합성 장면을 도시한 도면.
도 19는 강사 크로핑 및 페더링(feathering) 등에 의한 엣지(edge) 처리된 화면을 도시한 도면.
도 20은 일반 강의실에서 강사와 발표 화면을 합성하여 실시간 방송을 하는 스마트 강의 녹화,방송 화면을 도시한 도면.
도 21은 일반 회의실 / 혹은 강의실에서 발표자가 회의실/강의실 뒤에서 학생들과 함께 화면을 보며 강의를 하며, 원격지에서도 같은 화면을 보는 방식의 스마트 강의실을 위해 본 발명의 장치를 사용하는 장면을 도시한 도면.
도 2는 종래 강의 영상에서 전체 비디오 화면에서 유효 면적이 차지하는 비율의 예를 도시한 도면.
도 3은 종래 강의 영상에서 두 개의 스크린으로 보여주는 원격 강의 화면을 도시한 도면.
도 4는 본 발명에 따른 영상 합성을 이용한 강의 영상을 생성하여 강의실에서 제공하는 경우의 구성을 나타내는 도면.
도 5는 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 방법의 순서도를 도시한 도면.
도 6은 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 장치의 구성을 도시한 도면.
도 7은 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면 등의 크기, 회전, 배치 등을 조정하는 편집 기능을 제공하는 본 발명에 따른 편집화면의 예를 도시한 도면.
도 8은 본 발명에 따른, 전체 비디오 화면에서 유효 면적이 차지하는 비율을 높인 강의 영상 화면 배치의 예를 도시한 도면.
도 9는 본 발명에 따른, 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면의 다양한 구성예를 도시한 도면.
도 10은 강의 중 강사와 특정 청중 간의 의사소통시 그 화면 배치의 예를 도시한 도면.
도 11은 마우스에 의하여 강의 영상의 배치 형태를 강의 중인 강사가 매우 용이하게 조정할 수 있게 하는 실시예를 도시한 도면.
도 12는 강의 영상의 화면 배치가 설정된 시간에 의하여 자동으로 전환되는 애니메이션 기능을 설명하기 위한 도면.
도 13은 강사의 제스쳐나 얼굴 등을 인식하여 강사 화면, 프리젠테이션 자료 화면의 배치가 자동으로 전환되는 실시예를 도시한 도면.
도 14는 배경, 강사, 강사비디오 프레임, 모니터, 전자 칠판, 모니터 프레임 등의 다양한 레이어로 구성되는 레이어 배치를 나타내는 도면.
도 15는 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템을 도시한 도면.
도 16은 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템과 기존의 화상 회의 시스템의 차별점을 설명하기 위한 도면.
도 17은 크롭핑에 의한 장면 편집방법을 도시한 도면.
도 18은 크롭핑 및 가상 프리젠팅 자료 화면 벤딩 효과에 의한 화성 합성 장면을 도시한 도면.
도 19는 강사 크로핑 및 페더링(feathering) 등에 의한 엣지(edge) 처리된 화면을 도시한 도면.
도 20은 일반 강의실에서 강사와 발표 화면을 합성하여 실시간 방송을 하는 스마트 강의 녹화,방송 화면을 도시한 도면.
도 21은 일반 회의실 / 혹은 강의실에서 발표자가 회의실/강의실 뒤에서 학생들과 함께 화면을 보며 강의를 하며, 원격지에서도 같은 화면을 보는 방식의 스마트 강의실을 위해 본 발명의 장치를 사용하는 장면을 도시한 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 4는 본 발명에 따른 영상 합성을 이용한 강의 영상을 생성하여 강의실에서 제공하는 경우의 구성을 나타내는 도면이다.
강사(10)는 청중(60)에게 강의를 하며 프로젝트 화면(51)을 보여주고 있다. 강사(10)를 촬영하는 카메라(30) 및 청중(60)을 촬영하는 카메라(40)의 촬영 영상은 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 장치(100)로 수신되고, 프리젠테이션 자료가 들어있는 노트북 등(50)이 영상 합성을 이용한 강의 영상 생성 장치(100)에 연결될 수 있다. 이와 같은 프리젠테이션 자료는 실시예에 따라 영상 합성을 이용한 강의 영상 생성 장치(100)에 직접 저장하고 띄울 수도 있다. 강사(10)는 강의를 진행하면서, 영상 합성을 이용한 강의 영상 생성 장치(100)에서, 자신(10) 또는 청중의 촬영 영상 및 프리젠테이션 자료 영상에 대하여, 매우 간단하고 편리한 조작만으로 그에 대한 강의 영상 내에서의 배치, 크기 등을 상황에 따라 조정하여 가면서, 생동감 있고 흥미있는 강의 영상을 청중(60)에게 전달할 수 있게 된다. 도 4의 프로젝트 화면(51)에는 프리젠테이션 자료만이 보여지고 있으나, 강사(10) 화면, 프리젠테이션 자료, 때로는 청중(60) 화면 등을 강의 영상(51) 내에 다양한 배치 형태로 변경해가면서 보여 줄 수 있게 된다.
또한 이와 같은 강의 영상(51)은 반드시 강의실 내에서 프로젝터를 통해서만 제공되는 것으로 한정되는 것은 아니며, 온라인 상에서 다양한 청중에게 제공되는 것도 가능하며, 녹화되는 것도 가능하며, 이와 같이 강의 영상을 생성하는 방식을 화상 회의에 적용하여, 생성된 영상을 상대방에게 전송함으로써 화상회의를 진행하는 것도 가능하다.
전술한 바와 같은 본 발명의 다양한 실시예에 대하여는 도 5 내지 도 6을 참조하여 상세히 후술한다.
도 5는 본 발명에 따른 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 장치(100)가, 영상 합성을 이용한 강의 영상 생성 방법을 수행하는 과정의 순서도를 도시한 도면이다.
먼저, 강의 영상 생성 장치(100)는, 촬영 카메라(30,40)로부터 강사 또는 화상회의자(이하 '강사'라 통칭한다)(10), 또는 청중(60)의 촬영 영상(이하 '카메라 영상'이라 한다)을 수신한다(S501). 사용자의 클릭에 따라 강의 영상 생성 장치(100)는, 강의 영상의 화면 구성을 설정하기 위한 편집 화면을 제공한다(S502). 여기서 '사용자'는 일반적으로는 장치(100)의 전문 운영자일 수 있다. 그러나 특히 본 발명의 실시예 중 하나는, 이하에 설명하는 바와 같이 강의 중 강사 스스로가 극히 용이하게 강의 영상의 형태, 크기 등을 변경할 수 있게 함으로써, 매우 생동감 있고 효과적인 강의 영상을 제공한다는데 그 특징을 가지고 있다. 따라서 본 발명에서의 '사용자'는 특히 강의를 진행하는 자 또는 화상회의를 하고 있는 자, 즉 전술한 바와 같이 상기 '강사'일 수 있다.
상기 사용자는, 제공된 편집 화면에서, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상(50)을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 입력할 수 있다(S503).
상기 단계 S503의 화면 배치 설정에서는, 상기 구성 영상들의 크기, 위치, 모양을 설정할 수 있다.
또한 이후 진행될 강의 중에 강의 영상의 구성의 변경 조정을, 사용자의 설정 입력에 따른 방식으로 할 것인지, 또는 강의 영상 생성 장치(100)가 수신된 카메라 영상으로부터 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선을 인식하여, 그 인식된 결과에 따라 자동으로 상기 구성 영상들의 크기 및 배치가 특정한 형태로 변경하는 방식으로 할 것인지를 설정하는 기능을 포함할 수 있다.
상기 단계 S503의 화면 배치 설정에서는, 상기 구성 영상들이 강의 영상 내 배치되어 특정한 구성의 강의 영상을 형성하는 다양한 배치 형태(이하 '배치 타입'이라 한다) 중 사용자에 의해 선택된 특정한 배치 타입들(예를 들어, n 개)에 대하여, 각각 설정된 지속시간에 따라 정해진 순서로 상기 n 개의 배치 타입이 순환하며 상기 강의 영상의 구성이 변화하는 애니메이션 기능을 설정하는 기능을 포함할 수도 있다.
예를 들어 애니메이션 방식으로 각 가상 장면마다 다른 크기 위치, 각도 및 모양이 곡면의 스크린으로 자유롭게 배치되도록 함으로써 카메라만 움직이는 것이 아닌 강사 크기, 배경, 가상 모니터가 자유로이 재배치되는 애니메이션 효과를 줄 수 있다. 조절되는 시간 안에 각각의 가상 카메라로의 변경시 부드러운 애니메이션으로 움직임이 발생하도록 하여 화면이 커지거나 변경될 때 이를 따라 가면서 볼 수 있도록 하는 애니메이션 효과를 준다.
화면 배치 설정이 완료되면, 상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성한다(S504). 이와 같이 강의 영상 생성을 시작한 이후, 생성되는 강의 영상의 녹화를 진행할 수도 있고(S505), 생성되는 강의 영상을, 강의실의 청중(60)에게 프로젝터로 제공하거나(S506), 네트워크를 통하여 온라인 상의 청중에게 제공하거나(S507), 또는 화상회의를 위하여 영상을 생성 중인 경우는 그 강의 영상을 화상회의 상대방에게 전송(S508)할 수도 있다.
한편 강의 진행 중 강사에게 가상 전자칠판을 제공하여 판서할 수 있는 기능을 제공할 수 있다(S509). 가상 전자칠판을 드로잉하고, 강사의 판서 내용을 입력받아 그 판서 내용이 강의 영상의 가상 전자칠판 위에 씌여지도록 한다. 이때 강의 영상 화면 구성이 변경되고, 그 가상 전자칠판의 형태, 위치, 크기가 변경된다면, 그 위에 씌여진 내용 역시 그 가상 전자칠판 안에 들어가도록 동일한 비율로 변화되도록 한다. 즉, 가상 모니터에 가상 판서, 그리기, 좌우 이동, 가상 카메라 줌인, 줌아웃, 가상 모니터 컨텐츠 변경 등을 모두 손쉽게 마우스로 포인터를 움직이며 강의할 수 있도록 하며, 마우스 클릭 혹은 마우스 위치에 따라 자동 혹은 수동으로 장면이 변경되게 하여, 강의를 하고 있는 강사 혼자서도 손쉽게 그와 같은 처리를 할 수 있게 한다.
강의 진행 중, 즉 강의 영상의 생성 진행 중에, 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경할 수 있다(S510).
즉, 여기서 특정 조건의 충족이란, 일 실시예로서 상기 사용자로부터 강의 중 상기 강의 영상의 화면 구성에 대한 설정 변경 입력을 수신하는 것일 수 있다. 이때 상기 충족된 조건에 따른 강의 영상 구성의 변경이란, 이와 같이 사용자에 의해 입력된 설정 변경에 따라 강의 영상의 배치, 크기 등의 구성을 변경하는 것이 된다.
이와 같이 강의 중 상기 강의 영상의 화면 구성에 대한, 상기 사용자로부터의 설정 변경 입력의 방식은, 상기 구성 영상들의 크기, 위치, 모양을 조정하는 편집화면을 사용자에게 제공하고, 사용자로부터 마우스, 키보드 또는 무선 포인팅 장치 등을 이용하여 상기 편집화면에서의 설정 변경을 입력받는 방식이 될 수 있다.
또는 강의 중 상기 강의 영상의 화면 구성에 대한, 상기 사용자로부터의 설정 변경 입력은, 상기 구성 영상들이 강의 영상 내 배치되는 다양한 형태를 나타내는 다수의 샘플을 편집화면에 제공함에 의해 이루어질 수도 있는데, 이와 같이 제공된 편집화면으로부터, 상기 사용자에 의해 마우스, 키보드 또는 무선 포인팅 장치 등을 이용하여 상기 다수의 샘플 중 하나를 선택받음으로써 설정 변경을 입력받게 된다.
이와 같이 강의 진행 중, 즉 강의 영상의 생성 진행 중에, 설정되는 기능에서도, 상기 구성 영상들이 강의 영상 내 배치되는 n 개의 형태(이하 '배치 타입'이라 한다)들에 대하여, 각각 설정된 시간에 따라 정해진 순서로 상기 n 개의 배치 타입이 순환하며 상기 강의 영상의 구성이 변화하는 애니메이션 기능이 더 포함될 수 있다.
또한 특정 조건의 충족이란, 다른 실시예로서 상기 카메라 영상에서, 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선을 인식하는 것일 수 있다. 이 경우 상기 충족된 조건에 따른 강의 영상 구성의 변경이란, 이와 같이 인식된 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선에 따라 자동으로 상기 구성 영상들의 크기 및 배치를 특정한 형태로 변경하여 강의 영상의 구성을 변경하는 것일 수 있다.
예를 들어 강사가 강의 자료를 응시할 때는 강의 자료 화면이 커지도록 하는 장면으로 자동 전환이 되고, 강사가 학생을 지적하는 경우의 제스쳐를 할 경우는 해당 학생을 보여 주는 화면으로 이동이 되게 하고 학생들을 바라보는 경우 강사의 카메라가 커지도록 자동으로 혹은 수동으로 조정이 되게 하는 것이다.
또한 강사가 강의실에서 자유로이 이동이 되는 경우 강사 트랙킹을 이미지, 얼굴 인식으로 이루어지게 하고, 학생이 손을 들어 질문을 하는 경우 복수의 학생 카메라가 손을 드는 학생 또는 질문 음성을 내는 방향으로 선택이 되어 학생과 선생님을 함께 보여 주는 화면으로의 전환이 자동 혹은 수동으로 되게 할 수 있는 것이다.
지금까지 설명한 내용을 좀 더 보충하여 설명하면, 강의 영상 생성 장치가, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 방법은, (a) 발표에 사용할 PPT, 영상 이미지 등의 자료와, 복수의 촬영카메라로부터 강사, 발표자 또는 화상회의자(이하 '강사'라 통칭한다) 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다) 및 하나 이상의 프리젠테이션 자료 화면 영상을 수신하는 단계; (b) 상기 강의 영상 생성 장치를 사용하는 상기 강사 또는 사용자(이하 '사용자'라 총칭한다)에게, 강의 상대방에게 보여줄 강의 영상 화면들을 2D 또는 3D 공간상에 합성하여 구성하기 위한 편집 화면과, 발표자료와 발표자 등 카메라들의 입력들의 합성장면을 제공하며, 상기 구성 영상들을 다양한 장면으로 아름답게 합성화면으로 만들어지도록 하기 위하여 복수의 2D 레이어나 3D 공간상에 설정(이하 '화면 배치 설정'이라 한다)하여, 실시간으로 강의를 하며 사용할 합성 장면 들을 미리 설정하는 단계;(c) 상기 사용자가, 실시간으로 강의 영상 화면을 선택하며 강의를 하는 단계로, 사용자 또는 강사가 혼자서 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 강의 자료 전환, 화면 배치 장면의 전환, 장면 전환 및 발표 자료 변경을 동시에 할 수 있도록 하며, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 필요한 합성 장면을 보며 실시간으로 포인터를 가리키고 발표자료를 전환하며 실시간 강의를 하는 단계; (d) 상기 강사가 강의를 하며 합성 장면과 강의 자료 화면 등 실시간으로 만들어지는 영상을 녹화하고, 이 출력을 화상회의 프로그램에 입력으로 사용되어 지도록 하여 마치 출력 영상이 하나의 카메라처럼 화상회의 프로그램에 사용되어지도록 만들어지게 하는 원격 프리젠테이션 회의 방법을 사용하는 녹화 및 전송 단계; 및 (e) 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 단계를 포함하는 것이다.
또한 상기 화면 배치 설정에는, 상기 합성 장면들의 구성 영상(강사 카메라, 발표 자료 , 학생 카메라) 들의 크기, 위치, 모양을 설정하는 기능 및, 설정된 각각의 구성 영상을 이동 또는 회전하거나, 크기 또는 모양을 조정하여 다양한 합성 장면을 설정하는 기능을 포함할 수 있다.
또한 다른 기능으로서 상기 화면 배치 설정에는, 향후 강의 중 강의 영상의 구성의 변경을 사용자의 입력에 따른 방식은 물론 장면 전환이 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선을 인식하여, 그 인식된 결과에 따라 자동으로 상기 설정 합성 장면이 선택되도록 하는 자동 장면 선택 기능을 포함하며, 마우스의 위치 즉 해당 가상 전자 칠판에 마우스/포인터가 움직이거나 그림/글씨를 쓰는 경우 해당 전자칠판이 커지는 장면으로 자동전환이 되는 기능을 더 포함할 수도 있다.
또한 다른 기능으로서 상기 화면 배치 설정에는, 합성 장면들이 9개 혹은 12개와 같이 다양한 장면이 만들어지는 경우 강의시 이들 장면을 직관적으로 기억할수 있게 하여 강사나 사용자가 메뉴를 보지 않고 작동이 가능하도록 장면 배치를 바둑판형으로 왼쪽은 왼쪽 가상칠판, 우측은 우측 가상칠판이 보여지는 장면들을 배치하고 마우스 좌우 또는 중앙 클릭으로 해당 장면들을 전환하게 하며, 다시 각 가상 칠판이 커지고 작아지는 것을 마우스 휠을 회전하는 방식과 같이 직관적으로 장면 전환이 마우스 혹은 포인터로 가능하게 하는 기능을 더 포함할 수도 있다.
또한 다른 기능으로서 상기 화면 배치 설정에는, 합성화면에 강사 및 강의자료를 사용하도록 배치하면서 아름다운 합성화면을 만들기 위해 상기 카메라 영상에서 강사 및 그 주변을 포함하는 부분을 잘라내어, 강사 외의 영역을 투명도 처리하거나 가상 배경과 합성하는 크롭핑 기능, 또는 잘라낸 강사 영상의 에지(edge)를 시각적으로 배경과 자연스럽게 이어지도록 하는 기능(이하 '에지 기능'이라 한다), 또는 상기 카메라 영상 또는 프리젠테이션 자료 영상의 테두리를, 입력받은 무늬 또는 기 설정된 무늬로 장식하는 기능을 더 포함하며, 강사 에지를 인식하는 뎁스(depth) 카메라 등의 정보를 활용하여 더 많은 공간을 가상칠판의 강의 자료 화면에 활용할 수 있는 것이다.
또한 다른 기능으로서 상기 화면 배치 설정에는, 2D/3D 배경의 이미지,영상들과, 상기 강의 영상의 각 구성 영상들의 멀티 레이어 합성에 대하여, 각각의 레이어 혹은 영상입력의 색깔, 투명도, 질감 등을 실시간 조정하는 기능을 더 포함할 수도 있다.
또한 상기 단계(d) 이후, 상기 강사의 마우스, 키보드, 스크린 터치 또는 무선 포인팅 장치 등을 이용한 글자 쓰기, 줄긋기, 특정 모양의 표시, 그리기 등을 포함하는 다양한 판서 내용을 입력받아, 그 판서 내용이 상기 프리젠테이션 자료 화면즉 가상 전자칠판(이하 '가상 전자칠판'으로 총칭한다) 위에 씌여지도록 하는 단계를 더 포함할 수도 있다.
상기 가상 전자칠판은, 상기 영상 장면마다 다수 개가 배치 가능하고 상기 강의 자료 영상들이 각각 보여질 수 있도록 가상 전자 칠판에 입력 강의자료의 스위칭이, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 간단한 방법으로 가능하게 하며, 상기 다수개의 가상 전자칠판에는 각각 독립적으로 판서가 가능하다.
상기 가상 전자칠판이 포함된 강의 영상의 배치가 변경되거나 또는 상기 가상 전자칠판이 포함된 상태에서 장면이 전환될 경우, 상기 가상 전자칠판에 판서된 내용은, 변경된 강의 영상 내에서 이동된 상기 가상 전자칠판의 위치에 따라 이동하거나, 또는, 변경된 강의 영상 내에서 변화된 상기 가상 전자칠판의 크기에 맞추어 크기가 변경되는 것일 수 있다.
상기 단계(d)에서 강의 영상 생성을 시작한 이후, 생성되는 강의 영상을, 강의실의 청중에게 프로젝터로 제공하거나, 네트워크를 통하여 온라인 상의 청중에게 제공하거나, 또는 화상회의 상대방에게 전송하는 단계를 더 포함하고, 상기 강의 영상을 화상회의 상대방에게 전송하는 경우, 다수의 영상 채팅을 위한 기존의 프로그램을 이용하여, 상기 생성된 강의 영상을 전송할 수 있도록 영상 합성화면을 다른 화상회의 프로그램의 카메라 설정에서 선택되도록 하는 가상 캡쳐 카메라로 인식되게 할 수 있다.
지금까지 순서도를 통하여 설명한 본 발명에 따른 강의 영상 생성 방법에 대하여는, 도 7 내지 도 16을 참조하여 그 실시예를 통하여 더욱 상세히 설명하기로 한다.
도 6은 본 발명에 따른 영상 합성을 이용한 강의 영상 생성 장치(100)의 구성을 도시한 도면이다.
본 발명에 따른 영상 합성을 이용한 강의 영상 생성 방법에 대하여 도 5를 참조하여 전술한 바 있으며 또한 도 7 내지 도 16을 참조하여 그 실시예를 통하여 더욱 상세히 후술할 것이므로, 이하 도 6을 참조하여서는, 그와 같은 기능을 수행하는 장치로서의 영상 합성을 이용한 강의 영상 생성 장치(100)의 각 구성 모듈별 기능을 중심으로 간략히 기술하기로 한다.
제어부(101)는 영상 합성을 이용한 강의 영상 생성 장치의 이하 각 모듈을 제어하여 영상 합성을 이용한 강의 영상 생성과 관련된 일련의 처리를 수행한다.
카메라 영상 수신모듈(102)은 촬영 카메라로부터 강사 또는 화상회의자(이하 '강사'라 통칭한다), 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다)을 수신한다.
편집 인터페이스 제공모듈(103)은 사용자에게 강의 영상의 화면 구성을 위한 편집 화면을 제공한다.
설정입력 수신모듈(104)는 상기 사용자로부터, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 입력받는다.
강의 영상 생성모듈(105)은 상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성한다.
강의 영상 조정모듈(106)은 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경 조정한다.
여기에, 상기 강의 영상 생성모듈(105)이 강의 영상 생성을 시작한 이후, 생성되는 강의 영상을 녹화하는 강의 영상 녹화모듈(107)을 더 포함할 수 있고, 상기 강의 영상 생성모듈(105)이 강의 영상 생성을 시작한 이후 생성되는 강의 영상을, 강의실의 청중에게 프로젝터로 제공하거나, 네트워크를 통하여 온라인 상의 청중에게 제공하거나, 또는 화상회의 상대방에게 전송하는 강의 영상 제공모듈(108)을 더 포함할 수도 있다.
영상 처리모듈(109)은 상기 카메라 영상에서 강사 및 그 주변을 포함하는 부분을 잘라내어, 강사 외의 영역을 투명도 처리하는 크롭핑 기능 또는, 상기 강의 영상의 각 구성 영상들에 대하여 색깔, 투명도, 질감 등을 조정하는 기능을 수행한다. 즉, 구성 영상들의 2D 혹은 3D의 가상 강의실의 모듈별 합성으로 각 모듈(예를 들어 벽, 바닥, 천장, 채강) 등의 크기, 위치, 모양을 설정하거나 조정하고 각 모듈의 택스쳐나 질감, 투명도를 조정하는 영상 처리 기능을 제공함으로써, 한 개의 물체 혹은 벽의 이미지라 하더라도 다양한 색상 변경과 사이즈 조정 배치 조정, 크기 조정을 통해 앞뒤에 있는 다른 모둘들과 영상 효과를 달리 조합되게 할 수 있는 것이다. 이에 따라 매번 변경을 위해 그래픽 디자인 프로그램 등에서 작업을 하지 않아도 되도록 한다.
한편 가상 전자칠판 제공모듈(110)은 강사의 판서 내용을 입력받아 그 판서 내용이 상기 가상 전자칠판 위에 씌여지도록 한다. 이때 판서의 도구를 다양한 형태의 가상 펜, 포인터로 제공하여 이를 선택하여 상용하도록 하고, 이것으로 그림을 그리고 글씨를 쓴 가상 칠판 화면이 각각의 다른 가상 카메라 장면으로 보여질 수 있고, 함께 동일한 비율로 사이즈 및 위치가 변경이 되도록 할 수 있다.
도 7은 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면 등의 크기, 회전, 배치 등을 조정하는 편집 기능을 제공하는 본 발명에 따른 편집화면의 예를 도시한 도면이다.
도 5의 순서도에서 강의 영상 생성을 위한 최초 화면 설정(S502,S503)의 편집화면의 실시예이며, 강의 진행 중 강사 등이 화면 구성을 변경하기 위해 설정을 직접 변경할 때(S509)에도 사용될 수 있는 화면이다.
각 장면에 강사 화면(A)과 다른 영상이나 프리젠테이션 자료가 나타나는 모니터 화면(M1,M2,M3) 등을 복수로 보이게 하고 이들이 각각 왼쪽 그림처럼 조정할 수 있게 한다. 1번을 마우스로 움직여 좌우 이동을, 2,3을 이동하여 4면의 크롭(crop)을, 4,5를 이동하여 스케일을(4;3/16:9 세팅 시 하나만) 움직이고 6번으로 회전을 조절하게 된다.
이때 크롭을 다각형으로 할 수 있게 하고 2,3번의 페더(feather) 정도를 제어할 수 있게 된다. 모니터 수는 필요에 따라 선택할 수 있게 하고, 각 모니터에 보일 카메라, 노트북 등을 장면마다 설정할 수 있다. 이렇게 설정된 각 화면들은 전술한 바둑판식 스위쳐 버튼에 정의되어 배경 이미지 혹은 애니메이션 비디오와 함께 세팅된 탬플릿으로 사용될 수 있다.
도 8은 본 발명에 따른, 전체 비디오 화면에서 유효 면적이 차지하는 비율을 높인 강의 영상 화면 배치의 예를 도시한 도면이다.
즉, 도 8의 우측 도면과 같이 겹치는 영역이 되도록 하여 화면에서 유효한 화면이 나타나는 영역(active area)를 최대한 크게 설정하여 낭비되는 영역을 최소화할 수 있다.
도 9는 본 발명에 따른, 강의 영상을 구성하는 강사 화면, 프리젠테이션 자료 화면의 다양한 구성예를 도시한 도면이다.
윗줄의 도면들(901)과 같이 평면적 배치(2D)가 되도록 할 수도 있고, 아랫줄의 도면들(902)과 같이 공간적 배치(3D)가 되도록 할 수도 있다. 도시된 바와 같이, 청중의 몰입감을 최대한 증대하기 위해 두 화면을 합성시 오버랩 공간을 만들고 이러한 오버래핑 부분에 디졸빙(disolving) 효과를 주도록 하여 이를 합성하게 하는 페더링(feathering) 믹싱을 주어 마치 가상 공간에 강사가 있는 듯한 효과를 줄 수 있다.
또한 이러한 합성 장면을, 배경을 제거한 강사의 모습만을 추출하는 가상 스튜디오 크로마키 기술을 사용하면 더욱 극대화가 될 수 있으며, 크로마키를 사용하지 않는 일반 합성의 경우에도 강사 촬영 영상에 대해 크롭, 스케일링, 회전 및 페더링(feathering) 기법 등을 사용하여 더욱 생생한 강의 영상을 극대화 할 수 있게 한다.
전술한 바와 같이 이러한 화면 구성의 변경을 강사가 강의 진행중에라도 극히 용이하게 할 수 있도록 하거나, 또는 강사, 청중, 화상회의자 등의 제스쳐, 얼굴 등을 인식함에 의해, 강사의 제어 없이도 가장 적절한 화면 구성으로 자동 변경될 수 있도록 한다는 데 본 발명의 특징이 있다.
도 10은 강의 중 강사와 특정 청중 간의 의사소통시 그 화면 배치의 예를 도시한 도면이다.
즉, 청중의 질문 및 그에 따른 강사의 답변이 있는 경우, 왼쪽 도면(1001)과 같이 두 사람을 보이는 모드로 전환할 수 있다. 이때 자료화면이 필요하다면 자료화면을 오버랩 시킬 수 있다(1002). 경우에 따라 자료화면을 더욱 확대시켜 보여 줄 수도 있다(1003).
도 11은 마우스에 의하여 강의 영상의 배치 형태를 강의 중인 강사가 매우 용이하게 조정할 수 있게 하는 실시예를 도시한 도면이다.
강의시 무엇을 화면에 어떻게 효과적으로 보여줘야 하는지를 강사 본인이 가장 잘 알기 때문에, 강의 진행 중에 강의 영상을 생성하는 장비 운영을 강사 스스로 할 수 있게 하는 것이 매우 중요하다.
강의에서 강사는 포인터를 사용하거나 마우스를 사용하는 것이 일반적이므로 장면 스위칭 및 컨텐츠 제어를 마우스, 마우스 기능이 탑재된 포인터, 또는 드로잉 펜 등, 손쉬운 조작이 가능한 수단으로 할 수 있게 하여, 전문적인 장비 운영 지식이 없이도 극히 용이하게, 강의 영상의 구성을 효과적인 화면 구성으로 상황에 따라 탄력적으로 변경 제어할 수 있도록 한다. 즉, 본 발명의 실시예는, 강의 진행 중에 특별한 편집 메뉴 없이도 무선, 유선 마우스 하나로 혹은 판서 기능이 있는 전자 펜 혹은 포인터 하나로 전 장면을 강사가 손쉽게 출력 화면을 보면서 작동을 가능하게 한다. 이를 위해 화면의 강사와 스크린 합성 화면을 마우스의 왼쪽, 중앙,오른쪽 버튼 작동과 중앙의 휠 회전을 이용하여 좌측 열로 이동은 좌측 버튼 클릭, 우측으로는 우측 버튼을 중앙은 중앙 휠을 움직이게 하고, 다시 각 열의 상하 이동은 각각 휠을 회전하여 움직이게 하는 방식으로 직관적 줌인, 줌아웃 및 왼쪽 오른쪽 이동의 카메라 스위칭까지도 강사 혼자 할 수 있게 한다
도 11의 실시예에서는 왼쪽 열, 가운데 열, 오른쪽 열의 스타일 중 어느 포맷을 사용할 것인지를 마우스의 좌측 클릭, 중앙 휠버튼 클릭, 우측 클릭으로 선택하고, 선택된 열에서 위아래로 나열된 다양한 스타일 중에서는 어느 포맷을 사용할 것인지는 마우스 중앙 휠을 아래 위로 굴림으로써 선택할 수 있게 한다.
즉, 이들의 좌우 및 위아래 배치 이동을 마우스 좌우 클릭과 중앙 휠을 눌러 조절하게 하고 휠을 돌리면 각 줄의 위아래로 이동이 되게 하는 이동 방식으로 제어하도록 할 수 있다.
또 다른 실시예로서, 마우스 기능의 조합으로 더블클릭 혹은 좌,우, 중앙 버튼을 누르고 회전 휠을 돌리면 슬라이드 등 비디오 파일들이 변경되게 할 수 있고, 같은 방식으로 가상 모니터로서 나타나는 소스 중에서 노트북, 외부 카메라 등까지도 손쉽게 변경할 수 있도록 작동된다.
또한 더욱 단순하게 하기 위해, 하나의 열로만 스타일 선택 화면을 구성하여, 간단히 휠 회전만으로도 화면 구성을 선택하게 할 수도 있다.
도 12는 강의 영상의 화면 배치가 설정된 시간에 의하여 자동으로 전환되는 애니메이션 기능을 설명하기 위한 도면이다.
강의 영상의 화면 구성의 변화는, 청중의 강의 집중도를 실제 강의 이상으로 높이는 요소이다. 도 12는, 전술한 마우스 움직임 혹은 GUI 버튼으로 설정된 장면이 자연스럽게 애니메이션 되어 학생이 강의 화면을 볼 때 강의에 집중도를 높일 수 있도록 하는 경우의 예를 나타낸다.
예를 들어 각 장면마다 화면 전환시 전환 시간을 설정하고 이 시간 즉 예로서 0.5초 혹은 1-2초 동안 강사,모니터 화면들이 부드럽게 이동되게 하여 화면의 한 부분에 집중하는 청중이 보는 부분을 놓치지 않도록 하는 것이 중요하다. 이를 위한 각 모니터, 강사 장면의 비디오가 부드러운 애니메이션이 발생하도록 실시간으로 렌더링이 되어 부드러운 화면 변화가 이루어지게 한다. 도 12의 실시예의 경우 세 개의 화면(1201, 1202, 1203) 내에서 설정된 시간 등에 따라 자연스럽게 변경되는 애니메이션 기능이 발생되도록 한 것이다.
각 스위칭 장면에서, 단수 혹은 복수의 가상 스크린 모니터에 나타나는 강사 비디오, 청중의 화면이 비디오, 프리젠테이션 자료 화면 등의 입력들이 장면 전환으로 커지거나 방향이 바뀌거나 하는 등으로 장면 합성 화면이 재구성될 때, 각 장면의 전환을 컷이나 장면 전환 특수 효과 디졸빙(disolving) 등 다양한 장면 전환효과를 줄 수 있는 것은 전술한 바와 같다. 그러나 장면 전환시 불연속적 전환은 청중들의 화면 집중도를 떨어뜨리는 단점이 있다. 즉, 보고 있던 화면, 예를 들어 모니터의 판서중인 내용이 갑자기 효과 화면으로 보이지 않게 되는 등의 단절이 생기게 되는 문제가 발생하지 않도록, 각 모니터 혹은 강사의 장면의 변화에 대한 사이즈 혹은 위치 변화를 연속적으로 움직이는 트랙 변환 방식으로 3D 공간, 혹은 2D 공간서 설정된 시간 즉 0.5초 혹은 1-2초 동안 경과 후 다른 화면으로 부드럽게 전환되도록 함으로써 강의 비디오를 보는 혹은 원격지에서 강의를 보는 사람들이 보는 장면을 잃지 않도록 하는 것이다. 이를 위해 각 가상 모니터 및 강사 이동을 자동으로 트랙을 계산하여 각 위치별 편집기의 설정 크기, 위치를 실시간으로 계산하여 움직이도록 해야 한다.
도 13은 강사의 제스쳐나 얼굴 등을 인식하여 강사 화면, 프리젠테이션 자료 화면의 배치가 자동으로 전환되는 실시예를 도시한 도면이다.
본 발명에서 강사가 앉아서 강의하거나 정해진 위치에서 강의하지 않고 강의실을 움직이며 강의하는 경우 자동으로 강사의 제스쳐, 얼굴 방향 인식과 트랙킹 카메라 방향정보로 강의 영상의 화면 전환이 이루어지게 함으로서 더욱 편리하고 역동적으로 생동감 있는 강의 영상이 만들어지게 한다.
예를 들어, 강사가 손 혹은 포인터를 써서 화면이나 스크린을 가리키면 강의실에서 청중이 스크린을 바라보게 되고 다시 포인터를 끄고 청중을 보면 청중이 시선을 강사로 옮겨지게 되듯이, 본 발명의 일 실시예는, 카메라 트랙킹과 강의 영상에서의 화면 전환을 강사의 움직임과 제스쳐 인식을 통해 자동으로 구현하도록 하고 있다.
즉, 강사가 화면을 응시할 때 본 발명의 영상 합성을 이용한 강의 영상 생성장치(100)는, 카메라의 비디오를 통해 강사 얼굴이 프리젠테이션 자료 화면, 예를 들어 스크린 방향인지 또는 청중 방향인지를 인식한다. 프리젠테이션 자료 화면을 보는 것으로 인식된 경우 강사와 노트북 화면을 합성한 강의 영상을 생성하고(1302, 1303), 청중을 바라보는 것으로 인식된 경우 강사 화면 만을 나타나게 하거나, 자료화면이 강사와 함께 나오더라도 강사를 비교적 크게 나타나게 하거나(1301), 또는 강사와 청중 화면이 함께 나타나게 하는 합성화면을 강의 영상으로 생성한다. 특히 강사가 특정 청중 부분을 응시하면 강사 트랙킹 카메라와 각도와 선생님 얼굴 각도의 영상 처리를 통한 분석을 통해 학생 추적 카메라를 움직이게 하고 이를 합성하도록 할 수도 있다.
또한 강사가 포인터를 통해 화면을 가리킬 경우, 제스쳐 인식, 즉 동작 인식을 통해 화면과 강사의 이미지를 합성하게 한다. 이때 강사를 촬영하는 카메라는 한대이거나 복수일 수도 있으며, 복수인 경우 강사 트랙킹 분석 및 복수의 카메라 이미지를 분석해 필요한 카메라를 선택하여 학생 혹은 발표 자료 화면과 합성을 하게 할 수도 있다. 강사 제스쳐 또는 얼굴 방향인식은 얼굴 분석 비디오 처리 방식으로 처리하거나, 또는 제스쳐 인식을 위한 뎁스(depth) 카메라를 사용하여 편리하게 활용할 수 있다. 이 경우는 PT 각도와 위치, 그리고 강사 얼굴 각도에 의해 강의실의 바라보는 방향을 계산하고, 이 방향이 학생이면 해당 학생 트랙킹 카메라의 비디오와, 이 방향이 프로젝터 스크린이면 노트북 화면과 합성을 하되, 방향에 맞는 장면을 선택해 보여 주게 될 수 있다.
또한 판서 혹은 장면 설명이 길어지는 경우, 이 역시 제스쳐 또는 얼굴 인식으로 판별이 가능하며, 이때는 스크린 화면을 더 키워 주거나 줌인을 하여, 판서시는 판서 부분을 확대하여 비디오 화면에 보여지게 하는 오토 줌 기능을 제공할 수도 있다.
한편, 비디오 청취자 혹은 원격지 청중을 위해 강사의 포인터가 매우 중요한데, 경우에 따라 전자칠판과 같이 쓰는 기능이 필요할 수 있다. 이를 위하여 마우스 혹은 전자 펜을 이용하여 가상 모니터 화면에 그리는 전자 칠판 기능을 제공할 수 있다. 이때 가상 모니터 화면에 전자펜으로 그리게 하기 위한 가상 드로잉 플레인(drawing plane)을 설정하여, 그 위치에 전자 칠판 레이어를 그리고 이를 다시 합성하여 보여지게 함으로써, 판서 혹은 마킹된 내용이, 화면이 변환 또는 전환되더라도 같은 영역, 즉 전자 칠판 영역에 존재하도록 하는 기술이 적용된다. 이 기능은 본 강의 녹화에 매우 중요한 부분의 가상 전자 칠판 기능으로서, 강의 녹화에 매우 중요한 포인터 및 마킹, 그리고 원격 회의시 그림을 그리는 판서 기능이 제공되게 한다.
도 14는 배경, 강사, 강사비디오 프레임, 모니터, 전자 칠판, 모니터 프레임 등의 다양한 레이어로 구성되는 레이어 배치를 나타내는 도면이다.
비디오 합성시 배경에 단순하지만 은은한 애니매이션 등을 배치하고, 강사 혹은 노트북 스크린등의 카메라 입력, 실물화상기 등의 입력 비디오 화면을 아름다운 프레임으로 장식하여 이를 합성하게 함으로써 더욱 아름다운 장면을 만들 수 있다. 특히 화면에 구성되는 가상의 모니터들과 강사 비디오 프레임은 화면구성의 많은 부분을 장식하므로 각 장면마다 필요한 프레임을 자유로이 선택할 수 있도록 기능을 지원하게 된다. 이러한 기능을 멀티 레이어 혹은 3D 공간상에 배치를 하여 렌더를 통해 화면을 만들 수 있도록 지원한다.
이러한 배치를 한 레이어 들이 스케일링, 회전, 크롭핑, 페더링(feathering)을 거쳐 각 장면을 구성하게 하는 엔진을 지원하게 된다.
한편, 장면 합성시 멋진 타이틀 혹은 자막을 넣어 강의 중 화면을 더욱 아름답게 하고 실시간으로 강의 주제 나 제목 등을 보여 주게 할 수도 있다. 이 기능은 최 앞단의 레이어에 타이틀 부분을 삽입하도록 하는 기능을 제공하게 된다.
도 15는 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템을 도시한 도면이고, 도 16은 본 발명에 따른 강의 영상을 이용한 화상 회의 시스템과 기존의 화상 회의 시스템의 차별점을 설명하기 위한 도면이다.
전술한 바와 같은 강의 영상 생성 방법에 의해 생성된 영상, 즉 화상회의자와 관련 회의 자료 화면을 다양한 방식으로 합성한 영상(1501)을 화상 회의시 상대방에게 회의 영상으로 보내도록 함으로써 더욱 생동감 있는 화상회의가 이루어지도록 할 수 있다. 즉, 도 16을 참조하면, 기존과 같이 화상회의자의 영상과 노트북 등의 프리젠테이션 자료를 따로 화상회의 상대방에게 전송하는 것(1601)과 달리, 본 발명에 따른 영상합성에 의한 강의 영상 생성장치(100)에 의해 합성되어 생성된 화면을 화상회의 상대방에게 전송하는 것(1602)이다.
즉, 화상회의를 위한 기존의 화상 회의 프로그램에서, 본 발명의 장치를 이용하여 합성된 강의 영상 화면을 그대로 전송할 수 있다. 예를 들어 복수의 화상회의자들을 가상 화면에 함께 보여 주고 이들이 대화를 하거나 소리가 나올 때 혹은 발언권을 받을 때 자신의 화면이 크게 보이게 하는 화면 절환이 되도록 하여 여러대의 모니터를 두지 않아도 한 개 프로젝터 화면에 이들을 효율적으로 보여 주는 효과적인 가상회의를 가능하게 하는 것이다.
도 17은 크롭핑에 의한 장면 편집방법을 도시한 도면이고, 도 18은 크롭핑 및 가상 프리젠팅 자료 화면 벤딩 효과에 의한 화성 합성 장면을 도시한 도면이며, 도 19는 강사 크롭핑 및 페더링(feathering) 등에 의한 엣지(edge) 처리된 화면을 도시한 도면이다.
도 17은 강사의 카메라로부터 꼭 필요한 강상 부분을 크롭핑하고 크롭핑 주변을 투명도 처리하여 자연스럽게 합성하도록 하는 크롭핑 기술 및, 강사 영상에 그 크기 및 위치 조정, 회전 등을 적용하여 합성하는 장면 편집 방법을 나타내는 것이다. 즉 크롭핑이란 강사의 카메라 영상에서 강사 부분만을 선택하여 주변을 타원, 혹은 다각형등으로 잘라낸 후, 강사 주변 영역을 투명도 처리를 통해 조정하고 이를 다시 가상 공간에 배치함으로써 마치 가상 스튜디오 촬영처럼 느낌을 아름답게 만들어 주는 것을 말한다.
도 19는 가상 교실, 가상 프리젠테이션 배경 합성을 3D 공간서 설정하는 장면의 각 레이어를 이동하거나, 회전하거나, 스케일 조정하여 2D/3D공간서 손쉽게 합성해 가상 프리젠테이션 공간을 만드는 가상 교실 편집 방법을 도시한 것이다.
도 20은 일반 강의실에서 강사와 발표 화면을 합성하여 실시간 방송을 하는 스마트 강의 녹화,방송 화면을 도시한 도면이다.
도 21은 일반 회의실 / 혹은 강의실에서 발표자가 회의실/강의실 뒤에서 학생들과 함꼐 화면을 보며 강의를 하는 거꾸로 강의 방식의 프리젠테이션/교실 수업을 하며 원격지에서도 같은 화면을 보는 방식의 스마트 강의실 방법을 수행하기 위해 본 발명의 장치를 사용하는 장면을 도시한 도면이다.
100: 영상합성에 의한 강의 영상 생성 장치
Claims (12)
- 강의 영상 생성 장치가, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 방법으로서,
(a) 촬영 카메라로부터 강사, 발표자 또는 화상회의자(이하 '강사'라 통칭한다) 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다) 및 하나 이상의 프리젠테이션 자료 화면 영상을 수신하는 단계;
(b) 상기 강의 영상 생성 장치를 사용하는 상기 강사 또는 사용자(이하 '사용자'라 총칭한다)에게 강의 영상의 화면을 2D 또는 3D로의 구성하기 위한 편집 화면을 제공하는 단계;
(c) 상기 사용자로부터, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 마우스, 키보드, 스크린 터치 또는 무선 포인팅 장치 등의 간단한 조작을 이용하여 입력받는 단계;
(d) 상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성하는 단계; 및,
(e) 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 단계
를 포함하는 영상 합성을 이용한 강의 영상 생성 방법. - 강의 영상 생성 장치가, 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 방법으로서,
(a) 발표에 사용할 PPT, 영상 이미지 등의 자료와, 복수의 촬영카메라로부터 강사, 발표자 또는 화상회의자(이하 '강사'라 통칭한다) 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다) 및 하나 이상의 프리젠테이션 자료 화면 영상을 수신하는 단계;
(b) 상기 강의 영상 생성 장치를 사용하는 상기 강사 또는 사용자(이하 '사용자'라 총칭한다)에게, 강의 상대방에게 보여줄 강의 영상 화면들을 2D 또는 3D 공간상에 합성하여 구성하기 위한 편집 화면과, 발표자료와 발표자 등 카메라들의 입력들의 합성장면을 제공하며, 상기 구성 영상들을 다양한 장면으로 아름답게 합성화면으로 만들어지도록 하기 위하여 복수의 2D 레이어나 3D 공간상에 설정(이하 '화면 배치 설정'이라 한다)하여, 실시간으로 강의를 하며 사용할 합성 장면 들을 미리 설정하는 단계;
(c) 상기 사용자가, 실시간으로 강의 영상 화면을 선택하며 강의를 하는 단계로, 사용자 또는 강사가 혼자서 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 강의 자료 전환, 화면 배치 장면의 전환, 장면 전환 및 발표 자료 변경을 동시에 할 수 있도록 하며, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 포인터만으로 간단히 조작하여 필요한 합성 장면을 보며 실시간으로 포인터를 가리키고 발표자료를 전환하며 실시간 강의를 하는 단계;
(d) 상기 강사가 강의를 하며 합성 장면과 강의 자료 화면 등 실시간으로 만들어지는 영상을 녹화하고, 이 출력을 화상회의 프로그램에 입력으로 사용되어 지도록 하여 마치 출력 영상이 하나의 카메라처럼 화상회의 프로그램에 사용되어지도록 만들어지게 하는 원격 프리젠테이션 회의 방법을 사용하는 녹화 및 전송 단계; 및
(e) 특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 단계
를 포함하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 화면 배치 설정에는,
상기 합성 장면들의 구성 영상(강사 카메라, 발표 자료 , 학생 카메라) 들의 크기, 위치, 모양을 설정하는 기능 및, 설정된 각각의 구성 영상을 이동 또는 회전하거나, 크기 또는 모양을 조정하여 다양한 합성 장면을 설정하는기능을 포함하는 것
을 특징으로 하는 복수의 영상 합성 장면을 이용하는 강의 실시간 영상 생성 방법에 의한 강의 장치. - 청구항 2에 있어서,
상기 화면 배치 설정에는,
향후 강의 중 강의 영상의 구성의 변경을 사용자의 입력에 따른 방식은 물론 장면 전환이 상기 강사 또는 청중의 제스쳐, 얼굴 또는 시선을 인식하여, 그 인식된 결과에 따라 자동으로 상기 설정 합성 장면이 선택되도록 하는 자동 장면 선택 기능을 포함하며, 마우스의 위치 즉 해당 가상 전자 칠판에 마우스/포인터가 움직이거나 그림/글씨를 쓰는 경우 해당 전자칠판이 커지는 장면으로 자동전환이 되는 기능
을 더 포함하는 것을 특징으로 하는 자동 영상 합성 장면 선택을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 화면 배치 설정에는,
합성 장면들이 9개 혹은 12개와 같이 다양한 장면이 만들어지는 경우 강의시 이들 장면을 직관적으로 기억할수 있게 하여 강사나 사용자가 메뉴를 보지 않고 작동이 가능하도록 장면 배치를 바둑판형으로 왼쪽은 왼쪽 가상칠판, 우측은 우측 가상칠판이 보여지는 장면들을 배치하고 마우스 좌우 또는 중앙 클릭으로 해당 장면들을 전환하게 하며, 다시 각 가상 칠판이 커지고 작아 지는 것을 마우스 휠을 회전하는 방식과 같이 직관적으로 장면 전환이 마우스 혹은 포인터로 가능하게 하는 기능
을 더 포함하는 것을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 화면 배치 설정에는,
합성화면에 강사 및 강의자료를 사용하도록 배치하면서 아름다운 합성화면을 만들기 위해 상기 카메라 영상에서 강사 및 그 주변을 포함하는 부분을 잘라내어, 강사 외의 영역을 투명도 처리하거나 가상 배경과 합성하는 크롭핑 기능, 또는 잘라낸 강사 영상의 에지(edge)를 시각적으로 배경과 자연스럽게 이어지도록 하는 기능(이하 '에지 기능'이라 한다), 또는 상기 카메라 영상 또는 프리젠테이션 자료 영상의 테두리를, 입력받은 무늬 또는 기 설정된 무늬로 장식하는 기능을 더 포함하며, 강사 에지를 인식하는 뎁스(depth) 카메라 등의 정보를 활용하여 더 많은 공간을 가상칠판의 강의 자료 화면에 활용할 수 있는 것
을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 화면 배치 설정에는,
2D/3D 배경의 이미지,영상들과, 상기 강의 영상의 각 구성 영상들의 멀티 레이어 합성에 대하여, 각각의 레이어 혹은 영상입력의 색깔, 투명도, 질감 등을 실시간 조정하는 기능
을 더 포함하는 것을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 단계(d) 이후,
상기 강사의 마우스, 키보드, 스크린 터치 또는 무선 포인팅 장치 등을 이용한 글자 쓰기, 줄긋기, 특정 모양의 표시, 그리기 등을 포함하는 다양한 판서 내용을 입력받아, 그 판서 내용이 상기 프리젠테이션 자료 화면즉 가상 전자칠판(이하 '가상 전자칠판'으로 총칭한다) 위에 씌여지도록 하는 단계
를 더 포함하는 것을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 8에 있어서,
상기 가상 전자칠판은,
상기 영상 장면마다 다수 개가 배치 가능하고
상기 강의 자료 영상들이 각각 보여질 수 있도록 가상 전자 칠판에 입력 강의 자료의 스위칭이, 마우스, 스크린 터치, 혹은 무선 포인팅 장치 등의 간단한 방법으로 가능하게 하며,
상기 다수개의 가상 전자칠판에는 각각 독립적으로 판서가 가능한 것
을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 8에 있어서,
상기 가상 전자칠판이 포함된 강의 영상의 배치가 변경되거나 또는 상기 가상 전자칠판이 포함된 상태에서 장면이 전환될 경우, 상기 가상 전자칠판에 판서된 내용은,
변경된 강의 영상 내에서 이동된 상기 가상 전자칠판의 위치에 따라 이동하거나, 또는,
변경된 강의 영상 내에서 변화된 상기 가상 전자칠판의 크기에 맞추어 크기가 변경되는 것
을 특징으로 하는 영상 합성을 이용한 강의 영상 생성 방법. - 청구항 2에 있어서,
상기 단계(d)에서 강의 영상 생성을 시작한 이후, 생성되는 강의 영상을,
강의실의 청중에게 프로젝터로 제공하거나,
네트워크를 통하여 온라인 상의 청중에게 제공하거나,
또는 화상회의 상대방에게 전송하는 단계
를 더 포함하고,
상기 강의 영상을 화상회의 상대방에게 전송하는 경우,
다수의 영상 채팅을 위한 기존의 프로그램을 이용하여, 상기 생성된 강의 영상을 전송할 수 있도록 영상 합성화면을 다른 화상회의 프로그램의 카메라 설정에서 선택되도록 하는 가상 캡쳐 카메라로 인식되게 하는 것
을 특징으로 하는 영상 합성을 이용한 강의 장치 및 원격 회의 방법. - 영상 합성을 이용한 강의 영상, 프리젠테이션 영상, 또는 화상회의에서 상대방에게 전송하기 위한 영상(이하 통칭하여 '강의 영상'이라 한다)을 생성하는 장치로서,
촬영 카메라로부터 강사 또는 화상회의자(이하 '강사'라 통칭한다), 또는 청중의 촬영 영상(이하 '카메라 영상'이라 한다)을 수신하는 카메라 영상 수신모듈;
사용자에게 강의 영상의 화면을 2D 또는 3D로의 구성하기 위한 편집 화면을 제공하는 편집 인터페이스 제공모듈;
상기 사용자로부터, 상기 카메라 영상 및 프리젠테이션 자료 화면 영상을 포함하는 다수의 영상(이하 '구성 영상'이라 한다)에 대하여, 상기 구성 영상들을 강의 영상 내에서 어떠한 형태로 배치할 것인지에 대한 설정(이하 '화면 배치 설정'이라 한다)을 상기 편집화면을 통하여 마우스, 키보드 또는 무선 포인팅 장치 등을 이용하여 입력받는 설정입력 수신모듈;
상기 입력받은 화면 배치 설정에 따라 구성된 강의 영상을 생성하는 강의 영상 생성모듈;
특정 조건이 충족될 경우, 상기 강의 영상의 구성을 충족된 조건에 따라 변경하는 강의 영상 조정모듈; 및,
영상 합성을 이용한 강의 영상 생성 장치의 상기 각 모듈을 제어하여 영상 합성을 이용한 강의 영상 생성과 관련된 일련의 처리를 수행하는 제어부
를 포함하는 영상 합성을 이용한 강의 영상 생성 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150126605A KR20170029725A (ko) | 2015-09-07 | 2015-09-07 | 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150126605A KR20170029725A (ko) | 2015-09-07 | 2015-09-07 | 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170029725A true KR20170029725A (ko) | 2017-03-16 |
Family
ID=58497673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150126605A KR20170029725A (ko) | 2015-09-07 | 2015-09-07 | 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170029725A (ko) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978168B1 (ko) * | 2018-05-30 | 2019-05-14 | 성상욱 | 동영상 콘텐츠의 실시간 제작 방법 |
| KR20190115337A (ko) * | 2018-04-02 | 2019-10-11 | 고은혜 | 커뮤니티 기반의 운동예약 프로그램을 관리하는 방법 및 이를 운용하는 서버 |
| KR20190130380A (ko) * | 2018-05-14 | 2019-11-22 | 이정협 | 영상 합성 방법 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| CN111654715A (zh) * | 2020-06-08 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 直播的视频处理方法、装置、电子设备及存储介质 |
| KR102194240B1 (ko) * | 2020-02-10 | 2020-12-23 | (주)혜윰아이씨티 | 실시간 대화형 영상원격기술을 통한 지식거래플랫폼시스템 |
| KR102217783B1 (ko) * | 2019-11-05 | 2021-02-19 | 한양대학교 산학협력단 | 학습자-교수자간 상호작용 극대화를 위한 5g 텔레프레즌스 기반 hy-live(하이-라이브) 교육 시스템 |
| KR102308443B1 (ko) * | 2021-02-19 | 2021-10-05 | 유비트론(주) | 스마트 첨단 강의 및 녹화 시스템 |
| KR20210152709A (ko) * | 2020-06-09 | 2021-12-16 | 주식회사 스마트아이디어 | 화상강의시스템 |
| WO2022065575A1 (ko) * | 2020-09-25 | 2022-03-31 | 주식회사 비주얼캠프 | 객체 인식을 이용한 시선 기반 콘텐츠 교육 방법 및 이를 수행하기 위한 시스템 |
| WO2022098168A1 (ko) * | 2020-11-06 | 2022-05-12 | 삼성전자 주식회사 | 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법 |
| WO2022114809A1 (ko) * | 2020-11-27 | 2022-06-02 | 삼성전자 주식회사 | 화상 회의를 제공하는 전자 장치 및 그 방법 |
| KR102415774B1 (ko) * | 2021-11-05 | 2022-07-01 | 주식회사 아몽아트드림 | 다중 영상의 선별적 배치를 수행하는 서버의 제어 방법 |
| CN114694434A (zh) * | 2020-12-28 | 2022-07-01 | 康立 | 基于深度学习的视频教学课程智能生成方法及系统 |
| KR102425851B1 (ko) * | 2021-08-09 | 2022-07-28 | (주)아하 | 실시간 방송 및 교육용 장치 및 이를 포함하는 방송 및 교육 시스템 |
| KR102456134B1 (ko) * | 2022-07-20 | 2022-10-18 | 이아이피커뮤니케이션 주식회사 | 발표자 참여형 3d 콘텐츠 생성 방법, 장치 및 시스템 |
| KR20230082271A (ko) | 2021-12-01 | 2023-06-08 | 주식회사 엘지유플러스 | 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치 |
| WO2023141340A1 (en) * | 2022-01-23 | 2023-07-27 | Malay Kundu | A user controlled three-dimensional scene |
| KR20230152882A (ko) * | 2022-04-27 | 2023-11-06 | (주)다림시스템 | 텔레프리젠테이션 화상 회의 시스템을 위한 서버 |
| WO2024034848A1 (ko) * | 2022-08-09 | 2024-02-15 | 삼성전자주식회사 | 터치 입력을 수신하는 전자 장치 및 그 제어 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110030227A (ko) | 2009-09-17 | 2011-03-23 | 윤한경 | 이-러닝 효과 증대 방법 |
-
2015
- 2015-09-07 KR KR1020150126605A patent/KR20170029725A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110030227A (ko) | 2009-09-17 | 2011-03-23 | 윤한경 | 이-러닝 효과 증대 방법 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190115337A (ko) * | 2018-04-02 | 2019-10-11 | 고은혜 | 커뮤니티 기반의 운동예약 프로그램을 관리하는 방법 및 이를 운용하는 서버 |
| KR20190130380A (ko) * | 2018-05-14 | 2019-11-22 | 이정협 | 영상 합성 방법 |
| KR101978168B1 (ko) * | 2018-05-30 | 2019-05-14 | 성상욱 | 동영상 콘텐츠의 실시간 제작 방법 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| KR102217783B1 (ko) * | 2019-11-05 | 2021-02-19 | 한양대학교 산학협력단 | 학습자-교수자간 상호작용 극대화를 위한 5g 텔레프레즌스 기반 hy-live(하이-라이브) 교육 시스템 |
| KR102194240B1 (ko) * | 2020-02-10 | 2020-12-23 | (주)혜윰아이씨티 | 실시간 대화형 영상원격기술을 통한 지식거래플랫폼시스템 |
| CN111654715A (zh) * | 2020-06-08 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 直播的视频处理方法、装置、电子设备及存储介质 |
| CN111654715B (zh) * | 2020-06-08 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 直播的视频处理方法、装置、电子设备及存储介质 |
| KR20210152709A (ko) * | 2020-06-09 | 2021-12-16 | 주식회사 스마트아이디어 | 화상강의시스템 |
| WO2022065575A1 (ko) * | 2020-09-25 | 2022-03-31 | 주식회사 비주얼캠프 | 객체 인식을 이용한 시선 기반 콘텐츠 교육 방법 및 이를 수행하기 위한 시스템 |
| WO2022098168A1 (ko) * | 2020-11-06 | 2022-05-12 | 삼성전자 주식회사 | 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법 |
| WO2022114809A1 (ko) * | 2020-11-27 | 2022-06-02 | 삼성전자 주식회사 | 화상 회의를 제공하는 전자 장치 및 그 방법 |
| CN114694434A (zh) * | 2020-12-28 | 2022-07-01 | 康立 | 基于深度学习的视频教学课程智能生成方法及系统 |
| CN114694434B (zh) * | 2020-12-28 | 2023-12-01 | 康立 | 基于深度学习的视频教学课程智能生成方法及系统 |
| KR102308443B1 (ko) * | 2021-02-19 | 2021-10-05 | 유비트론(주) | 스마트 첨단 강의 및 녹화 시스템 |
| KR102425851B1 (ko) * | 2021-08-09 | 2022-07-28 | (주)아하 | 실시간 방송 및 교육용 장치 및 이를 포함하는 방송 및 교육 시스템 |
| KR102415774B1 (ko) * | 2021-11-05 | 2022-07-01 | 주식회사 아몽아트드림 | 다중 영상의 선별적 배치를 수행하는 서버의 제어 방법 |
| KR20230082271A (ko) | 2021-12-01 | 2023-06-08 | 주식회사 엘지유플러스 | 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치 |
| WO2023141340A1 (en) * | 2022-01-23 | 2023-07-27 | Malay Kundu | A user controlled three-dimensional scene |
| KR20230152882A (ko) * | 2022-04-27 | 2023-11-06 | (주)다림시스템 | 텔레프리젠테이션 화상 회의 시스템을 위한 서버 |
| KR102456134B1 (ko) * | 2022-07-20 | 2022-10-18 | 이아이피커뮤니케이션 주식회사 | 발표자 참여형 3d 콘텐츠 생성 방법, 장치 및 시스템 |
| WO2024034848A1 (ko) * | 2022-08-09 | 2024-02-15 | 삼성전자주식회사 | 터치 입력을 수신하는 전자 장치 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170029725A (ko) | 영상 합성을 이용한 강의 영상 생성 방법 및 그 장치 | |
| KR20200024441A (ko) | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 | |
| KR101270780B1 (ko) | 가상 강의실 강의 방법 및 장치 | |
| KR101367260B1 (ko) | 강의자가 강의 중에 강의 화면을 구성할 수 있는 가상 강의실 강의 장치 | |
| KR101351085B1 (ko) | 실물화상기 | |
| US11317060B1 (en) | Individual video conferencing spaces with shared virtual channels and immersive users | |
| US8537196B2 (en) | Multi-device capture and spatial browsing of conferences | |
| US8300078B2 (en) | Computer-processor based interface for telepresence system, method and computer program product | |
| US11799677B2 (en) | Annotation layer permissions | |
| US11595448B1 (en) | Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session | |
| US20150312520A1 (en) | Telepresence apparatus and method enabling a case-study approach to lecturing and teaching | |
| TW200303519A (en) | Method and apparatus for controlling the visual presentation of data | |
| US11601618B1 (en) | Method of using online, real-time, interactive, multiplane camera view to enhance videoconferencing platforms | |
| CN112839190B (zh) | 虚拟图像与现实场景同步视频录制或直播的方法 | |
| US20230328200A1 (en) | Compositing Content From Multiple Users Of A Conference | |
| CN101827207A (zh) | 一种主持人可视化的三维虚拟演播室互动控制的系统 | |
| KR20090028674A (ko) | 가상 스튜디오 강의 및 회의 장치 | |
| KR20180052494A (ko) | 대형 강의실 컨퍼런스 시스템 | |
| US11546385B1 (en) | Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform | |
| US12010153B1 (en) | Method and apparatus for displaying video feeds in an online meeting user interface in a manner that visually distinguishes a first subset of participants from a second subset of participants | |
| Agamanolis et al. | Reflection of Presence: Toward more natural and responsive telecollaboration | |
| JP2005524867A (ja) | 低ビットレートの分散型スライドショウ・プレゼンテーションを提供するシステムおよび方法 | |
| KR102619761B1 (ko) | 텔레프리젠테이션 화상 회의 시스템을 위한 서버 | |
| WO2009035198A1 (en) | 3d virtual studio lecture and conference apparatus | |
| Mazur | Applying insights from film theory and cinematic technique to create a sense of community and participation in a distributed video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |