KR20120092921A - 가상 강의실 강의 방법 및 장치 - Google Patents

Abstract

본 발명은 크로마키 혹은 TOF 등의 기법을 이용하여 다양한 입력( 카메라, 노트북, 동화상)의 발표 내용을 가상 강의실에 합성하여 한화면속에 강사와 발표 내용을 아름다운 배경 스튜디오 화면으로 다양한 화면구성으로 출력시키는 강의 방법에 관한 것으로서, 보다 구체적으로는 (1) 복수 개의 3D 배경 레이어를 제공하고 이를 편집하여 설계하고, 이 가상 강의실에 강사와 발표내용을 배치하여 이를 다양한 화면으로 보여 주게 설계하는 가상강의실 편집 및 저장하는 단계, (2) 단수 혹은 복수의 카메라를 이용하여 강사의 강의 모습을 영상으로 촬영하는 단계, (3) 촬영한 상기 강의 모습 영상에서 크로마키 기법 등을 이용하여 상기 강사 부분만 강사 레이어로 추출하는 단계, (4) 상기 가상 강의실 그래픽 배경 레이어에 적어도 하나 이상의 강의 자료를 표시하는 강의 자료 레이어와 상기 강사 레이어를 합성하여 최종 영상을 생성하고 디스플레이 장치로 출력하는 단계, (5) 상기 강사가 태블릿을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어로 상기 최종 영상에 추가 합성하여 상기 디스플레이 장치로 출력하는 단계 및 (6) 이들 장면의 변환, 입력 발표 화면에 보여줄 노트북 화면, 동화상, 외부 카메라 등을 자유로이 선택하고 변경을 마우스 하나로 가능하게 하는 자동 혹은 마우스 제어방식의 스위칭 혹은 자동 프레젠테이션 기기로 (7) 수동으로 상기 강사가 화면 구성 변환 장치를 조작하는 경우, 상기 강의 자료 레이어, 상기 강사 레이어, 상기 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 상기 디스플레이 장치로 출력하되, 상기 강의 자료 레이어와 상기 판서 레이어의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 크로마키 등의 강사 이미지 추출에 의한 가상 강의실 발표 화면 합성 기법을 이용한 가상 강의 방법 및 장치에 따르면, 강사가 강의하는 모습을 카메라로 촬영한 후 크로마키 등의 기법을 이용하여 강사의 모습만을 별도로 추출하고, 미리 저장된 가상 강의실의 배경 위에 강사의 강의 자료 및 크로마키 등의 기법으로 추출한 강사의 모습을 자연스럽게 실시간으로 합성함으로써, 강의 자료와 강사의 모습이 분리되지 않으므로 청중의 시선을 집중시킬 수 있어 강의의 효율을 대폭 상승시킬 수 있으며, 숙련된 편집기술자에 의한 별도의 수동 편집 과정이 필요하지 않으므로 강의 준비에 필요한 시간을 절약할 수 있고, 합성된 화면을 강의 파일로 녹화 저장하여 추후 다른 청중에게 용이하게 제공할 수 있다.
또한, 본 발명에 따른 크로마키 등의 배경 추출 기법을 이용한 가상 강의실 강의 방법 및 장치는, 강사의 모습 및 강사의 강의 자료를 합성하는 과정에서 일반 방송 장치의 스위처나 믹서 등의 방식에 전문 조작자가 따로 방송 장비 운영을 하면서 강의를 녹화하는 기존의 방식과 달리 일반의 강사가 마우스만으로 모든 기능을 손쉽게 조정할 있도록 설계되며, 특히 자동모드를 이용하여 강사가 장비 운영을 하지 않고 일반 강의만 해도 마우스의 움직임만을 자동으로 장치가 감지해 강의를 자동으로 방송 스튜디오에서 방송 전문가들이 장비 운영을 하면서 촬영을 하듯 만들어 지는 자동 가상 강의 장치이다.
또한, 수동 모드 시에 간단한 스위처 버튼만으로 장치를 보지 않고도 손쉽게 버튼을 손가락만으로 간단히 조작함으로써 각각의 크기, 위치, 각도를 자유롭게 변환시킬 수 있으므로, 기존 방법의 정형화된 화면 구성으로 인하여 청중이 강의 도중 지루해하는 것을 방지할 수 있으며, 강사는 전달하고자 하는 내용의 특성 또는 강의실의 규모에 따라 강의 자료를 확대하거나 또는 강사의 모습을 확대할 수 있기 때문에, 보다 효율적으로 강의를 진행할 수 있다.
뿐만 아니라, 본 발명에 따른 크로마키 등 배경 제거 기법을 이용한 가상 강의실 강의 방법 및 장치는, 미리 제공되는 강의실의 3D, 2D 멀티 레이어 배경을 자유로이 변경하여 무한한 강의실을 아름답게 선택하여 사용하고 3-5분 이내에 자신의 강의실을 만들어 사용하게 하는 강의실 편집 기능과, 강의 시 사용하는 다양한 출력 장면을 편집하는 기능을 제공함으로서 누구나 자신의 원하는 가상 강의가 가능하게 하고 외부 카메라, 노트북, 비디오 입력을 원터치로 선택해 장면에 보여 주게 하며, 마우스 혹은 태블릿 입력을 통해 가상 발표 화면위에 그림을 그리거나 마킹을 하는 기능이 제공되어 실물화상기, 전자 칠판, 질문자 및 외부 비디오를 원터치로 스위칭해 보여주는 스위처 믹서가 동시에 제공되는 통합 차세대 프레젠테이션 장치이다.
이 장치를 이용하여 강의출력 화면을 프로젝터로 보여주는 강의는 한 개 출력 화면에 강사와 발표 자료를 원하는 장면으로 때론 강사를 때론 발표 자료를 크고 작게 합성하여 애니메이션 장면으로 다양한 자동 전환을 통해 보여 줌으로서 청중이 한 개 화면만 보면서 TV프로그램처럼 보아야할 장면을 강사의 의중대로 자동 혹은 수동으로 장면이 스위칭 되면 보이게 되어 아름다운 가상 화면을 통해 최고의 강의 집중을 유발할 수 있고, 카메라를 보며 강의하는 강사의 눈 맞춤이 전체 청중들을 동시에 만들어 냄으로써 가상 강의의 집중도를 최고로 높이게 한다.
특히 본 장치를 사용하여 실시간으로 녹화를 하는 비디오는 실제 강의를 대체할 정도의 강의 내용이 되어 한번 강의를 하면 다시 편집 없이 사용해도 실제 강의보다 더 낳은 강의효과를 만들어 내게 됨으로써 실질적인 실시간 강의 녹화기가 된다. 이와 같은 방식으로 원격지에서 강의를 들어도 실제 강의보다 더 효과적인 원격 강의가 만들어 짐으로써 그동안 실제 사용이 불가했던 원격 강의 장치가 가능하게 된다.

Description

가상 강의실 강의 방법 및 장치{omitted}

본 발명은 크로마키 등의 기법을 이용하여 강사이미지를 추출하고, 이를 발표 자료(노트북 스크린 등)와 함께 그래픽의 배경과 합성하는 가상 그래픽 강의실 강의 방법 및 장치에 관한 것으로서, 특히 배경을 제거하는 다양한 방식으로 크로마키 방식이나 사전에 배경의 이미지를 강사가 있을 때와 없을 때를 비교하는 방식, 혹은 Time of Flight 센서를 이용하여 강사 거리에 있는 비디오만 추출하는 방법 등을 사용할 수 있게 되고, 이렇게 배경이 제거된 강사 모습과 강의자료화면(PPT 혹은 노트북 화면)을 2D 혹은 3D 그래픽 배경과 재합성하여 출력하며, 간단한 마우스만으로 자동으로 혹은 간단한 버튼 제어에 의한 수동의 조작으로, 다양한 합성 장면들을 실시간으로 변환하여 재합성한 후 출력함으로써, 강의를 듣는 청중이 필요한 장면 즉 강사를 주로 하거나 발표 자료를 크게 볼 수 있도록 자동으로 화면 전환이 강사에 의해 만들어 짐으로써 한곳만을 청중이 보아도 강사나 발표 자료를 더욱 효율적으로 그것도 아름다운 그래픽 가상강의실에서 보게 함으로써 강의 집중도를 향상시켜 효율적인 강의를 할 수 있도록 하는 실시간 자동 가상강의 장치에 관한 것이다.

그동안 프레젠테이션을 더 효과적으로 하기 위한 다양한 시청각 장치가 사용되어 지게 되는 멀티미디어 교실 등의 첨단 강의실의 프레젠테이션 장치는 전자 교탁, 전자 칠판, 실물화상기를 사용하고 여기에 노트북을 프로젝터로 사용하고 있다.

- 강의실의 인테리어 한계

기존의 강의는 항상 칠판, 프로젝터스크린의 고정된 강의실, 세미나실에서 강의가 지속적으로 일어나면서 인테리어가 항상 같은 곳에서 강의가 되어 청중들이 강의 분위기를 필요한 강의에 맞는 스튜디오와 같은 환경이 만들어질 수 없어 강의 느낌과 강사의 분위기를 만들어 내지 못하고 있고 이러한 곳에서 강의 녹화를 하는 경우 강의 콘텐츠의 질이 떨어지게 되고 강의 효과를 극대화할 수 없는 아쉬움이 있게 된다. 그렇다고 방송국처럼 강의 시마다 그에 맞는 스튜디오를 꾸밀 수도 없는 한계를 갖게 된다. 본 발명에서는 프로젝터 화면에 가상 강의실의 장면을 만들어 냄으로써 학생들이 보는 화면에 가상의 스튜디오 강의실로 항시 멋진 장면을 만들어 내게 되어 전문 방송국의 스튜디오 느낌으로 최상의 분위기 속에 강의가 가능하게 할 수 있게 된다.

- 시선이 스크린과 강사를 판단해서 봐야 하는 문제

이러한 프로젝터를 사용하는 경우 화면에 시청각 자료의 동화상 등을 보여 줄 수 있고 파워포인트와 같은 프레젠테이션 프로그램을 이용하여 강의효과를 극대화할 수 있게 되어 프레젠테이션의 필수 장비로 사용이 되고 이 프로젝터의 스크린에 그림이나 글씨를 그리게 하는 전자 칠판 기능이 첨가되면서 강의에 없어서는 안 되는 장치로 되었다. 그러나 강의실에 강사와 스크린의 두 개의 시점을 두어 보는 사람들이 강사와 화면을 번갈아 봐야 하는 문제가 강의 집중도를 저하할 수 있고 특히 대형의 프로젝터를 쓰는 콘퍼런스 장소나 대형 강의실에서는 더욱 강사의 모습, 얼굴, 제스처 등을 보지 않고 스크린만 주로 보게 되는 문제점이 발생하고 있어 강의 효과가 절감되게 된다. 특히, 강사가 포인터를 사용하지 않으면 더욱 청중의 시선의 혼선이 생기게 되고, 포인터를 쓰는 경우 포인터를 가리키면 스크린을 바라보고 다시 포인터를 끄면 자동으로 시선을 강사로 옮겨지지 않을 수 있어 청중들이 화면과 강사를 판단해야 하는 문제가 발생하여 과거 칠판 강의처럼 쓰면 칠판을, 안 쓰면 강사를 보는 자동 시선 초점이 되지 않는 문제가 발생하게 된다.

- 프로젝터 사용 시 실시간 강의 녹화의 문제

또한, 이러한 장치들을 이용하면서 실시간 강의 녹화를 하는 것은 강사와 발표 프로젝터의 두 개 화면의 조합을 위한 방송 장비들을 사용하는 복잡한 과정으로 일반 강의 시에는 거의 불가능하였고 장비의 복잡성 및 녹화 편집의 어려움을 이유로 원격강의로 사용하기 위해 개발된 대부분의 장비가 실제로 사용되지 못하고 있다. 특히, 실시간 강의 녹화는 강의 조작자가 강사의 의중을 알아서 화면을 선택해 보여 주어야 하므로 실제 장비 조작이 강사가 직접 하지 않으면 실시간 강의 녹화가 이루어지기 어렵게 된다. 더 나아가 기존의 장치를 사용해 만들어진 비디오 동화상이나 원격 실시간 강의는 실제 강의보다 현격히 떨어지는 강의 효과로 인해 전 세계의 강의실에 강의는 실제 녹화가 되지 않고 있고, 녹화가 되어도 이 비디오가 강의를 대체하지 못하고 있으며 원격강의를 실시간으로 하는 곳이 없게 된 것이 현실이다. 그래서 지금 시대를 프레젠테이션 강의 녹화가 안 되는 시대, 원격강의가 안 되는 시대, 원격 프레젠테이션 회의가 안 되고 단지 비디오를 보내거나 두 개 화면, 즉 강사와 발표 화면을 특수 장비로 보내어야 하는 실제 강의효과가 대폭 떨어지는 한정된 원격회의/강의 시스템밖에 없는 시대라고 해도 틀린 말이 아니다.

- 실제 강의보다 나은 강의 비디오 출력 및 실시간 강의 녹화, 원격 강의 장치

본 발명은 이러한 문제점을 해결하는 새로운 강의 장치로 프로젝터 화면에 강사와 발표 자료를 자유로이 크고 작게 하여 멋진 가상강의실 그래픽 속에 합성해 보여 줌으로써 청중이 한 개의 스크린만 보면 멋진 가상 강의실의 첨단 스크린 및 강사의 화면으로 탈바꿈한 강의를 봄으로써 강의 집중도를 극대화할 수 있도록 하고, 이 화면을 녹화하는 실시간 강의녹화를 강사 혼자서 강의만 하면 자동으로 이루어지게 하고 있다. 본 발명으로 녹화된 비디오는 과거의 녹화 방식으로 만들어진 강의 비디오와 달리 실제 강의보다 오히려 더 강의 효과가 있게 만들어지게 되는 첨단 방송국에서 만들어진 비디오 이상의 강의비디오를 만들어 주어 실제 강의를 한번 만 하면 다시 하지 않아도 되는 실 강의 대체 비디오 녹화가 될 수 있게 된다. 더 나아가 네트워크를 통해 원격으로 강의하는 경우 원격지에서 듣는 청중에게 실제 강의실보다 더 높은 집중도를 지원하는 원격 강의 장치이다.

- 강사 혼자서 강의만 하면 자동으로 장면 전화 화면 선택이 되는 자동 프레젠테이션 장치

실시간 강의 시 강사는 강의 내용에 집중을 하면서 장비 운영자와 장면이나 필요한 내용을 보여주는 장치 조작을 상의하면서 할 수 없게 된다. 강사는 강의에 집중을 하면서 장비 작동이 거의 불가능하므로 모든 작동이 자동화되어 강사가 장비의 작동을 의식하지 않도록 장비의 자동화가 필요하고 꼭 강사가 특별한 조작을 필요시에는 직관적으로 장치를 다루는 원터치 버튼으로 이루어져야 한다. 본 발명품은 발표자가 발표를 하는 실시간으로 마우스 하나만 조정하여 자유자재로 발표자와 발표 자료가 하나의 화면으로 멋진 그래픽의 배경과 함께 자동으로 합성한 다양한 출력 화면을 제공하는 장치이다. 첨단 강의녹화 방송에 사용하는 복잡한 스위처 믹서, 카메라, VTR 실물화상기, 노트북들을 전문 방송기술자가 스튜디오에서 조작하지 않고, 본 발명품 한대만으로 강의실, 사무실, 혹은 세미나실, 콘퍼런스 장소 등에서 발표자와 발표 내용을 청중이 봐야할 화면으로 쉽게 합성하여 다양한 장면으로 보이도록 한다. 발표자가 발표 내용의 주요 부분을 선택하여 마우스 포인터로 가리키며 강의만 하면 다양한 출력 장면의 변화를 마치 첨단 스튜디오에서 다수의 카메라를 스위칭하면서 전문 카메라맨과 방송운영자들이 장비를 조작하며 강의를 방송 스튜디오에서 하는 듯 가상 강의실과 합성하여 보여준다. 이로써 청중의 집중도를 높이고 가장 최적화된 강의 내용을 가장 보기 편한 화면으로 제공하기 위해 자동으로 강사와 발표 내용이 조정되는 인텔리전트 장면 스위칭 기능을 제공하는 실시간 가상 프레젠테이션 장치이다. 전문 스튜디오에서 진행되는 강의 방송처럼 강의 집중도를 높이기 위해 멋진 가상 화면으로 재탄생시킨 가상 강의실의 다양한 장면으로 보이게 하고 강의 도중 다양한 가상 강의실의 가상 카메라 스위칭이 자동으로 이루어지게 되어 강사는 강의에 집중하면 본 발명품이 마치 멋진 가상 강의실 스튜디오에서 다수의 카메라맨과 가상 스크린을 크고 작게 움직이며 위치를 변화시키는 첨단 스튜디오의 강의 방송국 장면처럼 만들어 내는 자동 강의 장치를 의미한다.

- 입체 방식의 스테레오 그래픽 출력에 의한 몰입형 가상 현실 학습 장치

이러한 방식의 합성 비디오 화면은 좌우의 2개 카메라(혹은 한 개)로 각각의 좌우 측의 가상 카메라로 보이는 화면을 생성하여 이를 입체출력 포맷으로 좌우화면을 50:50으로 스위칭하거나(예를 들어, 60㎐는 좌, 60㎐는 우로 하는 120㎐ 출력방식과 같은), 상하, 좌우로 화면을 분할하여 영상을 만들어 스크린에 보여 주는 방식 등을 통해 입체 강의 화면을 만드는 것을 통해 가상현실 상황을 더욱 실감나게 할 수 있게 하는 장치를 만들게 된다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 프로젝터 화면과 같은 시청각 자료를 사용하는 현대의 프레젠테이션 강의실, 세미나실, 콘퍼런스 회의장, 호텔 강연장과 같은 강의현장에서의 강사와 화면을 함께 보여야하는데서 발생하는 문제점들이 상기에 언급된 것처럼 발생하게 되어 강의 효과를 떨어지게 하고 강의녹화나 인터넷 방송을 위해 필요한 멋진 강의 스튜디오의 장면을 만들어 줄 수 없는 강의실의 한계를 극복하게 하고 있다. 종래 기술의 문제점을 좀 더 구체적으로 기술하면 다음의 내용들이 있다.

(1) 멋진 교실의 인테리어를 한 방송 스튜디오 같은 곳에서 강의를 한 것처럼 하여 강사나 청중이 강의 집중도를 높이게 하는 강의실을 만들어 주는 데 기존의 강의실의 매번 바꿀 수 없는 한계가 있다(가상 그래픽 합성을 통해 실제 강의실 수정을 하지 않고 출력 화면 속에 강의실을 마치 멋진 스튜디오에서 하듯 느끼게 하여 강의 효과를 극대화 할 수 있다).

(2) 교실, 회의실에서의 프레젠테이션이 칠판을 사용하는 발표로부터 프로젝터를 사용하는 발표로 방식이 변화되면서 파워포인트나, 노트북, 전자 교탁, 전자 칠판, 실물 화상기(Document Camera)와 같은 다양한 장치들이 사용되고 있고 이들의 장비가 따로 따로 스위칭 등을 연결해 복잡한 결선 및 장비 운영이 되어 강의중 시청각 장비 등을 운영하는데 불편함과 복잡한 환경으로 강사의 강의 집중도가 떨어진다. 따라서 한 대의 장비에 통합하여 원터치 방식의 쉬운 조작이 필요하다

(3) 강의 녹화 및 원격강의에 사용되는 장비를 사용하는데 전문 방송장비들이 추가로 필요하고 장비 운영에 전문가가 필요하며 이들과 강사간의 실시간 협력이 어려워 효과적 강의가 이루어지지 못한다. 따라서 강의녹화, 원격 강의에 필요한 장비가 통합되어 원터치로 운영이 되고 강사혼자서 직관적으로 모든 장치가 작동되어야 하는 것이 필요하다.

(4) 대부분의 발표가 프로젝터 등의 시청각 발표 자료를 보여주는 강의 방식은 칠판 강의와 다르게 강사와 발표 화면 두 개의 모습 중 청중이 판단하여 시선을 두어야 한다. 강의실의 고정된 자리에서 항상 강사, 화면이 같은 장면으로 전개되어 강의도중 같은 강의실 장면을 응시하면서 강의 집중도가 떨어지게 되어 방송에서와 같은 5-20초마다 복수 카메라를 써서 카메라 스위칭 및 줌을 통해 장면을 변화하고 키워주는 방식의 화면 조정을 통한 강의집중효과를 만들 수 없게 된다.

(5) 강의실 앞의 사람과, 강의실 뒤의 사람이 보는 강사와 스크린의 시각 각도(FOV: Field of View)가 크게 차이가 나 한 교실에 다른 위치마다 청중의 강의 집중도의 커다란 차이가 있게 된다.

(6) 또한, 이러한 강의를 하나의 비디오로 녹화하거나, 전송해야 하는 원격 강의나 회의의 경우 특수한 방송 장치나 편집 기술이 필요한 문제점이 존재하여 실시간 강의 녹화나 프레젠테이션 원격강의, 및 회의가 효율적으로 이루어지지 못해오고 있다. 본 발명에서는 강사와 프로젝터 화면을 효율적으로 실시간 합성하여 한 개 비디오 출력을 필요한 장면을 자동 혹은 간단한 수동 버튼으로 만들어 장면 제어가 되어 이를 녹화 전송을 할 수 있게 한다.

(7) 칠판을 이용한 발표의 경우 발표자가 판서 시 칠판으로, 설명 시 발표자에게로 자연스럽게 청중의 시선이 이동이 되는 반면, 프로젝터를 이용한 발표의 경우 도 1에서와 같이 청중의 시선이 발표자 혹은 발표 자료로 이분되며, 특정 시점에 시선을 맞춰야 할 대상을 청중이 직접 판단해야하므로 중요한 시점에 반대의 선택을 할 경우, 즉 자료에 집중해야 할 경우 발표자를 보거나, 발표자에 집중을 해야 할 경우 화면을 보는 경우, 필수적인 자료가 전달 안 되는 상황이 발생할 수 있어 강의 초점을 잃는 경우가 발생한다. 이를 방지하기 위한 해결 방안으로 새로운 자동화면 장면 합성방식을 요구하고 있다.

(8) 프로젝터를 이용한 발표는 칠판에 판서를 하는 방식에 비해 화면을 통한 사진 및 동영상 자료는 물론 다양한 프레젠테이션 소프트웨어를 이용하여 칠판 발표로만은 어려웠던 시청각 교육을 손쉽게 하면서 대형 강의실에서 대형 화면을 통한 발표를 가능하게 하여 교실의 대형화를 이끌고 대규모 콘퍼런스를 가능하게 하였지만 발표자의 크기의 변화 없이 화면만 커지면서 상대적으로 발표자의 표정이나 감정이 전달되지 못하고 대형화 강의실이 되면 될수록 화면과 오디오만을 듣는 프레젠테이션이 되어 가고 있고, 도 2에서 보이듯 발표자가 화면에 비해 상대적으로 작아 청중의 시선이 발표 자료 화면에만 쏠려 발표자와 청중 간의 아이 콘택트가 존재하지 않고 청중이 발표자의 목소리에만 의존함으로써 집중도가 떨어지고 지루함을 느끼게 된다.

(9) 레이저 포인터와 같은 장비를 통해 청중의 시선을 자연스럽게 자료 화면으로 옮기는 방법은 있으나, 다시 자연스럽게 청중의 시선을 자료 화면에서 발표자 자신으로 옮기는 방법이 없어 발표자로 바로 시선이 바뀌지 못하고 청중이 계속 화면을 보고 있게 되는 상황이 많이 벌어진다.

(10) 프로젝터 사용에 따른 대형 강의실화로 인해 도 3과 같이 상대적으로 발표자와 먼 자리에 위치한 청중의 경우 발표자의 얼굴 표정 및 몸짓이 전달되지 않아 발표의 효율이 떨어진다.

(11) 도 4와 같이 2개 이상의 화면을 두어 프로젝터 화면이나 추가의 스크린에 강사를 따로 보여 주는 경우 강사와 화면이 분리되어 청중이 화면을 판단해 보는 강의 집중도가 떨어지고 한 곳에 스위칭을 통해 보여 주는 경우 강사의 의중을 장비 작동자가 알아야 하는 문제가 있어 장비를 강사가 운영하지 못하는 문제점이 있게 되어 결국 호텔 등의 큰 센터에서도 장비를 사용하지 못하고 화면만 크게 하여 강의를 하는 것이 되고 있고 이 경우 강사의 모습을 거의 알아보지 못하는 강의실 세미나가 일어나고 있다.

(12) 발표자와 발표 자료를 다른 화면에 두는 발표 방식은, 도 5와 같이 원격 회의에서도 사용되고 있으나, 두 개의 비디오 화면을 따로 보내고 이를 보여주어야 하는 복잡한 장치와 특별한 시스템을 요구하게 되고 시점을 두 개로 가져가는 문제점이 존재하여 현장과 같은 생동감 있는 회의가 진행되지 않는다.

(13) 프레젠테이션 녹화를 위해 많이 사용되는 방법 중, 도 6과 같이 발표자를 카메라로 잡아 한쪽 코너에 보여주면서 발표 자료를 한 화면에 보여주는 방식의 경우 발표자의 모습이 작아 결과적으로 오디오만 들으며 발표자료 화면만 보게 되어 강의 효과가 떨어진다.

(14) 또한, 2개 이상의 카메라를 사용하여 발표자만을 따로 녹화하고 녹화된 내용에 강의 자료를 넣어 재편집을 하는 현재의 강의 녹화를 방식은 발표의 경우 수십 분 이상의 방대한 내용의 편집을 요구하고 편집 후 강사의 의도가 모두 포함이 되어 편집이 되었는지 협의를 해야하므로 긴 작업 시간을 요구하고 실시간용이 불가능하게 된다.

(15) 칠판 강의의 경우 직접 카메라 한대로 녹화하여 최근 이러닝 자료 및 원격 강의 자료로 사용되고는 있으나 발표자의 장면이 한 곳에 고정이 되고 발표 내내 지루한 장면이 지속되어 생동감 있는 발표의 느낌이 전달되지 않아 청취 만족도가 떨어진다.

(16) 발표를 실시간 중계방송을 하는 경우, 도 7과 같이 여러 대의 카메라와 스위쳐를 사용하여 발표 장면을 전환하며 방송을 진행한다. 이 경우 카메라, 스위쳐 등 고가의 장비 및 각각의 장비에 대한 전문가가 필요하게 되고 실제 스크린과 강사를 효과적으로 보여주지 못하는 문제점과 전문 카메라 작업자들이 투입되어야 하는 비용적 부담이 추가로 들어가게 된다. 특히, 이들 장비 전문가들의 경우 발표자의 발표 내용을 일반적으로 잘 인지하지 못한 채 장비를 작동하는 사람들이기 때문에 발표자의 의도에 맞게 카메라 스위칭 등을 실시간으로 할 수 없어 장면 전환 등을 효율적으로 할 수 없게 된다.

(17) 장비 전문가가 아닌 발표자가 이러한 복잡한 장비들을 직접 제어하는 일은 실시간 발표에서 더욱 불가능한 일로 이러한 문제점을 해결할 수 없는 것으로 인해 실시간 강의 녹화가 실제로 이루어지지 못해온 것이 사실이다.

(18) 시청각 교육에 있어 현장 학습 체험학습, 실험 실습은 매우 중요한 교육 방식으로 교육에 최선의 방식으로 제안되고 있으나 강의실이나 실험실에서 이러한 현장 체험 학습이나 실험 실습을 통한 교육이 이루어지는 것이 매우 한정적인 반면, 가상 현실기술을 실시간으로 보여주는 발명의 장치에서는 우주공간이나 바다 속, 인체 속의 현장을 그래픽으로 처리하여 보여 주고 그곳에서 강의를 하는 장면과, 실제 실험 실습대신 가상의 3D 물체를 크기, 무게에 관계없이 보일 수 있어 간접적이나 현실감 있는 체험을 할 수 있게 하여 교육효과를 극대화할 수 있게 된다.

이러한 프레젠테이션의 문제를 해결하여 강의 집중도를 획기적으로 증대하는 방안으로 프로젝터 스크린에 바로 노트북 등의 자료만을 보내주지 않고 강사와 자료 화면을 멋진 가상강의실로 재합성하여 보여주게 하고, 이를 강사가 자동(혹은 수동으로) 강의에 지장이 없이 혼자서 작동이 되도록 하는 방식을 통해 상기의 문제점을 해결하는 자동 강의 및 녹화 전송, 회의 장치를 제안한다.

즉, 실제 강의실의 인테리어를 변경하지 않고 강의실에서 찍는 강사 비디오 배경을 없애고 오직 강사 모습만을 발췌하고, 다시 발표 내용과 함께 가상그래픽 배경의 멋진 가상 강의실에 실시간으로 합성하는 방식으로 화면을 재구성하고 다양한 합성 장면과, 다양한 스크린 및 강사의 애니메이션 기법을 사용해 마치 첨단 강의 스튜디오에서 스크린이 움직이고 커지고 강사가 멋지게 줌이 되고 작아지는 방식으로, 강사가 발표 자료를 설명할 때는 발표 자료를 강사의 얼굴을 보고 설명을 들을 때는 상대적으로 강사를 크게 키워주는 방식으로 프로젝터 화면에 보이게 하여 청중이 강사나 화면을 판단해서 찾아보지 않아도 화면만 보고 있으면 모든 강의의 장면이 방송화면처럼 다양한 각도에서의 화면으로 알아서 보여주도록 하는 강의 집중방식을 제공한다.

가상의 그래픽 강의실을 손쉽게 강사가 필요한 자기가 원하는 디자인을 할 수 있게 하여 3D 강의실의 인테리어를 자신이 쉽게 책상, 벽, 천장 등을 수정해 만들 수 있도록 기능을 제공하고, 2D 방식의 간단한 복수 레이어 합성 방식도 지원하여 누구나 자신의 멋진 가상 강의실을 강의마다 변화를 주어 한 스튜디오의 단순함을 변화를 주도록 한다.

또한, 강의 중에 마치 여러 대의 카메라를 통해 다양한 각도의 장면과 줌, 트랙을 움직이며 보여주는 방송국처럼 강사와 발표 화면을 원하는 장면으로 보여주는 가상의 카메라 장면과 가상의 트랙움직임, 스크린이나 강사가 커지고 움직이게 하는 애니메이션을 실시간으로 보여주도록 하는 장면을 강사가 필요한 장면 설계를 할 수 있도록 하여 강의 도중 자동으로 이들의 장면들이 강의 내용, 마우스 제어를 하는 것에 의해 만들어 보이게 함으로써 카메라맨 없이 실제 한 대의 카메라만으로도 다양한 장면의 카메라 줌, 애니메이션 장면을 만들어 때로는 강사가 커지면서 화면에 크게 강사만 크게, 혹은 강사가 작아지면서 상대적으로 스크린이 커지게 보이는 변화를 주면서 강의가 만들어지도록 한다. 이때 필요한 장면은 강사가 자동으로 하지 않고 수동으로 선택해 보일 수 있도록 간단한 스위칭 버튼을 보지 않고도 작동하도록 쉽게 제공을 하여 강의 집중을 장비 조작으로 영향을 받지 않도록 설계된다.

또한, 본 발명의 장치는 강사가 카메라를 보고 강의를 하면 본 발명의 장치의 출력 화면에 강사의 눈이 마치 청중들의 모든 사람들을 동시에 바라보게 하는 가상 눈 맞춤이 발생하여 강의실 전체의 사람들이 마치 강사가 모두 자기 자신을 쳐다보며 개개인을 놓고 강의 발표를 하는 것으로 느껴지도록 하는 획기적인 강의 방식으로 강의 효과를 극대화하는 방법이 된다.

이때 강사와 발표 내용을 스위칭을 통해 때론 발표 자료를 때로는 강사를 상대적으로 크게 스위칭을 자동으로 강사가 원하는 장면으로 절환을 하기 위해 강사의 마우스 움직임을 분석하여 마우스 커서가 스크린으로 가면 자동으로 스크린을 커지게 하고 움직이지 않으면 강사크기를 크게 하는 방식 등의 지능형 프로그램으로 장면을 자동 스위칭이 되게 함으로써 마치 선생님이 칠판을 쓰기 시작하면 칠판을 보고 칠판에서 떼면 선생님에 집중이 되는 자동 시점 절체처럼 장면을 장비가 알아서 하는 기능이 매우 중요하다.

이를 통한 원격 강의시스템으로 상대방의 원격교실 등에 카메라를 강사 쪽으로 보여주는 방식으로 양방향 대화식 강의를 할 수 있게 된다. 즉, 합성된 가상 강의가 네트워크를 통해 원격지 강의실 혹은 회의실로 전달되고 상대방의 카메라가 강사 쪽으로 보임으로써 양방향 질문 대답의 세미나, 원격 강의, 회의가 이루어지게 되고 상대방에서 마치 강사가 현장에 와서 앞에서 강의를 하듯 느끼게 된다.

또한, 이러한 출력 비디오를 실시간으로 녹화를 하게 되면 별도의 숙련된 편집기술자에 의한 녹화 후 수동 편집 과정이 필요하지 않게 되어 실시간 강의 장치, 실제 강의 이상의 강의효과가 있어 한 번 강의를 하면 다시 강의를 하지 않아도 되는 강의 녹화 장치가 가능하게 된다.

강의 내용에 포인터를 마우스로 옮기며 마킹, 그림 그리기 등을 지원하고 태블릿을 통해 그림이나 글씨를 쓸 수 있도록 하는 기능을 제공함에 있어 가상의 스크린상에 그려주는 가상 전자 칠판 기능을 제공하여 합성 시에 추가의 장비 없이 전자 칠판 기능을 구현하게 된다. 이때 펜의 컬러, 두께, 투명도 등도 마우스의 간단한 기능의 조합으로 직관적으로 할 수 있게 주어져 강의 중 필요한 색상 등을 간단히 조작하며 쓸 수 있도록 제공한다. 강사가 화면의 크기나 각도를 변환시키더라도 판서 내용의 크기 또는 각도가 같이 변환되도록 하여 판서한 내용이 항상 강의 자료에 명확히 대응될 수 있도록 하는 장치를 제공하는 것을 또 다른 목적으로 한다.

강의의 편리성으로 위해 이 가상 스크린상에는 외부 카메라를 보여주게 하여 질문을 하는 학생이나 외부 비디오를 모니터에 보여줄 수 있게 하고, 동시에 USB 등 카메라를 통해 실물 화상기 즉, Document Camera 기능을 제공하게 된다. 이들의 입력을 마음껏 제어할 수 있도록 마우스 휠과 클릭을 이용해 추가 장비 없이도 직관적으로 할 수 있도록 한다. 이러한 방식으로 한 대의 장비에 원터치 방식으로 기존의 모든 강의를 위해 사용되는 일반적인 시청각 장비의 기능인, 전자 칠판, 실물화상기, 스위처, 비디오 플레이어 등을 한 대에서 실현이 가능하게 하고 이들의 작동이 별도의 장치 없이도 녹화 및 전송이 되게 하여 실시간 강의 녹화 및 원격 강의 및 회의가 가능하게 하는 장치를 제공하는 것을 그 목적으로 한다.

뿐만 아니라, 본 발명은, 가상 강의실의 용이한 변경 및 제작을 강사가 스스로 간단히 할 수 있게 하기 위한 기능이 제공되어야 한다. 이를 위해 미리 준비된 다양한 3D 가상 강의실 그래픽 툴이 제공되고 3D의 경우 강사가 배경, 색상들을 자유로이 변경 및 제작 가능하게 하고 2D 배경을 사용하는 경우에 복수의 2D 배경 레이어의 그래픽을 변경 혹은 제공되는 세트로 선택하여 사용하게 하며, 배경 레이어 위에 강의 자료 및 강사의 모습을 각각 별도의 레이어로 합성하게 하면서 다양한 강사 및 강의 자료 화면의 크기를 다양한 장면으로 필요한 모양으로 강사가 만들거나 조절을 할 수 있게 하여, 강사가 강의 도중 필요한 장면을 자동으로 혹은 마우스나 터치스크린과 같은 방식으로 장면이 전환되는 방식으로 강의가 이루어지게 하는 기능이 제공되어야 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 강사 이미지를 배경에서 추출하는 크로마키 등의 기법을 이용해 발표 자료와 그래픽 강의 스튜디오로 다양한 장면으로 합성하고 이를 강의 상황에 맞게 장면을 자동 혹은 수동으로 장면이 매 5-20초에 전환이 되게 하여 강의 집중도를 극대화 하게 하는 장치로 멋진 가상 강의실의 조정을 강사가 편하게 설계 혹은 편집하는 기능을 제공하게 되며 이를 위해,

(1) 복수 개의 미리 제공되거나 3D max 등의 3D 편집 프로그램을 이용해 만들어 놓은 3D 배경 가상 강의실 세트 중에서 사용할 세트를 선택하여 각 인테리어를 편리하게 수정하거나 자신의 그림 비디오 등으로 자신의 가상 강의실 디자인을 하고 사용할 책상, 장식들을 미리 제공된 데이터들에서 혹은 자신이 설계한 데이터를 선택하여 가상강의실을 3D 공간으로 선택, 설계하는 방식으로 정하거나, 2D 이미지들의 복수의 레이어를 합성하는 방식으로 강의실을 설계하도록 하여 배경, 벽, 책상 등의 2D 그래픽을 선택 혹은 자신의 것을 넣어 강의에 사용하는 가상 강의실을 그래픽으로 편리하게 간단히 설계하는 단계;

(2) 실시간 강의 시에 합성 혹은 렌더링 출력 장면을 복수개의 다양한 필요한 수만큼 설계하는 단계로, 마치 가상 그래픽의 강의실에서 강사가 가상 책상에서 강의를 하고, 마음대로 움직이고 크기가 조정되는 가상의 스크린이 장면 별로 일정한 위치에 일정한 크기로 재배치가 되게 하여 애니메이션이 되어 커지거나 작아지고 위치를 바꾸어지도록 하는 장면들을 출력할 수 있게 장면 설정을 하는 단계로, 가상 강의실 3D 공간에 배치한 가상 카메라가 다양한 장면을 보이도록 하는 위치하게 하고 이 가상 카메라를 통해 가상강의실의 장면을 렌더링 하여 장면을 설정하는 장면 편집 기능을 제공하고 이들의 장면 즉 가상 카메라의 위치 및 강사, 스크린의 애니메이션 혹은 스케일을 조정하도록 하여 다양한 합성 장면들을 필요에 따라 조정하거나 설정하는 장면을 설정해 실제 강의 시 지능형으로 필요한 장면이 출력이 되거나 간단한 외부 스위치로 이들 장면을 선택해 보여주게 하는 장면 편집 단계로, 2D 방식에서도 복수 레이어와 합성되는 강사레이어, 및 스크린레이어의 크기를 각 장면들에 필요한 합성 장면의 크기로 만들어 주는 장면 편집 단계의 준비를 하는 가상 장면 설정 단계:

(3) 강사를 찍는 실제 카메라를 실제 강의실에 배치하고 강사, 실물화상용 카메라, 학생을 찍는 카메라 등의 카메라와 오디오 마이크 등의 신호를 체크하고 세팅을 하는 단계;

(4) 촬영되는 비디오카메라에서 발표자의 강의 모습 영상에서 크로마키 등의 기법을 이용하여 상기 강사 부분만 추출하여 합성에 사용하도록 하는 배경 제거를 통한 배경을 제거한 발표자 이미지 추출하도록 세팅을 하는 단계:

(5) 강의에 사용할 발표자료, 노트북 입력을 네트워크로 화면을 캡처하거나 노트북 VGA/DVI/HDMI 등의 인터페이스를 통해 받아들이도록 설정을 하거나 파워포인트 파일등의 파일, 강의에 보여줄 비디오 혹은 이미지들을 미리 설정하여 실시간 강의 시 가상 스크린에 강사와 함께 손쉽게 원터치로 이들이 편하게 장면을 보여줄 수 있게 미리 세팅 및 로딩을 하는 단계;

(6) 강의 시 필요에 따라 타이틀을 포함하는 자막을 넣을 수 있게 사용할 타이틀들을 미리 배치해 원터치로 타이틀이 보일 수 있게 하는 자막 타이틀 세팅 단계;

(7) 강의 시작 시 보여주고, 레코딩을 할 때 첫 강의 제목 등을 장면을 표시하는 첫 장면을 설정해 주는 단계:

(8) 가상 실험이나 3D 물체의 3D 데이터를 복수로 로딩하여 이들을 원터치로 움직여줄 수 있고 이들을 마우스 등으로 실시간에 사용하게 하여 가상물체 3D 혹은 2D 데이터를 넣는 단계;

(9) 강사의 오디오, 배경 등에 사용한 비디오의 오디오 등을 적당한 크기가 되게 믹싱이 되어 출력이 되게 하는 오디오 믹서 세팅 단계;

(10) 자동 장면 전환을 위한 마우스, 태블릿 등의 펜의 움직임에 따른 자동 장면 전환 등에 필요한 순서, 전환시간 등의 세팅 조정을 하는 단계로 자동 녹화, 자동 절환의 변수를 필요시 수정 세팅하고, 외부 스위치의 버튼에 필요한 버튼을 정의하는 장면 자동 스위칭 세팅 단계;

(11) 강의 녹화 시 압축 포맷, 오디오 비디오 압축비, 전송 시 네트워크 세팅부등의 엔코더 세팅 및 합성 출력 장면을 화상회의의 입력으로 연동하여 화상회의 프로그램과 연동 등을 세팅하는 단계;

(12) 이러한 세팅의 단계를 거쳐 실시간 강의가 이루어지는 단계로 강사, 발표 자료가 가상 환경에 합성이 되고 지능적으로 장면이 전환이 되거나 수동으로 필요한 장면을 선택해 보이게 되고, 상기 강사가 태블릿을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어로 상기 최종 영상에 추가 합성하여 상기 디스플레이 장치로 출력하는 단계; 및

(13) 화상회의, 원격 강의가 이루어지며 단수 복수의 원격지 카메라를 함께 보여 주는 화상회의 혹은 원격강의 단계로, 강의에 사용되는 마우스, 혹은 태블릿의 움직임을 감지하여 자동으로 강사의 크기나 발표스크린의 크기를 지능적으로 감지하게 하여 마우스 포인트가 스크린에 올려 있으면 화면이 커지게 하고 글씨 등을 쓰면 더 커지는 방식과 움직임이 고정될 때는 강사 이미지를 서서히 키우고 발표 내용 스크린을 상대적으로 적어지게 하는 방식과 마우스의 버튼이나 마우스 휠을 돌리면 장면이나 모니터 콘텐츠, 타이틀들을 조정할 수 있도록 마우스 버튼 콤비네이션으로 기능을 구현하여 자동 혹은 마우스만으로 전체 장비가 조정되는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 특징에 따른 가상 강의실 강의 장치는,

상기 크로마키 장치를 통해 획득한 강사 레이어 및 상기 태블릿으로부터 입력받은 판서 내용, 발표 자료 혹은 외부 노트북을 상기 가상 스튜디오 영상에 합성하여 상기 최종 영상을 생성하고 상기 디스플레이 장치로 출력하는 렌더부;

상기 최종 영상의 렌더는 3D입체 화면을 발생하기 위해 좌우 2개의 카메라를 사용하고 좌우 측의 렌더 화면을 출력하여 입체비디오 화면을 만들어 줌으로써 스테레오 화면 출력을 시켜주는 방식으로 강의의 실감을 만들어 줄 수 있는 방식을 제공하는 것을 그 구성상의 특징으로 한다.

또한, 상기 디스플레이 장치를 통해 출력되는 상기 최종 영상을 압축하여 녹화 및 전송이 되게 하여 강의 녹화 및 방송, 화상회의가 되게 하는 장치가 포함될 수 있다.

뿐만 아니라, 상기 최종 영상을 상기 렌더부 또는 상기 강의 파일 저장 장치로부터 유무선 네트워크를 통해 수신하며, 가상 스튜디오 강의를 수강하는 복수 개의 클라이언트 컴퓨터에 상기 최종 영상을 제공하는 서버를 더 포함하고 이 서버에 다른 편의 원격 강의실 혹은 세미나실의 카메라 비디오를 받아 다자간 강의 시 서로 공유를 하게 하는 서버를 포함할 수 있다.

강의 화면에 강사와 스크린으로 가상의 강의실로 재합성된 출력 화면이 보여 지는 아름다운 인테리어가 된 강의실로 마치 방송 스튜디오처럼 만들어 짐으로서 강의 집중도가 대폭 향상되며 일일이 강의실을 변경하지 않아도 멋진 강의실을 매 강의마다 손쉽게 변화 시켜 사용하게 되어 막대한 경비를 절감하는 강의실이 만들어진다.

강의에 사용하는 다양한 시청각 기기, VTR, CD/DVD Player 및 실물화상기, 전자 칠판 등의 기기를 한 대에서 통합지원하고 이들의 선택이 원터치로 주어지는 All In One 강의 시스템이 된다.

강의 녹화가 실제로 합성된 출력 비디오 하나만을 녹화 하면 되므로 일반 강의 녹화에 필요한 전문 카메라맨과 카메라들, 오디오, 녹화장치, 스위처 믹서가 모두 필요하지 않고 이들의 인력이 없어 강사 혼자 모든 장치가 운영되는 종합 방송 솔루션이 되어 강사가 원하는 방식으로 강의가 녹화 되어 실시간으로 강의가 끝나면 강의가 만들어 지고 만들어진 비디오가 실제 강의이상의 강의 효과가 있어 다시 강의를 할 필요 없이 녹화된 비디오가 강의를 대체할 수 있는 실시간 강의 녹화기가 됨으로써 지금까지 강의 녹화가 안 되던 소중한 강의를 어디에서든 언제나 녹화가 가능하게 된다.

본 장비의 비디오는 비싼 방송 전문가를 필요로 하지 않고 한 대의 카메라로도 수많은 카메라 효과를 주고 정지된 카메라를 이용하여 트랙을 움직이는 카메라효과와 같은 트랙움직임의 화면을 만들어 줌으로써 비싼 장비를 쓰지 않아도 되는 강의, 녹화, 방송 시스템으로 시간과 경비를 절감할 수 있으면서 강의를 최고의 효과를 주게 할 수 있는 장치이다.

본 발명의 장치를 이용하여 네트워크로 원격으로 보내는 원격 강의를 통해 원격지에서 마치 강사가 현장에 와서 강의를 하듯 눈과 눈을 마주치고, 화면에 다양한 장면의 스위칭이 보이는 아름다운 강의가 실시간으로 구현됨으로서 현장강의 보다 더 효과적인 강의가 이루어지는 실질적인 원격 강의 시스템이 구현되어 그동안 사용이 되지 않던 원격 강의가 실질적으로 가능하게 되고 더 나아가 화상회의에 활용하여 프레젠테이션 회의가 가능하게 하는 장치가 되게 된다.

본 장치를 교탁에 넣어 사용하면 모든 시청각 장치, 실물화상기 등이 필요하지 않게 되고 강의 녹화 및 방송도 한곳에서 한 장치로 이루어짐으로써 최첨단 전자 교탁이 이루어지게 된다.

본 발명에서는 발표자를 배경으로부터 분리하는 크로마키 혹은 배경 이미지 추출, TOF(Time of Flight) 센서를 이용하여 발표자만을 추출 후 발표 자료와 한 화면에 필요한 화면 조합으로 합성하여 도 8과 같이 합성된 화면을 청중에게 보여주도록 하였다. 이로써 청중의 시선이 한 곳에 고정되어 있어도 발표 자료와 발표자를 한 화면에서 볼 수 있다. 때로는 발표자를 크게, 때로는 발표 화면을 크게 하되 한 화면에서 필요한 화면을 실시간 합성하여 발표자와 화면을 동시에 볼 수 있도록 하는 새로운 프레젠테이션 방식으로 강의실의 학생들이 집중된 강의를 들을 수 있게 된다.

발표자는 간단한 마우스 혹은 스위처 작동으로 메뉴 화면 없이도 자동 혹은 수동으로 청중의 시선이 집중하여야 할 장면을 실시간으로 직접 합성할 수 있다. 즉, 청중이 자료에 집중을 해야 할 경우 자료 화면을 크게, 발표자에 집중을 해야 할 경우 발표자 자신을 크게 화면을 발표자가 직접 일반 컴퓨터 마우스를 사용하여 포인터를 다루는 것과 같이 쉽게 제어할 수 있어 추가의 카메라맨이나 장비 운영자가 필요하지 않고 강사가 강의만 하면 화면 전환으로 필요한 장면이 마우스 혹은 간단한 조작 장치 스위처로 가능하게 하여 강의를 하면서 혼자서 장비 녹화, 전송, 장면 전환을 강사 혼자 할 수 있게 한다.

청중의 경우 발표자와 발표 자료가 합성된 하나의 화면에만 집중하면 발표자가 강조하고자 하는 부분을 자연스럽게 인지하고 발표의 필수요소를 놓치지 않게 되어 집중도를 높일 수 있게 된다.

대형 화면을 통해 발표자의 얼굴 표정 및 몸짓을 먼 거리에 앉은 청중에게까지 효율적으로 전달할 수 있어 도 9와 같이 대형 강의실 모든 위치에서 동일한 발표 효과를 얻을 수 있다.

대형 화면의 발표자가 카메라를 보며 강의를 하면 화면의 발표자가 강의실의 모든 사람의 눈을 보는 듯한 효과가 있다. 이로 인해 모든 청중은 발표자와 각각 직접 아이 컨텍을 하고 있다고 느낄 수 있다. 수십, 수백 명의 청중 모두와 동시에 아이 컨텍을 하고 있는 효과를 줌으로써 발표의 효율을 극대화하고 발표자가 이곳저곳 시선을 옮기며 부분적으로 아이 컨택을 할 수밖에 없는 일반 강의보다 강의 집중도를 대폭 향상시키게 된다.

본 발명의 장치는 간단한 마우스 하나만을 사용하여 카메라 스위칭, 전자 칠판의 판서, 장면 합성 스위칭 등을 할 수 있다. 모든 제어를 발표자가 강의를 하면서 자동 혹은 수동으로 자유롭게 장면 제어 및 전자칠판, 합성 화면 스위칭 등을 실시간으로 직접 할 수 있어 살아 있는 강의를 강사가 원하는 대로 할 수 있다. 또한 이 화면을 실시간으로 녹화 전송함으로써 편집이 추가로 필요하지 않게 되어 시간 및 인력의 낭비를 줄일 수 있게 된다.

화면상 보이는 발표자와 발표 화면을 합성하는 2D, 혹은 3D 그래픽 배경을 자유롭게 강사가 설계할 수 있도록 쉬운 환경을 제공하여 소위 가상 강의실을 이용한 강의를 함으로써 별도의 고가 강의 스튜디오 세팅을 하지 않아도 멋진 강의실에서의 강의처럼 만들어져 강의 효과를 극대화하고 청중의 피곤을 줄이고 강의 집중을 높이게 된다.

이러한 가상 강의실을 전문적인 3D, 혹은 2D 전문가가 아니어도 본 발명의 스튜디오 디자인 메뉴를 통해 배경과 책상, 모니터 등을 손쉽게 선택하고 설계할 수 있어 누구나 자신의 스튜디오를 간단히 설계하여 멋진 강의 장면을 만들 수 있는 기능을 제공한다.

과거 같은 장소에서 발표를 들어야만 했던 청중에게 언제나 신선한 가상공간을 제공함으로써 가상 강의실 공간 내에서의 발표는 청중의 관심도를 높일 수 있고 실제 발표 이상의 효과를 얻을 수 있다.

이와 같이 발표자에 의해 다양한 화면으로 구성된 강의 화면은 별도의 편집시간이 요구되지 않고 실시간 녹화 가능하여 이러닝 등 강의 자료 제작에 획기적인 실시간 녹화기로 사용될 수 있다.

또한, 출력된 비디오를 실시간으로 압축하고 손쉽게 원격 전송하게 되어 그동안 불가능했던 원격 회의 및 원격 강의가 가능하게 된다. 원격지에서 보는 합성된 강의는 실제 강의실 강의보다 강의 효과가 높고, 원격지의 모든 청중과 아이 콘택트가 일어나게 되어 실제보다 나은 원격 강의, 원격 회의 시스템을 제공하게 된다.

본 장치의 합성 방식은 발표를 위한 사용 시 발표 화면 위에 그리기, 쓰기 등의 기능을 제공하는 태블릿을 이용한 가상 전자 칠판, 외부 USB 카메라를 통한 실물화상기, 또 미리 녹화 및 준비된 오디오/비디오 재생을 가상 화면에 보여주는 기능을 한 장치에 통합 제공하여 기존의 여러 개의 발표용 기자재를 따로 두어야 하는 번거로움을 제거하고 한 장치에서 간단하고 편리하게 이들 기능을 구현하게 된다.

특히, 프레젠테이션 화면에 그리거나 쓰기를 할 수 있는 전자 칠판 기능을 가상 스크린화면상에 가상 화면 전자 칠판 기능을 제공하였다. 출력 장면에 프레젠테이션 화면의 크기가 다르게 변하여도 전자 칠판의 판서가 함께 커지고 작아지도록 구현하여 가상 강의실 화면의 전자 칠판 기능이 제공된다.

선행 특허가 3D 가상 스튜디오 기술을 이용한 발표 녹화에 중점을 두어 발명된 데 비하여, 본 개선 발명품은 좀 더 쉽고 포괄적인 방식으로 3D 그래픽뿐만 아니라 2D 멀티 레이어 합성을 제공하고 있다. 크로마키뿐만 아니라 배경 이미지 추출 방식으로 TOF 방법을 제공하여 크로마키를 사용하기 어려운 환경에도 강사 비디오의 화면을 타원 등으로 자르고 외곽 영역을 투명 처리하여 부드럽게 가상공간에 합성하는 발표자 추출 방식을 새롭게 제공하고 있다. 특히, 본 장치의 GUI/메뉴를 보고 장비를 작동하면서 강의를 하는 경우 발표자가 강의에 집중을 할 수 없었던 방식에서 본 발명은 간단한 마우스 작동만으로 화면을 보지 않고 본 발명 장치에서 제공하는 장면 전환, 가상 카메라, 전자칠판, 실물화상기, 비디오/사진 보이는 기능을 손쉽게 제어하도록 하는 새로운 VR 프레젠테이션 기술이 된다.

도 1은 청중의 시선이 발표자 혹은 발표 자료로 이분되는 경우를 나타내는 도면.
도 2는 발표자가 화면에 비해 상대적으로 작아 청중의 시선이 발표 자료 화면에만 쏠려 발표자와 청중 간의 아이 컨텍이 존재하지 않고 청중이 발표자의 목소리에만 의존함으로써 집중도가 떨어지는 경우를 나타내는 도면.
도 3은 상대적으로 발표자와 먼 자리에 위치한 청중의 경우 발표자의 얼굴 표정 및 몸짓이 전달되지 않아 발표의 효율이 떨어지는 경우를 나타내는 도면.
도 4는 2개 이상의 화면을 두어 프로젝터 화면이나 추가의 스크린에 강사를 따로 보여 주는 경우 강사와 화면이 분리되어 청중이 화면을 판단해 보는 강의 집중도가 떨어지는 경우를 나타내는 도면.
도 5는 발표자와 발표 자료를 다른 화면에 두는 발표 방식을 나타내는 도면.
도 6은 발표자를 카메라로 잡아 한쪽 코너에 보여주면서 발표 자료를 한 화면에 보여주는 방식을 나타내는 도면.
도 7은 여러 대의 카메라와 스위쳐를 사용하여 발표 장면을 전환하며 방송을 진행하는 경우를 나타내는 도면.
도 8은 본 발명의 일실시예에 따라, 발표자만을 추출 후 발표 자료와 한 화면에 필요한 화면 조합으로 합성하여 합성된 화면을 청중에게 보여주는 경우를 나타내는 도면.
도 9는 본 발명의 일실시예에 따라, 대형 화면을 통해 발표자의 얼굴 표정 및 몸짓을 먼 거리에 앉은 청중에게까지 효율적으로 전달하는 경우를 나타내는 도면.
도 10은 본 발명의 일실시예에 따른 카메라로부터 입력되는 비디오 중 발표자를 배경에서 분리하는 다양한 방법 중 크로마키 기법을 예를 들어 설명하며 통칭 크로마키로 언급하는 내용을 배경이미지 분리 방식으로 이용한 가상 스튜디오 강의 방법의 순서도.
도 11은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S300에서의 크로마키 과정을 예로 나타내는 도면.
도 12는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S400에서의 레이어 합성 과정을 나타내는 도면.
도 13은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 최종 영상들을 나타내는 도면.
도 14는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 판서 레이어 합성 과정을 나타내는 도면.
도 15는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 장치의 블록도.
도 16은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 그래픽 강의실 강의 장치의 레이어 합성 장치의 블록도.
도 17은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 강의실의 출력 화면 즉 복수의 가상 카메라 혹은 다양한 위치에서의 출력 화면을 선택하는 스위처의 버튼을 나타내는 도면.
도 18은 본 발명에 따른 장치의 강사 이미지 크로마키 추출기능과 그래픽 화면 합성 기능을 보여주는 기본 작동원리를 설명하는 도면.
도 19는 본 발명에 따른 장치의 동작 원리를 설명하는 도면.
도 20은 본 발명에 따른 장치의 작동을 위한 필수 구성요소를 나타내는 도면.
도 21은 도 20에 도시된 필수 구성요소들의 기능을 좀 더 구체화하여 표현한 도면.
도 22는 본 발명의 일 실시예에에서, 터치 메뉴가 제공되는 모습을 나타내는 도면.
도 23은 본 발명의 일 실시예에에서, 추가 외부 스위처 메뉴가 제공되는 모습을 나타내는 도면.
도 24는 본 발명의 일 실시예에에서, 화면 선택의 모습을 나타내는 도면.
도 25는 본 발명의 일 실시예에에서, 가상 스크린 상의 전자 칠판으로서 기능하는 모습을 나타내는 도면.
도 26은 본 발명의 일 실시예에에서, 3D 물체를 3D Max 혹은 Maya 등을 통해 제작하여 가상공간 안에서 보일 수 있도록 하는 모습을 나타내는 도면.
도 27은 본 발명의 일 실시예에에서, 본 장치를 거쳐 발표자 모습을 추출해 발표 자료와 합성 후 출력시키는 방식의 원격 회의 모습을 나타내는 도면.
도 28은 본 발명의 일 실시예에 따른 전자 교탁의 모습을 나타내는 도면.
도 29는 본 발명의 일 실시예에에서, 발표자가 강의실 뒤에서 청중들과 함께 앞쪽 스크린에 보이는 출력 화면을 보며 발표를 진행하는 모습을 나타내는 도면.
도 30은 본 발명의 일 실시예에에서, 가상 스크린을 복수로 배치하고 각각에 동시에 다른 자료를 출력시키며 각각에 대해 가상 칠판을 제공하는 모습을 나타내는 도면.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

본 발명 장치는 실시간 발표, 강의 실시간 녹화 혹은 원격 발표 시 발표자의 이미지를 배경에서 추출하여 발표에 필요한 시청각 자료 내용을 2D 혹은3D 가상 그래픽 강의실 에 재합성하여 마치 가상 강의실 스튜디오에서 다양한 위치의 카메라들로 장면을 스위칭 하듯 장면 전환을 하면서 출력하게 하는 장치이면서 이러한 방식을 이용한 실시간 강의 녹화, 전송, 프레젠테이션 회의가 가능하게 하는 강사 혼자서 자동으로 운영하는 실시간 프레젠테이션 장치이다. 이때, 본 발명 장치의 작동은 일반 프레젠테이션을 하듯 마우스 하나로 메뉴화면을 보지 않고 손쉽게 필요한 장면으로 스위칭이 되게 하여 강사가 강의에 집중을 할 수 있도록 하는 장치 운영과 프레젠테이션 시청각 자료 전환이 통합되어 구동되게 하고, 다양한 시청각 장치 기능을 한 대에 통합시켜 원터치로 전자 칠판, 실물화상기 등의 기능이 한 대에서 손쉽게 구현이 되게 만들어진 장치이다. 또한, 기존의 강의실에서 고정된 칠판 혹은 스크린을 보는 단조로운 장면이 아닌 스크린 상에 발표자와 발표 자료 스크린을 함께 보일 수 있게 하여 때론 발표자가 화면에 앞으로 나와 크게 보이거나 발표 자료가 크게 보이도록 하는 다양한 화면 구성을 실시간으로 만들어 청중이 강사를 봐야 할 때는 강사가 크게, 발표 자료를 봐야 할 때는 발표 자료가 크게 화면을 재구성할 수 있다. 이때 발표자가 노트북의 화면이나, 문서 파일, 외부 카메라, 혹은 비디오 파일, 사진들을 손쉽게 마우스 하나로 혹은 간단한 스위칭 버튼으로 자유로이 조정할 수 있도록 하여 프레젠테이션을 하면서 필요한 장면 및 발표 자료 제어를 발표 내용에 집중하며 강의를 할수 있도록 만들어진다.

도 10은 본 발명의 일실시예에 따른 카메라로부터 입력되는 비디오 중 발표자를 배경에서 분리하는 다양한 방법 중 크로마키 기법을 예를 들어 설명하며 통칭 크로마키로 언급하는 내용을 배경이미지 분리 방식으로 이용한 가상 스튜디오 강의 방법의 순서도이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법 등을 이용한 가상 강의실 재합성 화면에 의한 강의 방법은, 복수 개의 2D 배경 레이어를 합성하여 가상 강의실을 만들거나, 3D 그래픽의 가상 강의실을 편집하여 선택 혹은 편집하여 설정하는 단계(S100), 카메라를 이용하여 강사의 강의 모습을 영상으로 촬영하는 단계(S200), 촬영한 강의 모습 영상에서 크로마키 기법을 이용하여 강사 부분만 강사 레이어로 추출하는 단계(S300), 배경 레이어에 적어도 하나 이상의 강의 자료( 노트북 화면, 외부 VTR등 카메라, 실물화상기용 USB 카메라, 동화상이나 그림들)를 표시하는 강의발표 자료 레이어와 강사 레이어를 합성하여 최종 영상을 생성하여 합성시킨 화면을 디스플레이 장치로 출력하는 단계(S400), 강사가 태블릿을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어로 발표 자료를 보여 주는 스크린에 추가 합성하여 디스플레이 장치로 출력하는 단계(S500), 강사가 화면 구성 변환 장치를 조작하는 경우, 강의 자료 레이어, 강사 레이어, 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 디스플레이 장치로 출력하되, 강의 자료 레이어와 판서 레이어의 크기, 위치, 또는 각도는 장면이나 화면의 크기가 변해도 같은 동일한 비율로 변환되도록 하는 가상 전자 칠판의 단계(S600), 화면 구성 변환 장치의 오토 화면 전환 버튼이 On 되어있는 경우, 마우스 커서나 버튼의 조작을 통해 장면의 전환이 직관적으로 이루어지게 되고, 장면 전환에 설정된 시간이 경과함에 따라 자동으로 강의 자료 레이어, 강사 레이어, 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 디스플레이 장치로 출력하되, 강의 자료 레이어와 판서 레이어의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 하는 단계(S700)를 포함하여 구성되어짐으로써 강의 시 강사의 마우스 포인터의 움직임이나 좌우, 중앙 휠의 간단한 조작으로 강의에 필요한 모든 장치와 장면의 전환이 이루어지게 하여 강사가 장치 조작을 자동으로 할 수 있도록 제공된다.

단계 S100에서는, 복수 개의 2D 레이어들을 합성하여 사용할 가상 강의실을 구성할 수 있도록 하거나 혹은 다양하게 미리 제공하거나 직접 제작할 수 있는 3D 배경을 (도 12의 350) 선택하여 강의에 사용할 가상 강의실을 선택하고 이들의 인테리어 변경을 원하는 대로 색상 배경이미지를 변경하고 설계하고 이를 저장한다. 이때 가상 강의실은 우주공간의 강의실, 우주선의 내부, 인체의 내부 등의 2D 혹은 3D 그래픽 이미지를 사용함으로써 기존의 강의 방법에서 구현하지 못하였던 현실적인 현장 교육을 가능하도록 할 수 있다. 이때 3D 배경 레이어(도 12의 350) 뿐만 아니라 2D 배경 레이어(도 12의 350)를 선택하여 내부 화면을 편집하여 사용할 수 있도록 기능을 제공하고 이를 저장할 수 있으며, 바다 또는 넓은 들판 사진을 배경으로 사용하여 청중이 강의를 듣는 멋진 강의실 장면을 사용함으로서 강의 집중도록 향상시키게 된다. 이때 강의 장면에 나오는 화면에 강사와 화면, 배경을 필요한 장면으로 편집하는 장면 편집기를 거쳐 도 13에서와 같이 9개 버튼의 예로 만들어 정의하게 되고 이때 배경의 영역도 함께 조정이 되게 하여 사용하게 되며 이들의 장면은 시간 혹은 마우스의 위치 혹은 마우스 버튼과 회전 휠을 사용하여 장면 전환이 자동 혹은 수동으로 이루어지게 하여 매 5-20초 정도에 장면전환을 통해 청중들의 집중도를 유발하게 한다.

단계 S200에서는, 카메라(도 15의 100)를 이용하여 강사의 강의 모습을 영상으로 촬영한다. 크로마키 기법과 같은 배경을 제거하는 효율적인 수행을 위하여 강사가 모습을 분리할 수 있도록 하는 배경 색상을 쓰는 크로마키 기법이나 강사의 위치를 함께 측정하는 TOF 센서 혹은 배경 이미지와 강사가 함께 있는 이미지를 비교하여 강사만의 이미지를 추출하도록 하는 만들어진 환경에서 카메라(도 15의 100)로 촬영하는 것이 바람직하다. 이렇게 단계 S300에서는, 촬영한 강의 모습 영상에서 크로마키 기법 등을 이용하여 강사 부분만 강사 레이어(도 11의 370)로 추출한다. 단계 S300에 대하여, 도 11을 참조하여 상세히 설명하도록 한다.

도 11은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S300에서의 크로마키 과정을 예로 나타내는 도면이다. 크로마키 기법이란 배경이 있는 피사체를 촬영한 후 배경만을 삭제하여 공백으로 만드는 기술로서, 피사체를 다른 영상에 합성하기 위하여 주로 사용된다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S300에서는, 크로마키 기법을 사용하여 강사 부분만을 별도로 추출하고, 배경 레이어(도 12의 350)와 강의 자료 레이어(도 3의 360)의 위에 합성하여 하나의 최종 영상(도 12의 390)으로 만듦으로써, 강사가 마치 가상의 강의실에 실제로 있는 듯한 느낌을 주어 청중들에게 아름다운 화면을 제공하게 되어 집중도를 향상시키게 되고 다양한 장면 전환 시 배경이 함께 강사와 움직이게 되어 실제 강의실과 같은 느낌을 만들어 주는 역할을 하게 된다. 이를 통해서 강의 자료 재생 화면과 강사의 모습을 출력하는 화면이 분리되어 있던 종래 기술에서 발생하는 문제점과, 강사만의 공간을 화면에서 사용하고 다른 부분을 발표 자료를 보여주게 하여 보다 많은 공간을 발표 공간으로 쓸 수 있게 하고 가상 환경의 느낌을 줌으로써 가상 체험학습을 가능하게 한다. 이때 크로마키 기법을 사용하여 강사 부분만을 추출하는 것이 어려운 환경의 경우 최대한 몰입감을 주기 위한 강사 부분을 타원 혹은 원등으로 추출한 후 테두리에 적정한 투명도를 주는 방식을 통해 몰입감을 주는 기법을 사용할 수 있는 기능을 함께 제공하게 되어 특별히 크로마키 등의 배경 제거가 안 되는 경우도 강의 녹화를 최대한 효과를 가지고 할 수 있도록 하고 있다.

단계 S400에서는, 배경 레이어(도 12의 350)에 적어도 하나 이상의 강의 자료, 즉 노트북등 화면 혹은 외부 카메라, 실물을 찍어 표시하는 USB카메라를 보여 주는 실물화상기, 동화상, 사진 등을 표시하는 강의 발표 자료 레이어(도 12의 360)와 강사 레이어(370)를 합성하여 최종 영상(도 12의 390)을 생성하고 디스플레이 장치(도 15의 400)로 출력한다. 단계 S400에 대하여, 도 12 을 참조하여 상세히 설명하도록 한다.

도 12는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S400에서의 레이어 합성 과정을 나타내는 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S400에서는, 배경 레이어(350)를 바탕으로 하고, 그 위에 강의 자료 레이어(360)와 강사 레이어(370)를 합성한다. 합성 레이어는 배경만이 아닌 강사 앞에도 투명도가 있는 레이어를 단수 복수로 넣어 책상, 나무 등의 장식을 추가할 수 있음은 당연하다. 또한, 좌우 눈으로 보는 장면을 두 개로 출력하여 입체 화면으로 보이게 하는 것은 위 과정을 그대로 좌우의 시각으로 보이게 하는 과정으로 3D 입체 화면으로 발생시키는 것은 당연하다. 이때 실시간으로 레이어를 합성하고 최종 영상(390)을 디스플레이 장치(도 15 의 400)로 출력함으로써, 강사가 카메라의 의 100)를 바라보면서 강의 자료가 합성된 최종 영상(390)을 이용하여 강의를 진행하도록 할 수 있다.

합성하는 과정에서 배경 레이어(350), 강의 발표 자료 레이어(360), 강사 레이어(370)의 순으로 합성하여야 청중이 강의 자료 및 강사를 한 눈에 바라볼 수 있다. 강의 자료 레이어(360)는 마치 가상의 모니터를 통해 강의 자료가 프레젠테이션 되는 것과 같은 사각 형태이거나, 또는 강의 자료에 별도로 크로마키 기법을 적용하여 강사가 청중에게 보여주고자 하는 특정 부분만을 추출한 형태일 수 있다. 또한, 강의 자료는 복수 개일 수 있으며, 복수 개의 강의 자료 레이어(360)를 서로 겹치지 않도록 적절한 위치에 합성할 수 있다. 다만, 단계 S300에서 추출한 강사 레이어(370)를 배경 레이어(350)에 합성하는 경우에는, 강의 자료가 강사의 모습에 의해 가려지지 않도록 합성하여야 한다.

단계 S500에서는, 강사가 태블릿(도 15의 600)을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어(도 14의 380)로 최종 영상(390)에 추가 합성하여 디스플레이 장치(도 15의 400)로 출력한다. 강사가 준비한 강의 자료를 청중들에게 설명하는 과정에서, 강의 내용을 보다 명확하게 설명하기 위하여 일정한 부분에 밑줄을 긋거나 도형을 그려 체크할 수 있도록, 본 발명은 강사가 태블릿(도 15의 600)을 이용하여 해당 부분에 밑줄을 긋게 되면, 밑줄을 최종 영상(390)에 추가로 합성할 수 있다. 물론 밑줄과 같은 판서 레이어(도 14의 380)는 강의 자료 레이어(360) 위에 표시되어야 한다.

단계 S600에서는, 강사가 화면 구성 변환 장치(도 15의 500)를 조작하는 경우, 강의 자료 레이어(360), 강사 레이어(370), 판서 레이어(도 14의 380)의 크기, 위치, 또는 각도를 변환하여 재합성한 후 디스플레이 장치(도 15의 400)로 출력하되, 강의 자료 레이어(360)와 판서 레이어(도 14의 380)의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 한다. 단계 S600에 대하여, 도 13 및 도 14를 참조하여 상세히 설명하도록 한다.

도 13은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 최종 영상들을 나타내는 도면이다. 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S600에서는, 강사가 화면 구성 변환 장치(도 15의 500)를 조작함에 따라, 각 레이어들의 크기, 위치, 또는 각도를 변환한 후 재합성함으로써 최종 영상(390)의 구성을 상이하게 할 수 있으므로, 강사는 강의 자료에 기록된 문자를 확대하고자 하는 경우 또는 강사의 모습을 강조하고자 하는 경우, 각각에 적합한 최종 영상(390)을 선택하여 강의를 보다 효율적으로 진행할 수 있다. 또한, 구성이 상이한 최종 영상(390)들을 전환해가면서 강의를 진행함으로 인해 청중이 보다 강의에 집중할 수 있어 강의 내용 전달이 수월하게 이루어질 수 있다.

도 14는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 판서 레이어 합성 과정을 나타내는 도면이다. 도 14에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 방법의 단계 S600에서는, 강의 자료 레이어(360) 뿐만 아니라 판서 레이어(380) 또한 변환하여 재합성하게 되는데, 만약 판서 레이어(380)의 크기, 위치, 또는 각도를 강의 자료 레이어(360)의 크기, 위치, 또는 각도와 다르게 변환하게 되면, 판서가 강의 자료와 올바르게 대응될 수 없다. 따라서 단계 S600에서는, 강의 자료 레이어(360)와 판서 레이어(380)를 동일한 비율로 변환하여 합성함으로써, 강의 자료가 변형되더라도 판서가 올바른 위치에 놓일 수 있도록 한다.

단계 S700에서는, 화면 구성 변환 장치(도 15의 500)의 오토 화면 전환 버튼이 On 되어있는 경우, 설정된 시간이 경과함에 따라 반복적으로 강의 자료 레이어(360), 강사 레이어(370), 판서 레이어(380)의 크기, 위치, 또는 각도를 변환하여 재합성한 후 디스플레이 장치(도 15의 400)로 출력하되, 강의 자료 레이어(360)와 판서 레이어(380)의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 한다. 강사가 화면 구성 변환 장치(도 15의 500)를 이용하여 최종 영상(390)의 구성을 용이하게 변경할 수도 있으나, 강의 도중 화면 구성 변환 장치(도 15의 500)를 조작하는 것이 강사가 강의에 집중도를 떨어트리고 실시간 강의 시 번거로울 수 있으므로, 단계 S700에서는 강사가 오토 화면 전환 버튼을 On 시킨 경우, 미리 설정된 시간이 경과하거나 마우스의 움직임이 화면의 가상 발표 화면에 머무르는 경우, 좌우 마우스 클릭이나 휠을 조정을 통해 직관적으로 혹은 자동으로 스크린 화면이 조정되게 세팅이 되어 자동 강의가 장비 작동자 없이도 방송 출력처럼 스위칭이 되며 이루어지게 최종 영상(390)의 구성을 자동으로 바꿈으로써, 청중이 지루해 하지 않도록 하는 동시에, 청중의 집중도를 대폭 향상시킬 수 있다. 이때 설정되는 시간이나 마우스 움직임의 정의 등을 필요한 설정이 되도록 기능세팅의 편집이 주어지며 마우스 포인터의 변화를 통해 강사의 의중을 파악하는 인텔리전트 기능은 마우스가 발표화면에 올라가면 일차 화면을 크게 줌을 하고 마우스 움직임이 지속되면 화면을 점진적으로 키워주는 방식, 마우스가 좌우 부분을 움직이며 강사 이미지의 부분의 발표 화면영역으로 움직이면 자동으로 강사를 발표화면 반대편으로 움직이게 하는 방식의 다양한 장면 스위칭이 이루어지게 하여 지능형 강의 장면 스위칭을 자동으로 하도록 만들어져 강사가 강의만 하면 자동으로 장면 전환이 되게 하는 것이 본 발명의 중요한 내용으로 외주 작동자 없이 전문적이지 않은 발표자도 자동으로 방송 장면을 만들어 내게 하게 된다.

도 15는 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 스튜디오 강의 장치의 블록도이다. 도 15에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법 등을 이용한 가상 스튜디오 강의 장치(10)는, 카메라(100), 크로마키 등의 방법을 이용한 배경 제거 장치(200), 2D 혹은 3D 레이어 합성 장치(300), 디스플레이 장치(400), 화면 구성 변환 장치(500), 태블릿(600), 강의 파일 저장 장치(700), 마이크(800), 필요시 서버(900)를 포함하여 구성될 수 있다.

카메라(100)는, 강사의 강의 모습을 촬영한다. 안정적인 촬영을 위해 삼각대(도시하지 않음)를 포함하여 구성될 수 있으며, 카메라(100)는 단계 S200에서의 과정을 동일하게 수행하므로, 자세한 설명은 생략하도록 한다.

크로마키 장치(200)는, 카메라(100)가 촬영한 강의 영상에서 배경 성분들을 체계적으로 제거하여 강사의 모습만을 강사 레이어(370)로 추출한다. 크로마키 장치(200)가 강사 레이어(370)를 추출하는 과정은 도 2에 도시된 바와 같으며, 크로마키 장치(200)는 단계 S300에서의 과정을 동일하게 수행하므로, 자세한 설명은 생략하도록 한다.

레이어 합성 장치(300)는, 미리 저장된 배경 레이어(350)와 강의 자료 레이어(360)를 합성하여 가상 강의실 영상을 형성하고, 가상 강의실 그래픽 영상에 크로마키 장치(200)를 이용하여 획득한 강사 레이어(370) 및 강사가 태블릿(600)을 이용하여 판서한 판서 레이어(380)를 합성하여 최종 영상(390)을 생성한다. 레이어 합성 장치(300)에 대하여, 도 16을 참조하여 상세히 설명하도록 한다.

도 16은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 그래픽 강의실 강의 장치의 레이어 합성 장치의 블록도이다. 도 16에 도시된 바와 같이, 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 강의실 강의 장치(10)의 레이어 합성 장치(300)는, 데이터베이스(310), 가상 스튜디오 생성부(320), 렌더부(330), 화면 전환부(340)를 포함할 수 있다.

데이터베이스(310)는, 배경 레이어(350), 다양한 인테리어를 변경할 수 있는 바닥, 천장, 책상들의 DB 및 강의에 필요한 강의 자료를 저장한다. 배경 레이어(350)는 단계 S100에서 이미 설명한 바와 같으므로 자세한 설명은 생략하도록 한다. 강의 자료는 외부 카메라로 질문을 하는 학생을 실시간으로 강사와 함께 보여 줄 수 있는 외부 비디오, 노트북과 같은 VGA,등 외부 커넥터 입력, IP로 받아들이는 스트리밍 자료 및 avi 포맷과 같은 동영상 파일 또는 web 자료, 사진, 워드, 파워포인트 파일을 포함하며, 강의에 필요한 자료라면 파일 형식에 상관없이 어떠한 자료도 가상 스크린에 실시간으로 스위칭을 하며 보여 주게 되고 단수 혹은 복수의 화면에 두 가지 이상의 외부 자료를 동시에 보여 줄 수도 있게 된다.

가상 스튜디오 생성부(320)는, 2D 혹은 3D의 배경 레이어(350)에 강의 자료를 멀티 레이어 방식의 실시간 합성 방식 혹은 3D 가상 강의실에 강의 자료와 강사를 함께 실시간으로 렌더링을 통해 비디오를 만들어 주는 실시간 가상 그래픽 강의 장면의 영상을 생성한다. 강의 자료를 강의 자료 레이어(360)로 취급하여 배경 레이어(350)에 합성하며, 크로마키 기법이 사용되어야 하는 강사 레이어(370)를 합성하기 전에 가상 스튜디오 영상을 미리 생성해 둠으로써, 최종 영상(390)의 생성에 필요한 시간을 단축시킬 수 있다.

렌더부(330)는, 크로마키 장치(200)를 통해 획득한 강사 레이어(370) 및 태블릿(600)으로부터 입력받은 판서 레이어(380)를 영상에 합성하여 최종 영상(390)을 생성하고 디스플레이 장치(400)로 출력한다. 또한 렌더부(330)는 마이크(800)가 입력받은 강사의 음성을 최종 영상(390)에 추가로 합성할 수 있고 그래픽 합성 등 렌더링 시간이 생길 경우 오디오 부분을 지연시키는 기능을 포함한다. 이때, 렌더부(330)는 각 레이어와 음성을 입력받음에 따라 실시간으로 최종 영상(390)을 생성하고 압축 전송을 하여 원격지에 있는 청중에게도 가상 강의실 장면을 실시간으로 강의를 제공하여 원격지 청중들이 마치 가상강의실의 방송을 보듯 현실감 있는 강의를 만들어 줌으로써 실제 강의실 이상의 강의 효과를 유발할 수 있게 된다.

화면 전환부(340)는, 화면 구성 변환 장치(500)를 통해 강사가 선택하는 최종 영상(390)의 구성에 따라, 렌더부(330)가 강의 자료 레이어(360), 강사 레이어(370) 및 판서 레이어(380)의 크기, 위치, 또는 각도를 변경하여 재합성하도록 한다. 화면 전환부(340)는 단계 S600에서의 과정을 동일하게 수행하므로, 자세한 설명은 생략하도록 한다. 다만, 강사가 최종 영상(390)을 직접 선택하지 않고 화면 구성 변환 장치(500)의 오토 화면 전환 버튼을 On 시키는 경우에도 동일한 과정을 수행할 수 있다.

디스플레이 장치(400)는, 레이어 합성 장치(300)에 의하여 생성된 최종 영상(390)을 출력한다. LCD 모니터뿐만 아니라 프로젝터 장비 또한 디스플레이 장치(400)로 사용될 수 있으며, 입체 방식의 화면을 보여 주는 스테레오 디스플레이장치를 써서 특별히 입체 안경을 통해 현실감 있는 입체 강의실을 만들어 줄 수 있게 하며 그밖에 영상 출력 기능을 갖는 모든 장비를 포함할 수 있다.

화면 구성 변환 장치(500)는, 장면 스위처의 기능으로 최종 영상(390)에 합성되는 강의 자료 레이어(360), 강사 레이어(370) 및 판서 레이어(380)의 크기, 위치, 또는 각도를 제어하여 최종 영상(390)의 구성 등의 미리 설정된 장면을 선택해 보여 지도록 간단한 직관적 스위치를 제공하여 실시간 외부 버튼으로 장면을 제어 할 수 있도록 한다. 화면 구성 변환 장치(500)에 대하여, 도 17의 예를 참조하여 상세히 설명하도록 한다.

도 17은 본 발명의 일실시예에 따른 크로마키 기법을 이용한 가상 강의실의 출력 화면 즉 복수의 가상 카메라 혹은 다양한 위치에서의 출력 화면을 선택하는 스위처의 버튼을 나타내는 도면이다. 이러한 버튼은 터치 형태의 스크린이나 버튼식 패드로 구성될 수 있으며, 언제든 강의 도중에 강사는 각 버튼을 누름으로써 자동으로 전환이 되는 장면에서도 원하는 장면을 바로 명령하여 보여 주게 할 수 있게 된다. 이때, 화면 구성 변환 장치(500)는 오토 화면 전환 버튼이 구비될 수 있으며, 강사가 특정한 시간 혹은 마우스 움직임, 태블릿 포인터의 움직임을 감지하여 자동으로 오토 화면 전환 이 가능하게 되며, 자동적으로 최종 영상(390)의 구성이 변경되도록 함으로써 청중의 강의 집중도를 끌 수 있다.

태블릿(600)은, 강사가 판서하는 강의 내용을 입력받아 레이어 합성 장치(300)에 전송한다. 이때 태블릿(600)은 판서의 컬러, 두께, 투명도를 자유롭게 설정할 수 있는 기능을 제공함으로써 강사가 원하는 대로 자유롭게 판서할 수 있도록 한다. 판서하는 강의 내용은 텍스트가 아닌 이미지 레이어 형식으로 레이어 합성 장치(300)에 전송되는 것이 합성을 수행하는데 있어서 더욱 바람직하다. 가상 강의실의 가상 스크린에 보여 지는 발표 자료가 장면마다 변화가 되게 되어도 스크린의 마크나 그림을 그린 것이 함께 움직이도록 하는 가상 전자 칠판의 기능이 제공된다.

강의 파일 저장 장치(700)는, 디스플레이 장치(400)를 통해 출력되는 최종 영상(390)을 녹화하여 강의 파일로 저장한다. 청중에게 최종 영상(390)을 실시간으로 제공하는 것과는 별도로, 최종 영상(390)을 강의 파일 저장 장치(700)에 녹화하여 저장해둘 경우 교육 자료로서 다양한 분야에 활용될 수 있으며, 일실시예로 저장한 강의 파일을 이용하여 VOD 강의 서비스를 제공할 수 있다.

마이크(800)는, 강사의 음성을 입력받는다. 강사는 강의를 진행하는 과정에서 강의 내용을 음성으로 설명하게 되며, 최종 영상(390)을 강의 파일로서 강의 파일 저장 장치(700)에 저장하는 경우 강사의 음성을 입력받아 최종 영상(390)에 추가하는 작업이 필요하므로, 본 발명은 마이크(800)를 사용함으로써 강사의 음성을 강의 파일에 포함시킬 수 있다.

서버(900)는, 최종 영상(390)을 렌더부(330) 또는 강의 파일 저장 장치(700)로부터 유무선 네트워크를 통해 수신하며, 가상 스튜디오 강의를 수강하는 복수 개의 클라이언트 컴퓨터에 최종 영상(390)을 제공한다. 서버(900)가 렌더부(330)로부터 최종 영상(390)을 수신하여 클라이언트 컴퓨터에 실시간으로 제공함으로써 원격 강의를 가능하게 할 수 있으며, 또는 강의 파일 저장 장치(700)에 저장된 강의 파일을 유무선 네트워크에 전송함으로써 VOD 강의 서비스를 제공할 수 있다.

이러한 기능의 장치에 대한 작동의 원리를 도 18에 그래픽으로 설명이 보이고 있다. 도 18은 본 발명에 따른 장치의 강사 이미지 크로마키 추출기능과 그래픽 화면 합성 기능을 보여주는 기본 작동원리를 설명하고 있다.

<1> 실제 발표가 이뤄지는 공간에서 카메라로 발표자를 찍어 크로마키 등의 방식을 통해 실제 배경으로부터 발표자만을 추출한다. 이때 이미지 추출은 칼라, 밝기를 이용한 크로마키 방식이나 카메라로부터 강사와 배경까지의 거리를 측정하는 TOF(Time of Flight) 센서를 통해 일정 거리에 있는 강사이미지만을 추출하는 방식, 혹은 배경이미지를 기억해 강사를 배경에서 추출하는 방식, 혹은 이러한 추출을 하지 않고 강사를 타원형과 같은 일정 모양으로 자르고 자른 면의 외곽에 투명도를 주어 합성하는 방식을 사용하게 된다.

<2> 배경 이미지 위에 발표자와 노트북 VGA 신호화면(혹은 카메라 신호의 실물화상 등)을 필요한 위치에 필요한 크기로 합성하여 마치 가상 그래픽 강의실에서의 강의 장면처럼 보이게 한다. 이 그래픽 배경 이미지는 강의 시작 전에 강사가 쉽게 편집, 제작 가능한 2D 혹은 3D 편집 기능으로 제공된다.

<3> 노트북, 카메라, 전자 칠판 등의 발표 자료를 외부 카메라, DVI/VGA 신호, 혹은 IP 입력으로 받을 수 있게 하고 이들의 단수 혹은 복수의 입력들을 간단한 마우스 버튼 조작으로 (오른쪽 마우스 클릭 후 휠을 회전하는 방식, 혹은 수치 버튼의 한 버튼을 누르는 방식 등) 선택할 수 있게 하여 강의 도중 질문하는 학생을 화면에 보여 주거나, 실물을 찍는 카메라를 보여 주거나, 노트북을 선택하여 가상공간과 합성한 강사와 필요한 크기로 가상 합성하여 <6>과 같이 실시간으로 보여 주게 된다.

<7>은 청중에게 보여 주어야 할 장면들을 미리 강사가 선택할 수 있도록 조합을 강의 전에 조정하여 만들어 주고 이들의 장면을 때론 강사만, 때론 큰 발표 자료 화면과 작은 강사만 보여주는 등의 장면들로 구성하여 미리 정의해 준다. 이들을 강의하면서 필요한 장면이 자동 혹은 수동으로 장면 전환이 이루어지도록 하는 발명 장치이다. 본 장치의 각 기능은 일반 마우스(혹은 수치 판의 스위칭 버튼에 할당)의 간편한 조작만으로도 동작하여 <7>과 같이 합성된 출력 화면들을 실시간으로 손쉽게 만들 수 있다. 발표 중에 발표자가 장치 운영의 부담 없이 직관적으로 실시간으로 장면 스위칭, 발표 내용 제어, 발표 화면상의 판서 및 마킹, 그리기를 하는 모든 기능들 제공하여 별도의 메뉴 화면 없이도 <6>의 발명 장치의 출력 화면만 보면서 작동시킬 수 있게 된다. 외부 장치 조작 도움이나 장치 메뉴를 외부 터치 메뉴도 제공하여 편리성을 증가할 수 있으나 실시간 강의 시 이러한 외부 조작 장치들은 숙달된 사람이 아니면 사용이 매우 어렵고 특히 마우스조차도 사용하지 않고 단순히 강의만 진행하려는 발표자를 위해 보조 운영자용 조작 패널을 제공하게 된다. 또한 전자 칠판처럼 발표 화면의 가상 스크린상에 마킹, 및 그리기를 위해 외부 태블릿의 펜 입력을 받아 가상 스크린상에 마킹 및 그림 그리기 기능을 제공하여 마우스로 그리는 것보다 정교한 그리 기능을 표현하는 전자 칠판 기능이 가능하게 한다.

본 발명 장치의 출력 화면을 실시간으로 압축 저장하는 비디오 녹화와 이를 네트워크를 통한 실시간 전송으로 원격 강의 및 회의가 가능하도록 한다. 즉, 실시간 녹화 장치, 원격 강의 장치 및 회의 장치로 만들어 제공되고, 또한 소위 전자 교탁 즉 다양한 외부 장치들의 제어를 넣어 만들어지는 교탁을 본 발명 장치를 이용하여 가상 강의 장치로 만들어 특별한 추가 장비 없이 모든 프레젠테이션 제어와 실시간 강의 녹화 및 가상현실 프레젠테이션이 가능한 전자 교탁을 만들게 된다.

도 19는 본 발명에 따른 장치의 동작 원리를 설명하고 있다. 발표자가 발표 시 노트북 등의 발표 자료를 가지고 설명을 하면서 손쉽게 화면을 바꿀 수 있고 본 장치에 의한 합성 출력된 화면이 보이는 가상 스크린 발표 화면 위에 마우스로 그림을 그릴 수 있도록 한다. 더욱 정밀한 그림을 그리기 위해 태블릿이 발표자에게 주어진다. 발표자는 출력 화면(10)만을 보면서 장면 전환을 하고 마우스 포인터를 발표 내용 위에 움직여 마킹이나 그림을 그려가며 강의를 진행한다. 5-20초 이내에 지속적인 출력 화면의 변화를 자동 혹은 마우스 버튼으로 주어 청중들에게 방송의 카메라 스위처처럼 다양한 각도의 장면을 제공하고 이를 통해 청중의 집중도를 향상시키게 된다. 이때 발표자가 발표에만 집중하여 지정된 시간 동안 화면 변화가 이루어지지 않을 경우, 본 장치의 자동 스위칭 기능을 이용하게 된다. 자동 스위칭 기능은 기존 화면과 대조하여 유사한 다른 화면으로 자동 변경하여 발표의 내용이 지루하지 않도록 지원한다. 또한, 마우스 버튼의 움직임을 통해 필요한 장면이 자동으로 움직이게 하는 기능을 추가하여 마우스가 일정 시간 이상 안 움직일 경우 자동으로 발표자 이미지를 키우고 발표화면을 줄여 주고, 마우스가 발표 화면 위에서 움직이거나 마킹을 하게 되면 발표화면을 키우고 강사를 작게 하는 자동 모드를 주어 강의만 전념하면 자동으로 필요한 장면으로 전환되어 보이게 하였다. 또한 필요한 경우 발표 장면의 일정 부분에 오른쪽 마우스 클릭을 하면 그 부분의 발표 자료 내용을 줌하고, 반대로 하면 줌 아웃을 하는 기능을 제공하여 손쉽게 필요한 강의 장면이 자동으로 만들어지도록 한다.

(1) 강사를 찍는 카메라로부터 강사와 배경을 분리하는 추출 장치(크로마키, 배경이미지 비교 제거, TOF(Time Of Flight)의 센서로 실제 공간상에서 강사와 배경 물체의 비디오 픽셀의 거리 차이를 정해 강사 이미지를 분리하는 방식)를 이용하여 실시간으로 강사 이미지만 취득한다.

(2) 강사가 사용하는 노트북 입력을 VGA, IP 혹은 HDMI 등의 신호로 받아들이고, 추가로 외부 카메라를 받아들여 실물화상기 장면과, 질문하는 학생을 가상 스크린에 보여준다. 가상 스크린은 단수 혹은 복수의 화면으로 동시에 혹은 따로 따로 스위칭하여 보여 질수 있게 한다.

(3) USB 혹은 내부 저장 장치로부터 강의 자료로 사용될 비디오, 이미지, PPT 등의 파일을 선택해 이들을 마우스의 스크롤을 통해 순차적으로 가상 스크린상에 보여 줄 수 있게 한다.

(4) (2) 혹은 (3)의 내용 중 단수 혹은 복수의 자료를 스위처를 이용해 선택할 수 있게 하고 이들을 동시에 혹은 순차적으로 강사가 자유로이 보여 주며 강의를 할 수 있게 한다.

(5) (1)에서 취득된 이미지와 (4)에서 선택된 자료를 (6)에서 선택된 그래픽 이미지와 함께 합성하여 가상 강의실을 화면으로 만들어 출력을 시키게 된다. 이때 마우스 혹은 입력 스위처(7)에 의해 선택된 장면 선택 명령을 통해 정해진 크기의 발표자, 발표 내용이 정해진 배경과 합성되어 출력을 생성한다. 합성 화면은 멀티 레이어 방식의 2D 혹은 실시간 3D 렌더 방식으로 실시간 합성 화면을 만들게 된다.

(6) 이때 가상의 2D 혹은 3D 공간을 발표자가 쉽게 선택하거나 만들어 넣어 새롭게 자신의 강의실을 꾸밀 수 있도록 한다. 강의에 사용할 배경 이미지/비디오, 혹은 창이 있는 벽, 다양한 책상 등의 2D, 3D DB를 제공해 주고 이를 선택해 사용할 수 있게 할 뿐만 아니라 발표자가 자신이 만들어서 넣을 수 있는 기능과 편집기도 제공하게 된다.

(7) 발표자는 이들의 가상 강의실을 편집하여 자신의 강의실을 꾸밀 수 있고, 이 강의실에서 사용하는 책상, 모니터, 그리고 강의실에 배치한 가상의 카메라로부터 보이는 출력 화면의 강사의 크기, 발표 화면의 크기 등을 장면별로 자신이 원하는 크기로 변경할 수 있다. 미리 주어진 템플릿을 사용할 수도 있게 가상 카메라 스위칭 버튼 편집기를 제공하고 이들 스위칭을 마우스 버튼의 좌, 우, 중앙 휠을 통해 강사를 좌우로 조정하고 휠을 돌려 강사와 가상 스크린의 크기를 조정하는 방식으로 장면을 강사가 손쉽게 조정할 수 있게 기능을 제공하여 강의 중 필요한 장면을 출력만 보면서 마우스만으로 혹은 간단한 스위처 버튼으로 강의 집중을 흩트리지 않고 장치 제어를 할 수 있게 한다. 즉, 발표를 하는 강사는 마우스 버튼 조작만으로 강사 자신 및 가상 스크린의 크기, 위치 및 비율을 조절할 수 있고, 자신이 보여주고자 하는 내용 즉, 노트북 입력, 카메라 입력, 다양한 종류의 파일 입력을 직접 손쉽게 선택하여 가상 스크린에 보여 줄 수 있게 된다(스위처 버튼은 숫자판 정도의 버튼으로 기능이 만들어져 마우스를 쓰지 않는 경우 더 편리하게 스위처 버튼 작동이 직관적으로도 사용될 수 있도록 설계되어 10여 분 이내에 쉽게 숙지할 수 있게 된다).

(8) 마우스로 그려지는 그림을 좀 더 세밀하게 그리도록 하기 위해 외부 태블릿이나 펜 입력을 할 수 있도록 하여 가상 스크린에 보이는 자료 화면에 마킹 및 그림 그리기를 하는 가상 전자 칠판 기능을 지원한다. 이때 가상 스크린의 크기 변화에 대해 마킹한 위치가 항시 같은 위치에 있게 하는 가상 그리기 기능을 2D, 3D 배경에 맞게 움직이도록 제작된다.

(9) 이렇게 실시간으로 합성된 발표 화면의 비디오를 실시간으로 압축하여 저장하고 이를 네트워크 혹은 인터넷을 통해 전송하게 하여 원격 강의나 화상 회의를 할 수 있도록 한다. 프레젠테이션 녹화, 프레젠테이션 회의, 프레젠테이션의 원격강의가 가능하게 하고 이러한 화면을 보는 원격지의 강의 효과가 실제보다 떨어지지 않게 되는 실질적인 원격 프레젠테이션이 가능하게 된다.

(10) (7)의 입력에 의해 구성된 화면을 대형화면을 통해 실시간으로 보여준다.

도 20에 나타난 작동을 위한 필수 구성 요소에 대한 상세 설명은 아래와 같다.

강의에 사용할 배경, 가상 강의실 설계 편집부

방송에서 멋진 스튜디오에서 강의를 하듯 프레젠테이션 화면을 아름답게 보이는 것은 강의 집중도 증대를 위해 무엇보다 중요하다. 이러한 화면을 구성하는 대부분의 배경 장면, 가상 강의실 스튜디오의 편집은 사용이 복잡하고 어려운 3D Max나 maya 등의 3D 편집 프로그램을 써야 하고 이 경우 전문가가 아니면 스튜디오 디자인이 불가능하게 된다. 본 발명에서는 초보자도 2D 멀티 레이어 혹은 3D 템플릿을 이용한 배경 및 인테리어 설계를 손쉽게 할 수 있도록 편집기를 제공하여 누구나 자신이 원하는 스튜디오를 디자인할 수 있도록 한다.

- 2D 멀티 레이이 방식의 스튜디오 설계: 강의 스튜디오를 배경 이미지와 창문을 갖는 벽이나 스튜디오 장면을 얹고, 그 위에 강사와 발표 내용 스크린을 적당한 크기로 배치하고 이들의 영역을 출력하도록 스위처 버튼 혹은 마우스 작동에 정의하여 선택되어 강사와 발표 스크린을 합성하도록 설계하는 과정이다. 배경에 바닷가와 같은 비디오를 넣고 멋진 스튜디오의 창문이 있는 사진 혹은 장면에 창문 부분을 투명도를 주어 배경이 보이게 한다. 가상 스크린의 프레임을 이미지로 조정하게 하고, 책상을 이미지로 넣어 이들에 어울리는 사이즈로 강사와 가상 스크린의 크기를 정의해 주는 편집기가 제공된다. 이로써 누구나 자신의 스튜디오를 만들고 출력시킬 화면의 영역을 정해 외부 조작 스위처 버튼에 정의하고 이들을 인텔리전트 기능에서 자동으로 변환되며 보일 수 있는 장면의 스튜디오를 편집하도록 한다.

- 3D 스튜디오 설계: 3D 공간으로 템플릿을 제공하여 일반적으로 사용되는 건물 밖 배경 동화상/사진을 넣는 부분과, 벽/창문을 색상이나 텍스쳐를 TGA 등 투명도가 있도록 한 이미지로 바꿀 수 있도록 제공하여 발표자가 미리 제공된 다양한 벽들을 교체해가며 자기만의 스타일을 설계할 수 있도록 제공하고 동시에 다양한 책상들을 제공하여 강사가 자기에 맞는 책상을 선택해 사용하고 이들 책상의 색상들을 강사가 선택하여 쓸 수 있게 한다. 뿐만 아니라, 책상의 크기 및 위치를 조정할 수 있도록 제공한다. 또한, 바닥, 천장, 펜스나 스테이지를 쉽게 이미지만 바꾸어 느낌을 달리할 수 있도록 하는 방식으로 템플릿들을 다양한 구조의 강의실로 제공하여 사용자가 편집해 쓸 수 있도록 하고 전문 3D 편집기를 아는 사람은 자신의 스튜디오를 만들어 사용할 수 있게 툴을 제공한다.

장면 편집부

가상의 강의실이 설계되면 이 강의실에 강사와 가상 스크린을 화면상에 필요한 장면으로 만들어 주게 된다. 즉, 강사만 크게 보이거나 강사가 전체 스튜디오 화면과 함께 줌 아웃이 되어 멋진 스튜디오 화면과 함께 보이거나, 가상 스크린 화면과 적당한 조화를 이루어 보이게 해서 발표자와 발표 내용을 스튜디오와 함께 보는 장면, 발표자가 작고 발표 내용 가상 스크린이 크게 하는 장면, 등등 다양한 위치에서의 가상 카메라로 보이는 장면과 그때마다 가상 모니터 크기 및 발표자 크기 등을 조정할 수 있도록 하는 편집 기능을 제공한다. 약 10-15가지의 스위칭 장면을 만들고 이들이 마우스 움직임으로 인텔리전트하게 선택되어 보이도록 하는 장면을 만들고 필요한 경우 조금씩 수정해 사용할 수 있도록 한다. 이들의 다양한 장면들은 외부 스위처에 할당해 버튼을 누르며 강의를 할 수 있도록 하여 강사나 보조자가 강의 시 녹화 등을 할 때 편리하게 사용할 수 있도록 제공된다. 무엇보다 화면에 보일 각각의 객체들의 위치 및 크기, 비율 등을 제어할 때 사용한다.

발표자 모습만을 배경에서 분리하는 실시간 강사 취득부

본 발명의 필수 구성 요소로 발표자의 모습만을 배경으로부터 실시간 추출한다. 보통 크로마키 방식을 사용하고 이 경우 초록 혹은 파랑의 실제 배경을 필요로 하는 번거로움이 있다. 배경 제거 방식의 이미지 비교 방식은 편리하고 좋은 알고리즘을 요구하고 최근의 TOF 센서를 이용하면 발표자와 배경의 거리를 계산하여 발표자만 추출이 가능하다. 때에 따라 배경 이미지 추출이 어려운 경우 발표자를 타원과 같은 일정 모양으로 자르고(크로핑(Crop)) 자른 외곽의 일정 부분에 투명도를 주어 합성한다.

발표를 위해 사용되는 다양한 입력 선택부

노트북, 외부 카메라, 파일 형태의 동영상, 이미지 등을 선택하면 가상 스크린에 출력이 되어 발표 자료 화면으로 사용된다.

인텔리전트 실시간 믹서

미리 구성된 가상공간에 추출된 발표자의 이미지, 가상 스크린에 출력될 자료를 실시간으로 합성 및 편집한다. 이때 인텔리전트 화면 스위칭 기능으로 마우스의 포인터 위치와 머무른 시간에 따라 발표 화면의 크기를 자동 조정한다. 마우스가 안 움직이고 고정되어 있으면 강사의 모습을 키워주고, 마우스를 움직이기 시작하면 발표 화면을 키워주고, 마우스가 왼편 스크린 쪽을 움직이기 시작하면 발표자를 오른편으로 움직여 발표 화면을 덜 가리게 하는 방식으로 좌우 전환을 시켜준다. 더 나아가 한 장면이 정해진 시간 이상 예를 들어 10초 이상 있게 되면 발표 내용을 잘 보이는 다른 각도의 장면으로 스위칭하여 청중이 시선 집중을 하도록 만드는 기능으로 강사가 강의만 하면 자동으로 장면이 알아서 조정이 되게 설계된다.

출력 및 자막부

출력은 비디오 혹은 VGA 화면 등으로 만들어지며 네트워크를 통해 스트리밍이 이루어지도록 만들어지고, 동시에 녹화가 되어 파일로도 출력이 되게 한다. 이때 실시간 자막 등을 출력화면 위에 올릴 수 있도록 자막 화면을 미리 만들어 간단한 조작으로 하나하나 보여주어 가면서 강의를 할 수 있게 한다.

이들의 기능을 좀 더 구체화한 표현은 도 21과 같다.

도 21의 참조부호 1

발표자를 찍는 단수 혹은 복수의 카메라(1)에서 발표자 이미지만 추출해 내는 장치이다. 이때, 발표자 이외의 배경 이미지를 제거하는 크로마키 방식이 있고, 각 픽셀의 거리를 측정하는 센서로 이미지가 특정 거리에 있는 것만 보이도록 하여 발표자 부근만 살려내고 나머지 거리의 픽셀은 모두 지우는 TOF(Time of Flight) 방식을 사용할 수 있다.

도 21의 참조부호 2

노트북 혹은 실물화상기, VTR 등의 단수 혹은 복수의 외부 입력을 IP, VGA, HDMI 등의 카메라 신호들로 받아 입력 스위칭 장치(4)를 통해 선택된 내용은 가상 스크린에 보이게 된다. 이들은 외부 스위처 버튼 혹은 마우스의 휠(8)과 클릭을 이용해 손쉽게 선택되어 발표 중 직관적으로 스위칭이 자동 혹은 수동으로 이루어지게 하는 기능을 포함한다.

도 21의 참조부호 3

추출된 발표자의 이미지와 선택된 가상 스크린의 외부 입력 내용을 2D 혹은3D의 배경 그래픽과 실시간 합성하는 장치이다.

도 21의 참조부호 4

발표자가 움직이는 마우스의 위치 변화에 따라 본 발명 장치가 인텔리전트 장면이 움직이도록 한다. 마우스가 좌측 발표 내용 스크린상에 일정시간(예를 들어 10초) 위치하면 강사를 우측으로 이동하고, 마우스가 화면상에 정지해 움직이지 않고 있으면 강사 화면을 키우고 가상 스크린 화면을 점점 줄이도록 하는 방식과 한 장면에 특정 시간 이상(예 10-20초) 머무르면 자동으로 다른 장면으로 바꾸게 하는 인텔리전트 기능으로 강사는 발표 내용 위에 포인터를 움직이며 강의만 하면 자동으로 강의 장면이 구성되게 함으로써 외부 작동자가 없어도 알아서 방송국 같은 멋진 프레젠테이션 비디오가 될 수 있게 하는 장치이다.

도 21의 참조부호 5

필요 시 외부 스위처 버튼 혹은 마우스의 간단한 조작을 통해 발표자와 가상 스크린상의 발표 자료의 크기, 위치, 비율을 자유로이 조정하게 하는 것은 기본으로 제공된다. 이때, 마우스의 조작으로만 출력 화면 조정이 가능하여 메뉴화면 없이 강사가 출력 화면만 보며 강의에 집중해도 화면이 알아서 변하도록 하는 장치이다. 필요 시 마우스 버튼으로 모든 기능을 제어할 수 있도록 하고 있다.

도 21의 참조부호 6

가상 스크린상에 보이는 노트북 화면, 이미지, 비디오, 카메라(실물화상기) 등 위에 태블릿 펜 혹은 마우스로 마킹이나, 그림, 글씨를 넣을 수 있도록 구현하고 색상 바꾸기, 두께 조절, 지우기 등의 추가 기능을 제공하여 발표 중 가상 스크린상에 전자 칠판 기능을 제공하는 장치이다. 가상 스크린의 화면 크기가 변할 때 전자 칠판에 그린 그림도 스크린상에서 동일하게 변경되는 전자 칠판 기능을 제공한다.

도 21의 참조부호 7

가상공간을 그래픽으로 누구나 편하게 수정하여 2D 혹은 3D의 그래픽 태블릿을 만들어 넣을 수 있도록 하는 스튜디오 편집기이다. 필요한 책상, 벽, 가상 스크린 프레임, 천장, 바닥 등을 미리 제공하여 자유롭게 선택, 수정할 수 있도록 하여 누구나 자신이 원하는 스타일의 스튜디오를 설계할 수 있다.

도 21의 참조부호 8

마우스의 간단한 클릭, 더블클릭과 휠의 움직임으로 다양한 출력 합성 장면 선택과 가상 전자 칠판의 그리기 및 지우기, 펜 색상 선택 등의 입력 선택을 할 수 있게 하는 장치이다. 더불어, 화면상에 GUI 툴이 제공된다. 터치 방식이나 간단한 외부 스위처를 이용해 한 손만으로 화면을 보지 않고 직관적으로 제어를 할 수 있도록 도 22와 같이 터치 메뉴 혹은 도 23과 같이 추가 외부 스위처 메뉴가 제공될 수 있는 것은 당연한 기능으로 이들의 장비가 편하고 쉽게 직관적으로 구현되어 발표자가 발표 도중 작동 버튼 등을 찾기 위해 다른 곳을 보지 않아도 화면만을 응시하면서 강의를 할 수 있다. 이로 인해 아이 콘택트 또한 잃지 않도록 한다.

도 21의 참조부호 9

외부 스위처를 사용하지 않아도 마우스 하나로 모든 장면 전환, 그리기, 지우기, 펜 선택 등이 작동할 수 있도록 마우스 제어를 설정하여 본 발명품을 일반 노트북이나 PC를 이용해 실행하는 경우 간단한 마우스 제어만으로 강의 및 원격 회의를 할 수 있도록 한다.

- 화면 선택: 도 24와 같이 화면의 스위칭을 위해 마우스를 왼쪽 중앙 휠 오른쪽 3개의 버튼으로 나눈다. 기준은 발표자가 되고 왼쪽 마우스 클릭 시 발표자가 왼쪽 가상 스크린이 오른쪽, 중앙 휠을 클릭 시 발표자와 가상 스크린 모두 중앙에(발표자 위로), 오른쪽 마우스 클릭 시 발표자가 오른쪽 가상 스크린이 왼쪽으로 이동하도록 설정한다. 버튼을 좌로 클릭할 때마다 좌측으로 더 이동하고 버튼을 우로 클릭할 때마다 우로 더 이동하게 하여 버튼 변화를 더 다양하게 줄 수 있다.

- 화면 비율 조절: 발표자가 기준이 되어 스크롤을 업 하면 발표자가 줌 인이 되고 가상 스크린은 상대적으로 작아지고, 스크롤을 다운 하면 발표자가 줌 아웃 되고 가상 스크린이 상대적으로 커진다. 더 많은 변화를 원하면 더 다양한 장면을 만들어 주고 위로 올릴 때마다 커지고 아래로 내릴 때마다 작아지게 해서 더 많은 변화를 줄 수 있다.

- 녹화 시작 및 중지: 왼쪽 마우스의 더블클릭을 통해 녹화를 시작하고 녹화 중 다시 왼쪽 마우스의 더블 클릭을 통해 녹화를 중지할 수 있다.

- 가상 스크린의 슬라이드 선택: 마우스가 가상 스크린상에 있으면서 휠을 누르지 않고 가볍게 돌리면 스크린의 화면이 다음 화면으로 변경되고 가상 스크린상에 사용되었던 마킹은 자동 삭제된다.

- 가상 스크린상의 전자 칠판 기능: 도 25와 같이 마우스가 가상 스크린상에 있으면서 왼쪽 버튼을 누른 상태로 움직이면 드로잉이 된다. 이 상태에서 스크롤을 하면 펜의 색상이 변경되고 휠을 누르며 스크롤을 하면 펜의 굵기가 변경된다. 또한, 오른쪽 버튼을 누른 상태로 움직이면 지우개 기능이 동작하고 오른쪽 버튼을 더블 클릭하면 현재 화면에 모든 드로잉이 지워진다.

- 가상 스크린의 입력 카메라, 노트북, 슬라이드 선택: 마우스의 오른쪽 버튼을 누르고 휠을 돌리면 가상 스크린에 보여줄 외부 카메라, 노트북, 미리 준비한 미디어 콘텐츠를 선택할 수 있다.

마우스 버튼의 작동을 사용자가 직접 변경 및 정의 가능하여 다양한 방법으로 기능을 작동할 수 있도록 지원한다.

배경 편집기 및 이미지를 제공하여 고정 장면이 아닌 다양한 공간에서의 발표를 생성할 수 있다. 가상의 공간에 발표자와 발표 자료를 합성하여 언제나 새로운 환경을 가상으로 제공하는 기능이다.

기존의 고정된 화면만 보이는 일반적 방식과 달리 발표자를 아주 가까이서 볼 수도 있고 때로는 스크린은 매우 크고 발표자는 작게 보여 마치 대형 강의실에 있는 착각을 갖도록 한다. 정해진 스크린 사이즈만 보는 단조로운 발표가 아닌 새로운 발표 방식을 제공하여 실제 이상의 집중도와 이해도를 증가시킬 수 있다.

간단한 멀티 레이어 믹서 기능을 제공하여 레이어별 이미지를 선택해서 간단한 2D 스튜디오를 손쉽게 만들 수 있다. 즉, 첫 레이어에 비디오 혹은 이미지를 넣어 배경을 꾸미고 그 앞 레이어에 벽과 창문이 있는 이미지를 넣어 유리 부분은 TGA, PNG 등의 투명도 정보가 있는 이미지를 넣어 첫 레이어에 넣은 배경 이미지를 창을 통해 볼 수 있도록 하는 기능이다. 그 앞에 가상 스크린을 넣는 레이어와 발표자의 모습을 추출한 이미지를 넣을 수 있는 레이어를 놓고 발표자 앞에 책상이 있는 이미지 레이어를 둘 수 있다. 마지막으로 자막을 넣는 레이어를 놓을 수 있다. 이는 이미지들을 미리 제공하여 강의 시작 전 항상 손쉽게 새로운 배경을 만들 수 있도록 한다.

3D 배경도 쉽게 설계할 수 있다. 일반 3D 편집기인 3D Max 혹은 Maya 등의 툴은 사용하기 어려움으로 가상공간으로 사용될 다양한 스튜디오 이미지를 위의 툴들을 이용하여 미리 만들어서 템플릿으로 제공한다. 템플릿의 구성은 언제든 다양하게 변화할 수 있어 가상공간의 분위기를 발표의 성격에 따라 자유롭게 변경할 수 있다.

3D 템플릿은 본 발명의 운영을 위한 표준에 맞추어 제작이 되며 이들은 무한한 가상공간을 제공한다. 또한 템플릿은 확장 가능하며 구매도 가능하고 템플릿을 자체 제작할 수 있는 툴을 플러그인 형태로 별도 판매 가능하게 한다.

3D 물체를 3D Max 혹은 Maya 등을 통해 제작하여 도 26과 같이 가상공간 안에서 보일 수 있도록 하여 물체들의 인터렉티브한 움직임까지 관찰할 수 있도록 제공한다. 다양한 가상 실험 저작 도구를 제공하여 가상 실험실 공간을 제공한다. 3D 물체를 추가, 삭제할 수 있도록 하여 필요 시 확장이 가능하도록 한다.

네트워크를 통해 비디오를 전송하여 원격 강의 및 회의가 이루어진다. 기존 화상회의 시스템의 카메라 입력 대신 본 장치의 출력을 보내 원격 강의 및 회의 시 상대방이 본 장치의 출력 화면, 즉 발표자와 발표 자료가 한 화면에 합성된 자료를 보게 되어 원격지에서도 바로 앞에서 첨단의 스크린을 이용하여 발표를 하듯 보인다.

기존 원격 회의 시 2개의 화면을 사용하여 한 화면에서는 노트북 화면을 다른 화면에서는 발표자의 모습을 보여주어 두 개 화면을 번갈아 봐야 하는 문제점을 해결하였다. 보여주고 싶은 화면을 발표자가 선택하여 한 화면에 구성하는 방식의 원격 회의 시스템으로 발표자 카메라가 직접 상대방에 전송이 되는 것이 아닌 도 27과 같이 본 장치를 거쳐 발표자 모습을 추출해 발표 자료와 합성 후 출력시키는 방식의 원격 회의를 의미한다.

Skype, MSN 등의 채팅 및 화상회의용 프로그램에 함께 사용이 될 수 있다. 이들의 프로그램을 본 장치에서 사용하여 본 장치의 출력을 다시 Skype나 MSN의 입력 비디오가 되게 드라이버를 제공하여 일반 인터넷을 통한 원격 회의가 가능하다. 일반 프로그램과 본 장치를 연동하여 원격 회의 시스템이 되도록 하는 원격 회의 시스템이다. 즉, 원격지에서 발표자 얼굴만 보는 화면에 발표 자료까지 함께 나오게 되며 이들 화면이 필요 시 스위칭이 되어 보여 짐으로써 한 대의 스크린으로 다양한 내용을 변화 있게 볼 수 있게 되는 실제 이상의 효과가 원격지에 있게 되는 새로운 원격 회의 방식의 발명이다.

도 28과 같이 본 장치를 교탁에 넣어 전자 교탁을 만들게 된다. 본 장치가 가지고 있는 프레젠테이션 출력을 프로젝터로 보내고 노트북, VRT, 전자 칠판, 강의 녹화기 등이 모두 본 발명 장치에 있음으로써 실시간 강의 녹화가 되는 편리한 전자 교탁이다. 크로마키 기능으로 VR 전자 교탁을 사용해 가상공간의 강의가 가능하게 된다. 일반적인 본 발명의 VR 전자 교탁은 아래 그림처럼 배경에 크로마키 및 조명이 함께 있게 되고 본 장치가 교탁 내부에 장착된다. 외부 카메라, 노트북 입력, 태블릿, 키보드, 마우스, 마이크가 장착되고 본 장치의 출력 화면을 교탁에 보여 주거나 카메라 위치의 프롬프터에 보여 주어 강사가 출력 화면을 보면서 강의할 수 있도록 한다. 이와 같은 교탁은 실시간 강의 녹화 및 원격 강의가 한 대에서 이루어지며 전자 칠판, 실물 화상기 등의 모든 기존의 전자 교탁의 기능을 제공하게 된다.

본 장치는 발표자가 프로젝터 스크린 옆으로 서서 발표를 하지 않아도 되며 때로는 강의실 뒤에서 청중들과 함께 도 29에서와 같이 앞쪽 스크린에 보이는 본 장치의 출력 화면을 보며 발표를 진행할 수 있다. 발표자의 얼굴을 스크린을 통해 볼 수 있음으로 발표자가 청중의 앞쪽에 있어 그들이 두 곳을 바라볼 필요가 없이 화면만 보게 하는 발표를 가능하게 한다. 또한, 질문 시는 발표자가 추가 카메라를 이용하여 질문자의 모습이 화면을 통해 보이게 하는 원격 PTZ를 사용할 수 있게 한다. 발표 장면을 원격지로 전송하여 여러 원격 공간에서 발표를 함께 볼 수 있고 원격지 카메라를 발표자가 작동하도록 하여 서로 다른 공간의 청취자들이 서로 얼굴을 보며 발표를 듣는 원격 시스템이 된다.

본 장치는 발표 시 매우 중요한 아이 콘택트를 모든 청중과 가능하게 한다. 발표자가 카메라를 응시할 수 있도록 프롬프터를 사용하거나 출력 화면을 카메라와 가깝게 위치시켜 발표자가 가능한 한 화면을 보며 발표할 수 있도록 하여 출력 화면을 보는 모든 청중과 가상 아이 콘택트가 일어날 수 있도록 한다.

도 30에서와 같이 가상 스크린을 복수로 배치하고 각각에 동시에 다른 자료를 출력시키며 각각에 대해 가상 칠판을 제공한다. 특히, 제품의 사용 설명서를 실시간으로 만들 때 유용하다. 예를 들어, TV의 리모컨 작동을 설명할 때 리모컨과 TV 화면을 각각 다른 가상 스크린상에 보여주어 리모컨 작동에 따른 TV 화면 변화를 동시에 보여 줄 수 있는 멀티스크린 템플릿을 제공한다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 크로마키 기법을 이용한 가상 스튜디오 강의 장치
100: 카메라 200: 크로마키 장치
300: 레이어 합성 장치 310: 데이터베이스
320: 가상 스튜디오 생성부 330: 렌더부
340: 화면 전환부 350: 배경 레이어
360: 강의 자료 레이어 370: 강사 레이어
380: 판서 레이어 390: 최종 영상
400: 디스플레이 장치 500: 화면 구성 변환 장치
600: 태블릿 700: 강의 파일 저장 장치
800: 마이크 900: 서버

Claims (6)

1. (1) 복수 개의 2D, 3D 배경 레이어를 템플릿으로 제공하고 이들의 배경의 필요한 변경을 그림 비디오 등을 변화시켜 자신의 그래픽 강의실을 편리하게 편집하여 다양한 강의실을 만들어 사용할 수 있게 하여 저장하는 단계;
   (2) 카메라를 이용하여 강사의 강의 모습을 영상으로 촬영하는 단계;
   (3) 촬영한 상기 강의 모습 영상에서 크로마키 기법이나 TOF 센서를 이용해 강사까지의 거리를 측정해 강사위치 부근의 이미지만을 발췌하거나 배경이미지를 비교해 강사모습만을 강사 레이어로 추출하는 단계;
   (4) 상기 가상 강의실 배경 레이어에 적어도 하나 이상의 강의 자료를 표시하는 강의 자료 레이어와 상기 강사 레이어를 합성하여 배치하고, 최종 영상을 생성하고 디스플레이 장치로 출력하는 단계로, 다양한 합성 화면을 필요한 장면으로 편집하여 만들어 이를 스위처 버튼 혹은 자동 마우스 움직임 감지 및 조작방법으로 자동 혹은 수동으로 실시간 강의 시 다양한 화면을 보여주도록 복수의 출력 장면을 세팅을 하여 저장하는 단계;
   (5) 상기 강사가 장치에 연결한 마우스 혹은 태블릿을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어로 상기 최종 영상의 발표 자료 화면을 보여 주는 가상 스크린 화면위에 추가 합성하여 상기 디스플레이 장치로 출력하는 단계;
   (6) 상기 강사가 실시간으로 강의를 하는 동안 강사가 강의 자료를 다양하게 보여줄 수 있도록 외부 카메라, 노트북 입력, USB 카메라 화면, IP로 스트리밍 되는 장면, 파워포인트를 포함하는 파일, 동화상, 그림 등의 발표 자료 화면에 보여주는 장면을 원터치로 발표 자료 화면에 스위칭하여 보여주도록 하는 외부 스위칭 변환 장치를 조작하게 하는 종합 프레젠테이션 기능을 통합한 가상 통합 프레젠테이션 장치 기능을 한 대의 장치에 제공하고 이들의 장면에 그림 마킹을 하는 상기 전자 칠판기능, 상기 외부 카메라를 이용한 실물화상기 기능을 가상 발표 화면에 표시하여 강사이미지와 가상 강의실에 합성시키고 이들의 가상 강의실의 장면으로 다양하게 보여 주게 하는 장면 스위칭 버튼으로 제어하도록 하는 단계로, 상기 강의 발표 자료 레이어, 상기 강사 레이어, 상기 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 상기 디스플레이 장치로 출력하되, 상기 강의 자료 레이어와 상기 판서 레이어의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 하는 단계를 포함하여 구성되는 것을 특징으로 하는 가상 강의실 그래픽을 이용해 강사와 발표화면을 재합성하고 이들의 다양한 장면을 자동으로 혹은 수동으로 조정이 가능하게 하여 전자 칠판, 실물화상기, 기능 및 외부 카메라를 통해 질문학생을 함께 합성하는 스위처, 믹서 기능과 가상 장면들의 스위칭을 하는 스위처 기능을 포함하는 단계;
   (7) 강의 효과를 극대화하기 위해 일반 장치로 불가능한 3D 실시간 렌더를 이용한 3D그래픽 물체의 애니메이션을 인터렉티브하게 조정하여 강의를 할 수 있게 제공하며, 가상 그래픽 강의실에 다양한 가상 실험을 할 수 있도록 마우스로 이들 3D 실험을 움직여가면서 클릭에 의해 보여지고 움직이게 하는 가상 실험 및 가상 현장 체험학습이 가능하게 하는 가상 강의실 및 가상 실험 단계;
   (8) 합성 비디오를 출력함에 있어 좌우 카메라를 강사이미지를 동시에 받아들여 발표 장면을 출력함에 있어 좌우 화면으로 분리하여 영상을 제공하여 입체 스테레오 가상 발표 장면을 만드는 입체 강의가 가능하게 하는 장치 단계;
   (9) 강사 카메라에 프롬프터를 사용하여 강사가 출력 화면을 보게 함으로써 카메라와 강사 눈이 마주 치게 강의를 하게 하는 방식으로 강의실에 본 장치의 출력 화면을 보는 청중이나 원격지에서 보는 청중들 모두에게 동시에 눈이 마주치게 하는 가상 눈마춤(EYE CONTACT) 장치가 되는 장치 단계: 및
   (10) 이러한 장면을 다양한 포맷으로 압축 녹화, 전송을 하는 저장, 전송기능으로 실시간 강의 녹화 기능과, 원격 강의 기능 및 화상회의에 사용하는 가상 합성장면의 원격강의, 화상회의 장치 및 실시간 강의 녹화 장치와 이를 책상형태로 제공하는 가상 전자 교탁기능의 장치 단계를 포함하는 것을 특징으로 하는, 가상 강의실 강의 방법.
   
2. 제1항에 있어서,
   강사가 강의 시 사용하는 마우스 동작을 이용해 마우스 상의 좌우, 휠을 회전, 더블클릭만으로 장면 스위칭을 자유로이 수행하고, 마우스를 이용해 전자 칠판의 마킹, 드로잉을 하면서 색상 및 굵기를 마우스 클릭과 휠 회전을 통해 조정이 가능하게 하고 장면의 줌 인, 아웃 및 발표 화면과 강사의 크기 및 좌우 변환을 손쉽게 할 수 있게 제공하여 강사가 추가 장비 없어 출력 화면만을 보면서 마우스 하나로 모든 스위칭기능을 할 수 있게 하여 장치의 운영자 없이 강사가 무선, 유선 마우스로 강의를 할 수 있고 녹화 시작, 정지까지 모든 장면 선택과, 발표화면에 보일 외부 카메라, 노트북, 동화상-사진 리스트를 조정할 수 있도록 하는 마우스 스위처 기능을 포함하며,
   상기 출력 화면을 선택함에 있어 외부의 단순한 스위처를 제공하여 강사가 강의를 하면서 버튼을 찾지 않고 직관적으로 배열된 버튼 들을 제공하여 스위칭 장면을 강의 중 손쉽게 버튼을 보지 않고 눌러 선택할 수 있도록 제공하는 장치를 추가로 제공하여 원터치로 움직이게 하는 장치가 제공되는 기능을 포함하고,
   상기 출력 화면을 선택하여 보여 줌에 있어 자동버튼이 설정되어 있는 경우 마우스의 커서가 가상 발표화면의 장면으로 옮겨지면 자동으로 가상 발표화면을 키워주는 장면으로 변환하고 강사의 모습을 상대적으로 적게 보이게 하는 애니메이션 혹은 스위칭이 자동으로 이루어지게 하고 마우스가 강사의 모습 가까운 곳으로 움직여 설명을 하게 되면 자동으로 강사를 발표화면 반대쪽으로 움직이게 스위칭이 되게 하는 기능으로 화면 절환을 자동으로 하게 하며, 포인터의 그림을 그리기, 마킹이 발생 시 더 크게 화면을 보여주는 기능으로 자동 장면을 전환케 하는 기능으로 마우스의 움직임이 없고 고정된 시간이 길어지면 자동으로 강사이미지가 커지고 가상 발표 화면이 적어지게 변하는 방식의 애니메이션 변화식 혹은 스위칭화면으로 장면이 전환되게 하는 기능의 오토 스위칭 기능이 제공되게 하여 강의를 장치 조정 없이하게 되어도 알아서 자동으로 장면이 변화가 되면서 이루어지게 하는 자동강의 합성이 되게 하는 기능이 제공되며,
   상기 화면 구성 변환 장치의 오토 화면 전환 버튼이 On 되어있는 경우, 한 장면이 설정된 시간이 경과함에 따라 반복적으로 상기 강의 자료 레이어, 상기 강사 레이어, 상기 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 상기 디스플레이 장치로 선택된 장면의 스위칭이 자동으로 출력하되, 상기 강의 자료 레이어와 상기 판서 레이어의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 하는 단계를 더 포함하는 것을 특징으로 하는, 가상 강의실 강의 방법.
   
3. 강사의 강의 모습을 촬영하는 적어도 하나 이상의 카메라, 청중 및 실물을 보여주는 추가의 외부 카메라를 이용해 청중의 질문 시 질문 장면을 가상 발표 스크린 상에 보여주거나 화면을 스위칭해 보여줄 수 있게 하는 기능과, 간단한 USB 카메라와 같은 간단한 카메라를 통해 그림, 물체를 실시간으로 가상 발표화면에 보여줄 수 있게 하는 Document camera 기능을 가상 화면에 제공하고, 노트북과 같은 외부 컴퓨터 화면을 가상화면에 보여주게 하는 입력 장치, 태블릿 등 그림 및 글씨 등을 그려 넣는 입력 장치를 통해 가상 발표화면 상에 그리기, 마킹하기 등의 가상 전자 칠판 기능을 가상 화면에 가능하게 하고, 조이스틱을 통해 외부 명령으로 움직임 등을 줄 수 있는 장치가 연결되어 실시간 그래픽의 가상 물체를 조정할 수 있게 하는 기능을 제공하고,
   상기 카메라가 강사를 촬영한 강의 영상에서 배경 성분들을 체계적으로 제거하여 강사의 모습만을 강사 레이어로 추출하는 크로마키 혹은 TOF 센서를 사용한 배경 제거 장치; 미리 저장된 배경 레이어와 강의 자료 레이어를 합성하여 가상 강의실 영상을 2D 혹은 3D 실시간 렌더링 화면을 형성하고, 상기 가상 그래픽 화면 영상에 상기 크로마키 장치를 이용하여 획득한 강사 레이어 및 강사가 태블릿을 이용하여 판서한 판서 레이어를 합성하여 최종 영상을 생성하는 레이어 합성하여 다양한 화면 구성의 장면으로 다양하게 실시간으로 자동 혹은 수동으로 조작하여 강사가 모든 조작을 간단하게 할 수 있게 하는 장치;
   상기 최종 영상에 합성되는 상기 강의 자료 레이어, 강사 레이어 및 판서 레이어의 크기, 위치, 또는 각도를 제어하여 상기 최종 영상의 구성을 변경할 수 있도록 하는 화면 구성 변환을 자동으로 혹은 수동으로 할 수 있게 하는 장치; 및
   상기 레이어 합성 장치에 의하여 생성된 최종 영상을 출력하는 디스플레이 장치로 입체 스테레오 장치를 포함하며;
   
   상기 레이어 합성 장치는,
   상기 배경 레이어 및 가상 강의실 인테리어 등에 필요한 다양한 그림, 동화상, 책상 등의 가상 강의실 변경, 설정에 필요한 자료와, 실시간 강의에 필요한 강의 자료를 저장하는 데이터베이스 부;
   상기 2D, 3D 배경 레이어에 상기 강의 자료 및 배경을 제거한 강사를 레이어 합성 방식을 사용하여 합성함으로써 가상 강의실 장면의 영상을 생성하는 가상 강의 생성부;
   상기 태블릿으로부터 입력받은 판서 레이어를 상기 가상 강의실에 보여 지는 가상 발표 화면에 합성하여 상기 최종 영상을 생성하고 상기 디스플레이 장치로 출력하는 렌더부; 및
   상기 화면 구성 변환 장치를 통해 상기 강사가 선택하는 상기 최종 영상의 구성에 따라, 상기 렌더부가 상기 강의 자료 레이어, 상기 배경으로부터 추출한 강사 레이어 및 상기 판서 레이어의 크기, 위치, 또는 각도를 변경하여 재합성하도록 하는 화면 전환부를 포함하는 것을 특징으로 하는, 가상 강의실 강의 장치.
   
4. 제3항에 있어서,
   상기 장치에 당연히 강사의 음성을 입력받는 마이크를 더 포함하며, 디스플레이 장치를 통해 출력되는 상기 최종 합성 영상을 녹화하여 강의 파일로 저장하는 실시간 강의 녹화 장치 및 이를 전송하고 상대방 화면을 받아 화상회의를 양방향으로 하는 장치를 사용하는 것을 특징으로 하는, 가상 강의실 강의 장치.
   
5. 제3항에 있어서,
   상기 장치를 교탁으로 장착하고 배경 크로마키 등의 배경을 함께 제공하고 간단한 조명을 포함하는 교탁방식을 제공하는 가상 스튜디오 형식의 전자교탁으로 제공하여 통합 전자 칠판, 실물화상기, 가상 실험을 가능하게 하는 것을 특징으로 하는, 가상 강의실 강의 장치.
   
6. 제3항에 있어서,
   상기 최종 영상을 상기 렌더부의 출력 화면을 압축하여 실시간으로 인터넷 혹은 네트워크의 중앙 서버로 보내고 서버가 원격지의 복수의 강의실로 강의 비디오를 전송하고 각 원격 강의실의 카메라, 마이크 비디오가 다시 각 강의실에 동시에 보여주게 함으로써 강의실들이 서로 화면을 다자간 화면으로 동시에 보면서, 가상 강의 장면을 대형 스크린을 통해 보며 서로 질문을 하는 강의실을 구성하는 것을 특징으로 하는, 가상 강의실 강의 장치.

Images