KR102308443B1 - Smart advanced lecture and recoding system - Google Patents
Smart advanced lecture and recoding system Download PDFInfo
- Publication number
- KR102308443B1 KR102308443B1 KR1020210022377A KR20210022377A KR102308443B1 KR 102308443 B1 KR102308443 B1 KR 102308443B1 KR 1020210022377 A KR1020210022377 A KR 1020210022377A KR 20210022377 A KR20210022377 A KR 20210022377A KR 102308443 B1 KR102308443 B1 KR 102308443B1
- Authority
- KR
- South Korea
- Prior art keywords
- lecture
- instructor
- video
- tracking
- learners
- Prior art date
Links
- 230000006854 communication Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 30
- 230000007175 bidirectional communication Effects 0.000 abstract 1
- 230000002457 bidirectional effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H04N5/23296—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 스마트 첨단 강의 및 녹화 시스템에 관한 것으로서, 더욱 상세하게는 온라인 또는 오프라인 강의에 따른 디지털 멀티미디어 컨텐츠를 제공할 수 있도록 하고 강사의 움직임 추적이나 판서 인식 등을 비롯하여 수업 행동을 분석 및 녹화할 수 있도록 하며 강의 컨텐츠에 대해 실시간으로 안정된 송출을 가능하게 하는 스마트 첨단 강의 및 녹화 시스템에 관한 것이다.The present invention relates to a smart high-tech lecture and recording system, and more particularly, to provide digital multimedia content according to an online or offline lecture, and to analyze and record class behavior, including tracking the instructor's movements or recognizing the writing, etc. It relates to a smart advanced lecture and recording system that enables stable transmission of lecture contents in real time.
일반적으로 수업 또는 강의의 평가를 위해 강사의 강의 영상을 녹화한 교육용 영상 컨텐츠 등이 제작되는데, 이러한 교육용 영상 컨텐츠의 제작시에는 강사를 촬영하는 카메라와, 강의실 내부를 촬영하는 카메라가 설치되며, 카메라를 통한 녹화를 진행하기 위해 녹화를 제어하는 컴퓨터 등 제어장치가 구비된다.In general, for the evaluation of a class or lecture, educational video content recorded by a lecturer video is produced. In the production of such educational video content, a camera for photographing the instructor and a camera for photographing the inside of the classroom are installed, and the camera A control device such as a computer for controlling the recording is provided in order to proceed with the recording through the .
이와 같이, 종래에는 카메라에 의한 촬영과 마이크에 의한 음성 입력을 통해 강의를 실시 및 강의 내용을 단순 녹화하여 기록하는 형태를 지니고 있었으며, 즉 단순 비디오와 오디오를 이용한 강의 및 컨텐츠를 제공하는 형편에 있다.As described above, in the prior art, lectures were conducted and lecture contents were simply recorded and recorded through photographing by a camera and voice input by a microphone, that is, lectures and contents using simple video and audio were provided. .
하지만, 종래 비디오와 오디오를 이용한 실시간 강의는 네트워크 대역폭의 제한으로 인하여 만족할 만한 강의질을 제공하지 못하고 있으며, 원격 강의는 컨텐츠를 만드는 시간이 많이 소요되고 강사와 학습자 간의 상호작용이 제한되는 문제점이 있었다.However, the conventional real-time lecture using video and audio does not provide satisfactory lecture quality due to the limitation of network bandwidth. .
또한, 최근에는 코로나 등 비대면 문화가 새롭게 도출되고, 이에 따라 영상 등을 이용한 원격 강의 시스템을 구축하여야 할 필요성이 커진 실정인데, 이와 같이 화상 강의를 위한 시스템을 구축하기 위해서는 시스템 구축비용이 많이 투입되어야 하는 어려움이 존재하므로 투자비용을 줄이면서도 강의질을 높일 수 있는 효율적인 원격 강의 시스템이 요구되고 있다.In addition, recently, non-face-to-face culture such as Corona has been newly derived, and accordingly, the need to establish a remote lecture system using video has increased. Since there are difficulties that need to be addressed, an efficient remote lecture system that can improve lecture quality while reducing investment cost is required.
또한, 텅빈 강의실에서 교사를 비롯한 강사들은 자신이 소유한 스마트폰으로 컨텐츠를 제작하는 경우가 많으나, 현실적인 측면에서 핵심 기능들이 부족하고, 이러한 핵심 기능이 탑재된 장비를 구비하더라도 부가적으로 음향이나 영상 관리는 물론 다양한 제어 기능들이 추가적으로 요구되므로 시스템 구축에 있어 비용적인 부담이 커지는 문제점이 있었으며, 강의 컨텐츠를 제공함에 있어서도 제약사항이 큰 문제점이 있었다.In addition, in empty classrooms, teachers and other instructors often create content with their smartphones, but they lack the core functions in reality, and even if equipped with equipment equipped with these core functions, additional sound or video Since various control functions as well as management are additionally required, there is a problem in that the cost burden increases in system construction, and there is a problem in that there is a big limitation in providing lecture contents.
본 발명은 상술한 종래의 문제점을 해소 및 이를 감안하여 안출된 것으로서, 온라인 또는 오프라인 강의에 따른 디지털 멀티미디어 컨텐츠를 제공할 수 있도록 하고 강사의 움직임 추적이나 판서 인식 등을 비롯하여 수업 행동을 녹화 및 분석할 수 있도록 하며 강의 컨텐츠에 대해 실시간으로 안정된 송출을 가능하게 하는 스마트 첨단 강의 및 녹화 시스템을 제공하는데 그 목적이 있다.The present invention has been devised in view of solving the above-mentioned problems of the prior art, and it is possible to provide digital multimedia contents according to online or offline lectures, and to record and analyze class actions, including movement tracking or writing recognition of instructors. The purpose of this is to provide a smart advanced lecture and recording system that enables stable transmission of lecture contents in real time.
본 발명은 스마트한 강의 및 강사와 학습자간 교습 효율을 높일 수 있도록 첨단 강의 시스템을 구축하며, 강의 컨텐츠 제작에 연관된 모든 디바이스를 연결 할 수 있는 기능 및 별도의 부가장비 없이 수업 전체의 과정에서 생성되는 다수의 영상 및 음향 소스를 디지털 멀티미디어 컨텐츠 기록으로 제작할 수 있도록 한 스마트 첨단 강의 및 녹화 시스템을 제공하는데 그 목적이 있다.The present invention builds a cutting-edge lecture system to increase the efficiency of smart lectures and teaching between instructors and learners. An object of the present invention is to provide a smart high-tech lecture and recording system capable of producing multiple video and sound sources as digital multimedia content records.
본 발명은 강의자와 학습자 간에 수업 행동 분석에 필요한 모든 기능을 탑재하되, 강사를 추적하여 강의 내용을 저장 및 분석함과 더불어 학습자의 영상을 저장 및 분석하고, 이를 통해 교습자의 집중도에 영향을 주는 상황 등을 분석(예를 들면, 시간대, 강의방법, 강의자, 참여인원 등의 조건 변화)하여 반영할 수 있도록 한 스마트 첨단 강의 및 녹화 시스템을 제공하는데 그 목적이 있다.The present invention is equipped with all functions necessary for analyzing class behavior between the lecturer and the learner, but tracks the instructor to store and analyze the lecture content, and also stores and analyzes the learner's image, thereby affecting the instructor's concentration. The purpose is to provide a smart high-tech lecture and recording system that can be analyzed (eg, change in conditions such as time zone, lecture method, lecturer, number of participants, etc.) and reflected.
본 발명은 모든 강의실에 시스템을 구축함으로써 강의녹화장비로서의 기능 이외에 학교 등지에서는 통합관제센터 개념에서 모든 강의실을 실시간으로 원격 모니터링할 수 있는 등 안전 및 보안 용도로도 활용할 수 있도록 하며, ITU-T 통신프로토콜인 H.323 표준 화상회의 소프트웨어 기능을 탑재하여 단순한 영상 송출에서 업그레이드하여 다수의 강의실과 동시에 영상 및 음성을 전송함으로써 양방향으로 원격화상회의 통신할 수 있도록 한 스마트 첨단 강의 및 녹화 시스템을 제공하는데 그 목적이 있다.By building a system in all classrooms, the present invention enables it to be utilized for safety and security purposes, such as real-time remote monitoring of all classrooms in the concept of an integrated control center in schools, etc., in addition to the function as a lecture recording equipment, and ITU-T communication It is equipped with the H.323 standard video conferencing software function, which is a protocol, and upgraded from simple video transmission to provide a smart advanced lecture and recording system that enables bi-directional remote video conferencing communication by transmitting video and audio simultaneously with multiple classrooms. There is a purpose.
상기의 목적을 달성하기 위한 본 발명에 따른 스마트 첨단 강의 및 녹화 시스템은, 강의시 판서를 위한 칠판; 강사의 움직임을 자동 인식 및 추적하고 판서하는 내용을 자동 캡쳐하는 지능형 추적 프로그램이 탑재되고, 강의녹화장비와 자동 연동하도록 구비되는 강사추적카메라; 다수의 강의실에 있는 학습자와 원격지 학습자가 함께 강의에 동시 참여하여 교습 가능하게 하고, 강사와 학습자간 양방향 통신으로 상호 수업이 가능하게 하는 하나 이상의 학습자카메라; 유선 또는 무선으로 구비되는 것으로서, 강사 및 학습자의 음성 출력을 지원하는 강사마이크 및 학습자마이크; 강사의 강의를 지원하는 파워포인트(PPT) 재생 및 빔프로젝트 이미지 재생을 위한 교수용 PC 및 프로젝터; 유선 또는 무선 방식의 통신을 통해 강사추적카메라, 학습자카메라, 강사마이크 및 학습자마이크로부터 각각의 출력신호를 입력받아 신호를 수신하여 강의 내용을 녹음 및 영상을 녹화하는 강의녹화장비; ITU-T 표준 화상회의 기능과 H.323 표준 프로토콜이 탑재된 MCU장비를 통해 강의녹화장비와 양방향 데이터통신을 수행하도록 지원하고, 강사와 다수의 강의실에 있는 학습자 및 원격지 학습자 간 화상 강의를 지원하며, 화상 강의를 위한 코덱터미널로서 기능하는 원격 플랫폼;을 포함하는 것을 특징으로 한다.Smart high-tech lecture and recording system according to the present invention for achieving the above object, a blackboard for writing during lectures; an instructor tracking camera equipped with an intelligent tracking program that automatically recognizes and tracks the instructor's movements and automatically captures the writing, and is provided to automatically interwork with the lecture recording equipment; one or more learner cameras that enable learners in multiple classrooms and remote learners to simultaneously participate in lectures and teach, and enable interactive lessons through interactive communication between instructors and learners; As provided in a wired or wireless manner, the instructor's microphone and the learner's microphone support the voice output of the instructor and the learner; Professor's PC and projector for PowerPoint (PPT) playback and beam project image playback to support instructor's lectures; Lecture recording equipment that receives each output signal from the instructor tracking camera, the learner camera, the instructor microphone, and the learner microphone through wired or wireless communication, and receives the signals to record lecture contents and video; It supports two-way data communication with lecture recording equipment through MCU equipment equipped with ITU-T standard video conferencing function and H.323 standard protocol, and supports video lectures between instructors and learners in multiple classrooms and remote learners. , a remote platform that functions as a codec terminal for video lectures.
여기에서, 상기 강사추적카메라는, 고해상도를 위한 촬상센서와 파노라마 뷰를 제공하기 위한 광각렌즈를 포함하고 강사와 학습자 간의 수업태도 분석에 사용하기 위한 IP카메라로서,1080P 이상의 이미지 해상도와 H.264, H.265, H.266 중 어느 하나의 압축방식에 의한 비디오 코딩을 지원 및 6mm 내지 138mm 줌 in/out 기능이 탑재되며, 상기 지능형 추적 프로그램은 강의와 판서를 위한 칠판이 설치된 영역 내에서 강사의 움직임을 지능적으로 감지하여 강사의 이미지를 최대화하여 인상과 제스처 및 판서 동작을 관찰하고 자동 추적하며 강사를 이미지의 센터 위치에 놓이도록 촬영하는 강사추적모드와, 강사가 칠판에 판서한 내용을 확대해서 보여주는 기능 및 강의실의 전체 영역을 촬영하는 화각인 파노라마 뷰(View)로 자동 전환하고 판서의 내용을 자동 인지하여 캡쳐 및 송출하는 가상다중카메라 전환모드의 두 가지 방식을 지원하도록 탑재되며, 상기 촬상센서는 6M 픽셀 및 1/1.8" CMOS센서이고, 상기 광각렌즈는 6M 픽셀 HD(high Definition) 렌즈이고, 3° 내지 60°의 수평 시야각을 제공하는 구성일 수 있다.Here, the instructor tracking camera includes an imaging sensor for high resolution and a wide-angle lens for providing a panoramic view, and is an IP camera for use in class attitude analysis between instructor and learner, with image resolution of 1080P or higher and H.264, It supports video coding by any one of H.265 and H.266 compression and is equipped with a 6mm to 138mm zoom in/out function, and the intelligent tracking program allows the instructor to Instructor tracking mode, which intelligently detects movement and maximizes the instructor's image, observes and automatically tracks impressions, gestures, and writing actions, and shoots the instructor at the center of the image, and enlarges the instructor's writing on the blackboard. It is equipped to support two methods: automatic switching to panoramic view, which is an angle of view that captures the entire area of the lecture hall, and automatically recognizing the contents of the writing, capturing and transmitting the virtual multi-camera switching mode. is a 6M pixel and 1/1.8" CMOS sensor, and the wide-angle lens is a 6M pixel high definition (HD) lens, and may be configured to provide a horizontal viewing angle of 3° to 60°.
여기에서, 상기 강의녹화장비는, 원격 플랫폼과의 양방향 데이터통신을 가능하게 함과 더불어 다수와의 효율적인 화상 강의를 위해 ITU-T 표준 화상회의 기능과 H.323 및 H.239 표준 프로토콜을 탑재시킨 일체형 장비로 구비되고, 장비의 호환성을 갖도록 Onvif 표준 프로토콜과 RTSP 표준 프로토콜이 탑재되며, 강의 중에 강사추적카메라와 학습자카메라, 교수용 PC, 및 프로젝터에서의 출력에 의한 각각의 신호를 한 장의 이미지로 함께 배치하여 디스플레이함과 더불어 원활한 컨텐츠 전환 프로세스를 만들도록 자동 연출 기능을 수행하는 Auto CP & Directing부와, 다수의 영상이 단일 화면으로 혼합된 형태로 비디오 결과물을 출력하도록 지원하기 위한 자동 화면 분할을 위한 토글(Toggle) 기능을 갖는 Digital & Analog Video IN/OUT Process부와, 영상 입력에 대해 H.265 압축방식으로 처리하여 하드디스크 공간을 크게 줄일 수 있도록 하면서 영상 전송 시에도 고해상도 비디오를 낮은 대역폭으로 전송할 수 있도록 지원하는 Professional Audio & Video Processing부와, IPLR(Intelligent Packet Loss Recovery) 기능을 통해 화면 장애나 중단은 물론 이미지 깜박임이 없는 안정적인 영상 운영을 가능하게 하면서 영상 전송시 비디오 스트림 지연을 해소하여 안정된 네트워크 환경을 지원하는 Excellent Network Adaptability부를 포함하며, 상기 Professional Audio & Video Processing부는 임베디드 오디오 처리 모듈을 구비하여 광대역 오디오 코딩과 소음 감소 및 립 동기화를 통해 학습 현장에서 필요로 하는 컨텐츠 제작을 가능하게 구성할 수 있다.Here, the lecture recording equipment is equipped with ITU-T standard video conference function and H.323 and H.239 standard protocols for efficient video lectures with a large number of people while enabling two-way data communication with a remote platform. It is equipped as an all-in-one device, and the Onvif standard protocol and RTSP standard protocol are loaded for compatibility of the equipment. During lecture, each signal from the instructor tracking camera, learner camera, professor PC, and projector is converted into a single image. The Auto CP & Directing unit that performs an automatic directing function to create a smooth content conversion process along with the display by placing them together, and automatic screen division to support outputting video results in a mixed form of multiple images into a single screen Digital & Analog Video IN/OUT Process part with toggle function for video input and H.265 compression for video input, which can greatly reduce hard disk space and convert high-resolution video to low bandwidth even during video transmission. Professional Audio & Video Processing that supports transmission and IPLR (Intelligent Packet Loss Recovery) function enable stable video operation without screen failure or interruption, as well as image flicker, while eliminating video stream delay during video transmission to ensure stable operation It includes an Excellent Network Adaptability unit that supports a network environment, and the Professional Audio & Video Processing unit is equipped with an embedded audio processing module to enable creation of content required in the learning field through wideband audio coding, noise reduction and lip synchronization. can
여기에서, 상기 강의녹화장비는, 4×IP 및 1×DVI-I 입력을 지원하는 멀티 스트림 강의 레코더로서, 강사와 학습자 및 교습 자료를 포함하는 모든 내용을 녹화 가능한 일체형 장비이되, 교수용 PC나 프로젝터의 영상 및 학습자 영상을 비롯한 영상 데이터에 대해 개별 저장 및 CP(혼합 영상)으로 저장하고 사용자가 선택적 활용이 가능한 형태로 녹화하도록 구비되며, 장비의 호환성을 갖도록 Onvif 표준 프로토콜과 RTSP 표준 프로토콜이 탑재되며, 혼합된 비디오 입력을 지원하고 강사추적카메라 및 학습자카메라는 IP를 통한 연결을 지원하며 교수용 PC는 DVI-I 인터페이스를 통해 연결을 지원하는 Digital & Analog Video Input부와, 4채널 IP 입력과 H.264 엔코딩에 의한 1채널 DVI-I 비디오 입력을 지원함과 더불어 오디오 입력을 지원하고 노이즈 제거 및 오디오 믹스를 지원하여 네트워크 환경으로 손실된 패킷을 보완하고 현장에서의 녹화 영상 제작이 가능하도록 하는 High Integrity & Reliability부를 포함하는 구성일 수 있다.Here, the lecture recording device is a multi-stream lecture recorder that supports 4×IP and 1×DVI-I inputs, and is an all-in-one device capable of recording all contents including lecturers, learners, and teaching materials, It is equipped to store individual and CP (mixed image) for image data including projector's image and learner's image, and record it in a form that can be used selectively by users. Onvif standard protocol and RTSP standard protocol are loaded for compatibility It supports mixed video input, instructor tracking camera and learner camera support connection through IP, and professor PC supports connection through DVI-I interface with Digital & Analog Video Input, 4-channel IP input and High that supports 1-channel DVI-I video input by H.264 encoding as well as audio input, noise removal and audio mixing to compensate for packets lost in the network environment and to produce recorded video in the field. It may be a configuration including an Integrity & Reliability unit.
여기에서, 상기 원격 플랫폼은, 상기 강의녹화장비에 녹화된 데이터를 전송받아 DB화하고, 빅데이터 마이닝을 통해 수업 행동을 분석하여 교습자의 집중도에 영향을 주는 상황을 분석하며, 분석 결과에 대해 대시보드 형태로 디스플레이 가능한 수치 및 그래프에 의한 시각화 데이터를 생성하도록 구성할 수 있다.Here, the remote platform receives the data recorded in the lecture recording equipment and converts it into a DB, analyzes the class behavior through big data mining, analyzes the situation that affects the concentration of the instructor, and displays the results of the analysis. It can be configured to generate visualization data by numerical values and graphs that can be displayed in the form of a board.
본 발명에 따르면, 온라인 또는 오프라인 강의에 따른 디지털 멀티미디어 컨텐츠를 제공할 수 있도록 하고 강사의 움직임 추적이나 판서 인식 등을 비롯하여 수업 행동을 녹화 및 분석할 수 있도록 하며 강의 컨텐츠에 대해 실시간으로 안정된 송출을 가능하게 하는 스마트 첨단 강의 및 녹화 시스템을 구축할 수 있다.According to the present invention, it is possible to provide digital multimedia contents according to online or offline lectures, to record and analyze class actions, including movement tracking or writing recognition of instructors, and to stably transmit lecture contents in real time. It is possible to build a smart high-tech lecture and recording system that allows
본 발명에 따르면, 스마트한 강의 및 강사와 학습자간 교습 효율을 높일 수 있으며, 강의 컨텐츠 제작에 연관된 모든 디바이스를 연결 할 수 있는 기능 및 별도의 부가장비 없이 수업 전체의 과정에서 생성되는 다수의 영상 및 음향 소스를 디지털 멀티미디어 컨텐츠 기록으로 제작할 수 있는 스마트 첨단 강의 및 녹화 시스템을 구축할 수 있다.According to the present invention, it is possible to increase the efficiency of smart lectures and teaching between instructors and learners, and the ability to connect all devices related to the production of lecture contents and multiple images and A smart, advanced lecture and recording system can be built that can produce sound sources as digital multimedia content records.
본 발명에 따르면, 강의자와 학습자 간에 수업 행동 분석에 필요한 모든 기능을 탑재하되, 강사를 추적하여 강의 내용을 저장 및 분석함과 더불어 학습자의 영상을 저장 및 분석하고, 이를 통해 교습자의 집중도에 영향을 주는 상황 등을 분석(예를 들면, 시간대, 강의방법, 강의자, 참여인원 등의 조건 변화) 및 이를 반영할 수 있도록 하는 스마트 첨단 강의 및 녹화 시스템을 구축할 수 있다.According to the present invention, all functions necessary for analyzing class behavior between the lecturer and the learner are loaded, but the lecture content is stored and analyzed by tracking the instructor, and the learner's video is stored and analyzed, thereby affecting the instructor's concentration. A state-of-the-art lecture and recording system can be built that analyzes the situation (for example, changes in conditions such as time zone, lecture method, lecturer, number of participants, etc.) and reflects it.
본 발명에 따르면, 기존에 비해 시스템 구축비용을 줄이면서도 강의질을 높일 수 있는 효율적인 강의 및 녹화 시스템을 구축할 수 있으며, 강사의 음원 추적을 통해 실시간으로 움직임을 파악하여 강사추적카메라를 제어하므로 강사의 추적에 따른 정확도 및 신뢰도를 높일 수 있는 스마트 첨단 강의 및 녹화 시스템을 구축할 수 있다.According to the present invention, it is possible to build an efficient lecture and recording system that can improve the quality of lectures while reducing system construction cost compared to the existing ones. It is possible to build a smart advanced lecture and recording system that can increase the accuracy and reliability of tracking.
본 발명에 따르면, 모든 강의실에 시스템을 구축하여 IP 기반의 강의녹화장비로서 원격지 모니터링에 특화되어 있고, 영상 통합관제센터 개념에서 다수의 강의실을 실시간으로 원격 모니터링이 가능하며, 또한 강의 중에 수업을 받고 있는 학습자의 수업태도 등을 관찰할 수 있어 향후 수업방식에 따른 교습자의 집중도를분석하여 더욱 개선된 수업 방식에 대한 연구와 변화를 가져올 수 있는 목적으로 활용히 가능하므로 안전 및 보안 용도뿐만 아니라 수어방법 개선에 대한 연구 목적으로고 활용할 수 있는 스마트 첨단 강의 및 녹화 시스템을 제공할 수 있다.According to the present invention, by establishing a system in all classrooms, it is specialized for remote monitoring as an IP-based lecture recording device. Because it is possible to observe the teaching attitude of the learners who have a class, it can be used for the purpose of researching and changing the teaching method for further improvement by analyzing the teacher's concentration according to the teaching method in the future. It can provide a smart advanced lecture and recording system that can be used and used for research purposes for improvement.
도 1은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템을 나타낸 개략적 전체 구성도이다.
도 2는 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 강사추적카메라를 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 강의녹화장비의 일 예시를 나타낸 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 강의녹화장비의 다른 예시를 나타낸 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 음원추적시스템을 포함하는 구성도이다.
도 6은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 강의녹화장비를 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템을 나타낸 강의실 설치 개념도이다.
도 8은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 원격 강의를 위한 개념도이다.
도 9는 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템을 나타낸 개략적 구성도이다.
도 10은 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어 강사추적카메라를 통한 디스플레이 기능을 나타낸 예시도이다.1 is a schematic overall configuration diagram showing a smart advanced lecture and recording system according to an embodiment of the present invention.
2 is a block diagram showing an instructor tracking camera in a smart advanced lecture and recording system according to an embodiment of the present invention.
3 is a block diagram showing an example of a lecture recording equipment in a smart advanced lecture and recording system according to an embodiment of the present invention.
4 is a block diagram showing another example of a lecture recording equipment in a smart advanced lecture and recording system according to an embodiment of the present invention.
5 is a configuration diagram including a sound source tracking system in a smart advanced lecture and recording system according to an embodiment of the present invention.
6 is a conceptual diagram illustrating lecture recording equipment in a smart advanced lecture and recording system according to an embodiment of the present invention.
7 is a conceptual diagram of a classroom installation showing a smart advanced lecture and recording system according to an embodiment of the present invention.
8 is a conceptual diagram for a remote lecture in a smart advanced lecture and recording system according to an embodiment of the present invention.
9 is a schematic configuration diagram showing a smart advanced lecture and recording system according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a display function through a lecturer tracking camera in a smart advanced lecture and recording system according to an embodiment of the present invention.
본 발명에 대해 첨부한 도면을 참조하여 바람직한 실시예를 설명하면 다음과 같으며, 이와 같은 상세한 설명을 통해서 본 발명의 목적과 구성 및 그에 따른 특징들을 보다 잘 이해할 수 있게 될 것이다.Preferred embodiments of the present invention will be described with reference to the accompanying drawings, and the purpose and configuration of the present invention and its features will be better understood through such detailed description.
본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템은 도 1 내지 도 10에 나타낸 바와 같이, 칠판(10), 강사추적카메라(20), 학습자카메라(30), 강사마이크(40), 학습자마이크(50), 교수용 PC(60), 프로젝터(70), 강의녹화장비(80), 원격 플랫폼(90)을 포함하는 구성으로 이루어진다.As shown in FIGS. 1 to 10, the smart advanced lecture and recording system according to the embodiment of the present invention is a
상기 칠판(10)은 강의실 등의 강의 장소에 설치되고, 강의시 강사에 의한 판서를 가능하게 하는 구성이다.The
상기 칠판(10)은 일반 칠판 또는 전자칠판일 수 있다.The
상기 강사추적카메라(20)는 강의를 진행하는 강사의 움직임을 자동 인식 및 추적함과 더불어 칠판(10)에 판서하는 내용 등을 자동 캡쳐하는 지능형 추적 프로그램(23)이 탑재되고, 강의녹화장비(80)와 연결되어 자동 연동 및 제어 가능하도록 구비된다.The
이를 위해, 상기 강사추적카메라(20)는 고해상도를 위한 촬상센서(21)와 파노라마 뷰를 제공하기 위한 광각렌즈(22)를 포함하고, 실시간으로 촬영한 영상데이터를 기반으로 강사와 학습자 간의 수업태도 등을 분석하는데 사용하기 위한 IP카메라로 구비된다.To this end, the
상기 강사추적카메라(20)는 강사의 용이한 추적을 위해 회전하면서 촬영이 가능한 PTZ 타입으로 구비하되, 파노라마 뷰를 지원하도록 구비되며, 카메라 1대로 2대의 기능을 발휘케 할 수 있어 비용을 절감할 수 있다.The
상기 강사추적카메라(20)는 1080P 이상의 이미지 해상도와 H.264, H.265, H.266 중 어느 하나의 압축방식에 의한 비디오 코딩을 지원 및 6mm 내지 138mm 줌 in/out 기능을 탑재하도록 구성함이 바람직하다.The
상기 촬상센서(21)는 6M 픽셀 및 1/1.8" CMOS센서를 채택할 수 있다.The
상기 광각렌즈(22)는 6M 픽셀 HD(high Definition) 렌즈를 채택하되, 넓은 화각을 위해 3° 내지 60°의 수평 시야각을 제공하는 구성으로 구비함이 바람직하다.The wide-
상기 지능형 추적 프로그램(23)은 강의와 판서를 위한 칠판(10)이 설치된 영역 내에서 강사의 움직임을 지능적으로 감지하여 강사의 이미지를 최대화하여 인상과 제스처 및 판서 동작을 관찰하고 자동 추적하며 강사를 이미지의 센터 위치에 놓이도록 촬영하는 강사추적모드(23a)와, 강사가 칠판(10)에 판서한 내용을 확대해서 보여주는 기능 및 강의실의 전체 영역을 촬영하는 화각인 파노라마 뷰(View)로 자동 전환하고 판서의 내용을 자동 인지하여 캡쳐 및 송출하는 가상다중카메라 전환모드(23b)의 두 가지 방식을 지원하도록 탑재된다.The
상기 강사추적카메라(20)는 강의실 등의 강의 장소에 설치된다.The
상기 강사추적카메라(20)는 유/무선 방식의 네트워크를 통해 강의녹화장비(80)와 연결되도록 구성할 수 있다.The
즉, 상기 강사추적카메라(20)를 통해서는 도 10에서 보여주는 바와 같이, 강사의 움직임 추적과 강사의 확대 디스플레이, 판서내용 확대 디스플레이, 수업자료 확대 디스플레이 등을 지원할 수 있다.That is, through the
상기 학습자카메라(30)는 강사가 위치하는 강의실을 비롯하여 다른 장소에 위치된 다수의 강의실에 있는 학습자와 원격지에서 원격 강의를 받는 학습자가 함께 강의에 동시 참여하여 교습(敎習) 가능하게 하고, 강사와 학습자간 양방향 통신으로 상호 수업이 가능하게 하는 구성이다.The
상기 학습자카메라(30)는 하나 이상이 사용될 수 있다.One or
상기 학습자카메라(30)는 유/무선 방식의 네트워크를 통해 강의녹화장비(80)와 연결되도록 구비된다.The
상기 강사마이크(40)는 유선 또는 무선으로 구비되는 것으로서, 강사의 음성 출력, 즉 오디오신호 입력을 지원하는 구성이다.The
상기 학습자마이크(50)는 유선 또는 무선으로 구비되는 것으로서, 학습자의 음성 출력, 즉 오디오신호 입력을 지원하는 구성이다.The learner's
상기 강사마이크(40) 및 학습자마이크(50)는 유/무선 방식의 네트워크를 통해 강의녹화장비(80)와 연결되도록 구비된다.The instructor's
상기 교수용 PC(60)는 강사가 위치하는 강의실 등에 설치되어 구비되는 것으로서, 강사의 강의를 지원하는 파워포인트(PPT) 등의 강의자료를 재생하는 구성이다.The
상기 프로젝터(70)는 강의자료 및 컨텐츠로 사용하기 위한 빔프로젝트 이미지 등을 재생하기 위한 구성이다.The
상기 교수용 PC(60) 및 프로젝터(70)는 유/무선 방식의 네트워크를 통해 강의녹화장비(80)와 연결되도록 구비된다.The
상기 강의녹화장비(80)는 유선 또는 무선 방식의 통신을 통해 강사추적카메라(20), 학습자카메라(30), 강사마이크(40) 및 학습자마이크(50)로부터 각각의 출력신호를 입력받아 신호를 수신하여 강의 내용을 녹음 및 영상을 녹화함은 물론 강의 컨텐츠를 제작하기 위한 구성이다.The
상기 강의녹화장비(80)는 강사의 신호에 따라 상기 교수용 PC(60) 및 프로젝터(70)를 각각 제어하는 제어장치를 포함하는 구성일 수 있다.The
상기 강의녹화장비(80)는 일 예로서, 상기 원격 플랫폼(90)과의 양방향 데이터통신을 가능하게 함과 더불어 다수와의 효율적인 화상 강의를 위해 ITU-T 표준 화상회의 기능과 H.323 및 H.239 표준 프로토콜을 탑재시킨 일체형 장비로 구성할 수 있다.The
상기 강의녹화장비(80)는 상기 강사추적카메라(20)와의 양방향 데이터통신을 가능하게 하는 기능을 포함한다.The
상기 강의녹화장비(80)는 타 장비들과의 호환성을 갖도록 Onvif 표준 프로토콜과 RTSP 표준 프로토콜이 탑재된다.The
상기 강의녹화장비(80)는 기능성 구비를 위한 소프트웨어적 구성요소로서, Auto CP(혼합 영상) & Directing부(81), Digital & Analog Video IN/OUT Process부(82), Professional Audio & Video Processing부(83), Excellent Network Adaptability부(84)를 포함한다.The
상기 Auto CP(혼합 영상) & Directing부(81)는 강의 중에 강사추적카메라(20)와 학습자카메라(30), 교수용 PC(40), 및 프로젝터(50)에서의 출력에 의한 각각의 신호를 한 장의 이미지로 함께 배치하여 디스플레이하여줌과 더불어 컨텐츠 전환 프로세스를 위한 자동 연출 기능을 수행하는 구성요소이다.The Auto CP (mixed video) &
상기 Digital & Analog Video IN/OUT Process부(82)는 다수의 영상이 단일 화면으로 혼합된 형태로 비디오 결과물을 출력하도록 지원하기 위한 것으로서, 도 6에서 보여주는 바와 같이 하나의 화면 내에서 자동 화면 분할이 이루어지도록 토글(Toggle) 기능을 제공하는 구성요소이다.The Digital & Analog Video IN/
상기 Professional Audio & Video Processing부(83)는 영상 입력에 대해 H.265 압축방식으로 처리하여 하드디스크 공간을 크게 줄일 수 있도록 하면서 영상 전송 시에도 고해상도 비디오를 낮은 대역폭으로 전송할 수 있도록 지원하기 위한 구성요소이다.The Professional Audio &
상기 Professional Audio & Video Processing부(83)는 임베디드 오디오 처리 모듈을 구비함으로써 광대역 오디오 코딩과 소음 감소 및 립 동기화를 통해 학습 현장에서 필요로 하는 컨텐츠로의 제작을 가능하게 구성함이 바람직하다.Preferably, the Professional Audio &
상기 Excellent Network Adaptability부(84)는 IPLR(Intelligent Packet Loss Recovery) 기능을 구비함으로써 화면 장애나 중단은 물론 이미지 깜박임이 없는 안정적인 영상 운영을 가능하게 하면서 영상 전송시 비디오 스트림 지연을 해소하여 안정된 네트워크 환경을 지원하기 위한 구성요소이다.The Excellent
또한, 상기 강의녹화장비(80)는 다른 예로서, 4×IP 및 1×DVI-I 입력을 지원하는 멀티 스트림 강의 레코더로서, 강사와 학습자 및 교습 자료를 포함하는 모든 내용을 녹화 가능한 일체형 장비로 구비하되, 교수용 PC나 프로젝터의 영상 및 학습자 영상을 비롯한 영상 데이터에 대해 개별 저장 및 CP(혼합 영상)으로 저장하고 사용자가 선택적 활용이 가능한 형태로 녹화하도록 구비되는 구성일 수 있다.In addition, as another example, the
여기에서, 상기 강의녹화장비(80)는 타 장비와의 호환성을 갖도록 Onvif 표준 프로토콜과 RTSP 표준 프로토콜이 탑재된다.Here, the
여기에서, 상기 강의녹화장비(80)는 기능성 구비를 위한 소프트웨어적 구성요소로서, Digital & Analog Video Input부(86)와 High Integrity & Reliability부(87)를 포함한다.Here, the
상기 Digital & Analog Video Input부(86)는 혼합된 비디오 입력을 지원하고 강사추적카메라(20) 및 학습자카메라(30)는 IP를 통한 연결을 지원하며 교수용 PC(40)는 DVI-I 인터페이스를 통해 연결을 지원하도록 구비된다.The Digital & Analog
상기 High Integrity & Reliability부(87)는 4채널 IP 입력과 H.264 엔코딩에 의한 1채널 DVI-I 비디오 입력을 지원함과 더불어 오디오 입력을 지원하고 노이즈 제거 및 오디오 믹스를 지원하여 네트워크 환경으로 손실된 패킷을 보완하고 현장에서의 녹화 영상 제작이 가능하도록 구비된다.The High Integrity &
상기 원격 플랫폼(90)은 ITU-T 표준 화상회의 기능과 H.323 표준 프로토콜이 탑재된 MCU장비(91)를 통해 강의녹화장비(80)와 양방향 데이터통신을 수행하도록 지원하고, 강사와 다수의 강의실에 있는 학습자 및 원격지 학습자 간 화상 강의를 지원하며, 화상 강의를 위한 코덱터미널로서 기능하는 구성이다.The
상기 원격 플랫폼(90)은 상기 강의녹화장비(80)에 녹화된 데이터를 전송받아 DB화하고, 빅데이터 마이닝을 통해 수업 행동을 분석하여 교습자의 집중도에 영향을 주는 상황을 분석하여 저장하는 기능을 갖도록 구비된다.The
이와 같이, 영상 데이터 등을 이용하여 강사와 학습자에 대한 수업 행동을 분석함에 의해 교습자의 집중도에 영향을 주는 상황(예를 들면, 시간대, 강의방법, 강의자, 참여인원 등의 조건에 따른 변화)을 분석할 수 있다.In this way, by analyzing the class behavior of instructors and learners using video data, etc., situations that affect the concentration of instructors (e.g., changes according to conditions such as time zone, lecture method, lecturers, number of participants, etc.) can be analyzed.
이때, 상기 원격 플랫폼(90)은 상기 빅데이터 마이닝을 통해 수업 행동을 분석하여 교습자의 집중도에 영향을 주는 상황을 분석한 결과에 대해 대시보드 형태로 디스플레이 가능한 수치 및 그래프에 의한 시각화 데이터를 생성하는 시각화 데이터 생성부(92)를 포함하도록 구비된다.At this time, the
한편, 본 발명의 실시예에 따른 스마트 첨단 강의 및 녹화 시스템에 있어서는 강의실 내에 강사로부터 발생되는 음원을 추적하기 위해 2개 이상의 음원추적용 마이크(100)를 고정 설치하며, 상기 음원추적용 마이크(100)로 입력되는 오디오신호에 대해 상술한 강의녹화장비(80)로 전송하도록 연결 구비하고, 상기 강의녹화장비(80) 내에 음원추적부(88)를 탑재하는 구성을 갖게 할 수 있다.On the other hand, in the smart advanced lecture and recording system according to an embodiment of the present invention, two or more sound
상기 음원추적부(88)에서는 강사마이크(40)로부터 발생되는 음원이 2개 이상의 음원추적용 마이크(100)로 입력시 오디오신호에 대한 도착 시간차를 실시간으로 측정하여 음원 발생 위치를 추적함으로써 강사의 현재 위치를 실시간으로 추적하여 강사추적카메라(20)를 연동 제어하도록 구성할 수 있다. In the sound
즉, 스마트 강의를 지원하는 시스템을 추가적으로 구성할 수 있다.That is, it is possible to additionally configure a system supporting smart lectures.
상기 음원추적부(88)에는 오디오신호가 실제 강사의 음성인지 여부를 체크하여 오류 발생을 최소화하기 위한 강사음성비교인식 기능과, 음원의 오디오신호로부터 독립성분석(ICA) 방식이나 웨이블릿변환 방식을 이용하여 노이즈를 제거함으로써 음원 인식에 따른 오차나 오류를 최소화하기 위한 노이즈제거 기능을 탑재하도록 구비함이 바람직하다.The sound
여기에서, 상기 음원추적부(88)와 음원추적용 마이크(100)를 통해서는 강사의 음원 추적을 통해 실시간으로 움직임을 파악하여 강사추적카메라(20)를 제어하므로 강사의 추적에 따른 정확도 및 신뢰도를 높일 수 있어 강의 효율 및 디스플레이 효율을 높일 수 있는 장점을 제공할 수 있다.Here, the sound
한편, 상술한 구성으로 이루어지는 본 발명에 따른 스마트 첨단 강의 및 녹화 시스템은 스마트한 강의 및 강사와 학습자간 교습 효율을 높일 수 있을 뿐만 아니라 학교 등지에서 모든 강의실에 시스템을 구축하여 사용하는 경우 강의녹화장비로서의 기능 이외에 통합관제센터 개념에서 모든 강의실을 실시간으로 원격 모니터링할 수 있어 안전 및 보안 용도로도 활용할 수 있는 부가적인 장점을 제공할 수 있다.On the other hand, the smart high-tech lecture and recording system according to the present invention having the above configuration can not only increase the efficiency of smart lectures and teaching between instructors and learners, but also lecture recording equipment when the system is built and used in all classrooms at schools, etc. In addition to the function as a function, the integrated control center concept enables remote monitoring of all classrooms in real time, providing additional advantages that can be used for safety and security purposes.
이상에서 설명한 실시예는 본 발명의 바람직한 실시예를 설명한 것에 불과하고 이러한 실시예에 극히 한정되는 것은 아니며, 본 발명의 기술적 사상과 청구범위 내에서 이 기술분야의 당해업자에 의하여 다양한 수정과 변형 또는 단계의 치환 등이 이루어질 수 있다 할 것이며, 이는 본 발명의 기술적 권리범위 내에 속한다 할 것이다.The embodiments described above are merely illustrative of preferred embodiments of the present invention and are not limited to these embodiments, and various modifications and variations or modifications by those skilled in the art within the technical spirit and claims of the present invention It will be said that the substitution of steps may be made, and this will be said to be within the scope of the technical rights of the present invention.
10: 칠판 20: 강사추적카메라
30: 학습자카메라 40: 강사마이크
50: 학습자마이크 60: 교수용 PC
70: 프로젝터 80: 강의녹화장비
90: 원격 플랫폼 100: 음원추적용 마이크10: Blackboard 20: Instructor tracking camera
30: learner camera 40: instructor microphone
50: Learner's microphone 60: Professor's PC
70: Projector 80: Lecture recording equipment
90: remote platform 100: microphone for sound source tracking
Claims (5)
유선 또는 무선 방식의 통신을 통해 강사추적카메라, 학습자카메라, 강사마이크 및 학습자마이크로부터 각각의 출력신호를 입력받아 신호를 수신하여 강의 내용을 녹음 및 영상을 녹화하는 강의녹화장비;
ITU-T 표준 화상회의 기능과 H.323 표준 프로토콜이 탑재된 MCU장비를 통해 강의녹화장비와 양방향 데이터통신을 수행하도록 지원하고, 강사와 다수의 강의실에 있는 학습자 및 원격지 학습자 간 화상 강의를 지원하며, 화상 강의를 위한 코덱터미널로서 기능하는 원격 플랫폼;을 더 포함하되,
상기 강의녹화장비는 원격 플랫폼과의 양방향 데이터통신을 가능하게 함과 더불어 다수와의 효율적인 화상 강의를 위해 ITU-T 표준 화상회의 기능과 H.323 및 H.239 표준 프로토콜을 탑재시킨 일체형 장비로 구비되고, 장비의 호환성을 갖도록 Onvif 표준 프로토콜과 RTSP 표준 프로토콜이 탑재되며,
강의 중에 강사추적카메라와 학습자카메라, 교수용 PC, 및 프로젝터에서의 출력에 의한 각각의 신호를 한 장의 이미지로 함께 배치하여 디스플레이함과 더불어 컨텐츠 전환 프로세스를 위한 자동 연출 기능을 수행하는 Auto CP & Directing부와, 다수의 영상이 단일 화면으로 혼합된 형태로 비디오 결과물을 출력하도록 지원하기 위한 자동 화면 분할을 위한 토글(Toggle) 기능을 갖는 Digital & Analog Video IN/OUT Process부와, 영상 입력에 대해 H.265 압축방식으로 처리하여 하드디스크 공간을 크게 줄일 수 있도록 하면서 영상 전송 시에도 고해상도 비디오를 낮은 대역폭으로 전송할 수 있도록 지원하는 Professional Audio & Video Processing부와, IPLR(Intelligent Packet Loss Recovery) 기능을 통해 화면 장애나 중단은 물론 이미지 깜박임이 없는 안정적인 영상 운영을 가능하게 하면서 영상 전송시 비디오 스트림 지연을 해소하여 안정된 네트워크 환경을 지원하는 Excellent Network Adaptability부를 포함하며;
강사가 위치하는 강의실 내에는 강사로부터 발생되는 음원을 추적하기 위해 2개 이상의 음원추적용 마이크를 고정 설치하되, 음원추적용 마이크로 입력되는 오디오신호에 대해 강의녹화장비로 전송하도록 연결 구비하고, 상기 강의녹화장비 내에 음원추적부를 탑재하며,
음원추적부에서는 강사마이크로부터 발생되는 음원이 2개 이상의 음원추적용 마이크로 입력시 오디오신호에 대한 도착 시간차를 실시간으로 측정하여 음원 발생 위치를 추적함으로써 강사의 현재 위치를 실시간으로 추적하여 강사추적카메라를 연동 제어하도록 구성하되,
음원추적부에는 오디오신호가 실제 강사의 음성인지 여부를 체크하여 오류 발생을 최소화하기 위한 강사음성비교인식 기능과, 음원의 오디오신호로부터 독립성분석(ICA) 방식이나 웨이블릿변환 방식을 이용하여 노이즈를 제거함으로써 음원 인식에 따른 오차나 오류를 최소화하기 위한 노이즈제거 기능을 탑재하는 것을 특징으로 하는 스마트 첨단 강의 및 녹화 시스템.blackboard for writing in lectures; an instructor tracking camera equipped with an intelligent tracking program that automatically recognizes and tracks the instructor's movements and automatically captures the writing, and is provided to automatically interwork with the lecture recording equipment; one or more learner cameras that enable learners in multiple classrooms and remote learners to simultaneously participate in lectures and teach, and enable interactive lessons through interactive communication between instructors and learners; As provided in a wired or wireless manner, an instructor microphone and a learner microphone supporting the voice output of the instructor and the learner; In a smart high-tech lecture and recording system comprising; a PC and a projector for PowerPoint (PPT) playback and beam project image playback that support the lecturer's lecture,
Lecture recording equipment that receives each output signal from the instructor tracking camera, the learner camera, the instructor microphone, and the learner microphone through wired or wireless communication, and receives the signals to record lecture contents and video;
It supports two-way data communication with lecture recording equipment through MCU equipment equipped with ITU-T standard video conferencing function and H.323 standard protocol, and supports video lectures between instructors and learners in multiple classrooms and remote learners. , a remote platform functioning as a codec terminal for video lectures; further including,
The lecture recording equipment is equipped with an all-in-one equipment equipped with ITU-T standard video conference function and H.323 and H.239 standard protocols for efficient video lectures with multiple users as well as enabling two-way data communication with remote platforms. The Onvif standard protocol and the RTSP standard protocol are loaded for compatibility with the equipment.
Auto CP & Directing that displays each signal from the instructor tracking camera, learner camera, professor's PC, and projector as a single image during lecture and performs an automatic directing function for the content conversion process A Digital & Analog Video IN/OUT Process unit with a toggle function for automatic screen division to support outputting video results in a form in which a plurality of images are mixed into a single screen, and H for video input The .265 compression method greatly reduces the hard disk space and supports the transmission of high-resolution video with low bandwidth even during video transmission, and the screen through the IPLR (Intelligent Packet Loss Recovery) function. It includes an Excellent Network Adaptability unit that supports a stable network environment by eliminating video stream delay during video transmission while enabling stable video operation without failure or interruption as well as image flicker;
In the classroom where the instructor is located, two or more sound source tracking microphones are fixedly installed in order to track the sound source generated by the instructor, and the audio signal input to the sound source tracking microphone is connected to the lecture recording equipment to be transmitted to the lecture. A sound tracker is mounted in the recording equipment,
In the sound source tracking unit, when two or more sound source tracking microphones are input from the instructor microphone, the audio signal arrival time difference is measured in real time and the location of the sound source is tracked to track the instructor's current location in real time and use the instructor tracking camera. Configured to control interlocking,
The sound source tracker has an instructor voice comparison recognition function to minimize errors by checking whether the audio signal is the actual instructor's voice, and removes noise using the ICA method or wavelet transformation method from the audio signal of the sound source. Smart high-tech lecture and recording system, characterized in that it is equipped with a noise removal function to minimize errors or errors caused by sound source recognition.
상기 강사추적카메라는,
고해상도를 위한 촬상센서와 파노라마 뷰를 제공하기 위한 광각렌즈를 포함하고 강사와 학습자 간의 수업태도 분석에 사용하기 위한 IP카메라로서,1080P 이상의 이미지 해상도와 H.264, H.265, H.266 중 어느 하나의 압축방식에 의한 비디오 코딩을 지원 및 6mm 내지 138mm 줌 in/out 기능이 탑재되며,
상기 지능형 추적 프로그램은 강의와 판서를 위한 칠판이 설치된 영역 내에서 강사의 움직임을 지능적으로 감지하여 강사의 이미지를 최대화하여 인상과 제스처 및 판서 동작을 관찰하고 자동 추적하며 강사를 이미지의 센터 위치에 놓이도록 촬영하는 강사추적모드와, 강사가 칠판에 판서한 내용을 확대해서 보여주는 기능 및 강의실의 전체 영역을 촬영하는 화각인 파노라마 뷰(View)로 자동 전환하고 판서의 내용을 자동 인지하여 캡쳐 및 송출하는 가상다중카메라 전환모드의 두 가지 방식을 지원하도록 탑재되며,
상기 촬상센서는 6M 픽셀 및 1/1.8" CMOS센서이고,
상기 광각렌즈는 6M 픽셀 HD(high Definition) 렌즈이고, 3° 내지 60°의 수평 시야각을 제공하는 것을 특징으로 하는 스마트 첨단 강의 및 녹화 시스템.The method of claim 1,
The instructor tracking camera,
An IP camera that includes a high-resolution image sensor and a wide-angle lens to provide a panoramic view, and is used to analyze class attitudes between instructors and learners. It supports video coding by one compression method and is equipped with a 6mm to 138mm zoom in/out function.
The intelligent tracking program intelligently detects the instructor's movement within the area where the blackboard for lectures and writing is installed, maximizing the instructor's image, observing and automatically tracking impressions, gestures and writing movements, and placing the instructor at the center position of the image. Instructor tracking mode, which takes pictures like this, and the function that enlarges and shows the contents written by the instructor on the blackboard, automatically switches to the panoramic view, which is the angle of view that shoots the entire area of the lecture room, and automatically recognizes the contents of the writing and captures and transmits it. It is mounted to support two types of virtual multi-camera switching mode,
The imaging sensor is a 6M pixel and 1/1.8" CMOS sensor,
The wide-angle lens is a 6M pixel HD (high definition) lens, and a smart advanced lecture and recording system, characterized in that it provides a horizontal viewing angle of 3° to 60°.
상기 원격 플랫폼은,
상기 강의녹화장비에 녹화된 데이터를 전송받아 DB화하고, 빅데이터 마이닝을 통해 수업 행동을 분석하여 교습자의 집중도에 영향을 주는 상황을 분석하며, 분석 결과에 대해 대시보드 형태로 디스플레이 가능한 수치 및 그래프에 의한 시각화 데이터를 생성하는 것을 특징으로 하는 스마트 첨단 강의 및 녹화 시스템.The method of claim 1,
The remote platform is
The data recorded in the lecture recording equipment is received and converted into a DB, and the class behavior is analyzed through big data mining to analyze the situation that affects the concentration of the instructor, and the numerical values and graphs that can be displayed in the form of a dashboard for the analysis results Smart high-tech lecture and recording system, characterized in that it generates visualization data by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210022377A KR102308443B1 (en) | 2021-02-19 | 2021-02-19 | Smart advanced lecture and recoding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210022377A KR102308443B1 (en) | 2021-02-19 | 2021-02-19 | Smart advanced lecture and recoding system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102308443B1 true KR102308443B1 (en) | 2021-10-05 |
Family
ID=78077637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210022377A KR102308443B1 (en) | 2021-02-19 | 2021-02-19 | Smart advanced lecture and recoding system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102308443B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114679595A (en) * | 2022-02-23 | 2022-06-28 | 武汉华瑾科技有限公司 | Multi-window processing method and system for interactive teaching information |
| KR102492423B1 (en) * | 2022-03-22 | 2023-01-27 | (주)에이블소프트 | Diy electronic blackboard-based remote lecture providing system and method therefor |
| KR102492444B1 (en) | 2022-03-28 | 2023-01-27 | 라이트하우스(주) | Method, device and system for providing content using problem solving video |
| KR20230108398A (en) | 2022-01-11 | 2023-07-18 | 금오공과대학교 산학협력단 | Mixed reality based distance lecture system |
| CN116501892A (en) * | 2023-05-06 | 2023-07-28 | 广州番禺职业技术学院 | Training knowledge graph construction method based on automatic following system of Internet of things |
| CN116614682A (en) * | 2023-04-26 | 2023-08-18 | 天地阳光通信科技（北京）有限公司 | All-media integrated audio and video recording and on-demand system and processing method |
| CN117956114A (en) * | 2024-03-26 | 2024-04-30 | 三亚智承传媒有限公司 | Video conference system for remote conference |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010082995A (en) * | 2000-02-22 | 2001-08-31 | 황인욱 | System for on-line education based on web |
| KR20160106363A (en) | 2015-03-02 | 2016-09-12 | 한국전자통신연구원 | Smart lecture system and method |
| KR20170029725A (en) * | 2015-09-07 | 2017-03-16 | 주식회사 다림비젼 | Method and apparatus for generating video lecture by synthesizing multiple images |
| KR20190142689A (en) * | 2018-06-15 | 2019-12-27 | 홍석주 | Real time intelligence training system and method |
| KR20200002424A (en) | 2018-06-29 | 2020-01-08 | 김송이 | System and Method For Real-time Online Pictorial Lecture |
| CN112257591A (en) * | 2020-10-22 | 2021-01-22 | 安徽天盛智能科技有限公司 | Remote video teaching quality evaluation method and system based on machine vision |
-
2021
- 2021-02-19 KR KR1020210022377A patent/KR102308443B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010082995A (en) * | 2000-02-22 | 2001-08-31 | 황인욱 | System for on-line education based on web |
| KR20160106363A (en) | 2015-03-02 | 2016-09-12 | 한국전자통신연구원 | Smart lecture system and method |
| KR20170029725A (en) * | 2015-09-07 | 2017-03-16 | 주식회사 다림비젼 | Method and apparatus for generating video lecture by synthesizing multiple images |
| KR20190142689A (en) * | 2018-06-15 | 2019-12-27 | 홍석주 | Real time intelligence training system and method |
| KR20200002424A (en) | 2018-06-29 | 2020-01-08 | 김송이 | System and Method For Real-time Online Pictorial Lecture |
| CN112257591A (en) * | 2020-10-22 | 2021-01-22 | 安徽天盛智能科技有限公司 | Remote video teaching quality evaluation method and system based on machine vision |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230108398A (en) | 2022-01-11 | 2023-07-18 | 금오공과대학교 산학협력단 | Mixed reality based distance lecture system |
| CN114679595A (en) * | 2022-02-23 | 2022-06-28 | 武汉华瑾科技有限公司 | Multi-window processing method and system for interactive teaching information |
| KR102492423B1 (en) * | 2022-03-22 | 2023-01-27 | (주)에이블소프트 | Diy electronic blackboard-based remote lecture providing system and method therefor |
| KR102492444B1 (en) | 2022-03-28 | 2023-01-27 | 라이트하우스(주) | Method, device and system for providing content using problem solving video |
| CN116614682A (en) * | 2023-04-26 | 2023-08-18 | 天地阳光通信科技（北京）有限公司 | All-media integrated audio and video recording and on-demand system and processing method |
| CN116614682B (en) * | 2023-04-26 | 2024-04-02 | 天地阳光通信科技（北京）有限公司 | All-media integrated audio and video recording and on-demand system and processing method |
| CN116501892A (en) * | 2023-05-06 | 2023-07-28 | 广州番禺职业技术学院 | Training knowledge graph construction method based on automatic following system of Internet of things |
| CN116501892B (en) * | 2023-05-06 | 2024-03-29 | 广州番禺职业技术学院 | Training knowledge graph construction method based on automatic following system of Internet of things |
| CN117956114A (en) * | 2024-03-26 | 2024-04-30 | 三亚智承传媒有限公司 | Video conference system for remote conference |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102308443B1 (en) | Smart advanced lecture and recoding system | |
| KR100989142B1 (en) | System and method for supplying e-learning contents | |
| CN205016086U (en) | Intelligent tutoring recorded broadcast system | |
| CN201177877Y (en) | Multimedia platform for network education | |
| US20110123972A1 (en) | System for automatic production of lectures and presentations for live or on-demand publishing and sharing | |
| CN107945592A (en) | A kind of synchronization mutual assistance Teaching System | |
| KR200428191Y1 (en) | Personal computer lesson system using video telephone | |
| CN104735416A (en) | Tracking camera, record information acquisition processing live broadcast network teaching system | |
| CN105931510A (en) | Synchronous comment recording classroom platform and method thereof | |
| CN208208118U (en) | A kind of synchronous mutual assistance Teaching System | |
| CN207115790U (en) | A kind of English-Assisted Instruction system | |
| CN106056988A (en) | Multifunctional recording and playing equipment | |
| CN110599835A (en) | Interactive computer remote education system | |
| CN110933350A (en) | Electronic cloud mirror recording and broadcasting system, method and device | |
| CN113207008A (en) | AR-based tele-immersive simulation classroom and control method thereof | |
| CN108961880A (en) | A kind of implementation method contacting classroom | |
| CN105898235A (en) | Remote Access System for OSCE Objective Structured Clinical Examination | |
| KR100601397B1 (en) | Multimedia study system | |
| KR101776839B1 (en) | Portable lecture storage and broadcasting system | |
| KR102590186B1 (en) | Online learning system with improved interaction between instructor and student | |
| KR102620099B1 (en) | Blended learning system that enables editing and manipulation of class videos in real time, convenient transmission, recording, and platform upload of class videos, and improved interaction between teachers and students | |
| CN217543870U (en) | Interactive teaching classroom system | |
| CN203968235U (en) | Intelligent image tracing system | |
| CN111050068A (en) | Audio and video teaching recording and playing system and control method thereof | |
| Xu et al. | Towards intelligent interaction in classroom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |