KR102050865B1 - 이미지에 대한 동기화 디스플레이 방법 및 장치 - Google Patents

이미지에 대한 동기화 디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR102050865B1
KR102050865B1 KR1020177023247A KR20177023247A KR102050865B1 KR 102050865 B1 KR102050865 B1 KR 102050865B1 KR 1020177023247 A KR1020177023247 A KR 1020177023247A KR 20177023247 A KR20177023247 A KR 20177023247A KR 102050865 B1 KR102050865 B1 KR 102050865B1
Authority
KR
South Korea
Prior art keywords
image
data
user terminal
message
educator
Prior art date
Application number
KR1020177023247A
Other languages
English (en)
Other versions
KR20170107027A (ko
Inventor
치웨이 루
셍치앙 리우
Original Assignee
선전 이글소울 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 이글소울 테크놀로지 컴퍼니 리미티드 filed Critical 선전 이글소울 테크놀로지 컴퍼니 리미티드
Publication of KR20170107027A publication Critical patent/KR20170107027A/ko
Application granted granted Critical
Publication of KR102050865B1 publication Critical patent/KR102050865B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2143—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in a single building, e.g. hotel, hospital or museum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Abstract

본 발명은 동기화 디스플레이 방법 및 장치를 제공하는 것으로, 정해진 시간에 화면 내용을 캡쳐 및 압축처리를 하므로, 언제든지 전송할 수 있는 능력을 구비하게 되어, 전송효과를 향상시키고, 전송 시간을 단축시킨다. 이미지 압축과정에서 분석하여 획득한 고유값의 값을 이용하여 화면캡쳐한 이미지내용을 신속히 대비함으로써, 동기화 이미지에 대한 지능적인 판단을 실현하여, 자동적으로 동기화하여 전송하기 때문에 수동 조작을 할 필요가 없으며, 또한, 중복되는 전송을 최대한 줄였기 때문에, 학습자용 사용자 단말기의 저장 압력을 줄였고, 동시에 내용의 전면성도 보장한다. 이 외, 스크린의 이미지 내용에 대하여 표기와 판정을 함으로써, 학습자의 복습효율을 향상시키는데 유리하다. 예를 들어, 복습할 때, 직접 각각의 판서에 대한 마지막 몇 개의 판서를 볼 수 있다.

Description

이미지에 대한 동기화 디스플레이 방법 및 장치
본 발명은 이미지에 대한 동기화 디스플레이 방법에 관한 것으로, 특히 미러링 디스플레이되는 이미지에 대한 동기화 디스플레이 방법에 관한 것이며, 특히 컴퓨터로 실행하는 것으로, 온라인 교육시스템에서 사용되는 미러링 디스플레이 방법 및 그 방법을 사용하는 온라인 교육시스템에 관한 것이다.
종래의 교육방식에 따른 교육 패러다임은 갈수록 교육발전의 수요에 발맞추지 못하고 있다. 장소에 대한 제한성과 수업강의를 반복하여 재생할 수 없기 때문에, 통상적으로 이하의 단점을 갖고 있다. 학습자의 좌석을 앞뒤로 배치해야 하기 때문에 뒤쪽 좌석에 앉은 학습자는 칠판 또는 빔프로젝터 화면의 내용을 또렷하게 볼 수 없게 되는 것과, 수업강의 마친 후, 수업강의를 더 이상은 재생할 수 없으므로 학습자는 노트에만 의존하여 복습할수밖에 없다는 것이다.
종래의 교육방식을 겨냥하여, 현존 기술에 이미 존재하는 온라인 교육방식의 기본 방식은 다음과 같다. 교육자의 음성 및/또는 동영상을 사전에 미리 녹화한 데이터를 사용자 단말기에 저장하여 온라인 교육 플랫폼 시스템의 서버에 업로드 시키면, 학습자가 상기 데이터들을 대응되게 읽어 들여 학습하는 것이다. 이와 같은 방법은 모든 학생들이 평등한 수강을 체험하도록 하고, 또한 강의 마친 후, 강의과정을 수시로 재생하여 들을 수 있다.
이와 같은 온라인 교육방법은, 교육자용 사용자 단말기에서 디스플레이되는 내용 및 교육자가 전시(展示)하는 내용 또는 필요한 조작을 네트워크를 통해 학습자용 사용자 단말기에 동기화하여 전송함으로써, 화면에 디스플레이되는 정보를 공유하여야 한다.
종래기술 1(<중국 이미지 도형 학술지>, 제8권 제9회, 2003년 9월, 장리핑(張麗萍) 등, "캡쳐 및 압축기술에 기반한 화면공유 방법")은 통상적인 화면공유를 공개한 것으로, 상기 화면공유 방식은 두 가지를 포함하는 것으로, 한 가지는 운영시스템 Low-level 층의 GUI 벡터지령을 통해 실현하는 것과; 다른 한 가지는 캡쳐 및 압축기술을 통해 화면 공유를 실현하는 것으로, 화면에서 디스플레이되는 내용은 구체적인 그래픽으로 분해하는 지령을 통해 실현되는 것이 아니라, 화면의 이미지를 우선 복사한 다음, 데이터를 압축처리하여 클라이언트 단에 전송한 후, 마지막으로 클라이언트 단에서 다시 디코딩하여 디스플레이함으로써 캡쳐한 내용을 재현한다.
이로 보아, 종래의 온라인 교육시스템은 통상적으로, 교육정보 제공 단말기(교육자용 사용자 단말기), 교육정보 수신 단말기(학습자용 사용자 단말기), 서버(로컬서버 또는 백엔드 원격서버), 강의용 장비(전자 화이트보드, 빔 프로젝트 등), 유선 또는 무선 인터넷을 포함한다. 이와 같은 단말기는 주로 데스크톱 컴퓨터인 것으로, 통상적으로 랜 케이블에 기반한 유선 네트워크를 사용한다. 이는 교학용 장비를 사전에 미리 설치해야 하고, 또한 설치한 후에는 이동하기 용이하지 않다. 가르치는 자와 배우는 자로써 참여하는 자들은, 자기가 사용했던 단말기를 가져갈 수 없으며, 교육과정이 완료된 후에도 학습자가 복습함에 있어서 불편함이 존재하는 것과 같이 그 재사용이 쉽지 않다.
종래의 온라인 교육시스템은 동일 이미지의 동기화 디스플레이에 대한 처리에 있어서 또한 이하 문제점을 갖고 있다. 학습자용 사용자 단말기의 미러링 데이터를 수신하는 속도가 느리기 때문에, 수업강의 과정이 원활하지 않고 스티터링 현상이 존재한다. 이는 종래의 온라인 교육시스템은 미러링 데이터를 전송하는 과정에서 대다수가 동영상 스트럼 및 교육자가 자신의 판단에 의하여 수동으로 화면을 캡쳐하는 방식을 사용하였기 때문에, 학습자용 사용자 단말기의 사용자가 지나치게 많아서 대량의 데이터를 전송하고 및 다수의 동시접속으로 네트워크 전송을 실행해야 하므로, 속도가 느리고 디스플레이가 원할하지 않으며 데이터 스티터링 현상이 자주 발생하게 되는데, 이는 학습자의 수강환경에도 영향을 끼치고, 또한 교육자는 강의를 진행하면서 또한 적당한 시기에 화면캡쳐하는 것을 고민해야 하므로, 가끔 학습자에게 화면캡쳐해서 전송하는 것을 놓쳐버리기도 하는데, 학습자 또한 적시에 화면캡쳐를 수신 받았는지 여부를 판단할 수 없으므로, 교육의 효과에 영향을 주게 된다.
최근 몇 년간, 이미지 데이터의 네트워크 상에서의 전송을 편리하게 하고, 전송 효율 및 그 유창성을 향상시키기 위하여, 이미지 압축에 대한 알고리즘이 매우 많이 개발되었는데, 이는 이미지 파일의 저장공간을 대폭 줄이게 되었고, 또한 네트워크 상에서의 전송을 보다 빠르고 효율적이게 하였다. 이미지 파일 압축유형은 통상적으로 손실압축과 무손실압축 두 가지 유형이 있다. 이미지와 동영상 압축표준은 대부분 모두 이산 코사인 변환 DCT(Discrete Cosine Transform) 변환을 사용하는데, 예를 들면 JPEG, MPEG 이다.
종래기술 2(<현대컴퓨터>, 2006년 제5회, 황판(黃帆), "압축 필드에 기반한 JPEG 이미지 검색기술")는 이미지 압축방법을 공개하였다. 도 1에서 도시하는 바와 같이, DCT 변환에 기반한 JPEG 손실압축 부호화 단계는 통상적으로 이하 단계를 포함한다. 우선, 이미지를 여러 개의 8×8 행렬의 블록으로 분할하는데, 그 중 모든 블록은 하나의 직류 고유값(DC 고유값)과 63개의 교류 고유값(AC 고유값)으로 구성되고; 두 번째는, 순방향 DCT 변환처리를 실행하여 공간 필드를 주파수 필드로 전환하는데, 그 목적은 에너지를 소수의 고유값에 집중시키기 위한 것이며; 세 번째는, 양자화 테이블에 근거하여 DCT 주파수 고유값에 대하여 양자화 손실을 실행함으로써 시각적인 중복성을 제거하며; 네 번째는, 양자화를 실행한 고유값에 대하여 지그재그 배열을 실행하여 1차원 고유값 행렬을 형성하며; 다섯 번째는, DC 고유값에 대하여 차분 펄스 부호 변조(DPMC) 알고리즘으로 부호화를 실행하고, AC 고유값에 대하여 런-렝스 부호화(RLE)로 무손실 압축을 실행하며; 마지막으로, 상기와 같은 처리를 실행 완료한 DC 및 AC 고유값에 대하여 허프만 부호화를 실행한다. DC 고유값과 AC 고유값은 이미지 중의 각각의 블록에 대한 텍스처 특징과 픽셀값을 대표하는 것으로, 이미지를 구성하는 주요 요소이다. 단, 종래기술에서 화면 복제(또는 화면캡쳐라고 칭함)와 같이 이미지를 획득하려면, 사람이 수동적으로 조작하거나 또는 설정한 시간에 따라 자동으로 화면을 캡쳐하여 전송하여야 하는데, 모두 화면 캡쳐하여 전송하는 정보가 중복되는지 여부의 문제와 유효한지 여부의 문제가 존재하므로, 필요하지 않거나 또는 중복되는 이미지를 전송하는 것은 네트워크에 부담을 주게 되고, 사용자의 사용감에도 영향을 끼치게 된다.
온라인교육 수강과정에서, 실제 수업강의 방식과 동일한 효과를 모방하고, 온라인교육의 교육품질을 향상시키기 위해서는, 교육자용 사용자 단말기 상에 디스플레이되는 전자 판서 및 기타 교육내용을 제때에 학습자용 사용자 단말기 상에 미러링하여 디스플레이시켜야 하는데, 이는 고효율적이고 스마트한, 이미지와 조작지령에 대한 획득, 압축, 전송 및 그에 대응되는 온라인 교육방법 및 시스템을 필요로 한다.
종래기술에 존재하는 문제를 해결하기 위하여, 본 발명은 이미지에 대한 동기화 디스플레이방법을 제안하고자 하며, 본 발명의 상기 방법은 컴퓨터를 통해 실행 가능한 것으로, 이미지에 대한 동기화 디스플레이를 학습자용 사용자 단말기와 교육자용 사용자 단말기 상에 실시간으로 스마트하게 실현할 수 있다.
설명해야 할 점으로는, 본 발명의 온라인교육은 학습자와 교육자 간의 교육형식에만 국한되는 것이 아닌 것으로, 교육자 사용자와 학습자 사용자, 또는 교육훈련을 받는 수강자가 참여주체인 온라인네트워크 교육, 원격 네트워크 교육, 로컬 네트워크 교육과, 기업단체의 직원을 참여주체로 한 온라인 네트워크 회의, 원격 네트워크 회의, 로컬 네트워크 회의, 및 원격 협동 작업과 같은, 기타의 네트워크를 이용한 온라인 커뮤니케이션 및/또는 전시(展示)된 파일내용에 대한 커뮤니케이션/인터렉션 형식을 포함할 수 있다.
본 발명의 하나의 목적에 따라, 교육자용 사용자 단말기, 학습자용 사용자 단말기, 서버 및 네트워크를 포함하는 온라인교육 시스템에 사용되는 이미지에 대한 동기화 디스플레이 방법을 제공하는 것으로, 상기 이미지에 대한 동기화 디스플레이 방법은,
동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 교육자용 사용자 단말기 가동 단계;
동기화 디스플레이되는 미러링 디스플레이 이미지 데이터를 획득하는 미러링 디스플레이 데이터 획득 단계;
동기화 디스플레이되는 미러링 응용 운용 데이터를 획득하는 미러링 응용 데이터 획득 단계;
획득한 상기 미러링 디스플레이 이미지 데이터를 JPEG 형식으로 압축하는 이미지 압축 단계;
상기 압축 단계를 거쳐 압축한 인접하는 두 개의 상기 미러링 디스플레이 이미지가 동일한지 여부를 판정하여, 그 판정결과에 따라 상기 이미지를 전송할지 여부를 결정하는 이미지 전송 판정단계;
전송하기로 결정한 압축을 거친 상기 이미지 데이터와 상기 응용 데이터를 분할하여, 전송 데이터 패킷을 형성하는 결정된 전송 이미지 분할 단계;
UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송하는 데이터 패킷 전송 단계;
UDP 프로토콜에 기반하여 전송하는 경우, 스레드에 대하여 실시간 모니터링함으로써 손실된 패킷 데이터를 재발급하는 스레드 모니터링 단계;
상기 온라인교육 시스템 중의 만기 데이터를 폐기함으로써 원활한 네트워크 전송을 보장하는 만기 데이터 처리 단계;
데이터를 수신하는 상기 학습자용 사용자 단말기 상에 동기화 디스플레이를 실행하는 동기화 디스플레이 단계;를 포함한다.
상기 미러링 디스플레이 데이터는 교육자용 사용자 단말기의 화면에 디스플레이되는 내용인 것으로, 전자 화이트보드, 영사(映寫)입력 장치, 필기인식 입력장치, 칠판 또는 화이트보드 및 카메라와 촬영기를 포함하는 이미지 채집 장치로 채집한 이미지 데이터를 포함하고;
상기 채집된 이미지 데이터는 BMP 형식이거나 또는 BMP 형식으로 전환해야 한다.
교육자용 사용자 단말기 상의 클라이언트 단 또는 APP을 통해 지령, 및 Path 경로 좌표 데이터를 포함하는 좌표점 데이터를 기록 및 전송하는 방식으로 필요한 상기 미러링 응용 데이터를 획득한다.
상기 Path 경로 좌표 데이터의 기록과정은, 다음과 같다.
(A1) 기록한 Path 경로 좌표 데이터를 분석하여, 임시의 지령 좌표 스택에 저장한 후, 화면에 대한 초기 배치를 실행하여, 화면의 캔버스(Canvas) 상에 배경 패턴을 우선 설정하고;
(A2) 하나의 Bitmap를 새로 생성하여, 상기 Bitmap으로 하나의 임시 캔버스(temptCanvas)를 생성하고;
(A3) tempBitmap 배경을 투명하게 설정하는 것으로, 그 목적은 임시 캔버스(temptCanvas)의 목표를 새로 만든 tempBitmap 상에 배치하는 것이며;
(A4) 상기 구조배치를 거친 후, 지령 스택에서 좌표지령을 취출하여 일일이 환원하며, 임시 캔버스를 통해 재기록하고, 임시 캔버스의 모든 draw 함수는 모두 대응되는 이미지를 임시의 tempBitmap 상에 그리고, 이로써 동작 추적의 과정에서 점과 선은 temptCanvas를 호출하되, 원래의 화면 상의 Canvas를 호출하는 것은 아니고, temptCanvas.drawPoint, temptCanvasRect을 포함하며;
(A5) 모든 지령 좌표 스택을 수행 완료 후, Canvas.drawBitmap (tempBitmap,0,0,null)을 수행하고; temptCanvas는 각종 브러시 흔적을 tempBitmap 상에 그리고, Canvas는 tempBitmap을 화면 상에 그리는 것을 맡는다.
상기 이미지 압축 단계를 실행하기 전, 우선 압축되지 않은 상기 이미지 데이터를 백업하여, 원시 이미지 백업 데이터베이스를 형성함으로써, 사용자가 압축된 이미지를 수신하게 되어, 보다 정교한 이미지를 살펴보기를 원하는 경우, 상기 원시 이미지 백업 데이터베이스를 클릭하여 원시 이미지를 다운받을 수 있다.
상기 이미지 전송 판정 단계를 완료한 후, 학습자용 사용자 단말기로 전송하여 동기화 디스플레이하지 않기로 결정한 압축 이미지의 원시 백업 데이터를 상기 데이터베이스에서 삭제한다.
상기 이미지 압축단계는 추가로, JPEG 이미지 1차 압축 및 이미지 2차 압축을 포함한다.
상기 JPEG 이미지 1차 압축과정에서, 상기 이미지에 대하여 압축처리를 실행 시, 각각의 상기 이미지의 DC 고유값과 AC 고유값을 복사하여 다른 이름으로 별도의 데이터 파일로 저장하고;
상기 다른 이름으로 별도로 저장한 데이터 파일에 근거하여, 앞뒤로 인접된 두 폭의 이미지에 대한 상기 DC 및 AC 고유값의 차이값을, 즉, DC 및 AC 고유 벡터의 각 분량의 차이값의 총합을 순차적으로 계산하는 것으로, 차이값이 클수록 앞뒤로 인접한 두 폭의 이미지의 차이가 크다는 것을 의미하고, 차이값이 작거나 또는 차이가 없다는 것은 앞뒤로 인접한 두 폭의 이미지의 차이가 작거나 또는 없다는 것을 의미하는 것으로, 뒤쪽의 이미지를 학습자용 사용자 단말기에 전송하여 동기화하여 디스플레이할 필요가 없음을 판정한다.
상기 고유값의 차이값을 구하는 계산방법은, 다음과 같다.
앞뒤로 인접된 두 폭의 이미지의 DC 및 AC 고유값의 값을 대비하는 것으로,
DC 고유값의 값에 대해서는, 그 분량의 플러스 마이너스 부호를 대비하여, 만약 분량 부호가 동일하다면 1로 표기하고, 동일하지 않는다면 0으로 표기하며;
AC 고유값의 값에 대해서는, 설정된 대비 역치에 근거하여, 만약 분량의 차이값이 대비 역치를 초과하면 0으로 표기하고, 초과하지 않는다면 1로 표기하며;
이로써, 0 또는 1이란 숫자를 구하여, 이들을 더하여 그 총합을 구하면, 앞뒤로 인접한 두 폭의 이미지 간의 차이값을 얻을 수 있으며;
그 중, 0의 수가 많을 수록 고유 벡터의 차이가 크고, 이미지의 차이도 크다는 것을 의미한다.
DC 및 AC 고유값을 복사하여 다른 이름으로 저장하는 파일을 복수 개 설치하여, 하나의 폴더가 다 차게 되면, 다른 하나의 폴더를 사용하여 저장하며, 그 다음 시스템은 다시 상기 저장공간이 다 찬 폴더를 비워서 백업용으로 둔다.
긴 시간동안 앞뒤로 인접한 두 폭의 화면캡쳐 내용이 변화 없음을 검측하게 되면, 화면 이미지를 캡쳐하는 시간을 자동으로 연장시키다.
차이값이 일정 범위 내에서 기본적으로 안정적임을 검측하게 되면, 현재 스크린의 내용을 제1 버전의 판서내용으로 표기하고;
차이값에 비교적 큰 변화가 존재하는 것을 검측하게 되면, 새로운 버전의 판서 또는 새로운 디스플레이 내용이 시작된 것으로 판정한다.
상기 이미지 2차 압축단계는, 이미지의 크기와 시스템에서 지정한 문서의 바이트 수의 {최소치, 최대치}:{minSize, maxSize}에 근거하여,
만일 (image.getBytes()＞maxSize) 이면 {압축비율 = image.getBytes()/maxSize*시스템 정의 편이량} 이고, 그 외에는 {압축비율 = 1};로 압축비율을 설정하고,
압축 이미지로 구성된 이미지의 크기와 지정된 문서 바이트 수의 (minSize, maxSize}에 근거하여 이미지 압축 비율을 획득하는 것으로,
만약 이미지의 크기가 최대치보다 크다면, {압축비율 = 이미지 크기/최대치*시스템 정의 편이량} 이고, 만약 이미지의 크기가 최대치보다 크지 않다면, 압축비율 = 1 이며;
그 중, 상기 편이량을 0.4 ~ 0.6으로 설정한다.
상기 압축을 통해 획득한 JPEG 이미지 및 미러링 응용 데이터 패킷이 만약 메시지의 제한길이보다 큰 경우, 메시지 등비(等比)에 따라, 상기 JPEG 이미지 및 미러링 응용 데이터 패킷을 여러 개의 서브 데이터 패킷으로 분할하는 것으로, 즉,
여러 개의 임시 TMP 파일로 분할하는 것으로, 이런 분할된 임시 TMP 파일들은 네트워크를 통해 멀티 캐스트 방식으로 전송되고, 학습자용 사용자 단말기는 모든 분할된 TMP 파일을 획득한 후, 분할된 TMP파일을 합병시켜 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기에서 로컬 디스플레이한다.
데이터의 길이에 근거하여, 데이터를 동적으로 계산 및 분할하는 것으로, 가장 큰 분할 수량은 5 개를 초과하지 않도록 하여 이와 같은 두 조의 조건으로 종합 계산함으로써, 하나의 비교적 바람직한 메시지 데이터 그룹을 획득하여 전송한다.
상기 학습자용 사용자 단말기의 클라이언트 단에서 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 하였는지 여부를 검증하여, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고;
하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하고;
학습자용 사용자 단말기에서 상기 지령을 수신 받은 후, 교육자용 사용자 단말기로 피드백 신호를 전송한다.
상기 스레드 모니터링 단계는, 이하 단계를 포함한다.
(B1) 교육자용 사용자 단말기가 전송된 데이터 메시지에 대하여 서명 및 넘버링 하여, 매번 전송한 메시지 그룹의 ID의 통일과 유일함을 확보하고, 그 다음 데이터 메시지를 무선 AP의 멀티캐스트 주소에 전송하며, 그 범위는 234.5.*.* 멀티캐스트 네트워크 망 사이에 멀티캐스트 주소를 고정시키고, 교육자용 사용자 단말기는 프로그램 가동 시, 멀티캐스트 주소를 자동으로 계산하여, 하나의 네트워크 환경 내에서, 특히 근거리 통신 망 내에서, 각각의 수업강의가 모두 단독으로 하나의 멀티캐스트 주소를 점용하도록 하는 데이터 메시지 전송처리 단계;
(B2) 데이터 메시지 전송 후, 교육자용 사용자 단말기는 하나의 데몬 스레드를 가동시키고, 타이머를 가동시켜서, 재발급 스택(stack)을 구축함으로써, 본 회차의 전송 데이터와 전송목표를 재발급 스택에 저장하여, 데몬 스레드를 가동하는 시간에 도달한 후, 학습자용 사용자 단말기로부터 데이터 메시지 피드백을 수신 받지 않은 경우, 데몬 스레드는 데이터 메시지 재발급 처리를 가동시켜서 피드백이 없는 학습자용 사용자 단말기로 데이터 패킷을 재전송하는 데몬(Daemon) 스레드 가동 단계;
(B3) 교육자용 사용자 단말기는 멀티캐스트 UDP 데이터패킷을 전송 완료 후, 학습자용 사용자 단말기로부터 첫 번째 피드백 신호를 수신하게 되면, 자동적으로 피드백 데몬 스레드를 가동시키는 것으로, 상기 스레드는 분할 완료한 데이터패킷에 따라 사용자 단말기의 피드백에 대한 재전송 처리를 보장하며, 동시에 데몬 스레드를 정지시키는 피드백 데몬 스레드 가동 단계;
(B4) 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 되었는지 여부를 검증하고, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고; 하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하는 메시지 피드백 단계를 포함한다.
상기 만기 데이터의 처리 단계에 있어서, 그 구체적인 과정은, 다음과 같다.
(C1) 교육자용 사용자 단말기에서 멀티캐스트 메시지를 서버에 업로드 시키고, 서버는 네트워크 전송을 통해 멀티캐스트 메시지를 학습자용 사용자 단말기로 전송하고;
(C2) 학습자용 사용자 단말기가 멀티캐스트 메시지를 수신한 경우, 만약 메시지가 현재 처리 중인 메시지 그룹으로 서명되었다면, 메시지 정보를 스택 삽입하여 피드백 메시지를 교육자용 사용자 단말기로 전송하며;
(C3) 만약 학습자용 사용자 단말기에서 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 더 새로운 데이터인 것이라면, 스택 중의 데이터가 이미 만기 되었음을 의미하므로, 스택 중의 데이터를 비우게 되며, 이와 동시에 새로운 데이터를 스택 삽입하여, 메시지 데이터가 수신완료될 때까지 기다린 후 후속처리를 실행하며;
(C4) 만약 학습자용 사용자 단말기가 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 오래된 것이라면, 상기 수신된 데이터 메시지가 이미 만기되었음을 의미하므로, 시스템은 현재 수신한 데이터 메시지를 포기하며;
(C5) 교육자용 사용자 단말기가 학습자용 사용자 단말기로부터 데이터 메시지에 대한 피드백 메시지를 수신한 경우, 만약 메시지의 타임스탬프가 이미 만기되었다면, 학습자용 사용자 단말기에서 메시지를 늦게 수신 받았음을 의미하는 것으로, 데이터는 이미 만기된 것으로, 교육자용 사용자 단말기는 상기 데이터 메시지를 폐기하여 이에 대하여 기타 그 어떤 처리도 실행하지 않으며, 만약 수신된 데이터 메시지의 타임스탬프가 현재 전송된 데이터패킷이라면, 해당 피드백 메시지를 수신한다.
상기 동기화 디스플레이 단계는, 학습자용 사용자 단말기 상의 클라이언트 단 또는 APP에서,
이미지 서브 데이터 패킷 합병 디스플레이 모듈이 내장된 것으로, 수신된 여러 개의 임시 TMP 파일과 같은 여러 개의 서브 데이터 패킷을 합병하여, 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기 상에 디스플레이 하여, 미러링 디스플레이의 목적을 실현하고;
교육자용 사용자 단말기와 동일한 파일 조작 로직 모듈이 내장된 것으로, 미러링 응용과정에서, 학습자용 사용자 단말기는 본 회차 수업강의에 대한 전자파일 리소스를 사전에 로딩하고, 교육자가 생방송으로 강의하는 과정에서, 학습자용 사용자 단말기는 서버를 통해 획득한 지령 및 좌표점 데이터와 같은 교육자의 조작 전자파일에 대한 조작 지령 데이터를, 이미 내장한 로직 모듈을 이용하여 다운로드한 수업용 전자파일 리소스와 결합하여, 상기 로직모듈을 통해 교육자의 조작을 자동적으로 시뮬레이션 함으로써, 미러링 응용 디스플레이의 목적을 실현한다.
학습자용 사용자 단말기는 실시간으로 수신 받은 이미지에 대하여 로컬 디스플레이 함으로써, 수신 받은 일련의 동기화 이미지 데이터를 재생 가능한 동영상 스트림으로 저장하고;
상기 동영상 스트림의 방송과 교육자와 관련된 오디오 녹음을 시간 특징에 근거하여 매칭시켜, 음성을 갖는 동영상 스트림을 형성한다.
본 발명의 다른 하나의 목적에 따르면, 교육자용 사용자 단말기, 학습자용 사용자 단말기, 서버 및 네트워크를 포함하는 온라인교육 시스템에 사용되는 이미지에 대한 동기화 디스플레이 장치를 제공하는 것으로, 상기 이미지에 대한 동기화 디스플레이 장치는,
프로세서; 및
상기 프로세서에서 실행하는 실행 조작을 위한 컴퓨터 판독가능 프로그램 코드를 구비하는 컴퓨터 판독가능 저장매체;를 포함하는 것으로,
상기 조작은,
동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 교육자용 사용자 단말기 가동 단계;
동기화 디스플레이되는 미러링 디스플레이 이미지 데이터를 획득하는 미러링 디스플레이 데이터 획득 단계;
동기화 디스플레이되는 미러링 응용 운용 데이터를 획득하는 미러링 응용 데이터 획득 단계;
획득한 상기 미러링 디스플레이 이미지 데이터를 JPEG 형식으로 압축하는 이미지 압축 단계;
상기 압축 단계를 거쳐 압축한 인접하는 두 개의 상기 미러링 디스플레이 이미지가 동일한지 여부를 판정하여, 그 판정결과에 따라 상기 이미지를 전송할지 여부를 결정하는 이미지 전송 판정단계;
전송하기로 결정한 압축을 거친 상기 이미지 데이터와 상기 응용 데이터를 분할하여, 전송 데이터 패킷을 형성하는 결정된 전송 이미지 분할 단계;
UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송하는 데이터 패킷 전송 단계;
UDP 프로토콜에 기반하여 전송하는 경우, 스레드에 대하여 실시간 모니터링함으로써 손실된 패킷 데이터를 재발급하는 스레드 모니터링 단계;
상기 온라인교육 시스템 중의 만기 데이터를 폐기함으로써 원활한 네트워크 전송을 보장하는 만기 데이터 처리 단계;
데이터를 수신하는 상기 학습자용 사용자 단말기 상에 동기화 디스플레이를 실행하는 동기화 디스플레이 단계;를 포함한다.
상기 미러링 디스플레이 데이터는 교육자용 사용자 단말기의 화면에 디스플레이되는 내용인 것으로, 전자 화이트보드, 영사(映寫)입력 장치, 필기인식 입력장치, 칠판 또는 화이트보드 및 카메라와 촬영기를 포함하는 이미지 채집 장치로 채집한 이미지 데이터를 포함하고;
상기 채집된 이미지 데이터는 BMP 형식이다.
교육자용 사용자 단말기 상의 클라이언트 단 또는 APP을 통해 지령, 및 Path 경로 좌표 데이터를 포함하는 좌표점 데이터를 기록 및 전송하는 방식으?로? 필요한 상기 미러링 응용 데이터를 획득한다.
상기 Path 경로 좌표 데이터의 기록과정은, 다음과 같다.
(A1) 기록한 Path 경로 좌표 데이터를 분석하여, 임시의 지령 좌표 스택에 저장한 후, 화면에 대한 초기 배치를 실행하여, 화면의 캔버스(Canvas) 상에 배경 패턴을 우선 설정하고;
(A2) 하나의 Bitmap를 새로 생성하여, 상기 Bitmap으로 하나의 임시 캔버스(temptCanvas)를 생성하고;
(A3) tempBitmap 배경을 투명하게 설정하는 것으로, 그 목적은 임시 캔버스(temptCanvas)의 목표를 새로 만든 tempBitmap 상에 배치하는 것이며;
(A4) 상기 구조배치를 거친 후, 지령 스택에서 좌표지령을 취출하여 일일이 환원하며, 임시 캔버스를 통해 재기록하고, 임시 캔버스의 모든 draw 함수는 모두 대응되는 이미지를 임시의 tempBitmap 상에 그리고, 이로써 동작 추적의 과정에서 점과 선은 temptCanvas를 호출하되, 원래의 화면 상의 Canvas를 호출하는 것은 아니고, temptCanvas.drawPoint, temptCanvasRect을 포함하며;
(A5) 모든 지령 좌표 스택을 수행 완료 후, Canvas.drawBitmap (tempBitmap,0,0,null)을 수행하고; temptCanvas는 각종 브러시 흔적을 tempBitmap 상에 그리고, Canvas는 tempBitmap을 화면 상에 그리는 것을 맡는다.
상기 이미지 압축 단계를 실행하기 전, 우선 압축되지 않은 상기 이미지 데이터를 백업하여, 원시 이미지 백업 데이터베이스를 형성함으로써, 사용자가 압축된 이미지를 수신하게 되어, 보다 정교한 이미지를 살펴보기를 원하는 경우, 상기 원시 이미지 백업 데이터베이스를 클릭하여 원시 이미지를 다운받을 수 있다.
상기 이미지 전송 판정 단계를 완료한 후, 학습자용 사용자 단말기로 전송하여 동기화 디스플레이 하지 않기로 결정한 압축 이미지의 원시 백업 데이터를 상기 데이터베이스에서 삭제한다.
상기 이미지 압축단계는 추가적으로, JPEG 이미지 1차 압축 및 이미지 2차 압축을 포함한다.
상기 JPEG 이미지 1차 압축과정에서, 상기 이미지에 대하여 압축처리를 실행 시, 각각의 상기 이미지의 DC 고유값과 AC 고유값을 복사하여 다른 이름으로 별도의 데이터 파일로 저장하고;
상기 다른 이름으로 별도로 저장한 데이터 파일에 근거하여, 앞뒤로 인접된 두 폭의 이미지에 대한 상기 DC 및 AC 고유값의 차이값을, 즉, DC 및 AC 고유 벡터의 각 분량의 차이값의 총합을 순차적으로 계산하는 것으로, 차이값이 클수록 앞뒤로 인접한 두 폭의 이미지의 차이가 크다는 것을 의미하고, 차이값이 작거나 또는 차이가 없다는 것은 앞뒤로 인접한 두 폭의 이미지의 차이가 작거나 또는 없다는 것을 의미하는 것으로, 뒤쪽의 이미지를 학습자용 사용자 단말기에 전송하여 동기화하여 디스플레이할 필요가 없음을 판정한다.
상기 고유값의 차이값을 구하는 계산방법은, 다음과 같다.
앞뒤로 인접된 두 폭의 이미지의 DC 및 AC 고유값의 값을 대비하는 것으로,
DC 고유값의 값에 대해서는, 그 분량의 플러스 마이너스 부호를 대비하여, 만약 분량 부호가 동일하다면 1로 표기하고, 동일하지 않는다면 0으로 표기하며;
AC 고유값의 값에 대해서는, 설정된 대비 역치에 근거하여, 만약 분량의 차이값이 대비 역치를 초과하면 0으로 표기하고, 초과하지 않는다면 1로 표기하며;
이로써, 0 또는 1이란 숫자를 구하여, 이들을 더하여 그 총합을 구하면, 앞뒤로 인접한 두 폭의 이미지 간의 차이값을 얻을 수 있으며;
그 중, 0의 수가 많을 수록 고유 벡터의 차이가 크고, 이미지의 차이도 크다는 것을 의미한다.
DC 및 AC 고유값을 복사하여 다른 이름으로 저장하는 파일을 복수 개 설치하여, 하나의 폴더가 다 차게 되면, 다른 하나의 폴더를 사용하여 저장하며, 그 다음 시스템은 다시 상기 저장공간이 다 찬 폴더를 비워서 백업용으로 둔다.
긴 시간동안 앞뒤로 인접한 두 폭의 화면캡쳐 내용이 변화 없음을 검측하게 되면, 화면 이미지를 캡쳐하는 시간을 자동으로 연장시킨다.
차이값이 일정 범위 내에서 기본적으로 안정적임을 검측하게 되면, 현재 스크린의 내용을 제1 버전의 판서내용으로 표기하고;
차이값에 비교적 큰 변화가 존재하는 것을 검측하게 되면, 새로운 버전의 판서 또는 새로운 디스플레이 내용이 시작된 것으로 판정한다.
상기 이미지 2차 압축단계는, 이미지의 크기와 시스템에서 지정한 문서의 바이트 수의 {최소치, 최대치}:{minSize, maxSize}에 근거하여,
만일 (image.getBytes()＞maxSize) 이면 {압축비율 = image.getBytes()/maxSize*시스템 정의 편이량} 이고, 그 외에는 {압축비율 = 1};로 압축비율을 설정하고,
압축 이미지로 구성된 이미지의 크기와 지정된 문서 바이트 수의 (minSize, maxSize}에 근거하여 이미지 압축 비율을 획득하는 것으로,
만약 이미지의 크기가 최대치보다 크다면, {압축비율 = 이미지 크기/최대치*시스템 정의 편이량} 이고, 만약 이미지의 크기가 최대치보다 크지 않다면, 압축비율 = 1 이며;
그 중, 상기 편이량을 0.4 ~ 0.6으로 설정한다.
상기 압축을 통해 획득한 JPEG 이미지 및 미러링 응용 데이터 패킷이 만약 메시지의 제한길이보다 큰 경우, 메시지 등비(等比)에 따라, 상기 JPEG 이미지 및 미러링 응용 데이터 패킷을 여러 개의 서브 데이터 패킷으로 분할하는 것으로, 즉,
여러 개의 임시 TMP 파일로 분할하는 것으로, 이런 분할된 임시 TMP 파일들은 네트워크를 통해 멀티 캐스트 방식으로 전송되고, 학습자용 사용자 단말기는 모든 분할된 TMP 파일을 획득한 후, 분할된 TMP파일을 합병시켜 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기에서 로컬 디스플레이한다.
데이터의 길이에 근거하여, 데이터를 동적으로 계산 및 분할하는 것으로, 가장 큰 분할 수량은 5 개를 초과하지 않도록 하여 이와 같은 두 조의 조건으로 종합 계산함으로써, 하나의 비교적 바람직한 메시지 데이터 그룹을 획득하여 전송한다.
상기 학습자용 사용자 단말기의 클라이언트 단에서 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 하였는지 여부를 검증하여, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고;
하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하고;
학습자용 사용자 단말기에서 상기 지령을 수신 받은 후, 교육자용 사용자 단말기로 피드백 신호를 전송한다.
상기 스레드 모니터링 단계는, 이하 단계를 포함한다.
(B1) 교육자용 사용자 단말기가 전송된 데이터 메시지에 대하여 서명 및 넘버링 하여, 매번 전송한 메시지 그룹의 ID의 통일과 유일함을 확보하고, 그 다음 데이터 메시지를 무선 AP의 멀티캐스트 주소에 전송하며, 그 범위는 234.5.*.* 멀티캐스트 네트워크 망 사이에 멀티캐스트 주소를 고정시키고, 교육자용 사용자 단말기는 프로그램 가동 시, 멀티캐스트 주소를 자동으로 계산하여, 하나의 네트워크 환경 내에서, 특히 근거리 통신 망 내에서, 각각의 수업강의가 모두 단독으로 하나의 멀티캐스트 주소를 점용하도록 하는 데이터 메시지 전송처리 단계;
(B2) 데이터 메시지 전송 후, 교육자용 사용자 단말기는 하나의 데몬 스레드를 가동시키고, 타이머를 가동시켜서, 재발급 스택(stack)을 구축함으로써, 본 회차의 전송 데이터와 전송목표를 재발급 스택에 저장하여, 데몬 스레드를 가동하는 시간에 도달한 후, 학습자용 사용자 단말기로부터 데이터 메시지 피드백을 수신 받지 않은 경우, 데몬 스레드는 데이터 메시지 재발급 처리를 가동시켜서 피드백이 없는 학습자용 사용자 단말기로 데이터 패킷을 재전송하는 데몬(Daemon) 스레드 가동 단계;
(B3) 교육자용 사용자 단말기는 멀티캐스트 UDP 데이터패킷을 전송 완료 후, 학습자용 사용자 단말기로부터 첫 번째 피드백 신호를 수신하게 되면, 자동적으로 피드백 데몬 스레드를 가동시키는 것으로, 상기 스레드는 분할 완료한 데이터패킷에 따라 사용자 단말기의 피드백에 대한 재전송 처리를 보장하며, 동시에 데몬 스레드를 정지시키는 피드백 데몬 스레드 가동 단계;
(B4) 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 되었는지 여부를 검증하고, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고; 하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하는 메시지 피드백 단계를 포함한다.
상기 만기 데이터의 처리 단계에 있어서, 그 구체적인 과정은, 다음과 같다.
(C1) 교육자용 사용자 단말기에서 멀티캐스트 메시지를 서버에 업로드 시키고, 서버는 네트워크 전송을 통해 멀티캐스트 메시지를 학습자용 사용자 단말기로 전송하고;
(C2) 학습자용 사용자 단말기가 멀티캐스트 메시지를 수신한 경우, 만약 메시지가 현재 처리 중인 메시지 그룹으로 서명되었다면, 메시지 정보를 스택 삽입하여 피드백 메시지를 교육자용 사용자 단말기로 전송하며;
(C3) 만약 학습자용 사용자 단말기에서 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 더 새로운 데이터인 것이라면, 스택 중의 데이터가 이미 만기 되었음을 의미하므로, 스택 중의 데이터를 비우게 되며, 이와 동시에 새로운 데이터를 스택 삽입하여, 메시지 데이터가 수신완료될 때까지 기다린 후 후속처리를 실행하며;
(C4) 만약 학습자용 사용자 단말기가 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 오래된 것이라면, 상기 수신된 데이터 메시지가 이미 만기되었음을 의미하므로, 시스템은 현재 수신한 데이터 메시지를 포기하며;
(C5) 교육자용 사용자 단말기가 학습자용 사용자 단말기로부터 데이터 메시지에 대한 피드백 메시지를 수신한 경우, 만약 메시지의 타임스탬프가 이미 만기되었다면, 학습자용 사용자 단말기에서 메시지를 늦게 수신 받았음을 의미하는 것으로, 데이터는 이미 만기된 것으로, 교육자용 사용자 단말기는 상기 데이터 메시지를 폐기하여 이에 대하여 기타 그 어떤 처리도 실행하지 않으며, 만약 수신된 데이터 메시지의 타임스탬프가 현재 전송된 데이터패킷이라면, 해당 피드백 메시지를 수신한다.
상기 동기화 디스플레이 단계는, 학습자용 사용자 단말기 상의 클라이언트 단 또는 APP에서,
이미지 서브 데이터 패킷 합병 디스플레이 모듈이 내장된 것으로, 수신된 여러 개의 임시 TMP 파일과 같은 여러 개의 서브 데이터 패킷을 합병하여, 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기 상에 디스플레이 하여, 미러링 디스플레이의 목적을 실현하고;
교육자용 사용자 단말기와 동일한 파일 조작 로직 모듈이 내장된 것으로, 미러링 응용과정에서, 학습자용 사용자 단말기는 본 회차 수업강의에 대한 전자파일 리소스를 사전에 로딩하고, 교육자가 생방송으로 강의하는 과정에서, 학습자용 사용자 단말기는 서버를 통해 획득한 지령 및 좌표점 데이터와 같은 교육자의 조작 전자파일에 대한 조작 지령 데이터를, 이미 내장한 로직 모듈을 이용하여 다운로드한 수업용 전자파일 리소스와 결합하여, 상기 로직모듈을 통해 교육자의 조작을 자동적으로 시뮬레이션 함으로써, 미러링 응용 디스플레이의 목적을 실현한다.
학습자용 사용자 단말기는 실시간으로 수신 받은 이미지에 대하여 로컬 디스플레이 함으로써, 수신 받은 일련의 동기화 이미지 데이터를 재생 가능한 동영상 스트림으로 저장하고;
상기 동영상 스트림의 방송과 교육자와 관련된 오디오 녹음을 시간 특징에 근거하여 매칭시켜, 음성을 갖는 동영상 스트림을 형성한다.
본 발명의 또 다른 하나의 목적에 따르면, 서버와 복수 개의 사용자 단말기를 포함하는 온라인 교육 시스템을 제공하는 것으로, 상술한 방법 또는 상술한 이미지에 대한 동기화 디스플레이 장치를 실행 가능한 것으로, 상기 복수 개의 사용자 단말기 중의 하나의 스크린에 디스플레이되는 이미지 내용을 기타의 상기 단말기 상에 전송하여 동기화 디스플레이를 실현하는 것을 특징으로 한다.
본 발명에 따른 방법 및 장치를 사용함으로써, 시스템이 정해진 시간에 화면 내용을 캡쳐 및 압축처리를 하므로, 언제든지 전송할 수 있는 능력을 구비하게 되어, 전송효과를 향상시키고, 전송 시간을 단축시킨다. 이미지 압축과정에서 분석하여 획득한 고유값의 값을 이용하여 화면캡쳐한 이미지내용을 신속히 대비함으로써, 동기화 이미지에 대한 지능적인 판단을 실현하여, 자동적으로 동기화하여 전송하기 때문에 수동 조작을 할 필요가 없으며, 뿐만 아니라, 중복되는 전송을 최대한 방지하였기 때문에, 학습자용 사용자 단말기의 저장 압력을 줄였고, 또한 내용의 전면성도 보장한다. 이 외, 스크린의 이미지 내용에 대하여 표기와 판정을 함으로써, 학습자의 복습효율을 향상시키는데 유리하다. 예를 들어, 복습할 때, 직접 각각의 판서에 대한 마지막 몇 개의 판서를 볼 수 있는데, 이는 일반적으로 비교적 전면적인 판서 내용인 것으로, 앞의 과정의 판서 이미지를 일일이 검색할 필요가 없기 때문에 복습효율을 향상시킨다. 또한, 설명과정과 진도를 확인하고자 할 시에도 그 관련내용을 놓치지 않게 된다.
본 발명의 온라인 교육시스템은 고정된 강의실, 교단, 교과서, 칠판, 분필 등으로 구성된 전통의 교육시스템 및 방식에서 벗어나, 현대화한 인터넷 인터랙티브 형의 교육방식을 실현하여, 시공간의 제한에서 벗어난 것으로, 데이터베이스에 저장된 전자 교본을 통해, 무거운 교과서를 휴대하고 다녀야 하는 부담감을 줄였고, 교육효율과 인터랙티브 및 재미를 향상시켰다.
본 발명의 사용자 단말기는 가볍고, 정교하게 설계하여, 휴대하기 편리하기 때문에, 종래의 전자교실의 교육 시스템에 존재하는, 기존 데스크톱 프레임이 무겁고, 차지하는 공간이 크며, 설비 또한 많고, 배선이 복잡하며 조작이 불편하고 고장해결이 어려운 문제들을 효과적으로 해결하였다.
미러링 교육은 학습자로 하여금, 수업시간에 언제든지 교육자가 표기한 중점지식을 볼수 있고, 교육자 역시 강의하는 과정에서 수시로 교안(敎案)에 대하여 마킹할 수 있으므로, 모든 학생들이 자신의 교육 디바이스 상에서 교육자의 평어와 주해를 볼수 있게 되어, 관련 지식 포인트를 보다 명확이 할 수 있다. 이는 기존의 학습자가 교실에서 교육자의 강의진도에 따라가지 못하고, 교육자의 설명에도 따라가지 못하는 문제점을 해결한다.
고비율의 이미지 압축방법을 통해, 전송하는 동영상 스트림 및 이미지의 수량 크기를 줄일 수 있는 것으로, 학습자는 귀가 후, 수업강의를 재생하여, 본인이 누락하거나 정확히 이해하지 못한 부분을 다시 확인함으로써, 학습효과를 다질 수 있다.
본 발명의 핵심은, 종래기술에 기반하여, 시스템에 대한 유기적인 결합방식을 통해서 온라인 교육시스템에서의 이미지와 응용 이미지 데이터를 동기화하여 디스플레이하는 문제점을 해결한 것으로, 일부 기술의 사용에 있어서, 개별적인 종래기술에서 이미 단독으로 응용했을 수 있으나, 단, 이런 기술들을 유기적으로 결합하여 시스템화하여 개선한 진보적인 응용에 대해서는 그 어떤 계시(啓示)와 공개된 바도 없으며, 본 발명의 예기치 못하는 기술적효과도 취득한 바가 없다.
도 1은 종래기술의 JPEG 이미지 압축단계이다.
도 2는 본 발명에 따른 온라인 교육시스템에 대한 기본 구성 설명도이다.
도 3은 본 발명에 따른 온라인 교육시스템에 대한 상세 설명도이다.
도 4는 본 발명에 따른 온라인 교육시스템에 대한 사용자 단말기 설명도이다.
도 5는 본 발명에 따른 동기화 디스플레이 방법에 대한 기본 단계 설명도이다.
도 6a 내지 도 6c는 본 발명에 따른 경로 좌표 데이터를 획득하는 과정에 대한 설명도이다.
도 7은 본 발명에 따른 그래픽 압축을 나타내는 흐름도이다.
도 8은 본 발명에 따른 JPEG 밝기와 채도에 대한 양자화 테이블이다.
도 9는 본 발명에 따른 지그재그 스캐닝 후의 DCT 고유값의 시퀀스 번호이다.
도 10은 본 발명에 따른 UDP 프로토콜에 기반한 데이터 전송 아키텍처에 대한 설명도이다.
도 11은 본 발명에 따른 스레드 모니터링에 대한 설명도이다.
도 12는 본 발명에 따른 학습자용 사용자 단의 미러링 디스플레이에 대한 설명도이다.
도 13은 본 발명에 따른 학습자 사용자 단의 피드백 메커니즘에 대한 설명도이다.
도 2에서 도시하는 바와 같이, 본 발명의 이미지 동기화 디스플레이 방법에 관한 온라인교육 시스템에 대한 설명도에 따르면, 상기 온라인교육 시스템은, 백엔드 서버, 복수 개의 사용자 단말기(학습자 단말기, 교육자용 교육 단말기) 및 인터넷을 포함하고, 상기 서버는, 로컬 서버 및/또는 원격 호스트 상에 배치된 원격 서버 또는 네트워크 클라우드 단의 클라우드 서버로 구성될 수 있고, 상기 온라인교육 시스템의 클라이언트 단은 상기 사용자 단말기 상에서 운행된다. 이 외, 또한 프로젝트 장비 등을 포함할 수도 있다. 상기 네트워크는 인터넷인 것으로, 근거리 통신망(예를 들어, 교내 전산망)과 광대역 인터넷일 수 있고, 유선 인터넷일 수도 있고, 무선 인터넷일 수도 있으며, 또는 상기 네트워크의 임의의 조합일 수도 있다. 상기 클라이언트 단은 각종 소프트웨어 클라이언트 단 또는 휴대폰 앱으로 구성될 수 있다.
도 3에서 도시하는 바와 같이, 본 발명의 이미지 동기화 디스플레이 방법에 관한 온라인교육 시스템에 대한 구체적인 예시도에 따르면, 상기 온라인교육 시스템 예시는, 클라우드 데이터 센터부, 교내 전산망 모드부, 인터넷 다이렉트 연결 모드부를 포함한다. 상기 클라우드 데이터 센터부는, 적어도 하나의 도서 콘텐츠, 커리큘럼 콘텐츠, 교육 소프트웨어, 동영상 콘텐츠를 포함할 수 있는 서버를 포함한다. 상기 교내 전산망 모드부는, 접속 스위치, 교내 로컬 서버, 교내 AC 엑세스 포인트 및 분리된 가상랜에 의해 연결되어 교실에 설치된 복수의 클래스 AP를 포함하며, 각각의 교실에는 복수 개의 학습자 단말기, 투영장치, 전자 화이트보드 및 교육자 단말기를 포함한다. 상기 인터넷 다이렉트 연결 모드부는 인터넷을 통해서 메타 데이터 센터와 직접 연결가능한 것으로, 별도의 교내 전산망 서버를 필요로 하지 않는다.
다시 한번 언급해야 할 점으로는, 본 발명에 따른 상기 온라인교육은 학습자와 교육자에 대한 교육방식에 국한된 것이 아닌 것으로, 교육자 사용자와 학습자 사용자, 또는 교육훈련 사용자를 참여주체로 하는 온라인 네트워크 교육, 원격 네드워크 교육, 로컬 네트워크 교육;과 기관·단체·기업체 직원 등을 참여주체로 하는 온라인 네트워크 회의, 원격 네트워크 회의, 로컬 네트워크 회의 및 기타의 네트워크를 이용하여 진행하는 원격 협동 작업 등과 같은 온라인 커뮤니케이션 및/또는 파일내용 전시의 커뮤니케이션/인터렉션 형식을 포함할 수 있다.
도 4에서 도시하는 바와 같이, 본 발명의 온라인교육 시스템의 사용자단말기에 대한 구조설명도에 따르면, 본 발명의 온라인교육 시스템은 전형적인 사용자단말기를 사용할 수 있으나, 단, 본 발명은 이와 같은 사용자단말기에 의해 한정되지는 않는다. 이와 같은 전형적인 단말기에 대한 자세한 설명은 중국발명특허출원 201410553620.8를 참조 바라며, 그 구조에 대한 자세한 소개는 생략한다. 간단히 설명하면 다음과 같다.
상기 사용자 단말기는 호스트(1)를 포함하는 것으로, 상기 호스트(1)는 바닥 케이스(11)와 중간 프레임(14)을 포함하고, 바닥 케이스(11)와 중간 프레임(14) 사이에는 메인보드(12), 액정 스크린(13) 및 터치 스크린(15)이 고정되어 장착되며, 상기 메인보드(12) 상에는 메인보드 회로가 설치되고, 상기 메인보드 회로는 상술한 오디오 노이즈 감소 회로 및 CPU 칩을 포함하며, 상기 CPU와 상기 오디오 노이즈 감소 회로에서 CM6571 칩은 USB 인터페이스에 의해 연결된다. 상기 터치 스크린(15)은 정전용량-전자기 유도식 복합형 이중층 터치 스크린인 것으로, 상부 층은 정전용량식 스크린이고, 하부 층은 전자기 유도식 스크린이다.
메인보드(12) 상에는 배터리(121), 3G 모듈, SIM 카드슬롯, IC 카드슬롯(124) 및 자기헤드(123)가 더 설치되는 것으로, 상기 3G 모듈, SIM 카드슬롯, IC 카드슬롯(124) 및 자기헤드(123)는 모두 메인보드 회로와 연결되고, 메인보드 회로와 배터리(121)와 연결됨으로써 배터리(121)를 통해 전원을 공급 받으며; 자기헤드(123)는 자기 스트라이프의 정보를 읽어 들이고, IC 카드슬롯(124)은 IC카드를 삽입하여 IC카드의 정보를 읽어 들인다. 본 발명은 IC 카드슬롯 및 자기헤드를 통해 은행카드를 결제 가능함으로써, 교육훈련 단체의 현장지불을 용이하게 할 수 있을 뿐만 아니라, 동시에 회원카드를 발급 가능함으로써, 카드출석체크 및 회원관리의 목적을 실현할 수 있다.
메인보드(12) 상에는 FPC 커넥터(122)가 설치되어, 상기 FPC 커넥터(122)에 의해 액정 스크린(13)과 연결 가능하다.
바닥케이스(11)의 후단부에는 하나의 개구홈(111)이 설치되고, 중간 프레임(14)의 후단부에는 하나의 수용홈(2)이 설치되며, 상기 수용홈(2)은 상기 개구홈(111) 안에 대응되게 위치되며, 상기 개구함(111) 안에는 하나의 회전하여 오픈 가능한 회전덮개(3)가 더 설치되는데, 상기 회전덮개(3)는 회전하여 수용홈(2)과 대응함으로써 수용홈(2)과 함께 하나의 밀봉캐비티를 형성할 수 있다. 바닥케이스(11)의 후단부에는 하나의 삽입홀(112)이 더 설치되고, 상기 삽입홀(112)에 전자기펜(7)을 대응되게 고정시킬 수 있고, 상기 전자기펜(7)에는 제어회로, 전자기펜 감지모듈 및 전원공급 배터리가 내장되고, 상기 제어회로와 전자기펜 감지모듈 및 전원공급 배터리는 전기적으로 연결되는 것으로, 일단부는 전자기펜 펜촉으로 구성되고, 다른 일단부는 레이터펜 펜촉으로 구성되며, 전자기펜 중간부에는 제어회로와 연결되는 노이즈 감소 마이크가 설치되고, 상기 제어회로에는 사운드 신호를 전송하는 블루투스 모듈이 설치되는 것으로, 상기 전자기펜으로 직접 터치 스크린 상에서 필기할 수 있을 뿐만 아니라, 동시에 상기 전자기펜을 손에 쥐어 마이크와 레이저 리모콘으로 사용할 수 도 있다.
바닥케이스(11)의 바닥부에는 3G 모듈을 고정하는 하나의 카드덮개(115)개 더 설치되고, 이 외, 비교적 좋은 시야를 확보하기 위하여 바닥케이스(11)의 후단 바닥부에 하나의 후단 지지패드(114)를 설치하고, 전단 바닥부에 하나의 전단 지지패드(113)를 설치함으로써, 호스트(1)가 전체적으로 소정의 경사도를 갖도록 하여 사용자의 시청과 사용에 편리함을 부여한다.
고속 촬영기는 상기 수용홈(2)에 설치되는 것으로, 고속 촬영기는 메인 거치대(4), 서브 거치대(5) 및 촬영봉(6)을 포함한다. 상기 메인 거치대(4)의 일단은 샤프트 부재(41)에 의해 수용홈(2)에 고정되어 장착된 연결부재(42)와 회전 가능하게 연결되고, 다른 일단은 제1 수직 샤프트(54)에 의해 서브 거치대(5)의 일단에 가동되게 연결된다.
서브 거치대(5)는 서브 거치대 상부 덮개(51), 서브 거치대 하부 덮개(52) 및 서브 거치대 상부 덮개(51)와 서브 거치대 하부 덮개(52) 사이에 장착된 회로패널(53)을 포함하는 것으로, 상기 회로패널(53)은 메인 거치대(4) 내에 설치된 회로를 통해 메인보드(12) 상의 메인보드 회로와 연결된다.
다시 말해서, 사용 가능한 사용자 단말기는 프로세서, 네트워크 모듈, 제어모듈, 디스플레이 모듈 및 스마트 운영시스템을 포함하고; 상기 사용자 단말기 상에는 데이터 버스에 의해 각종 증설형 디바이스 및 부자재에 연결되는 여러가지 데이터 인터페이스가 설치될 수 있으며; 상기 스마트 운영시스템은 Windows, Android 및 그 개선 시스템, ISO 플랫폼을 포함하는 것으로, 응용 소프트웨어를 장착 및 운행 가능하여, 스마트 운영시스템 하에서 각종 응용 소프트웨어, 서비스 및 응용 프로그램의 스토어/플랫폼 기능을 실현할 수 있다.
상기 사용자 단말기는 해당 성능요구에 만족하는 개인 사용자의 각종 모바일, 예를 들어 태블릿 PC, 스마트폰, 노트북 등을 디바이스에 접속시킬 수 있다. 단, 상기 디바이스들은 본 발명에 기반한 방법 또는 장치의 응용 소프트웨어가 장착되어야 한다. 예를 들어, 별도로 제작한 10.1 인치의 Android 태블릿 PC를 사용할 수 있다. 상기 사용자 단말기는 계정을 등록하고 시스템에 접속한 클라이언트를 사용하여야 한다. 사용자 단말기는 교육자용 사용자 단말기, 학습자용 사용자 단말기 및 학부모용 사용자 단말기 등을 포함할 수 있는 것으로, 서로 다른 사용자는 서로 다른 신분으로 대응되는 사용자 단말의 클라이언트 단에 접속하고, 디바이스는 대응되는 시스템 인터페이스에 접속하여 대응되는 기능을 실현한다.
본 발명에서, 상기 사용자 단말기는 RJ45/Wi-Fi/블루투스/2G/3G/4G/G.hn/Zigbee/Z-ware/RFID 등의 네트워크 연결방식에 의해 인터넷에 접속할 수 있으며, 또한 인터넷에 의해 기타 단말기 또는 기타 컴퓨터 및 디바이스에 접속할 수 있으며, 1394/USB/직렬/SATA/SCSI/PCI-E/Thunderbolt/데이터카드 인터페이스 등 여러 가지 데이터 인터페이스 또는 버스 방식과, HDMI/YpbPr/SPDIF/AV/VGA/TRS/SCATR/Displayport 등 오디오/동영상 인터페이스 등의 연결방식을 통해서, 각종 증설형 디바이스 및 부자재를 연결함으로써, 하나의 회의/교학 디바이스 인터랙티브 플랫폼 시스템을 조성할 수 있다.
상기 사용자 단말기는 소프트웨어 형식의 사운드 포착 제어모듈과 동작 포착 제어모듈을 가질 수 있고, 또는 데이터 버스에 의해 하드웨어를 집성하는 형식의 사운드 포착 제어모듈과 동작 포착 제어모듈을 가질 수 있는 것으로써, 사운드 제어와 형상제어 기능을 실현하고; 오디오/동영상 인터페이스를 통해 디스플레이/투영 모듈, 마이크, 음향 설비 및 기타 오디오/동영상 디바이스에 연결함으로써, 디스플레이, 투영, 사운드 입력, 오디오/동영상 재생 및 디지털 또는 아날로그의 오디오/동영상 입력과 출력 기능을 실현하며; 데이터 인터페이스를 통해 웹캠, 마이크, 전자 화이트보드, RFID 판독 디바이스에 연결함으로써, 영상 입력, 사운드 입력, 전자 화이트보드에 대한 사용제어 및 스크린 샷, RFID 판독 기능을 실현하고, 대응되는 인터페이스를 통해 모바일 저장장치, 디지털 장치 및 기타 디바이스에 접속 및 관리제어를 할 수 있으며; DLNA/IGRS 기술과 인터넷 네트워크 기술을 통해 멀티 스크린 디바이스 간의 조작제어, 인터랙티브 및 샤이킹 스크린(shaking screen) 등을 포함한 기능을 실현한다.
본 발명에서, 상기 프로세서에 대한 정의는 이하의 내용을 포함하나, 단 이하의 내용에 한정되지는 않는다. 지령 실행 시스템은, 예를 들어, 컴퓨터/프로세서에 기반한 시스템, 전용 집성회로(ASIC), 컴퓨터 디바이스, 또는 비일시적 저장매체 또는 비일시적 컴퓨터 판독가능 저장매체로부터 로직을 취득 또는 획득하여 비일시적 저장매체 또는 비일시적 컴퓨터 판독가능 저장매체에 포함하는 지령을 수행하는 하드웨어 및/또는 소프트웨어 시스템이다. 상기 프로세서는 또한, 임의의 제어기를 포함 가능한 것으로, 상태기계, 마이크로 프로세서, 인터넷에 기반한 실체, 서비스 또는 특징, 또는 이들의 임의의 기타의 아날로그, 디지털 및/또는 기계의 실현방식과 같은 임의의 실현방식을 포함할 수 있다.
본 발명에서, 컴퓨터 판독가능 저장매체에 대한 정의는 이하의 내용을 포함하나, 단 이하의 내용에 한정되지는 않는다. 프로그램, 정보 및 데이터를 저장 또는 유지하는 임의의 매체를 포함할 수 있다. 컴퓨터 판독가능 저장매체는 수많은 물리매체 중의 임의의 일종을 포함하는 것으로, 전자 매체, 자성 매체, 광 매체, 전자기 매체 또는 반도체 매체를 예로 들 수 있다. 컴퓨터 판독가능 저장매체 및 사용자 단말기와 서버로써 적합한 저장장치를 보다 구체적으로 예를 들면, 자성 컴퓨터 디스크(예를 들어, 플로피 디스켓 또는 하드 디스크 장치), 카세트 테잎, 램(RAM), 읽기전용 메모리(ROM), 이피롬(EPROM), CD 또는 DVD, 블루레이 디스크, SSD 디스크, 플래시 메모리를 포함할 수 있으나, 단 이들에 한정되지는 않는다.
상기 백엔드 서버는 교육자용 사용자 단말기에서 녹화하여 업로드한 커리큘럼 정보를 저장 가능하며, 커리큘럼을 녹화한 ID 및 타임스탬프를 통해 상기 커리큘럼 정보와 매칭을 한다. 상기 백엔드 서버 상에는 Cent OS 6.4 또는 그 이상의 시스템이 배치되고, MQL 데이터베이스를 이용하여 오디오, 동영상 및 텍스트파일을 포함하는 단말 인터랙티브 데이터를 저장함으로써, 판독 및 호출을 하도록 목록과 색인을 형성하며, 또한, 시스템 운영 중에 생성한 이벤트 정보, 등록 정보, 스케쥴 정보를 포함하는 정보를 저장함으로써, 코스웨어 편집 관리시스템이 코스웨어에 대한 업로드 및 관리를 하도록 한다.
상기 교육자용 사용자 단말기, 학습자용 사용자 단말기 및 백엔드 서버 간에는 네트워크로 연결되는 것으로, 삼자(三者) 간에는 RJ45 인터페이스를 통해 유선통신을 실현할 수 있고, 또는 WIFI 모듈, 3GPCI-E 모듈 및 2G, 3G, 4G, 5G 모듈 등의 각종 사용 가능한 상업용 무선통신 방식을 통해 무선 네트워크 통신을 실현할 수 있다. 상기 모듈에는 SIM 카드가 삽입될 수 있다. 상기 교육자용 사용자 단말기는 교육자의 커리큘럼을 녹화하여, 데이터 스트림 및 오디오 스트림의 방식에 대응되게 백엔드 서버에 업로드 및 저장하고; 상기 학습자용 사용자 단말기는 녹화된 커리큘럼의 ID를 획득하여, 백엔드 서버로부터 타임스탬프에 대응되는 데이터 스트림 및 오디오 스트림을 읽어 들인다. 상기 데이터 스트림은 교육자용 사용자 단말기가 교육자 멀티미디어 교실에서 녹화한 강의시간 및 동작 정보이고; 상기 오디오 스트림은 교육자용 사용자 단말기가 교육자 멀티미디어 교실에서 녹화한 강의시간및 음성 정보이다.
상기 온라인 교육시스템은, 상기 교육자용 사용자 단말기와 통신 연결되는 프로젝션 장비를 더 포함한다. 상기 프로젝션 장비는 투영기와 스크린 또는 와이드 스크린을 사용하는 것으로, 교실 강의에 사용되는 경우, 교육자용 제어 단말기는 HDMI 인터페이스에 의해 상기 프로젝션 장비에 연결하여, 단말기의 터치 스크린의 콘텐츠를 방영한다.
교육자 사용자는 교육자용 사용자 단말기를 통해 상기 백엔드 서버에 등록하여 커리큘럼 에디터를 다운로드하고, 상기 에디터 소스코드는 C&C++ 방식을 사용하여 개발되며, Office 2010 Word 버전에 기반하여 객관식 다답형, 객관식 단답형, 오엑스 문제를 추가 및 편집한 후에, 백엔드 서버에 업로드함으로써, 코스웨어 문제집과 코스웨어 해설결과를 형성하여 XML 파일로 서버에 저장하고; 상기 사용자 단말기는 코스웨어 해설에 대한 정보를 이용하여 코스웨어를 분할하여 SWF 표제의 파일을 생성하여, 터치스크린 상에 디스플레이 하며, 답안에 대한 스마트 판정은 학습자가 완성한 답안과 서버단에 미리 저장한 답안을 비교 대조하여, 문제풀이 완료 후에 자동적으로 성적을 통계함으로써, 수업시간 진도에 따른 연습 또는 테스트에 편리함을 부여한다. 학습자 사용자는 학습자용 사용자 단말기를 통해 백엔드 서버에 등록하여, 강의과정에서 사용되는 전자문서 자료를 다운로드하여 로컬 단말기에 저장한다.
본 발명에 따른 이미지에 대한 동기화 디스플레이 방법은, 어느 한 사용자 단말기 상에 디스플레이 되는 콘텐츠를 기타 사용자 단말기 상에 동기화하여 디스플레이하는 것으로, 통상적으로 이와 같은 사용자 단말기는 교육자용 사용자 단말기이고, 디스플레이 되는 내용을 수신하는 단말기는 통상적으로 학습자용 사용자 단말기이다.
이하, 본 발명에 따른 이미지에 대한 동기화 디스플레이 방법의 각 단계에 대한 구체적인 조작절차를 상세히 설명하고자 한다. 상기 이미지에 대한 동기화 디스플레이 방법은, 교육자용 사용자 단말기, 학습자용 사용자 단말기, 서버 및 네트워크를 포함하는 온라인교육 시스템에 기반하는 것으로,
동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 단계인 교육자용 사용자 단말기 가동 단계;
동기화 디스플레이되는 미러링 디스플레이 이미지 데이터를 획득하는 단계인 미러링 디스플레이 데이터 획득 단계;
동기화 디스플레이되는 미러링 응용 운용 데이터를 획득하는 단계인 미러링 응용 데이터 획득 단계;
획득한 상기 미러링 디스플레이 이미지 데이터를 JPEG 형식으로 압축하는 단계인 이미지 압축 단계;
상기 압축 단계를 거쳐 압축한 인접하는 두 개의 상기 미러링 디스플레이 이미지가 동일한지 여부를 판정하여, 그 판정결과에 따라 상기 이미지를 전송할지 여부를 결정하는 단계인 이미지 전송 판정단계;
전송하기로 결정한 압축을 거친 상기 이미지를 분할하여, 전송 데이터 패킷을 형성하는 단계인 결정된 전송 이미지 분할 단계;
UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송하는 단계인 데이터 패킷 전송 단계;
UDP 프로토콜에 기반하여 전송하는 경우, 스레드에 대하여 실시간 모니터링함으로써 손실된 패킷 데이터를 재발급하는 단계인 스레드 모니터링 단계;
상기 온라인교육 시스템 상의 만기 데이터를 폐기하여 원활한 네트워크 전송을 보장하는 단계인 만기 데이터 처리 단계;
데이터를 수신하는 상기 학습자용 사용자 단말기 상에 동기화 디스플레이를 실행하는 단계인 동기화 디스플레이 단계;를 포함한다.
도 5는 도시하는 바와 같이, 동기화 데이터의 획득과 동기화 디스플레이의 기본 데이터 전송방식을 예시적으로 표시하였다. 본 발명에 따른 동기화 디스플레이 방법을 사용하면, 교육자는 강의 시, 교육 단말기와 교육 멀티미디어 교실에서 강의 시관과 동작 데이터 스트림 및 수업 시간과 음성 데이터 스트림을 각각 획득하여, 교내 근거리 전산망과 인터넷을 상호 연결하는 것을 통하여, 스마트 교육 클라우드 서버는 인터넷을 통해 상기 데이터들을 획득 및 처리하며, 상기 데이터들을 인터넷 및 교내 근거리 전산망을 통해 학습자 단말기로 각각 전송함으로써, 학습자에게 수업을 위한 서비스를 제공한다.
상술한 각의 단계에 있어서,
교육자용 사용자 단말기 가동 단계는 동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 단계인 것으로, 본 발명의 이미지에 대한 동기화 디스플레이 방법은 상기 온라인교육 시스템에 기반한 것으로, 교육자용 사용자 단말기의 클라이언트 단이 활성화되어 작업 상태에 진입하게 되면, 시스템은 이미지에 대한 동기화 디스플레이 프로그램을 실행시킨다.
상기 미러링 디스플레이 데이터 획득 단계는 이미지에 대한 동기화 디스플레이를 위한 미러링 디스플레이 이미지에 대한 데이터를 획득하는 단계인 것으로,
이미지에 대한 데이터를 획득하는 경로는 다방면으로 가능한 것으로, 캡쳐한 이미지, 촬상 또는 촬영장치로부터 획득한 이미지, 스캐너로부터 획득한 이미지 등을 포함하며, 이미지 상의 콘텐츠는 교육자가 필기한 판서를 포함하는 것으로, 전자 화이트 보드에서 획득한 캡쳐 도면 또는 촬상한 이미지일 수 있고, 또한 일반 칠판에서 획득한 촬상 이미지일 수도 있으며, 필기인식으로 입력하여 스크린에 디스플레이되는 캡쳐한 이미지 또는 촬상 이미지일 수 있으며, 스캐너로 입력한 문자, 사진 등의 이미지일 수 있으며, 또한 교육자용 사용자 단말기에서 집성으로 디스플레이 되는 이미지를 캡쳐한 이미지 등 일 수도 있다.
통상적으로 사용하는 이미지 형식은 JPEG, BMP, GIF, PNG, TIFF 등을 포함하고, JPEG(Joint Photographic Experts Group, 공동 영상 전문가 그룹)과 BMP(Bitmap)가 상대적으로 광범위하게 사용된다.
BMP는 하드웨어 디바이스와 상관없는 이미지 파일 형식인 것으로, 디바이스와 상관없는 비트 맵이라고 부를 수도 있으며, 메모리 사상 파일형식을 사용하는 것으로, 이미지 심도(深度)를 선택 가능한 것 외에는, 기타 그 어떤 압축도 사용하지 않으므로, BMP 파일이 차지하는 저장공간은 상대적으로 비교적 크기 때문에 Windows 환경 하의 표준 이미지 파일형식에 속한다. 하지만, 그 체적이 지나치게 크기 때문에 네트워크 전송에 있어서는 유리하지 않다.
전형적인 BMP 이미지 파일은 네 부분을 포함하는 것으로, 통상적으로 14바이트의 고정된 구조길이를 갖는 것으로, BMP 이미지 파일의 유형, 디스플레이 내용 등 정보를 포함하는 비트맵 파일의 헤더 데이터구조; 통상적으로 40바이트의 고정된 구조길이를 갖는 것으로, BMP 이미지의 폭, 높이, 압축 방법 및 색상 정의 등의 정보를 포함하는 비트맵 정보 데이터 구조; 선택적으로 사용할 수 있는 팔레트; BMP 비트맵이 사용하는 자릿 수에 따라 그 내용도 다른 것으로, 24 비트맵에서는 직접 RGB를 사용하는 비트맵 데이터;를 포함한다.
BMP는 통상적으로 사용하는 형식의 비트맵인 것으로, 만약 획득한 원시 이미지가 BMP 형식이 아니라면, 우선 파일형식을 BMP형식으로 변환하고 난 후에, 다시 BMP 이미지를 JPEG 이미지로 압축하여야 한다.
본 발명의 온라인교육 시스템은, 규칙에 따라 자동적으로 실시간 캡쳐 또는 획득할 수 있는 것으로, 예를 들어, 몇초마다 스크린에 디스플레이되는 내용을 캡쳐하거나 또는 동기화하여 디스플레이하여야 하는 내용을 촬상하거나, 또는 교육자가 스스로의 판단 및/또는 강의필요에 따라, 스크린에 디스플레이되는 내용 또는 촬상 관련 내용을 수동으로 임의로 캡쳐함으로써, 동기화하여 디스플레이 하여야 하는 BMP 이미지를 획득한다.
전형적으로, 이와 같은 BMP 이미지는 교육자용 사용자 단말기 상에 디스플레이 되는 내용인 것으로, 이와 같은 내용은 전형적으로, 각종 형식으로 획득한 교육자 판서 내용인 것으로, 예를 들어, 전자 화이트보드 상의 판서 이미지일 수 있고, 촬상된 일반 화이트보드 상의 판서 내용일 수도 있다.
본 발명에 따르면, 캡쳐화면을 획득하는 방식은,
(a) android 시스템의 화면캡쳐 모듈을 재기록함으로써, 현재 작업 페이지의 화면을 캡쳐하여 BMP 이미지를 캡쳐하여 획득하고;
(b) 고속촬영기를 통해 교육자가 선정한 영역의 화면을 촬영하여 BMP 이미지를 캡쳐하여 획득하며;
(c) 전자 화이트보드에 기록한 판서를 지령제어를 통해 BMP 이미지를 캡쳐하여 획득하는 것;을 포함하며,
상기 미러링 응용 데이터 획득 단계는, 동기화 디스플레이를 위한 미러링 응용 운용 지령데이터를 획득하는 단계이다.
미러링 디스플레이를 직접 할 필요가 없는 데이터에 있어서는, 지령 및 좌표점 데이터를 전송하는 방식으로 동기화 디스플레이에 필요한 미러링 응용 운영 정보를 획득하고, 그다음 재생 조작을 통해 이미지의 동기화 디스플레이를 실현한다.
구체적으로, 교육자용 사용자 단말기에서 작성한 판서 등의 내용에 있어서는, 교육자 사용자가 단말기 상의 APP에서 판서를 작성하여, 작성된 판서의 궤적에 대한 경로 좌표 데이터를, 학습자용 사용자 단말기가 상기의 경로 좌표 데이터들을 획득한 후, 지령에 의해 좌표에 대한 재생조작을 하여 에코 실행할 수 있는 것으로, 디스플레이되는 전체 이미지에 대한 정보를 획득할 필요는 없다.
지령 취출 및 기계 학습에 관해서는, 우선 시스템의 기계 학습 능력을 구축하고, 딕셔너리는 각종 파일에 대한 조작 지령을 기록하여 색인 매칭을 통해, 조작 지령에 대응되는 실제 수행 언어로 지향한다. 구체적으로, 동일한 학습집합(training set)에 대하여 서로 다른 분류기(약 분류기)를 학습한 후, 이와 같은 약 분류기를 집합시켜 하나의 보다 강한 최종 분류기(강 분류기)를 구성한다.
이와 같은 방식 자체는 데이터 분포를 변경하여 실현하는 것으로, 매차(每次)의 학습집합의 각각의 샘플에 대한 분류가 정확한지 여부 및 선차(先次)의 전체 분류의 정확도에 근거하여, 각각의 샘플의 가중치를 결정한다. 가중치를 수정한 새로운 데이터 집합을 하위 분류기에 전송하여 학습을 진행하고, 마지막으로 매차의 학습을 통해 얻은 분류기를 최종 융합시켜 최종의 의사결정 분류기로 한다.
지령 취출 기계학습은, 효율적인 보다 많은 지령은 시스템에 의해 자동으로 판단하여 데이터베이스에 저장되도록 하고, 무효 지령은 삭제되도록 하여, 데이터 베이스에 저장된 데이터가 보다 유효하도록 한다.
도 6-1 내지 6-3은 도시하는 바와 같이, 본 발명에 따른 경로 좌표 데이터를 획득하는 과정을 나타내는 설명도이다. 경로 좌표 데이터를 획득 시, 이하의 단계를 사용할 수 있다. 화면 피치를 초기화 하여, 하나의 임시 그림판을 생성하고, path 경로 좌표 데이터를 분석하여, 브러시인지 여부를 판단하여, 만약 브러시인 경우에는 브러시 동작을 재생하고, 만약 브러시가 아닌 경우에는 다음의 지령을 취득하여 상기 브러시 동작을 재생한 후, 후속의 지령이 있는지 여부를 판단하고, 만약 후속의 지령이 있는 경우에는 계속하여 다음의 지령을 취득하고, 만약 후속의 지령이 없는 경우에는 재생을 완료하여, 단말기 디바이스에 그 결과를 디스플레이한다.
구체적으로, 상기 Path 경로 좌표 데이터의 기록과정은 다음과 같다.
(A1) 기록한 Path 경로 좌표 데이터를 분석하여, 임시의 지령 좌표 스택에 저장한 후, 화면에 대한 초기 배치를 실행하여, 화면의 캔버스(Canvas) 상에 배경 패턴을 우선 설정하고;
우선적으로, 브러시(지우개일 수도 있음)인지 여부를 판단하고, 만약 브러시인 경우에는 현재의 궤적 경로를 궤적 결과 집합에 저장한다.
// 만약 브러시인 경우, 현재의 기록 경로를 list에 저장
this .mPathPaintlist .add( this .mPathPaint );
// 브러시와 경로 이력을 저장
PathAndPaint pap＝new PathAndPaint( );
pap .setPath( new Path( this .mPath ));
pap .setPaint( new Paint( this .mPaint ));
this .mPathAndPaintlist .add( pap);
(A2) 하나의 Bitmap를 새로 생성하여, 상기 Bitmap으로 하나의 임시 캔버스(temptCanvas)를 생성하고;
(A3) tempBitmap 배경을 투명하게 설정하는데, 그 목적은 임시 캔버스(temptCanvas)의 목표를 새로 만든 tempBitmap 상에 배치하고자 하는 것이며;
(A4) 상기 구조를 거친 후, 지령 스택에서 좌표지령을 취출하여 일일이 환원하며, 임시 캔버스를 통해 재기록하며, 임시 캔버스의 모든 draw 함수는 모두 대응되는 이미지를 임시의 tempBitmap 상에 그리고, 이로써 동작 추적의 과정에서 점과 선은 temptCanvas를 호출하되, 원래의 화면 상의 Canvas를 호출하는 것은 아니고, 예를 들어 temptCanvas.drawPoint, temptCanvasRect 등등 인 것이며;
(A5) 모든 지령 좌표 스택을 수행 완료 후, Canvas.drawBitmap(tempBitmap,0,0,null)을 수행하고; temptCanvas는 각종 브러시 흔적을 tempBitmap 상에 그리고, Canvas는 tempBitmap을 화면 상에 그린다.
상기 동작이 묘사하는 로직 단계는 다음과 같으며, 그 중, touchMove 함수가 도입하는(float x, float y) 함수는 각각 종횡축 좌표인 것으로,
연속 도입되는 두 개의 좌표점의 중간위치를 통해 베지어 곡선의 기준점을 설정하고, 다시 베지어 알고리즘을 통해 평활화 처리를 수행함으로써, 복수 개의 점을 하나의 매끄러운 곡선으로 묘사하고; 마지막 좌표점을 후속의 작업 기준점의 시작점으로 하여 경로를 path 집합에 저장한다.
상기 동작이 묘사하는 로직 단계는 다음과 같으며, 그 중, touchMove 함수가 도입하는(float x, float y) 함수는 각각 종횡축 좌표인 것으로,
private void touchMove(float x, float y){
if(null ! = this.mPathPaint){
float dx = Math.abs(x - this.mPreviousX);
float dy = Math.abs(y - this.mPreviousY);
//두 점사이의 간격≥ 3 인 경우, 베지어 그래픽 곡선 생성
if((dx＞= DEFAULT_TOUCH_TOLERANCE)∥(dy＞=DEFAULT_TOUCH_TOLERANCE)){
//베지어 곡선의 작동점을 시작점과 끝점의 절반으로 설정
float cX = (tis.mPreviousX + x)/2.0F;
float cY = (tis.mPreviousY + y)/2.0F;
// 2차 베지어, 평활화 곡선을 실현; previousX, previousY를 작동점으로 하고, cX, cY는 끝점
this.mPath.quadTo(this.mPreviousX,this.mPreviousY,cX,cY) ;
if(!isEraser()){
this.mCanvas.draPath(this.mPath,this.mPaint);
}
//2차 수행 시, 1차 호출종료된 좌표값을 2차 호출의 초기 좌표으로 함
this.mPreviousX = x;
this.mPreviousY = y;
this.mPathPaint.addPathPoint(x,y);
}
}
}
도 7에서 도시하는 바와 같이, 상기 이미지 압축 단계는, JPEG형식으로 압축하여 획득한 상기 미러링 디스플레이 이미지 데이터를 사용하는 것으로, 구체적으로 이미지 1차 압축 및 이미지 2차 압축으로 포함하고, 2차 압축의 기본 단계는, 동기화 이미지를 캐치하여 그래픽의 사이즈에 근거하여 압축을 해야 하는지 여부를 판단하고, 만약 동적 계산 압축비율을 압축을 해야 한다면, JPEG형식으로 압축하고, 만약 필요하지 않는다면, 그래픽 분할 판단 단계로 직접 진입하며, 만약 분할이 필요한 경우에는 그래픽 패킷분해 처리를 수행하고, 만약 분할을 하지 않는다면 동기화 데이터 전송 단계로 직접 진입한다. 구체적으로,
1. 이미지 1차 압축
멀티 캐스트에서 유니 캐스트로 전환 시, 매번 전송하는 데이터 메시지는 최대 길이 한도가 있기 때문에, 이미지를 디코딩하여 JPEG 특정 형식의 이미지로 전환하게 되는데, 전환 시 이미지의 사이즈와 동적 계산 압축비율에 근거하여 이미지에 대한 1차 압축을 수행한다. Bitmap 유형의 대상을 이용하여 수신하여 프래그먼트로 변환하여 근거리 통신망 내에서의 멀티 캐스트 전송을 한다.
통상적으로, 이미지 압축은 차분 펄스 부호 DPCM, DCT, 벡터 양자화 부호(VQ)등의 기술을 포함한다. 현재, DCT 등의 기술에 기반한 국제 이미지 압축 표준은 JPEG, MPEG, H261 등을 포함한다.
현존하는 DCT 기술에 기초하여 이를 좀 더 개선하면, 본 발명의 이미지 압축은 전송되는 동영상 스트림, 복수 개의 캡슐화된 이미지 파일 또는 이미지 파일의 크기를 축소시킬 수 있다.
상기 이미지 1차 압축은 나아가 이하 단계를 포함한다.
우선, 이미지를 압축하기 전, 먼저 압축되지 않은 상기 이미지를 백업시켜, 원시 이미지 백업 데이터베이스를 형성함으로써, 사용자가 압축된 이미지를 수신하게 되어 보다 정교한 이미지를 살펴 보기를 원하는 경우, 원시 이미지 백업 데이터베이스를 클릭하여 원시 이미지를 다운로드할 수 있다.
이 외, 후속의 이미지 전송 판정단계를 완료한 후, 학습자용 사용자 단말기에 동기화하여 전송하지 않기로 결정한 압축 이미지의 원시 백업 데이터를 상기 데이터베이스에서 삭제한다.
(1) 순방향 이산 코사인 변환(FDCT)
RGB 색상 시스템은 가장 자주 사용되는 색상 표현방식인 것으로, BMP(비트맵)가 사용하는 것이 바로 RGB 색상 시스템인 것으로, R, G, B 세 개의 분량은 각각 빨간색, 초록색, 파란색인 세 가지 기본 색상을 가리킨다. 그러나 변환하고자 하는 JPEG가 사용하는 것은 YCbCr 색상 시스템인 것으로, Y, Cb 및 Cr 세 개의 이미지 분량은 각각 밝기, 채도 및 포화도를 가리킨다. 풀 컬러 이미지를 처리하는 경우, 우선 RGB 색상 모드 이미지 데이터를 YCbCr 색상 모드 데이터를 변환하여야 한다.
이산 코사인 변환(DCT)은 한 조의 광도 데이터를 주파수 데이터로 변환함으로써, 강도가 변환되는 상확을 획득하는 것으로, 이는 무손실 변환에 속한다. DCT 변환은 이미지 중의 각각의 주파수에 대한 정보를 구분하고 나서, 다시 시각적으로 민감한 고주파수 부분에 대한 정보를 보류하며, 동영상에서 느끼지 못하는 저주파수 부분은 0으로 설정함으로써, 이미지를 압축하는 목적을 수행한다. DCT변환을 통해서 에너지를 소수의 몇개의 고유값에 집중시킬 수 있는데, 통상적으로는 DC 고유값과 AC 고유값이다.
DC 변환을 수행하는 경우, 우선 이미지를 N ×N의 픽셀조각(또는 서브 이미지 조각이라 칭함)으로 분해하는데, 바람직하게는 N=4, 8 또는 16 이고, 가장 바람직하게는 N=8 인 것으로, 각각의 서브 이미지 조각들에 대하여 각각 단독으로 2차원 DCT변환을 수행한다. 본 발명은 바람직하게 8×8의 분해방식을 사용하는 것으로, 원시 이미지의 길이가 8의 배수가 아닌 경우, 우선 8의 배수로 되도록 보충을 하여야 한다. 이로써, 64개의 픽셀의 2차원 공간 주파수의 분량의 진폭을 DCT 고유값이라고 칭하며, 다시 말해서, 각각의 서브 이미지 조각을 하나의 DC 고유값과 63개의 AC고유값으로 표시할 수 있다.
픽셀 행렬(어레이)를 사용하여 표시하는 데이터 이미지에 있어서, 2차원 DCT 순방향 변환은 이하 공식을 사용한다.
Figure 112017080498562-pct00001
Figure 112017080498562-pct00002
2차원 DCT의 역변환(IDCT 변환)은 이하 공식을 사용한다.
Figure 112017080498562-pct00003
상기 두 개의 식에서,
u, v는 DCT 변환 후의 행렬 내의 어느 하나의 데이터값의 좌표위치인 것으로, 즉, 주파수역 샘플링 값인 것으로, u=0, 1, …, N-1, v=0, 1, … N-1 이고;
F(u, v)는 DCT 변환 후의 행렬 내(u, v) 위치 상의 주파수 고유값 이며;
(x, y)는 이미지 데이터의 어느 한 데이터 값의 좌표위치인 것으로, 즉, x=0, 1, …, N-1, y=0, 1, … N-1 이며;
f(x, y)는 이미지 데이터 내(x, y) 위치 상의 픽셀값 이며;
u=0 인 동시에 v=0 인 경우,
Figure 112017080498562-pct00004
이고;
u＞0 또는 v＞0 인 경우, c(u), c(v)=1 이다.
DCT 변환 후의 행렬 데이터 자연수가 바로 주파수 고유값 이고, 이런 고유값들은 F(0, 0)의 값이 가장 큰 것으로, 즉, DC 고유값 이고, 나머지 63개의 주파수 고유값은 대개는 0에 가까운 플러스 마이너스 부동소수점 인것으로, AC 고유값이라고 통칭한다.
2차원 DCT 변환은 분리 가능한 것으로, 즉, 2차원 변환은 병렬 연결된 두 차례의 1차원 변환으로 분해 가능하며, 이는 1차원 DCT의 변환속도 효율이 2차원 DCT 변환보다 낫기 때문인 것으로, 따라서, 분리 계산을 통해서 연산 처리의 효율을 향상시킬 수 있는 것으로, 이로써, 상기 순방향 변환 공식을 다음과 같이 변경할 수 있다.
Figure 112017080498562-pct00005
즉, 먼저 이미지의 각 열을 따라 1차원 DCT 변환을 수행하면,
Figure 112017080498562-pct00006
을 얻고;
다시, f(u, y)의 각 행을 따라 2차의 1차원 DCT 변환을 수행하면,
Figure 112017080498562-pct00007
을 얻는다.
이와 같이, 2차원 DTC 변환은 1차원 DCT 변환을 통해 신속하게 연산할 수 있다.
(2) 양자화(Quantization)
양자화는 이미지가 소정의 품질을 유지한 상황 하에서, 이미지 중에서 시각적 효과에 큰 영향을 주지 않는 불필요한 정보를 삭제하는 것을 가리키는 것으로, FDCT 변환 후의 주파수 고유값에 있어서, 그 목적은 "0"이 아닌 고유값의 진폭을 줄이고, "0"인 고유값의 수량을 늘리는데 있다. 양자화 처리는 이미지 품질이 떨어지는 가장 주요한 원인이다.
JPEG 손실압축에 있어서, 선형 균일 양자화기를 사용하여 양자화를 진행하는데, 구체적으로, 64개의 DCT 고유값을 양자화 스텝의 크기로 나누어서 다시 사사오입하여 정수를 취득하여 실현한다. 양자화 스텝의 크기는 고유값이 처한 위치와 각 종 색상의 분량의 색조값에 따라 결정된다. 사람의 육안은 색도 신호보다 밝기 신호에 더 민감하기 때문에, 밝기 양자화 값과 채도 양자화 값의 두 종류의 양자화 테이블을 사용한다. 이 외, 사람의 육안은 고주파수 분량의 이미지보다 저주파수 분량의 이미지에 더 민감하기 때문에, 이미지의 좌측 상단의 양자화 스텝은 우측 하단의 양자화 스텝보다 작아야 한다.
도 8에서 도시하는 바와 같이, 여기에서 밝기 양자화 테이블과 채도 양자화 테이블의 값은 CCIR 601 표준 텔레비젼 이미지에 있어서는 가장 바람직하다. 만약 이 두 종류의 테이블을 사용하지 않더라고, 필요에 따라 기타의 양자화 테이블로 이들을 대체할 수 있다. 만약 모든 서브 이미지 조각이 모두 동일한 양자화 테이블을 사용한다면, 연산량을 줄일 수 있으나, 서로 다른 서브 이미지 조각의 상황이 모두 상이하기 때문에, 가장 바람직한 압축효과를 실현하지 못할 수 도 있다.
(3) 지그재그 스캐닝(Zigzag Scan)
양자화 AC 고유값은 통상적으로 매우 많은 "0"값이 있으므로, 지그재그 경로로 새로 편집하여야 하는데, 그 목적은 값이 0인 고유값이 연속하는 개수를 늘리기 위한 것으로, 즉, "0"의 런 렝스를 늘리는 것이다. 이로써, 8×8의 행렬은 하나의 1×64 벡터로 변하고, 주파수가 비교적 작은 고유값은 벡터의 헤드부에 놓여진다.
도 9는 도시하는 바와 같이, 지그재그 스캐닝 후의 DCT 고유값의 시퀀스 번호이다. 0은 제로 주파수의 DC 고유값이고, 나머지 1-63은 AC 고유값이며, 고유값이 클수록 상기 위치에 대응하는 주파수 성분의 주파수가 더 크다는 것을 나타내며, 후속의 양자화 부호화가 바로 이런 고유값에 기반하여 수행하는 것이다.
(4) 차분 펄스부호 변조(Differential Pulse Code Modulation, DPCM)를 이용한 양자화 DC 고유값에 대한 부호화
지그재그 스캐닝 완료 후, 양자화 DC 고유값은 두 개의 특징을 갖게 되는데, 첫 번째는 고유값의 값이 비교적 크고, 두 번째는 인접한 8×8 이미지 조각의 DC 고유값의 값에 대한 변화는 크지 않다. 이와 같은 특징에 근거하여, DPCM 기술을 이용하여 인접한 이미지 조각 사이의 양자화 된 후의 DC 고유값의 차이값(Delta)에 대한 부호화를 실행한다. Delta＝DC( 0 ,0 )k-DC( 0 ,0 )k-1 .
(5) 런 렝스 부호화(Run Length Encoding, RLE)를 이용한 양자화 AC 고유값에 대한 부호화
RLE는 전형적인 무손실 압축기술이다. 이미지 상에 동일한 색상의 모듈이 매우 많은 경우, 모듈 중의 각 행이 표시하는 색상은 모두 동일한 것으로, 이와 같은 이미지에 대하여 각각의 픽셀 색상에 대한 값을 저장하는 것을 일반적으로 장려하지 않는 것으로, 단지 단순하게 동일 색상의 픽셀 수량과 색상 값을 저장하기만 하면 된다. 예를 들어, 색상 픽셀값을 표시하는 문자열인 RRRRRGGGBBBBB을 RLE로 압축한 후, 5R3G5B으로 대체할 수 있다.
지그재그 스캐닝 완료 후, 양자화 AC 고유값의 특점은 1×64 벡터에 매우 많은 "0"고유값을 포함하며 상기 매우 많은 "0"고유값은 연속된 것으로, 따라서 사용하기 매우 편리하고 또한 RLE가 이들에 대하여 직관적으로 부호화를 실행한다.
JPEG 표준은 하나의 문자열의 high 4비트로 연속된 0의 개수를 표시하고, 그것의 low 4비트를 사용하여 다음의 0이 아닌 고유값을 부호화하는데 필요한 자릿수를 표시하는 것으로, 그 뒤에 따라오는 것은 양자화 AC 고유값의 값이다.
부호화 형식은 (부호 1)(부호 2)인 것으로, 여기에서 부호 1은 두 개의 메시지를 표시하는 것으로, 런(Run)과 길이(Length)를 표시한다. 런(Run)은 지그재그 행렬에서 0이 아닌 AC 고유값의 앞에 놓인 연속된 0값의 AC고유값의 개수이고, 길이(Length)는 AC 고유값의 진폭 부화화에 필요한 자릿수이다. 부호 2는 AC 고유값의 진폭값을 표시한다.
(6) 엔트로피 부호화(Entropy Eoding)
엔트로피 부호화는 양자화 고유값에 기반하여 특점을 통계하는 무손실 부호화이다. 런 렝스 부호화, 허프만(Huffman) 부호화 및 산술 부호화가 자주 사용되는 부호화 이다. 그리고 런-허프만 부호화(RL-VLC)는 JPEG 이미지 압축 부호화 국제표준에서 자주 사용되는 부호화 방법인 것으로, 주로 AC 고유값에 대한 엔트로피 부호화 작업을 수행한다. JPEG 표준 허프만 부호화 테이블은 8×8 이미지 조각에 근거하여 2차원 DCT, Zigzag 스캐닝을 거친, 0이 아닌 AC 고유값의 진폭 레벨과 상기 AC 고유값의 앞 "0"의 런 렝스 길이(Run)인 것으로, 즉, (Run, Level)좌표의 연합분포 확률로 생성된 것이다.
JPEG 손실압축 방법에서는 허프만 부호화를 통해 엔트로피를 줄인다. 허프만 부호화를 사용하는 이유는 간단한 룩업 테이블(Lookup Table)방법을 사용하여 부호화를 수행할 수 있기 때문이며, 찾고자 하는 테이블은 허프만 부호화 테이블이다. 부호화하는 경우, 각각의 행렬 데이터의 하나의 DC값과 63 개의 AC값은 각각 서로 다른 허프만 부호화 테이블을 사용한다. 발기와 채도 역시 서로 다른 허프만 부호화 테이블을 사용하여야 한다. 데이터 부호를 압축 시, 허프만 부호화는 출현 빈도가 비교적 높은 부호에 비교적 짧은 코드를 매칭하고, 출현 빈도가 비교적 낮은 부호에는 비교적 긴 코드를 매칭한다. 이와 같은 가변길이의 허프만 부호화 테이블은 사전에 정의할 수 있다. 본 발명에서, 엔트로피 부호화 사용은 DPCM 부호화 후의 DC 고유값과 RLE 부호화 후의 AC 고유값을 한층 더 압축할 수 있다.
차분 DC 고유값과 각각의 AC 고유값은 두 개의 부호를 사용하여 부호화를 수행하는 것으로, 즉 부호 1 및 부호 2 이다. DC 고유값에 있어서, 부호 1이 나타내는 정보를 길이라고 칭하는 것으로, 즉, DC 고유값의 진폭을 부호화할 때 사용하는 자릿수 이고, 부호 2는 DC 고유값의 진폭을 나타낸다. AC 고유값에 있어서, 부호 1은 런과 렝스라는 두 개의 정보를 나타낸다. 런은 지그재그 행렬에서 제로가 아닌 AC 고유값 앞에 위치한 연속된 제로값 AC 고유값의 진폭에 대하여 부호화를 수행하는 경우 사용하는 자릿수이다. 부호 2는 AC 고유값의 진폭을 나타낸다.
교육자용 사용자 단말기가 전송하는 이미지는 선명도가 매우 높을 것이다. 만약 학습자용 사용자 단말기가 원본대로 전송을 한다면, 필연코 지나치게 높은 네트워크 자원을 필요로 하게 되며, 심지어 네트워크가 막힐 수도 있으므로, 기타 데이터를 전송 불가할 수도 있다. 따라서, 수행하고자 하는 일련의 변환은 적합한 사이즈의 스크린과, 유한된 대역폭으로 문서를 전송시킴으로써, 수업 과정을 보다 원활하게 한다.
2. 이미지 2차 압축(패킷 분해 처리)
만약 1차 압축 완료 후, 여전히 프로토콜 규정의 크기를 초과한다면, 패킷분해 처리라고도 불리는 2차 압축을 수행하여야 한다.
상기 처리를 통해 획득한 데이터 스트림은 압축 후의 이미지를 구성하고, 다시 더 한층의 차별화 처리를 수행한다. 이어지는 더 한층의 차별화 처리에서 차별화방법은, 이미지의 크기와 시스템에서 지정한 문서의 바이트 수의 {최소치, 최대치}:{minSize, maxSize}에 근거하여, 압축비율을 설정한다.
If(image.getBytes()＞maxSize)
{압축비율 = image.getBytes()/maxSize*시스템 정의 편이량}
Else,
{압축비율 = 1}.
여기에서, 상기 차별화 방법이란, 시스템에서 처리하는 각각의 이미지의 사이즈는 서로 상이하고, UDP 플로토콜에 기반한 데이터 전송과정에서 각각의 메시지의 길이에 대하여 제한(일반적으로 1500 바이트 정도)한다. 따라서, 크기가 서로 상이한 이미지를 처리하는 과정에서, 우선 각각의 이미지 파일 사이즈 간의 차별화를 고려하여, 시스템에서 이미지의 maxSize를 지정한다. 만약 이미지 크기가 상기 바이트 수보다 크다면, 더 한층의 압축처리를 수행한다. 다시 말해서, 상기 공식을 통해 계산한 압축비를 통해 이미지에 대하여 한층 더 압축처리를 수행한다.
상기 1500 바이트는 UDP 데이터 전송 시, 하나의 데이터 메시지에 대한 크기인 것으로, 서로 다른 네트워크 디바이스는 약간의 차이가 있을 수 있다. 실제 전송과정에서, 각각의 그래픽은 이와 같은 크기대로 자동으로 패킷을 분할하여 전송하고, 클라이언트 단은 대응되는 메시지를 수신하면 데이터에 대한 어셈블리 처리를 수행하며; 이 외, 만약 UDP 프로토콜에서 전송한 원시 데이터 패킷의 길이가 지나치게 길어서 65K 정도 초과한다면, UDP 프로토콜은 데이터 패킷을 정상적으로 분할할 수 없기 때문에, 이때 수동으로 데이터에 대하여 2차 패킷 분해가 필요하다. 이로써, UDP 프로토콜이 매번 모두 정상적으로 데이터 메시지를 전송할수 있도록 한다. 압축 이미지로 구성된 이미지의 크기와 지정된 문서 바이트 수의 (minSize, maxSize}에 근거하여 이미지 압축 비율을 획득한다.
만약 이미지의 크기가 최대치보다 크다면,
압축비율 = 이미지 크기/최대치*시스템 정의 편이량, 본 발명에서 사용하는 하드웨어 플랫폼 디스플레이 해상도에 있어서, 상기 편이량을 0.4~0.6 사이로 설정하고, 그 대응관계는 이하 표 1을 참조하며, 그렇지 않으면, 압축비율 = 1 이다.
해상도 편이량
1920*1080 이상 0.6
1280*720 0.5
800*600 이하 0.4
이동 장치의 해상도의 상이함에 따라, 그 디스플레이되는 이미지에 대한 품질 역시 상이할 수 있다. 해상도가 낮은 이동장치는 품질이 다소 떨어진 이미지를 디스플레이할 수 있으므로, 상기 표 1에서 제시한 데이터에 따라, 편이량과 해상도의 크기는 정비례된다. 압축비율의 수행은 이하 단계를 통해 실현된다.
(a) 교육자용 사용자 단말기 애플리케이션 프로그램이 교육자가 강의한 전자 판서의 캡쳐화면을 획득하고;
(b) 교육자용 사용자 단말기의 해상도에 근거하여, 적합한 압축비율을 산출하며;
(c) 압축비율에 따라 이미지 형식을 변환을 수행, 즉, 1차 압축을 수행한다.
상기 이미지를 통한 2 차례의 압축은 신속하고 효율이 높은 압축, 대비 및 전송을 실현한다.
상기 이미지 1차 압축 단계에서, FDCT 변환과정에서, DCT 변환 후의 행렬 데이터의 자연수는 주파수 고유값인 것으로, 이런 고유값들은 F(0, 0)의 값이 가장 큰 것으로, 즉, DC 고유값이다. 나머지 63개의 주파수 고유값은 대개 0에 근접하는 플러스 마이너스 부동소수점인 것으로, AC 고유값으로 통칭한다.
본 발명의 방법은, 상기 이미지 압축을 처리하는 과정에서, 이미지를 구성하는 주요 요소인 DC 고유값의 값과 AC 고유값의 값을 복사하여 취출하여, 현재 압축처리 중인 이미지 파일과 별개로 하여 기타 파일에 저장함으로써, 이미지의 1차 압축처리에 영향을 주지 않는다.
통상적으로, 이미지를 대비함에 있어서, 이미지의 윤곽분포, 색상분포 및 DC와 AC의 값 등을 종합적으로 고려하여야 하나, 단, 본 발명은 JPEG 압축과정에서 획득한 이미지 DC와 AC 고유값의 값은 이미지의 압축처리에 영향을 끼칠 뿐만 아니라, 또한 앞뒤의 두 폭의 인접된 이미지의 고유값의 값에 대한 간단한 대비를 통해, 앞뒤 두 폭의 이미지에 변화가 발생했는지 여부를 판단하여, 그 판단결과에 따라 이미 압축 완료된 이미지를 학습자용 사용자 단말기에 전송할지 여부를 판단한다.
이와 같은 간략화된 판단 방법은, 시스템은 연산량을 줄인 것으로, 이는 교육자가 강의 시 스크린에 디스플레이되는 내용, 특히는 전자 판서의 내용은 통상적으로 연속되게 변화되는 것으로, 인접한 몇 초 내와 같은 시간에 판서의 내용은 아마도 바뀌지 않거나 또는 그 변화가 지속적으로 증가되는 것으로, 이미지를 획득하는 장비, 이미지가 디스플레이되는 환경, 배경 윤곽 등의 정보는 또한 기본적으로 바뀌지 않는 특징이 있기 때문이다.
이와 같은 간략화된 대비를 통해 앞뒤 두 폭의 이미지에 변화가 발생하였는지 여부를 즉시 발견할 수 있는 것으로, 이미지를 학습자용 사용자 단말기에 전송해야할지 여부에 있어서, 만약 이미지 내용에 변화가 없다면, 전송할 필요가 없다.
이미지의 스크린 캡쳐 및 압축처리는 고정된 시간 간격 내에 정상적으로 진행되는 것으로, 대비판단 결과에 근거하여 어느 한 이미지를 전송해야 할지가 일단 결정되면, 시간 상의 지연이 없이, 직접 압축된 이미지 데이터를 분할하여 전송하면 된다. 단, 판단결과에 근거하여 전송할 필요가 없음을 일단 결정하게 되면, 더이상 네트워크 자원을 점용하지 않으며, 동시에 학습자용 사용자 단말기 역시 앞뒤의 동일하게 디스플레이되는 내용을 중복으로 갱신할 필요가 없으므로, 사용자의 체험에 영향을 주지 않게 된다.
물론, 본 발명은 두 폭은 앞뒤로 연속으로 획득되는 이미지에 대한 전면적인 대비와 판단을 함으로써, 보다 전면적인 대비결과를 획득하는 것을 배제하지 않는다.
구체적으로, 두 폭의 이미지 사이의 간격을 계산하는 것을 통해, 즉, DC와 AC 고유 벡터의 각 분량의 차이의 총합으로, 두 폭의 이미지의 차이값을 판단한다. 상기 차이가 가리키는 것은 각각의 앞뒤로 인접되는 두 폭의 이미지의 DC와 AC 고유값의 값(고유 벡터)을 대비하여, DC 고유값의 값에 대해서는 그 분량의 플러스 마이너스 부호를 대비하는 것으로, 만약 분량이 동일한 부호라면 1로 표기하고, 그렇지 않으면 0으로 표기한다.
AC 고유값에 대해서는 설정한 대비 역치에 근거할 수 있는 것으로, 만약 분량의 차이가 대비 역치를 초과한다면 0으로 표기하고, 그렇지 않으면 1로 표기한다.
이로써, 0 또는 1의 수를 구하여, 이들을 더하여 그 총합을 구하면, 앞뒤의 인접한 두 폭의 이미지 사이의 차이값을 얻을 수 있다.
0의 수가 많을수록 고유 벡터의 차이가 크고, 이미지의 차이가 크다는 것을 의미한다.
보다 구체적으로, 만약 두 폭의 이미지 사이에 차이가 존재하지 않는다면, 이는 앞뒤의 두 폭의 화면캡쳐된 이미지가 동일하거나 또는 기본상 동일하다는 것을 설명하는 것으로, 미라캐스트 전송할 필요가 없고; 만약 차이값이 존재한다면 이는 앞뒤의 두 폭의 화면캡쳐 내용에 이미 변화가 발생한 것을 설명하는 것으로, 교육자용 사용자 단말기는 대응되는 이미 압축완료된 이미지를 학습자용 사용자 단말기로 미러링하여 전송한다.
상기 차이가 존재하는지 여부에 대한 판단은 설정한 역치에 근거하여 비교 및 판단할 수 있고, 또한 역치를 설정하지 않을 수도 있는 것으로, 상이함이 존재하기만 하면 동기화 전송을 실행한다.
임시로 복사하여 취출한 DC와 AC 고유값을 설정하여 폴더를 저장할 수 있는 것으로, 하나의 폴더가 다 차게 되면, 다른 하나의 폴더에 저장하고, 그리고 시스템은 다시 현재의 폴더를 비워서 백업용으로 사용한다.
긴 시간동안 앞뒤의 두 폭의 화면캡쳐의 내용이 변화 없음을 검측하게 되면, 자동적으로 스크린 이미지의 내용을 자동으로 캡쳐하는 시간을 점차 연장시킨다. 예를 들어, 몇 초 마다의 간격을 몇십 초 마다의 간격으로 연장할 수 있고, 내지는 몇분 간의 간격으로 연장할 수도 있다.
한 교시와 같이 일정 시간 내에 연속으로 된 복수 개의 앞뒤 두 폭의 이미지에 대한 차이값을 곡선으로 만들어서, 수업과정, 특히 판서의 기본특징에 근거하여, 차이값이 일정 범위 내에서 기본적으로 안정적인 것으로 검측되면 현재 스크린의 내용을 제1 판서 내용으로 하여 표기하고, 만약 차이값에 비교적 변화가 있는 것으로 검측되면 새로운 지면의 판서 또는 새로운 디스플리이 내용이 시작된 것으로 판단한다.
학습자용 사용자 단말기는 수신된 동기화 이미지 데이터를 재생 가능한 데이터 스트럼으로 저장 가능함으로써, 학습 내용을 수시로 복습할 수 있고, 보다 바람직하게는, 동영상 스트럼의 재생과 교육자의 오디오 녹음은 시간특징(예를 들어, 교육시스템으로부터 생성한 타임 스탬프)에 따라 매칭하여, 오디오 스트럼과 동영상 스트럼을 가진 매칭 방송을 형성한다.
상기 판정 단계를 통해, 동기화 디스플레이를 실행해야 하는 자동 식별과 실시간 전송을 실현하여, 동기화 화면캡쳐, 실시간 압축, 동기화 판정 및 자동 전송의 목적을 실현한다.
주의할 것은, 후속의 이미지 전송 판정 단계를 수행 완료 후, 학습자용 사용자 단말기로 동기화하여 전송하지 않기로 결정한 압축 이미지의 원시 백업 데이터는 상기 데이터베이스에서 삭제된다.
결정된 전송 이미지를 분할하는 단계는, 전송하기로 결정된 압축을 거친 상기 이미지를 분할하여 전송 데이터 패킷을 형성한다.
상기 압축을 통해 획득한 JPEG 이미지 및 미러링 응용 데이터 패킷에 있어서, 만약 상기 JPEG 이미지 및 미러링 응용 데이터 패킷이 메시지의 제한길이보다 큰 경우, 메시지 등비(等比)에 따라, 상기 JPEG 이미지 및 미러링 응용 데이터 패킷을 여러 개의 서브 데이터 패킷으로 분할하는 것으로, 예를 들어, 여러 개의 임시 TMP 파일로 분할하는데, 이런 분할된 임시 TMP 파일들은 네트워크를 통해 멀티 캐스트 방식으로 전송되고, 학습자용 사용자 단말기는 모든 분할된 TMP 파일을 획득한 후, 분할된 TMP파일을 합병시켜 완전한 JPEG 이미지를 형성하여 학습자용 사용자 단말기 로컬에서 디스플레이한다.
구체적으로, UDP 데이터 메시지를 전송하는 경우, 전송하는 데이터 패킷의 길이에 따라 멀티 캐스트 메시지에 대하여 자동으로 패킷 분할을 진행함으로써, 데이터 패킷이 지나치게 큰 것으로 인해 발생하는 전송실패를 방지한다. 단, 만약 UDP 데이터를 지나치게 작게 분할한다면, 짧은 시간 안에 방대한 량의 데이터를 방송하는 것을 초래하므로, 이는 근거리 통신망 내의 네트워크에 비교적 큰 압력을 주게 된다. 데이터의 길이에 근거하여, 동적인 계산을 하여 데이터를 분할하고, 하나의 데이터 메시지의 길이가 16,000 개의 바이트를 초과하지 않는다. 본 발명에 따르면, 반복으로 조정 시험한 결과에 따라, 무선 접근점 대역폭 점용률과 응답속도를 평가하여 획득한 최적의 값은 16,000 바이트이며, 또한 가장 큰 분할 수량은 5 개를 초과하지 않도록 하여 이와 같은 두 조의 조건으로 종합 계산함으로써, 하나의 비교적 바람직한 메시지 데이터 그룹을 획득하여 전송한다.
상기 동기화 데이터의 분할 단계에 대한 구체적인 조작 과정은 다음과 같다.
도 10에서 도시하는 바와 같이, 상기 데이터 패킷 전송 단계는, UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송한다. 전달 대기 중인 메시지를 멀티 캐스트 주소가 무선 AP를 거쳐 전달하는 것은, 유니 캐스트의 형식으로 전환하여 하나씩 전송하는 것이고, 교육자 단 애플리케이션은 멀티캐스트 주소, 234.5.10.200을 통해 AP를 만들어서 각각의 단말기로 전송한다.
무선 접근점, 즉 무선AP(Access Point)는 무선 네트워크에 사용하는 무선 교환기인 것으로, 무선 네트워크의 핵심이기도 하다. 무선 AP는 이동 컴퓨터 사용자가 유선 네트워크에 접입하는 접근점이다.
멀티 캐스트(Multicast) 기술은 유니 캐스트(Unicast) 및 브로드 캐스트(Broadcast)와 병렬되는 통신 방식인 것으로, 싱글 포인트 전송, 멀티 포인트 수신의 문제점을 효과적으로 해결하였고, 실시간 데이터 전송, 멀티미디어 회의, 데이터 모방 등 분야에서 광범위하게 응용된다. 멀티캐스트는 IP 데이터 패킷을 "한 조" 주소로 전송하여 데이터 패킷으로 하여금 인터넷 상의 동일 조의 모든 구성원에 이르도록 하는데, 그 중, "조"란 하나의 특수한 IP 주소표식이다. TCP, IP의 IGMP 프로토콜에는 멀티캐스트의 내용을 포함하고 있는 것으로, 프로토콜은 멀티캐스트가 사용하는 주소는 224.0.0.0에서 239.255.255.255까지라고 규정한다. 224.0.0.0에서 239.0.0.255의 멀티캐스트 주소는 멀티캐스트 라우팅 정보를 저장하고, 이 범위 이외의 멀티캐스트 주소는 모두 응용 프로그램을 위해 설정된 것이다.
UDP(User Data-gram Protocol, 사용자 데이터그램 프로토콜)은 IP 프로토콜 상에 구축한 비연결형 프로토콜인 것으로, 주로 컴튜터 간의 데이터 전송을 해야 하는 네트워크 응용을 지원하는데, 데이터에 대한 중복 전송과 확인을 제공하지 않기 때문에, 그 장점은 전송속도가 비교적 빠르다는 것이고, 그 단점은 신뢰도가 높지 않다는 것이다. 네트워크 채팅 회의 시스템을 포함하여 수많은 클라이언트/서버 모드의 네트워크 응용은 모두 UDP 프로토콜을 사용한다. 하나의 UDP 메시지는 헤드와 데이터 필드 두 부분으로 나뉜다. UDP 헤드는 네 개의 필드로 구성되고, 각각의 필드는 두 개의 바이트를 차지하는 것으로, 소스포트 번호, 착신포트 번호, 데이타그램 길이, 교정값 이다. 데이터 전송측은 UDP 데이타그램을 소스 포트를 통해 전송하고, 데이터 수신측은 착신 포트를 통해 데이터를 수신한다.
UDP가 매번 전송하는 데이터 패킷의 크기는 일반적으로 2048 바이트를 초과하지 않는다. 전송 단과 수신 단에서, 하나의 크기가 65,536 바이트 인 전송 버퍼 영역을 결정하고, 전송 단은 우선 1 프레임의 동영상 데이터를 버퍼영역에 기입하여, 이를 여러 개의 데이터 패킷으로 분할하여, 각각의 데이터 패킷의 크기가 2048 바이트를 초과하지 않도록 한 것을 하나의 데이터 그룹이라고 칭하고, 각각의 데이터 그룹의 각각의 데이터 패킷에 하나의 헤드구조를 추가하는 것으로, 헤드구조는 시퀀스 넘버, 전송채널 넘버, 동영상 압축형식, 시간 스탬프를 정의한다. 데이터그램의 길이 필드는 주로 가변 길이의 데이터 부분을 계산하는 것으로, 이론적으로는, 헤드를 포함한 데이터그램의 최대 길이는 65,536 바이트 이고, 실제 응용에서는, 1024 바이트와 같이 다소 낮은 값을 선택할 수 있다.
UDP는 IP 프로토콜 상에 구축되었으나, 단 IP 프로토콜에 비하여, UDP가 증가되면 프로토콜 포트를 제공 가능하여 프로세스 통신을 보장할 수 있어, 전체 UDP 메시지는 IP 데이터그램에 패키징되어 전송된다. 단, UDP 프로토콜의 문제점은 프로토콜 자체에는 재전송 에러 메커니즘을 갖고 있지 않는 것으로, 잘못된 검측과 처리는 응용 프로그램에서 진행된다.
수신자의 멀티캐스트 소스에 대한 처리방법의 상이함에 따라, 멀티캐스트 모형은 이하의 ASM 모형(Any-Source Multicast, 임의의 소스 멀티캐스트), SFM 모형(Source-Filtered Multicast, 소스 필터링 멀티캐스트), SSM 모형(Source-Specific Multicast, 지정 소스 멀티캐스트)의 세 가지를 포함한다.
(A) ASM 모형
간단히 말하자면, ASM 모형은 바로 임의의 소스 멀티캐스트 모형인 것으로, ASM 모형에서 임의의 어느 한 전송자가 모두 멀티캐스트 소스일 수 있어, 어느 한 멀티캐스트 그룹 주소에 메시지를 전송할 수 있다. 수많은 수신자는 상기 멀티캐스트 그룹 주소에 표기된 멀티캐스트 그룹에 가입하여 상기 멀티캐스트 그룹으로 전송하는 멀티캐스트 메시지를 획득한다. ASM 모형에서, 수신자는 멀티캐스트 소스의 위치를 사전에 알 수 없으나, 단 임의의 시간에 상기 멀티캐스트 그룹에 가입 또는 탈퇴할 수 있다.
(B)SFM 모형
SFM 모형은 ASM 모형을 계승한 것으로, 전송자의 입장에서 볼 때, 이들의 멀티캐스트 그룹의 구성원의 관계는 완전히 동일한다. 동시에, SFM 모형은 기능적인 면에서 볼 때, ASM 모형을 확장시킨 것으로, SFM 모형에서, 상위 소프트웨어은 수신된 멀티캐스트 메시지의 소스 주소에 대하여 검사를 실행함으로써, 일부 멀티캐스트 소스로부터의 메시지가 통과되는 것을 윤허 또는 금지시킨다. 이로써, 수신자는 단지 일부 멀티캐스트 소스로부터의 멀티캐스트 데이터를 수신할 수 밖에 없다. 수신자의 입장에서 볼 때, 일부 멀티캐스트 소스만 유효한 것이기 때문에, 멀티캐스트 소스는 필터링을 거치게 된다.
(C) SSM 모형
현실에서는, 사용자는 아마도 일부 멀티캐스트 소스로부터 전송한 멀티캐스트 정보에 관심을 갖고, 기타 소스로부터 전송한 메시지에 대한 수신을 원하지 않을 수도 있다. SSM 모형은 사용자에게 사용자 단말기에서 멀티캐스트 소스를 지정할 수 있는 전송 서비스를 제공한다. SSM 모형과 ASM 모형의 근본적인 구별은, SSM 모형에서의 수신자는 이미 기타 수단을 통해 멀티캐스트 소스의 구체적인 위치를 사전에 알게 된다는 것이다. SSM 모형은 ASM/SFM 모형과는 다른 멀티캐스트 주소 범위를 사용하여, 수신자와 그가 지정한 멀티캐스트 소스 사이에서 전용의 멀티캐스트 전달 경로를 직접 구축한다.
근거리 통신망 전송은 서버를 사용할 필요가 없는 것으로, 본 발명에서 교육자용 사용자 단말기와 학습자용 사용자 단말기는 AC 라우팅(802.11 AC, 5세대 무선 네트워크 표준, 5G WIFI) 을 통해 동일한 네트워크 망에 연결된다. 물론, P2P 기술을 사용하여 미러링 데이터 전송을 수행할 수도 있다.
도 11에서 도시한 바와 같이, 상기 스레드 모니터링 단계는, UDP 프로토콜에 기반하여 전송 시 스레드에 대하여 실시간으로 모니터링을 실해함으로써, 패킷 손실된 데이터에 대하여 재발급 조작을 하는 것으로, 기본 단계는 다음과 같다. 직렬변환기(serializer)를 통해 mData에 대하여 샤딩 처리를 하고, 순서에 따라 샤딩 데이터 대상을 읽어 들여, 데이터 프래그먼트를 Datagram Package로 패키징하고, UDP 멀티캐스트를 통해 Handler을 제어하여 메시지를 전송한며, 전송 제어기는 60초 동안 휴면하여, 네트워크 부하를 방출시킴으로써, 데이터 메시지의 재전송 모니터링 타이머를 가동시키셔 현재 전송한 데이터 메시지가 만료되었는지 여부를 판단하는 것으로, 만약 만료된 경우, 현재 작업을 종료하는 것으로 판단하고, 만약 만료되지 않은 경우, 후속의 데이터 프래그먼트가 존재하는지 여부를 계속하여 판단함으로써, 데이터를 계속 획득한다.
본 발명은 무선 AP를 사용하여 SSM 모형에 기반하여 UDP 프로토콜을 통해 분할 완료된 데이터 패킷을 전송하는 것으로, SSM 모형의 장점은, 네트워크 데이터용량을 줄이고, 서버와 CPU의 부하를 감소시키며; 불필요한 데이터용량을 줄이고; 멀티 포인트 응용을 가능하게 하는 것이고; 그 단점 역시 확연한 것으로, UDP 프로토콜 통신을 사용하기 때문에, 비 지속적인 연결상태를 초래하고, 패킷 손실 현상이 존재하게 된다.
불필요한 미러링 지령 정보를 삭제하고, 미래캐스트 프로그램의 고효율화와 안정화한 실행을 보장하고; 및 네크워크 통신 업링크(디바이스에서 AP로)의 각도에서 출발하여, 업링크 데이터(Uplink data)의 푸시의 신뢰도를 보장하고, 데이터가 학습자용 사용자 단말기에 정확하고 고효율적으로 전송함에 있어서 이중적으로 보장하기 위하여, 본 발명은 스레드 모니터링의 방식을 통해 상기 문제를 해결하고자 한다.
구체적인 조작 절차는 다음과 같다.
(B1) 교육자용 사용자 단말기가 전송된 데이터 메시지에 대하여 서명 및 넘버링 하여, 매번 전송한 메시지 그룹의 ID의 통일과 유일함을 확보하고, 그 다음 데이터 메시지를 무선 AP의 멀티캐스트 주소에 전송하며, 그 범위는 234.5.*.* 멀티캐스트 네트워크 망 사이에 멀티캐스트 주소를 고정시키고, 교육자용 사용자 단말기는 프로그램 가동 시, 멀티캐스트 주소를 자동으로 계산하여, 하나의 네트워크 환경 내에서, 특히 근거리 통신 망 내에서, 각각의 수업강의가 모두 단독으로 하나의 멀티캐스트 주소를 점용하도록 하는 데이터 메시지 전송처리 단계;
(B2) 데이터 메시지 전송 후, 교육자용 사용자 단말기는 하나의 데몬 스레드를 가동시키고, 타이머를 가동시켜서, 재발급 스택(stack)을 구축함으로써, 본 회차의 전송 데이터와 전송목표를 재발급 스택에 저장하여, 데몬 스레드를 가동하는 시간에 도달한 후, 학습자용 사용자 단말기로부터 데이터 메시지 피드백을 수신 받지 않은 경우, 데몬 스레드는 데이터 메시지 재발급 처리를 가동시켜서 피드백이 없는 학습자용 사용자 단말기로 데이터 패킷을 재전송하는 데몬(Daemon) 스레드 가동 단계;
(B3) 교육자용 사용자 단말기는 멀티캐스트 UDP 데이터패킷을 전송 완료 후, 학습자용 사용자 단말기로부터 첫 번째 피드백 신호를 수신하게 되면, 자동적으로 피드백 데몬 스레드를 가동시키는 것으로, 상기 스레드는 분할 완료한 데이터패킷에 따라 사용자 단말기의 피드백에 대한 재전송 처리를 보장하며, 동시에 데몬 스레드를 정지시키는 피드백 데몬 스레드 가동 단계;
(B4) 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 되었는지 여부를 검증하고, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고; 하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하는 메시지 피드백 단계를 포함한다.
도 12에서 도시하는 바와 같이, 점선 라인부분은 상기 만기된 데이터를 처리하는 단계인 것으로, 시스템 내의 만기 데이터를 폐기하여 네트워크의 원활한 전송을 보장한다. 학습자 단에서의 미러링처리 방법에 있어서는, 우선 미러링 처리방법을 판단하는데, 만약 지령을 공유하는 것이라면, 미러링 지령을 수신하여 미러링 리소스를 검색 및 미러링 화면을 로딩하여, 지령좌표 데이터를 합병한 다음, 그래픽을 묘사하고; 만약 이미지를 공유하는 것이라면, 그래픽 시퀀스 프래그먼트를 수신하여 그래픽이 만기되었는지 여부를 판단하고, 만약 만기되었다면 처리를 폐기하고, 만약 만기되지 않았다면, 그래픽 시퀀스을 전부 수신하였는지 여부를 판단하며, 만약 전부 수신된 것이 아니라면 다음의 시퀀스 프래그먼트를 대기하여, 전부 수신완료 되면, 프래그먼트를 그래픽 대상으로 합병하여, 로컬에서 그래픽을 묘사한다.
상기의 만기 데이터란, 네트워크에서 전송하는 데이터 패킷에 대하여 실시간으로 모니터링하는 과정에서, 데이터 패킷이 네트워크에서 현재 전송 중인 경우에, 교육자용 사용자 단말기에서 또 다른 새로운 데이터 패킷을 전송하게 되면, 교육시스템이 새로운 데이터 패킷의 존재를 검측하게 되는데, 이때, 검측된 기존의 데이터를 만기 데이터로 간주한다.
교육시스템은 만기 데이터를 폐기 처리하고, 교육자용 사용자 단말기, 학습자용 사용자 단말기, 무선 AP 등의 디바이스에서도 처리과정 중의 만기 데이터를 동시에 폐기 처리함으로써, 데이터를 전송하는 경우 네트워크에 가져다 주는 부하를 덜어줌으로써, 학습자용 사용자 단말기에 교육자용 사용자 단말기에서 전송한 최신 데이터를 실시간으로 디스플레이 되도록 한다.
도 13에서 도시하는 바와 같이, 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 하였는지 여부를 검증하는데, 만약 전부 수신완료 하였으면, 데이터 메시지에 대한 합병 및 복원을 실행하고; 매 번 하나의 데이터 메시지를 수신할 때마다, 바로 즉시 교육자용 사용자 단말기에 피드백신호를 전송한다. 구체적으로, 교육자 단에서 데이터 패킷을 전송하고, 학습자 단에서 데이터 패킷을 획득하는 것으로, 교육자 단은 5 초 안에 학습자 단으로부터 피득백 데이터를 수신하였는지 여부를 실시간으로 모니터링하며, 만약 수신받지 못하였다면 데이터 패킷을 재발급 하고, 만약 수신 받았다면 본 데이터 패킷의 전송이 성공하였음을 확인한다.
학습자용 사용자 단말기가 지령 메시지를 수신한 다음, 교육자용 사용자 단말기로 피드백 메시지를 전송한다. 교육자 단은 학습자 단으로부터의 피드백 메시지를 판단함으로써, 교육자가 바로 전에 전송한 지령을 학습자가 잘 수신하였는지 여부를 판단하며, 학습자가 이미 지령을 잘 수신하였음을 교육자 단에서 판단되면, 교육자 단은 다음의 처리작업(예를 들어, 지령 및 오디오 등을 전송)을 실행하며; 만약 학습자가 지령을 완전히 잘 수신하지 못했음을 교육자 단에서 판단하게 되면, 학습자 단에서 완전한 지령을 수신 받을 때까지 지령을 재전송하는 처리작업을 실행한다.
이에 기반하여, 상기 만기 데이터의 처리 단계에 대한 구체적인 과정은 다음과 같다.
(C1) 교육자용 사용자 단말기에서 멀티캐스트 메시지를 서버에 업로드 시키고, 서버는 네트워크 전송을 통해 멀티캐스트 메시지를 학습자용 사용자 단말기로 전송하고;
(C2) 학습자용 사용자 단말기가 멀티캐스트 메시지를 수신한 경우, 만약 메시지가 현재 처리 중인 메시지 그룹으로 서명되었다면, 메시지 정보를 스택 삽입하여 피드백 메시지를 교육자용 사용자 단말기로 전송하며;
(C3) 만약 학습자용 사용자 단말기에서 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 더 새로운 데이터인 것이라면, 스택 중의 데이터가 이미 만기되었음을 의미하므로, 스택 중의 데이터를 비우게 되며, 이와 동시에 새로운 데이터를 스택 삽입하여, 메시지 데이터가 수신완료될 때까지 기다린 후 후속처리를 실행하며;
(C4) 만약 학습자용 사용자 단말기가 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 오래된 것이라면, 상기 수신된 데이터 메시지가 이미 만기되었음을 의미하므로, 시스템은 현재 수신한 데이터 메시지를 포기한다.
(C5) 교육자용 사용자 단말기가 학습자용 사용자 단말기로부터 데이터 메시지에 대한 피드백 메시지를 수신한 경우, 만약 메시지의 타임스탬프가 이미 만기되었다면, 학습자용 사용자 단말기에서 메시지를 늦게 수신 받았음을 의미하는 것으로, 데이터는 이미 만기된 것으로, 교육자용 사용자 단말기는 상기 데이터 메시지를 폐기하여 이에 대하여 기타 그 어떤 처리도 실행하지 않으며, 만약 수신된 데이터 메시지의 타임스탬프가 현재 전송된 데이터패킷이라면, 해당 피드백 메시지를 수신한다.
도 12에서 도시하는 바와 같이, 상기 동기화 디스플레이 단계는, 데이터 수신하는 사용자 단말기 상에서의 동기화 디스플레이를 실현하는 것이다.
학습자용 사용자 단말기 상의 소프트웨어 클라이언트 단 또는 APP에는 이미지 서브 데이터 패킷 합병 디스플레이 모듈이 내장된 것으로, 수신된 여러 개의 임시 TMP 파일과 같은 여러 개의 서브 데이터 패킷을 합병하여 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기 상에 디스플레이 하여, 미러링 디스플레이의 목적을 실현하며; 및
교육자용 사용자 단말기와 동일한 파일 조작 로직 모듈이 내장된 것으로, 미러링 응용과정에서, 학습자용 사용자 단말기는 본 회차 강의의 전자파일 리소스를 사전에 로딩하고, 교육자가 생방송으로 강의하는 과정에서, 학습자용 사용자 단말기는 서버를 통해 획득한 지령 및 좌표점 데이터와 같은 교육자의 조작 전자파일에 대한 조작 지령 데이터를, 이미 내장한 로직 모듈을 이용하여 다운로드한 수업용 전자파일 리소스와 결합하여, 상기 로직모듈을 통해 교육자의 조작을 자동적으로 시뮬레이션 함으로써, 미러링 응용의 목적을 실현한다.
시스템 서버의 학습능력을 구축하는 것으로, 시스템의 딕셔너리(데이터베이스 테이블)는 각종 파일의 조작지령을 기록하여, 데이터베이스를 통해 색인 및 매칭함으로써, 조작지령을 조작지령과 대응되는 실제 실행 언어로 향하게 하고, 단말기는 실제 실행언어를 읽어 들여서 시뮬레이션 조작의 실행을 완성한다.
본 발명의 방법을 응용함으로써, 미러링 데이터 정보가 이미지 등에만 국한되지 않고, 지령 및 좌표점 데이터를 전송하는 방식을 통해 미러링 정보의 푸시를 실행함으로써, 네트워크의 병행되는 데이터 용량을 대대적으로 줄였기 때문에, 미러링 속도를 질적으로 대폭적으로 상승시켰고, 저장공간 및 데이터 사용량을 대량으로 절감한 것으로, 종래의 스트림 동영상 녹화방식을 대체하였다.
상술한 설명은 온라인 교육시스템에 기반하여, 학습자 사용자 및 교육자 사용자 간의 커뮤니케이션에 대한 미러링미러링에 관한 것으로, 본 발명에서 말하는 학습자 사용자 및 교육자 사용자는, 기타의 네트워크에 기반한 유사 커뮤니케이션 시스템에서는 네트워크 회의의 참여자와 사회자, 발언자 등일 수 있는 것으로, 이들은 평등의 관계일 수도 있고, 종속의 관계일 수도 있으며, 또한 이와 같은 관계는 전환 가능하고, 또는 맞교환 가능하다. 본 발명에서 말하는 학습자 사용자 및 교육자 사용자 및 온라인 교육시스템은 본 발명의 용도를 제한하기 위한 것이 아닌 것으로, 전형적인 현상에 대한 예시적인 묘사일 뿐인 것으로, 모든 네트워크에 기반하여 어느 한 단말기 상에서 디스플레이하는 콘텐츠 및/또는 조작한 콘텐츠를 네트워크의 다른 일단의 적어도 하나의 기타의 단말기에 전송하여 응용하는 것은, 모두 본 발명에 적용된다.
상기 내용은 본 발명의 비교적 바람직한 실시예를 소개한 것으로, 본 발명의 취지를 보다 분명하고 잘 이해하도록 하기 위한 것으로, 본 발명을 제한하고자 하는 것은 아니다. 본 발명의 취지 및 원칙 내에서의 모든 변경, 교체, 개선은 모두 본 발명의 특허청구범위에 포함되는 것으로 이해하여야 한다.

Claims (41)

  1. 교육자용 사용자 단말기, 학습자용 사용자 단말기, 서버 및 네트워크를 포함하는 온라인교육 시스템에 사용되는 이미지에 대한 동기화 디스플레이 방법에 있어서,
    동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 교육자용 사용자 단말기 가동 단계;
    동기화 디스플레이되는 미러링 디스플레이 이미지를 획득하는 미러링 디스플레이 이미지 획득 단계;
    동기화 디스플레이되는 미러링 응용 운용 데이터를 획득하는 미러링 응용 운용 데이터 획득 단계;
    획득한 상기 미러링 디스플레이 이미지를 JPEG 형식으로 압축하는 이미지 압축 단계;
    상기 압축 단계를 거쳐 압축한 인접하는 두 개의 상기 미러링 디스플레이 이미지가 동일한지 여부를 판정하여, 그 판정결과에 따라 압축된 이미지를 전송할지 여부를 결정하는 이미지 전송 판정단계;
    전송하기로 결정한 압축을 거친 이미지와 상기 미러링 응용 운용 데이터를 분할하여, 전송 데이터 패킷을 형성하는 결정된 전송 이미지 분할 단계;
    UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송하는 데이터 패킷 전송 단계;
    UDP 프로토콜에 기반하여 전송하는 경우, 스레드에 대하여 실시간 모니터링함으로써 손실된 패킷 데이터를 재발급하는 스레드 모니터링 단계;
    상기 온라인교육 시스템 중의 만기 데이터를 폐기함으로써 원활한 네트워크 전송을 보장하는 만기 데이터 처리 단계;
    데이터를 수신하는 상기 학습자용 사용자 단말기 상에 동기화 디스플레이를 실행하는 동기화 디스플레이 단계;를 포함하고,
    교육자용 사용자 단말기 상의 클라이언트 단 또는 APP을 통해 지령, 및 Path 경로 좌표 데이터를 포함하는 좌표점 데이터를 기록 및 전송하는 방식으로 상기 미러링 응용 운용 데이터를 획득하는, 이미지에 대한 동기화 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 미러링 디스플레이 이미지는 교육자용 사용자 단말기의 화면에 디스플레이되는 내용인 것으로, 전자 화이트보드, 영사(映寫)입력 장치, 필기인식 입력장치, 칠판 또는 화이트보드 및 카메라와 촬영기를 포함하는 이미지 채집 장치로 채집한 이미지를 포함하고;
    채집된 이미지는 BMP 형식인, 이미지에 대한 동기화 디스플레이 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 Path 경로 좌표 데이터의 기록과정은,
    (A1) 기록한 Path 경로 좌표 데이터를 분석하여, 임시의 지령 좌표 스택에 저장한 후, 화면에 대한 초기 배치를 실행하여, 화면의 캔버스(Canvas) 상에 배경 패턴을 우선 설정하고;
    (A2) 하나의 Bitmap를 새로 생성하여, 상기 Bitmap으로 하나의 임시 캔버스(temptCanvas)를 생성하고;
    (A3) tempBitmap 배경을 투명하게 설정하는 것으로, 그 목적은 임시 캔버스(temptCanvas)의 목표를 새로 만든 tempBitmap 상에 배치하는 것이며;
    (A4) 상기 A1-A3을 거친 후, 지령 스택에서 좌표지령을 취출하여 일일이 환원하며, 임시 캔버스를 통해 재기록하고, 임시 캔버스의 모든 draw 함수는 모두 대응되는 이미지를 임시의 tempBitmap 상에 그리고, 이로써 동작 추적의 과정에서 점과 선은 temptCanvas를 호출하되, 원래의 화면 상의 Canvas를 호출하는 것은 아니고, temptCanvas.drawPoint, temptCanvasRect을 포함하며;
    (A5) 모든 지령 좌표 스택을 수행 완료 후, Canvas.drawBitmap (tempBitmap,0,0,null)을 수행하고; temptCanvas는 각종 브러시 흔적을 tempBitmap 상에 그리고, Canvas는 tempBitmap을 화면 상에 그리는, 이미지에 대한 동기화 디스플레이 방법.
  5. 제 1 항에 있어서,
    상기 이미지 압축 단계를 실행하기 전, 우선 압축되지 않은 이미지를 백업하여, 원시 이미지 백업 데이터베이스를 형성함으로써, 사용자가 압축된 이미지를 수신하게 되어, 보다 정교한 이미지를 살펴보기를 원하는 경우, 상기 원시 이미지 백업 데이터베이스를 클릭하여 원시 이미지를 다운받을 수 있는, 이미지에 대한 동기화 디스플레이 방법.
  6. 제 5 항에 있어서,
    상기 이미지 전송 판정 단계를 완료한 후, 학습자용 사용자 단말기로 전송하여 동기화 디스플레이 하지 않기로 결정한 압축 이미지의 원시 백업 데이터를 상기 데이터베이스에서 삭제하는, 이미지에 대한 동기화 디스플레이 방법.
  7. 제 1 항에 있어서,
    상기 이미지 압축 단계는 추가로, JPEG 이미지 1차 압축과정 및 이미지 2차 압축과정을 포함하는, 이미지에 대한 동기화 디스플레이 방법.
  8. 제 7 항에 있어서,
    상기 JPEG 이미지 1차 압축과정에서, 이미지에 대하여 압축처리를 실행 시, 각각의 이미지의 DC 고유값과 AC 고유값을 복사하여 다른 이름으로 별도의 데이터 파일로 저장하고;
    상기 다른 이름으로 별도로 저장한 데이터 파일에 근거하여, 앞뒤로 인접된 두 폭의 이미지에 대한 상기 DC 및 AC 고유값의 차이값을, 즉, DC 및 AC 고유 벡터의 각 분량의 차이값의 총합을 순차적으로 계산하는 것으로, 차이값이 클수록 앞뒤로 인접한 두 폭의 이미지의 차이가 크다는 것을 의미하고, 차이값이 작거나 또는 차이가 없다는 것은 앞뒤로 인접한 두 폭의 이미지의 차이가 작거나 또는 없다는 것을 의미하는 것으로, 뒤쪽의 이미지를 학습자용 사용자 단말기에 전송하여 동기화하여 디스플레이할 필요가 없음을 판정하는, 이미지에 대한 동기화 디스플레이 방법.
  9. 제 8 항에 있어서,
    상기 고유값의 차이값을 구하는 계산방법은,
    앞뒤로 인접된 두 폭의 이미지의 DC 및 AC 고유값의 값을 대비하는 것으로,
    DC 고유값의 값에 대해서는, 그 분량의 플러스 마이너스 부호를 대비하여, 만약 분량 부호가 동일하다면 1로 표기하고, 동일하지 않는다면 0으로 표기하며;
    AC 고유값의 값에 대해서는, 설정된 대비 역치에 근거하여, 만약 분량의 차이값이 대비 역치를 초과하면 0으로 표기하고, 초과하지 않는다면 1로 표기하며;
    이로써, 0 또는 1이란 숫자를 구하여, 이들을 더하여 그 총합을 구하면, 앞뒤로 인접한 두 폭의 이미지 간의 차이값을 얻을 수 있으며;
    그 중, 0의 수가 많을 수록 고유 벡터의 차이가 크고, 이미지의 차이도 크다는 것을 의미하는, 이미지에 대한 동기화 디스플레이 방법.
  10. 제 9 항에 있어서,
    DC 및 AC 고유값을 복사하여 다른 이름으로 저장하는 파일을 복수 개 설치하여, 하나의 폴더가 다 차게 되면, 다른 하나의 폴더를 사용하여 저장하며, 그 다음 시스템은 다시 저장공간이 다 찬 상기 폴더를 비워서 백업용으로 두는, 이미지에 대한 동기화 디스플레이 방법.
  11. 제 9 항에 있어서,
    긴 시간동안 앞뒤로 인접한 두 폭의 화면캡쳐 내용이 변화 없음을 검측하게 되면, 화면 이미지를 캡쳐하는 시간을 자동으로 연장시키는, 이미지에 대한 동기화 디스플레이 방법.
  12. 제 9 항에 있어서,
    차이값이 소정 범위 내임을 검측하게 되면, 현재 스크린의 내용을 제1 버전의 판서내용으로 표기하고;
    차이값이 소정 범위 외임을 검측하게 되면, 새로운 버전의 판서 또는 새로운 디스플레이 내용이 시작된 것으로 판정하는, 이미지에 대한 동기화 디스플레이 방법.
  13. 제 7 항에 있어서,
    상기 이미지 2차 압축과정은, 이미지의 크기와 시스템에서 지정한 문서의 바이트 수의 {최소치, 최대치}:{minSize, maxSize}에 근거하여,
    만일 (image.getBytes()＞maxSize) 이면 {압축비율 = image.getBytes()/maxSize*시스템 정의 편이량} 이고, 그 외에는 {압축비율 = 1};로 압축비율을 설정하고,
    압축 이미지로 구성된 이미지의 크기와 지정된 문서 바이트 수의 (minSize, maxSize}에 근거하여 이미지 압축 비율을 획득하는 것으로,
    만약 이미지의 크기가 최대치보다 크다면, {압축비율 = 이미지 크기/최대치*시스템 정의 편이량} 이고, 만약 이미지의 크기가 최대치보다 크지 않다면, 압축비율 = 1 이며;
    그 중, 상기 편이량을 0.4 ~ 0.6으로 설정하는, 이미지에 대한 동기화 디스플레이 방법.
  14. 제 1 항에 있어서,
    상기 압축을 통해 획득한 JPEG 이미지 및 미러링 응용 운용 데이터 패킷이 만약 메시지의 제한길이보다 큰 경우, 메시지 등비(等比)에 따라, 상기 JPEG 이미지 및 미러링 응용 운용 데이터 패킷을 여러 개의 서브 데이터 패킷으로 분할하는 것으로, 즉,
    여러 개의 임시 TMP 파일로 분할하는 것으로, 이런 분할된 임시 TMP 파일들은 네트워크를 통해 멀티 캐스트 방식으로 전송되고, 학습자용 사용자 단말기는 모든 분할된 TMP 파일을 획득한 후, 분할된 TMP파일을 합병시켜 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기에서 로컬 디스플레이하는, 이미지에 대한 동기화 디스플레이 방법.
  15. 제 14 항에 있어서,
    데이터의 길이에 근거하여, 데이터를 동적으로 계산 및 분할하는 것으로, 가장 큰 분할 수량은 5 개를 초과하지 않도록 하여 이와 같은 두 조의 조건으로 종합 계산함으로써, 하나의 메시지 데이터 그룹을 획득하여 전송하는, 이미지에 대한 동기화 디스플레이 방법.
  16. 제 1 항에 있어서,
    상기 학습자용 사용자 단말기의 클라이언트 단에서 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 하였는지 여부를 검증하여, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고;
    하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하고;
    학습자용 사용자 단말기에서 지령을 수신 받은 후, 교육자용 사용자 단말기로 피드백 신호를 전송하는, 이미지에 대한 동기화 디스플레이 방법.
  17. 제 16 항에 있어서,
    상기 스레드 모니터링 단계는,
    (B1) 교육자용 사용자 단말기가 전송된 데이터 메시지에 대하여 서명 및 넘버링 하여, 매번 전송한 메시지 그룹의 ID의 통일과 유일함을 확보하고, 그 다음 데이터 메시지를 무선 AP의 멀티캐스트 주소에 전송하며, 그 범위는 234.5.*.* 멀티캐스트 네트워크 망 사이에 멀티캐스트 주소를 고정시키고, 교육자용 사용자 단말기는 프로그램 가동 시, 멀티캐스트 주소를 자동으로 계산하여, 하나의 네트워크 환경 내에서, 각각의 수업강의가 모두 단독으로 하나의 멀티캐스트 주소를 점용하도록 하는 데이터 메시지 전송처리 단계;
    (B2) 데이터 메시지 전송 후, 교육자용 사용자 단말기는 하나의 데몬 스레드를 가동시키고, 타이머를 가동시켜서, 재발급 스택(stack)을 구축함으로써, 본 회차의 전송 데이터와 전송목표를 재발급 스택에 저장하여, 데몬 스레드를 가동하는 시간에 도달한 후, 학습자용 사용자 단말기로부터 데이터 메시지 피드백을 수신 받지 않은 경우, 데몬 스레드는 데이터 메시지 재발급 처리를 가동시켜서 피드백이 없는 학습자용 사용자 단말기로 데이터 패킷을 재전송하는 데몬(Daemon) 스레드 가동 단계;
    (B3) 교육자용 사용자 단말기는 멀티캐스트 UDP 데이터패킷을 전송 완료 후, 학습자용 사용자 단말기로부터 첫 번째 피드백 신호를 수신하게 되면, 자동적으로 피드백 데몬 스레드를 가동시키는 것으로, 상기 스레드는 분할 완료한 데이터패킷에 따라 사용자 단말기의 피드백에 대한 재전송 처리를 보장하며, 동시에 데몬 스레드를 정지시키는 피드백 데몬 스레드 가동 단계;
    (B4) 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 되었는지 여부를 검증하고, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고; 하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하는 메세지 피드백 단계를 포함하는, 이미지에 대한 동기화 디스플레이 방법.
  18. 제 1 항에 있어서,
    상기 만기 데이터의 처리 단계에 있어서, 그 구체적인 과정은,
    (C1) 교육자용 사용자 단말기에서 멀티캐스트 메시지를 서버에 업로드 시키고, 서버는 네트워크 전송을 통해 멀티캐스트 메시지를 학습자용 사용자 단말기로 전송하고;
    (C2) 학습자용 사용자 단말기가 멀티캐스트 메시지를 수신한 경우, 만약 메시지가 현재 처리 중인 메시지 그룹으로 서명되었다면, 메시지 정보를 스택 삽입하여 피드백 메시지를 교육자용 사용자 단말기로 전송하며;
    (C3) 만약 학습자용 사용자 단말기에서 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 더 새로운 데이터인 것이라면, 스택 중의 데이터가 이미 만기 되었음을 의미하므로, 스택 중의 데이터를 비우게 되며, 이와 동시에 새로운 데이터를 스택 삽입하여, 메시지 데이터가 수신완료될 때까지 기다린 후 후속처리를 실행하며;
    (C4) 만약 학습자용 사용자 단말기가 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 오래된 것이라면, 수신된 데이터 메시지가 이미 만기되었음을 의미하므로, 시스템은 현재 수신한 데이터 메시지를 포기하며;
    (C5) 교육자용 사용자 단말기가 학습자용 사용자 단말기로부터 데이터 메시지에 대한 피드백 메시지를 수신한 경우, 만약 메시지의 타임스탬프가 이미 만기되었다면, 학습자용 사용자 단말기에서 메시지를 늦게 수신 받았음을 의미하는 것으로, 데이터는 이미 만기된 것으로, 교육자용 사용자 단말기는 상기 데이터 메시지를 폐기하여 이에 대하여 기타 그 어떤 처리도 실행하지 않으며, 만약 수신된 데이터 메시지의 타임스탬프가 현재 전송된 데이터패킷이라면, 해당 피드백 메시지를 수신하는, 이미지에 대한 동기화 디스플레이 방법.
  19. 제 1 항에 있어서,
    상기 동기화 디스플레이 단계는, 학습자용 사용자 단말기 상의 클라이언트 단 또는 APP에서,
    이미지 서브 데이터 패킷 합병 디스플레이 모듈이 내장된 것으로, 수신된 여러 개의 임시 TMP 파일과 같은 여러 개의 서브 데이터 패킷을 합병하여, 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기 상에 디스플레이 하여, 미러링 디스플레이의 목적을 실현하고;
    교육자용 사용자 단말기와 동일한 파일 조작 로직 모듈이 내장된 것으로, 미러링 응용과정에서, 학습자용 사용자 단말기는 본 회차 수업강의에 대한 전자파일 리소스를 사전에 로딩하고, 교육자가 생방송으로 강의하는 과정에서, 학습자용 사용자 단말기는 서버를 통해 획득한 지령 및 좌표점 데이터와 같은 교육자의 조작 전자파일에 대한 조작 지령 데이터를, 이미 내장한 로직 모듈을 이용하여 다운로드한 수업용 전자파일 리소스와 결합하여, 상기 로직모듈을 통해 교육자의 조작을 자동적으로 시뮬레이션 함으로써, 미러링 응용 디스플레이의 목적을 실현하는, 이미지에 대한 동기화 디스플레이 방법.
  20. 제 1 항, 제 2 항 및 제 4 항 내지 제 19 항 중 어느 한 항에 있어서,
    학습자용 사용자 단말기는 실시간으로 수신 받은 이미지에 대하여 로컬 디스플레이 함으로써, 수신 받은 일련의 동기화 이미지를 재생 가능한 동영상 스트림으로 저장하고;
    상기 동영상 스트림의 방송과 교육자와 관련된 오디오 녹음을 시간 특징에 근거하여 매칭시켜, 음성을 갖는 동영상 스트림을 형성하는, 이미지에 대한 동기화 디스플레이 방법.
  21. 교육자용 사용자 단말기, 학습자용 사용자 단말기, 서버 및 네트워크를 포함하는 온라인교육 시스템에 사용되는 이미지에 대한 동기화 디스플레이 장치에 있어서,
    프로세서; 및
    상기 프로세서에서 실행하는 실행 조작을 위한 컴퓨터 판독가능 프로그램 코드를 구비하는 컴퓨터 판독가능 저장매체;를 포함하는 것으로,
    상기 조작은,
    동기화 디스플레이되는 데이터를 획득하기 위하여 준비하는 교육자용 사용자 단말기 가동 단계;
    동기화 디스플레이되는 미러링 디스플레이 이미지를 획득하는 미러링 디스플레이 이미지 획득 단계;
    동기화 디스플레이되는 미러링 응용 운용 데이터를 획득하는 미러링 응용 운용 데이터 획득 단계;
    획득한 상기 미러링 디스플레이 이미지를 JPEG 형식으로 압축하는 이미지 압축 단계;
    상기 압축 단계를 거쳐 압축한 인접하는 두 개의 상기 미러링 디스플레이 이미지가 동일한지 여부를 판정하여, 그 판정결과에 따라 압축된 이미지를 전송할지 여부를 결정하는 이미지 전송 판정단계;
    전송하기로 결정한 압축을 거친 이미지와 상기 미러링 응용 운용 데이터를 분할하여, 전송 데이터 패킷을 형성하는 결정된 전송 이미지 분할 단계;
    UDP 프로토콜에 기반하여 멀티 캐스트 모드로 복수 개의 사용자 단말기에 상기 데이터 패킷을 전송하는 데이터 패킷 전송 단계;
    UDP 프로토콜에 기반하여 전송하는 경우, 스레드에 대하여 실시간 모니터링함으로써 손실된 패킷 데이터를 재발급하는 스레드 모니터링 단계;
    상기 온라인교육 시스템 중의 만기 데이터를 폐기함으로써 원활한 네트워크 전송을 보장하는 만기 데이터 처리 단계;
    데이터를 수신하는 상기 학습자용 사용자 단말기 상에 동기화 디스플레이를 실행하는 동기화 디스플레이 단계;를 포함하고,
    교육자용 사용자 단말기 상의 클라이언트 단 또는 APP을 통해 지령, 및 Path 경로 좌표 데이터를 포함하는 좌표점 데이터를 기록 및 전송하는 방식으로 상기 미러링 응용 운용 데이터를 획득하는, 이미지에 대한 동기화 디스플레이 장치.
  22. 제 21 항에 있어서,
    상기 미러링 디스플레이 이미지는 교육자용 사용자 단말기의 화면에 디스플레이되는 내용인 것으로, 전자 화이트보드, 영사(映寫)입력 장치, 필기인식 입력장치, 칠판 또는 화이트보드 및 카메라와 촬영기를 포함하는 이미지 채집 장치로 채집한 이미지를 포함하고;
    채집된 이미지는 BMP 형식인, 이미지에 대한 동기화 디스플레이 장치.
  23. 삭제
  24. 제 21 항에 있어서,
    상기 Path 경로 좌표 데이터의 기록과정은,
    (A1) 기록한 Path 경로 좌표 데이터를 분석하여, 임시의 지령 좌표 스택에 저장한 후, 화면에 대한 초기 배치를 실행하여, 화면의 캔버스(Canvas) 상에 배경 패턴을 우선 설정하고;
    (A2) 하나의 Bitmap를 새로 생성하여, 상기 Bitmap으로 하나의 임시 캔버스(temptCanvas)를 생성하고;
    (A3) tempBitmap 배경을 투명하게 설정하는 것으로, 그 목적은 임시 캔버스(temptCanvas)의 목표를 새로 만든 tempBitmap 상에 배치하는 것이며;
    (A4) 상기 A1-A3을 거친 후, 지령 스택에서 좌표지령을 취출하여 일일이 환원하며, 임시 캔버스를 통해 재기록하고, 임시 캔버스의 모든 draw 함수는 모두 대응되는 이미지를 임시의 tempBitmap 상에 그리고, 이로써 동작 추적의 과정에서 점과 선은 temptCanvas를 호출하되, 원래의 화면 상의 Canvas를 호출하는 것은 아니고, temptCanvas.drawPoint, temptCanvasRect을 포함하며;
    (A5) 모든 지령 좌표 스택을 수행 완료 후, Canvas.drawBitmap (tempBitmap,0,0,null)을 수행하고; temptCanvas는 각종 브러시 흔적을 tempBitmap 상에 그리고, Canvas는 tempBitmap을 화면 상에 그리는, 이미지에 대한 동기화 디스플레이 장치.
  25. 제 21 항에 있어서,
    상기 이미지 압축 단계를 실행하기 전, 우선 압축되지 않은 이미지를 백업하여, 원시 이미지 백업 데이터베이스를 형성함으로써, 사용자가 압축된 이미지를 수신하게 되어, 보다 정교한 이미지를 살펴보기를 원하는 경우, 상기 원시 이미지 백업 데이터베이스를 클릭하여 원시 이미지를 다운받을 수 있는, 이미지에 대한 동기화 디스플레이 장치.
  26. 제 25 항에 있어서,
    상기 이미지 전송 판정 단계를 완료한 후, 학습자용 사용자 단말기로 전송하여 동기화 디스플레이 하지 않기로 결정한 압축 이미지의 원시 백업 데이터를 상기 데이터베이스에서 삭제하는, 이미지에 대한 동기화 디스플레이 장치.
  27. 제 21 항에 있어서,
    상기 이미지 압축단계는 추가로, JPEG 이미지 1차 압축과정 및 이미지 2차 압축과정을 포함하는, 이미지에 대한 동기화 디스플레이 장치.
  28. 제 27 항에 있어서,
    상기 JPEG 이미지 1차 압축과정에서, 이미지에 대하여 압축처리를 실행 시, 각각의 이미지의 DC 고유값과 AC 고유값을 복사하여 다른 이름으로 별도의 데이터 파일로 저장하고;
    상기 다른 이름으로 별도로 저장한 데이터 파일에 근거하여, 앞뒤로 인접된 두 폭의 이미지에 대한 상기 DC 및 AC 고유값의 차이값을, 즉, DC 및 AC 고유 벡터의 각 분량의 차이값의 총합을 순차적으로 계산하는 것으로, 차이값이 클수록 앞뒤로 인접한 두 폭의 이미지의 차이가 크다는 것을 의미하고, 차이값이 작거나 또는 차이가 없다는 것은 앞뒤로 인접한 두 폭의 이미지의 차이가 작거나 또는 없다는 것을 의미하는 것으로, 뒤쪽의 이미지를 학습자용 사용자 단말기에 전송하여 동기화하여 디스플레이할 필요가 없음을 판정하는, 이미지에 대한 동기화 디스플레이 장치.
  29. 제 28 항에 있어서,
    상기 고유값의 차이값을 구하는 계산방법은,
    앞뒤로 인접된 두 폭의 이미지의 DC 및 AC 고유값의 값을 대비하는 것으로,
    DC 고유값의 값에 대해서는, 그 분량의 플러스 마이너스 부호를 대비하여, 만약 분량 부호가 동일하다면 1로 표기하고, 동일하지 않는다면 0으로 표기하며;
    AC 고유값의 값에 대해서는, 설정된 대비 역치에 근거하여, 만약 분량의 차이값이 대비 역치를 초과하면 0으로 표기하고, 초과하지 않는다면 1로 표기하며;
    이로써, 0 또는 1이란 숫자를 구하여, 이들을 더하여 그 총합을 구하면, 앞뒤로 인접한 두 폭의 이미지 간의 차이값을 얻을 수 있으며;
    그 중, 0의 수가 많을 수록 고유 벡터의 차이가 크고, 이미지의 차이도 크다는 것을 의미하는, 이미지에 대한 동기화 디스플레이 장치.
  30. 제 29 항에 있어서,
    DC 및 AC 고유값을 복사하여 다른 이름으로 저장하는 파일을 복수 개 설치하여, 하나의 폴더가 다 차게 되면, 다른 하나의 폴더를 사용하여 저장하며, 그 다음 시스템은 다시 저장공간이 다 찬 상기 폴더를 비워서 백업용으로 두는, 이미지에 대한 동기화 디스플레이 장치.
  31. 제 29 항에 있어서,
    긴 시간동안 앞뒤로 인접한 두 폭의 화면캡쳐 내용이 변화 없음을 검측하게 되면, 화면 이미지를 캡쳐하는 시간을 자동으로 연장시키는, 이미지에 대한 동기화 디스플레이 장치.
  32. 제 29 항에 있어서,
    차이값이 소정 범위 내임을 검측하게 되면, 현재 스크린의 내용을 제1 버전의 판서내용으로 표기하고;
    차이값이 소정 범위 외임을 검측하게 되면, 새로운 버전의 판서 또는 새로운 디스플레이 내용이 시작된 것으로 판정하는, 이미지에 대한 동기화 디스플레이 장치.
  33. 제 27 항에 있어서,
    상기 이미지 2차 압축과정은, 이미지의 크기와 시스템에서 지정한 문서의 바이트 수의 {최소치, 최대치}:{minSize, maxSize}에 근거하여, 압축비율을 설정하고,
    만일 (image.getBytes()＞maxSize) 이면 {압축비율 = image.getBytes()/maxSize*시스템 정의 편이량} 이고, 그 외에는 {압축비율 = 1};로 압축비율을 설정하고,
    압축 이미지로 구성된 이미지의 크기와 지정된 문서 바이트 수의 (minSize, maxSize}에 근거하여 이미지 압축 비율을 획득하는 것으로,
    만약 이미지의 크기가 최대치보다 크다면, {압축비율 = 이미지 크기/최대치*시스템 정의 편이량} 이고, 만약 이미지의 크기가 최대치보다 크지 않다면, 압축비율 = 1 이며;
    그 중, 상기 편이량을 0.4 ~ 0.6으로 설정하는, 이미지에 대한 동기화 디스플레이 장치.
  34. 제 21 항에 있어서,
    상기 압축을 통해 획득한 JPEG 이미지 및 미러링 응용 운용 데이터 패킷이 만약 메시지의 제한길이보다 큰 경우, 메시지 등비(等比)에 따라, 상기 JPEG 이미지 및 미러링 응용 운용 데이터 패킷을 여러 개의 서브 데이터 패킷으로 분할하는 것으로, 즉,
    여러 개의 임시 TMP 파일로 분할하는 것으로, 이런 분할된 임시 TMP 파일들은 네트워크를 통해 멀티 캐스트 방식으로 전송되고, 학습자용 사용자 단말기는 모든 분할된 TMP 파일을 획득한 후, 분할된 TMP파일을 합병시켜 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기에서 로컬 디스플레이하는, 이미지에 대한 동기화 디스플레이 장치.
  35. 제 34 항에 있어서,
    데이터의 길이에 근거하여, 데이터를 동적으로 계산 및 분할하는 것으로, 가장 큰 분할 수량은 5 개를 초과하지 않도록 하여 이와 같은 두 조의 조건으로 종합 계산함으로써, 하나의 메시지 데이터 그룹을 획득하여 전송하는, 이미지에 대한 동기화 디스플레이 장치.
  36. 제 21 항에 있어서,
    상기 학습자용 사용자 단말기의 클라이언트 단에서 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 하였는지 여부를 검증하여, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고;
    하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하고;
    학습자용 사용자 단말기에서 지령을 수신 받은 후, 교육자용 사용자 단말기로 피드백 신호를 전송하는, 이미지에 대한 동기화 디스플레이 장치.
  37. 제 36 항에 있어서,
    상기 스레드 모니터링 단계는,
    (B1) 교육자용 사용자 단말기가 전송된 데이터 메시지에 대하여 서명 및 넘버링 하여, 매번 전송한 메시지 그룹의 ID의 통일과 유일함을 확보하고, 그 다음 데이터 메시지를 무선 AP의 멀티캐스트 주소에 전송하며, 그 범위는 234.5.*.* 멀티캐스트 네트워크 망 사이에 멀티캐스트 주소를 고정시키고, 교육자용 사용자 단말기는 프로그램 가동 시, 멀티캐스트 주소를 자동으로 계산하여, 하나의 네트워크 환경 내에서, 각각의 수업강의가 모두 단독으로 하나의 멀티캐스트 주소를 점용하도록 하는 데이터 메시지 전송처리 단계;
    (B2) 데이터 메시지 전송 후, 교육자용 사용자 단말기는 하나의 데몬 스레드를 가동시키고, 타이머를 가동시켜서, 재발급 스택(stack)을 구축함으로써, 본 회차의 전송 데이터와 전송목표를 재발급 스택에 저장하여, 데몬 스레드를 가동하는 시간에 도달한 후, 학습자용 사용자 단말기로부터 데이터 메시지 피드백을 수신 받지 않은 경우, 데몬 스레드는 데이터 메시지 재발급 처리를 가동시켜서 피드백이 없는 학습자용 사용자 단말기로 데이터 패킷을 재전송하는 데몬(Daemon) 스레드 가동 단계;
    (B3) 교육자용 사용자 단말기는 멀티캐스트 UDP 데이터패킷을 전송 완료 후, 학습자용 사용자 단말기로부터 첫 번째 피드백 신호를 수신하게 되면, 자동적으로 피드백 데몬 스레드를 가동시키는 것으로, 상기 스레드는 분할 완료한 데이터패킷에 따라 사용자 단말기의 피드백에 대한 재전송 처리를 보장하며, 동시에 데몬 스레드를 정지시키는 피드백 데몬 스레드 가동 단계;
    (B4) 학습자용 사용자 단말기의 클라이언트가 교육자용 사용자 단말기로부터 전송한 멀티캐스트 데이터 패킷을 수신 받은 경우, 우선 데이터를 전부 수신완료 되었는지 여부를 검증하고, 만약 수신완료 되었다면 데이터 메시지를 합병하여 복원시키고; 하나의 데이터를 수신 받을 때마다, 그 피드백 신호를 바로 즉시 교육자용 사용자 단말기로 전송하는 메세지 피드백 단계를 포함하는, 이미지에 대한 동기화 디스플레이 장치.
  38. 제 31 항에 있어서,
    상기 만기 데이터의 처리 단계에 있어서, 그 구체적인 과정은,
    (C1) 교육자용 사용자 단말기에서 멀티캐스트 메시지를 서버에 업로드 시키고, 서버는 네트워크 전송을 통해 멀티캐스트 메시지를 학습자용 사용자 단말기로 전송하고;
    (C2) 학습자용 사용자 단말기가 멀티캐스트 메시지를 수신한 경우, 만약 메시지가 현재 처리 중인 메시지 그룹으로 서명되었다면, 메시지 정보를 스택 삽입하여 피드백 메시지를 교육자용 사용자 단말기로 전송하며;
    (C3) 만약 학습자용 사용자 단말기에서 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 더 새로운 데이터인 것이라면, 스택 중의 데이터가 이미 만기 되었음을 의미하므로, 스택 중의 데이터를 비우게 되며, 이와 동시에 새로운 데이터를 스택 삽입하여, 메시지 데이터가 수신완료될 때까지 기다린 후 후속처리를 실행하며;
    (C4) 만약 학습자용 사용자 단말기가 수신한 멀티캐스트 메시지에 대한 서명이 현재 스택에서 처리 중인 데이터보다 오래된 것이라면, 수신된 데이터 메시지가 이미 만기되었음을 의미하므로, 시스템은 현재 수신한 데이터 메시지를 포기하며;
    (C5) 교육자용 사용자 단말기가 학습자용 사용자 단말기로부터 데이터 메시지에 대한 피드백 메시지를 수신한 경우, 만약 메시지의 타임스탬프가 이미 만기되었다면, 학습자용 사용자 단말기에서 메시지를 늦게 수신 받았음을 의미하는 것으로, 데이터는 이미 만기된 것으로, 교육자용 사용자 단말기는 상기 데이터 메시지를 폐기하여 이에 대하여 기타 그 어떤 처리도 실행하지 않으며, 만약 수신된 데이터 메시지의 타임스탬프가 현재 전송된 데이터패킷이라면, 해당 피드백 메시지를 수신하는, 이미지에 대한 동기화 디스플레이 장치.
  39. 제 21 항에 있어서,
    상기 동기화 디스플레이 단계는, 학습자용 사용자 단말기 상의 클라이언트 단 또는 APP에서,
    이미지 서브 데이터 패킷 합병 디스플레이 모듈이 내장된 것으로, 수신된 여러 개의 임시 TMP 파일과 같은 여러 개의 서브 데이터 패킷을 합병하여, 완전한 JPEG 이미지를 형성하여, 학습자용 사용자 단말기 상에 디스플레이 하여, 미러링 디스플레이의 목적을 실현하고;
    교육자용 사용자 단말기와 동일한 파일 조작 로직 모듈이 내장된 것으로, 미러링 응용과정에서, 학습자용 사용자 단말기는 본 회차 수업강의에 대한 전자파일 리소스를 사전에 로딩하고, 교육자가 생방송으로 강의하는 과정에서, 학습자용 사용자 단말기는 서버를 통해 획득한 지령 및 좌표점 데이터와 같은 교육자의 조작 전자파일에 대한 조작 지령 데이터를, 이미 내장한 로직 모듈을 이용하여 다운로드한 수업용 전자파일 리소스와 결합하여, 상기 로직모듈을 통해 교육자의 조작을 자동적으로 시뮬레이션 함으로써, 미러링 응용 디스플레이의 목적을 실현하는, 이미지에 대한 동기화 디스플레이 장치.
  40. 제 21 항, 제 22 항 및 제 24 항 내지 제 39 항 중 어느 한 항에 있어서,
    학습자용 사용자 단말기는 실시간으로 수신 받은 이미지에 대하여 로컬 디스플레이 함으로써, 수신 받은 일련의 동기화 이미지를 재생 가능한 동영상 스트림으로 저장하고;
    상기 동영상 스트림의 방송과 교육자와 관련된 오디오 녹음을 시간 특징에 근거하여 매칭시켜, 음성을 갖는 동영상 스트림을 형성하는, 이미지에 대한 동기화 디스플레이 장치.
  41. 제 1 항, 제 2 항 및 제 4 항 내지 제 19 항 중 어느 한 항에 따른 이미지에 대한 동기화 디스플레이 방법을 실행하거나, 또는 청구항 제 21 항, 제 22 항 및 제 24 항 내지 제 39 항 중 어느 한 항에 따른 이미지에 대한 동기화 디스플레이 장치를 포함하는, 서버와 복수 개의 사용자 단말기를 포함하는 온라인 교육 시스템에 있어서,
    상기 복수 개의 사용자 단말기 중의 하나의 스크린에 디스플레이되는 이미지 내용을 기타의 상기 단말기 상에 전송하여 동기화 디스플레이를 실현하는, 온라인 교육 시스템.
KR1020177023247A 2015-11-19 2015-12-25 이미지에 대한 동기화 디스플레이 방법 및 장치 KR102050865B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510801936.9A CN105491414B (zh) 2015-11-19 2015-11-19 一种图像同步显示方法及装置
CN201510801936.9 2015-11-19
PCT/CN2015/099057 WO2017084174A1 (zh) 2015-11-19 2015-12-25 一种图像同步显示方法及装置

Publications (2)

Publication Number Publication Date
KR20170107027A KR20170107027A (ko) 2017-09-22
KR102050865B1 true KR102050865B1 (ko) 2019-12-02

Family

ID=55678077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023247A KR102050865B1 (ko) 2015-11-19 2015-12-25 이미지에 대한 동기화 디스플레이 방법 및 장치

Country Status (7)

Country Link
US (1) US10522049B2 (ko)
JP (1) JP6430653B2 (ko)
KR (1) KR102050865B1 (ko)
CN (1) CN105491414B (ko)
CA (1) CA2973405C (ko)
DE (1) DE112015007134T5 (ko)
WO (1) WO2017084174A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405325B (zh) * 2015-12-22 2017-04-26 深圳市鹰硕技术有限公司 一种网络教学方法及系统
CN106375804A (zh) * 2016-05-30 2017-02-01 深圳市美贝壳科技有限公司 移动端同步模拟智能设备界面的改良方法
CN107800729B (zh) * 2016-08-30 2021-02-05 中国移动通信集团广东有限公司 一种信息查询方法和系统
CN106230704B (zh) * 2016-08-31 2020-01-14 嘉兴学院 一种远程实验交互方法及系统
CN106803863A (zh) * 2016-12-20 2017-06-06 深圳市金立通信设备有限公司 一种图像共享方法和终端
CN106790621A (zh) * 2016-12-30 2017-05-31 广州幻境科技有限公司 一种动作捕捉数据的云分享控制方法、及其系统
CN108415635A (zh) * 2017-02-10 2018-08-17 广州森成和信息技术有限公司 一种图片分享系统
CN108513149B (zh) * 2017-02-28 2021-04-09 北京新唐思创教育科技有限公司 一种直播延迟测试方法及其装置
CN106981224B (zh) * 2017-03-02 2019-06-28 山西大学 一种电子黑板系统及继承上次授课内容的方法
CN107104947B (zh) * 2017-03-20 2020-05-12 福建天泉教育科技有限公司 多屏互动方法
TWI643185B (zh) * 2017-04-26 2018-12-01 瑞昱半導體股份有限公司 音訊處理裝置及方法
US10895954B2 (en) * 2017-06-02 2021-01-19 Apple Inc. Providing a graphical canvas for handwritten input
CN107423407B (zh) * 2017-07-27 2021-06-15 广州视源电子科技股份有限公司 教学信息记录方法、装置、终端和计算机可读存储介质
CN108154729A (zh) * 2017-12-26 2018-06-12 河南医学高等专科学校 一种基于移动互联网的医学教育师生云平台交互系统
CN108156502A (zh) * 2018-01-05 2018-06-12 创盛视联数码科技（北京）有限公司 一种提高画笔和文字视频直播同步性的方法
CN108322755B (zh) * 2018-01-10 2021-07-09 链家网（北京）科技有限公司 一种图片压缩处理方法及系统
CN108509238A (zh) * 2018-03-06 2018-09-07 珠海爱创医疗科技有限公司 桌面屏幕推送的方法及装置
KR102071975B1 (ko) * 2018-03-20 2020-04-01 주식회사 페이콕 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법
CN108664230A (zh) * 2018-04-18 2018-10-16 青岛海信电器股份有限公司 一种传屏方法、显示设备及其传屏系统
CN110445625B (zh) * 2018-05-02 2022-07-01 鸿合科技股份有限公司 一种大屏广播控制方法及系统
CN110719429B (zh) * 2018-07-12 2022-01-11 视联动力信息技术股份有限公司 一种基于视联网的高拍仪处理方法及装置
CN113504852A (zh) * 2018-10-26 2021-10-15 珠海中电数码科技有限公司 一种录播一体的智能全面屏黑板系统的控制方法
CN109640108B (zh) * 2018-12-13 2020-10-30 广州易方信息科技股份有限公司 基于文档类直播交互数据和音视频数据同步方法和系统
CN109743332A (zh) * 2019-02-01 2019-05-10 中国电信股份有限公司南京分公司 一种多终端同步显示数据的系统
WO2020189133A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体
CN110022534B (zh) * 2019-03-28 2021-06-08 山东省计算中心（国家超级计算济南中心） 一种基于组播的数据传输方法及装置
CN111355994A (zh) * 2019-04-24 2020-06-30 鸿合科技股份有限公司 一种课件控制方法及终端、电子设备
CN111866484B (zh) * 2019-04-30 2023-06-20 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
CN110248235B (zh) * 2019-06-26 2022-06-17 深圳市轱辘车联数据技术有限公司 软件教学方法、装置、终端设备及介质
CN110798672B (zh) * 2019-11-06 2021-11-05 广州炫视智能科技有限公司 一种具有多屏同显功能的视频驱动板卡
WO2021108716A1 (en) * 2019-11-27 2021-06-03 Screenbeam Inc. Methods and systems for reducing latency on a collaborative platform
CN111045624A (zh) * 2019-11-27 2020-04-21 深圳创维－Rgb电子有限公司 多屏同显方法、显示终端及计算机可读存储介质
CN113282257B (zh) * 2019-11-30 2022-06-07 北京城市网邻信息技术有限公司 用于同步显示的方法、终端设备、设备和可读存储介质
CN111124333A (zh) * 2019-12-05 2020-05-08 视联动力信息技术股份有限公司 电子白板显示内容同步的方法、装置、设备以及存储介质
CN111193936B (zh) * 2019-12-27 2021-11-12 腾讯科技（深圳）有限公司 视频流传输方法、装置、电子设备及计算机可读存储介质
CN111240626A (zh) * 2020-01-09 2020-06-05 中瓴智行(成都)科技有限公司 一种基于Hypervisor智能座舱操作系统双屏互动的方法和系统
CN111262920A (zh) * 2020-01-13 2020-06-09 深圳市鸿合创新信息技术有限责任公司 一种数据同步方法及交互式电子白板、服务器
CN111338593B (zh) * 2020-03-25 2021-09-21 掌阅科技股份有限公司 投屏展示信息的方法、阅读终端及存储介质
CN111796893A (zh) * 2020-06-12 2020-10-20 彭程 数据交互方法与电子设备
CN111897461A (zh) * 2020-07-09 2020-11-06 北京国发天元信息技术有限公司 一种基于互联网的互动虚拟实验的实现方法
CN114296675A (zh) * 2020-08-05 2022-04-08 腾讯科技（深圳）有限公司 投屏状态确定方法、装置、设备及计算机可读存储介质
CN111951618A (zh) * 2020-08-26 2020-11-17 吕梁学院 一种交互式英语学习系统
CN111813312B (zh) * 2020-09-14 2021-01-29 湖南新云网科技有限公司 数据传输方法、装置、系统、终端设备及可读存储介质
CN112347291A (zh) * 2020-11-06 2021-02-09 湖南新云网科技有限公司 网络课件的生成方法、装置、设备及存储介质
CN112383788B (zh) * 2020-11-11 2023-05-26 成都威爱新经济技术研究院有限公司 一种基于智能ai技术的直播实时图像提取系统及方法
CN112733056B (zh) * 2021-04-02 2021-06-18 北京百家视联科技有限公司 一种文档处理方法、装置、设备及存储介质
CN113379752B (zh) * 2021-04-09 2022-10-25 合肥工业大学 一种用于双层液晶屏显示的图像分割方法
CN113014439B (zh) * 2021-04-19 2021-10-26 广州大一互联网络科技有限公司 一种数据中心带宽的虚拟弹性管理方法
CN113419693B (zh) * 2021-05-17 2023-04-18 广州佰锐网络科技有限公司 一种多用户轨迹的同步显示方法及系统
CN113422933B (zh) * 2021-06-23 2022-10-25 江苏小牛电子科技有限公司 一种基于教学的录播系统及录播方法、介质
CN113259775B (zh) * 2021-06-28 2021-10-12 大学长(北京)网络教育科技有限公司 一种直播的方法以及装置
CN113992885B (zh) * 2021-09-22 2023-03-21 联想(北京)有限公司 一种数据同步方法及装置
CN114173207B (zh) * 2021-11-15 2024-02-23 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
CN114237940B (zh) * 2021-12-20 2023-06-16 南京首印铭都信息技术科技有限公司 信息管理系统和方法
TWI811148B (zh) * 2022-11-07 2023-08-01 許精一 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組
CN116204135A (zh) * 2023-04-27 2023-06-02 中科信工创新技术(北京)有限公司 一种数据压缩的方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100400947B1 (en) * 2002-11-26 2003-10-08 Coretrust Inc System and method for protecting information of multimedia streaming contents, and recording medium recording the same

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
KR200187183Y1 (ko) * 1997-10-17 2000-07-01 김영환 디지탈카메라
KR20020016509A (ko) * 2000-08-25 2002-03-04 권혁빈 멀티미디어 전자 학습 시스템 및 방법
JP2002118738A (ja) * 2000-10-10 2002-04-19 Canon Inc 画像表示装置及び方法、該画像表示装置を用いた情報処理装置、並びに記憶媒体
KR20010083840A (ko) * 2001-07-04 2001-09-03 최용준 실시간 멀티미디어 프리젠테이션을 위한 서버 비의존캐스팅 기법 및 양방향통신의 구현방법
JP4444603B2 (ja) * 2003-09-03 2010-03-31 キヤノン株式会社 表示装置、システム、画像表示システム、画像処理方法、表示方法、及びプログラム
JP2006148730A (ja) * 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
JP4522835B2 (ja) * 2004-12-07 2010-08-11 三菱電機株式会社 画像伝送装置及び画像監視システム
CN101035262A (zh) * 2007-04-19 2007-09-12 深圳市融合视讯科技有限公司 一种视频信息的传输方法
JP2009267734A (ja) * 2008-04-24 2009-11-12 Sharp Corp 画面データ送信端末、画面データ受信端末、画面データ伝送システム、画面データ送信方法および画面データ送信プログラム
CN102696052A (zh) * 2009-09-17 2012-09-26 认知建立时机公司 教育内容产生的装置、系统和方法
US9049482B2 (en) * 2012-02-19 2015-06-02 Udacity, Inc. System and method for combining computer-based educational content recording and video-based educational content recording
CN103561277B (zh) * 2013-05-09 2017-05-03 陕西思智通教育科技有限公司 一种用于网络教学的传输方法和系统
KR102053822B1 (ko) * 2013-06-03 2019-12-09 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 표시방법
CN104581353B (zh) * 2013-10-24 2018-08-24 深圳习习网络科技有限公司 一种视频的录制/播放方法及录制/播放装置
JP2015156173A (ja) * 2014-02-21 2015-08-27 セイコーエプソン株式会社 表示システム、表示装置およびプログラム
CN203870835U (zh) * 2014-04-16 2014-10-08 深圳市时尚德源文化传播有限公司 一种基于电子白板的互动教学系统
CN103927909B (zh) * 2014-04-29 2016-06-08 南京数模微电子有限公司 触摸式移动终端的交互式教学系统与方法
CN103996315A (zh) * 2014-05-30 2014-08-20 杭州华银教育多媒体科技股份有限公司 一种新型的无线多媒体互动教学系统的系统安全设置方法
CN104200710A (zh) * 2014-05-30 2014-12-10 杭州华银教育多媒体科技股份有限公司 一种新型的无线多媒体互动教学系统及故障处理方法
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置
CN104158900B (zh) * 2014-08-25 2015-06-10 焦点科技股份有限公司 一种iPad控制课件同步的方法与系统
CN104363545B (zh) * 2014-10-17 2015-06-03 深圳市时尚德源文化传播有限公司 音频降噪电路、采用该音频降噪电路的智能终端机及教学系统
CN104540026B (zh) * 2014-12-22 2018-02-09 杭州施强教育科技有限公司 一种课堂内容录像及回放方法及系统
CN104539436B (zh) * 2014-12-22 2018-08-07 杭州施强教育科技有限公司 一种课堂内容实时直播方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100400947B1 (en) * 2002-11-26 2003-10-08 Coretrust Inc System and method for protecting information of multimedia streaming contents, and recording medium recording the same

Also Published As

Publication number Publication date
US20180247550A1 (en) 2018-08-30
CN105491414A (zh) 2016-04-13
CA2973405A1 (en) 2017-05-26
WO2017084174A1 (zh) 2017-05-26
CA2973405C (en) 2021-03-02
KR20170107027A (ko) 2017-09-22
DE112015007134T5 (de) 2018-08-09
JP6430653B2 (ja) 2018-11-28
CN105491414B (zh) 2017-05-17
US10522049B2 (en) 2019-12-31
JP2018514100A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
KR102050865B1 (ko) 이미지에 대한 동기화 디스플레이 방법 및 장치
CN105405325B (zh) 一种网络教学方法及系统
CN105681920B (zh) 一种具有语音识别功能的网络教学方法及系统
CN105578115B (zh) 一种具有语音评估功能的网络教学方法及系统
US10497273B2 (en) Method and system for recording and playback of web-based instructions
CN209980508U (zh) 一种智慧黑板，及智慧教室的教学系统
CN113504852A (zh) 一种录播一体的智能全面屏黑板系统的控制方法
CN104301657B (zh) 一种会议电视终端及其辅流数据接入方法
CN110933350A (zh) 一种电子云镜录播系统、方法及装置
CN108228843B (zh) 一种基于互联网的讲义压缩传输与还原方法
CN109076251A (zh) 远程会议传输
CN116016866A (zh) 一种同步书写笔迹的一体化摄录播系统及其录播方法
CN203193773U (zh) 一种多媒体全景录制系统
KR20190110365A (ko) Ｔｃｐ 기반의 양방향 통신 패킷 프로토콜을 이용한 콘텐츠 제공 시스템
WO2020238973A1 (zh) 多通道音视频自动检测实时推送方法
KR20030025771A (ko) 인터넷상의 교육용 컨텐츠 제공 시스템 및 그 방법
CN114222161B (zh) 一种具有互动功能的沉浸式影像同步播放系统
Hussain MULTIMEDIA COMPUTING
TW201434310A (zh) 數位看板播放系統、即時監看系統及其即時監看之方法
CN105245753A (zh) 一种图片处理方法及装置
CN116886843A (zh) 教育录播系统双向互动延迟控制方法、装置、设备及介质
CN115410432A (zh) 一种结合录制和直播的物联网授课系统
KR20150112116A (ko) 온라인 강의 콘텐츠의 필기정보 관리방법
CN115550680A (zh) 课程录播方法及录播系统
CN117176976A (zh) 多媒体数据处理方法、设备和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant