KR20220111634A - 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템 - Google Patents

온라인 오프라인 결합형 다차원 교육 ai 학교 시스템 Download PDF

Info

Publication number
KR20220111634A
KR20220111634A KR1020210096937A KR20210096937A KR20220111634A KR 20220111634 A KR20220111634 A KR 20220111634A KR 1020210096937 A KR1020210096937 A KR 1020210096937A KR 20210096937 A KR20210096937 A KR 20210096937A KR 20220111634 A KR20220111634 A KR 20220111634A
Authority
KR
South Korea
Prior art keywords
image
learning
module
camera
area
Prior art date
Application number
KR1020210096937A
Other languages
English (en)
Inventor
카이 조
쿤후 궁
궈룽 황
Original Assignee
화웨이 그룹(광둥)컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 화웨이 그룹(광둥)컴퍼니 리미티드 filed Critical 화웨이 그룹(광둥)컴퍼니 리미티드
Publication of KR20220111634A publication Critical patent/KR20220111634A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23206—
    • H04N5/23245—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)

Abstract

온라인 오프라인 결합형 다차원 교육 AI 학교 시스템은 하드웨어 교육 준비 배포를 위해, 전체 시스템은 하나의 재생 호스트 및 하나의 AI 분석 호스트를 포함하고; 전체 각도 지능형 식별을 위해, 4D 전체 각도 골격 감지 기술에 의해, 다중 카메라로 전방위에서 비디오 중 특정 개인의 얼굴, 표정, 행동, 자세 등 정보를 정확하게 식별하고; 오디오 비디오 2차원 교육 콘텐츠 통합을 위해, 독립적인 음성 지원 비디오 2차원 식별 및 분석 방법을 통해, 대응되는 오디오를 사용하여 비디오 스트림 분석을 지원하며; 학생 개인의 학습 상황 분석을 위해, 각 학생의 수업, 학습 데이터를 수집 및 분석하고, 빅데이터 통계 및 모니터링을 통해 학습 효과를 제때에 평가하며; 교육 평가 모델 구축을 위해, 유명 학교와 협력하여 다양한 지능형 평가 모델을 구축한다. 이는 지능형 분석, 지능형 분류, 지능형 처리, 합리적인 설계 및 학습 효과의 효과적인 향상이라는 장점을 구비한다.

Description

온라인 오프라인 결합형 다차원 교육 AI 학교 시스템{Online offline combined multidimensional education AI school system}
본 발명은 다차원 지능형 교육 관련 분야에 관한 것이고, 구체적으로 온라인 오프라인 결합형 다차원 교육 AI 학교 시스템에 관한 것이며, 간략하면 화웨이(
Figure pat00001
) AI 학교이다.
화웨이 AI 학교는 "생활을 바꾸는 습관"을 교육 이념으로 삼고 학생들이 평생 발전 및 사회 발전의 요구를 충족할 수 있는 필요한 성격과 핵심 능력을 갖도록 육성한다. 위탁 교육 시스템의 적용과 빅데이터 분석 결과를 통해 학생들에 대해 타깃성이 있는 학습 훈련과 맞춤형 배양을 진행한다. 유명 교사의 온라인 인터랙티브 교육, 애니메이션 문화, 어린이 영양 케이터링, 어린이 건강 모니터링, 가정 교육 지도, 위탁 교육에 대한 온라인 모니터링 등과 같은 혁신적인 서비스 모델을 결합하여 "아이를 행복하게 하고 부모가 안심할 수 있는” 위탁 교육 시스템을 구축하였다.
화웨이 AI 학교는 얼굴 식별, 표정 식별, 자세 식별, 교육 행동 분석을 기반으로 교실, 교사, 학생의 3차원 빅데이터 분석을 수행하며, 프로세스 기반 데이터 분석을 활용하여 교육 연구 및 학생들의 종합적인 자질 평가를 수행하여, 학교 지도자들은 "기준"과 "정확한 관리"에 따라, 교사들은 "적성에 따라 학생들을 가르치고", "가르치는 대신 지도하며”, 학생들은 "적극적으로 생각하고 독립적으로 배우도록” 할 수 있다. 이로써 교육 평가가 단일 차원으로부터 종합적인 다차원으로 변화하였고, 학교의 정확한 관리, 교사의 정확한 교육, 학생의 정확한 학습을 도모한다.
다차원 교육 시스템은 시간과 지역의 여건에 적응할 수 있지만 학생들의 적성에 따른 교육은 수천 년 동안 변하지 않는 교육의 이상이며 학습 장애를 해결하기 위한 중요한 방법이기도 하다. 따라서 적응형 교육은 다차원 학습 시스템의 중요한 부분이다. 교과서와 테스트가 적절하게 통합되어 각 학습자가 자신에게 맞는 교과서와 모의고사를 얻고 반복적인 독학과 연습을 통해 점차 나아질 수 있다.
상기와 같은 요구에 부응하고 특히 연구에 집중하고 학술 이론의 적용을 배합하여, 본 발명은 지능형 분석, 지능형 분류, 지능형 처리, 합리적인 설계 및 학습 효과의 효과적인 향상이라는 장점을 구비하는 온라인 오프라인 결합형 다차원 교육 AI 학교 시스템을 제공한다.
상기 배경을 감안하여, 본 발명은 하드웨어 배치, 지능형 식별 방법, 다차원 분석 및 온라인 교육 모델을 포함하는 일련의 교육 이념 및 방법을 포함하는 다차원 시스템 해결수단을 제공한다.
온라인 오프라인 결합형 다차원 교육 AI 학교 시스템에 있어서,
I. 하드웨어 교육 준비 배포:
전체 시스템은 비디오 수집, 지능형 식별 및 분석, 고도 집적화, 연결과 작동의 간편화, 유지 보수의 편리함, 대규모 정규화 교실 및 조별 교육 스마트 교실 구축 및 적용을 위해, 하나의 재생(웹캐스팅, 라이브 방송, 추적, 오디오) 호스트 및 하나의 AI 분석 호스트를 포함하고,
구체적인 기기는,
영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하기 위한 영역 캘리브레이션 모듈;
센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하기 위한 제어 모듈;
상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 영역 매칭 모듈; 및
기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적하기 위한 추적 모듈을 포함한다.
재생 추적 시스템은,
ARM 제어 프로세서;
상기 ARM 제어 프로세서에 연결되는 DSP 제어 프로세서;
센서 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 센서 수집 모듈;
이미지 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 이미지 신호 수집 모듈;
이미지 신호를 분석하도록 상기 이미지 신호 수집 모듈에 연결되는 이미지 분석 모듈을 포함한다.
상기 시스템은,
상기 ARM 제어 프로세서에 연결되고, 타깃 좌표에 따라 상기 좌표를 포함하는 최적 영역을 찾고, 최적 판단 방법은 타깃 좌표가 중심에서 가장 가까운 것인 추적 결정 모듈을 더 포함한다.
상기 시스템은,
상기 ARM 제어 프로세서에 연결되는 팬틸트 제어 모듈;
팬틸트 제어 명령을 송신하도록 상기 팬틸트 제어 모듈에 연결되는 카메라 제어 모듈을 더 포함한다.
상기 시스템은,
시스템에 전원을 제공하도록 상기 DSP 제어 프로세서에 연결되는 전원 모듈을 더 포함한다.
상기 시스템은,
상기 DSP 제어 프로세서에 연결되는 메모리 Flash 저장 모듈을 더 포함한다.
II. 전체 각도 지능형 식별:
4D 전체 각도 골격 감지 기술에 의해, 다중 카메라로 전방위에서 비디오 중 특정 개인의 얼굴, 표정, 행동, 자세 등 정보를 정확하게 식별하고, 방향, 얼굴 중첩의 영향을 받지 않고 일반 교육 및 조별 교육 모드를 적용 가능하며; 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하며;
센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하며;
상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하며;
기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적한다.
일 실시예에서, 상기 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하는 단계는,
버튼을 통해 캘리브레이션 모드를 활성화하고, 센서 모듈 및 이미지 신호 수집 모듈이 동시에 작동하여 작업하도록 제어하는 단계;
분석 모듈을 통해 캘리브레이션 수행자가 타깃 영역에서 이동하는지의 여부를 판단하고, 분석 모듈에 의해 캘리브레이션 수행자가 정지한 시간이 30초를 초과하는 것이 감지되면 영역의 코너 포인트를 캘리브레이션하기 시작하고 여러번 반복 조작하여 4개의 포인트를 구비하는 영역을 형성하는 단계;
캘리브레이션 영역을 분석하고, 캘리브레이션 정보의 래원이 모두 거리 센서이면 영역을 센서 감지 영역으로 캘리브레이션하고, 아니면 이미지 감지 영역으로 캘리브레이션하는 단계;
캘리브레이션한 4개의 코너 포인트의 래원이 통일되지 않으면 캘리브레이션을 다시 진행하는 단계를 포함한다.
일 실시예에서, 상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 단계는,
영역 캘리브레이션이 완료된 후, 영역과 카메라 팬틸트가 매칭되도록 제어하여 카메라가 추적하도록 제어하고, 영역 매칭은 5 포인트 매칭법을 사용하는 단계;
캘리브레이션 영역의 외접 직사각형 영역을 선택하고, 좌표는 각각 (x1,y1) ,(x1,y2), (x2,y1),(x2,y2)로 정의하며, 계산 중심 좌표는 (x0,y0)로 정의하는 단계;
캘리브레이션 수행자가 (x0,y0)로 이동하면, 카메라가 이때의 수직 각도 v0 및 수평 각도 h0를 기록하는 단계;
캘리브레이션 수행자가 (x1,y1),(x1,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h1를 기록하는 단계;
캘리브레이션 수행자가 (x2,y1),(x2,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h2를 기록하는 단계를 포함한다.
일 실시예에서, 상기 위치결정 계산 공식은
카메라 수평 회전각 h = (atan(x-x0)/(x1-x0)×tan(h1-h0) )+ atan(x-x0)/(x2-x0)×tan(h2-h0))/2; 및
카메라 수평 회전각 v = (atan(y-y0)/(y1-y0)×tan(v1-v0) )+ atan(x -x0)/(y2-y0)×tan(v2-v0))/2 이며;
상기 식에서, atan는 아크탄젠트 함수이고, tan는 탄젠트 함수이다.
III. 오디오 비디오 2차원 교육 콘텐츠 통합:
독립적인 음성 지원 비디오 2차원 식별 및 분석 방법을 통해, 대응되는 오디오를 사용하여 비디오 스트림 분석을 지원하여, 보다 정확한 비디오 교육 장면 분할 및 비디오 교육 콘텐츠 분류를 실현하고;
단계 (1)에서, 특징 표기를 설정하고;
단계 (2)에서, 상기 단계 (1) 중의 특징 표기를 촬영하여 비디오에 들어가 오디오 비디오 파일을 형성하고, 오디오 비디오 파일의 재방송 시 재방송 인터페이스에서 특징 표기를 구비하는 비디오를 표시하며;
단계 (3)에서, 상기 단계 (2) 중의 오디오 비디오 파일의 특징 표기에 포함된 정보를 식별하고, 식별된 특징 표기와 오디오 비디오 파일에 대해 유일성 연관을 진행한다.
바람직하게, 상기 단계 (1)에서, 헤드엔드 기기가 하나의 특징 표기를 생성하고, 상기 헤드엔드 기기는 PC를 포함하나 이에 한정되지 않으며; 상기 특징 표기는 2차원 코드이고; 상기 단계 (3)는 백그라운드 애플리케이션 서비스 시스템에 의해 수행된다.
상기 단계 (1) 중의 2차원 코드는 큐알 코드(QR code)이고; 상기 단계 (3)에서, 비디오 중 2차원 코드 정보를 식별한 후 해당 구간 오디오 비디오 파일을 연관시키고, 상기 연관 정보를 백그라운드 애플리케이션 프로그램과 자동으로 기록 및 연관을 수행한다.
상기 단계 (3)에서, 2차원 코드의 식별은 전처리 단계 및 디코딩 단계를 포함하고, 여기서 상기 전처리 단계의 구체적인 방법은,
이미지 수집 기기가 획득한 2차원 코드에 대해 그레이 스케일 처리를 수행하여 데이터량을 감소하고 저장 공간 및 이미지 처리 시간을 감소하는 제1 단계;
메디안 필터링 제거법을 사용하여 2차원 바코드 이미지의 수집 시 유입된 노이즈 포인트를 수집하여, 노이즈가 후속적인 이미지 처리에 대한 간섭을 감소시키는 제2 단계;
바코드 식별은 바코드 이미지 중의 심도 모듈 정보를 획득하기만 하면 되기에 필터링 후 이미지에 대해 2치화를 진행해야 하고, 적응적 빛 조사 등화 및 전역 임계값(Otsu)이 결합된 알고리즘을 사용하여 2차원 바코드 이미지에 대해 2치화를 진행하여, 바코드 이미지에 대한 빛 조사가 불균일한 영향을 제거하는 제3 단계;
2차원 바코드에 대해 위치결정을 진행하고, 바코드의 경사 각도 및 4개의 제어 꼭짓점을 획득하며, 2차원 바코드가 위치한 영역을 전체 이미지로부터 절단하여 후속적인 바코드 회전 및 기하적 왜곡 보정을 위해 준비하고, 후속적인 이미지 처리 범위를 감소하고 이미지 처리 속도를 높이는 제4 단계;
제4 단계에서 얻은 바코드 경사 각도에 따라 이미지를 수평 상태로 회전시키는 제5 단계;
2차원 바코드에 대해 기하적 왜곡 보정을 진행하여 하나의 규칙적인 바코드 이미지를 얻는 제6단계;
큐알 코드(QR code)에 대해 위치 검출 패턴 및 보정 패턴의 위치 정보에 따라 샘플링 네트워크를 구축하고, 큐알 코드(QR code)의 음어 추출을 위해 준비하는 제7 단계;
큐알 코드(QR code) 음어 추출 시 샘플링 네트워크 교차점에 대해 샘플링하고, 짙은 색을 0으로 기록하고 옅은 색을 1로 기록하면 큐알 코드(QR code)의 음어 시퀀스를 얻을 수 있는 제8 단계를 포함하고,
상기 디코딩 단계는 2차원 코드 음어 추출, 오류 정정 해독 및 정보 해독을 포함한다.
상기 단계 (3)은 오디오 비디오 파일에 대해 워터마크 중첩, 암호화 전송 및 권한 부여 처리를 수행하는 단계를 더 포함한다.
상기 단계 (2)에서 촬영하여 얻은 오디오 비디오 파일은 유선 또는 무선 네트워크를 통해 백그라운드 애플리케이션 서비스 시스템에 전송되고 상기 단계 (3)에서 처리된다.
IV. 학생 개인의 학습 상황 분석:
각 학생의 수업, 학습 데이터를 수집 및 분석하고, 빅데이터 통계 및 모니터링을 통해 학습 효과를 제때에 평가하며, 학습 중의 문제를 진단하고 각 학생의 학습 방식 및 특징을 정확하게 분석하여 일상 학습 방식 및 행동를 개선하고, 학생들의 스마트 학습 방식을 배양한다.
단계 A1에서, 얼굴을 수집하고, 교실 중 학생을 향한 카메라에 의해 학생이 수업하는 비디오를 수집하고, 이 비디오를 샘플로 입력한다.
단계 A2에서, 얼굴을 검출하고, 얼굴 검출을 사용하여 프레임워크를 실시간으로 처리하여 안면 검출을 진행하고, 수업을 받는 학생의 신분을 결정하고 백그라운드 데이터베이스와 연관시킨다.
단계 A3에서, 회전 보정을 진행하고, 안면 영역의 회전 보정을 사용하여 정렬한 다음 검출된 안면 영역을 72*72의 사이즈로 조절한다.
단계 A4에서, 부분 2치화 모드를 이용하여 이미지의 부분 텍스쳐 특성을 설명하고, 3*3의 사이즈에서 주변 픽셀 값이 중심 픽셀 값보다 크면 해당 픽셀점의 위치를 1로 기록하고 아니면 0으로 기록한다. 다음 각 픽셀의 LBP 값을 계산하여 LBP 안면 이미지를 얻는다.
단계 A5에서, VGG16을 사용하여 그레이 스케일 안면 이미지의 특징을 추출하고, VGG16 중의 컨볼루션층 및 풀링층을 조합하고; VGG16의 2개의 밀집층을 제거하여 그레이 스케일 안면 이미지의 특징 추출을 단순화한다.
단계 A6에서, LBP 안면 이미지의 특징 추출을 진행하고, LBP 안면 이미지에 대해 입력층, 2개의 컨볼루션층, 서브샘플링층 및 특징 벡터층을 포함하는 하나의 천층 CNN 모델을 구축한다.
제1 컨볼루션층은 주로 안면의 주요 정보를 식별하고, 64개의 필터를 사용하여 LBP 이미지를 입력하며, 7*7 컨볼루션 커널을 사용하고 72*72 픽셀의 64장의 사진을 출력한 후, 제1 서브샘플링층은 2*2 커널의 최대 풀을 사용하여 사진 크기를 절반으로 줄인다.
제2 컨볼루션층은 3*3 컨볼루션 커널을 사용하여 256회 컨볼루션을 수행하여 이전 계층을 매핑하고, 제2 서브샘플링층도 2*2의 커널을 사용하여 2개의 서브샘플링층 다음에 ReLu 활성화 함수를 추가하며;
이어서 500개의 뉴런을 구비하는 하나의 은닉층을 출력하고, 은닉층은 2개의 서브샘플링층에 연결되어 추출된 특징이 변하지 않고 유지되도록 보장한다.
단계 A7에서 가중화 융합을 진행하고, 가중화 융합 대상은 그레이 스케일 이미지로부터 추출한 특징 벡터 h1 및 천층 CNN 모델의 LBP 안면 이미지로부터 추출한 특징 벡터 h2이다.
특징 벡터를 융합한 기초상에서 Softmax 분류 방법을 사용하여 식별을 진행한다.
단계 A8에서 비디오의 정량 분석을 진행하고, 단계 A7에서 Softmax 분류 방법에 따라 얼굴 표정의 8가지 표현 및 학생의 수업 집중도와 얼굴 표정의 내재적 연관을 식별하고, 가중 계수를 설정하여 학생의 교육 몰입도 Ws를 평가한다.
단계 A9에서 오디오의 정량 분석을 진행하고, OpenEAR 툴킷을 사용하여 Z 표준화에 의해 음성에 대해 정규화를 진행하여, 학생 수업 오디오 중 학생의 내면 감정 분류를 식별하고, 가중 계수를 설정하여 학생의 수업 집중도 Wy를 평가한다.
단계 A10에서 종합 지수지수를 계산하고, Ws 및 Wy를 얻은 후 양자의 가중 계수를 모두 0.5로 설정한다. 이로써 학생의 수업 집중도 W를 얻고,
W ＝ 0.5 * Ws + 0.5 * Wy이다.
V. 교육 평가 모델 구축:
유명 학교와 협력하여 다양한 지능형 평가 모델을 구축하고, 교실, 학생 및 교사에 대한 다차원 지능형 분석을 수행하며, 교실 교육, 학습 평가, 커리큘럼/학생 분석 보고서 등 다중 요소 데이터 보고서가 풍부하고 시각적인 방식으로 제공된다.
(1) 다차원 질문 데이터베이스, (2) 학습 성적 데이터베이스, (3) 온라인 자동 테스트 시스템, (4) 지능형 학습 효과 분석 시스템, (5) 웹 마법사 가이드 시스템 등 모듈을 포함하여 이루어지고, 시스템 조작자는 다차원 질문 데이터베이스 시스템을 통해 질문을 입력하고, 완전한 인덱스 시스템을 구축하며, 사용자는 온라인 자동 테스트 시스템을 통해 원격으로 시험을 볼 수 있고 시험을 보는 과정의 활동 기록과 성격은 학습 기록 데이터베이스에 축적되고, 이어서 사용자는 지능형 학습 효과 분석 시스템을 통해 자신의 학습 사각 지대 및 강화할 항목을 파악하고, 대화형 바탕화면 또는 웹 마법사와 같은 웹 마법사 가이드 시스템을 통해 언제 어디서나 경고 신호를 제공하여 사용자를 정확한 학습 방향으로 가이드한다.
본 시스템은 웹(Web) 기술과 월드와이드웹(worldwideweb)의 관련 환경을 이용하여 구현되어 사용자는 인터넷(Internet)을 통해 언제 어디서나 테스트를 수행할 수 있으며, 데이터 마이닝(DataMining) 기술을 이용하여 학습 효과를 분석할 수 있으며, 통계 데이터와 분석 보고서를 통해 사용자는 자신의 학습 사각 지대, 강화된 영역, 강화되지 않은 영역, 강화해야 할 영역을 파악하고, 시스템의 도움으로 사용자는 미래 학습의 초점을 명확하게 이해할 수 있으므로 학습 활동이 더 효과적일 수 있고, 또한 사용자의 학습 진행 상황 및 과거 학습 효과 등 데이터에 의해, 시스템 상주 컴퓨터의 웹 마법사를 통해 언제 어디서나 학습 가이드를 제공하여 사용자에게 강화 및 주의가 필요한 학습 주제를 상기시키며, 사용자가 유의해야 할 부분을 주도적으로 알려주고, 컴퓨터 시스템 중의 가상 교사를 제공한다.
본 발명은 지능형 분석, 지능형 분류, 지능형 처리, 합리적인 설계 및 학습 효과의 효과적인 향상이 가능한 지능형 AI 시스템을 제공하고, 이는 하드웨어 배치, 지능형 식별 방법, 다차원 분석 및 온라인 교육 모델을 포함하는 일련의 교육 이념 및 방법을 포함한다.
본 발명의 실시예의 목적, 과제의 해결 수단 및 장점이 보다 명확해지도록, 이하에서는 본 발명의 실시예의 과제의 해결 수단을 명확하고 완전하게 설명한다. 설명 된 실시예는 본 발명의 실시예의 일부이고 전부가 아니다. 당업자가 본 발명의 실시예에 기초하여 기술적 어려움이 없이 얻은 다른 모든 실시예는 본 발명의 보호 범위에 속한다.
본 발명에서 언급되지 않은 하드웨어 및 단계는 모두 선행기술 또는 표준 제품이며 반복 설명하지 않는다.
본 발명에서 다른 명확하고 구체적인 한정이 없는 한 “설치”, “서로 연결”, “연결”, “고정” 등 용어는 넓은 의미로 해석되어야 한다. 예를 들면 고정 연결일 수 있고 탈착 가능한 연결이거나 일체 연결일 수 있으며, 기계적 연결, 전기적 연결 또는 통신 연결일 수도 있고, 직접 연결 또는 중간 매체를 통한 간접 연결일 수 있으며, 2개의 소자 내부의 연통 또는 2개의 소자의 상호 작용 관계일 수 있다. 당업자는 구체적인 상황에 따라 상기 용어가 본 발명에서의 구체적인 의미를 이해할 것이다.
본 발명을 설명함에 있어서, 본 발명에서 다른 명확하고 구체적인 한정이 없는 한 “설치”, “서로 연결”, “연결”, “고정” 등 용어는 넓은 의미로 해석되어야 한다. 예를 들면 고정 연결일 수 있고 탈착 가능한 연결이거나 일체 연결일 수 있으며, 기계적 연결, 전기적 연결 또는 통신 연결일 수도 있고, 직접 연결 또는 중간 매체를 통한 간접 연결일 수 있으며, 2개의 소자 내부의 연통 또는 2개의 소자의 상호 작용 관계일 수 있다. 당업자는 구체적인 상황에 따라 상기 용어가 본 발명에서의 구체적인 의미를 이해할 것이다. 이밖에, 본 발명에 대한 설명에서 “다수”는 다른 명확하고 구체적인 한정이 없는 2개 또는 2개 이상을 의미한다.
온라인 오프라인 결합형 다차원 교육 AI 학교 시스템에 있어서,
I. 하드웨어 교육 준비 배포:
전체 시스템은 비디오 수집, 지능형 식별 및 분석, 고도 집적화, 연결과 작동의 간편화, 유지 보수의 편리함, 대규모 정규화 교실 및 조별 교육 스마트 교실 구축 및 적용을 위해, 하나의 재생(웹캐스팅, 라이브 방송, 추적, 오디오) 호스트 및 하나의 AI 분석 호스트를 포함하고,
구체적인 기기는,
영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하기 위한 영역 캘리브레이션 모듈;
센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하기 위한 제어 모듈;
상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 영역 매칭 모듈; 및
기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적하기 위한 추적 모듈을 포함한다.
재생 추적 시스템은,
ARM 제어 프로세서;
상기 ARM 제어 프로세서에 연결되는 DSP 제어 프로세서;
센서 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 센서 수집 모듈;
이미지 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 이미지 신호 수집 모듈;
이미지 신호를 분석하도록 상기 이미지 신호 수집 모듈에 연결되는 이미지 분석 모듈을 포함한다.
상기 시스템은,
상기 ARM 제어 프로세서에 연결되고, 타깃 좌표에 따라 상기 좌표를 포함하는 최적 영역을 찾고, 최적 판단 방법은 타깃 좌표가 중심에서 가장 가까운 것인 추적 결정 모듈을 더 포함한다.
상기 시스템은,
상기 ARM 제어 프로세서에 연결되는 팬틸트 제어 모듈;
팬틸트 제어 명령을 송신하도록 상기 팬틸트 제어 모듈에 연결되는 카메라 제어 모듈을 더 포함한다.
상기 시스템은,
시스템에 전원을 제공하도록 상기 DSP 제어 프로세서에 연결되는 전원 모듈을 더 포함한다.
상기 시스템은,
상기 DSP 제어 프로세서에 연결되는 메모리 Flash 저장 모듈을 더 포함한다.
II. 전체 각도 지능형 식별:
4D 전체 각도 골격 감지 기술에 의해, 다중 카메라로 전방위에서 비디오 중 특정 개인의 얼굴, 표정, 행동, 자세 등 정보를 정확하게 식별하고, 방향, 얼굴 중첩의 영향을 받지 않고 일반 교육 및 조별 교육 모드를 적용 가능하며; 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하며;
센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하며;
상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하며;
기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적한다.
일 실시예에서, 상기 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하는 단계는,
버튼을 통해 캘리브레이션 모드를 활성화하고, 센서 모듈 및 이미지 신호 수집 모듈이 동시에 작동하여 작업하도록 제어하는 단계;
분석 모듈을 통해 캘리브레이션 수행자가 타깃 영역에서 이동하는지의 여부를 판단하고, 분석 모듈에 의해 캘리브레이션 수행자가 정지한 시간이 30초를 초과하는 것이 감지되면 영역의 코너 포인트를 캘리브레이션하기 시작하고 여러번 반복 조작하여 4개의 포인트를 구비하는 영역을 형성하는 단계;
캘리브레이션 영역을 분석하고, 캘리브레이션 정보의 래원이 모두 거리 센서이면 영역을 센서 감지 영역으로 캘리브레이션하고, 아니면 이미지 감지 영역으로 캘리브레이션하는 단계;
캘리브레이션한 4개의 코너 포인트의 래원이 통일되지 않으면 캘리브레이션을 다시 진행하는 단계를 포함한다.
일 실시예에서, 상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 단계는,
영역 캘리브레이션이 완료된 후, 영역과 카메라 팬틸트가 매칭되도록 제어하여 카메라가 추적하도록 제어하고, 영역 매칭은 5 포인트 매칭법을 사용하는 단계;
캘리브레이션 영역의 외접 직사각형 영역을 선택하고, 좌표는 각각 (x1,y1) ,(x1,y2), (x2,y1),(x2,y2)로 정의하며, 계산 중심 좌표는 (x0,y0)로 정의하는 단계;
캘리브레이션 수행자가 (x0,y0)로 이동하면, 카메라가 이때의 수직 각도 v0 및 수평 각도 h0를 기록하는 단계;
캘리브레이션 수행자가 (x1,y1),(x1,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h1를 기록하는 단계;
캘리브레이션 수행자가 (x2,y1),(x2,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h2를 기록하는 단계를 포함한다.
일 실시예에서, 상기 위치결정 계산 공식은
카메라 수평 회전각 h = (atan(x-x0)/(x1-x0)×tan(h1-h0) )+ atan(x-x0)/(x2-x0)×tan(h2-h0))/2; 및
카메라 수평 회전각 v = (atan(y-y0)/(y1-y0)×tan(v1-v0) )+ atan(x -x0)/(y2-y0)×tan(v2-v0))/2 이며;
상기 식에서, atan는 아크탄젠트 함수이고, tan는 탄젠트 함수이다.
III. 오디오 비디오 2차원 교육 콘텐츠 통합:
독립적인 음성 지원 비디오 2차원 식별 및 분석 방법을 통해, 대응되는 오디오를 사용하여 비디오 스트림 분석을 지원하여, 보다 정확한 비디오 교육 장면 분할 및 비디오 교육 콘텐츠 분류를 실현하고;
단계 (1)에서, 특징 표기를 설정하고;
단계 (2)에서, 상기 단계 (1) 중의 특징 표기를 촬영하여 비디오에 들어가 오디오 비디오 파일을 형성하고, 오디오 비디오 파일의 재방송 시 재방송 인터페이스에서 특징 표기를 구비하는 비디오를 표시하며;
단계 (3)에서, 상기 단계 (2) 중의 오디오 비디오 파일의 특징 표기에 포함된 정보를 식별하고, 식별된 특징 표기와 오디오 비디오 파일에 대해 유일성 연관을 진행한다.
바람직하게, 상기 단계 (1)에서, 헤드엔드 기기가 하나의 특징 표기를 생성하고, 상기 헤드엔드 기기는 PC를 포함하나 이에 한정되지 않으며; 상기 특징 표기는 2차원 코드이고; 상기 단계 (3)는 백그라운드 애플리케이션 서비스 시스템에 의해 수행된다.
상기 단계 (1) 중의 2차원 코드는 큐알 코드(QR code)이고; 상기 단계 (3)에서, 비디오 중 2차원 코드 정보를 식별한 후 해당 구간 오디오 비디오 파일을 연관시키고, 상기 연관 정보를 백그라운드 애플리케이션 프로그램과 자동으로 기록 및 연관을 수행한다.
상기 단계 (3)에서, 2차원 코드의 식별은 전처리 단계 및 디코딩 단계를 포함하고, 여기서 상기 전처리 단계의 구체적인 방법은,
이미지 수집 기기가 획득한 2차원 코드에 대해 그레이 스케일 처리를 수행하여 데이터량을 감소하고 저장 공간 및 이미지 처리 시간을 감소하는 제1 단계;
메디안 필터링 제거법을 사용하여 2차원 바코드 이미지의 수집 시 유입된 노이즈 포인트를 수집하여, 노이즈가 후속적인 이미지 처리에 대한 간섭을 감소시키는 제2 단계;
바코드 식별은 바코드 이미지 중의 심도 모듈 정보를 획득하기만 하면 되기에 필터링 후 이미지에 대해 2치화를 진행해야 하고, 적응적 빛 조사 등화 및 전역 임계값(Otsu)이 결합된 알고리즘을 사용하여 2차원 바코드 이미지에 대해 2치화를 진행하여, 바코드 이미지에 대한 빛 조사가 불균일한 영향을 제거하는 제3 단계;
2차원 바코드에 대해 위치결정을 진행하고, 바코드의 경사 각도 및 4개의 제어 꼭짓점을 획득하며, 2차원 바코드가 위치한 영역을 전체 이미지로부터 절단하여 후속적인 바코드 회전 및 기하적 왜곡 보정을 위해 준비하고, 후속적인 이미지 처리 범위를 감소하고 이미지 처리 속도를 높이는 제4 단계;
제4 단계에서 얻은 바코드 경사 각도에 따라 이미지를 수평 상태로 회전시키는 제5 단계;
2차원 바코드에 대해 기하적 왜곡 보정을 진행하여 하나의 규칙적인 바코드 이미지를 얻는 제6단계;
큐알 코드(QR code)에 대해 위치 검출 패턴 및 보정 패턴의 위치 정보에 따라 샘플링 네트워크를 구축하고, 큐알 코드(QR code)의 음어 추출을 위해 준비하는 제7 단계;
큐알 코드(QR code) 음어 추출 시 샘플링 네트워크 교차점에 대해 샘플링하고, 짙은 색을 0으로 기록하고 옅은 색을 1로 기록하면 큐알 코드(QR code)의 음어 시퀀스를 얻을 수 있는 제8 단계를 포함하고,
상기 디코딩 단계는 2차원 코드 음어 추출, 오류 정정 해독 및 정보 해독을 포함한다.
상기 단계 (3)은 오디오 비디오 파일에 대해 워터마크 중첩, 암호화 전송 및 권한 부여 처리를 수행하는 단계를 더 포함한다.
상기 단계 (2)에서 촬영하여 얻은 오디오 비디오 파일은 유선 또는 무선 네트워크를 통해 백그라운드 애플리케이션 서비스 시스템에 전송되고 상기 단계 (3)에서 처리된다.
IV. 학생 개인의 학습 상황 분석:
각 학생의 수업, 학습 데이터를 수집 및 분석하고, 빅데이터 통계 및 모니터링을 통해 학습 효과를 제때에 평가하며, 학습 중의 문제를 진단하고 각 학생의 학습 방식 및 특징을 정확하게 분석하여 일상 학습 방식 및 행동를 개선하고, 학생들의 스마트 학습 방식을 배양한다.
단계 A1에서, 얼굴을 수집하고, 교실 중 학생을 향한 카메라에 의해 학생이 수업하는 비디오를 수집하고, 이 비디오를 샘플로 입력한다.
단계 A2에서, 얼굴을 검출하고, 얼굴 검출을 사용하여 프레임워크를 실시간으로 처리하여 안면 검출을 진행하고, 수업을 받는 학생의 신분을 결정하고 백그라운드 데이터베이스와 연관시킨다.
단계 A3에서, 회전 보정을 진행하고, 안면 영역의 회전 보정을 사용하여 정렬한 다음 검출된 안면 영역을 72*72의 사이즈로 조절한다.
단계 A4에서, 부분 2치화 모드를 이용하여 이미지의 부분 텍스쳐 특성을 설명하고, 3*3의 사이즈에서 주변 픽셀 값이 중심 픽셀 값보다 크면 해당 픽셀점의 위치를 1로 기록하고 아니면 0으로 기록한다. 다음 각 픽셀의 LBP 값을 계산하여 LBP 안면 이미지를 얻는다.
단계 A5에서, VGG16을 사용하여 그레이 스케일 안면 이미지의 특징을 추출하고, VGG16 중의 컨볼루션층 및 풀링층을 조합하고; VGG16의 2개의 밀집층을 제거하여 그레이 스케일 안면 이미지의 특징 추출을 단순화한다.
단계 A6에서, LBP 안면 이미지의 특징 추출을 진행하고, LBP 안면 이미지에 대해 입력층, 2개의 컨볼루션층, 서브샘플링층 및 특징 벡터층을 포함하는 하나의 천층 CNN 모델을 구축한다.
제1 컨볼루션층은 주로 안면의 주요 정보를 식별하고, 64개의 필터를 사용하여 LBP 이미지를 입력하며, 7*7 컨볼루션 커널을 사용하고 72*72 픽셀의 64장의 사진을 출력한 후, 제1 서브샘플링층은 2*2 커널의 최대 풀을 사용하여 사진 크기를 절반으로 줄인다.
제2 컨볼루션층은 3*3 컨볼루션 커널을 사용하여 256회 컨볼루션을 수행하여 이전 계층을 매핑하고, 제2 서브샘플링층도 2*2의 커널을 사용하여 2개의 서브샘플링층 다음에 ReLu 활성화 함수를 추가하며;
이어서 500개의 뉴런을 구비하는 하나의 은닉층을 출력하고, 은닉층은 2개의 서브샘플링층에 연결되어 추출된 특징이 변하지 않고 유지되도록 보장한다.
단계 A7에서 가중화 융합을 진행하고, 가중화 융합 대상은 그레이 스케일 이미지로부터 추출한 특징 벡터 h1 및 천층 CNN 모델의 LBP 안면 이미지로부터 추출한 특징 벡터 h2이다.
특징 벡터를 융합한 기초상에서 Softmax 분류 방법을 사용하여 식별을 진행한다.
단계 A8에서 비디오의 정량 분석을 진행하고, 단계 A7에서 Softmax 분류 방법에 따라 얼굴 표정의 8가지 표현 및 학생의 수업 집중도와 얼굴 표정의 내재적 연관을 식별하고, 가중 계수를 설정하여 학생의 교육 몰입도 Ws를 평가한다.
단계 A9에서 오디오의 정량 분석을 진행하고, OpenEAR 툴킷을 사용하여 Z 표준화에 의해 음성에 대해 정규화를 진행하여, 학생 수업 오디오 중 학생의 내면 감정 분류를 식별하고, 가중 계수를 설정하여 학생의 수업 집중도 Wy를 평가한다.
단계 A10에서 종합 지수지수를 계산하고, Ws 및 Wy를 얻은 후 양자의 가중 계수를 모두 0.5로 설정한다. 이로써 학생의 수업 집중도 W를 얻고,
W ＝ 0.5 * Ws + 0.5 * Wy이다.
V. 교육 평가 모델 구축:
유명 학교와 협력하여 다양한 지능형 평가 모델을 구축하고, 교실, 학생 및 교사에 대한 다차원 지능형 분석을 수행하며, 교실 교육, 학습 평가, 커리큘럼/학생 분석 보고서 등 다중 요소 데이터 보고서가 풍부하고 시각적인 방식으로 제공된다.
(1) 다차원 질문 데이터베이스, (2) 학습 성적 데이터베이스, (3) 온라인 자동 테스트 시스템, (4) 지능형 학습 효과 분석 시스템, (5) 웹 마법사 가이드 시스템 등 모듈을 포함하여 이루어지고, 시스템 조작자는 다차원 질문 데이터베이스 시스템을 통해 질문을 입력하고, 완전한 인덱스 시스템을 구축하며, 사용자는 온라인 자동 테스트 시스템을 통해 원격으로 시험을 볼 수 있고 시험을 보는 과정의 활동 기록과 성격은 학습 기록 데이터베이스에 축적되고, 이어서 사용자는 지능형 학습 효과 분석 시스템을 통해 자신의 학습 사각 지대 및 강화할 항목을 파악하고, 대화형 바탕화면 또는 웹 마법사와 같은 웹 마법사 가이드 시스템을 통해 언제 어디서나 경고 신호를 제공하여 사용자를 정확한 학습 방향으로 가이드한다.
본 시스템은 웹(Web) 기술과 월드와이드웹(worldwideweb)의 관련 환경을 이용하여 구현되어 사용자는 인터넷(Internet)을 통해 언제 어디서나 테스트를 수행할 수 있으며, 데이터 마이닝(DataMining) 기술을 이용하여 학습 효과를 분석할 수 있으며, 통계 데이터와 분석 보고서를 통해 사용자는 자신의 학습 사각 지대, 강화된 영역, 강화되지 않은 영역, 강화해야 할 영역을 파악하고, 시스템의 도움으로 사용자는 미래 학습의 초점을 명확하게 이해할 수 있으므로 학습 활동이 더 효과적일 수 있고, 또한 사용자의 학습 진행 상황 및 과거 학습 효과 등 데이터에 의해, 시스템 상주 컴퓨터의 웹 마법사를 통해 언제 어디서나 학습 가이드를 제공하여 사용자에게 강화 및 주의가 필요한 학습 주제를 상기시키며, 사용자가 유의해야 할 부분을 주도적으로 알려주고, 컴퓨터 시스템 중의 가상 교사를 제공한다.
앞에서 본 발명 및 그 실시예에 대하여 설명하였으나, 본 발명은 이에한정되지 않으며 도면에 도시된 것은 본 발명의 실시형태 중 하나 일 뿐이며, 실제 구조는 이에 한정되지 않는다. 종합하면 당업자가 본 발명의 창의적 목적에서 벗어나지 않고 시사를 받아 발명자의 허락없이 얻은 과제의 해결수단과 유사한 과제의 해결수단 및 실시예는 모두 본 발명의 보호범위에 속한다.

Claims (1)

  1. 온라인 오프라인 결합형 다차원 교육 AI 학교 시스템에 있어서,
    I. 하드웨어 교육 준비 배포:
    전체 시스템은 비디오 수집, 지능형 식별 및 분석, 고도 집적화, 연결과 작동의 간편화, 유지 보수의 편리함, 대규모 정규화 교실 및 조별 교육 스마트 교실 구축 및 적용을 위해, 하나의 재생(웹캐스팅, 라이브 방송, 추적, 오디오) 호스트 및 하나의 AI 분석 호스트를 포함하고,
    구체적인 기기는,
    영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하기 위한 영역 캘리브레이션 모듈;
    센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하기 위한 제어 모듈;
    상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 영역 매칭 모듈; 및
    기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적하기 위한 추적 모듈을 포함하며,
    재생 추적 시스템은,
    ARM 제어 프로세서;
    상기 ARM 제어 프로세서에 연결되는 DSP 제어 프로세서;
    센서 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 센서 수집 모듈;
    이미지 신호를 수집하도록 상기 DSP 제어 프로세서에 연결되는 이미지 신호 수집 모듈;
    이미지 신호를 분석하도록 상기 이미지 신호 수집 모듈에 연결되는 이미지 분석 모듈을 포함하고,
    상기 시스템은,
    상기 ARM 제어 프로세서에 연결되고, 타깃 좌표에 따라 상기 좌표를 포함하는 최적 영역을 찾고, 최적 판단 방법은 타깃 좌표가 중심에서 가장 가까운 것인 추적 결정 모듈을 더 포함하며,
    상기 시스템은,
    상기 ARM 제어 프로세서에 연결되는 팬틸트 제어 모듈;
    팬틸트 제어 명령을 송신하도록 상기 팬틸트 제어 모듈에 연결되는 카메라 제어 모듈을 더 포함하고,
    상기 시스템은,
    시스템에 전원을 제공하도록 상기 DSP 제어 프로세서에 연결되는 전원 모듈을 더 포함하며,
    상기 시스템은,
    상기 DSP 제어 프로세서에 연결되는 메모리 Flash 저장 모듈을 더 포함하고,
    II. 전체 각도 지능형 식별:
    4D 전체 각도 골격 감지 기술에 의해, 다중 카메라로 전방위에서 비디오 중 특정 개인의 얼굴, 표정, 행동, 자세 등 정보를 정확하게 식별하고, 방향, 얼굴 중첩의 영향을 받지 않고 일반 교육 및 조별 교육 모드를 적용 가능하며; 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하며;
    센서 모듈이 상기 센서 감지 영역 내에서 다중 센서 신호를 수집하고 상기 센서 신호를 분석하도록 제어하고, 이미지 신호 수집 모듈이 상기 이미지 감지 영역 내에서 이미지 신호를 수집하고 상기 이미지 신호를 분석하도록 제어하며;
    상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하며;
    기설정 전략에 따라 카메가 추적 모드를 활성화하도록 제어하고, 타깃을 추적하며;
    일 실시예에서, 상기 영역을 캘리브레이션하고, 캘리브레이션된 영역을 이미지 감지 영역과 센서 감지 영역으로 분할하는 단계는,
    버튼을 통해 캘리브레이션 모드를 활성화하고, 센서 모듈 및 이미지 신호 수집 모듈이 동시에 작동하여 작업하도록 제어하는 단계;
    분석 모듈을 통해 캘리브레이션 수행자가 타깃 영역에서 이동하는지의 여부를 판단하고, 분석 모듈에 의해 캘리브레이션 수행자가 정지한 시간이 30초를 초과하는 것이 감지되면 영역의 코너 포인트를 캘리브레이션하기 시작하고 여러번 반복 조작하여 4개의 포인트를 구비하는 영역을 형성하는 단계;
    캘리브레이션 영역을 분석하고, 캘리브레이션 정보의 래원이 모두 거리 센서이면 영역을 센서 감지 영역으로 캘리브레이션하고, 아니면 이미지 감지 영역으로 캘리브레이션하는 단계;
    캘리브레이션한 4개의 코너 포인트의 래원이 통일되지 않으면 캘리브레이션을 다시 진행하는 단계를 포함하고,
    일 실시예에서, 상기 캘리브레이션된 영역과 카메라 팬틸트를 매칭시키고, 카메라를 제어하여 추적 및 위치결정되도록 하는 단계는,
    영역 캘리브레이션이 완료된 후, 영역과 카메라 팬틸트가 매칭되도록 제어하여 카메라가 추적하도록 제어하고, 영역 매칭은 5 포인트 매칭법을 사용하는 단계;
    캘리브레이션 영역의 외접 직사각형 영역을 선택하고, 좌표는 각각 (x1,y1) ,(x1,y2), (x2,y1),(x2,y2)로 정의하며, 계산 중심 좌표는 (x0,y0)로 정의하는 단계;
    캘리브레이션 수행자가 (x0,y0)로 이동하면, 카메라가 이때의 수직 각도 v0 및 수평 각도 h0를 기록하는 단계;
    캘리브레이션 수행자가 (x1,y1),(x1,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h1를 기록하는 단계;
    캘리브레이션 수행자가 (x2,y1),(x2,y2)로 이동하면, 카메라가 양자의 평균 수평 각도 h2를 기록하는 단계를 포함하며,
    일 실시예에서, 상기 위치결정 계산 공식은
    카메라 수평 회전각 h = (atan(x-x0)/(x1-x0)×tan(h1-h0) )+ atan(x-x0)/(x2-x0)×tan(h2-h0))/2; 및
    카메라 수평 회전각 v = (atan(y-y0)/(y1-y0)×tan(v1-v0) )+ atan(x -x0)/(y2-y0)×tan(v2-v0))/2 이며;
    상기 식에서, atan는 아크탄젠트 함수이고, tan는 탄젠트 함수이며;
    III. 오디오 비디오 2차원 교육 콘텐츠 통합:
    독립적인 음성 지원 비디오 2차원 식별 및 분석 방법을 통해, 대응되는 오디오를 사용하여 비디오 스트림 분석을 지원하여, 보다 정확한 비디오 교육 장면 분할 및 비디오 교육 콘텐츠 분류를 실현하고;
    단계 (1)에서, 특징 표기를 설정하고;
    단계 (2)에서, 상기 단계 (1) 중의 특징 표기를 촬영하여 비디오에 들어가 오디오 비디오 파일을 형성하고, 오디오 비디오 파일의 재방송 시 재방송 인터페이스에서 특징 표기를 구비하는 비디오를 표시하며;
    단계 (3)에서, 상기 단계 (2) 중의 오디오 비디오 파일의 특징 표기에 포함된 정보를 식별하고, 식별된 특징 표기와 오디오 비디오 파일에 대해 유일성 연관을 진행하며,
    바람직하게, 상기 단계 (1)에서, 헤드엔드 기기가 하나의 특징 표기를 생성하고, 상기 헤드엔드 기기는 PC를 포함하나 이에 한정되지 않으며; 상기 특징 표기는 2차원 코드이고; 상기 단계 (3)는 백그라운드 애플리케이션 서비스 시스템에 의해 수행되며;
    상기 단계 (1) 중의 2차원 코드는 큐알 코드(QR code)이고; 상기 단계 (3)에서, 비디오 중 2차원 코드 정보를 식별한 후 해당 구간 오디오 비디오 파일을 연관시키고, 상기 연관 정보를 백그라운드 애플리케이션 프로그램과 자동으로 기록 및 연관을 수행하며;
    상기 단계 (3)에서, 2차원 코드의 식별은 전처리 단계 및 디코딩 단계를 포함하고, 여기서 상기 전처리 단계의 구체적인 방법은,
    이미지 수집 기기가 획득한 2차원 코드에 대해 그레이 스케일 처리를 수행하여 데이터량을 감소하고 저장 공간 및 이미지 처리 시간을 감소하는 제1 단계;
    메디안 필터링 제거법을 사용하여 2차원 바코드 이미지의 수집 시 유입된 노이즈 포인트를 수집하여, 노이즈가 후속적인 이미지 처리에 대한 간섭을 감소시키는 제2 단계;
    바코드 식별은 바코드 이미지 중의 심도 모듈 정보를 획득하기만 하면 되기에 필터링 후 이미지에 대해 2치화를 진행해야 하고, 적응적 빛 조사 등화 및 전역 임계값(Otsu)이 결합된 알고리즘을 사용하여 2차원 바코드 이미지에 대해 2치화를 진행하여, 바코드 이미지에 대한 빛 조사가 불균일한 영향을 제거하는 제3 단계;
    2차원 바코드에 대해 위치결정을 진행하고, 바코드의 경사 각도 및 4개의 제어 꼭짓점을 획득하며, 2차원 바코드가 위치한 영역을 전체 이미지로부터 절단하여 후속적인 바코드 회전 및 기하적 왜곡 보정을 위해 준비하고, 후속적인 이미지 처리 범위를 감소하고 이미지 처리 속도를 높이는 제4 단계;
    제4 단계에서 얻은 바코드 경사 각도에 따라 이미지를 수평 상태로 회전시키는 제5 단계;
    2차원 바코드에 대해 기하적 왜곡 보정을 진행하여 하나의 규칙적인 바코드 이미지를 얻는 제6단계;
    큐알 코드(QR code)에 대해 위치 검출 패턴 및 보정 패턴의 위치 정보에 따라 샘플링 네트워크를 구축하고, 큐알 코드(QR code)의 음어 추출을 위해 준비하는 제7 단계;
    큐알 코드(QR code) 음어 추출 시 샘플링 네트워크 교차점에 대해 샘플링하고, 짙은 색을 0으로 기록하고 옅은 색을 1로 기록하면 큐알 코드(QR code)의 음어 시퀀스를 얻을 수 있는 제8 단계를 포함하고,
    상기 디코딩 단계는 2차원 코드 음어 추출, 오류 정정 해독 및 정보 해독을 포함하며;
    상기 단계 (3)은 오디오 비디오 파일에 대해 워터마크 중첩, 암호화 전송 및 권한 부여 처리를 수행하는 단계를 더 포함하고,
    상기 단계 (2)에서 촬영하여 얻은 오디오 비디오 파일은 유선 또는 무선 네트워크를 통해 백그라운드 애플리케이션 서비스 시스템에 전송되고 상기 단계 (3)에서 처리되며;
    IV. 학생 개인의 학습 상황 분석:
    각 학생의 수업, 학습 데이터를 수집 및 분석하고, 빅데이터 통계 및 모니터링을 통해 학습 효과를 제때에 평가하며, 학습 중의 문제를 진단하고 각 학생의 학습 방식 및 특징을 정확하게 분석하여 일상 학습 방식 및 행동를 개선하고, 학생들의 스마트 학습 방식을 배양하며;
    단계 A1에서, 얼굴을 수집하고, 교실 중 학생을 향한 카메라에 의해 학생이 수업하는 비디오를 수집하고, 이 비디오를 샘플로 입력하며;
    단계 A2에서, 얼굴을 검출하고, 얼굴 검출을 사용하여 프레임워크를 실시간으로 처리하여 안면 검출을 진행하고, 수업을 받는 학생의 신분을 결정하고 백그라운드 데이터베이스와 연관시키며;
    단계 A3에서, 회전 보정을 진행하고, 안면 영역의 회전 보정을 사용하여 정렬한 다음 검출된 안면 영역을 72*72의 사이즈로 조절하며;
    단계 A4에서, 부분 2치화 모드를 이용하여 이미지의 부분 텍스쳐 특성을 설명하고, 3*3의 사이즈에서 주변 픽셀 값이 중심 픽셀 값보다 크면 해당 픽셀점의 위치를 1로 기록하고 아니면 0으로 기록한 다음 각 픽셀의 LBP 값을 계산하여 LBP 안면 이미지를 얻으며;
    단계 A5에서, VGG16을 사용하여 그레이 스케일 안면 이미지의 특징을 추출하고, VGG16 중의 컨볼루션층 및 풀링층을 조합하고; VGG16의 2개의 밀집층을 제거하여 그레이 스케일 안면 이미지의 특징 추출을 단순화하며;
    단계 A6에서, LBP 안면 이미지의 특징 추출을 진행하고, LBP 안면 이미지에 대해 입력층, 2개의 컨볼루션층, 서브샘플링층 및 특징 벡터층을 포함하는 하나의 천층 CNN 모델을 구축하며,
    제1 컨볼루션층은 주로 안면의 주요 정보를 식별하고, 64개의 필터를 사용하여 LBP 이미지를 입력하며, 7*7 컨볼루션 커널을 사용하고 72*72 픽셀의 64장의 사진을 출력한 후, 제1 서브샘플링층은 2*2 커널의 최대 풀을 사용하여 사진 크기를 절반으로 줄이며;
    제2 컨볼루션층은 3*3 컨볼루션 커널을 사용하여 256회 컨볼루션을 수행하여 이전 계층을 매핑하고, 제2 서브샘플링층도 2*2의 커널을 사용하여 2개의 서브샘플링층 다음에 ReLu 활성화 함수를 추가하며;
    이어서 500개의 뉴런을 구비하는 하나의 은닉층을 출력하고, 은닉층은 2개의 서브샘플링층에 연결되어 추출된 특징이 변하지 않고 유지되도록 보장하며;
    단계 A7에서 가중화 융합을 진행하고, 가중화 융합 대상은 그레이 스케일 이미지로부터 추출한 특징 벡터 h1 및 천층 CNN 모델의 LBP 안면 이미지로부터 추출한 특징 벡터 h2이며;
    특징 벡터를 융합한 기초상에서 Softmax 분류 방법을 사용하여 식별을 진행하고;
    단계 A8에서 비디오의 정량 분석을 진행하고, 단계 A7에서 Softmax 분류 방법에 따라 얼굴 표정의 8가지 표현 및 학생의 수업 집중도와 얼굴 표정의 내재적 연관을 식별하고, 가중 계수를 설정하여 학생의 교육 몰입도 Ws를 평가하며;
    단계 A9에서 오디오의 정량 분석을 진행하고, OpenEAR 툴킷을 사용하여 Z 표준화에 의해 음성에 대해 정규화를 진행하여, 학생 수업 오디오 중 학생의 내면 감정 분류를 식별하고, 가중 계수를 설정하여 학생의 수업 집중도 Wy를 평가하며;
    단계 A10에서 종합 지수지수를 계산하고, Ws 및 Wy를 얻은 후 양자의 가중 계수를 모두 0.5로 설정하여 학생의 수업 집중도 W를 얻으며;
    W ＝ 0.5 * Ws + 0.5 * Wy이고;
    V. 교육 평가 모델 구축:
    유명 학교와 협력하여 다양한 지능형 평가 모델을 구축하고, 교실, 학생 및 교사에 대한 다차원 지능형 분석을 수행하며, 교실 교육, 학습 평가, 커리큘럼/학생 분석 보고서 등 다중 요소 데이터 보고서가 풍부하고 시각적인 방식으로 제공되고,
    (1) 다차원 질문 데이터베이스, (2) 학습 성적 데이터베이스, (3) 온라인 자동 테스트 시스템, (4) 지능형 학습 효과 분석 시스템, (5) 웹 마법사 가이드 시스템 등 모듈을 포함하여 이루어지고, 시스템 조작자는 다차원 질문 데이터베이스 시스템을 통해 질문을 입력하고, 완전한 인덱스 시스템을 구축하며, 사용자는 온라인 자동 테스트 시스템을 통해 원격으로 시험을 볼 수 있고 시험을 보는 과정의 활동 기록과 성격은 학습 기록 데이터베이스에 축적되고, 이어서 사용자는 지능형 학습 효과 분석 시스템을 통해 자신의 학습 사각 지대 및 강화할 항목을 파악하고, 대화형 바탕화면 또는 웹 마법사와 같은 웹 마법사 가이드 시스템을 통해 언제 어디서나 경고 신호를 제공하여 사용자를 정확한 학습 방향으로 가이드하며;
    본 시스템은 웹(Web) 기술과 월드와이드웹(worldwideweb)의 관련 환경을 이용하여 구현되어 사용자는 인터넷(Internet)을 통해 언제 어디서나 테스트를 수행할 수 있으며, 데이터 마이닝(DataMining) 기술을 이용하여 학습 효과를 분석할 수 있으며, 통계 데이터와 분석 보고서를 통해 사용자는 자신의 학습 사각 지대, 강화된 영역, 강화되지 않은 영역, 강화해야 할 영역을 파악하고, 시스템의 도움으로 사용자는 미래 학습의 초점을 명확하게 이해할 수 있으므로 학습 활동이 더 효과적일 수 있고, 또한 사용자의 학습 진행 상황 및 과거 학습 효과 등 데이터에 의해, 시스템 상주 컴퓨터의 웹 마법사를 통해 언제 어디서나 학습 가이드를 제공하여 사용자에게 강화 및 주의가 필요한 학습 주제를 상기시키며, 사용자가 유의해야 할 부분을 주도적으로 알려주고, 컴퓨터 시스템 중의 가상 교사를 제공하는 온라인 오프라인 결합형 다차원 교육 AI 학교 시스템.
KR1020210096937A 2021-02-02 2021-07-23 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템 KR20220111634A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110140759.XA CN112766226A (zh) 2021-02-02 2021-02-02 一种线上线下相结合的多维教学ai学堂系统
CN202110140759.X 2021-02-02

Publications (1)

Publication Number Publication Date
KR20220111634A true KR20220111634A (ko) 2022-08-09

Family

ID=75704553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210096937A KR20220111634A (ko) 2021-02-02 2021-07-23 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템

Country Status (2)

Country Link
KR (1) KR20220111634A (ko)
CN (1) CN112766226A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955603A (zh) * 2022-12-06 2023-04-11 广州紫为云科技有限公司 一种基于智慧屏的体感交互的智能摄像头装置和实现方法
CN116452072A (zh) * 2023-06-19 2023-07-18 华南师范大学 一种教学评价方法、系统、设备和可读存储介质
CN116567483A (zh) * 2023-04-18 2023-08-08 北京万讯博通科技发展有限公司 一种红外无线教学扩声的智能管理方法及系统
CN116580354A (zh) * 2023-05-11 2023-08-11 泰州市元根体育器材有限公司 应用模式切换的远程教育监考系统
CN116611022A (zh) * 2023-04-21 2023-08-18 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN116703122A (zh) * 2022-11-16 2023-09-05 上海卓冶机电科技有限公司 一种智慧城市信息资源展示系统及方法
CN117152648A (zh) * 2023-10-30 2023-12-01 泰州爱贝文化传媒有限公司 一种基于增强现实的辅助教学识图装置
CN117172967A (zh) * 2023-08-11 2023-12-05 广州市抖品品牌管理有限公司 一种企业品牌宣传服务管理系统
CN117275297A (zh) * 2023-11-23 2023-12-22 泰州爱贝文化传媒有限公司 一种学前教育用图像识别语言播报设备
CN117911421A (zh) * 2024-03-20 2024-04-19 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法
CN117911421B (zh) * 2024-03-20 2024-05-31 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191650B (zh) * 2021-05-10 2022-07-19 福建国科信息科技有限公司 基于线上教育软件平台数据特征匹配的学生线下教学管理方法
CN114037541A (zh) * 2021-11-05 2022-02-11 湖南创研科技股份有限公司 基于生物特征识别的定点医药机构的监管方法及相关设备
CN115480923B (zh) * 2022-10-10 2023-06-13 北京师范大学 一种多模态的智慧教室边缘计算控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584880A (zh) * 2003-08-18 2005-02-23 杭州草莓资讯有限公司 多维线上学习测验之智能型评估与导引系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统
CN109801193B (zh) * 2017-11-17 2020-09-15 深圳市鹰硕教育服务股份有限公司 一种具有语音评价功能的跟随教学系统
CN109788169A (zh) * 2018-11-30 2019-05-21 南京百利通信息技术有限责任公司 基于特征标记和音视频分析识别的执法记录系统及方法
CN110837947B (zh) * 2019-10-11 2022-05-31 杭州电子科技大学 一种基于音视频分析技术的教师授课专注度的评估方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703122A (zh) * 2022-11-16 2023-09-05 上海卓冶机电科技有限公司 一种智慧城市信息资源展示系统及方法
CN116703122B (zh) * 2022-11-16 2024-01-19 上海张江智荟科技有限公司 一种智慧城市信息资源展示系统及方法
CN115955603B (zh) * 2022-12-06 2024-05-03 广州紫为云科技有限公司 一种基于智慧屏的体感交互的智能摄像头装置和实现方法
CN115955603A (zh) * 2022-12-06 2023-04-11 广州紫为云科技有限公司 一种基于智慧屏的体感交互的智能摄像头装置和实现方法
CN116567483A (zh) * 2023-04-18 2023-08-08 北京万讯博通科技发展有限公司 一种红外无线教学扩声的智能管理方法及系统
CN116567483B (zh) * 2023-04-18 2024-02-09 北京万讯博通科技发展有限公司 一种红外无线教学扩声的智能管理方法及系统
CN116611022A (zh) * 2023-04-21 2023-08-18 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN116611022B (zh) * 2023-04-21 2024-04-26 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN116580354B (zh) * 2023-05-11 2023-11-03 北京优思安科技有限公司 应用模式切换的远程教育监考系统
CN116580354A (zh) * 2023-05-11 2023-08-11 泰州市元根体育器材有限公司 应用模式切换的远程教育监考系统
CN116452072B (zh) * 2023-06-19 2023-08-29 华南师范大学 一种教学评价方法、系统、设备和可读存储介质
CN116452072A (zh) * 2023-06-19 2023-07-18 华南师范大学 一种教学评价方法、系统、设备和可读存储介质
CN117172967A (zh) * 2023-08-11 2023-12-05 广州市抖品品牌管理有限公司 一种企业品牌宣传服务管理系统
CN117152648A (zh) * 2023-10-30 2023-12-01 泰州爱贝文化传媒有限公司 一种基于增强现实的辅助教学识图装置
CN117152648B (zh) * 2023-10-30 2023-12-26 泰州爱贝文化传媒有限公司 一种基于增强现实的辅助教学识图装置
CN117275297A (zh) * 2023-11-23 2023-12-22 泰州爱贝文化传媒有限公司 一种学前教育用图像识别语言播报设备
CN117275297B (zh) * 2023-11-23 2024-03-08 泰州爱贝文化传媒有限公司 一种学前教育用图像识别语言播报设备
CN117911421A (zh) * 2024-03-20 2024-04-19 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法
CN117911421B (zh) * 2024-03-20 2024-05-31 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法

Also Published As

Publication number Publication date
CN112766226A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
KR20220111634A (ko) 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템
Alam Employing adaptive learning and intelligent tutoring robots for virtual classrooms and smart campuses: reforming education in the age of artificial intelligence
CN110364049B (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
CN110334610A (zh) 一种基于计算机视觉的多维度课堂量化系统及方法
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN111652189A (zh) 一种智能化教学的学生管理系统
Maltese et al. Through their eyes: Tracking the gaze of students in a geology field course
CN114898460B (zh) 一种基于图卷积神经网络的教师非言语行为检测方法
CN111814733A (zh) 基于头部姿态的专注度检测方法及装置
Tang et al. Automatic facial expression analysis of students in teaching environments
CN111429044A (zh) 基于学习行为的智能科技教学系统及控制方法
Rabiha et al. Image processing model based E-Learning for students authentication
Wenchao et al. Research on intelligent recognition algorithm of college students’ classroom behavior based on improved SSD
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及系统
Chen et al. Intelligent Recognition of Physical Education Teachers' Behaviors Using Kinect Sensors and Machine Learning.
Jiang Analysis of Students’ Role Perceptions and their Tendencies in Classroom Education Based on Visual Inspection
CN113469001A (zh) 一种基于深度学习的学生课堂行为检测方法
Méndez-Ortega et al. Supervision and control of students during online assessments applying computer vision techniques: a systematic literature review
CN109726690B (zh) 基于DenseCap网络的学习者行为图像多区域描述方法
Zhang et al. Designing a streamlined viewport strategy system to enhance performance in context awareness in mobile learning environments
Liu AI proctoring for offline examinations with 2-Longitudinal-Stream Convolutional Neural Networks
Liu et al. An online classroom atmosphere assessment system for evaluating teaching quality
Zhang Research on the Quality Improvement of Ideological and Political Teaching in the Internet of Things Environment
Yu Realization of an Intelligent Image Processing Technology for the Analysis of Chinese Painting Color Education

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application