KR102650531B1 - 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법 - Google Patents

사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법 Download PDF

Info

Publication number
KR102650531B1
KR102650531B1 KR1020230137933A KR20230137933A KR102650531B1 KR 102650531 B1 KR102650531 B1 KR 102650531B1 KR 1020230137933 A KR1020230137933 A KR 1020230137933A KR 20230137933 A KR20230137933 A KR 20230137933A KR 102650531 B1 KR102650531 B1 KR 102650531B1
Authority
KR
South Korea
Prior art keywords
electronic whiteboard
internet
space
unit
touch
Prior art date
Application number
KR1020230137933A
Other languages
English (en)
Inventor
구기도
Original Assignee
(주)아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아하 filed Critical (주)아하
Priority to KR1020230137933A priority Critical patent/KR102650531B1/ko
Application granted granted Critical
Publication of KR102650531B1 publication Critical patent/KR102650531B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

본 발명은 인공지능 및 사물인터넷 기능이 융합된 전자칠판 및 그 전자칠판의 구동방법에 관한 것으로서, 본 발명에 따른 인공지능 및 사물인터넷 기능이 융합된 전자칠판은 디스플레이 화면상에 판서가 가능한 터치 패널 및 음성인식이 가능한 음성 인식부를 통해 사용자 명령을 수신하는 인터페이스부, 및 인공지능(AI) 프로그램을 적용해 터치 패널 및 음성 인식부의 사용과 관련한 학습 데이터를 학습하여 학습 결과를 근거로 인터페이스부가 사용되는 임의 공간 내에 구비되는 사물인터넷장치의 동작을 제어하여 임의 공간 내 환경을 변경하는 제어부를 포함할 수 있다.

Description

사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법{Interactive Plat Panel Display Capable of Controlling Surrounding Environment Using Internet of Things Functions and Method of Operating Interactive Plat Panel Display}
본 발명은 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법에 관한 것으로서, 더 상세하게는 가령 학생들의 교실이나 회사의 회의실과 같은 임의 공간 내에 설치되는 전자칠판에 인공지능 기술과 사물인터넷 기술을 접목하여 동작하도록 하는 인공지능 및 사물인터넷 기능이 융합된 전자칠판 및 그 전자칠판의 구동방법에 관한 것이다.
사용자 인터페이스(UI, User Interface)는 마우스나 키보드처럼 컴퓨터 시스템과 사용자를 이어주는 도구 및 기술을 포괄적으로 아우르는 용어이다. 즉, 사용자 인터페이스는 사람과 사물이 상호 의사소통을 할 수 있도록 하는 환경을 가리킨다. 또한, 이러한 사용자 인터페이스의 본질은 사용자의 편의성을 극대화하여 효율적으로 원하는 작업을 수행하도록 환경을 개선하는 것이다.
최근 전자칠판은 명령어 입력 라인, 검색/대화 모드 및 사용자의 손의 움직임 및 모양을 인식하여 컴퓨터 등의 전자 기기에 다양한 사용자 인터페이스를 제공하고 있다. 그러나 이들은 전자칠판 자체 또는 스타일러스 등의 모드 제어를 통해 해당 입력 방식으로의 입력이 이루어질 수 있도록 모드 선택을 수행한 후, 원하는 제어를 수행하도록 되어 있다. 이와 같은 전자칠판의 모드 변경을 위한 다양한 방식이 존재하고 있으나, 사용자가 원하는 모드 변경을 위해서는 모드 제어가 선행되어야 하는 번거로움이 있다.
무엇보다 종래의 전자칠판은 음성 인식 동작 등 전자칠판의 제어 등에만 국한하여 기술 개발이 이어지는 한계가 있어, 전자칠판을 사용하는 주체나 전자칠판을 둘러싼 환경을 고려하여 전자칠판의 동작을 자동 제어하기 위한 기술 개발의 필요성이 요구되고 있다.
한국등록특허공보 제10-2321855호(2021.10.29) 한국공개특허공보 제10-2017-0133989호(2017.12.06)
본 발명이 해결하고자 하는 과제는, 가령 학생들의 교실이나 회사의 회의실과 같은 임의 공간 내에 설치되는 전자칠판에 인공지능 기술과 사물인터넷 기술을 접목하여 동작하도록 하는 인공지능 및 사물인터넷 기능이 융합된 전자칠판 및 그 전자칠판의 구동방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 인공지능 및 사물인터넷 기능이 융합된 전자칠판은, 디스플레이 화면상에 판서가 가능한 터치 패널 및 음성인식이 가능한 음성 인식부를 통해 사용자 명령을 수신하는 인터페이스부, 및 인공지능(AI) 프로그램을 적용해 상기 터치 패널 및 상기 음성 인식부의 사용과 관련한 학습 데이터를 학습하여 학습 결과를 근거로 상기 인터페이스부가 사용되는 임의 공간 내에 구비되는 사물인터넷장치의 동작을 제어하여 상기 임의 공간 내 환경을 변경하는 제어부를 포함한다.
상기 인터페이스부는 상기 음성 인식부로서 상기 터치 패널의 상측 테두리부의 양측에 각각 구비되는 제1 마이크로폰 및 제2 마이크로폰을 포함할 수 있다.
상기 제어부는 상기 임의 공간 내 면적, 인원수, 일조량, 온도, 습도, 조명 중 적어도 하나와 관련한 학습 데이터의 학습 결과를 근거로 상기 사물인터넷장치의 동작을 제어할 수 있다.
상기 제어부는, 상기 터치 패널의 화면상에서 이루어지는 멀티 터치와 관련한 학습 데이터의 학습 결과를 근거로 상기 화면상에서 손가락의 터치 제스처가 있을 때 멀티 터치를 판단해 판단 결과를 근거로 페이지의 확대나 축소 및 스크롤바의 이동 동작을 제어할 수 있다.
또한 본 발명에 따른 인공지능 및 사물인터넷 기능이 융합된 전자칠판의 구동방법은, 디스플레이 화면상에 판서가 가능한 터치 패널 및 음성인식이 가능한 음성 인식부를 포함하는 인터페이스부가 사용자 명령을 수신하는 단계, 및 제어부가 인공지능(AI) 프로그램을 적용해 상기 터치 패널 및 상기 음성 인식부의 사용과 관련한 학습 데이터를 학습하여 학습 결과를 근거로 상기 인터페이스부가 사용되는 임의 공간 내에 구비되는 사물인터넷장치의 동작을 제어하여 상기 임의 공간 내 환경을 변경하는 단계를 포함한다.
상기 인터페이스부는 상기 음성 인식부로서 상기 터치 패널의 상측 테두리부의 양측에 각각 구비되는 제1 마이크로폰 및 제2 마이크로폰을 포함할 수 있다.
상기 사물인터넷장치의 동작을 제어하는 단계는, 상기 임의 공간 내 면적, 인원수, 일조량, 온도, 습도, 조명 중 적어도 하나와 관련한 학습 데이터의 학습 결과를 근거로 상기 사물인터넷장치의 동작을 제어할 수 있다.
상기 구동방법은, 상기 제어부가 상기 터치 패널의 화면상에서 이루어지는 멀티 터치와 관련한 학습 데이터의 학습 결과를 근거로 상기 화면상에서 손가락의 터치 제스처가 있을 때 멀티 터치를 판단해 판단 결과를 근거로 페이지의 확대나 축소 및 스크롤바의 이동 동작을 제어하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 교실이나 회사의 미팅공간에 전자칠판이 설치되어 사용될 때 전자칠판이 설치되는 공간의 환경을 고려하여 조명이나 온도, 나아가 전자칠판의 각도, 틸트 등을 자동 조절함으로써 전자칠판의 활용을 위한 최적 환경을 형성해 줄 수 있다.
본 발명의 실시예에 따르면, 가령 전자칠판을 이용해 수업을 진행하거나 프로젝트를 발표하거나 할 때 인공지능 기술이나 사물인터넷 기술을 적용해 주변환경을 최적화함으로써 수업진행이나 프로젝트 발표에 집중하도록 할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 인공지능 및 사물인터넷 기능을 융합한 전자칠판시스템을 예시한 도면이다.
도 2는 도 1의 전자칠판장치의 구조를 보여주는 도면이다.
도 3은 도 2의 전자칠판을 예시하여 보여주는 도면이다.
도 4는 도 3의 전자칠판의 세부구조를 예시한 블록다이어그램이다.
도 5는 도 4의 AI 및 IoT 융합처리부의 세부구조를 예시한 블록다이어그램이다.
도 6a는 터치 제스처 인식 순서를 나타내는 도면이다.
도 6b는 터치점 데이터 분석 관계도이다.
도 6c는 단일 프레임 정보와 연속 프레임 정보와의 관계도이다.
도 6d는 단일 프레임의 각 터치점 데이터가 연속 프레임에서의 분석 순서를 보여주는 도면이다.
도 7은 도 3의 전자칠판의 구동과정을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 도면에서 예시된 영역들은 개략적인 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도면을 참조하여, 본 발명의 개념 및 이에 따른 실시예들에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 인공지능 및 사물인터넷 기능을 융합한 전자칠판시스템을 예시한 도면이며, 도 2는 도 1의 전자칠판장치의 구조를 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 및 사물인터넷 기능을 융합한 전자칠판시스템(이하, 융합기반 전자칠판시스템)(90)은 전자칠판장치(100), 통신망(110), 전자칠판서비스장치(120) 및 서드파티장치(130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 서드파티장치(130)와 같은 일부 구성요소가 생략되어 융합기반 전자칠판시스템(90)이 구성되거나, 전자칠판서비스장치(120)를 구성하는 구성요소의 일부 또는 전부가 전자칠판장치(100)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
전자칠판장치(100)는 도 2에서 볼 수 있는 바와 같이 임의 공간에 설치되어 기본적으로 패널(pannel)상에 판서가 가능한 전자칠판(210)을 포함하는 적어도 하나의 장치를 포함할 수 있다. 예를 들어 본 발명의 실시예에 따른 전자칠판장치(100)는 인공지능 동작과 사물인터넷(IoT) 통신이 가능한 구성을 모두 갖도록 구성된다고 볼 수 있다. 인공지능 모듈부와 사물인터넷 모듈부를 포함하여 구성될 수 있다. 물론 전자칠판장치(100)는 도 2에서와 같이 전자칠판(210)을 포함할 수 있으며, 컴퓨터(200)나 해당 컴퓨터(200)가 포함되는 전자교탁을 포함할 수 있다. 본 발명의 실시예에 따른 전자칠판(210)은 컴퓨터(200)나 전자교탁을 구성하는 구성요소의 일부 또는 전부를 포함할 수 있으므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 다시 말해, 전자칠판(210)의 화면상에서 터치 방식을 이용함으로써 전자교탁과 같은 동작을 대체하는 것도 얼마든지 가능할 수 있다.
전자칠판(210)은 학교, 학원, 어린이집, 교회, 병원, 일반기업에 이르기까지 다양한 곳에 설치되어 사용될 수 있다. 전자칠판(210)은 가령 학생들의 수업이 이루어지는 교실이나 강의실의 임의 공간, 그리고 회사 등에서 미팅이 이루어지는 미팅룸에는 전자칠판(210)이 설치될 수 있으며, 해당 전자칠판(210)은 가령 동일 공간에 구비되는 타 장치들, 가령 전동커튼, 빔 프로젝터, 스크린, 앰프, 에어컨, TV 등의 사물인터넷장치(220)와 다이렉트(예: P2P 등) 통신을 수행할 수 있다. 이와 같이 전자칠판(210)은 사물인터넷 통신을 통해 주변 장치들의 통합 관리 및 제어 동작을 수행함으로써 임의 공간에서 전자칠판(210)이 사용될 때 최적화된 환경을 조성할 수 있으며, 이의 과정에서 인공지능 기술을 적용할 수 있다. 가령 전자칠판(210)은 리모컨으로 제어되는 에어컨이나 난방기 같은 경우 적외선(IR) 방식의 리모컨으로 제어되는데 본 발명의 실시예에서는 기존의 리모컨을 리모컨 학습기(혹은 해당 프로그램이 저장된 모듈)를 통해 데이터를 획득하고 이를 분석 및 재생하여 기존의 IR 신호를 재생하므로 에어컨이나 냉방기와 같은 주변장치를 사물인터넷 통신에 의해 제어할 수 있다.
예를 들어, 전자칠판(210)은 카메라를 탑재할 수 있으며, 또 온도센서나 습도센서 등 임의 공간 내 환경과 관련한 특성을 분석하기 위한 다양한 센서를 포함할 수 있다. 물론 이러한 임의 공간 내 환경과 관련한 데이터는 전자칠판(210)의 주변장치인 사물인터넷장치(220)로부터 제공받아 이용하는 것도 얼마든지 가능할 수 있다. 예를 들어 임의 공간의 창문에 설치되는 전동커튼과 같은 커튼 장치(예: 블라인드 등)는 임의 공간으로 입사되는 일조량을 측정하는 것도 얼마든지 가능할 수 있으며, 해당 일조량과 관련한 센싱 데이터는 전자칠판(210)으로 제공되는 것도 얼마든지 가능할 수 있다.
좀더 구체적으로 살펴보면, 전자칠판(210)은 임의 공간에 설치된 후 본 발명의 실시예에 따른 사물인터넷 통신과 인공지능 동작을 수행하기 위해 다양한 동작이 선행될 수 있다. 예를 들어, 전자칠판(210)을 임의 공간에 설치한 후 스캔 동작을 수행할 수 있다. 블루투스 통신 등에 의해 주변의 사물인터넷장치(220)를 인식하기 위한 스캔 동작이 이루어질 수 있으며, 이의 과정에서 사물인터넷장치(220)로부터 기능(혹은 성능)과 관련한 데이터를 수신할 수 있다. 이러한 기능 관련 데이터는 특정 사물인터넷장치(220)로부터 이용 가능한 센싱 데이터가 있는지를 판단하기 위한 과정이라 볼 수 있다. 또한 전자칠판(210)은 임의 공간의 최적화 환경을 조성하기 위한 데이터를 학습할 수 있다. 다시 말해 임의 공간의 면적(또는 평수)과 인원수, 그리고 사무용 집기 등에 의한 여유공간, 일조량, 조명 등 다양한 환경을 고려하여 임의 공간 내 온도나 습도를 얼마로 설정할 것인지, 그리고 전자칠판(210)을 사용하는 주체(예: 교사나 학생)와 관련해서도 특성을 파악하여 전자칠판(210)의 상태, 가령 높낮이나 각도 등을 자동으로 조절할 수 있다. 이를 위하여 인공지능 기술이 활용될 수 있다. 다시 말해, 전자칠판(210)은 이에 관련되는 학습 데이터를 사전에 학습한 후 임의 공간에서 수집되는 데이터를 분석해 그 분석 결과 및 학습 결과에 근거해 최적 환경을 조성한다고 볼 수 있다.
대표적으로 전자칠판(210)은 임의 공간 내 특성을 분석하기 위하여 카메라의 촬영영상을 분석할 수 있다. 전자칠판(210)이 설치되는 임의 공간에 조명이 켜지면, 전자칠판(210)은 촬영 동작을 개시할 수 있으며, 촬영영상의 분석을 통해 해당 공간의 상태를 판단할 수 있다. 가령 인원수가 너무 많은 경우에는 해당 인원수를 고려하여 내부 온도나 습도를 조절할 수 있다. 또 전자칠판(210)은 일조량과 관련한 데이터가 취득되는 경우에는 해당 데이터를 분석해 온도나 습도의 조절시 해당 분석 결과를 더 고려할 수 있다. 그리고 전자칠판(210)을 사용하는 주체를 촬영영상의 분석을 통해 판단할 수 있다. 예를 들어, 장애가 있는 사용자가 전자칠판(210)을 사용하는 경우 높낮이를 자동으로 조절할 수 있다. 촬영영상의 분석을 통해 장애가 있는 사용자의 상체 길이나 팔 길이 등을 측정하는 것이 가능하므로 이를 근거로 전자칠판(210)의 높낮이를 자동으로 조절할 수 있다.
물론 본 발명의 실시예에 따른 전자칠판(210)은 인공지능 기술을 이용해 전자칠판(210)의 상태뿐 아니라 전자칠판(210)이 사용되는 공간의 환경을 주변에 위치하는 사물인터넷장치(220)의 동작을 제어해 최적화할 수 있지만, 전자칠판(210)을 사용하는 사용자의 음성 인식을 통해 그에 따라 전자칠판(210)의 상태나 공간 내 환경을 조절하는 것도 얼마든지 가능하다. 예를 들어, 인공지능에 의한 최적화 환경 설정은 학습 데이터에 근거한 것이지만, 사용자가 조명을 조절하거나 온도의 조절을 요청한 경우 이를 반영하여 설정을 변경할 수 있다. 이에 따라 전자칠판(210)은 해당 상황과 관련한 데이터를 수집하여 재학습하고, 다음에는 그 재학습된 결과를 반영하여 전자칠판(210)의 상태를 제어하거나 공간 내 환경을 설정할 수 있다. 예를 들어, 전자칠판(210)은 데이터 분석을 통해 회사 내에서 특정 팀의 미팅 인원과 전자칠판(210)이 사용되는 상태, 그리고 공간 내 환경과 관련한 정보를 학습할 수 있다. 팀(혹은 그룹)과 관련한 빅데이터의 수집과 그 빅데이터의 분석을 통해 예측의 정확도를 증가시킬 수 있다.
나아가 본 발명의 실시예에 따른 전자칠판(210)은 도 3에서와 같이 디스플레이부(300)를 구성하는 터치패널을 구성함으로써 사용자가 화면에 판서하는 내용을 기록하여 저장 및 관리할 수 있다. 디스플레이부(300)는 영상을 구현하는 영상패널과, 그 영상패널의 상측에 구비되어 사용자의 터치나 손 또는 스타일러스에 의해 판서가 이루어지는 경우 이를 인식하기 위한 터치패널을 포함하여 구성될 수 있다. 터치패널은 영상패널의 화소에 대응하여 저항막 방식이나 정전용량 방식 등으로 동작하는 무수히 많은 센서들로 구성되며, 각각의 센서는 좌표값을 가지므로 이를 통해 영상패널에서 어떤 부위가 터치되는지를 인식할 수 있게 되고(예: 싱글터치나 멀티터치 등 감지), 또 판서가 있는 경우에는 수신된 데이터를 분석해 텍스트 정보를 인식하게 되는 것이다. 이때 터치되는 부위를 인식하기 위하여 화면의 정중앙 부위를 (0, 0)으로 설정하는 상대좌표 방식과, 화면의 좌측 상단을 (0, 0)으로 설정하는 절대좌표 방식이 사용될 수 있다. 영상패널과 터치패널은 생산 공정에서 일체화된 제품으로 출고되기도 하므로, 본 발명의 실시예에서는 그 디스플레이의 구성에 특별히 한정하지는 않을 것이다. 다만, 본 발명의 실시예에서는 전자칠판(210)을 사용하는 사용자와 그 사용자가 판서하는 내용을 기록함으로써 인공지능 기술을 적용해 사용자가 자신이 이전에 기록된 데이터를 요청할 때 화면상에 출력해 줄 수 있다는 것이다. 이를 통해서도 전자칠판(210)을 사용하는 사용자의 편의성을 도모할 수 있다.
도 3을 참조하여 본 발명의 실시예에 따른 전자칠판(210)의 기구적인 또는 하드웨어적인 측면을 더 살펴보면, 전자칠판(210)은 디스플레이부(300)를 스탠드(310) 또는 거치대의 일측에 고정하여 상하의 높낮이 조절이 가능하고, 또 좌우로의 각도 조절(혹은 회전)이 가능하며, 나아가 바닥면과 이루는 화면의 각도 이는 시야각에 관련될 수 있는데, 이를 조절하기 위한 틸팅 동작도 얼마든지 가능할 수 있다. 스탠드(310)의 내부에는 디스플레이부(300)의 상하 높이 조절이나 좌우, 또는 시야각 조절을 위한 액추에이터가 구비될 수 있다. 여기서, 액추에이터는 모터, 그리고 모터의 구동축에 연결되는 다양한 유형의 기어 등을 포함하여 구성될 수 있다. 뿐만 아니라 스탠드(310)의 일측에는 교사나 프로젝트 발표자가 앉아서 설명을 할 수 있도록 의자(320)가 구비될 수 있으며, 의자(320)의 경우에도 스탠드(310)에 결합 및 분리가 용이하도록 구성될 수 있으며, 또 높낮이 조절이 얼마든지 가능할 수 있다. 뿐만 아니라 의자가 결합되는 스탠드(310)상에 레일을 구성함으로써 의자(320)의 위치를 일측에서 타측으로 이동시킬 수도 있다. 직선 운동이 가능하다. 더 나아가 스탠드(310)의 하부에는 바닥면을 구를 수 있는 구동륜을 포함하여 구성될 수 있다.
무엇보다 본 발명의 실시예에 따른 전자칠판(210)은 디스플레이부(300)를 구성하는 프레임(framework)상에 이는 통상 하부커버 또는 상부커버 등의 형태로 명명되며, 상부커버의 테두리, 더 정확하게는 상하좌우의 테두리를 구성한다고 가정할 때 상부측 테두리 부위에 음성인식 모듈, 가령 마이크로폰(이하, 마이크)을 설치하는 것이 바람직하다. 가령 마이크를 상단 테두리부의 양측에 구성함으로써 하단부 배치시 문제될 수 있는 거리나 지향성 문제를 개선할 수 있다. 마이크간 거리는 인식률 등을 고려하여 70mm 정도가 바람직할 수 있다. 물론 이는 마이크의 제조사에 따라 조금 차이가 발생할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 지향성도 마찬가지이다.
물론 본 발명의 실시예에서는 하단부와 상단부에 각각 양측에 마이크를 설치하고 인공지능 프로그램을 통해 전자칠판(210)이 설치되는 공간의 음향 상태(예: 에코 현상 등)를 측정하여 이를 근거로 적절한 위치의 마이크를 가동시키는 것도 얼마든지 가능할 수 있다. 또한 본 발명의 실시예에서는 상단이나 하단부의 양측 2곳에 마이크를 설치하여 동작시키지만 교사나 발표자의 위치를 근거로 음성 신호를 분석하여 분석 결과 수신 감도가 좋은 곳의 마이크를 작동시킴으로써 전원 절약 등의 동작을 수행할 수 있고, 또 특정 교사나 발표자와 관련한 학습이 이루어진 경우에는 가령 발음이 불분명한 화자로 판단되는 경우에는 그와 관련한 학습 결과를 근거로 적어도 하나의 마이크, 더 정확하게는 복수의 마이크를 동작시키는 것이 얼마든지 가능할 수 있다. 이를 위하여 본 발명의 실시예에서는 인공지능 프로그램을 활용할 수 있다. 나아가 마이크를 포함하는 음성인식 모듈의 경우 노이즈(Noise)를 제거하기 위한 노이즈 제거부를 포함할 수 있다.
정리해 보면, 본 발명의 실시예에서는 상기한 바와 같이 인공지능 기술과 사물인터넷 기술을 접목함으로써 전자칠판(210)이 사용되는 상태나 전자칠판(210)이 사용되는 공간 내 환경을 정확히 예측함으로써 그에 따라 전자칠판(210)이나 사물인터넷장치(220)의 자동화 동작을 수행함으로써 최적화 환경을 조성할 수 있다. 예를 들어, 전자칠판(210)이 사용되는 초기에는 전자칠판(210)이 사용되는 상태나 전자칠판(210)이 사용되는 공간 내 환경을 설정하기 위한 학습 데이터가 사용될 수 있으나, 전자칠판(210)이 사용되는 과정에서 지속적으로 데이터를 수집하고 이를 분석함으로써 최적화된 환경을 조성하는 것이 얼마든지 가능할 수 있다. 인공지능의 경우 학습 데이터를 라벨링의 형태로 지도하는 지도학습방식, 딥러닝 방식 등의 비지도학습장치 및 2개의 학습 방식을 병행하는 준지도학습방식이 사용될 수 있으며, 본 발명의 실시예에서는 지도학습방식이나 준지도학습방식이 바람직할 수 있다. 다만, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
통신망(110)은 다양한 형태로 구성될 수 있다. 통신망(110)은 유무선 통신망을 모두 포함할 수 있다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망, 6G 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함할 수 있다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 도 1의 전자칠판장치(100)나 서드파티장치(130) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분될 수 있다. 물론 통신망(110)은 전자칠판장치(100)나 서드파티장치(130) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 전자칠판서비스장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
전자칠판서비스장치(120)는 가령 클라우드 서버 등을 포함하여 DB(120a)에 연동할 수 있다. 전자칠판서비스장치(120)는 도 1의 전자칠판장치(100)나 도 2의 전자칠판(210)과 연계하여 다양한 동작을 수행할 수 있다. 전자칠판서비스장치(120)는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 포털 서비스를 제공하는 업체의 서버를 포함할 수 있으며, 또 전자칠판(210)을 판매하는 제조사에서 제공하는 서비스 서버를 포함할 수 있다. 다시 말해, 전자칠판서비스장치(120)는 전자칠판(210)을 사용할 때 인터넷상에서 자료검색 등이 필요할 때 관련 데이터를 제공할 수 있으며, 날씨 등에 대한 정보를 제공하는 것도 얼마든지 가능할 수 있다. 예를 들어, 전자칠판(210)에서 음성 명령어가 제공되면 이는 텍스트 형태로 변환하여 인식이 이루어질 수 있으며 이에 따라 관련 데이터를 제공해 줄 수 있다. 전자칠판서비스장치(120)는 내부에 자연어 처리를 위한 언어 모델(예: LLM 등)을 탑재할 수 있고, 이를 통해 서비스를 제공할 수 있지만, 전자칠판(210)에서 사용자의 음성 인식과 관련한 동작을 수행해 인식 결과를 제공하면 이를 근거로 데이터를 제공하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
예를 들어 전자칠판서비스장치(120)는 전자칠판(210)이 설치되어 사용되는 공간, 가령 어린이집이나 회사, 교회, 병원 등과 그 공간에 소속되는 구성원들과 관련한 빅데이터를 수집하여 도 1의 DB(120a)에 체계적으로 분류하여 저장시킨 후 해당 빅데이터를 분석 및 분석 결과를 학습함으로써 전자칠판(210)이 설치되는 공간에 특화되는 서비스를 제공하는 것도 얼마든지 가능할 수 있다. 예를 들어 어린이집의 경우 아이들의 발음은 성인 대비 인식이 어려울 수 있다. 따라서 이를 고려한 자연어 기반의 음성 인식 및 처리가 가능한 초거대 언어모델(예: LLM)을 실행시킬 수 있으며, 또한 특정 어린이집에 특화되는 가령 교사들이 자주 사용하는 다양한 콘텐츠를 구비하는 것도 얼마든지 가능할 수 있다. 전자칠판서비스장치(120)는 전자칠판(210)이 설치되는 공간과 관련되는 특화된 학습 데이터를 생성한 후 전자칠판(210)에 제공함으로써 전자칠판(210)은 탑재되는 인공지능 모듈이 해당 학습 데이터를 지속적으로 학습함으로써 본 발명의 실시예에 따른 사물인터넷 기능이나 인공지능 기능의 품질을 지속적으로 개선할 수 있다.
서드파티장치(130)는 전자칠판서비스장치(120)의 서비스를 관리하는 관리자의 관리자장치를 포함하며, 관리자장치는 컴퓨터나 스마트폰 등 다양한 장치를 포함할 수 있다. 예를 들어 전자칠판서비스장치(120)가 도 2 및 도 3의 전자칠판(210)과 관련한 다양한 서비스를 제공하는 경우, 서드파티장치(130)는 해당 서비스를 관리하기 위한 동작을 수행할 수 있다. 물론 서드파티장치(130)는 전자칠판서비스장치(120)에서 전자칠판(210)에 펌웨어(firmware) 형태로 프로그램을 업데이트할 때 해당 프로그램을 제공하는 등의 동작을 수행할 수도 있다.
상기한 내용 이외에도 도 1의 전자칠판장치(100), 통신망(110), 전자칠판서비스장치(120) 및 서드파티장치(130)는 다양한 동작을 수행할 수 있으며, 관련 내용은 이후에도 계속해서 다루어질 수 있으므로 자세한 내용은 그 내용들로 대신하고자 한다.
도 4는 도 3의 전자칠판의 세부구조를 예시한 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 도 2의 전자칠판(210)은 도 4에서와 같은 전자칠판(210')의 구동 메커니즘을 가질 수 있으며, 인터페이스부(400), 제어부(410), AI 및 IoT 융합처리부(420), 그리고 저장부(430)의 일부 또는 전부를 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(430)와 같은 일부 구성요소가 생략되어 전자칠판(210)이 구성되거나, AI 및 IoT 융합처리부(420)와 같은 일부 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
인터페이스부(400)는 통신 인터페이스부 및 사용자 인터페이스부를 포함한다. 통신 인터페이스부는 제어부(410)의 제어하에 동일 공간에 위치하는 사물인터넷장치(220)와 다이렉트 통신을 수행하여 사물인터넷장치(220)의 동작을 제어할 수 있다. 예를 들어, 음성인식 모듈과 같은 사용자 인터페이스부를 통해 사용자 명령이 있는 경우 그에 따라 통신 인터페이스부의 통신모듈이 가동하여 사물인터넷장치(220)의 동작을 제어할 수 있다.
통신 인터페이스부는 통신을 수행하는 과정에서 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도를 변환하는 스케일링 등의 동작을 수행할 수도 있다. 예를 들어, 전자칠판(210)의 경우 다양한 제품 모델이 생산되며, 화면의 크기에 따라 데이터 변환 동작이 이루어질 수 있다. 예를 들어, 32비트 데이터가 제공되는 경우 이를 전자칠판(210)의 사양에 따라 16비트 데이터로 변환한 후 화면에 영상을 구현하는 등의 동작이 이루어지도록 할 수 있다.
또한 사용자 인터페이부는 화면상에서 사용자 터치가 가능한 디스플레이부 및 음성으로 사용자 명령을 수신하기 위한 음성 인식부를 포함할 수 있다. 물론 인터페이스부(400)는 이외에도 카메라모듈 등을 포함할 수 있다. 음성 인식부를 통해 전자칠판(210)의 동작을 제어하는 발화 명령이 있는 경우 해당 발화 명령을 인식하여 인식 결과에 따른 동작을 수행할 수 있다. 전자칠판(210)은 마이크로폰과 같은 음성 수신부를 통해 수신된 음성 신호를 텍스트 형태(예: STT 등)로 변환할 수 있으며 그 변환된 텍스트 정보를 인식하여 사용자의 발화 명령을 인식할 수 있다.
본 발명의 실시예에 따른 음성 인식부는 제1 및 제2 마이크로폰을 포함하여 구성될 수 있으며, 해당 마이크로폰은 디스플레이부의 가장자리의 프레임 중에서 상부측 테두리의 양측에 각각 구비될 수 있다. 물론 본 발명의 실시예에서는 수신 감도 등을 고려하여 대략 70mm 정도의 간격을 갖도록 배치하는 것이 바람직하지만, 이는 마이크로폰의 성능이나 또 전자칠판(210)을 구성하는 디스플레이부의 화면 크기 등에 따라 변경될 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 음성 인식부는 노이즈를 제거하기 위한 노이즈 제거부 등을 포함할 수 있으며, 또 제어부(410)의 제어에 의해 수신 감도가 좋은 마이크가 선택되어 음식 명령어를 수신할 수도 있다. 다시 말해 전자칠판(210)을 사용하는 교사나 발표자는 앞서 도 3을 통해 살펴본 바와 같이 위치가 변경될 수 있다. 따라서 제어부(410)는 그 위치를 고려하여 수신 감도가 좋은 마이크를 작동시키는 등의 동작이 이루어질 수 있다.
또한 카메라 등의 인터페이스부(400)를 통해서는 전자칠판(210)이 설치되는 공간을 촬영할 수 있으며, 또 전자칠판(210)을 사용하는 주체, 가령 교사나 프로젝트 발표자를 촬영할 수 있다. 이러한 촬영영상은 영상 분석을 위해 제어부(410)로 제공될 수 있다. 물론 인터페이스부(400)는 공간 내 사용자의 움직임을 감지하기 위한 움직임 센서 등을 더 포함할 수 있다. 예를 들어, 공간 내 사용자의 움직임을 감지하여 조명을 자동으로 턴온 시킨 후 촬영 동작이 이루어지도록 할 수 있다.
제어부(410)는 가령 CPU, MPU, GPU 등의 프로세서를 포함할 수 있으며, 도 4의 인터페이스부(400), AI 및 IoT 융합처리부(420) 및 저장부(430)의 전반적인 제어 동작을 담당할 수 있다. 제어부(410)는 예를 들어, 인터페이스부(400)를 구성하는 움직임 센서 등을 통해 전자칠판(210)이 설치된 공간 내 사람 등의 움직임이 감지되는 경우 사물인터넷장치(220)를 구성하는 조명장치의 동작을 제어하여 조명을 턴온시킬 수 있다. 그리고 인터페이스부(400)를 구성하는 카메라 등을 동작시켜 촬영이 이루어지도록 제어할 수 있으며, 촬영영상을 저장부(430)에 임시 저장한 후 불러내어 영상분석을 위해 AI 및 IoT 융합처리부(420)에 제공할 수 있다.
또한 제어부(410)는 전자칠판(210)이 설치되는 공간 내의 환경과 관련한 데이터를 수집하여 AI 및 IoT 융합처리부(420)에 데이터 분석을 요청할 수도 있다. 제어부(410)는 가령 촬영영상의 분석을 통해 임의 공간에 착석한 인원수를 판단할 수 있다. 또한 인원수의 착석 상태를 판단할 수도 있다. 인원수의 판단 결과 및 환경 데이터의 분석 결과를 근거로 온도나 습도 등을 조절하기 위한 동작을 수행할 수 있다. 또한 인원수의 착석 상태에 대한 판단 결과를 통해서는 전자칠판(210)의 자세를 제어하는 것도 얼마든지 가능할 수 있다. 제어부(410)는 AI 및 IoT 융합처리부(420)의 요청에 따라 전자의 동작을 수행하기 위하여 주변에 위치하는 사물인터넷장치(220)와 사물인터넷 통신을 수행할 수 있다.
제어부(410)는 전자칠판(210)이 설치되는 공간 내 환경이나 전자칠판(210)의 자세 등을 제어하기 위하여 AI 및 IoT 융합처리부(420)와 연계하여 다양한 동작을 수행할 수 있다. 대표적으로 AI 및 IoT 융합처리부(420)에 탑재되는 인공지능 프로그램을 학습하기 위한 동작을 수행할 수 있다. 계속해서 자세한 내용은 AI 및 IoT 융합처리부(420)를 통해 설명하기로 한다.
AI 및 IoT 융합처리부(420)는 사물인터넷 동작과 인공지능 동작이 융합된 형태의 동작을 처리할 수 있다. 다시 말해, AI 및 IoT 융합처리부(420)는 전자칠판(210)이 임의 공간에 설치될 때 스캔 동작을 통해 주변에 어떠한 장치들이 존재하는지를 판단할 수 있다. 또한, 해당 장치들의 성능과 관련한 데이터도 제공받아 처리할 수 있다. 예를 들어, 에어컨의 경우에는 온도센서를 탑재할 수 있으며, 또 커튼장치의 경우에는 일조량 측정을 위한 센서를 탑재할 수 있다. 따라서 이러한 장치들의 사양을 근거로 어떠한 장치에서 어떠한 데이터를 수집하여 활용할 수 있는지를 판단할 수 있다. 물론, 전자칠판(210)이 설치되는 공간은 모두 다양하며, 간단하게는 면적에서부터 복잡하게는 공간 내 설치되는 사물인터넷장치(220)의 유형을 포함할 수 있다. 따라서, 본 발명의 실시예에 따른 AI 및 IoT 융합처리부(420)는 공간의 특성을 고려한 최적의 환경을 조성하기 위한 동작을 수행할 수 있다.
AI 및 IoT 융합처리부(420)는 전자칠판(210)이 설치되는 공간의 최적 환경을 조성하기 위한 학습 데이터를 학습한 상태에서 전자칠판(210)이 사용될 때 수집되는 촬영영상이나 센싱데이터의 분석 결과 및 학습 결과를 근거로 공간의 최적 환경을 예측하고 그 예측에 따라 주변에 위치하는 사물인터넷장치(220)들의 동작을 제어하여 최적 환경을 조성할 수 있다. 예를 들어, 임의 공간의 면적 대비 조절 온도는 상이할 수 있으며, 또 해당 공간에 착석하는 인원수에 따라 조절 온도는 상이할 수 있다. AI 및 IoT 융합처리부(420)는 이와 관련되는 학습 데이터를 학습한 상태이므로, 촬영영상이나 센싱데이터의 분석 결과를 근거로 공간 내 최적 환경을 조성할 수 있다. 물론, AI 및 IoT 융합처리부(420)의 동작 초기에 학습되는 데이터는 적을 수 있으므로, 지속적으로 데이터를 수집하고 수집한 데이터를 분석하여 분석 결과를 근거로 전자칠판(210)의 상태를 제어하거나 공간 내 환경을 최적화할 수 있다.
또한 AI 및 IoT 융합처리부(420)는 음성인식이나 촬영영상의 분석 결과를 통해 어떠한 사용자가 전자칠판(210)을 사용하는지를 인식할 수 있다. 따라서 터치패널의 화면상에 판서 등이 이루어지는 경우, 또는 화면상에 발표자료를 표시한 경우 해당 사용자와 관련한 판서 내용이나 발표자료와 관련한 데이터를 사용자별로 구분하여 저장 및 관리할 수 있다. 관련 데이터는 저장부(430)에 저장되어 관리되거나 도 1의 DB(120a)로 제공되어 체계적으로 분류 및 저장되어 관리될 수 있다. 예를 들어, 발표가 이루어지는 과정에서 발표자가 특정 그래프나 페이지 등을 보여달라고 요청한 경우 촬영영상에서 발표자의 얼굴 인식이나 음성 인식을 통해 특정 발표자를 인지하여 그 인식 결과를 근거로 발표자를 식별하여 해당 그래프나 페이지를 화면에 보여주기 위한 동작을 수행할 수 있다. AI 및 IoT 융합처리부(420)는 이러한 동작에도 관여할 수 있다.
도 4의 AI 및 IoT 융합처리부(420)는 도 5에서와 같이 음성인식 보드부(500), 융합 서비스부(510) 및 전자칠판 보드부(520), 전자칠판 기능실행부 및 브라우저 실행부 등을 포함하여 구성될 수 있다. 여기서, 보드(board)는 회로가 구성된 PCB 기판을 의미하거나 모듈을 의미할 수 있다. 음성인식 보드부(500)는 마이크를 통해 수신된 사용자의 음성 신호를 텍스트로 변환하는 STT(Speech to Text) 동작을 수행할 수 있다. 그리고 그 변환된 텍스트를 인식할 수 있다. 이의 과정에서 명령어를 인식하기 위한 음성 명령어 DB가 사용될 수 있다. 다시 말해 융합 서비스부(510)의 AI SW부에서 입력된 STT 문자열 중 음성 명령어를 추출한다. 그리고 음성 명령어 DB에서 제어 명령어를 찾는다. 그리고 전자칠판(210) 및 외부기기 가령 사물인터넷장치(220)의 제어 명령어일 경우 전자칠판 보드부(520)로 전달된다. 또한 인터넷 검색 명령어일 경우 브라우저에 검색 단어를 전달 및 실행시킬 수 있다. 전자칠판 보드부(520)는 마이크로 입력된 음성 명령어의 인식 결과를 제공받아 전자칠판 기능실행부를 제어하거나 브라우저 실행부를 제어할 수 있다. 이의 과정에서 브라우저의 실행을 통해 날씨 정보 등을 디스플레이부에 표시해 줄 수 있다. 명령어는 IoT 실행(예: 램프 점등 등), 전자칠판 기능 실행(예: 소리높임 등), 브라우저 실행(예: 날씨 검색) 등의 명령어로 구분될 수 있다.
무엇보다 본 발명의 실시예에 따른 AI 및 IoT 융합처리부(420)는 사용자의 명령어에 기반하여 전자칠판(210)의 동작을 제어하기보다는 전자칠판(210)이 임의 공간 내에서 사용되는 상태 등을 근거로 주변의 사물인터넷장치(220)의 동작을 자동 제어하거나 또 전자칠판(210)의 동작 상태를 자동으로 제어하는 것이 바람직하다. 다만, 사용자 명령이 있는 경우에는 해당 명령어를 반영하여 사물인터넷장치(220)나 전자칠판(210)을 동작시키는 것이 바람직할 수 있다. 예를 들어, 자동 조절이 있은 후에 별도의 사용자 명령이 입력되는 경우에는 해당 명령어에 우선권을 주어 동작이 제어될 수 있다. 대표적으로 전자칠판(210)의 각도는 시야각을 위한 틸팅이 포함될 수 있으며, 또 온도 조절이나 조명 등이 이에 포함될 수 있다.
한편 본 발명의 실시예에 따른 AI 및 IoT 융합처리부(420)는 터치 패널 등에서 이루어지는 멀티 터치 기능을 탑재할 수 있다. 멀티 터치는 전자칠판(210)의 성능 판단을 위해 이루어질 수도 있다. 성능 판단 기준으로 멀티터치의 개수로 두 사람의 손가락으로 선을 그어 몇 개의 선이 동시 판서되는지 측정하여 그 측정 결과에 근거하여 전자칠판(210)의 성능을 판단할 수도 있다. 예를 들어 터치 패널은 데이터를 화면상에 표시하기 위한 표시 동작과 손가락이나 스타일러스 펜 등을 통해 쓰기 동작이 이루어질 수 있다. 따라서 터치 인터페이스 기술은 인식되는 개수에 따라 싱글터치, 듀얼터치, 멀티터치 포인트의 세가지로 구분될 수 있다. 여기서 멀티 터치와 관련해 보면 사용자의 두 손에는 10개의 모든 손가락을 이용하여 터치 제스처를 표현할 수 있다. 따라서 다중의 터치점을 이용하여 제스처를 표현하고 인식하기 동작을 수행할 수 있다. 멀티터치를 이용하여 페이지의 확대, 축소 및 스크롤바의 이동 등의 손가락의 터치 제스처가 수행될 수 있다.
이러한 멀티 제스처의 인식을 위하여 본 발명의 실시예에 따른 AI 및 IoT 융합처리부(420)는 가령 멀티터치의 처리를 위한 별도의 SW 모듈을 포함할 수 있지만, 도 6a에서와 같은 절차로 동작이 이루어질 수 있다. AI 및 IoT 융합처리부(420)는 인터페이스에서 터치점을 추출하고, 단일 프레임 데이터 분석, 연속 프레임 데이터 분석을 통해 터치 제스처를 인식할 수 있다. 데이터 분석은 터치점 데이터를 추출하고 추출한 터치점 데이터를 이용하여 단일 프레임에서 터치점들의 무게 중심, 각 터치점들의 거리 정보 및 회전정보 등의 데이터를 분석할 수 있다. 무게 중심이나 거리 정보 등은 화소의 좌표값 등을 이용해 얼마든지 측정이 가능할 수 있다. 가령 하나의 화소 크기를 0.1mm, 화소당 실제 거리는 10㎝ 등으로 가정하여 거리 등을 계산할 수 있으며, 또 3개의 좌표값을 알 때 그 좌표값 정보를 이용해 무게 중심을 구하는 연산 알고리즘 등을 실행해 계산할 수 있다. 물론 계산 방법은 다양할 수 있다. 도 6b는 터치점 데이터 분석 관계도를 보여주고 있다.
예를 들어, 영상처리 후 영상의 영상 데이터를 이용하여 각 터치점 면적, 터치 개수, 각 터치점 좌표, 각 터치점 모양 등의 레이블링 가령 인공지능 프로그램에 의한 학습이 이루어진 경우 터치 영상이 제공될 때 그 학습 결과를 근거로 평균 거리, 무게중심 및 각 터치점 각도를 산출하는 것이 얼마든지 가능할 수 있다. 터치점 데이터 추출 단계와 추출된 데이터를 이용한 데이터 분석 단계를 분류하고, 터치점 데이터 추출 단계는 터치점 개수, 각 터치점 좌표, 각 터치점 면적을 추출할 수 있으며 각 터치점 모양의 4가지 추출 방법으로 분류할 수 있다. 데이터 분석 단계는 데이터 추출단계에서 추출한 터치 개수 및 각 터치점 좌표를 이용한 무게 중심, 모든 터치점의 평균 거리 및 각 터치점의 각도 등 3가지의 데이터 분석이 가능할 수 있다.
도 6c는 단일 프레임 정보와 연속 프레임 정보와의 관계도를 나타내며, 도 6d는 단일 프레임의 각 터치점 데이터가 연속 프레임에서의 분석 순서를 나타낸다. AI 및 IoT 융합처리부(420)는 연속 프레임에서의 데이터 분석을 위해 데이터들이 연속 프레임에서의 변화를 분석하고 터치 변화를 분석하는 과정을 수행할 수 있다.
연속 프레임에서의 변화 분석과 관련해 보면, 연속 프레임에서는 단일 프레임에서 제공된 정보를 이용하여 터치 제스처 인식에 필요한 정보 및 터치점들 간의 거리 변화값, 터치점들의 각도(혹은 회전) 변화값, 터치점들의 이동경로, 터치점 모양의 변화값, 터치점 면적의 변화값 등의 데이터를 분석할 수 있다.
터치 변화의 분석과 관련해 보면, 터치개수(n) 데이터는 관측 프레임 동안의 최대 터치점 개수 및 개수의 변화된 프레임 수에 따른 패턴을 분석할 수 있다. 분석된 패턴은 추후 터치 제스처인식 단계에서 Click/Double-Click 등의 터치 제스처인식에 사용될 수 있다. 인식된 모든 터치점들의 대표 좌표값인 무게중심(C)은 연속 프레임에서 무게중심 이동거리(Cd) 및 이동방향(Cθ)으로 분석될 수 있다. 무게 중심은 현재 터치점들의 대표 좌표이기 때문에 무게중심의 이동 및 방향은 Move 터치 제스처인식에 사용될 수 있다. 무게 중심의 이동거리(Cd)는 현재 프레임(t)의 무게 중심에서 지속프레임의 시작 프레임(t-Nt)의 무게 중심까지의 직선거리 터치점들의 데이터 변화 분석 단계에서와 같이 단일 프레임에서의 각 터치점 데이터가 연속 프레임에서의 변화값을 분석할 수 있다. 각 터치점들이 변화값을 터치점 개수에 맞게 평균값을 계산하는 단계로 나뉠 수 있다. 단일 프레임에서의 각 터치점의 개별 데이터는 하나의 터치점에 각각 하나씩 존재하는 데이터 값으로 각 터치점들의 터치 좌표()값, 터치면적값(), 터치모양값(), 무게중심과의 각도값()들이 존재한다. 각 터치점의 개별 데이터 값은 연속프레임에서 지속프레임의 시작프레임에서 현재 프레임까지의 변화값이 계산되고, 각 터치점에 존재하는 이 변화값은 터치개수로 현재 프레임에서 유일하게 존재하게 되는 평균 변화값으로 계산된다. 이 데이터 분석값들은 터치 제스처인식에 사용될 수 있다.
저장부(430)는 제어부(410)의 제어하에 처리되는 다양한 유형의 데이터나 정보를 임시 저장할 수 있다. 정보나 데이터는 업계에서 혼용되는 용어이므로 그 용어의 개념에 특별히 한정하지는 않을 것이다. 저장부(430)는 촬영영상이 제공되는 경우 해당 영상의 적(R), 녹(G), 청(B)의 화소 데이터나 인코딩이나 암호화 등의 부가정보를 임시 저장할 수 있으며, 해당 데이터와 정보를 데이터 분석을 위해 AI 및 IoT 융합처리부(420)로 제공할 수 있다.
상기한 내용 이외에도 도 4의 인터페이스부(400), 제어부(410), AI 및 IoT 융합처리부(420) 및 저장부(430)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예에 따른 도 4의 인터페이스부(400), 제어부(410), AI 및 IoT 융합처리부(420) 및 저장부(430)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(430)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(410)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산 동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 2의 전자칠판(210)의 동작 초기에 AI 및 IoT 융합처리부(420)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.
도 7은 도 3의 전자칠판의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 3과 함께 참조하면, 본 발명의 실시예에 따른 전자칠판(210)은 디스플레이 화면상에 판서가 가능한 터치 패널 및 음성 인식이 가능한 음성 인식부를 포함하는 인터페이스부가 사용자 명령을 수신할 수 있다(S700). 여기서 사용자 명령은 예를 들어 전자칠판(210)이 음성 인식의 예비 동작을 수행할 수 있도록 "하이 에듀펜(Hi Edupen)"과 같은 발화 명령어를 포함할 수 있다.
또한 전자칠판(210)은 인공지능 프로그램을 적용해 터치 패널 및 음성 인식부의 사용과 관련한 학습 데이터를 학습하여 학습 결과를 근거로 인터페이스부가 사용되는 임의 공간 내에 구비되는 사물인터넷장치(220)의 동작을 제어하여 임의 공간 내 환경을 변경할 수 있다(S710). 물론 이러한 임의 공간 내 환경 가령 온도나 습도, 또 일조량, 조명 등의 제어는 인공지능 프로그램을 적용한 학습 결과에 근거한다고 볼 수 있으며, 이의 경우 공간의 면적, 공간에 존재하는 인원수, 또 각 인원의 위치, 또 공간에 구비되는 집기 등의 위치나 배치 등 다양한 요소들을 반영하여 환경 변화가 이루어질 수 있다.
나아가 본 발명의 실시예에 따른 전자칠판(210)은 인공지능을 이용한 학습 결과에 근거하여 전자칠판(210)의 상태를 제어하고 또 주변의 사물인터넷장치(220)의 동작을 제어하지만, 특정 동작 가령 공간 내 온도를 자동 조절한 상태에서 공간 내 특정 사용자(예: 교사나 발표자)의 사용자 명령에 따라 온도를 조절하는 것도 얼마든지 가능할 수 있으며, 이의 경우에는 해당 사용자로부터 온도와 관련한 별도의 종료 명령이 있지 않은 이상 인공지능의 학습 결과를 이용한 자동 제어를 제한하거나 중단할 수 있다. 또한 음성 명령어의 인식 결과를 통해 공간 내 어느 사용자의 음성인지 판단하는 것이 얼마든지 가능하므로, 특정 사용자에게만 권한을 부여하여 공간 내 환경 제어가 이루어지도록 하는 것도 얼마든지 가능할 수 있다. 물론 이러한 권한 부여 동작의 경우에도 음성 인식을 통해 이루어질 수 있다. 예를 들어, 미팅룸에서 회의가 진행될 때 부장 등 팀의 책임자의 음성을 인식시킨 후 대표자나 관리자로 지정해 달라고 요청함으로써 이를 통해 주변장치들의 제어권한이 부여될 수 있다.
또한 전자칠판(210)을 사용하여 수업을 진행하거나 프로젝트 등의 발표를 진행하는 경우에는 카메라 영상 등을 통해 수업이나 발표를 진행하는 진행자를 알 수 있으므로, 해당 진행자의 명령어를 기반으로 전자칠판(210)의 동작을 자동 제어할 수 있으며, 물론 이의 경우에도 인공지능 프로그램을 적용함으로써 수업이나 발표의 진행이 빠르게 이루어질 수 있다. 예를 들어, 진행자가 과거의 특정 그래프나 자료를 요청하는 경우 음성 인식을 통해 해당 진행자의 식별정보를 DB(120a)에서 검색하여 요청한 자료를 제공해 줄 수 있다.
상기한 내용 이외에도 도 3의 전자칠판(210)은 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자칠판장치 110: 통신망
120: 전자칠판서비스장치 200: 컴퓨터
210: 전자칠판 220: 사물인터넷장치
300: 디스플레이부 310: 스탠드
320: 의자 400: 인터페이스부
410: 제어부 420: AI 및 IoT 융합처리부
430: 저장부

Claims (5)

  1. 상부커버의 테두리부 양측, 하단부 양측 및 상단부 양측에 제1 마이크 내지 제6 마이크가 각각 설치된 디스플레이부;
    상기 디스플레이부의 화면상에 판서가 가능한 터치 패널 및 음성인식이 가능한 음성 인식부를 포함하는 인터페이스부; 및
    인공지능(AI) 프로그램을 적용해 상기 터치 패널 및 상기 음성 인식부의 사용과 관련한 학습 데이터를 학습하여 학습 결과를 근거로 상기 인터페이스부가 사용되는 임의 공간 내에 구비되는 사물인터넷장치의 동작을 제어하여 상기 임의 공간 내 환경을 변경하는 제어부;를
    포함하고,
    상기 제어부는,
    발표자의 위치를 기초로 상기 제1 마이크 내지 제6 마이크 중 적어도 하나를 가동하고,
    상기 발표자의 발음을 인식할 때, 상기 발표자의 발음이 불분명한 정도와 비례하게 상기 제1 마이크 내지 제6 마이크 중 가동 시키는 마이크의 개수를 조정하며,
    상기 임의 공간 내 면적, 인원수, 일조량, 온도, 습도, 조명 중 적어도 하나와 관련한 학습 데이터의 학습 결과를 근거로 상기 사물인터넷장치의 동작을 제어하고,
    상기 터치 패널의 화면상에서 이루어지는 멀티 터치와 관련한 학습 데이터의 학습 결과를 근거로 상기 화면상에서 손가락의 터치 제스처가 있을 때 멀티 터치를 판단해 판단 결과를 근거로 페이지의 확대나 축소 및 스크롤바의 이동 동작을 제어하도록 구성되는,
    인공지능 및 사물인터넷 기능이 융합된 전자칠판.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020230137933A 2023-10-16 2023-10-16 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법 KR102650531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230137933A KR102650531B1 (ko) 2023-10-16 2023-10-16 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230137933A KR102650531B1 (ko) 2023-10-16 2023-10-16 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법

Publications (1)

Publication Number Publication Date
KR102650531B1 true KR102650531B1 (ko) 2024-03-22

Family

ID=90480922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230137933A KR102650531B1 (ko) 2023-10-16 2023-10-16 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법

Country Status (1)

Country Link
KR (1) KR102650531B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014157624A (ja) * 2014-04-25 2014-08-28 Sharp Corp タッチ入力可能な画像表示装置、表示装置の制御装置、及びコンピュータプログラム
KR20170133989A (ko) 2016-05-27 2017-12-06 (주) 엔피홀딩스 음성 인식 기능을 구비한 전자칠판 및 전자칠판시스템, 이를 이용한 전자칠판의 모드 변환 방법
KR20180112607A (ko) * 2017-04-04 2018-10-12 박율리아 확성장치를 구비한 칠판
KR102321855B1 (ko) 2019-04-17 2021-11-05 엘지전자 주식회사 음성으로 상호작용하는 인공 지능 장치 및 그 방법
KR102443852B1 (ko) * 2022-04-25 2022-09-16 (주) 아하 인공지능(ai)을 기반으로하는 유니버설 디자인을 적용한 전자 칠판

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014157624A (ja) * 2014-04-25 2014-08-28 Sharp Corp タッチ入力可能な画像表示装置、表示装置の制御装置、及びコンピュータプログラム
KR20170133989A (ko) 2016-05-27 2017-12-06 (주) 엔피홀딩스 음성 인식 기능을 구비한 전자칠판 및 전자칠판시스템, 이를 이용한 전자칠판의 모드 변환 방법
KR20180112607A (ko) * 2017-04-04 2018-10-12 박율리아 확성장치를 구비한 칠판
KR102321855B1 (ko) 2019-04-17 2021-11-05 엘지전자 주식회사 음성으로 상호작용하는 인공 지능 장치 및 그 방법
KR102443852B1 (ko) * 2022-04-25 2022-09-16 (주) 아하 인공지능(ai)을 기반으로하는 유니버설 디자인을 적용한 전자 칠판

Similar Documents

Publication Publication Date Title
US9239627B2 (en) SmartLight interaction system
US11789697B2 (en) Methods and systems for attending to a presenting user
US10620898B2 (en) Method to exchange visual elements and populate individual associated displays with interactive content
WO2018036149A1 (zh) 一种多媒体交互教学系统及方法
CN105765964A (zh) 基于发言人位置移动摄像机聚焦
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
US10990226B2 (en) Inputting information using a virtual canvas
US20030004678A1 (en) System and method for providing a mobile input device
JP2018516422A (ja) スマートホームのためのジェスチャ制御システム及び方法
WO2019153999A1 (zh) 一种基于语音控制的动向投影方法、装置及动向投影系统
US11528535B2 (en) Video file playing method and apparatus, and storage medium
US11638060B2 (en) Electronic apparatus and control method thereof
US10067731B2 (en) Method and system for representing a shared digital virtual “absolute” canvas
US20180107441A1 (en) Controlling Multiple Shared Displays in an Electronic Collaboration Setting
CN111758122A (zh) 用于混合现实系统的浏览器
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
CN114237419B (zh) 显示设备、触控事件的识别方法
WO2020151430A1 (zh) 一种空气成像系统及其实现方法
Yusupov et al. From smart devices to smart space
KR102650531B1 (ko) 사물인터넷 기능을 통해 주변 기기를 제어하는 전자칠판 및 그 전자칠판의 구동방법
KR20210047112A (ko) 전자장치 및 그 제어방법
KR102679160B1 (ko) 인공지능 및 사물인터넷 기능을 융합한 전자칠판 및 그 전자칠판의 동작방법
KR20230085333A (ko) 인공지능 어린이 교육 솔루션 장치
KR102442084B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
KR20170101389A (ko) 적외선 신호 처리를 위한 필터링 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant