KR102192558B1 - 필기 내용을 공유하는 강의 관리 시스템 및 방법 - Google Patents

필기 내용을 공유하는 강의 관리 시스템 및 방법 Download PDF

Info

Publication number
KR102192558B1
KR102192558B1 KR1020190000330A KR20190000330A KR102192558B1 KR 102192558 B1 KR102192558 B1 KR 102192558B1 KR 1020190000330 A KR1020190000330 A KR 1020190000330A KR 20190000330 A KR20190000330 A KR 20190000330A KR 102192558 B1 KR102192558 B1 KR 102192558B1
Authority
KR
South Korea
Prior art keywords
image
board
rectangle
camera
image processing
Prior art date
Application number
KR1020190000330A
Other languages
English (en)
Other versions
KR20200084204A (ko
Inventor
권오욱
김진욱
곽용원
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020190000330A priority Critical patent/KR102192558B1/ko
Publication of KR20200084204A publication Critical patent/KR20200084204A/ko
Application granted granted Critical
Publication of KR102192558B1 publication Critical patent/KR102192558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 강의 관리 시스템은 강의실 내에 설치되어 강의자가 필기하도록 마련된 보드를 촬영하기 위한 카메라, 상기 카메라에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장하고, 처리된 이미지를 웹 서버에 업로드(upload)하는 영상처리장치, 상기 영상처리장치로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공하는 웹 서버 및 상기 웹 서버에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이하는 사용자 단말을 포함한다.
본 발명에 의하면, 강의실에서 강의자가 보드에 필기한 내용을 촬영하여 저장하고 공유함으로써, 수업 이후에도 강의 내용을 복습할 수 있고, 수업 시간에 앞자리 선점을 위한 불필요한 다툼을 방지할 수 있는 효과가 있다.

Description

필기 내용을 공유하는 강의 관리 시스템 및 방법 {System and method for managing lecture for sharing taking notes}
본 발명은 강의 관리 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 강의 시간에 강의자가 보드에 필기한 내용을 촬영하여, 저장하고, 공유하는 강의 관리 시스템 및 방법에 관한 것이다.
필기 위주로 진행되는 수업의 경우, 학생들이 감당해야하는 필기의 양이 많다. 따라서, 많은 양을 필기하는 동시에 수업의 내용을 이해하는 것은 강의를 수강하는 학생으로서 어려움을 느끼게 된다. 또한 일부 학생의 경우 필기 속도가 현저히 늦은데 이러한 경우, 수업을 열심히 들었음에도 수업 중에 진행되는 모든 필기를 다 하지 못하는 동시에 이해도 또한 떨어질 수밖에 없다.
또한, 보통 높낮이 없이 평평한 강의실에서 강의가 진행되는 경우가 많다. 이때 앞자리에 신장이 큰 학생이 앉게 된다면 뒷자리 학생이 시야 확보하기가 굉장히 어렵다. 따라서, 강의시간에 강의실의 앞자리를 선점하려고 하지만 앞자리는 한정되어있기 때문에 앞자리 다툼이 발생할 우려가 있다.
특히, 전공 강의의 경우, 단 한 번의 강의에도 방대한 양의 수업 내용이 포함되어 있는 경우가 있는데, 이러한 경우 개인 사정이나 불가피한 사정으로 인해 수업에 출석하지 못하게 된다면 단 하루임에도 다음 강의부터 진도를 따라가지 못하는 문제가 발생할 수 있다.
또한, 수업 내용 중 이해가 되지 않는 부분에 대한 질의응답이 필요한 경우가 종종 발생하는데, 이러한 질의응답은 대부분 짧은 쉬는 시간이나 강의 내용이 끝난 직후에 진행되며, 따라서 강의자가 쉬는 시간에 자리를 비우거나 강의가 늦게 끝난다면 질의응답이 이루어지지 못하는 문제가 발생한다.
대한민국 공개특허 10-2018-0131817
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 수업 이후에도 강의 내용을 복습할 수 있고, 수업 시간에 앞자리 선점을 위한 불필요한 다툼을 방지할 수 있도록, 보드에 필기한 내용을 촬영하여 저장하고 공유하는 강의 관리 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 웹 사이트를 통해 필기 내용을 공유함으로써, 강의자와 학생 간의 질의 응답 등의 커뮤니티 활동을 통해 과목 이해도를 증진시키고, 친밀도를 향상시킬 수 있도록 하는데 그 다른 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 강의 관리 시스템은 강의실 내에 설치되어 강의자가 필기하도록 마련된 보드를 촬영하기 위한 카메라, 상기 카메라에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장하고, 처리된 이미지를 웹 서버에 업로드(upload)하는 영상처리장치, 상기 영상처리장치로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공하는 웹 서버 및 상기 웹 서버에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이하는 사용자 단말을 포함한다.
상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 보드의 외곽선을 나타내는 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출하고, 추출된 꼭지점에 대해 원근법에 의한 사다리꼴 모양을 직사각형 모양으로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장할 수 있다.
상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 사람을 검출하면, 검출된 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하고, 사람이 이동하면, 이동한 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하고, 부분 이미지들을 연결하여 원근법에 의한 하나의 사다리꼴 모양의 이미지를 생성하고, 생성된 사다리꼴 모양의 이미지를 직사각형 모양의 이미지로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장할 수 있다.
본 발명의 강의실 내에 설치되어 강의자가 필기하도록 마련된 보드를 촬영하기 위한 카메라, 영상처리장치, 웹 서버 및 사용자 단말을 포함하는 강의 관리 시스템에서의 강의 관리 방법에서, 상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장하는 단계, 상기 영상처리장치는 처리된 이미지를 웹 서버에 업로드(upload)하는 단계, 상기 웹 서버는 상기 영상처리장치로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공하는 단계 및 상기 사용자 단말은 상기 웹 서버에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이하는 단계를 포함할 수 있다.
본 발명의 상기 이미지 처리하여 저장하는 단계에서, 상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 보드의 외곽선을 나타내는 사각형을 검출하는 단계, 검출된 사각형에서 꼭지점을 추출하는 단계, 추출된 꼭지점에 대해 원근법에 의한 사다리꼴 모양을 직사각형 모양으로 변환하는 단계 및 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장하는 단계를 포함할 수 있다.
상기 이미지 처리하여 저장하는 단계에서, 상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 사람을 검출하면, 검출된 사람 영역을 제외한 나머지 영역의 사각형을 검출하는 단계, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하는 단계, 사람이 이동하면, 이동한 사람 영역을 제외한 나머지 영역의 사각형을 검출하는 단계, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하는 단계, 부분 이미지들을 연결하여 원근법에 의한 하나의 사다리꼴 모양의 이미지를 생성하는 단계, 생성된 사다리꼴 모양의 이미지를 직사각형 모양의 이미지로 변환하는 단계 및 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 강의실에서 강의자가 보드에 필기한 내용을 촬영하여 저장하고 공유함으로써, 수업 이후에도 강의 내용을 복습할 수 있고, 수업 시간에 앞자리 선점을 위한 불필요한 다툼을 방지할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 웹 사이트를 통해 필기 내용을 공유함으로써, 강의자와 학생 간의 질의 응답 등의 커뮤니티 활동을 통해 과목 이해도를 증진시키고, 친밀도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 강의 관리 시스템의 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 강의 관리 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 처리 중에서 사각형 추출 과정을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 디지털 영상 처리 중에서 꼭짓점 추출 과정을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 원근법 변환 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사람 검출 기능을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 카메라의 외관을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 웹 사이트에서 제공하는 필기 내용의 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 강의 관리 시스템의 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 강의 관리 시스템은 카메라(100), 영상처리장치(200), 웹 서버(300), 사용자 단말(410, 420)을 포함한다.
카메라(100)는 강의실 내에 설치되어 강의자가 필기하도록 마련된 보드를 촬영한다. 도 7은 본 발명의 일 실시예에 따른 카메라의 외관을 도시한 것이다. 예를 들어, 본 발명에서 빔 프로젝트 하단부에 카메라를 고정시켜 칠판(보드) 전체를 촬영하도록 할 수 있으며, 강의자가 강의하는 동안 주기적으로 칠판(보드)을 촬영하도록 카메라(100)를 설정할 수 있다.
영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장하고, 처리된 이미지를 웹 서버(300)에 업로드(upload)한다.
웹 서버(300)는 영상처리장치(200)로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공한다.
사용자 단말(410, 420)은 웹 서버(300)에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이한다. 도 1의 실시예에서 사용자 단말을 스마트폰(410), PC(420)로 예시하였으며, 이외 태블릿 PC, 노트북 PC 등 다양한 기기가 사용자 단말로 사용될 수 있다.
본 발명에서 영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 보드의 외곽선을 나타내는 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출하고, 추출된 꼭지점에 대해 원근법에 의한 사다리꼴 모양을 직사각형 모양으로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장한다.
영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 사람을 검출하면, 검출된 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성한다. 그리고, 사람이 이동하면, 이동한 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하고, 부분 이미지들을 연결하여 원근법에 의한 하나의 사다리꼴 모양의 이미지를 생성한다. 그리고, 생성된 사다리꼴 모양의 이미지를 직사각형 모양의 이미지로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장한다.
도 2는 본 발명의 일 실시예에 따른 강의 관리 방법을 보여주는 흐름도이다.
도 2를 참조하면, 영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장한다(S201~S223).
그리고, 영상처리장치(200)는 처리된 이미지를 웹 서버(300)에 업로드(upload)한다(S225).
그리고, 웹 서버(300)는 영상처리장치(200)로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공한다.
그리고, 사용자 단말(410, 420)은 웹 서버(300)에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이한다.
본 발명의 강의 관리 시스템에서의 강의 관리 방법을 상세히 설명하면 다음과 같다.
영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 보드의 외곽선을 나타내는 사각형을 검출한다(S205).
그리고, 검출된 사각형에서 꼭지점을 추출한다(S207).
그리고, 추출된 꼭지점에 대해 원근법에 의한 사다리꼴 모양을 직사각형 모양으로 변환한다(S209).
그리고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장한다(S223).
본 발명의 일 실시예에서 영상처리장치(200)는 카메라(100)에서 촬영된 보드 이미지에서 사람을 검출하면(S203), 검출된 사람 영역을 제외한 나머지 영역의 사각형을 검출한다(S211).
그리고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성한다(S213).
그리고, 사람이 이동하면(S214), 이동한 사람 영역을 제외한 나머지 영역의 사각형을 검출한다(S215).
그리고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성한다(S217).
그리고, 부분 이미지들을 연결하여 원근법에 의한 하나의 사다리꼴 모양의 이미지를 생성한다(S219).
그리고, 생성된 사다리꼴 모양의 이미지를 직사각형 모양의 이미지로 변환한다(S221).
그리고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절한다(S223).
본 발명에서 사각형 추출이란 영상 또는 이미지 내에 있는 다양한 도형 중 사각형을 추출하는 기능을 뜻한다. 이러한 기능은 OpenCV를 통해 다음과 같은 작업을 통해 구현된다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 처리 중에서 사각형 추출 과정을 도시한 것이다.
도 3을 참조하면, 먼저 영상의 원본을 불러온 후 그 영상의 RGB값을 그레이 스케일(Gray Scale)화 한다. 그 후 그레이 스케일 한 값을 이진한 영상에서 캐니 에지(Canny Edge) 검출을 진행함으로써 윤곽선을 추출한다.
다음으로 MorphologyEx 함수를 이용하여 형태를 뭉개준 뒤 Contours 함수를 통해 도형들을 그룹화 한 후 그려준다. 이를 통해 만들어진 이미지를 ApproxPolyDP를 이용하여 선분을 간략화 한 후 4개의 꼭짓점을 갖는 도형을 검출한다. 해당 작업을 통해 추후에 진행될 마커 추출(꼭짓점 추출) 기능이 구현된다.
도 4는 본 발명의 일 실시예에 따른 디지털 영상 처리 중에서 꼭짓점 추출 과정을 도시한 것이다.
도 4를 참조하면, 마커 추출은 사각형 추출에서 추출한 사각형의 각 꼭짓점을 추출하는 기능이다. 따라서 앞서 사각형 추출에서 진행된 윤곽선 추출 함수로 윤곽선을 추출하는 것으로 시작된다. 그 후 임의의 점 하나를 설정하여 가장 먼 점을 첫 번째 꼭짓점으로 설정하여 '꼭짓점 변수1'에 저장한다. 그리고 이와 동일한 작업을 통해 두 번째 꼭짓점을 찾어서 '꼭짓점 변수 2'에 저장하고, 꼭짓점 변수 1과 꼭짓점 변수 2에서 가장 먼 점을 구함으로써 세 번째 꼭짓점을 찾아낼 수 있고, 그리고, 세번째 꼭짓점을 '꼭짓점 변수3'에 저장한다. 마지막으로 네 번째 꼭짓점은 위와 같은 방법을 통해 구하기가 어려우므로 이미 구해둔 세 개의 꼭짓점과 나머지 한 점으로 구성된 세 개의 삼각형으로 나누어 그 넓이의 합이 최대가 되는 좌표(x, y)를 네 번째 꼭짓점으로 저장한다.
도 5는 본 발명의 일 실시예에 따른 원근법 변환 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명에서 원근법 변환은 앞서 구한 꼭짓점(input point)을 직사각형으로 만들어주는 좌표(output Point)로 각각 이동시킴으로써, 사다리꼴 모양의 사진을 직사각형으로 변환시켜주는 기능이다. 그리고 이때 변환 행렬을 구해야 하는데 cv2.getPerspectivTransform() 함수를 이용하여 변환행렬 값을 적용하여 최종 결과 이미지를 얻을 수 있다.
도 5에서 좌측 이미지에서 원근법으로 인해 사다리꼴 모양으로 보이는 부분의 일부분의 꼭짓점을 설정하여 우측의 직사각형모양으로 변환하는 과정을 확인할 수 있다.
이러한 원근법 변환 기능을 통해 보드를 촬영하는 카메라의 위치에 따라 변하는 칠판의 모양을 직사각형 모양으로 변환시킴으로써 가독성을 높일 수 있다.
도 6은 본 발명의 일 실시예에 따른 사람 검출 기능을 설명하기 위한 도면이다.
도 6은 실제 OpenCV의 보행자 추출 기능을 사용하여 보행자를 검출한 결과 이미지이다.
본 발명에서 보행자를 인식하여 추출하는 기술은 영상에서 보행자, 즉 서있는 사람을 찾는 기술이다. 현재까지의 연구는 대부분 서있는 사람을 검출하는데 초점이 맞추어져 있으며 앉아 있는 사람이나 누워 있는 사람까지는 찾지 못한다.
본 발명에서 보행자 추출은 Haar Feature-based Cascade Classifier라고 불리는 방법을 사용하며 웨이블릿의 일종인 Haar feature와 유사한 매우 단순한 feature들을 조합하여 물체를 찾아낸다. Cascade란 용어는 하나의 검출기로 물체를 찾는 것이 아니라 여러 개의 검출기를 순차적으로 사용하되 처음에는 간단한 검출기를 적용하고 점점 더 어려운 검출기를 적용하는 방법이다.
이러한 보행자 추출 방법을 이용한다면 강의자가 보드를 가리는 경우에 서있는 강의자를 검출하여 해당부분을 삭제하고, 해당부분을 삭제한 이미지들을 결합하는 방식으로 온전한 필기내용 사진을 복원할 수 있다.
본 발명에서 이미지 연결은 앞서 보행자 추출 기능을 이용하여 보행자를 삭제한 이미지들을 분할하여 연결함으로써 온전한 하나의 이미지를 얻어낼 수 있는 기술이다. 이러한 이미지 연결은 OpenCV에 있는 ROI(Region of Interest)를 지정하여 구현할 수 있다. 이러한 지정은 cvSetImageROI(이미지, left, top, width, height) 함수를 통해 이루어진다.
본 발명에서 이미지의 명암 및 밝기 조절은 OpenCV 내에 이미지의 RGB 값을 조절하는 함수를 사용함으로써 이루어진다.
도 8은 본 발명의 일 실시예에 따른 웹 사이트에서 제공하는 필기 내용의 예시도이다. 도 8은 GNUMOARD5라는 프로그램을 통해 만든 데이터베이스에 이미지가 업로드된 것을 보여주는 화면예이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 카메라 200 영상처리장치
300 웹 서버 410, 420 사용자 단말

Claims (6)

  1. 강의실 내에 설치되어 강의자가 필기하도록 마련된 보드를 촬영하기 위한 카메라;
    상기 카메라에서 촬영된 보드 이미지에서 필기 내용이 표시되도록 이미지 처리하여 저장하고, 처리된 이미지를 웹 서버에 업로드(upload)하는 영상처리장치;
    상기 영상처리장치로부터 업로드된 필기내용이 표시된 이미지를 웹 사이트를 통해 제공하는 웹 서버; 및
    상기 웹 서버에서 제공하는 웹 사이트에 접속하여 필기내용이 표시된 이미지를 다운로드하여 디스플레이하는 사용자 단말을 포함하며,
    상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 보드의 외곽선을 나타내는 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출하고, 추출된 꼭지점에 대해 원근법에 의한 사다리꼴 모양을 직사각형 모양으로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장하고,
    상기 영상처리장치는 상기 카메라에서 촬영된 보드 이미지에서 사람을 검출하면, 검출된 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하고, 사람이 이동하면, 이동한 사람 영역을 제외한 나머지 영역의 사각형을 검출하고, 검출된 사각형에서 꼭지점을 추출한 부분 이미지를 생성하고, 부분 이미지들을 연결하여 원근법에 의한 하나의 사다리꼴 모양의 이미지를 생성하고, 생성된 사다리꼴 모양의 이미지를 직사각형 모양의 이미지로 변환하고, 변환된 이미지에서 글씨 부분을 진하게 표시하고 배경 부분을 옅게 표시하도록 명암 및 밝기를 조절하는 방식으로 이미지 처리하여 저장하며,
    상기 영상처리장치는 OpenCV를 이용하여 상기 카메라에서 촬영된 보드 이미지에서 사각형을 검출하되, 먼저 상기 보드 이미지의 원본에서 RGB값을 그레이 스케일(Gray Scale)화하고, 그레이 스케일 한 값을 이진화한 영상에서 캐니 에지(Canny Edge) 검출을 진행하여 윤곽선을 추출하고, Contours 함수를 통해 도형들을 그룹화하고, 이를 통해 생성된 이미지에 대해 ApproxPolyDP를 이용하여 선분을 간략화하고, 4개의 꼭짓점을 갖는 도형을 검출하는 방식으로 사각형을 검출하고,
    상기 영상처리장치는 OpenCV의 Haar Feature-based Cascade Classifier 기능을 사용하여 사람을 검출하는 것을 특징으로 하는 강의 관리 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
KR1020190000330A 2019-01-02 2019-01-02 필기 내용을 공유하는 강의 관리 시스템 및 방법 KR102192558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190000330A KR102192558B1 (ko) 2019-01-02 2019-01-02 필기 내용을 공유하는 강의 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000330A KR102192558B1 (ko) 2019-01-02 2019-01-02 필기 내용을 공유하는 강의 관리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200084204A KR20200084204A (ko) 2020-07-10
KR102192558B1 true KR102192558B1 (ko) 2020-12-17

Family

ID=71604065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000330A KR102192558B1 (ko) 2019-01-02 2019-01-02 필기 내용을 공유하는 강의 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102192558B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318056B1 (ko) 2021-01-15 2021-10-27 (주)강안교육 몰입학습을 위한 비대면 학습방법 및 학습시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
KR101287019B1 (ko) 2012-01-05 2013-07-17 순천향대학교 산학협력단 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315951B1 (ko) * 2012-02-22 2013-10-08 김정태 마커 인식과 영역 추적을 통한 영상 관리장치
KR101686143B1 (ko) * 2014-12-30 2016-12-13 채수한 영상 처리 장치 및 영상 처리 방법
KR101928524B1 (ko) * 2016-08-29 2018-12-14 한국전자통신연구원 강의 콘텐츠 제공 장치 및 그 방법
KR101957200B1 (ko) 2017-06-01 2019-03-12 동의대학교 산학협력단 필기 공유 장치 및 이를 포함하는 시스템 그리고 필기 공유 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
KR101287019B1 (ko) 2012-01-05 2013-07-17 순천향대학교 산학협력단 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템

Also Published As

Publication number Publication date
KR20200084204A (ko) 2020-07-10

Similar Documents

Publication Publication Date Title
CN104575120B (zh) 一种用于辅助教学的展示系统
US10943107B2 (en) Simulating image capture
CN112261477B (zh) 视频处理方法及装置、训练方法和存储介质
US11823358B2 (en) Handwritten content removing method and device and storage medium
CN109803172B (zh) 一种直播视频的处理方法、装置及电子设备
CN110163211B (zh) 一种图像识别方法、装置和存储介质
US20150269751A1 (en) Note recognition and management using multi-color channel non-marker detection
CN113223025A (zh) 图像处理方法及装置、神经网络的训练方法及装置
CN113436222A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
Pu et al. Framework based on mobile augmented reality for translating food menu in Thai language to Malay language
KR102192558B1 (ko) 필기 내용을 공유하는 강의 관리 시스템 및 방법
CN108289176B (zh) 一种拍照搜题方法、搜题装置及终端设备
CN111274447A (zh) 基于视频的目标表情生成方法、装置、介质、电子设备
Hirayama A book reading magnifier for low vision persons on smartphones and tablets
CN116434253A (zh) 图像处理方法、装置、设备、存储介质及产品
CN111753715A (zh) 点读场景下试题拍摄的方法、装置、电子设备和存储介质
Thiruvikraman A course on digital image processing with matlab®
CN114363521B (zh) 图像处理方法、装置及电子设备
JP7156771B1 (ja) 個人情報マスキング方法、及び個人情報マスキング装置
Dospinescu et al. Integrated Applications with Laser Technology.
CN111179166B (zh) 图像处理方法、装置、设备及计算机可读存储介质
Ardiansyah et al. Digitizing Qur’anic Manuscripts Using Office Lens for Educational and Research Purposes
Gomez-Donoso et al. A SOFTWARE FOR IMPROVED ACCESSIBILITY OF VISUAL CONTENT IN CLASS
Mooney Automating Enhancement of Blackboard Diagrams for Online Presentations
Dumachi et al. STUDENT EMOTION RECOGNITION SYSTEM BASED ON REAL-TIME FACE DETECTION AND EXTRACTION OF EFFECTIVE DESCRIPTORS

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right