KR102603412B1 - 전자칠판의 객체인식기반 밝기 제어장치 및 그 방법 - Google Patents

Abstract

본 발명은 전자칠판에서 실행되고 있는 프로세스 영역과 사용자의 필기 영역에 대응하여 전자칠판의 밝기를 제어함으로써 불필요한 소모전력을 절감할 수 있도록 하는 전자칠판의 객체인식기반 밝기 제어장치 및 그 방법에 관한 것이다.
본 발명의 일실시예에 따른 전자칠판의 객체인식기반 밝기 제어장치는, 디스플레이 장치의 터치스크린의 터치데이터를 수신하는 터치데이터 수신부; 상기 터치데이터 수신부의 터치데이터를 처리하여 필기 영역을 추출하는 터치영역 추출부; 화면 캡쳐 프로그램을 이용하여 컴퓨터에서 실행되는 응용 프로그램의 수행 결과 디스플레이되는 화면 이미지를 캡쳐하는 화면캡쳐부; 상기 화면캡쳐부에서 캡쳐된 영상데이터에 대해 객체인식을 통해 프로세스별 영역을 추출하는 객체인식부; 상기 객체인식부에서 추출된 프로세스영역 중에서 필기 영역의 색상과 채도 및 명도를 검출하여 저장하는 필기영역 색상,채도,명도 도출부; 상기 필기 영역의 색상, 채도 및 명도에 대응하여 백라이트를 구동할 PWM제어신호의 듀티비가 저장되어 있는 듀티비 저장부; 디스플레이장치의 후면에서 디스플레이장치의 전체에 균일하게 빛을 비춰주어 디스플레이장치의 밝기를 조절하는 백라이트 구동부; 그리고 상기 듀티비 저장부에 저장된 듀티비에 대응하는 PWM제어신호에 따라 상기 백라이트 구동부에 인가되는 전원을 제어하는 PWM제어부;를 포함하여 이루어져 있다.

Description

전자칠판의 객체인식기반 밝기 제어장치 및 그 방법{DEVICE FOR AUTOMATICALLY CONTROLLING BRIGHTNESS OF ELECTRONIC BLACKBOARD BASED ON OBJECT RECOGNITION AND CONTROL METHOD THEREOF}

본 발명은 전자칠판의 밝기를 자동으로 조절하기 위한 전자칠판의 밝기 제어장치 및 그 방법에 관한 것으로, 더욱 상세하게는 전자칠판에서 실행되고 있는 응용프로그램과 사용자의 필기에 대응하여 전자칠판의 밝기를 제어함으로써 필기내용의 시인성을 향상시키면서도 소모전력을 절감할 수 있도록 하는 전자칠판의 객체인식기반 밝기 제어장치 및 그 방법에 관한 것이다.

전자칠판은 컴퓨터와 연결된 보드나 터치스크린을 포함하는 대형 디스플레이장치 위에 특수하게 제작된 펜으로 필기를 하면 필기되는 궤적을 감지하고 감지된 필기 궤적을 대형 디스플레이장치에 디스플레이하는 시스템이다. 상기 터치스크린을 포함하는 대형 디스플레이장치는 LCD 패널로 구성되는바 LCD 패널은 그 자체가 비발광성이기 때문에 빛이 없는 곳에서는 사용이 불가능하다. 따라서 LCD 패널은 후면에서 LCD 패널의 전체에 균일하게 빛을 비춰주는 백라이트 유닛을 사용하게 된다. 백라이트 유닛은 램프로부터 나오는 빛을 LCD 패널 전체에 균일한 휘도를 유지시키면서 고휘도로 영상을 제공하기 위해 이용되는 것이다.

이와 같은 백라이트 유닛의 램프 및 백라이트 유닛을 구동하기 위한 인버터 회로가 소모하는 전력은 전자칠판의 전체 전력 소모의 상당한 비중을 차지하므로, 백라이트 유닛에서의 전력 소모를 감소시키면 전자칠판 전체 전력 소모의 상당한 부분을 감소시킬 수 있게 된다.

특허문헌 1은 본 출원인에 의해 선출원 되어 등록된 발명으로, 개인용 컴퓨터에서 사용자가 실행시켜 수행하는 응용 프로그램의 작업내용이나 컨텐츠에 관련된 작업 환경 정보를 분석함과 아울러 모니터 주변의 조도를 감지하여 외부환경정보를 분석한 후, 상기 작업환경정보와 외부환경정보에 따라 최적의 모니터 명도(Brightness), 채도(Saturation), 백라이트(Backlight) 값들을 인공지능을 이용하여 사전에 설정된 범위 안에서 자동으로 조절할 수 있도록 된 인공지능기반 모니터 밝기 제어장치 및 그 방법에 대한 기술이 개시되어 있다.

특허문헌 2는 밝기 제어를 통해 소비 전력을 줄일 수 있는 전자 칠판에 관한 발명으로서, 디스플레이 영상의 특성과 구동 환경에 따라 백 라이트 유닛의 밝기가 유기적으로 가변될 수 있도록 함으로써, 백 라이트 유닛의 밝기 제어를 통해 소비 전력을 줄일 수 있도록 하는 기술이 개시되어 있다.

그러나 특허문헌 1은 전자칠판에서 필기 영역 및 필기 영역에 디스플레이되고 있는 응용 프로그램을 고려하고 있지 않는 것이어서, 본 출원인은 필기 영역 및 필기 영역에 디스플레이되고 있는 응용 프로그램을 고려하여 LCD의 백라이트 유닛의 밝기 및 영상 신호의 휘도값을 제어함으로써, 필기 내용이 명확히 디스플레이 될 수 있도록 하면서도 전자칠판을 구성하는 대형 디스플레이장치에서 불필요하게 소모될 수 있는 전력을 감소시킬 수 있는 방안을 제안하고자 한다.

국내등록특허공보 제10-2143487호(2020년08월12일 공고) 국내등록특허공보 제10-2143487호(2020년08월12일 공고)

본 발명은 상기한 사정을 감안하여 발명한 것으로, 본 발명이 해결하고자 하는 과제는 전자칠판의 대형 디스플레이장치에 디스플레이되고 있는 프로세스들을 객체화 하여 각 프로세스별 영역을 검출함과 아울러, 디스플레이장치에서 필기되고 있는 필기 영역을 검출하고, 검출된 필기 영역에서 실행되고 있는 프로세스의 명도와 채도를 감안하여 사전에 설정된 값에 따라 백라이트 유닛의 밝기를 조절함으로써 필기 영역 이외의 영역에서 불필요한 밝기에 의한 전력소모를 감소시킬 수 있도록 된 전자칠판의 객체인식기반 밝기 제어장치 및 그 방법을 제공하고자 함에 있다.

이하 본 발명이 해결하고자 하는 과제의 구체적 수단에 대하여 설명한다.

본 발명의 일실시예에 따른 전자칠판의 객체인식기반 밝기 제어장치는, 디스플레이 장치의 터치스크린의 터치데이터를 수신하는 터치데이터 수신부; 상기 터치데이터 수신부의 터치데이터를 처리하여 필기 영역을 추출하는 터치영역 추출부; 화면 캡쳐 프로그램을 이용하여 컴퓨터에서 실행되는 응용 프로그램의 수행 결과 디스플레이되는 화면 이미지를 캡쳐하는 화면캡쳐부; 상기 화면캡쳐부에서 캡쳐된 영상데이터에 대해 객체인식을 통해 프로세스별 영역을 추출하는 객체인식부; 상기 객체인식부에서 추출된 프로세스영역 중에서 필기 영역의 색상과 채도 및 명도를 검출하여 저장하는 필기영역 색상,채도,명도 도출부; 상기 필기 영역의 색상, 채도 및 명도에 대응하여 백라이트를 구동할 PWM제어신호의 듀티비에 대한 룩업테이블이 저장되어 있는 듀티비 저장부; 디스플레이장치의 후면에서 디스플레이장치의 전체에 균일하게 빛을 비춰주어 디스플레이장치의 밝기를 조절하는 백라이트 구동부; 그리고 상기 듀티비 저장부에 저장된 듀티비에 대응하는 PWM제어신호에 따라 상기 백라이트 구동부에 인가되는 전원을 제어하는 PWM제어부;를 포함하여 이루어져 있다.

상기 객체인식부는 화면캡쳐부에서 캡쳐된 화면 캡쳐 이미지를 소정 사이즈로 줄이고 노이즈를 제거하며 RGB 이미지를 Gray 이미지로 변환하는 전처리수단을 포함하여 이루어지는 것을 특징으로 한다.

상기 객체인식부는 CNN, RNN 또는 HAN 중 어느 하나의 객체인식모듈이 탑재되어 프로세스별 영역을 추출하도록 이루어진 것을 특징으로 한다.

상기 객체인식부는 각 프로세스의 IOU를 산출한 후, IOU가 가장 높은 프로세스의 색상, 채도 및 명도값을 저장하도록 이루어진 것을 특징으로 한다.

또한 본 발명의 일실시예에 따른 전자칠판의 객체인식기반 밝기 제어방법은, 전자칠판에 디스플레이되고 화면데이터를 캡쳐하는 단계; 캡쳐된 화면데이터의 크기를 조절하고 노이즈를 제거하며 RGB 이미지를 Gray 이미지로 변환하는 전처리단계; 객체인식모듈을 통해 상기 전처리된 화면데이터 내에 프로세스가 존재하는지 여부를 판단하는 단계; 프로세스가 존재하는 것으로 판단되면 프로세스별로 해당 영역내의 색상, 채도 및 명도값을 산출하는 단계; 터치영역이 있는지 여부를 판단하는 단계; 터치영역이 있는 것으로 판단되면, 터치영역과 각 프로세스의 IOU(Intersection Over Union)를 산출하는 단계; 듀티비 저장부에서 상기 IOU가 가장 높은 프로세스의 색상, 채도 및 명도에 대응된 듀티비를 도출하여 도출된 듀티비에 따라 백라이트를 조절하는 단계;를 포함하여 이루어져 있다.

각 프로세스의 IOU(Intersection Over Union)를 산출한 후 IOU가 가장 높은 프로세스의 색상, 채도 및 명도값을 저장 하는 것을 특징으로 한다.

터치영역이 있는지 판단결과 터치영역이 없는 것으로 판단하는 경우 영역이 가장 큰 프로세스의 색상, 채도 및 명도값을 저장하고, 저장된 색상, 채도 및 명도에 대응된 듀티비를 도출하여 도출된 듀티비에 따라 백라이트를 조절하는 단계를 포함함을 특징으로 한다.

상기한 바와 같이 본 발명은 전자칠판에서 사용자가 필기한 영역에 해당하는 필기영역의 명도와 채도를 감안하여 필기내용이 명확하게 표시될 수 있도록 하면서도 필기영역 외의 영역에서 불필요하게 밝기가 높지 않도록 조절함으로써 편리하게 사용자의 눈의 피로도를 줄일 수 있고, 불필요한 소모전력을 낮출 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 객체인식기반 밝기 제어장치의 구성도,
도 2는 본 발명에 따른 필기영역 추출방법을 설명하는 도면,
도 3은 본 발명에 따른 객체인식모델에서 하나의 프로세스 인식예를 나타내는 도면,
도 4는 본 발명에 따른 객체인식모델에서 복수의 프로세스 인식예를 나타내는 도면,
도 5는 본 발명에 따른 객체인식모델에서 프로세스별로 프로세스 영역을 분리추출함을 설명하는 도면,
도 6은 도 5에서 분리추출된 프로세스 영역별로 색상,채도,명도를 추출함을 설명하는 도면,
도 7은 본 발명에 따라 검출된 프로세스 영역에서 IOU 검출방법을 설명하는 도면,
도 8은 본 발명에 따른 채도 및 명도 대비 듀티비 제어값을 나타내는 룩업테이블,
도 9는 본 발명에 따른 전자칠판의 객체인식기반 밝기 제어 방법을 나타내는 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 전자칠판의 객체인식기반 밝기 제어장치의 구성도를 나타내는 것으로, 터치데이터 수신부(11), 터치영역 추출부(12), 화면캡쳐부(13), 객체인식부(14), 필기영역 명도채도 도출부(15), 디스플레이장치(16), 백라이트구동부(17), PWM제어부(18), 듀티비저장부(19) 그리고 제어부(10)를 포함하여 이루어져 있다.

상기 터치데이터 수신부(11)는 디스플레이 장치의 터치스크린에 사용자가 스타일러스 펜 등의 입력매체를 접촉하여 문자 또는 그림을 작성하면 펜과 접촉되는 궤적의 좌표들인 터치데이터를 수신하여 저장하는 역할을 한다.

상기 터치영역 추출부(12)는 상기 터치데이터 수신부(11)를 통해 입력되는 터치데이터를 처리하여 터치영역을 추출하는 작용을 하는 것으로, 상기 터치데이터들의 좌표를 분석하여 X좌표와 Y좌표의 최대값과 최소값을 추출한 후, X좌표와 Y좌표의 최대값과 최소값으로 이루어지는 사각형 영역을 터치영역 즉 필기영역으로 추출하하여 저장하고, 이와 같은 터치영역 추출 및 저장 동작은 주기적으로 반복한다.

이를 좀 더 상세히 설명하면, 터치데이터의 경우 일련의 좌표값으로 이루어져 있으며, 상기 터치영역 추출부(12)에서는 일련의 좌표값 중에서 x좌표의 최대값 및 최소값, y좌표의 최대값 및 최소값을 추출하게 된다.

예컨대 도 2는 터치데이터와 터치영역(필기영역)에 대한 예시도로서, 좌측의 예시 도면에는 디스플레이창에 터치데이터(굵은 적색선)가 표시되어 있고 우측의 예시 도면에는 상기 터치데이터에 때한 터치영역(적색 사각 영역)이 표시되어 있다. 여기서 터치영역은 x좌표의 최대값 및 최소값인 x_min, x_max 그리고 y좌표의 최대값 및 최소값인 y_min, y_max 값으로 이루어지며, 상기 터치영역 추출부(12)는 상기 X좌표와 Y좌표의 최대값과 최소값을 터치영역으로 추출하여 저장한다.

상기 화면캡쳐부(13)는 화면 캡쳐 프로그램을 이용하여 컴퓨터에서 실행되는 응용 프로그램의 수행 결과 전자칠판의 디스플레이장치(16)에 디스플레이되는 화면 이미지를 캡쳐하는 작용을 한다.

상기 객체인식부(14)는 상기 화면캡쳐부(13)에서 캡쳐된 영상데이터에 대해 객체인식을 통해 프로세스별 영역을 추출하는 작용을 하는바, 이를 위해 객체인식모듈이 내부에 탑재되어 캡쳐된 화면 내에 프로세스가 있을 확률과, 프로세스들이 있는 경우 각 프로세스들의 좌표값을 도출하게 된다. 상기 객체인식모듈은 대표적으로 CNN(Convolution Neural Network)을 사용할 수 있으나 RNN(Recurrent Neural Network), HAN(Hierarchical Attention Network) 등 여러 네트워크 모델을 채용할 수도 있다.

상기 객체인식모듈은 여러가지 프로세스 예컨대 마이크로소프트 워드, 아래한글과 같은 문서작성 프로그램, 파워포인트, 엑셀과 같은 경리, 회계 업무에서 많이 사용하는 스프레드시트 프로그램, 파워포인트와 같이 강연, 세미나, 연구 발표, 강의자료 등을 상대방에게 보다 효과적으로 의사전달을 하고자 할 때 사용하는 프레젠테이션용 프로그램, 인터넷 브라우저 등을 감지할 수 있으며, 이를 위해 객체인식 모델은 여러 프로그램 데이터들에 대해 사전에 학습하여 구축될 수 있을 뿐만 아니라 지속적인 학습을 통해 인공지능의 성능을 높일 수도 있다.

도 3는 본 발명의 객체인식모델을 적용한 하나의 프로세스 인식예를 나타내는 도면으로, 굵은 적색선으로 표시한 바와 같이 바탕화면의 일부에 하나의 프로세스(P1)로서 문서작성 창이 디스플레이되어 실행되고 있는 경우를 나타낸다. 객체인식부(14)에서는 상기와 같이 바탕화면에 문서작성 창이 디스플레이되어 있는 화면을 캡쳐한 후, 객체인식모듈을 이용하여 캡쳐 화면을 소정 크기로 줄이는 리사이즈 동작을 실행한 후 프로세스가 있을 확률값과 프로세스의 좌표값을 추출한다. 프로세스에 대한 좌표값의 경우 리사이즈된 데이터를 이용하여 프로세스의 좌표값을 추출하게 되므로 원본 화면과 리사이즈된 화면의 비율을 고려하여 실제 화면에서의 좌표값을 산출하게 된다. 도시된 예와 같이 문서작성 창이 디스플레이되고 있는 경우 프로세스 객체가 있을 확률은 예컨대 0.96으로서 프로세스 객체가 있을 확률이 매우 높게 나오게 되며, 프로세스의 좌표값은 예컨대 (20, 24), (520, 24), (20, 700), (520, 740)와 같이 프로세스가 디스플레이되고 있는 영역이 추출될 수 있다.

도 4는 본 발명에 객체인식모델에서 복수의 프로세스 인식예를 나타내는 도면으로, 굵은 적색선으로 표시한 바와 같이 3개의 프로세스(P2~P4)가 실행되어 디스플레이되고 있는 경우를 나타낸다.

도 4에 도시된 바와 같이 본 발명에 따른 객체인식모듈에서는 동시에 여러개의 프로세스를 감지하여 관련 데이터를 저장할 수 있는데, 예컨대 각 프로세스(P2~P4)들에 대한 프로세스 객체가 있을 확률값은 우측 표에 표시된 바와 같이 각각 0.96, 0.82, 0.05로 검출될 수가 있고, 프로세스(P2)가 디스플레이 되고 있는 창에 대한 좌표값은 (20,24),( 520,24),(20,700),(520,740), 프로세스(P3)가 디스플레이 되고 있는 창에 대한 좌표값은 (1021,24),( 1021,740),(21,740),(1021,740) 그리고 프로세스(P4)가 디스플레이 되고 있는 창에 대한 좌표값은 (21,26),( 29,26),(12,15),(10,74)로 검출될 수 있다. 그런데 프로세스(P4)와 같이 프로세스 객체가 아닌데도 프로세스로 인식을 할 경우가 있는데, 이때는 프로세스 객체가 있을 확률값에 대한 임계값을 사전에 설정하여, 프로세스 객체가 있을 확률값이 상기 임계값 이상일 경우의 데이터값들만 저장하는 방법을 통해 신뢰성을 강화할 수 있다.

상기 필기영역 명도채도 도출부(15)는 상기 터치영역 추출부(12)에서 추출된 필기영역과 상기 객체인식부(14)에서 추출한 프로세스 영역의 채도와 명도를 검출하는 역할을 하며, 이때 프로세스가 디스플레이되고 있는 영역들로 검출되는 좌표값을 기준으로 프로세스별로 화면의 어느 부분에 디스플레이되고 있는지 판단할 수 있게 된다.

상기 필기영역 명도채도 도출부(15)에서는 검출된 프로세스 창들의 좌표값을 기준으로 프로세스가 디스플레이되고 있는 영역별로 분리 추출이 가능한 바, 도 5는 문서작성 프로세스(P5)가 디스플레이되고 있는 영역과 인터넷 브라우저 프로세스 (P6)가 디스플레이 되고 있는 영역을 분리하여 추출하는 예를 나타낸다.

상기 필기영역 명도채도 도출부(15)에서는 도 5와 같이 프로세스 별로 분리추출한 프로세스 영역에 대하여 도 6에 도시된 바와 같이 레드, 그린 및 블루 컬러를 나타내는 RGB값을 추출한다. 이때 각 픽셀별로 추출한 RGB값에 대한 평균을 내어 평균 RGB값을 구하고 평균 RGB값을 활용하여 HSV(hue saturation value)로 변환을 시행한다. 도 6에는 문서작성 프로세스(P5)가 디스플레이 되는 영역과 인터넷 브라우저 프로세스(P6)가 디스플레이 되는 영역에 대해 RGB값을 구하고 이를 HSV로 변환한 값을 나타내고 있는바, 도시된 예의 문서작성 프로세스 영역에서는 색상, 채도, 명도가 각각 255,20,24로 나타나고 있고 인터넷 브라우저 프로세스 영역에서는 색상, 채도, 명도가 각각 222,42,56을 나타냄을 예시하고 있다.

각 프로세스의 색상(H), 채도값(S), 명도값(V)은 아래와 같은 변환 공식을 사용하여 구할 수 있다.

위와 같이 상기 필기영역 명도채도 도출부(15)에서는 프로세스의 색상(H), 채도값(S), 명도값(V)을 구한다음 각 프로세스 별로 각 프로세스의 영역을 나타내는 좌표값과 함께 저장한다.

다음에는 터치영역 추출부(12)에서 터치된 영역 즉 필기영역을 검출하고 객체인식부(14)를 통해 프로세스 영역을 검출한 경우 색상,채도,명도 도출부(15)에서 색상, 명도 및 채도값을 결정하는 방법에 대하여 설명한다.

색상,채도,명도 도출부(15)가 터치영역 추출부(12)에서 앞서 설명된 바와 같이 필기영역을 검출하고 그 필기영역에 대한 좌표값을 저장하고 객체인식부(14)를 통해 프로세스 영역을 검출한 것으로 판단한 경우 필기영역의 좌표값과 프로세스 영역의 좌표값을 사용하여 IOU(Intersection over Union)를 구할 수 있다. IOU는 도 7의 (a)에 도시된 바와 같이 A영역과 B영역이 겹칠 때 얼만큼이 겹치는지를 정량적으로 나타내는 수치로서, 각 영역의 (x축 최소, y축 최소), (x축 최대, y축 최대) 좌표를 사용하여 구할 수 있다.

Intersection x 값일 경우 도 7의 (b)에 도시된 바와 같이,

Min(Max_x1,Max_x2) - Max(Min_x1, Min_x2) 으로 계산될 수 있다.

또한, Intersection y 값일 경우 도 7의 (c)에 도시된 바와 같이,

Min(Max_y1,Max_y2) - Max(Min_y1, Min_y2) 으로 계산될 수 있다.

따라서 Intersection 은 intersection x * intersection y 로 구할 수 있다.

아울러, Intersection이 구해지면 각 프로세스 별로 IOU값을 구할 수 있고, 이때 IOU가 가장 큰 프로세스를 선택하여 선택된 프로세스의 색상, 채도 및 명도값을 저장한다.

상기 듀티비 저장부(19)에는 도 8에 도시된 바와 같이 필기영역의 명도와 채도에 대응하여 백라이트를 구동할 PWM제어신호의 듀티비 제어값에 대한 룩업테이블이 저장되어 있는 것으로, 도시된 예에서는 예컨대 채도가 0~10% 범위내에 있고 명도가 91~100% 범위내에 있는 경우 PWM제어신호의 듀티비는 50%로 제어하여 디스플레이장치(16)의 밝기를 제어함을 나타낸다. 이와 같은 듀티비 제어값은 사용자 요구, 환경 등에 따라 변경될 수 있다.

상기 PWM제어부(18)에서는 도 7에 의거 설명한 바와 같이 IOU가 가장 큰 프로세스가 검출되어 저장되면 해당 영역이 필기영역으로 판단하고 필기영역을 기준으로 디스플레이장치(16)의 밝기를 제어할 PWM제어값을 추출하고, 그 PWM제어값에 대응하는 제어신호에 의거 상기 백라이트 구동부(17)에 인가되는 전원을 제어한다.

상기 백라이트 구동부(17)는 상기 디스플레이장치(16)의 후면에서 디스플레이장치(16)의 전체에 균일하게 빛을 비춰주는 역할을 하는 것으로, 필기영역에 대해 검출한 채도와 명도값을 기준으로 듀티비 저장부(19)에 저장되어 있는 PWM제어값에 따라 구동되어 디스플레이장치(16)의 밝기를 조절하는 역할을 한다.

한편, 터치영역 추출부(12)에서 터치된 영역 즉 필기영역이 검출되지 않은 경우에는 객체인식부(14)를 통해 검출한 프로세스 영역 중 가장 큰 영역의 프로세스 영역에 대한 색상, 채도 및 명도값을 검출하여 저장한 후 이로부터 듀티비 저장부(19)에 저장되어 있는 PWM제어값을 추출하여 이를 백라이트 구동부(17)의 제어에 이용한다.

상기 제어부(10)는 터치데이터 수신부(11)와 터치영역 추출부(12), 화면캡쳐부(13), 객체인식부(14) 그리고 필기영역 명도채도 도출부(15) 등을 제어하여 디스플레이장치(16)에서 실행 중에 있는 프로세스와 필기역역을 검출하고, 이로부터 필기영역 또는 디스플레이장치의 주된 화면 영역을 차지하는 프로세스의 채도와 명도를 검출한 후, 검출된 채도와 명도에 따라 듀티비저장부(19)에 저장되어 있는 룩업테이블의 듀티비 제어값에 대응하는 PWM제어신호로서 PWM제어부(18)가 백라이트구동부(17)를 구동하여 디스플레이장치(16)의 밝기를 조절하도록 제어하는 역할을 한다.

다음에는 도 9에 의거하여 본 발명에 따른 전자칠판의 객체인식기반 밝기 제어방법에 대하여 설명한다.

먼저 제어부(10)는 화면캡쳐부(13)를 제어하여 디스플레이창(16)에 디스플레이되고 있는 화면데이터를 캡쳐하여 받아오는 단계를 수행한다.

이어 객체인식부(14)는 연산량을 줄이기 위해 캡쳐된 화면데이터를 소정 사이즈로 줄이고 노이즈를 제거하며 RGB 이미지를 Gray 이미지로 변환하는 전처리 작업하는 단계를 수행한다.

화면사이즈를 줄이는 작업은 보통 전자칠판의 경우 UHD를 사용하기 때문에 프로세스 분석에 필요한 정도로 화면 사이즈를 줄여 연산량을 줄이기 위함이다. 이를 위해 객체인식부(14)에서 사용하는 방법으로는 Nearest-neighbor interpolation, bilinear interpolation, bicubic interpolation, box sampling, vectorization 등의 방법이 채용될 수 있다. 또한 객체인식부(14)에서는 노이즈를 제거하기 위한 필터링 동작을 수행함과 아울러 캡쳐된 RGB 이미지를 Gray 이미지로 변환하여 화면 밝기를 도출하는데 필요한 연산량을 줄일 수 있다. 이는 일반 RGB 이미지의 경우 각 픽셀마다 적색, 청색, 녹색 값을 가지고 있는데 반하여 Gray 이미지로 변환할 경우 1가지 값만 저장하면 되어서 연산량이 훨씬 줄어들기 때문이다.

이어 객체인식부(14)에서는 전처리된 화면데이터를 분석하여 프로세스가 있을 확률과 프로세스 영역이라고 판단되는 영역의 좌표값을 추출하는 단계를 수행하고, 프로세스가 존재할 확률이 사전에 설정되어 있는 임계값 이상인지 여부를 판단하는 단계를 수행하여, 이러한 판단단계에서 프로세스가 존재할 확률이 소정 임계값 이상인 것으로 판단한 경우 해당 프로세스의 좌표값을 저장하는 단계를 수행한다.

이어, 색상,채도,명도 도출부(15)에서는 상기 객체인식부(14)에서 저장된 프로세스영역의 데이터를 이용하여 해당 영역의 색상, 채도, 명도값을 산출하는 단계를 수행한다.

아울러, 색상,채도,명도 도출부(15)에서는 터치영역 추출부(12)의 검출데이터를 체크하여 터치영역 즉 필기영역이 존재하는지 여부를 판단하는 단계를 수행하고, 필기영역이 존재하는 것으로 판단하는 경우 필기영역과 각 프로세스의 IOU(Intersection Over Union)를 산출한 후 IOU가 가장 높은 프로세스의 색상, 채도, 명도를 저정하는 단계를 수행한다. 만일 색상,채도,명도 도출부(15)에서 터치영역 추출부(12)의 검출데이터를 체크하였을 때 필기영역이 존재하지 않는 것으로 판단하는 경우 프로세스 영역별 좌표값을 이용하여 프로세스 영역이 가장 큰 프로세스의 색상, 채도, 명도값을 저장하는 단계를 수행한다.

이어, 제어부(10)에서는 색상,채도,명도 도출부(15)에서 저장한 색상, 채도, 명도값을 체크하여 해당 채도 및 명도값과 대응된 듀티비 제어값을 듀티비 저장부(19)에 저장되어 있는 룩업테이블로부터 도출하고, PWM제어부(18)를 제어하여 앞서 도출된 듀티비 제어값에 대응된 PWM 제어신호로서 백라이트 구동부(17)를 구동하도록 제어하는 단계를 수행한다.

이에 따라 백라이트 구동부(17)에서는 디스플레이장치(16)에서 필기영역 또는 필기영역이 없는 경우 주된 디스플레이영역을 차지하고 있는 프로세스를 기준으로 화면의 밝기를 조절하게 된다.

따라서 본 발명은 필기영역을 기준으로 필기내용을 명확하게 시인할 수 있는 최적화된 화면을 제공할 수 있고 불필요한 밝기를 조절하여 전력절감을 도모할 수 있게 되는 것이다.

10 -- 제어부, 11 -- 터치데이터 수신부,
12 -- 터치영역 추출부, 13 -- 화면캡쳐부,
14 -- 객체인식부, 15 -- 색상,채도,명도 도출부,
16 -- 디스플레이장치, 17 -- 백라이트구동부,
18-- PWM제어부, 19 -- 듀티비저장부.

Claims (7)

1. 디스플레이 장치의 터치스크린의 터치데이터를 수신하는 터치데이터 수신부;
   상기 터치데이터 수신부의 터치데이터를 처리하여 필기 영역을 추출하는 터치영역 추출부;
   화면 캡쳐 프로그램을 이용하여 컴퓨터에서 실행되는 응용 프로그램의 수행 결과 디스플레이되는 화면 이미지를 캡쳐하는 화면캡쳐부;
   상기 화면캡쳐부에서 캡쳐된 영상데이터에 대해 객체인식을 통해 프로세스별 영역을 추출하는 객체인식부;
   상기 필기 영역과 프로세스영역들과의 IOU를 각각 산출한 후, IOU가 가장 높은 프로세스의 색상, 채도 및 명도값을 검출하여 저장하는 필기영역 색상,채도,명도 도출부;
   상기 필기 영역의 색상, 채도 및 명도에 대응하여 백라이트를 구동할 PWM제어신호의 듀티비에 대한 룩업테이블이 저장되어 있는 듀티비 저장부;
   디스플레이장치의 후면에서 디스플레이장치의 전체에 균일하게 빛을 비춰주어 디스플레이장치의 밝기를 조절하는 백라이트 구동부; 그리고
   상기 듀티비 저장부에 저장된 듀티비에 대응하는 PWM제어신호에 따라 상기 백라이트 구동부에 인가되는 전원을 제어하는 PWM제어부;를 포함하여 이루어진 전자칠판의 객체인식기반 밝기 제어장치.
   
2. 제1항에 있어서,
   상기 객체인식부는 화면캡쳐부에서 캡쳐된 화면 캡쳐 이미지를 소정 사이즈로 줄이고 노이즈를 제거하며 RGB 이미지를 Gray 이미지로 변환하는 전처리수단을 포함하여 이루어지는 것을 특징으로 하는 전자칠판의 객체인식기반 밝기 제어장치.
   
3. 제1항 또는 제2항에 있어서,
   상기 객체인식부는 CNN, RNN 또는 HAN 중 어느 하나의 객체인식모듈이 탑재되어 프로세스별 영역을 추출하도록 이루어진 것을 특징으로 하는 전자칠판의 객체인식기반 밝기 제어장치.
   
4. 삭제
5. 전자칠판에 디스플레이되고 화면데이터를 캡쳐하는 단계;
   캡쳐된 화면데이터의 크기를 조절하고 노이즈를 제거하며 RGB 이미지를 Gray 이미지로 변환하는 전처리단계;
   객체인식모듈을 통해 상기 전처리된 화면데이터 내에 프로세스가 존재하는지 여부를 판단하는 단계;
   프로세스가 존재하는 것으로 판단되면 프로세스별로 해당 영역내의 색상, 채도 및 명도값을 산출하는 단계;
   터치영역이 있는지 여부를 판단하는 단계;
   터치영역이 있는 것으로 판단되면, 터치영역과 각 프로세스의 IOU(Intersection Over Union)를 산출하는 단계; 그리고
   듀티비 저장부에서 상기 IOU가 가장 높은 프로세스의 색상, 채도 및 명도에 대응된 듀티비를 도출하여 도출된 듀티비에 따라 백라이트를 조절하는 단계;를 포함하여 이루어져 있는 전자칠판의 객체인식기반 밝기 제어방법.
   
6. 제5항에 있어서,
   각 프로세스의 IOU(Intersection Over Union)를 산출한 후 IOU가 가장 높은 프로세스의 색상, 채도 및 명도값을 저장 하는 것을 특징으로 하는 전자칠판의 객체인식기반 밝기 제어방법.
   
7. 제5항 또는 제6항에 있어서,
   터치영역이 있는지 판단결과 터치영역이 없는 것으로 판단하는 경우 영역이 가장 큰 프로세스의 색상, 채도 및 명도값을 저장하고, 저장된 색상, 채도 및 명도에 대응된 듀티비를 도출하여 도출된 듀티비에 따라 백라이트를 조절하는 단계를 포함함을 특징으로 하는 전자칠판의 객체인식기반 밝기 제어방법.