KR101287019B1 - 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 - Google Patents
판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 Download PDFInfo
- Publication number
- KR101287019B1 KR101287019B1 KR1020120001677A KR20120001677A KR101287019B1 KR 101287019 B1 KR101287019 B1 KR 101287019B1 KR 1020120001677 A KR1020120001677 A KR 1020120001677A KR 20120001677 A KR20120001677 A KR 20120001677A KR 101287019 B1 KR101287019 B1 KR 101287019B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- blackboard
- instructor
- sensor
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Drawing Aids And Blackboards (AREA)
Abstract
강단영역 내의 강사의 모습뿐만 아니라, 강사가 칠판에 기재한 판서도 카메라로 촬영하는 판서 기반 강의촬영 시스템에 있어서, 강단영역 내의 교탁 후방의 바닥에 설치되어, 물체가 발판에 올려지는 것을 감지하는 발판센서; 강사의 위치를 추적하여 감지하는 추적센싱부; 좌우 회전이 가능하고, 강단영역 내를 촬영하는 제1 및 제2 카메라; 및, 발판센서가 감지되지 않다가 다시 감지되면 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교하여 변경된 부분에 해당하는 칠판 부분을 촬영하도록, 제1 카메라를 제어하는 제어부를 포함하고, 제어부는 추적센싱부에 의해 감지된 강사의 위치를 촬영하도록 제2 카메라를 제어하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 칠판을 촬영한 이미지에서 변화된 부분을 촬영하여 제공함으로써, 강사가 칠판에 판서를 한 후 교탁으로 되돌아와도 강사가 직전에 판서한 내용도 보여주어 보다 정확한 강의내용을 전달할 수 있다.
상기와 같은 시스템에 의하여, 칠판을 촬영한 이미지에서 변화된 부분을 촬영하여 제공함으로써, 강사가 칠판에 판서를 한 후 교탁으로 되돌아와도 강사가 직전에 판서한 내용도 보여주어 보다 정확한 강의내용을 전달할 수 있다.
Description
본 발명은 강단영역 내의 강사의 모습뿐만 아니라, 강사가 칠판에 기재한 판서도 카메라로 촬영하는 판서 기반 강의촬영 시스템에 관한 것이다.
특히, 본 발명은 교탁에 발판센서를 설치하여, 발판센서가 감지되지 않다가 다시 감지되면 칠판 전체를 촬상하고, 직전 이미지와 대비하여 변경된 부분에 해당하는 칠판 부분을 촬영하는 판서 기반 강의촬영 시스템에 관한 것이다.
일반적으로 온라인 강의 또는 교육용 강의 콘텐츠는 강사가 실제 강의하는 내용을 녹화하여 제작되는 경우가 많다. 특히, 강사의 강의 내용의 영상을 녹화한 교육용 영상 콘텐츠는 최근 인터넷이 발달되고 인터넷 사용자가 늘면서 서버를 통해 사용자에게 교육용 영상 콘텐츠를 제공하는 방법이 발달되고 있다.
강사의 강의 내용의 영상을 녹화하기 위하여, 강사가 강의를 실시하는 강의실 내에 카메라를 설치하고, 카메라의 조작이 능숙한 카메라 촬영 기사가 강의를 녹화한다. 촬영기사는 강사의 움직임에 따라 강사를 줌 인(zoom in) 또는 줌 아웃(zoom out)하고 카메라의 위치를 변경하면서 강사를 촬영하여 강의 내용의 영상을 녹화하였다.
이러한 종래의 강의 촬영 방법은 강사의 강의 내용을 촬영하기 위해 카메라의 조작이 능숙한 촬영 기사를 반드시 필요로 하였고, 강사의 움직임에 따라 촬영 기사가 카메라의 위치를 변경하면서 촬영하여야 한다. 따라서 강의 내용을 촬영하는 촬영 기사는 매우 분주하게 카메라를 수동으로 조작하면서 촬영하여야만 하는 불편한 점이 있었다.
상기와 같은 문제점을 해결하고자, 자동으로 강사를 추적하여 강의를 촬영하는 기술들이 제시되고 있다. 그 일례가 [국내공개특허공보 제10-2004-0107954호(2004.12.23.공개), "자동 강사 추적시스템 및 추적 방법"](이하 특허문헌 1이라고 함)에 제시되고 있다. 상기 특허문헌 1은 강단의 한쪽면에 일정한 높이와 일정한 간격으로 일렬로 배열되어 강사의 위치를 검출하기 위한 다수의 센서(100); 줌인/줌아웃 기능과 틸팅, 패닝 동작이 가능하여 제어명령에 따라 강사를 추적하면서 촬영할 수 있는 비디오 카메라(300); 및 센서의 감지신호를 입력받아 해당 강사 위치로 비디오 카메라를 이동시키는 컨트롤러(200)로 구성되는 기술을 제시하고 있다.
또한, 다른 일례가 [국내공개특허공보 제10-2006-0128799호(2006.12.14.공개), "바닥센서부를 이용한 강사추적카메라시스템"](이하 특허문헌 2라고 함)에 제시되고 있다. 상기 특허문헌 2는 강단영역의 바닥에 바닥센서를 설치하여, 바닥센서를 강사가 밟게 되면 이를 감지하여 제어수단에 의해 카메라를 제어하여 강사를 자동으로 촬영하는 기술을 제시하고 있다.
그러나 상기 특허문헌들에 의하면 카메라는 강사만을 좇아 촬영하는 문제점이 있다. 따라서 강사가 칠판에 판서를 한 경우, 카메라는 판서 내용을 제대로 촬영하지 못할 수 있다.
예를 들어, 강사가 교탁에서 강의를 하다가 필요한 경우 칠판으로 다가가서 칠판에 필요한 강의 내용을 판서한다. 이때, 강사가 칠판에서 판서 내용을 가리키면서 강의를 하면, 카메라에 의해 판서내용도 같이 촬영되므로 수강생들은 판서 내용을 지속적으로 볼 수 있다. 그러나 강사가 판서를 한 직후 바로 교탁으로 돌아와서 강의를 계속하면, 카메라는 교탁 방향으로 이동하므로 판서 내용은 제대로 촬영되지 못한다.
일반적으로 강사는 판서를 한 후, 판서에 대한 내용을 강의하는 경우가 많다. 또한, 판서 내용이 많으면 수강생들은 판서 내용을 바로 베껴 적을 수 없는 경우가 많다. 따라서 강사가 판서를 한 경우, 판서 내용을 최소한 일정시간 동안 제대로 촬영하여 비추어 줄 필요가 있다.
그러나 상기 특허문헌들에 의하면, 이와 같이 판서 내용을 일정시간 동안 촬영하여 보여줄 수 없는 문제점이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 강단영역 내의 강사의 모습뿐만 아니라, 강사가 칠판에 기재한 판서도 카메라로 촬영하는 판서 기반 강의촬영 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 교탁에 발판센서를 설치하여, 발판센서가 감지되지 않다가 다시 감지되면 칠판 전체를 촬상하고, 직전 이미지와 대비하여 변경된 부분에 해당하는 칠판 부분을 촬영하는 판서 기반 강의촬영 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 강단영역 내의 강사의 모습이나, 칠판에 기재된 강사의 판서를 카메라로 촬영하는 판서 기반 강의촬영 시스템에 관한 것으로서, 상기 강단영역 내의 교탁 후방의 바닥에 설치되어, 물체가 발판에 올려지는 것을 감지하는 발판센서; 상기 강사의 위치를 추적하여 감지하는 추적센싱부; 좌우 회전이 가능하고, 상기 강단영역 내를 촬영하는 제1 및 제2 카메라; 및, 상기 발판센서가 감지되지 않다가 다시 감지되면 상기 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교하여 변경된 부분에 해당하는 칠판 부분을 촬영하도록, 상기 제1 카메라를 제어하는 제어부를 포함하고, 상기 제어부는 상기 추적센싱부에 의해 감지된 강사의 위치를 촬영하도록 상기 제2 카메라를 제어하는 것을 특징으로 한다.
또한, 본 발명은 강단영역 내의 강사의 모습이나, 칠판에 기재된 강사의 판서를 카메라로 촬영하는 판서 기반 강의촬영 시스템에 관한 것으로서, 상기 강단영역 내의 교탁 후방의 바닥에 설치되어, 물체가 발판에 올려지는 것을 감지하는 발판센서; 상기 강사의 위치를 추적하여 감지하는 추적센싱부; 상기 강단영역 내의 교탁 위쪽 전방에 설치되어 상기 칠판 전체만을 촬상할 수 있는 제1 카메라; 좌우 회전이 가능하고, 상기 강단영역 내를 촬영하는 제2 카메라; 및, 상기 발판센서가 감지되지 않다가 다시 감지되면 상기 제1 카메라를 통해 상기 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교하여 변경된 부분에 해당하는 칠판 부분을 촬영하도록 상기 제2 카메라를 제어하는 제어부를 포함하고, 상기 제어부는 상기 제2 카메라가 상기 칠판 부분을 촬영하지 않을 경우, 상기 추적센싱부에 의해 감지된 강사의 위치를 촬영하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제2 이미지에서 변경된 부분이 있는 경우, 상기 발판센서가 감지된 후 소정의 시간동안 상기 칠판 부분을 촬영하도록 상기 제1 카메라를 제어하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제2 이미지의 색상이 상기 제1 이미지에 비해, 칠판의 필기도구 색상이 더 많이 나타나는 경우에만 변경된 부분으로 판단하는 것을 특징으로 하는 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 발판센서가 감지되지 않다가 다시 감지될 때까지의 상기 추적센싱부에 의해 추적된 부분에 대해서만, 상기 제1 이미지와 상기 제2 이미지를 비교하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제1 이미지와 제2 이미지에서 강사 이미지 부분을 제외한 후 비교하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제2 이미지에서 변경된 부분을 모두 포함하는 직사각형의 영역에 대응되는 칠판 부분을 상기 제1 카메라로 촬영하도록 제어하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제2 이미지에서 변경된 부분이 있는 경우, 상기 발판센서가 감지된 후 소정의 시간동안 상기 칠판 부분을 촬영하도록 상기 제2 카메라를 제어하는 것을 특징으로 한다.
또, 본 발명은 판서 기반 강의촬영 시스템에 있어서, 상기 제어부는 상기 제2 이미지에서 변경된 부분을 모두 포함하는 직사각형의 영역에 대응되는 칠판 부분을 상기 제2 카메라로 촬영하도록 제어하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 판서 기반 강의촬영 시스템에 의하면, 칠판을 촬영한 이미지에서 변화된 부분을 촬영하여 제공함으로써, 강사가 칠판에 판서를 한 후 교탁으로 되돌아와도 강사가 직전에 판서한 내용도 보여주어 보다 정확한 강의내용을 전달할 수 있는 효과가 얻어진다.
도 1 및 도 2는 본 발명의 제1 실시예에 따른 판서 기반 강의촬영 시스템의 구성에 대한 개략도 및 측면도이다.
도 3은 본 발명의 제1 실시예에 따라 감지센서의 감지에 의해 강사위치를 검출하는 일례를 도시한 것이다.
도 4는 본 발명의 제1 실시예에 따른 발판센서의 감지에 따라 제1 카메라를 제어하는 방법을 설명하는 흐름도이다.
도 5는 본 발명의 제1 실시예에 따라 시간상으로 칠판 전체 이미지를 촬영하여 저장하는 일례를 도시한 도면이다.
도 6은 본 발명의 제1 실시예에 따른 제1 및 제2 이미지의 일례를 도시한 것이다.
도 7은 본 발명의 제1 실시예에 따라 칠판의 판서 부분을 촬영한 이미지의 일례이다.
도 8은 본 발명의 제2 실시예에 따른 판서 기반 강의촬영 시스템의 구성에 대한 측면도이다.
도 3은 본 발명의 제1 실시예에 따라 감지센서의 감지에 의해 강사위치를 검출하는 일례를 도시한 것이다.
도 4는 본 발명의 제1 실시예에 따른 발판센서의 감지에 따라 제1 카메라를 제어하는 방법을 설명하는 흐름도이다.
도 5는 본 발명의 제1 실시예에 따라 시간상으로 칠판 전체 이미지를 촬영하여 저장하는 일례를 도시한 도면이다.
도 6은 본 발명의 제1 실시예에 따른 제1 및 제2 이미지의 일례를 도시한 것이다.
도 7은 본 발명의 제1 실시예에 따라 칠판의 판서 부분을 촬영한 이미지의 일례이다.
도 8은 본 발명의 제2 실시예에 따른 판서 기반 강의촬영 시스템의 구성에 대한 측면도이다.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
이하, 본 발명의 구성을 도면에 따라서 설명한다.
또한, 본 발명의 설명에 있어서는 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명의 제1 실시예에 따른 판서 기반 강의촬영 시스템의 구성을 도 1 내지 도 3을 참조하여 설명한다.
도 1과 도 2에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 강의촬영 시스템은 추적센싱부(10), 발판센서(70), 제1 카메라(31), 제2 카메라, 및, 제어부(20)로 구성된다.
추적센싱부(10)는 강단영역(40)의 천장(43)에 배열된 다수의 감지센서(11)를 구비하여, 강단영역(40)에 있는 강사의 위치를 감지한다.
도 1 또는 도 2와 같이, 강단영역(40)은 강사가 강의를 하는 영역으로서, 일측면은 벽면(41)으로 되어 있다. 강사(51)는 통상 벽면(41)을 등에 대고 그 반대방향을 바로 보며 강의를 한다. 그리고 강단영역(40)의 벽면(41)에는 통상 칠판(42)이 설치된다. 또한, 강단영역(40)의 정면에는 교탁(45)이 놓여 있다. 또한, 강단영격(40)의 위쪽은 천장(43)이 있고, 그 아래쪽은 바닥(44)이다.
다수의 감지센서(11)는 강단영역(40)의 천장(43)에 일렬로 설치된다. 또, 도 2와 같이, 각 감지센서(11)는 천장(43)의 아랫방향으로 향하여 물체를 감지하도록 설치된다. 바람직하게는, 센싱부의 감지센서(11)들은 하나의 열로 일정한 간격으로 배열된다.
감지센서(11)는 적외선 센서 또는 초음파 센서 등 물체를 감지하는 센서(이하 물체 감지센서)로 구현된다. 즉, 물체 감지센서는 발광부와 수광부가 일체로 형성되어, 발광부를 통하여 적외선 또는 초음파를 전방으로 발사한다. 그리고 물체 감지센서는 발사된 적외선 또는 초음파가 물체로부터 반사되어 되돌아오면, 수광부를 통하여 적외선을 수광함으로써 물체를 감지한다.
다른 실시예로서, 감지센서(11)는 물체의 움직임을 감지하는 센서로 구현될 수도 있다. 또는, 감지센서(11)는 인체에서 발생되는 열 변화를 감지하는 초전형 적외선 센서로도 구현할 수 있다. 초전형 적외선 센서(Pyroelectric Infrared Sensor)는 열 센서의 일종으로서 동작 감지를 위한 센서로 사용된다. 초전형 적외선 센서는 측정 영역 내에 발생하는 열 변화를 전기 신호로 변화시킴으로써 측정 영역 내의 물체 또는 동작의 변화 및 사람의 존재 유무를 감지해낸다.
추적센싱부(10)는 감지되는 감지센서(11)의 위치를 강사 위치로 판단하되, 2개 이상의 인접한 감지센서에서 감지되면 인접한 감지센서들의 평균위치를 강사 위치로 판단한다.
도 3a의 예에서, 감지센서 11d에서 감지되면, 11d의 위치에서 강사가 위치하는 것으로 판단한다. 또, 도 3b에서, 감지센서 11f와 11g에서 동시에 감지되면, 11f와 11g의 위치 사이에 강사가 위치하는 것으로 판단한다. 이때, 그 위치는 11g와 11g의 평균 위치(또는 중간 위치)로 정하는 것이 바람직하다.
추적센싱부(10)는 강단영역(40)에 있는 강사의 위치를 감지하는 수단은 어느 것이나 적용할 수 있다. 예를 들어, 앞서 배경기술에서 설명한 선행기술 1과 2, 또는 특허출원 제10-2011-0022182호에 기재된 것과 같은 강사 추적 기술을 적용한 수단으로 구현될 수도 있다.
다음으로, 발판센서(70)는 강단영역(40)에 구비된 교탁(45)의 안쪽(또는 후방) 바닥에 설치된다. 발판센서(70)는 물체가 발판에 올려지는 것을 감지하는 센서이다. 따라서 강사(51)가 교탁(45)의 안쪽에 서면, 교탁(45) 안쪽 바닥을 밟게 되어, 발판센서(70)가 감지된다.
발판센서(70)는 +판과 절연판과 -판을 합쳐서 일체형 장판 혹은 개별 타일을 형성하여 사림이나 기타 압력에 의해 +판과 -판이 합쳐지는 때에 감지하게 되는 것이다. 발판센서(70)는 다수의 단위 센서들이 격자로 합쳐져서 하나의 센서부로 구성될 수 있다. 또, 발판센서(70)는 장판형, 카페트형, 타일형, 악세스플로어형으로 바닥에 설치할 수 있으며, 사용자의 편의에 따라 형태의 변형도 가능하게 된다.
따라서 발판센서(70)는 교탁(45)의 폭에 맞추고, 교탁(45) 안쪽에 사람이 서 있을 때 발이 닿는 면적으로 제작되는 것이 바람직하다.
발판센서(70)는 +판과 -판이 합쳐진 때에 물체감지 신호를 전송하고, +판과 -판이 합쳐졌다가 떨어진 때에 물체이탈 신호를 전송한다.
다음으로, 제1 및 제2 카메라(31,32)는 좌우 회전이 가능하고, 강단영역(40) 내를 촬영한다. 즉, 도 1과 같이, 강단영역(40) 내에는 강사(51)가 위치하고 있으며, 강사(51)의 맞은편에는 제어부(20)의 제어에 따라 강사(51)를 추적하거나 칠판(42)에 기재된 판서 내용을 촬영하는 제1 및 제2 카메라(31,32)가 설치되어 있다.
제1 및 제2 카메라(31,32)는 팬/틸트 발판(Pan/Tilt Pedestal)이 장착된 고해상도 이미지의 비디오 카메라이다. 제1 및 제2 카메라(31,32)는 피사체의 밝기 및 배경 조명상태 유지를 위한 자동노출 및 배경조명 보정기능이 있으며, 피사체의 크기에 따라 항상 안정된 피사체를 촬영할 수 있도록 오토 줌 기능이 있는 것이 바람직하다.
이때, 제1 카메라(31)는 강사의 위치를 추적하여 강사를 촬영하고, 제2 카메라(32)는 칠판(42)에 기재된 판서 내용을 촬영한다. 제1 및 제2 카메라(31,32)는 모두 제어부(20)에 의해 제어되고, 강사의 위치는 추적센싱부(10)에 의해 검출된다.
제어부(20)는 추적센싱부(10) 및 발판센서(70)와 연결되어, 추적센싱부(10) 및 발판센서(70)로부터 감지신호를 수신한다. 또, 제어부(20)는 제1 및 제2 카메라(31,32)와 연결되어, 카메라(31,32)에 제어신호를 보내거나, 카메라(31,32)로부터 촬영 이미지 또는 촬상 이미지를 수신한다. 예를 들어, 카메라(30)는 RS-232C 케이블(혹은 리모콘신호) 등을 통해 제어부(20)와 연결된다.
촬영 이미지는 동영상 등 시간상으로 연속되는 이미지(또는 움직이는 이미지)를 의미하고, 촬상 이미지는 한 순간만 찍은 이미지(또는 정지된 이미지)를 의미하는 것으로 구분한다.
제어부(20)는 컴퓨팅 기능을 가진 단말기에 프로그램으로 설치될 수 있다. 이 경우, 추적센싱부(10), 발판센서(70), 카메라(31,32) 등과의 연결은 단말기의 하드웨어에 의해 연결된다. 또 다른 실시예로서, 범용 마이크로프로세서에 프로그램을 탑재하여 하나의 제어장치로도 구현될 수 있다. 이때, 다른 구성요소와의 연결은 입출력회로로 구성된 회로기판에 의해 구현된다. 또한, 제어부(20)는 주문형 반도체(ASIC) 등으로도 구현될 수 있다.
제어부(20)는 추적센싱부(10)에 의해 감지된 강사(51)의 위치를 촬영하도록 제2 카메라(32)를 제어한다. 즉, 제어부(20)는 추적센싱부(10)로부터 추적되어 감지된 강사의 위치를 수신하고, 그 강사의 위치로 제2 카메라(32)의 초점이 향하도록 카메라를 회전시킨다.
또한, 제어부(20)는 발판센서(70)에 의해 강사가 감지된 것에 따라 제1 카메라(31)를 제어하여 칠판에 기재된 판서 내용을 촬영하도록 한다. 즉, 제어부(20)는 발판센서(70)가 감지되지 않다가 다시 감지되면 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교한다. 그리고 제어부(20)는 제2 이미지 중에서 변경된 부분에 해당하는 칠판 부분을 촬영하도록 제1 카메라(31)를 제어한다.
다음으로, 본 발명의 제1 실시예에 따른 발판센서의 감지에 따라 제1 카메라를 제어하는 방법을 도 4 내지 도 6을 참조하여 보다 구체적으로 설명한다.
도 4에서 보는 바와 같이, 먼저, 제어부(20)는 발판센서(70)로부터 감지신호를 수신한다(S10). 앞서 설명한 바와 같이, 발판센서(70)는 +판과 -판이 합쳐진 때에 물체감지 신호를 전송하고, +판과 -판이 합쳐졌다가 떨어진 때에 물체이탈 신호를 전송한다. 즉, 발판센서(70)가 +판과 -판이 떨어진 상태에서 합쳐졌을 때 물체감지 신호를 전송하고, 제어부(20)는 이 감지신호를 수신한다.
제어부(20)가 물체감지 신호를 수신하면, 제1 카메라(31)로 하여금 칠판 전체를 촬상하게 하고, 촬상된 이미지를 저장한다(S20). 즉, 제어부(20)는 제1 카메라(31)로 칠판 전체를 촬상하라는 제어명령을 전송하고, 촬상된 이미지를 제1 카메라(31)로부터 수신하여 메모리(미도시)에 저장한다.
이때 제1 카메라(31)에 의한 촬상은 사진과 같이 정지된 이미지의 촬상이고, 동영상 이미지가 아니다. 또, 칠판 전체를 촬영하는 초점 및 줌 등을 항상 일정하게 고정하여 촬상한다. 칠판 전체를 촬상하기 위한 카메라의 제어값은 사전에 설정하여 두는 것이 바람직하다. 이것은 동일한 위치를 동일한 제어값에 의해 촬영하여, 직전에 찍은 이미지와 단순 비교를 하는 것이 바람직하기 때문이다.
발판센서(70)에서 감지될 때마다 제1 카메라(31)가 칠판 전체를 촬상하기 때문에, 강사(51)가 교탁(45)에서 멀어졌다가 다시 돌아올 때마다 칠판 전체를 촬상한다.
도 5의 예에서, 시간 T1, T2, T3, T4에서 각각 발판센서(70)에 의해 물체가 감지된다. 이때, 제1 카메라(31)에서 촬상된 이미지 P1, P2, P3, P4가 각각 저장된다.
다음으로, 제어부(20)는 현재 촬상한 이미지(제2 이미지)와 직전에 저장한 이미지(제1 이미지)를 대비한다(S30). 직전에 저장한 이미지란, 현재 발판센서(70)에 의해 감지되기 직전에 감지된 때에 저장된 이미지를 말한다.
도 5의 예에서, 현재 시점이 T2라면, 제1 이미지는 P1이고, 제2 이미지는 P2이다. 또, 시점 T4에서, 제1 이미지는 P3이고, 제2 이미지는 P4이다.
제어부(50)는 컴퓨터 영상처리 기술 분야의 통상의 영상 비교 방법을 이용하여 제1 이미지와 제2 이미지를 비교한다.
이때, 바람직하게는, 제2 이미지의 색상이 상기 제1 이미지에 비해, 칠판의 필기도구 색상이 더 많이 나타나는 경우에만 변경된 부분으로 판단한다. 또한, 제1 이미지와 제2 이미지에서 강사 이미지 부분을 제외한 후 비교하는 것이 바람직하다.
도 6의 예를 들어 설명한다. 도 6a는 제1 이미지이고, 도 6b는 제2 이미지이다. 그리고 A부분은 강사 이미지 부분이다. 그리고 칠판은 화이트보드로서 흰색이고, 칠판의 필기도구는 검은색 보드마커를 이용하는 것으로 가정한다.
따라서 도 6a는 칠판에 판서되지 않은 상태이고, 도 6b는 칠판에 검은색으로 판서가 된 상태이다. 이때, 변경된 부분에서 검은색 색상이 더 많이 나타나므로, 판서 내용이 적힌 부분으로 인식된다. 또한, 도 6a의 제1 이미지와 도 6b의 제2 이미지를 비교할 때, 강사가 있는 부분 A를 제외한 후 비교한다.
도 6의 예에서, 제2 이미지에서 변화된 부분은 부분 B이다.
한편, 제어부(20)는 발판센서(70)가 감지되지 않다가 다시 감지될 때까지의 추적센싱부(10)에 의해 추적된 부분에 대해서만, 상기 제1 이미지와 상기 제2 이미지를 비교한다.
예를 들어, 도 5의 T1 시점에서 T2 시점까지의 시간동안, 추적센싱부(10)에 의해 추적된 강사의 위치가 도 3의 11c에서 11e 였다면, 칠판(42)에 새롭게 씌여진 판서는 11c와 11e사이의 부분에 씌여질 수밖에 없다. 강사(51)가 이동한 영역 내에서만 칠판에 글씨를 쓸 수 있기 때문이다. 따라서 이 부분만을 대비함으로써 비교 시간을 줄일 수 있다.
다음으로, 제어부(20)는 제2 이미지를 제1 이미지와 비교하여 변화된 부분이 있으면, 변화된 부분에 해당되는 칠판 부분을 제1 카메라(31)로 촬영한다(S40). 이때, 바람직하게는, 제어부(20)는 제2 이미지에서 변경된 부분을 모두 포함하는 직사각형의 영역에 대응되는 칠판 부분을 제1 카메라(31)로 촬영하도록 제어한다.
도 6의 예에서, 제2 이미지에서 변화된 부분은 부분 B이다. 즉, 변화된 부분이 모두 포함되는 직사각형의 영역이다. 도 6에서 변화된 부분 B에 해당하는 칠판 부분을 제1 카메라(31)로 촬영하면, 도 7a와 같은 영상이 촬영된다.
만약 제어부(20)는 변화된 부분이 넓으면, 줌을 조정하여 보다 넓은 영역을 모두 촬영할 수 있도록 제어한다. 변화된 부분이 매우 넓으면, 줌을 멀리하지 않고, 변화된 부분을 나누어 촬영하는 것이 바람직하다. 글자가 너무 작으면 읽혀지지 않을 수 있기 때문이다. 예를 들어, 변화된 부분이 좌우로 길다면, 줌을 작게하지 않고, 좌우로 천천히 이동하면서 촬영해준다.
또한, 변화된 부분이 적더라도, 줌의 크기는 일정 이하로 크게 하지 않고, 변화된 부분을 중심으로 변화되지 않은 부분도 촬영하는 것이 바람직하다. 화면에서 글자가 매우 크게 나타나는 것은 보기에 부자연스럽기 때문이다.
한편, 제어부(20)는 일정시간 동안 발판센서(70)가 감지된 후 소정의 시간동안 상기 칠판 부분을 촬영하도록 제1 카메라(31)를 제어한다.
도 5의 예에서, 시점 T2에서 이미지 P2를 이미지 P1과 대비하여 변화된 부분이 있으면, 변화된 부분을 촬영하되, △T 시간만큼만 촬영한다. 도 5의 예에서 변화된 부분이 있는 경우는 T2와 T4의 시점만이다. 따라서 제1 카메라(31)는 T2 이후 △T 시간만큼만 촬영하고, T4 이후 △T 시간만큼만 촬영한다.
일정시간만 보여주면 수강생들은 판서를 모두 읽거나 받아쓸 수 있기 때문에, 굳이 장시간 보여줄 필요가 없다. 오히려 강사가 이미 다른 설명으로 넘어갔을 가능성이 많기 때문에, 오히려 강의 촬영의 흐름에 방해될 수 있다.
한편, 제어부(20)는 실시간으로 제1 카메라(31)의 영상과 제2 카메라(32)의 영상을 선택하여 하나의 영상을 내보내거나, 두 영상을 결합하여 영상을 내보낼 수도 있다.
즉, 제1 카메라(31)가 칠판 부분을 촬영하는 동안 제1 카메라(31)의 촬영 영상을 내보내고, 그 외, 즉, 제1 카메라(31)가 칠판 부분을 촬영하지 않는 동안에는 제2 카메라(32)의 촬영 영상을 내보낸다.
도 5의 예에서, T2 이후 △T 시간 동안과 T4 이후 △T 시간 동안에는 제1 카메라(31)의 영상만 내보내고, 그 외 시간에는 제2 카메라(32)의 촬영 영상을 내보낸다.
다른 일례로서, 도 7b에서 보는 바와 같이, 제1 카메라(31)의 영상을 내보낼 때 제2 카메라(32)와 함께 결합하여 내보낼 수 있다. 이때 제2 카메라(32) 영상을 상대적으로 작게 내보내는 것이 바람직하다.
다음으로, 본 발명의 제2 실시예에 따른 판서 기반 강의촬영 시스템의 구성을 도 8을 참조하여 설명한다.
본 발명의 제2 실시예에 따른 강의촬영 시스템의 구성은 앞서 설명한 제1 실시예에 따른 강의촬영 시스템과 그 구성이 동일하다. 다만, 제1 카메라(31)를 강단영역(40)의 교탁 위쪽 전방에 설치하는 점에서 차이가 있다. 이하에서 이와 같은 차이점만 설명한다.
본 발명의 제2 실시예에 따른 강의촬영 시스템은 도 1의 제2 실시예에 따른 강의촬영 시스템과 같이, 추적센싱부(10), 발판센서(70), 제1 카메라(31), 제2 카메라, 및, 제어부(20)로 구성된다.
다만, 도 8에서 보는 바와 같이, 제1 카메라(31)가 강단영역(40) 내의 교탁(45) 위쪽 전방에 설치되어 칠판(42) 전체만을 촬상할 수 있게 한다. 즉, 강사(51)가 발판센서(70) 위에 있으면, 제1 카메라(31)는 오직 칠판만을 전체적으로 찍을 수 있는 위치에 설치된다.
그리고 제1 카메라(31)는 동영상 카메라일 필요가 없고, 정지 화상을 찍는 카메라로 충분하다. 또한, 제1 카메라(31)의 위치와 초점, 줌 등은 고정된다. 따라서 제1 카메라(31)는 팬/틸트 기능을 가질 필요가 없다. 따라서 제1 실시예에 비하여 제1 카메라(31)의 설치비용은 상대적으로 저렴해진다.
제어부(20)는 제1 실시예와 동일하게 제1 카메라(31)를 제어하여 칠판 전체를 촬영하여 저장한다. 즉, 제어부(20)는 발판센서가 감지되지 않다가 다시 감지되면 제1 카메라(31)를 통해 칠판(42) 전체를 촬상하여 전체 이미지를 획득하여 저장한다.
앞서와 같이, 제어부(20)는 제1 카메라(31)에 의해 촬상하여 저장된 이미지들을 비교하여, 판서 여부를 판단한다.
한편, 제2 카메라(31)는 강사를 추적하여 촬영할 뿐만 아니라, 칠판 부분도 촬영한다. 따라서 제어부(20)는 판서가 된 것으로 판단되면, 제2 카메라(31)를 제어하여, 판서된 칠판 부분을 촬영하게 한다.
즉, 제어부(20)는 현재 촬영한 이미지(제2 이미지)와 직전에 획득한 이미지(제1 이미지)와 비교하여, 제2 이미지의 변경된 부분에 해당하는 칠판 부분을 촬영하도록 제2 카메라(32)를 제어한다.
그리고 제어부(20)는 제2 카메라(32)가 칠판 부분을 촬영하지 않을 경우, 제2 카메라(32)를 제어하여 강사를 촬영하게 한다. 이때, 강사의 위치는 추적센싱부(10)에 의해 감지된 위치로 정한다.
따라서 도 5의 예에서, T2 이후 △T 시간 동안과 T4 이후 △T 시간 동안에는 제2 카메라(32)로 칠판 부분 영상을 촬영하여 내보내고, 그 외 시간에는 제2 카메라(32)로 강사를 추적하여 촬영한 영상을 내보낸다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 강단영역 내의 강사의 모습뿐만 아니라, 강사가 칠판에 기재한 판서도 카메라로 촬영하는 판서 기반 강의촬영 시스템을 개발하는 데 적용이 가능하다.
10 : 추적센싱부 11 : 감지센서
20 : 제어부
31 : 제1 카메라 32 : 제2 카메라
40 : 강단영역 41 : 벽면
42 : 칠판 43 : 천장
44 : 바닥 45 : 교탁
51 : 강사 60 : 차단막
70 : 발판센서
20 : 제어부
31 : 제1 카메라 32 : 제2 카메라
40 : 강단영역 41 : 벽면
42 : 칠판 43 : 천장
44 : 바닥 45 : 교탁
51 : 강사 60 : 차단막
70 : 발판센서
Claims (9)
- 강단영역 내의 강사의 모습이나, 칠판에 기재된 강사의 판서를 카메라로 촬영하는 판서 기반 강의촬영 시스템에 있어서,
상기 강단영역 내의 교탁 후방의 바닥에 설치되어, 물체가 발판에 올려지는 것을 감지하는 발판센서;
상기 강사의 위치를 추적하여 감지하는 추적센싱부;
좌우 회전이 가능하고, 상기 강단영역 내를 촬영하는 제1 및 제2 카메라; 및,
상기 발판센서가 감지되지 않다가 다시 감지되면 상기 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교하여 변경된 부분에 해당하는 칠판 부분을 촬영하도록, 상기 제1 카메라를 제어하는 제어부를 포함하고,
상기 제어부는 상기 추적센싱부에 의해 감지된 강사의 위치를 촬영하도록 상기 제2 카메라를 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 강단영역 내의 강사의 모습이나, 칠판에 기재된 강사의 판서를 카메라로 촬영하는 판서 기반 강의촬영 시스템에 있어서,
상기 강단영역 내의 교탁 후방의 바닥에 설치되어, 물체가 발판에 올려지는 것을 감지하는 발판센서;
상기 강사의 위치를 추적하여 감지하는 추적센싱부;
상기 강단영역 내의 교탁 위쪽 전방에 설치되어 상기 칠판 전체만을 촬상할 수 있는 제1 카메라;
좌우 회전이 가능하고, 상기 강단영역 내를 촬영하는 제2 카메라; 및,
상기 발판센서가 감지되지 않다가 다시 감지되면 상기 제1 카메라를 통해 상기 칠판 전체를 촬상하여 전체 이미지(이하 제2 이미지)를 획득하고, 상기 제2 이미지를 직전에 획득한 전체 이미지(이하 제1 이미지)와 비교하여 변경된 부분이 있을 경우, 상기 변경된 부분에 해당하는 상기 강단영역 내의 칠판 부분을 촬영하도록 상기 제2 카메라를 제어하는 제어부를 포함하고,
상기 제어부는 상기 변경된 부분이 없을 경우, 상기 추적센싱부에 의해 감지된 상기 강단영역 내의 강사의 위치를 촬영하도록 상기 제2 카메라를 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 제1항에 있어서,
상기 제어부는 상기 제2 이미지에서 변경된 부분이 있는 경우, 상기 발판센서가 감지된 후 소정의 시간동안 상기 칠판 부분을 촬영하도록 상기 제1 카메라를 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 제1항 또는 제2항에 있어서,
상기 제어부는 상기 제2 이미지의 색상이 상기 제1 이미지에 비해, 칠판의 필기도구 색상이 더 많이 나타나는 경우에만 변경된 부분으로 판단하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 삭제
- 제1항 또는 제2항에 있어서,
상기 제어부는 상기 제1 이미지와 제2 이미지에서 강사 이미지 부분을 제외한 후 비교하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 제1항에 있어서,
상기 제어부는 상기 제2 이미지에서 변경된 부분을 모두 포함하는 직사각형의 영역에 대응되는 칠판 부분을 상기 제1 카메라로 촬영하도록 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 제2항에 있어서,
상기 제어부는 상기 제2 이미지에서 변경된 부분이 있는 경우, 상기 발판센서가 감지된 후 소정의 시간동안 상기 칠판 부분을 촬영하도록 상기 제2 카메라를 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
- 제2항에 있어서,
상기 제어부는 상기 제2 이미지에서 변경된 부분을 모두 포함하는 직사각형의 영역에 대응되는 칠판 부분을 상기 제2 카메라로 촬영하도록 제어하는 것을 특징으로 하는 판서 기반 강의촬영 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120001677A KR101287019B1 (ko) | 2012-01-05 | 2012-01-05 | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120001677A KR101287019B1 (ko) | 2012-01-05 | 2012-01-05 | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130080710A KR20130080710A (ko) | 2013-07-15 |
KR101287019B1 true KR101287019B1 (ko) | 2013-07-17 |
Family
ID=48992741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120001677A KR101287019B1 (ko) | 2012-01-05 | 2012-01-05 | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101287019B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452018A (zh) * | 2017-08-02 | 2017-12-08 | 北京翰博尔信息技术股份有限公司 | 主讲人跟踪方法及系统 |
KR101978168B1 (ko) | 2018-05-30 | 2019-05-14 | 성상욱 | 동영상 콘텐츠의 실시간 제작 방법 |
KR20200084204A (ko) * | 2019-01-02 | 2020-07-10 | 충북대학교 산학협력단 | 필기 내용을 공유하는 강의 관리 시스템 및 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102029983B1 (ko) * | 2018-01-23 | 2019-10-08 | 유혜인 | 강사 추적 장치 |
CN111008969B (zh) * | 2019-12-06 | 2023-07-18 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
KR102342693B1 (ko) * | 2020-04-29 | 2021-12-24 | 주식회사딜루션 | 홀로그램 강연 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010073815A (ko) * | 2000-01-20 | 2001-08-03 | 이진구 | 무선중계시스템을갖춘칠판 |
KR20040107954A (ko) * | 2003-06-16 | 2004-12-23 | (주)지온소프트 | 자동 강사 추적시스템 및 추적 방법 |
KR20060128799A (ko) * | 2006-11-23 | 2006-12-14 | (주)유한프리젠 | 바닥센서부를 이용한 강사추적카메라시스템 |
KR20090083997A (ko) * | 2008-01-31 | 2009-08-05 | 엘지전자 주식회사 | 스크린 연동 프로젝터 및 그 제어방법 |
-
2012
- 2012-01-05 KR KR1020120001677A patent/KR101287019B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010073815A (ko) * | 2000-01-20 | 2001-08-03 | 이진구 | 무선중계시스템을갖춘칠판 |
KR20040107954A (ko) * | 2003-06-16 | 2004-12-23 | (주)지온소프트 | 자동 강사 추적시스템 및 추적 방법 |
KR20060128799A (ko) * | 2006-11-23 | 2006-12-14 | (주)유한프리젠 | 바닥센서부를 이용한 강사추적카메라시스템 |
KR20090083997A (ko) * | 2008-01-31 | 2009-08-05 | 엘지전자 주식회사 | 스크린 연동 프로젝터 및 그 제어방법 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452018A (zh) * | 2017-08-02 | 2017-12-08 | 北京翰博尔信息技术股份有限公司 | 主讲人跟踪方法及系统 |
CN107452018B (zh) * | 2017-08-02 | 2020-04-07 | 北京翰博尔信息技术股份有限公司 | 主讲人跟踪方法及系统 |
KR101978168B1 (ko) | 2018-05-30 | 2019-05-14 | 성상욱 | 동영상 콘텐츠의 실시간 제작 방법 |
KR20200084204A (ko) * | 2019-01-02 | 2020-07-10 | 충북대학교 산학협력단 | 필기 내용을 공유하는 강의 관리 시스템 및 방법 |
KR102192558B1 (ko) | 2019-01-02 | 2020-12-17 | 충북대학교 산학협력단 | 필기 내용을 공유하는 강의 관리 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20130080710A (ko) | 2013-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101287019B1 (ko) | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 | |
KR100936816B1 (ko) | 카메라와 마크 출력에의한 포인팅 장치 | |
EP0840200B1 (en) | Interactive desktop system with adjustable image display | |
US20110249019A1 (en) | Projection system and method | |
JP2015119277A (ja) | 表示機器、表示方法及び表示プログラム | |
US6550922B2 (en) | Audio-video recording of overhead projector based presentations | |
KR101686143B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
KR101613438B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
JP6866467B2 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
TW201209773A (en) | Object exhibition system and method | |
US20100110211A1 (en) | Image presentation angle adjustment method and camera device using the same | |
KR101518696B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
JPH07160412A (ja) | 指示位置検出方法 | |
KR101367700B1 (ko) | 감지센서를 이용한 강의촬영 시스템 | |
KR101502683B1 (ko) | 3차원 센서를 이용한 강사 추적 시스템 | |
TWI690207B (zh) | 物件追蹤方法 | |
KR101595880B1 (ko) | 동영상 촬영 시스템 및 방법 | |
JP4300503B2 (ja) | 資料提示装置 | |
EP3529982B1 (en) | Video zoom controls based on received information | |
JP4195844B2 (ja) | 移動可能な移動体撮像装置 | |
JP2004198817A (ja) | プレゼンテーション装置 | |
KR20120139914A (ko) | 자동 위치 추적 및 녹화 시스템 | |
JP2005148451A (ja) | スペクトル選択機構付き撮像素子を持つプロジェクタ | |
JP5729056B2 (ja) | 画像処理装置および画像処理方法 | |
TW201122706A (en) | Front projection system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160707 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170711 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180712 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190712 Year of fee payment: 7 |