KR101502683B1 - 3차원 센서를 이용한 강사 추적 시스템 - Google Patents
3차원 센서를 이용한 강사 추적 시스템 Download PDFInfo
- Publication number
- KR101502683B1 KR101502683B1 KR1020130058182A KR20130058182A KR101502683B1 KR 101502683 B1 KR101502683 B1 KR 101502683B1 KR 1020130058182 A KR1020130058182 A KR 1020130058182A KR 20130058182 A KR20130058182 A KR 20130058182A KR 101502683 B1 KR101502683 B1 KR 101502683B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- lecture
- instructor
- ptz
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000001454 recorded image Methods 0.000 abstract 2
- 230000006399 behavior Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 3차원 센서를 이용한 강사 추적 시스템에 관한 것으로서, 특히 3차원 센서를 포함한 적어도 하나 이상의 센서로부터 강사를 인식하여 강사의 위치 정보와 행동 정보를 포함한 강사 상태 정보를 수집하고, 상기 강사 상태 정보에 따라 PTZ 제어 명령을 산출하여 강의 영상을 촬영하는 PTZ(Pan Tilt Zoom) 카메라의 동작을 제어하는 강사 추적 장치; 상기 PTZ 카메라로부터 강사를 포함한 강의 모습을 촬영한 카메라의 강의 영상을 전송받아 녹화하고, 로컬 단말기를 통해 출력되는 단말기의 교육자료 컨텐츠 영상을 녹화하는 영상 녹화 장치; 및 상기 영상 녹화 장치에 녹화된 강의 영상과 상기 강사 상태 정보를 통합하여 강의 동영상을 생성하여 VOD(Video On Demand) 서비스를 제공하고, 상기 VOD 서비스의 내용, 상기 영상 녹화 장치의 녹화 영상 및 상기 강사 추적 장치의 강사 상태 정보를 백업(Backup)하는 영상 제어 서버를 포함한다. 따라서, 본 발명은 적어도 하나 이상의 3차원 센서를 통해 강사 상태 정보를 수집하고, 강사의 행동 정보를 포함한 이벤트 정보를 분석하여 시나리오 동작 정보를 생성한 후에 이 시나리오 동작 정보에 따라 PTZ 카메라를 제어하며, PTZ 카메라에서 획득한 강의 영상을 자동 녹화하고, 이렇게 녹화된 강의 영상과 강사 상태 정보를 통합한 강의 동영상을 제작하여 VOD(Video On Demand) 서비스와 백업 서비스를 제공할 수 있다.
Description
본 발명은 3차원 센서를 이용한 강사 추적 시스템에 관한 것으로, 보다 상세하게는 강사의 위치 정보와 행동 정보를 포함한 강사 상태 정보에 따라 PTZ 카메라를 제어하고, PTZ 카메라에서 획득한 강의 영상을 자동 녹화하며, 강의 영상, 강의에 활용한 교육자료 컨텐츠 영상, 강사 상태 정보를 통합한 강의 동영상을 제작하여 VOD(Video On Demand) 서비스를 제공하는 3차원 센서를 이용한 강사 추적 시스템에 관한 것이다.
현재 다양한 교육용 컨텐츠들이 제공되고 있으며, 교육용 영상 컨텐츠로는 강사의 강의 육성을 녹음한 교육용 음성 컨텐츠, 강의에 사용된 교육자료 컨텐츠, 강사의 강의 모습을 카메라로 녹화한 강의 영상 컨텐츠 등이 활용되고 있다.
특히, 최근 인터넷의 발달과 원격 교육의 수요가 증가함에 따라 교육용 영상 컨텐츠의 손쉬운 제작 기술이 요구되고 있다.
교육용 영상 컨텐츠의 제작에 필요한 강사의 강의 모습을 녹화하기 위해서는 강사가 강의를 실시하는 강의실 내에 카메라를 설치하고, 카메라의 조작이 능숙한 카메라 촬영 기사가 강사의 움직임에 따라 강사를 줌 인(zoom in) 또는 줌 아웃(zoom out)하고 카메라의 위치를 변경하면서 강사를 촬영하여 강의 과정을 현장감 있게 녹화하여야 한다.
이러한 종래의 강의 촬영 방법은 강사의 강의 모습을 촬영하기 위해 카메라의 조작이 능숙한 촬영 기사가 반드시 필요하며, 강사의 움직임에 따라 촬영 기사가 카메라의 위치를 변경하면서 촬영하여야 하므로 촬영 기사는 매우 분주하게 카메라를 수동으로 조작하면서 촬영하여야만 하는 불편한 점이 있었다.
상기와 같은 문제점을 해결하고자, 자동으로 강사를 추적하여 강의를 촬영하는 기술들이 제시되고 있다.
선행기술자료로써, 공개특허공보 제10-2004-0107954호(2004.12.23공개)를 보면, 자동 강사 추적시스템 및 추적 방법에 관한 기술내용이 공개되어 있다.
도 1은 종래기술의 일 실시예에 따른 의한 자동 강사 추적 시스템을 설명하는 도면이다.
도 1을 참고하면, 자동 강사 추적시스템 및 추적 방법은, 강단의 한쪽면에 일정한 높이와 일정한 간격으로 일렬로 배열되어 강사의 위치를 검출하기 위한 다수의 센서(100), 줌인/줌아웃 기능과 틸팅, 패닝 동작이 가능하여 제어명령에 따라 강사를 추적하면서 촬영할 수 있는 비디오 카메라(300), 및 센서(100)의 감지신호를 입력받아 해당 강사 위치로 비디오 카메라(300)를 이동시키는 컨트롤러(200)로 구성된다.
종래 자동 강사 추적시스템 및 추적 방법에서는 다수의 센서들(100)이 적외선 감지센서들로 구성되는데, 적외선 감지센서들은 발광부와 수광부가 일체로 형성되어 발광부를 통하여 적외선을 전방으로 발사하고, 발사된 적외선이 물체로부터 반사된 적외선을 수광부로 수광함으로써 물체를 감지한다.
적외선 감지센서들의 감지거리는 조정볼륨을 통하여 강단의 전후 폭을 감안하여 대략 1.5m 이내로 조정된다. 또한, 강단의 우측 또는 좌측에 교탁이 설치된 경우에는 교탁이 감지되지 않도록 대응하는 센서들의 감지거리를 조정하여 세팅한다.
그러나, 종래의 자동 강사 추적 시스템은 강단의 일정한 높이에 일렬로 적외선 센서를 설치하고 일정 반경 내에 강사가 좌우로 움직일 때 이를 감지하는 방식으로, 발광부는 계속 적외선을 송출하고 수광부는 강사에 의해 부딪쳐 반사된 신호를 수신하며, 컨트롤러가 수신된 센서의 위치를 추적하므로 강사가 강단을 벗어난다든지 또는 강단에 2인 이상이 있는 경우 위치추적을 하지 못하는 문제점이 있다.
또한, 일반적인 센서는 감지거리를 정확하게 조절하는 것이 어렵고, 정확한 감지거리를 측정하는 센서는 고가이므로, 비용이 많이 든다는 문제점이 있다. 또한, 교탁 등의 위치는 달라질 수 있기 때문에 강단의 위치가 변경될 때마다 각 센서(100)의 감지거리를 조절해야 하는 번거로움이 있다.
한편, 종래의 강사 추적 시스템들 중에서 바닥에 중량 감지센서가 부착된 매트리스를 깔아 강사를 추적하는 방법은 2인 이상 감지시 어떤 사람을 추적해야 할지 알 수 없으며, 강단에만 시공하여야 하기 때문에 강사의 추적 반경을 매트리스가 설치된 공간으로 제한할 수밖에 없어 강사의 자유로운 이동을 보장하지 못하는 문제점이 있다.
그리고, 종래의 강사 추적 시스템들 중에서 특정 색 추적에 의한 시스템은 색을 추적하는 카메라가 고정되어 있고, 피사체가 색 추적 카메라의 화각을 벗어나면 추적할 수 없어 촬영범위(칠판 크기, 강단 크기/전면 고정)가 극히 제한적이고, 색 추적카메라의 앵글 안에 추적색상과 동일한 색상이 다수 존재할 경우 추적이 안 되는 문제점이 있다.
이와 같이, 종래의 무인촬영기술을 적용한 강사 추적 시스템은 촬영대상인 강사의 위치를 추적하는데 그 기술적 한계로 인하여 보급 또한 수요에 비하여 저조한 실정이다.
본 발명은 적어도 하나 이상의 3차원 센서를 통해 강사의 위치 정보와 행동 정보를 수집하여 강사 상태 정보를 산출하고, 강사의 행동 정보를 포함한 이벤트 정보를 분석하여 시나리오 동작 정보를 생성한 후에 이 시나리오 동작 정보에 따라 PTZ 카메라를 제어하며, PTZ 카메라에서 획득한 강의 영상을 자동 녹화하고, 이렇게 녹화된 강의 영상과 강의에 활용한 교육자료 컨텐츠를 통합한 강의 동영상을 제작하여 VOD(Video On Demand) 서비스와 백업 서비스를 제공하는 3차원 센서를 이용한 강사 추적 시스템을 제공한다.
실시예들 중에서, 3차원 센서를 이용한 강사 추적 시스템은, 3차원 센서를 포함한 적어도 하나 이상의 센서로부터 강사를 인식하여 강사의 위치 정보와 행동 정보를 포함한 강사 상태 정보를 수집하고, 상기 강사 상태 정보에 따라 PTZ 제어 명령을 산출하여 강의 영상을 촬영하는 PTZ(Pan Tilt Zoom) 카메라의 동작을 제어하는 강사 추적 장치; 상기 PTZ 카메라로부터 강사를 포함한 강의 모습을 촬영하는 카메라의 강의 영상을 전송받아 녹화하고, 동시에 로컬 단말기를 통해 출력되는 단말기의 교육자료 영상을 녹화하는 영상 녹화 장치; 및 상기 영상 녹화 장치에 녹화된 강의 영상들과 상기 강사 상태 정보를 통합하여 강의 동영상을 생성하여 VOD(Video On Demand) 서비스를 제공하고, 상기 VOD 서비스의 내용, 상기 영상 녹화 장치의 녹화 영상 및 상기 강사 추적 장치의 강사 상태 정보를 백업(Backup)하는 영상 제어 서버를 포함한다.
상기 강사 추적 장치는, 컬러(RGB) 이미지 센서, 적외선 센서 또는 심도 센서 중 적어도 하나 이상의 3차원 센서를 포함하고, 상기 3차원 센서를 통해 컬러 영상과 깊이 영상을 합성하여 3차원의 인물 영상을 수집하고, 상기 3차원의 인물 영상에서 현재 강사의 위치 정보, 얼굴 인식 정보, 뼈대 정보 및 행동 정보를 추출하여 강사 상태 정보를 출력하는 센서 모듈; 및 상기 강사 상태 정보를 상기 얼굴 인식 정보, 뼈대정보 및 행동 정보를 포함한 이벤트 정보와 강사의 위치 정보로 구분하고, 상기 이벤트 정보에 따라 시나리오 동작 정보를 작성한 후에 상기 PTZ 제어 명령을 산출하며, 상기 강사 위치 정보를 기초로 하여 상기 PTZ 카메라의 이동 위치 정보값을 연산하여 상기 PTZ 카메라로 전송하는 PTZ 제어 모듈을 포함할 수 있다.
상기 센서 모듈은, 상기 3차원의 인물 영상에서 얼굴색 영역을 검출하여 얼굴 인식 정보를 생성하고, 상기 얼굴 인식 정보에서 눈 영역을 선택하여 상기 눈 영역에 대한 방향을 검출함으로써 얼굴 방향을 확인하는 얼굴 인식부; 상기 3차원의 인물 영상에서 깊이 영상을 추출하고, 인체의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 영상에서 뼈대 정보를 추출하는 뼈대 추출부; 상기 얼굴 인식 정보와 뼈대 정보를 통합하여 상기 강사의 얼굴 방향과 손의 위치 정보를 추출함으로써 현재 강사 위치 정보와 행동 정보를 포함한 강사 상태 정보를 출력하는 데이터 제어부; 및 상기 PTZ 제어 모듈 또는 상기 PTZ 카메라와의 데이터를 송수신하도록 통신을 수행하는 통신부를 포함할 수 있다.
상기 PTZ 제어 모듈은, 상기 센서 모듈로부터 상기 강사 상태 정보를 수신하는 데이터 수신부; 상기 강사 상태 정보를 분석하여 상기 강사 위치 정보와 이벤트 정보로 구분하는 데이터 분석부; 상기 PTZ 카메라의 설치 환경에 따른 보정값을 설정하여 전송하는 위치 보정부; 상기 데이터 분석부에서 전송받은 강사 위치 정보와 상기 위치 보정부에서 전송받은 보정값을 기준으로 하여 상기 강사 위치 정보를 연산하여 상기 PTZ 카메라의 이동 위치 정보값을 산출하는 위치 제어부; 상기 데이터분석부에서 전송받은 이벤트 정보에 따른 이벤트 로그 정보를 저장하고, 상기 저장된 이벤트 로그를 참조하여 현재 강사 위치 정보와 과거 강사 위치 정보를 토대로 시나리오 동작 정보를 작성하는 이벤트 관리부; 상기 위치 제어부의 상기 PTZ 카메라의 이동 위치 정보값과 상기 이벤트 관리부의 시나리오 동작 정보를 통합한 PTZ 제어 명령을 상기 PTZ 카메라에 전송하는 통신부를 포함할 수 있다.
상기 영상 녹화 장치는, 관리자에 의해 상기 강의 영상의 녹화 과정에 대한 감시 및 제어 명령을 전송하고, 상기 PTZ 카메라의 수동 조작 명령을 전송하는 사용자 명령 입력부를 추가로 포함할 수 있다.
본 발명의 3차원 센서를 이용한 강사 추적 시스템은 적어도 하나 이상의 3차원 센서를 통해 강사의 위치 정보와 행동 정보를 수집하여 강사 상태 정보를 산출하고, 강사의 행동 정보를 포함한 이벤트 정보를 분석하여 시나리오 동작 정보를 생성한 후에 이 시나리오 동작 정보에 따라 PTZ 카메라를 제어함으로써 강사의 위치 정보와 손의 위치 및 얼굴 방향 등의 행동 정보를 추적하면서 무인으로 강의 내용을 자동 촬영할 수 있고, 카메라 촬영 기사의 움직임이나 카메라 작동 중에 발생하는 소음 등이 최소화되어 강의 도중 발생되는 카메라 조작 소음으로 인한 수강생의 집중력 저하를 최소화할 수 있는 효과가 있다.
또한, 본 발명의 3차원 센서를 이용한 강사 추적 시스템은 PTZ 카메라에서 획득한 강의 영상을 자동 녹화하고, 이렇게 녹화된 강의 영상과 강의에 활용된 교육자료를 녹화한 교육자료 컨텐츠 영상 및 강사 상태 정보를 통합한 강의 동영상을 제작하여 기존의 복잡한 촬영과 편집의 과정을 자동화하므로 비교적 빠른 시간 내에 VOD(Video On Demand) 서비스와 백업 서비스를 제공할 수 있는 효과가 있다.
도 1은 종래기술의 일 실시예에 따른 의한 자동 강사 추적 시스템을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 센서를 이용한 강사 추적 시스템의 구성을 설명하는 블록도이다.
도 3은 도 1의 강사 추적 장치의 구성을 설명하는 블록도이다.
도 4는 도 1의 영상 녹화 장치의 구성을 설명하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 센서를 이용한 강사 추적 시스템의 구성을 설명하는 블록도이다.
도 3은 도 1의 강사 추적 장치의 구성을 설명하는 블록도이다.
도 4는 도 1의 영상 녹화 장치의 구성을 설명하는 블록도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 2는 본 발명의 일 실시예에 따른 3차원 센서를 이용한 강사 추적 시스템의 구성을 설명하는 블록도이다.
도 2를 참고하면, PTZ 카메라(101), 강사 추적 장치(100), 영상 녹화 장치(200) 및 영상 제어 서버(300)를 포함한다.
PTZ 카메라(101)는 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능을 사용하여 강사를 포함한 강단 또는 강의실 영역을 촬영하고, 원격지의 강사 또는 수강생을 확대 촬영할 수 있으며, 움직이는 대상을 자동으로 추적할 수 있다.
강사 추적 장치(100)는 3차원 센서를 포함한 적어도 하나 이상의 센서로부터 강사 상태 정보를 수집하고, 수집된 강사 상태 정보에 따라 PTZ 카메라(101)의 통신 프로토콜에 따라 재가공한 PTZ 제어 명령을 산출하여 PTZ 카메라(101)의 동작을 제어한다.
영상 녹화 장치(200)는 PTZ 카메라(101)에서 촬영한 강의 영상을 전송받아 카메라 녹화하여 로컬 단말기(210)에 저장하고, 로컬 단말기(210)를 통해 출력되는 단말기의 강의 영상을 녹화한다. 이때 로컬 단말기(210)는 PC 기반의 미들웨어를 수행하는 각종 단말기가 포함될 수 있다.
영상 제어 서버(300)는 영상 녹화 장치(200)에 녹화된 강의 영상들과 강사 추적 장치(100)에서 산출된 강사 상태 정보를 통합하여 하나의 강의 동영상을 생성하여 VOD(Video On Demand) 서비스를 제공하고, VOD 서비스의 내용, 녹화 영상 및 강사 상태 정보를 백업(Backup)한다.
도 3은 도 1의 강사 추적 장치의 구성을 설명하는 블록도이다.
도 3을 참고하면, 강사 추적 장치(100)는 센서 모듈(110) 및 PTZ 제어 모듈(120)을 포함하는데, 센서 모듈(110)은 얼굴 인식부(111), 뼈대 추출부(112), 데이터 제어부(113) 및 통신부(114)를 포함한다.
얼굴 인식부(111)는 3차원의 인물 영상에서 얼굴색 영역을 검출하여 얼굴 인식 정보를 생성하고, 얼굴 인식 정보에서 눈 영역을 선택하여 눈 또는 눈동자의 위치가 어느 방향으로 향하고 있는지를 검출함으로써 얼굴 방향 정보를 확인한다. 이때, 얼굴 인식부(111)는 얼굴색 영역을 검출하기 위해 각 나라별 얼굴색 특징 정보를 포함한 학습 데이터를 사용하고, 3차원의 인물 영상에서 얼굴색 데이터에 부합하는 얼굴색 영역만을 추출한다.
뼈대 추출부(112)는 3차원의 인물 영상에서 깊이 영상을 추출하고, 인체의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 영상에서 뼈대 데이터를 분리한다.
데이터 제어부(113)는 얼굴 방향 정보와 상기 뼈대 추출부(112)에서 추출한 뼈대 정보 및 위치 보정 데이터를 근거로 하여 현재 인물의 위치 정보, 손의 위치와 같은 뼈대의 자세 정보, 얼굴 방향 정보, 행동(Motion) 정보를 포함하는 강사 상태 정보를 추출한다.
이때, 데이터 제어부(113)에 사용되는 위치 보정 데이터는 뼈대 추출부(112)에서 얻어진 10여 개의 뼈대 데이터를 인체의 각 특징점(Land-mark)에 매칭시켜 선형 변환(Linear Transformation) 방식으로 카메라 좌표계의 좌표값에서 월드 좌표계의 좌표값으로 변환하여 PTZ 카메라(101)의 이동 및 각도 등의 위치를 보정하여 획득할 수 있다.
또한, 데이터 제어부(113)는 강사 상태 정보를 토대로 PTZ 카메라(101)의 꺼짐 동작, 대기 동작, 인식 동작, 추적 동작 중 어느 하나의 동작 상태를 결정하는 동작 상태 정보를 PTZ 제어 명령에 포함할 수 있다.
통신부(114)는 데이터 제어부(113)의 제어에 의해 PTZ 카메라(101)와 PTZ 제어 모듈(120)과 통신을 수행한다.
한편, PTZ 제어 모듈(120)은 데이터 수신부(121), 데이터 분석부(122), 위치 보정부(123), 위치 제어부(124), 이벤트 관리부(125), 로그 저장부(126) 및 통신부(127)를 포함한다.
데이터 수신부(121)는 센서 모듈(110)의 통신부(114)를 통해 전송되는 강사 상태 정보를 수신한다.
데이터 분석부(122)는 강사 상태 정보를 분석하여 얼굴 인식 정보, 뼈대정보 및 행동 정보를 포함한 이벤트 정보와 강사 위치 정보를 구분하여, 이벤트 정보는 이벤트 관리부(125)로 전송하고, 강사 위치 정보는 위치 제어부(124)로 전송한다. 데이터 분석부(122)는 강사의 행동 정보에 대한 이벤트 정보를 분석하여 미리 설정된 이벤트 정보와 동일하면 이벤트 관리부(125)로 전송하고, 동일하지 않으면 강사의 행동 정보에 대한 이벤트를 다시 파악한다.
위치 보정부(123)는 PTZ 카메라(101)의 설치 환경에 따른 보정값을 설정하여 위치 제어부(124)로 전송한다.
위치 제어부(124)는 위치 보정부(123)에서 전송받은 보정값을 기준으로 하여 데이터 분석부(122)에서 전송받은 강사 위치 정보를 연산하여 PTZ 카메라(101)의 이동 위치 정보값을 산출한다.
이벤트 관리부(125)는 데이터 분석부(122)에서 전송받은 이벤트 정보에 따른 이벤트 로그 정보를 로그 저장부(126)에 저장하고, 로그 저장부(126)에 저장된 이벤트 로그를 참조하여 현재 강사 위치 정보와 과거 강사 위치 정보를 토대로 시나리오 동작 정보를 작성한다. 이때, 로그 저장부(126)는 어떠한 행동에 대한 이벤트가 발생하였는지 발생한 시간과 강사 행동에 대한 이벤트 정보를 저장하고, 영상 제어 서버(300)에서 동영상 편집시 로그 저장부(126)에 저장된 로그 정보를 사용하도록 한다.
통신부(127)는 위치 제어부(124)로부터 획득한 PTZ 카메라(101)의 이동 위치 정보값과 이벤트 관리부(125)에서 전송받은 시나리오 동작 정보를 통합하여 PTZ 제어 명령을 생성하여 PTZ 카메라(101)에 전송한다.
도 4는 도 1의 영상 녹화 장치의 구성을 설명하는 블록도이다.
도 4를 참고하면, 영상 녹화 장치(200)는 카메라의 영상 녹화부(220), 단말기의 영상 녹화부(230), 사용자 명령 입력부(240) 및 제어부(250)를 포함하지만 이에 한정되지 않고, 강의 영상을 녹화하여 저장하는 메모리부(260), PTZ 카메라(101) 및 영상 제어 서버(300)와 통신을 수행하는 통신부(270)를 더 포함할 수 있다.
카메라의 영상 녹화부(220)는 PTZ 카메라(101)에서 전송되는 강의 영상을 녹화하고, 단말기의 영상 녹화부(230)는 로컬 단말기(210), 즉 PC에서 출력되는 강의 영상을 녹화한다.
관리자는 로컬 단말기(210) 또는 영상 녹화 장치(200)에 연결된 별도의 디스플레이 장치를 통해 카메라로 촬영한 강의 영상 및 단말기의 교육자료 컨텐츠 영상에 대한 녹화 과정을 모니터링할 수 있다. 이때, 사용자 명령 입력부(240)는 관리자에 의한 감시 및 제어 명령을 전송하고, PTZ 카메라(101)의 수동 조작 명령을 전송할 수 있다. 이러한 사용자 명령 입력부(240)는 로컬 단말기(210)의 키입력 장치(키보드 또는 터치패드 등)를 이용할 수도 있고, 독립적인 장치로 구현될 수도 있다.
제어부(250)는 강의 영상의 녹화 과정, 사용자 명령의 전송 과정, 영상 신호의 수신 과정 등의 영상 녹화 장치(200)의 제반 제어 동작을 수행하는 것으로서, 로컬 단말기(210)의 제어장치로 구현될 수도 있다.
메모리부(260)는 카메라의 강의 영상과 단말기의 교육자료 컨텐츠 영상을 저장하는데, 로컬 단말기(210)의 메모리 장치로 구현될 수 있다.
통신부(270)는 PTZ 카메라(101), 로컬 단말기(210) 및 영상 제어 서버(300)와 통신을 수행한다.
다시 도 1을 설명하면, 영상 제어 서버(300)는 동영상 편집부(310), VOD 서비스 제공부(320), 백업부(330)를 포함한다.
동영상 편집부(310)는 영상 녹화 장치(200)에서 녹화된 카메라의 강의 영상, 단말기의 교육자료 컨텐츠 영상 및 강사 상태 정보를 통합하여 하나의 강의 동영상을 제작하는데, 로그 저장부(126)에 기록된 로그 정보를 이용해 프리뷰(Preview) 할 수 있다.
VOD 서비스 제공부(320)는 동영상 편집부(310)에서 제작한 강의 동영상에 대한 VOD 서비스를 실행함으로써 가정, 학교 또는 이동중에 통신 기능이 내장된 각종 멀티미디어 재생 장치를 통해 수강생이 필요로 하는 강의 영상을 원하는 시간에 제공해줄 수 있다.
백업부(330)는 VOD 서비스의 내용, 영상 녹화 장치(200)에서 전송되는 녹화 영상 및 강사 추적 장치(100)에서 전송되는 강사 상태 정보를 백업(Backup)한다.
이 외에도, 영상 제어 서버(300)는 강의 동영상을 수강생에게 제공하기 위한 웹 서비스와 스트리밍 서비스를 실행하는 각종 구성요소를 포함할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 강사 추적 장치 110 : 센서 모듈
120 : PTZ 제어 모듈 200 : 영상 녹화 장치
210 : 로컬 단말기 300 : 영상 제어 서버
310 : 동영상 편집부 320 : VOD 서비스 제공부
330 : 백업부
120 : PTZ 제어 모듈 200 : 영상 녹화 장치
210 : 로컬 단말기 300 : 영상 제어 서버
310 : 동영상 편집부 320 : VOD 서비스 제공부
330 : 백업부
Claims (5)
- 3차원 센서를 포함한 적어도 하나 이상의 센서로부터 강사를 인식하여 강사의 위치 정보와 행동 정보를 포함한 강사 상태 정보를 수집하고, 상기 강사 상태 정보에 따라 PTZ 제어 명령을 산출하여 강의 영상을 촬영하는 PTZ(Pan Tilt Zoom) 카메라의 동작을 제어하는 강사 추적 장치;
상기 PTZ 카메라로부터 강사를 포함한 강의 모습을 촬영한 카메라의 강의 영상을 전송받아 녹화하고, 로컬 단말기를 통해 출력되는 단말기의 교육자료 컨텐츠 영상을 녹화하는 영상 녹화 장치; 및
상기 영상 녹화 장치에 녹화된 강의 영상들과 상기 강사 상태 정보를 통합하여 강의 동영상을 생성하여 VOD(Video On Demand) 서비스를 제공하고, 상기 VOD 서비스의 내용, 상기 영상 녹화 장치의 녹화 영상 및 상기 강사 추적 장치의 강사 상태 정보를 백업(Backup)하는 영상 제어 서버를 포함하며,
상기 강사 추적 장치는,
컬러(RGB) 이미지 센서, 적외선 센서 또는 심도 센서 중 적어도 하나 이상의 3차원 센서를 포함하고, 상기 3차원 센서를 통해 컬러 영상과 깊이 영상을 합성하여 3차원의 인물 영상을 수집하고, 상기 3차원의 인물 영상에서 현재 강사의 위치 정보, 얼굴 인식 정보, 뼈대 정보 및 행동 정보를 추출하여 강사 상태 정보를 출력하는 센서 모듈; 및
상기 강사 상태 정보를 상기 얼굴 인식 정보, 뼈대정보 및 행동 정보를 포함한 이벤트 정보와 강사의 위치 정보로 구분하고, 상기 이벤트 정보에 따라 시나리오 동작 정보를 작성한 후에 상기 PTZ 제어 명령을 산출하며, 상기 강사 위치 정보를 기초로 하여 상기 PTZ 카메라의 이동 위치 정보값을 연산하여 상기 PTZ 카메라로 전송하는 PTZ 제어 모듈을 포함하고,
상기 센서 모듈은,
상기 3차원의 인물 영상에서 얼굴색 영역을 검출하여 얼굴 인식 정보를 생성하고, 상기 얼굴 인식 정보에서 눈 영역을 선택하여 상기 눈 영역에 대한 방향을 검출함으로써 얼굴 방향을 확인하는 얼굴 인식부;
상기 3차원의 인물 영상에서 깊이 영상을 추출하고, 인체의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 영상에서 뼈대 정보를 추출하는 뼈대 추출부;
상기 얼굴 인식 정보와 상기 뼈대 추출부에서 추출한 뼈대 정보를 통합하여 상기 강사의 얼굴 방향과 손의 위치 정보를 추출함으로써 현재 강사 위치 정보와 행동 정보를 포함한 강사 상태 정보를 출력하는 데이터 제어부; 및
상기 PTZ 제어 모듈 또는 상기 PTZ 카메라와의 데이터를 송수신하도록 통신을 수행하는 통신부를 포함하며,
상기 PTZ 제어 모듈은,
상기 센서 모듈로부터 상기 강사 상태 정보를 수신하는 데이터 수신부;
상기 강사 상태 정보를 분석하여 상기 강사 위치 정보와 이벤트 정보로 구분하는 데이터 분석부;
상기 PTZ 카메라의 설치 환경에 따른 보정값을 설정하여 전송하는 위치 보정부;
상기 데이터 분석부에서 전송받은 강사 위치 정보와 상기 위치 보정부에서 전송받은 보정값을 기준으로 하여 상기 강사 위치 정보를 연산하여 상기 PTZ 카메라의 이동 위치 정보값을 산출하는 위치 제어부;
상기 데이터분석부에서 전송받은 이벤트 정보에 따른 이벤트 로그 정보를 로그 저장부에 저장하고, 상기 저장된 이벤트 로그를 참조하여 현재 강사 위치 정보와 과거 강사 위치 정보를 토대로 시나리오 동작 정보를 작성하는 이벤트 관리부;
상기 위치 제어부의 상기 PTZ 카메라의 이동 위치 정보값과 상기 이벤트 관리부의 시나리오 동작 정보를 통합한 PTZ 제어 명령을 상기 PTZ 카메라에 전송하는 통신부를 포함하고,
상기 데이터 제어부에 사용되는 위치 보정 데이터는 뼈대 추출부(112)에서 얻어진 뼈대 데이터를 인체의 각 특징점(Land-mark)에 매칭시켜 선형 변환(Linear Transformation) 방식으로 카메라 좌표계의 좌표값에서 월드 좌표계의 좌표값으로 변환하여 PTZ 카메라(101)의 위치를 보정하여 획득하고,
상기 데이터 분석부는 강사의 행동 정보에 대한 이벤트 정보를 분석하여 미리 설정된 이벤트 정보와 동일하면 이벤트 관리부로 전송하고, 동일하지 않으면 강사의 행동 정보에 대한 이벤트를 다시 파악하며,
상기 로그 저장부는 어떠한 행동에 대한 이벤트가 발생하였는지 발생한 시간과 강사 행동에 대한 이벤트 정보를 저장하고, 영상 제어 서버에서 동영상 편집시 로그 저장부에 저장된 로그 정보를 사용하는 것을 특징으로 하는 3차원 센서를 이용한 강사 추적 시스템.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 영상 녹화 장치는,
관리자에 의해 상기 강의 영상의 녹화 과정에 대한 감시 및 제어 명령을 전송하고, 상기 PTZ 카메라의 수동 조작 명령을 전송하는 사용자 명령 입력부를 추가로 포함하는 것을 특징으로 하는 3차원 센서를 이용한 강사 추적 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130058182A KR101502683B1 (ko) | 2013-05-23 | 2013-05-23 | 3차원 센서를 이용한 강사 추적 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130058182A KR101502683B1 (ko) | 2013-05-23 | 2013-05-23 | 3차원 센서를 이용한 강사 추적 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140138390A KR20140138390A (ko) | 2014-12-04 |
| KR101502683B1 true KR101502683B1 (ko) | 2015-03-17 |
Family
ID=52459083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130058182A KR101502683B1 (ko) | 2013-05-23 | 2013-05-23 | 3차원 센서를 이용한 강사 추적 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101502683B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113596367A (zh) * | 2020-04-30 | 2021-11-02 | 华中科技大学 | 一种面向实验教学的智能课程录播系统 |
| CN113903093A (zh) * | 2021-10-09 | 2022-01-07 | 福建技术师范学院 | 一种基于视频流和人脸识别的高校课堂考勤系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040030081A (ko) * | 2001-08-15 | 2004-04-08 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3ｄ 화상 회의 시스템 |
| KR20050066400A (ko) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
| KR100989142B1 (ko) * | 2009-10-21 | 2010-10-20 | 디브이에스 코리아 주식회사 | 전자학습 컨텐츠 제공 시스템 및 방법 |
-
2013
- 2013-05-23 KR KR1020130058182A patent/KR101502683B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040030081A (ko) * | 2001-08-15 | 2004-04-08 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3ｄ 화상 회의 시스템 |
| KR20050066400A (ko) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
| KR100989142B1 (ko) * | 2009-10-21 | 2010-10-20 | 디브이에스 코리아 주식회사 | 전자학습 컨텐츠 제공 시스템 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 김희권, 이재호, 남승우, "3D 사용자 깊이정보를 이용한 제스처 인식 시스템", 2011년도 대한전자공학회 하계종합학술대회, vol.34, no.1, pp.1009-1012, 2011년. * |
| 김희권, 이재호, 남승우, "3D 사용자 깊이정보를 이용한 제스처 인식 시스템", 2011년도 대한전자공학회 하계종합학술대회, vol.34, no.1, pp.1009-1012, 2011년.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140138390A (ko) | 2014-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019216671B2 (en) | Method and apparatus for playing video content from any location and any time | |
| CN103093654B (zh) | 一种双摄像机交互式智能跟踪教学系统 | |
| CN107766788B (zh) | 信息处理装置、其方法和计算机可读存储介质 | |
| WO2019104681A1 (zh) | 拍摄方法和装置 | |
| CN106713740B (zh) | 定位跟踪摄像方法与系统 | |
| CN103248822A (zh) | 摄像终端的对焦方法及摄像终端 | |
| CN109479115A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN110933316A (zh) | 一种基于双摄交互式的教师跟踪教学系统 | |
| US10013889B2 (en) | Method and system for enhancing interactions between teachers and students | |
| CN107809563B (zh) | 一种板书检测系统、方法及装置 | |
| WO2015196514A1 (zh) | 一种在线同步课堂智能跟踪方法及系统 | |
| KR101686143B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| US20110084915A1 (en) | Adjustment system and method for camera lens | |
| KR101287019B1 (ko) | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 | |
| KR20140137564A (ko) | 인물 추적용 3차원 이미지 센싱 시스템 및 그 방법 | |
| KR101502683B1 (ko) | 3차원 센서를 이용한 강사 추적 시스템 | |
| CN203193774U (zh) | 基于空间网格技术的自动跟踪机 | |
| WO2019220752A1 (ja) | 自動追尾録画システムおよび録画制御装置 | |
| CN103546679A (zh) | 减少被摄像物体发生脱离拍摄窗口的装置及方法 | |
| KR20170113901A (ko) | 1인 미디어 방송 촬영용 방송자 추적 카메라 시스템 | |
| CN117440117A (zh) | 一种网络智慧实训室远程教学眼动切换系统与方法 | |
| CN209526805U (zh) | 一种教育录播装置 | |
| Lampi et al. | An automatic cameraman in a lecture recording system | |
| KR102404451B1 (ko) | 적외선 신호 처리를 위한 필터링 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템 | |
| US20110249124A1 (en) | Monitoring system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180220 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190304 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 6 |