KR20180111383A

KR20180111383A - 회의실 통합제어시스템 및 그 방법

Info

Publication number: KR20180111383A
Application number: KR1020170042284A
Authority: KR
Inventors: 장정현; 성민욱; 권대환
Original assignee: 캐논코리아비즈니스솔루션 주식회사
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2018-10-11

Abstract

본 발명은 회의실 통합제어시스템 및 그 방법에 관한 것으로, 음성신호를 인식하는 마이크와 영상신호를 인식하는 카메라와 회의실 통합제어시스템에서 나오는 출력부인 스피커와 외부와의 통신에 필요한 통신 모듈과 통합회로가 있는 통합회로부와 회의실 통합제어시스템을 제어하는 제어부로 구성되어 모션인식과 음성인식을 기반으로 회의실을 제어하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법을 제공하여, 음성인식과 모션인식 기능을 머신 러닝을 통하여 데이터를 누적해 나아감으로써 처리속도와 오차율 감소의 효과가 있다. 또한, 별도의 광 투사장치나 추가 인력 없이 음성인식, 모션인식 데이터를 습득할 수 있어, 경제적 효과도 기대할 수 있다.

Description

회의실 통합제어시스템 및 그 방법{INTEGRATED CONTROL SYSTEM FOR MEETING ROOM}

본 발명은 회의실 통합제어시스템 및 그 방법에 관한 것으로, 보다 상세하게는 카메라와 마이크를 통하여 사용자의 음성과 동작을 인식하고 음성인식과 모션특징 분석을 통하여 사용자의 의도에 부합하는 명령을 수행하는 회의실 통합제어 시스템을 제공하기 위한 것이다.

종래의 음성인식을 통한 속기 시스템인 회의실 실시간 속기 시스템(공개특허 10-2004-0036175)의 동작을 설명한다.

회의시 실시간 속기 시스템은 회의실 시스템과 원격자 시스템으로 크게 나뉘며, 회의실 시스템은 사용자의 음성을 입력받는 마이크, 입력받은 음성을 제어하는 음성입력 제어수단, 회의실과 속기사를 연결하는 회의실 통신수단, 속기화면, 속기문자입력 제어수단 그리고 키입력수단으로 구성된다.

원격자 시스템은 원격자 통신수단, 수정화면, 문자수정 및 합성 제어수단, 키입력수단, 디지털 음성녹음 제어수단, 저장수단 그리고 헤드폰으로 구성된다.

종래 발명은 회의실 실시간 속기 시스템에 관한 것으로, 회의실에서 속기를 하고 원격지 사무실에서 수정속기를 할 수 있도록 하여 속기 인원 제한 문제를 보완하도록 한 것이다. 이는 회의실 시스템과 원격지 시스템으로 분리 설치하고, 이들간에 통신 연결하며, 회의실에서 최소인원의 속기사가 속기 입력한 문자들을 원격지 사무실에 전송함과 아울러 회의실의 발언 음성들을 입력받아 원격지 시스템에 전송하고, 원격지 시스템에서 음성을 들으면서 수정속기사들이 수정 속기하도록 함에 특징이 있다. 또한, 본 발명은, 실시간 속기된 내용을 텍스트 화면으로 제공하여 회의나 재판시에 이전 발언 내용을 확인할 수 있게 하고, 현재 회의에서의 속기내용과 함께 참고자료나 이전 회의 또는 이전 재판에서의 발언내용을 비교할 수 있도록 한 화면에 보여줄 수 있도록 한 것에 특징이 있다

하지만, 상기의 회의실 실시간 속기 시스템은 음성을 이용하여 회의록을 작성하는 기능을 가지고 있으나, 그 기능에 있어 기술의 불완전성으로 인하여, 속기사가 통신을 통하여 실시간으로 데이터를 받아 작성해주어야 하는 기술적 한계가 발생하는 문제점이 있었다.

또 다른 종래의 발명으로서 모션 센서를 통한 대형 스크린 활용형 디스플레이 시스템인 모션 센서 기반 사용자 움직임 반응을 이용한 대형 벽면 스크린 활용형 디스플레이 시스템 및 방법(공개특허 10-2015-0068187)의 동작을 설명한다.

모션 센서 디스플레이 시스템은 적외선을 투사하는 빔프로젝터, 적외선 반사광을 인식하는 모션 센서 그리고 대형 스크린으로 구성된다.

모션 센서가 적외선을 빔프로젝터를 향해 투사하게 되면 사용자에 반사되어 돌아오는 반사광을 분석해, 사용자의 동작을 인식한다.

모션 센서가 대형 벽면 스크린 전방의 사용자 움직임 검출을 위해 적외선 파장의 빛을 다수의 도트 형상으로 출력하면 모션 센서가 다수의 도트들이 사용자 및 주변 사물에 반사된 적외선 반사 영상을 감지하게 된다. 이후, 적외선 반사 이미지에 대한 특징점 처리 과정을 걸쳐 사용자 형태를 추출하고, 이를 기반으로 사용자의 위치정보, 이동경로, 동작 등을 포함하는 반영 데이터를 실시간으로 생성한다. 실시간 반영 데이터는 디스플레이 서버로 전송된 이후, 해당 영상 콘텐츠로 변환되어 프로젝터에 의해 벽면 스크린으로 영사된다.

하지만, 상기의 모션 센서 기반 사용자 움직임 반응을 이용한 대형 벽면 스크린 활용형 디스플레이 시스템 및 방법은 사용자의 동작 인식을 위하여 별도의 적외선 투사장치와 인식 장치가 필요하다는 문제점이 있다.

따라서, 본 발명은 상기 문제를 해결하고자 안출된 것으로, 회의실 통합제어시스템의 회의내용 음성인식 기록의 알고리즘 개선을 통하여 불완전한 음성인식을 해결하고, 머신 러닝을 통하여 꾸준히 데이터를 누적해, 오차를 줄이는 알고리즘을 제공하고, 회의실 사용자의 동작인식에 있어 적외선 방식의 물체 인식이 아닌 컴퓨터 비전을 사용함으로써, 별도의 적외선 투사장치 필요 없이 자연광만으로 물체의 인식이 가능하게 하는 회의실 통합제어시스템 및 그 방법을 제공하고자 한다.

상기 과제를 해결하기 위하여 본 발명은, 회의실 통합제어시스템에 있어서 음성신호를 인식하는 마이크와 영상신호를 인식하는 카메라와 회의실 통합제어시스템에서 나오는 출력부인 스피커와 외부와의 통신에 필요한 통신 모듈과 통합회로가 있는 통합회로부와 회의실 통합제어시스템을 제어하는 제어부로 구성되어 모션인식과 음성인식을 기반으로 회의실을 제어하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법을 제공한다.

상기한 바와 같이, 본 발명에 따른 회의실 통합제어시스템 및 그 방법에 따르면, 음성인식과 모션인식 기능을 머신 러닝을 통하여 데이터를 누적해 나아감으로써 처리속도와 오차율 감소의 효과가 있다. 또한, 별도의 광 투사장치나 추가 인력 없이 음성인식, 모션인식 데이터를 습득할 수 있어, 경제적 효과도 기대할 수 있다.

도 1은 본 발명의 일실시예에 따른 회의실 통합제어시스템을 나타낸 개요도.
도 2는 본 발명의 일실시예에 따른 회의실 통합제어시스템을 나타낸 구성도.
도 3은 본 발명의 일실시예에 따른 회의실 통합제어시스템 및 그 방법의 음성인식과 모션인식의 실행흐름를 나타내는 순서도.

이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 참고하여 상세하게 설명한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그 상세한 설명을 생략하기로 한다. 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였고, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 부여하였으며, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

도 1 내지 도 2는 본 발명의 일실시예에 따른 회의실 통합제어시스템을 나타낸 개요도 및 구성도이다.

도 1 내지 도 2를 참조하면, 본 발명에 따른 회의실 통합제어시스템은 음성신호를 인식하는 마이크(110)와 영상신호를 인식하는 카메라(120)와 회의실 통합제어시스템(100)에서 나오는 출력부인 스피커(130)와 외부와의 통신에 필요한 통신 모듈(140)과 통합회로가 있는 통합회로부(150)와 회의실 통합제어시스템(100)을 제어하는 제어부(160)로 이루어진다.

마이크(110)는 압전 피에조소자를 이용하여 음성신호를 전기신호로 변환하는 음성처리부와; 마이크 신호를 증폭하는 마이크 증폭부(112)를 통해 마이크 신호를 음성검출부(113)로 보낸 뒤, 음성인식부(114)를 통해 제어부(150)가 음성신호를 인식할 수 있도록 하는 입력장치이다. 스테레오 마이크를 이용하여 각 소리의 세기를 비교하여 소리가 난 방향을 인식할 수 있게 하였다.

카메라(120)는 영상신호를 전기신호로 변환하는 모션검출부(121)와 모션을 인식하는 모션인식부(122), 카메라신호를 증폭하는 카메라 증폭부(123)로 구성되어 있다. 원하는 곳을 볼 수 있도록 하는 복수의 서보모터로 이루어진다. 서보모터의 제어는 통합회로부(150)에 의해 제어되며, 피치(Pitch), 요(Yaw) 방향으로 회전하여 회의실 내를 자유롭게 볼 수 있도록 하였다.

통신 모듈(140)은 회의실 자체 서버(141)나 외부 서버(142)와 통신하는데 사용되는 모듈이다. 통신 모듈을 통해 회의실 내의 회의실 통합제어시스템(100) 외 다른 전자기기(인쇄장치, 프로젝터 등)를 제어하거나 외부 서버(142)와 통신하여 펌웨어를 업그레이드 하는데 사용된다.

통합회로부 (150)는 카메라(120)와 스피커(130)에서 출력하는 전기신호를 입력 받아 회의실의 상태와 유저의 말과 행동을 인식하는 정보처리장치와, 펌웨어가 내장되어 있는 메모리에서 읽어들인 주소를 기반으로 머신 러닝 알고리즘이 들어있는 외부 서버(142)와 통신을 통해 해당하는 동작을 수행한다.

제어부(160)는 음성을 제어하는 음성제어부(161)과 음성데이터를 저장하는 음성메모리(162), 모션을 제어하는 모션제어부(163), 모션데이터를 저장하는 모션메모리(164)와 조작용 키패드(165), 상태 및 결과를 표시하는 표시부(166), 메모리(167), 데이터베이스(168)와 신호처리를 위한 코덱(169), 각각의 기능을 온/오프하는 아날로그 스위치(170)로 구성된다.

도 3은 본 발명의 일실시예에 따른 회의실 통합제어시스템 및 그 방법의 음성인식과 모션인식의 실행흐름를 나타내는 순서도이다.

도 3을 참조하여 상기회의실 통합제어시스템 및 그 방법에 있어서 모션인식 및 음석인식의 알고리즘을 설명한다.

우선, 모션인식의 알고리즘은 다음과 같다. 모션검출부(121)에서 화상데이터를 수신하는 단계와 상기 수신된 화상데이터를 전기신호로 변환하는 단계와, 상기 변환된 전기신호를 디지털화하여 메모리(167)에 저장하는 단계와 상기 영상신호의 인식율을 높이기 위하여 노이즈 제거와 컴퓨터가 처리하기 편하게 자연화상을 변환시키는 전처리 과정(Gaussian Filtering)을 거치는 단계와 상기 전처리 과정후 물체의 외곽선을 검출하기 위해 캐니 엣지(Canny edge)를 검출하는 단계와 상기 검출된 캐니 엣지를 기반으로 허프 트랜스포메이션(Huff Transformation)을 통해 패턴을 인식하는 단계와 상기 인식된 화상을 기반으로 해당하는 동작을 진행하는 것을 포함한다.

또한, 음성인식의 알고리즘은 다음과 같다. 음성검출부(113)에서 음성신호를 수신하는 단계와 상기 수신된 음성 신호를 전기신호로 변환하는 단계와, 상기 변환된 전기신호를 디지털화 하여 메모리(167)에 저장하는 단계와 상기 음성신호의 인식율을 높이기 위하여 전처리 과정(Median Filtering)을 거치는 단계와 상기 전처리 과정을 거친 음성 데이터를 기계학습 알고리즘을 이용하여 분석하는 단계와 상기 분석된 음성데이터를 통해 음성을 인식하고, 상기 해당하는 음성의 동작을 진행하는 단계를 포함하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법을 제공하고자 한다.

이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 회의실 통합제어시스템
110 : 마이크
112 : 마이크 증폭부
113: 음성 검출부
114: 음성 인식부
120 : 카메라
121 : 모션 검출부
122 : 모션 인식부
123 : 카메라 증폭부
124 : 서보모터
130 : 스피커
140 : 통신모듈
150 : 통합회로부
160 : 제어부

Claims

회의실 통합제어시스템에 있어서
음성신호를 인식하는 마이크와 영상신호를 인식하는 카메라와
회의실 통합제어시스템에서 나오는 출력부인 스피커와
외부와의 통신에 필요한 통신 모듈과 통합회로가 있는 통합회로부와
회의실 통합제어시스템을 제어하는 제어부로 구성되어 모션인식과 음성인식을 기반으로 회의실을 제어하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법.
제1항에 있어서
상기 모션인식을 기반으로 회의실을 제어하는 방법은
모션검출부에서 화상데이터를 수신하는 단계와
상기 수신된 화상데이터를 전기신호로 변환하는 단계와
상기 변환된 전기신호를 디지털화하여 메모리에 저장하는 단계와
상기 영상신호의 인식율을 높이기 위하여 노이즈 제거와 컴퓨터가 처리하기 편하게 자연화상을 변환시키는 전처리 단계와
상기 전처리 단계후 물체의 외곽선을 검출하기 위해 캐니 엣지를 검출하는 단계와
상기 검출된 캐니 엣지를 기반으로 허프 트랜스포메이션을 통해 패턴을 인식하는 단계와 상기 인식된 화상을 기반으로 해당하는 동작을 진행하는 것을 포함하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법.
제1항에 있어서
상기 음성인식을 기반으로 회의실을 제어하는 방법은
음성검출부에서 음성신호를 수신하는 단계와
상기 수신된 음성 신호를 전기신호로 변환하는 단계와
상기 변환된 전기신호를 디지털화 하여 메모리에 저장하는 단계와
상기 음성신호의 인식율을 높이기 위하여 전처리 과정을 거치는 단계와
상기 전처리 과정을 거친 음성 데이터를 기계학습 알고리즘을 이용하여 분석하는 단계와
상기 분석된 음성데이터를 통해 음성을 인식하고, 상기 해당하는 음성의 동작을 진행하는 단계를 포함하는 것을 특징으로 하는 회의실 통합제어시스템 및 그 방법.