KR101077267B1 - 얼굴인식 회의 속기 시스템 및 방법 - Google Patents

얼굴인식 회의 속기 시스템 및 방법 Download PDF

Info

Publication number
KR101077267B1
KR101077267B1 KR1020100004784A KR20100004784A KR101077267B1 KR 101077267 B1 KR101077267 B1 KR 101077267B1 KR 1020100004784 A KR1020100004784 A KR 1020100004784A KR 20100004784 A KR20100004784 A KR 20100004784A KR 101077267 B1 KR101077267 B1 KR 101077267B1
Authority
KR
South Korea
Prior art keywords
speaker
conference
image
face recognition
meeting
Prior art date
Application number
KR1020100004784A
Other languages
English (en)
Other versions
KR20110085160A (ko
Inventor
안문학
Original Assignee
주식회사 소리자바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소리자바 filed Critical 주식회사 소리자바
Priority to KR1020100004784A priority Critical patent/KR101077267B1/ko
Publication of KR20110085160A publication Critical patent/KR20110085160A/ko
Application granted granted Critical
Publication of KR101077267B1 publication Critical patent/KR101077267B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 얼굴인식 회의 속기 시스템 및 방법에 관한 것으로, 본 발명의 얼굴인식 회의 속기 시스템은, 카메라부, 마이크부 및 제어부의 구성을 포함한다. 상기 카메라부는 회의에 참석한 적어도 하나의 참석자를 포함하는 영상을 수집하는 적어도 하나의 카메라를 포함하며, 상기 마이크부는 상기 참석자들 중 적어도 한명의 발언자가 발언하는 오디오 신호를 수집하는 적어도 하나의 마이크를 포함하고, 상기 제어부는 사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장하거나, 저장과 동시에 재생하도록 제어함으로써, 회의와 관련된 다양한 정보들을 저장, 관리, 검색할 수 있도록 지원하고, 또한 회의 중 또는 회의 녹화 영상 재생시 발언자의 발언을 정확히 속기할 수 있도록 지원할 수 있다.

Description

얼굴인식 회의 속기 시스템 및 방법{Stenography Input System And Method For Conference Using Face Recognition}
본 발명은 회의 속기 기술에 관한 것으로, 회의 진행 중에 적어도 한 명의 발언자에 대한 영상 및 오디오 신호를 수집하여 발언자별로 저장 및 출력할 수 있도록 하며, 상기 발언자의 인물 정보를 함께 저장 및 출력할 수 있도록 지원하는 얼굴인식 회의 속기 시스템 및 방법에 관한 것이다.
원격 사용자간의 효과적인 의사전달을 위해 고려된 화상 회의 시스템은 동영상 압축 기술 및 네트워크의 발달을 통해 그 효과가 입증되고 있으며 사용 빈도가 더욱 늘어나고 있다. 특히 최근에는 이러한 화상 회의 시스템에 얼굴 인식과 발언자 분석과 같은 다양한 기능이 결합되고 있는 추세이다.
그러나 실생활에서 발생하는 대다수의 일반적인 회의의 경우 별도로 기록하거나 메모할 수 있는 시스템이 제공되지 않아, 참석자들의 메모에만 의지하고 있다. 이에 따라 회의 중 또는 회의가 종료된 이후 어떠한 참석자가 어떠한 발언을 하였는지를 명확하게 알 수 없고, 회의에서 토의된 논점이나 논점의 결론 등을 정확하게 인지하고 전파하기가 어려운 실정이다.
따라서 본 발명의 목적은 회의 중 또는 회의 녹화 영상 재생시 발언자의 발언을 정확히 속기할 수 있도록 지원하는 얼굴인식 회의 속기 시스템 및 방법을 제공함에 있다.
본 발명의 다른 목적은 회의 중에 발생하는 발언자 관련 영상과 발언을 기록하여, 향후 의사 결정이나 업무 진행시 자료로 사용할 수 있도록 지원 가능한 얼굴인식 회의 속기 시스템 및 방법을 제공함에 있다.
상술한 바와 같은 본 발명의 바람직한 실시 예에 따른 얼굴인식 회의 속기 시스템은, 카메라부, 마이크부, 제어부 및 저장부의 구성을 포함한다. 상기 카메라부는 회의에 참석한 적어도 하나의 참석자를 포함하는 영상을 수집하는 적어도 하나의 카메라를 포함하며, 상기 마이크부는 상기 참석자들 중 적어도 한명의 발언자가 발언하는 오디오 신호를 수집하는 적어도 하나의 마이크를 포함하며, 상기 제어부는 사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장하고, 발언자의 영상을 영상 인식하여 발언자의 인물 정보를 확인하도록 제어한다. 그리고, 상기 저장부는 회의 기록, 참석자들의 얼굴 인식을 위한 샘플 정보, 참석자들의 인물 정보 및 발언자의 인물 정보를 상기 발언자의 영상 및 오디오 신호와 함께 저장한다.
본 발명은 또한, 회의에 참석한 적어도 하나의 참석자들 중 발언을 수행하거나 수행할 발언자의 위치를 확인하는 과정, 상기 발언자의 영상 및 상기 발언자의 발언에 대응하는 오디오 신호를 수집하는 과정, 상기 수집된 발언자의 영상 및 상기 발언자의 오디오 신호를 저장하는 과정을 포함하는 회의 속기 방법을 개시한다. 여기서 상기 회의 속기 방법은 상기 참석자들의 얼굴 인식을 위한 샘플 정보를 저장하는 과정, 상기 참석자들의 인물 정보를 저장하는 과정, 상기 발언자의 영상을 영상 인식하여 발언자의 인물 정보를 확인하고, 확인된 인물 정보를 상기 발언자의 영상 및 오디오 신호와 함께 저장하는 과정을 포함할 수 있다.
삭제
그리고 상기 발언자의 위치를 확인하는 과정은 상기 참석자를 포함하는 전체 영상을 표시부에 출력하고, 상기 표시부에 출력된 전체 영상에 포함된 참석자들 중 특정 참석자를 발언자로 선택하는 과정, 기 저장된 스케줄 정보를 확인하고, 상기 스케줄 정보에 따라 특정 참석자를 발언자로 선택하는 과정, 상기 참석자를 포함하는 전체 영상을 획득하고, 상기 전체 영상에 포함된 각 참석자들의 얼굴 영상을 인식하여 발언을 수행하는 영상으로 인식된 참석자를 발언자로 선택하는 과정, 참석자들에 할당된 마이크들로 오디오 신호를 수집하고, 오디오 신호가 수집된 위치의 참석자를 발언자로 선택하는 과정 중 적어도 하나를 포함할 수 있다.
본 발명의 얼굴인식 회의 속기 시스템 및 방법에 따르면, 본 발명은 회의 중 발언자와 관련된 영상 및 오디오 신호를 저장 및 확인할 수 있도록 지원하고, 발언자 관련 정보를 함께 매칭함으로써, 회의와 관련된 다양한 정보들을 저장, 관리, 검색할 수 있도록 지원할 수 있다.
또한 본 발명은 회의 중 또는 회의 녹화 영상 재생시 발언자의 발언을 정확히 속기할 수 있도록 지원할 수 있다. 즉 일반적인 회의에서 여러 명의 발언자가 발언하는 경우 목소리나 외모가 비슷하여 어느 발언자의 발언인지 확인하기 어려울 때 또는 외국어, 전문용어, 사투리, 어눌한 발음 등으로 발언의 진위, 뉘앙스, 발언자 식별, 발음 확인 등 속기하기 어려운 경우가 있는데, 회의 중 회의 참석자의 얼굴을 인식하여 현재 발언자를 구분하여 줌으로써 속기를 쉽게 할 수 있도록 지원하며, 또한 특정 발언자의 발언만 따로 분류하여 저장하거나 재생함으로써 더욱 정확한 속기를 할 수 있도록 지원한다.
도 1은 본 발명의 실시 예에 따른 회의 상황의 일예를 예시적으로 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템의 구성을 개략적으로 나타낸 블록도,
도 3은 도 2의 제어부 구성을 보다 상세히 나타낸 도면,
도 4는 본 발명의 회의 기록 지원 과정을 위해 제공되는 화면 인터페이스의 일예를 나타낸 도면,
도 5는 본 발명의 실시 예에 따른 회의 속기 방법을 설명하기 위한 순서도.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 발명의 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템이 지원할 수 있는 회의 상황의 일예를 예시적으로 나타낸 도면이다.
상기 도 1을 참조하면, 회의 시작 시 다수의 참석자들은 회의석에 각자 자리에 착석하여, 일정 형태의 회의를 수행하게 된다. 이때 각 참석자들은 회의 스케줄 정보에 따라 정해진 자리에 착석하는 것이 바람직하다. 한편 본 발명의 얼굴인식 회의 속기 시스템은 크게 카메라부(130)와 마이크부(120)를 포함하며, 상기 카메라부(130)와 마이크부(120)가 수집하는 영상 및 오디오 신호를 저장, 출력 및 관리할 수 있는 전자기기를 포함할 수 있다. 이에 따라 상기 마이크는 회의장 내에서 자리 배치별로 각각 배치될 수 있도록 복수개가 마련될 수 있다. 이렇게 복수개가 마련된 마이크부(120)는 각 자리에서 수집된 오디오 정보의 구분을 위하여 ID 번호를 부여받을 수 있다. 여기서 본 발명의 얼굴인식 회의 속기 시스템이 복수 개의 마이크부(120)를 포함하는 것으로 설명하였지만 본 발명이 이에 한정되는 것은 아니다. 즉 본 발명의 얼굴인식 회의 속기 시스템은 하나의 마이크만 회의장 내에 배치될 수 도 있다.
한편, 카메라부(130)는 회의장에 참석한 참석자들의 얼굴을 촬영할 수 있는 각도에 배치되는 것이 바람직하다. 예를 들어 6명의 참석자들이 테이블 주변으로 착석하는 경우 상기 카메라부(130)는 6명 참석자들 각각의 얼굴을 촬영할 수 있는 각도를 가지도록 배치될 수 있다. 여기서, 실질적으로 테이블의 형태에 따라 참석자들 각각의 얼굴을 촬영할 수 없는 경우가 발생할 수 있다. 이에 따라 본 발명의 얼굴인식 회의 속기 시스템은 여러 개의 카메라를 특정 지점에 배치하여 참석자들 각각의 얼굴을 촬영할 수 있도록 지원할 수 있다. 이때 상기 얼굴인식 회의 속기 시스템은 복수 개의 카메라가 배치되는 경우, 각 카메라들에 ID 번호를 부여하고, 수집된 영상 신호가 어떠한 카메라로부터 수신되는지를 확인할 수 있다.
한편, 상기 도 1에서 도시한 회의장의 경우 직사각형의 탁자를 중심으로 참석자들이 병렬로 배열되는 것을 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 얼굴인식 회의 속기 시스템이 적용될 수 있는 환경은 상기 회의장의 형태나 회의장 내에 비치된 기기들에 의하여 한정되는 것은 아니며, 회의에 참석한 참석자들의 전면 얼굴 또는 측면 얼굴 등을 각각 촬영할 수 있는 카메라와, 참석자들의 발언을 수집할 수 있는 마이크 장치가 적절하게 배치될 수 있는 환경이라면 어떠한 환경이라도 적용 가능할 수 있다. 그리고 상기 카메라부(130)와 마이크부(120)는 복수 개를 운용할 수 있도록 지원하기 때문에 실질적으로 본 발명의 얼굴인식 회의 속기 시스템은 일반적인 회의 진행 과정을 별도의 제한 없이 지원 가능할 것이다.
이하 상기 회의장 내에 배치되어 회의장에서 논의되는 다양한 회의 기록의 관리를 지원할 수 있도록 하는 본 발명의 얼굴인식 회의 속기 시스템의 구성에 대하여 도 2를 참조하여 보다 상세히 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템의 구성을 개략적으로 나타낸 블록도이다.
상기 도 2를 참조하면, 본 발명의 얼굴인식 회의 속기 시스템(100)은 입력부(110), 마이크부(120), 카메라부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 여기서 상기 마이크부(120)와 상기 카메라부(130)는 회의장의 특정한 지점이나 위치 등에 나뉘어져 분포될 수 있다. 이에 따라 상기 얼굴인식 회의 속기 시스템(100)은 상기 마이크부(120)와 상기 카메라부(130)로부터 영상 및 오디오 신호를 수신할 수 있는 통신 인터페이스를 더 포함할 수 있다. 이 경우 상기 마이크부(120) 및 상기 카메라부(130) 또한 상기 얼굴인식 회의 속기 시스템(100)의 통신 인터페이스와 통신 채널을 형성할 수 있는 구성을 포함할 수 있다. 예를 들면 상기 마이크부(120) 및 카메라부(130)는 상기 얼굴인식 회의 속기 시스템(100)의 제어부(160)와 케이블 등의 유선으로 연결될 수 있다. 또한 상기 마이크부(120) 및 카메라부(130)는 상기 얼굴인식 회의 속기 시스템(100)의 제어부(160)와 무선으로 연결될 수 있다. 즉 상기 얼굴인식 회의 속기 시스템(100)의 통신 인터페이스는 상기 얼굴인식 회의 속기 시스템(100)을 운용하는 운용자 또는 시스템을 구성하는 설계자들의 의도에 따라 유무선 등의 다양한 통신 인터페이스 형태로 구현될 수 있을 것이다. 또한 상기 얼굴인식 회의 속기 시스템(100)은 수집된 오디오 신호의 출력을 위하여 스피커를 포함하는 오디오 처리부를 더 포함할 수 있다.
한편, 상술한 구성을 가지는 본 발명의 얼굴인식 회의 속기 시스템(100)은 회의가 시작되면, 저장부(150)에 저장된 회의 스케줄 정보에 따라 마이크부(120)의 활성화 및 카메라부(130)의 활성화를 제어할 수 있다. 예를 들면, 회의 스케줄 정보에 첫 번째 좌석으로 선택된 위치에 참석자가 발언하도록 계획되어 있는 경우 상기 얼굴인식 회의 속기 시스템(100)은 상기 첫 번째 좌석에 배치된 마이크부(120)에 포함된 마이크를 활성화하도록 제어하는 한편, 첫 번째 좌석에 착석한 참석자의 얼굴에 대응하는 영상을 수집하도록 카메라부(130)를 제어할 수 있다. 여기서 상기 얼굴인식 회의 속기 시스템(100)은 회의장 전체를 촬영한 전체 영상을 출력하도록 지원하며, 촬영된 이미지에 대한 영상 인식을 통하여 참석자들과 주변 배경을 분리하거나, 참석자들의 얼굴과 주변 배경을 분리하도록 지원할 수 있다. 그리고 회의 진행자 또는 회의 관리자가 특정 참석자 또는 특정 참석자의 얼굴을 입력부(110) 및 표시부(140) 등을 이용하여 선택하는 경우, 상기 얼굴인식 회의 속기 시스템(100)은 해당 참석자의 위치에 배치된 마이크부(120)를 활성화하도록 제어하여 해당 참석자가 발언하는 오디오 신호와 참석자에 관련된 영상 신호를 함께 수집 및 저장할 수 있다. 이를 위하여 상기 얼굴인식 회의 속기 시스템(100)은 전체 영상에서 참석자 또는 참석자의 얼굴과 주변 배경을 분리한 뒤, 참석자 또는 참석자의 얼굴을 표시부(140) 상에서 선택할 수 있도록 해당 오브젝트에 마이크부(120)를 링크시키도록 제어할 수 있다. 그러면 관리자가 특정 오브젝트를 선택하는 경우, 상기 얼굴인식 회의 속기 시스템(100)은 선택된 오브젝트에 대응하는 마이크를 활성화하도록 제어할 수 있다. 이때 상기 얼굴인식 회의 속기 시스템(100)은 해당 오브젝트와 마이크 매칭 등을 위하여 회의 스케줄 정보를 참조할 수 있으며, 또한 영상 인식을 통하여 선택된 오브젝트의 특징 값이 발언과 관련된 일정한 변화 예를 들면 입 모양의 변화를 가지는지를 판단할 수 있다. 이와 같이 본 발명의 얼굴인식 회의 속기 시스템(100)은 회의장 내에서 다양한 참석자들이 회의 스케줄 정보 및 회의 진행 관리자의 선택에 따라 발언을 하는 경우, 해당 발언자를 촬영한 영상 신호와 발언 내용에 대응하는 오디오 신호를 수집하여 저장할 수 있다. 또한 본 발명의 얼굴인식 회의 속기 시스템(100)은 참석자들 중에 특정 참석자가 발언을 하고자 하는 경우, 해당 발언자에게 할당된 마이크로부터 수집된 오디오 신호를 감지하여 자동으로 해당 발언자에 대응하는 영상 신호를 수집할 수 있다. 또한 상기 얼굴인식 회의 속기 시스템(100)은 참석자들의 얼굴을 인식하여 어떠한 참석자가 발언을 하고 있는지를 판단할 수 있으며, 그에 따라 발언하고 있는 참석자에 할당된 마이크를 자동으로 활성화한 후 해당 참석자의 영상 신호 및 오디오 신호를 수집할 수 있다. 이하 상기 얼굴인식 회의 속기 시스템(100)의 각 구성에 대하여 보다 상세히 설명하기로 한다.
상기 입력부(110)는 사용자 조작에 따른 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 상기 입력부(110)는 사용자 설정 및 카메라부(130)와 마이크부(120)의 기능 제어와 관련하여 입력되는 키 신호를 상기 제어부(160)로 전달한다. 특히, 본 발명의 입력부(110)는 영상 촬영 동작을 제어하기 위한 다양한 입력신호를 생성한다. 예를 들어, 상기 입력부(110)는 카메라부(130)의 셔터 기능에 해당하는 입력신호, 상기 표시부(140)에 표시되는 다양한 영상을 검색, 저장 및 삭제하기 위한 입력신호, 줌인 기능 또는 줌아웃 기능에 해당하는 입력신호, 카메라부(130)가 제공하는 다양한 사진 촬영 옵션 기능에 해당하는 입력신호 등을 생성하여 상기 제어부(160)에 전달한다. 상기 사진 촬영 옵션 기능은 사진 촬영 시 조도의 변화, 해상도의 변화, 필터 삽입, 영상 전처리 제공 기능 등을 포함한다. 상기 입력부(110)는 사용자의 키 선택에 따른 속기를 입력받을 수 있다. 이러한 입력부(110)는 키보드, 키패드, 마우스, 음성 입력 장치 등 다양한 형태로 구현될 수 있다. 또한 상기 표시부(140)가 터치스크린 형태로 제작되는 경우, 표시부(140)는 입력부(110)로서의 기능을 지원할 수 있다.
상기 마이크부(120)는 회의장 내에 배치되어 참석자들의 발언을 수집할 수 있는 적어도 하나의 마이크를 포함하는 구성이다. 이러한 마이크부(120)에 포함되는 적어도 하나의 마이크들은 USB 마이크가 될 수 있으며, 경우에 따라서 다양한 특성 예를 들면 특정 지향성을 가지는 마이크가 적용될 수 있다. 상기 마이크부(120)에 포함된 마이크들은 상기 제어부(160)의 제어에 따라 활성화 및 비활성화될 수 있다. 예를 들어, 상기 마이크부(120)에 6개의 마이크가 포함되며, 각 마이크들이 참석자들의 발언에 따른 오디오 신호를 수집할 수 있는 특정 위치에 배치되어 있다고 가정하기로 한다. 그러면 상기 6개의 마이크는 각각 일정한 ID를 부여받을 수 있으며, 제어부(160) 제어에 따라 활성화 시점이 다를 수 있다. 즉 제어부(160)는 회의 스케줄 정보에 따라 마이크들이 활성화되는 시점을 순차적으로 변경할 수 있으며, 이에 따라 상기 마이크부(120)에 포함된 각 마이크들은 순차적으로 활성화될 수 있다. 또한 상기 마이크들의 활성화 시점은 상기 입력부(110)에서 입력되는 입력 신호에 의하여 변경될 수 있으며, 또한 특정 마이크는 전술한 바와 같이 상기 카메라부(130)가 수집한 영상 신호에 대하여 영상 인식을 수행하고 그 결과에 따라 활성화될 수 있다.
상기 카메라부(130)는 회의장에 참석한 참석자들 전체 또는 참석자들 중 적어도 어느 한명에 대응하는 영상을 촬영하는 적어도 하나의 카메라를 포함한다. 이러한 카메라부(130)는 소정의 영상을 촬영하여 데이터 신호로 수신하고, 상기 데이터 신호를 제어부(160)에 전달한다. 상기 카메라부(130)가 촬영한 데이터 신호는 상기 마이크부(120)가 수집한 오디오 신호와 함께 사용자 선택에 따라 임시 저장되거나 반영구적으로 저장될 수 있다. 이러한 상기 카메라부(130)는 피사체의 영상을 촬영하여 표시부(140)에 프리뷰 화면으로 전달할 수 있다. 그리고 상기 카메라부(130)는 피사체의 영상 중 특정 영상에 반응하여 피사체 영상을 포커싱할 수 있다. 실질적으로 상기 카메라부(130)는 제어부(160) 제어에 따라 회의장 전체, 회의장의 특정 인물 또는 특정 인물의 얼굴을 촬영하도록 제어 받게 되며, 이 과정에서 수집된 영상 신호를 제어부(160)에 전달한다. 그리고 제어부(160) 제어에 따라 특정 인물 또는 특정 인물의 얼굴을 포커싱하여 촬영할 수 있으며, 포커싱된 영상 또한 제어부(160)에 전달될 수 있다.
상기 표시부(140)는 회의 스케줄 정보, 카메라부(130)가 수집한 영상 신호, 마이크부(120)가 수집한 오디오 신호에 대응하는 화면 및 다양한 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보화면 등을 표시한다. 특히 상기 표시부(140)는 상기 카메라부(130)가 촬영한 영상, 촬영한 영상을 통하여 영상 인식된 결과에 대응하는 발언자 인물 정보, 회의 시간 동안 수집된 발언자들의 정보와 발언자들의 발언 시각 및 발언 내용을 선택하여 확인할 수 있도록 지시하는 아이콘 등을 출력할 수 있다. 그리고 상기 표시부(140)는 상기 카메라부(130)가 현재 투사하고 있는 피사체에 대한 영상을 프리뷰 화면으로 제공할 수 있다. 프리뷰 화면 기능은 카메라부(130)가 실질적으로 영상을 촬영하기 이전에 피사체가 렌즈를 통하여 입사되는 영상을 보여주는 기능이다. 이러한 프리뷰 기능을 기반으로 상기 표시부(140)는 상기 카메라부(130)가 촬영한 영상을 저장하기 이전에 표시할 수 있다. 또한 상기 표시부(140)는 사용자의 영상에 대한 저장 및 삭제에 대한 확인 메시지를 표시할 수 있다. 이 과정에서 상기 표시부(140)는 카메라부(130)가 촬영한 발언자에 대한 영상 신호, 촬영한 발언자를 영상 인식할 결과에 대응하는 정보 등을 출력할 수 있으며, 해당 정보들을 리스트 형태로 출력할 수 도 있다. 그리고 상기 표시부(140)는 상기 마이크부(120)가 수집한 오디오 신호에 대응하는 음성 파형을 출력할 수 도 있다. 이러한 표시부(140)의 화면 인터페이스에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.
상기 저장부(150)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 영상 촬영 시 획득된 영상을 임시 또는 반영구적으로 저장하며, 촬영된 영상에 대하여 저장/삭제 이전에 임시로 저장하는 버퍼링 기능 및 다수의 연속 영상 중 특정 영상을 선택하는 사진 촬영 모드에서 연속 사진에 대한 임시 저장 기능을 담당한다. 이러한 상기 저장부(150)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.
상기 프로그램 영역은 얼굴인식 회의 속기 시스템(100)을 부팅시키는 운영체제(OS, Operating System) 등을 저장한다. 그리고 상기 프로그램 영역은 상기 얼굴인식 회의 속기 시스템(100)이 기타 옵션(options) 기능 예컨대, 카메라 기능, 소리 재생 기능, 이미지 또는 동영상 재생 기능 등을 지원하는 경우, 해당 기능 지원에 필요한 응용 프로그램 등을 저장한다. 특히 본 발명의 프로그램 영역은 회의 속기를 위하여 회의 기록 지원 응용 프로그램(회의 기록 지원.app)을 포함한다.
상기 회의 기록 지원 응용 프로그램(회의 기록 지원.app)은 기 설정된 회의 스케줄 정보 및 사용자 입력 신호에 따라 마이크부(120)에 포함된 적어도 하나의 마이크들의 활성화 시점을 제어하고, 카메라부(130)에 포함된 적어도 하나의 카메라의 활성화 및 카메라의 포커싱을 제어하며, 상기 마이크부(120)와 카메라부(130)를 기반으로 수집된 영상 신호와 오디오 신호를 저장하거나 표시부(140)에 출력하도록 제어한다. 이를 위하여 상기 회의 기록 지원 응용 프로그램(회의 기록 지원.app)은 회의 스케줄 정보를 확인하는 루틴, 상기 회의 스케줄 정보 및 사용자 입력에 따라 상기 마이크부(120)를 제어하는 루틴, 상기 회의 스케줄 정보 및 사용자 입력에 따라 카메라부(130)의 영상 촬영을 제어하는 루틴, 촬영된 영상을 영상 인식하기 위한 영상 인식 알고리즘을 활성화하는 루틴, 영상 인식된 데이터를 바탕으로 촬영된 영상의 인물 정보를 검색하는 루틴, 상기 마이크부(120)가 수집한 오디오 신호와 상기 카메라부(130)가 수집한 영상 신호 및 상기 인물 정보 중 적어도 하나를 통합하여 저장하도록 제어하는 루틴, 상기 오디오 신호와 영상 신호 및 인물 정보 중 적어도 하나를 표시부(140)에 출력하는 루틴을 포함할 수 있다.
상기 영상 인식 알고리즘은 피사체의 영상을 인식할 수 있는 알고리즘으로서, 피사체의 모양, 동작 상태 등을 기 저장된 영상 샘플과 비교하여 어떠한 영상인지를 판별하는 알고리즘이다. 예를 들어, 상기 피사체 영상이 인물의 얼굴에 관련된 영상일 경우, 상기 영상 인식 알고리즘은 얼굴에서 눈의 위치, 코의 위치 및 잎의 위치를 추출하고, 상기 각 위치 간의 거리의 변화 및 위치의 변화를 기반으로 현재 인물의 얼굴 상태가 어떠한 표정을 근거로 하여 형성되었는지를 판단할 수 있다.
특히, 본 발명의 영상 인식 알고리즘은 회의 중 발언자를 녹화하는 시스템에서 적어도 하나의 카메라를 사용할 때, 발언자가 위치한 곳의 카메라를 찾아서 해당 카메라를 기반으로 수집된 얼굴을 인식하게 된다. 이때 상기 회의 기록 지원 응용 프로그램은 마이크부(120)를 통한 위치 확인을 수행하고, 거리에 따라 음성 신호 크기가 줄어드는 원리 이용하여 어떠한 카메라를 활성화할지 결정할 수 도 있다.
한편, 상기 영상 인식 알고리즘 수행을 위하여 상기 회의 기록 지원 응용 프로그램은 얼굴 영역 추출 과정과 정규화 과정을 수행할 수 있다. 이를 보다 상세히 설명하면, 상기 회의 기록 지원 응용 프로그램은 발언자가 있을 것으로 추정된 위치의 카메라로부터 얻어진 영상에서 얼굴 영역을 추출하기 위해 먼저 영상 전체에 대한 히스토그램 평활화를 수행한다. 그리고 상기 회의 기록 지원 응용 프로그램은 Haar-like 특징 값을 이용하여 영상에 존재하는 다수의 얼굴 영역을 검출한다. 얼굴 영역은 얼굴 색 정보에 기반하여 주변의 배경을 삭제한 후 얼굴 객체만 추출하여 정규화 작업을 수행한다. 정규화는 얼굴 객체를 타원이라고 가정한 후 무게 중심과 장축을 구하여 이를 기준으로 얼굴이 기울어지지 않도록 보정하며 양선형 보간법을 이용하여 다양한 크기의 얼굴 객체를 일정한 크기로 확대/축소한다. 얼굴 객체 정규화 과정은 얼굴 영상 객체, 얼굴 영역의 무게 중심 구하기, 영역 좌표 값 이동, 공분산 배열 구하기, 아이겐 벨류 구하기, 아이겐 벡터 구하기, 기울기(각도) 구하기, 얼굴 영역 회전, 얼굴 영역 확대/축소, 정규화 된 얼굴 영상 객체 획득 과정을 포함할 수 있다.
그리고 상기 회의 기록 지원 응용 프로그램은 얼굴 인식 과정에서 정규화 된 얼굴 객체의 특징 값을 이용하여 신원을 확인하는 작업을 수행한다. 이때 상기 회의 기록 지원 응용 프로그램은 양쪽 눈의 중점과 코의 중점, 윗입술의 위치를 특징 값으로 사용할 수 있다. 그리고 상기 회의 기록 지원 응용 프로그램은 얼굴 비교 과정에서 유클리디안 거리를 이용하여 최소 거리일수록 유사한 얼굴이라고 판단할 수 있으며, 특징 값은 얼굴 비교 좌표계에 사상하여 사용하는데 이러한 특징 값 적용을 통하여 이미지의 크기 변경이나 노이즈로 인한 얼굴 영역의 왜곡, 자유로운 자세에 따른 얼굴의 상하, 좌우 회전을 반영할 수 있다. 그리고 상기 회의 기록 지원 응용 프로그램은 특징 값 사이의 비율을 얼굴 비교 좌표로 사용할 수 있다.
예를 들어, 2차원 좌표에서 코의 X축 위치를 Xnose, 왼쪽 눈의 X축 위치를 Xleye, 오른쪽 눈의 X축 위치를 Xreye, 코의 Y축 위치를 Ynose, 눈의 Y축 위치를 Yeye, 입의 Y축 위치를 Ymouse라고 가정하면, dx = |Xnose - Xleye|/|Xnose-Xreye|, dy = |Ynose-Yeye|/|Ynose-Ymouse|라고 정의할 수 있다.
그러면, 상기 회의 기록 지원 응용 프로그램은 미리 수집된 샘플 영상 즉 얼굴 템플릿(dxt,dyt)과 실제 회의 기록 중에 얻어진 얼굴 특징 값(dx, dy)의 거리를 다음 수학식 1을 통하여 연산할 수 있다.
Figure 112010003514895-pat00001
좌표 값을 위한 특징 값은 좌우 회전의 경우 상하 회전에 비해 변화가 크기 때문에 특징 값 추출 시 얼굴의 좌우 회전에 대한 고려가 필요하며, 이에 따라 상기 회의 기록 지원 응용 프로그램은 정규화된 얼굴 영역 객체에 Canny 기법을 사용하여 에지를 추출하고 이를 기반으로 눈썹, 눈, 코, 입의 수평 특징 선을 찾아낸다. 이때 상기 회의 기록 지원 응용 프로그램은 얼굴의 좌우 회전을 고려하여 얼굴 영역을 좌측, 우측의 두 부분으로 분리하여 에지를 수집하고, 중간 영역에 대해 중복 수행하여 수집한 에지를 통합하고 대표 값을 선택한다.
상기 회의 기록 지원 응용 프로그램은 얼굴 좌우 회전에 대한 판단은 코의 대표 값을 이용한다. 상기 회의 기록 지원 응용 프로그램은 정면을 향하고 있는 얼굴 영상의 경우 코의 위치가 전체 얼굴 영역 중 가로의 중점에 위치한다고 가정하고, 코 대표 값이 좌우로 치우침에 따라 얼굴이 회전하였다고 판단하여 이에 대한 보정 작업을 한다. 상기 회의 기록 지원 응용 프로그램은 한쪽으로 치우쳐진 코의 대표 값을 중앙으로 이동시키기 위한 각도를 계산하고, 이 값을 이용하여 양쪽 눈의 대표 값을 변환한다. 이는 얼굴상에서 코와 눈의 특징 점이 동일한 원주에 있다는 가정으로 수행될 수 있다. 얼굴 인식 과정은 이와 같은 오차를 보정하기 위해 4프레임 이상의 영상에서 얻어진 특징 값의 평균을 사용하여 얼굴 비교 좌표를 구하고 거리를 계산하는 것이 바람직하다.
한편, 상기 회의 기록 지원 응용 프로그램은 다수의 템플릿 좌표와 얼굴 특징 값 좌표의 거리가 동일하게 측정된 경우 얼굴 특징 값 좌표를 기준으로 각 사분면에 존재하는 템플릿을 3-2-4-1 사분면 순으로 선택할 수 있다. 이는 좌우 회전에 비해 상하 회전의 오류 비율이 낮고 특징 값 간의 차가 적은 것을 우선 선택하기 위한 것이다.
상기 회의 기록 지원 응용 프로그램은 상술한 바와 같은 얼굴 인식 과정 후 발언자 인식을 수행하며, 얼굴 인식 과정에서 얻어진 특징 값과 얼굴 객체를 사용한다. 이때 발언자 인식 문제의 특성상 시간적으로 연속적인 여러 개의 프레임이 필요하며 판단에 사용하는 초당 프레임의 개수가 일정량 이상 보장되는 것이 바람직하다.
인식 과정은 먼저 코 아래 입술 부위의 에지 산포도의 분산을 구하고, 변화율을 측정한다. 측정된 변화율 값이 일정 시간 동안 가장 큰 얼굴 객체를 발언자라고 인식하며, 연속된 프레임 상에서 입주위의 변화도가 너무 적은 얼굴 객체는 발언자가 아니라고 판단하여 발언자인식 대상에서 제외할 수 있다.
변화율을 구하는 과정은 수학식 2와 같이 먼저 입주위의 에지 산포도를 가로선을 기준으로 각 선과 에지들이 만나는 점의 개수의 합으로 결정한다.
Figure 112010003514895-pat00002
여기서, n은 입 영역의 길이, i는 각 가로선의 인덱스, fi는 i번째 가로선이 에지들과 만나는 점들의 개수, m은 평균값이다. 한편 상기 평균값 m은 다음 수학식 3에서와 같은 값이 될 수 있다.
Figure 112010003514895-pat00003
산포도 변화율은 다음 수학식 4를 통해 얻어질 수 있으며, T 값을 기준으로 발언자 인식 대상에 포함 여부를 판단할 수 있다.
Figure 112010003514895-pat00004
상기 회의 기록 지원 응용 프로그램은 발언자가 인식되면 영상에서 발언자를 정 중에 위치시키기 위해 카메라부(130)의 팬, 틸트, 줌 모듈을 사용하여 위치를 조정하도록 제어할 수 있다.
한편, 상기 데이터 영역은 상기 얼굴인식 회의 속기 시스템(100)의 동작에 따라 생성된 회의 기록 데이터를 저장한다. 즉, 상기 데이터 영역은 마이크부(120)가 수집한 오디오 신호, 카메라부(130)가 수집한 영상 신호를 포함하는 회의 기록을 사용자 조작 또는 자동으로 저장할 수 있다. 또한 상기 데이터 영역은 상기 영상 인식을 통하여 발언자를 확인하기 위하여 발언자에 대응한 샘플 정보와, 발언자의 인물 정보를 저장할 수 있다. 상기 샘플 정보는 영상 인식을 위하여 제공되며, 상기 발언자의 인물 정보는 표시부(140)에 출력되거나, 상기 오디오 신호 및 영상 신호와 함께 별도로 저장될 수 있다. 상기 샘플 정보는 보다 높은 정확도를 가지는 영상 인식을 위하여 참석자들의 얼굴 전면, 우측면, 좌측면 등 다양한 측면에서의 영상 특징 값 정보를 포함할 수 있다. 또한 회의 기록 데이터는 사용자가 실시간으로 녹화 중인 회의 영상을 보면서, 또는 녹화된 회의 영상을 재생하면서 입력부(110)를 통하여 입력한 속기 정보를 저장할 수 있다.
상기 제어부(160)는 상기 얼굴인식 회의 속기 시스템(100)의 전반적인 동작 및 상기 얼굴인식 회의 속기 시스템(100)의 내부 블록들 간 신호 흐름을 제어한다. 특히, 본 발명의 제어부(160)는 회의 진행 과정에서 필요한 스케줄 정보 확인과, 발언자의 오디오 신호 및 영상 신호의 수집, 영상 인식을 통하여 데이터 생성과, 저장 및 출력을 제어할 수 있다. 이 과정에서 상기 제어부(160)는 카메라부(130)를 제어하여 여러 명의 발언자가 나오는 전체 영상에서 발언자의 얼굴을 개별 인식하여 발언자의 얼굴에 포커싱을 한다. 그리고 회의가 시작된 후, 카메라부(130)에 의하여 포커싱된 각 발언자의 얼굴이 출력된 표시부(140) 상에서 사용자가 입력부(110)를 이용하여 특정 얼굴 영역을 클릭하거나 기 설정된 회의 스케줄 정보에 따라 자동으로 개별 발언자가 선택되는 경우, 선택된 개별 발언자의 영상과 음성이 별도로 분리되어 표시되고 전체 영상 중 해당 발언자의 타임라인과 음성파형을 표시부(140)에 표시하도록 제어할 수 있다. 이때, 발언자 영상 분리 표시는 사용자가 입력부(110)를 이용하여 수동으로 하거나 자동으로 구분할 수 있다. 자동으로 구분되는 상기 제어부(160)는 경우 회의 스케줄 정보에 따라 발언하는 발언자의 영상과 발언자의 오디오 신호를 분석한 음성 파형을 표시부(140)에 자동으로 출력하도록 제어한다. 이때 상기 제어부(160)는 현재 발언자의 영상이 분리되어 표시된 후, 해당 발언자의 발언이 끝나면, 표시부(140)에서 발언자에 대응하는 영상 신호와 오디오 신호에 해당하는 음성 파형을 제거하고, 회의 스케줄 정보에 따라 다음 발언자의 영상을 수집하여 표시부(140)에 출력하도록 제어한다. 상기 제어부(160)는 실시간으로 녹화 및 재생되는 영상에서 특정 발언자의 얼굴을 선택하거나, 녹화 완료된 전체 영상 중 특정 발언자의 얼굴을 선택하는 경우, 선택된 발언자의 음성과 영상만을 표시부(140) 및 오디오 처리부를 통하여 출력하도록 제어할 수 있다. 상기 제어부(160)의 세부 구성에 대하여 도 3을 참조하여 보다 상세히 설명하기로 한다.
한편 상기 제어부(160)는 발언자의 수가 증가할 때마다 발언자의 얼굴을 각각 인식하여 분리된 발언자의 영상과 음성파형을 저장 및 출력하도록 제어하고, 이 과정에서 현재 발언하는 발언자의 영상과 음성파형의 출력을 기 저장된 다른 발언자의 영상 및 음성 파형의 출력과 구분되도록 배경색을 다르게 하거나 하이라이트 표시를 하는 등의 동작을 제어할 수 있다. 여기서 상기 발언자와 관련된 영상에는 발언자의 영상과 발언자 명, 발언시작 시간, 발언종료 시간 등이 포함될 수 있다.
상술한 바와 같이 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템(100)은 상기 카메라부(130)에 적용되는 카메라를 웹카메라를 적용하고, 마이크부(120)에 적용되는 마이크를 USB 마이크를 적용할 경우 비교적 저가의 설치비를 기반으로 구현이 가능하다. 또한 얼굴인식 회의 속기 시스템(100)의 각 모듈은 독립적으로 구성하여 장비의 변경이나 환경의 변화에 능동적으로 대처할 수 있도록 할 수 있다. 또한 본 발명의 얼굴인식 회의 속기 시스템(100)은 영상의 기록과정에서 얼굴 인식 정보와 발언자 정보를 기반으로 하여 회의 기록을 보다 사용자 중심으로 할 수 있도록 구현할 수 있다. 그리고 본 발명의 얼굴인식 회의 속기 시스템(100)은 얼굴 인식에서 사용되는 특징 값을 상술한 영상 인식 알고리즘 설명에서와 같이 얼굴의 회전에 강인하도록 추출하여 자유로운 상황의 회의에서 다양한 자세를 가지는 참석자를 인식하도록 지원할 수 있다. 이러한 본 발명의 얼굴인식 회의 속기 시스템(100)은 발언자 위치 분석, 얼굴 영역 추출 및 정규화, 얼굴 인식, 발언자 인식 과정을 통하여 발언자를 인식하고 해당 발언자에 대응하는 영상 신호 및 발언자가 발언하는 오디오 신호를 수집할 수 있다.
도 3은 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템(100)의 제어부(160) 구성을 보다 상세히 나타낸 도면이다.
상기 도 3을 참조하면, 본 발명의 제어부(160)는 회의 스케줄링부(161), 오디오 수집부(163), 영상 인식 및 수집부(165), 회의 기록 저장 및 출력부(167)를 포함한다.
상기 회의 스케줄링부(161)는 회의 진행에 필요한 영상 및 오디오 신호의 수집과 저장 및 출력 등의 회의 스케줄링을 관리하는 구성이다. 이러한 회의 스케줄링부(161)는 상기 저장부(150)에 저장된 회의 스케줄 정보를 확인하거나, 입력부(110)를 통하여 사용자가 입력하는 입력 신호를 분석하여 발언자의 위치를 분석하거나, 오디오 신호가 수집되는 마이크의 위치를 확인하거나, 카메라부(130)가 수집한 전체 영상에서 참석자들의 얼굴 영상 인식을 수행함으로써 특정 발언자의 위치를 선택하고, 그에 따라 마이크부(120) 및 카메라부(130)를 이용하여 해당 발언자의 영상을 수집하도록 제어함과 아울러 발언에 해당하는 오디오 신호를 수집하도록 제어하는 구성이다. 그리고 상기 회의 스케줄링부(161)는 카메라부(130)가 수집한 발언자의 영상을 인식하여 발언자의 인물정보를 확인하고, 저장부(150)에 기 저장된 참석자 인물 정보를 확인한 후 영상 인식된 발언자에 해당하는 인물 정보를 검색하도록 제어할 수 있다. 이후 상기 회의 스케줄링부(161)는 해당 데이터 즉, 오디오 신호, 영상 신호 및 인물 정보를 상기 회의 기록 저장 및 출력부(167)에 전달할 수 있다. 여기서 상기 회의 스케줄링부(161)는 영상 인식 및 수집부(165)에 요청하여 카메라부(130)를 활성화하도록 제어한 후 회의장 전체 참석자에 대한 영상을 획득하도록 요청할 수 있다. 그리고 상기 회의 스케줄링부(161)는 전체 참석자에 대한 영상이 획득되면, 획득된 전체 영상을 회의 기록 저장 및 출력부(167)에 전달하여 표시부(140)에 출력하도록 제어할 수 있다. 그리고 상기 표시부(140)에 출력된 전체 영상 중 특정 발언자를 선택하는 사용자 입력이 발생하면, 상기 회의 스케줄링부(161)는 해당 발언자에 할당된 마이크를 활성화하여 오디오 신호를 수집하도록 제어하는 한편, 발언자의 영상을 수집하고, 수집된 영상을 인식하여 발언자의 인물 정보를 수집하도록 제어할 수 있다. 상기 회의 스케줄링부(161)는 사용자 입력이 없거나, 별도의 회의 스케줄 정보가 있는 경우, 회의 스케줄 정보에 따라 발언할 발언자의 위치를 판단하고, 해당 위치의 마이크 활성화 및 해당 위치의 발언자 영상을 포커싱하도록 제어할 수 있다. 그리고 해당 마이크가 기 설정된 시간 동안 오디오 신호의 수집이 없거나 발언권의 이양에 대응하는 입력 신호가 발생하는 경우, 상기 회의 스케줄링부(161)는 회의 스케줄 정보에 따라 다음 발언자의 위치에 배치된 마이크를 활성화하거나 발언권이 이양된 위치의 마이크를 활성화하도록 제어할 수 있다.
상기 오디오 수집부(163)는 상기 회의 스케줄링부(161)의 제어에 따라 마이크부(120)를 제어하고, 활성화된 마이크를 이용하여 해당 마이크가 배치된 발언자의 발언을 수집하도록 제어하는 구성이다. 이러한 오디오 수집부(163)는 마이크부(120)에 포함된 적어도 하나의 각 마이크들에 대한 ID 정보와 위치 정보를 관리하여, 어떠한 마이크를 활성화할 것인지를 결정하고, 그에 따른 마이크 활성화 및 오디오 신호 수집을 제어하게 된다. 이때 상기 ID 정보와 위치 정보는 회의 스케줄 정보에 포함될 수 있으며, 이에 따라 상기 오디오 수집부(163)는 저장부(150)에 저장된 회의 스케줄 정보에 따라 마이크 활성화를 결정할 수 있다. 또한 상기 오디오 수집부(163)는 사용자가 특정 위치에 배치된 마이크를 활성화하기 위한 입력 신호를 표시부(140)에 출력된 전체 영상에서 특정 발언자를 선택하는 방식으로 생성하는 경우, 해당 선택에 따른 입력 신호를 기반으로 해당 위치에 할당된 마이크를 활성화하도록 제어할 수 있다. 이를 위하여 상기 회의 스케줄링부(161)는 상기 전체 영상 수집 및 표시부(140) 출력 시, 표시부(140)에 배치된 전체 영상에서의 발언자들의 위치와 마이크들의 배치 위치를 매핑하도록 제어하고, 매핑 정보를 오디오 수집부(163)에 전달할 수 있다.
상기 영상 인식 및 수집부(165)는 상기 회의 스케줄링부(161)의 제어에 따라 카메라부(130)를 제어하고, 활성화된 카메라를 이용하여 특정 위치에 배치된 발언자의 영상을 수집하도록 제어하는 구성이다. 그리고 영상 인식 및 수집부(165)는 수집된 영상에 대하여 영상 인식을 수행하고 저장부(150)에 저장된 샘플 정보를 이용하여 발언자가 어떠한 인물인지를 판단할 수 있다. 이를 위하여 상기 회의 스케줄링부(161)는 회의 참석자들에 대한 인물 정보를 사전에 획득할 수 있으며, 각 참석자들의 얼굴 인식 정보를 미리 획득하여 회의 진행 중 인식된 얼굴에 대한 인물 정보를 검색할 수 있도록 지원할 수 있다.
상기 회의 기록 저장 및 출력부(167)는 상기 회의 스케줄링부(161) 제어에 따라 영상 인식 및 수집부가 수집한 영상과 마이크가 수집한 오디오 신호, 인물 정보를 전달받고 해당 신호와 정보들을 표시부(140)에 출력하도록 제어하는 구성이다. 그리고 상기 회의 기록 저장 및 출력부(167)는 기 설정된 스케줄에 따라 해당 정보들을 자동으로 저장부(150)에 저장하도록 제어하거나, 사용자 입력에 따라 저장부(150)에 저장하도록 제어할 수 있다. 또는 회의 기록 저장 및 출력부(161)는 사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장과 동시에 재생할 수 있다. 상기 회의 기록 저장 및 출력부(167)에 의한 정보 출력에 대하여 도 4를 참조하여 보다 상세히 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템(100)이 제공하는 화면 인터페이스를 설명하기 위한 화면 예시도이다.
상기 도 4를 참조하면, 상기 얼굴인식 회의 속기 시스템(100)은 401 화면에서와 같이 카메라부(130)를 활성화하여 회의에 참석한 전체 참석자가 포함된 영상을 수집하고, 수집된 영상을 전체 영상(141)으로서 표시부(140)의 일정 영역에 출력하도록 지원할 수 있다. 이 과정에서 상기 얼굴인식 회의 속기 시스템(100)은 전체 영상(141)에 대한 영상 인식을 수행하고, 참석자들의 얼굴 영역을 추출한 후, 추출된 얼굴 영역에 대한 링크 기능을 부여할 수 있다. 즉 상기 얼굴인식 회의 속기 시스템(100)은 추출된 얼굴 영역을 사용자가 선택하는 경우, 해당 참석자의 얼굴 영역을 포커싱하도록 제어하고, 포커싱된 얼굴 영역을 영상 인식하여 참석자의 인물 정보를 검색하도록 제어하고, 해당 참석자의 위치에 할당된 마이크를 활성화하도록 제어하는 링크 기능을 지원할 수 있다. 또는 얼굴인식 회의 속기 시스템(100)은 참석자 중 적어도 한 사람이 발언을 시작하면, 얼굴 인식을 통하여 발언자를 자동으로 인식하여 해당 기능을 수행할 수 있다.
이에 따라, 사용자가 전체 영상(141) 중 우측 최상단에 위치한 제1 발언자(143)의 얼굴 영역을 클릭하는 경우, 상기 얼굴인식 회의 속기 시스템(100)은 해당 제1 발언자(143)의 얼굴 영역을 확대하여 표시부(140) 하단 일측에 출력할 수 있다. 제1 발언자(143)의 발언이 완료되면 상기 얼굴인식 회의 속기 시스템(100)은 새롭게 선택된 제2 발언자(145)의 얼굴을 포커싱하고, 포커싱된 제2 발언자(145)의 얼굴을 표시부(140) 일측에 출력하도록 제어할 수 있다. 이때 상기 얼굴인식 회의 속기 시스템(100)은 제1 발언자(143)에 대응하는 이미지를 표시부(140)에서 제거하고 제2 발언자(145)의 영상만을 출력할 수 도 있을 것이다.
한편 상기 얼굴인식 회의 속기 시스템(100)은 사용자가 특정한 발언자를 선택하지 않더라도, 회의 스케줄 정보에 따라 발언 순서에 해당하는 발언자의 얼굴을 자동으로 포커싱하도록 제어할 수 있다. 즉 회의 스케줄 정보에 따라 제1 발언자(143)가 발언한 시점인 경우 상기 얼굴인식 회의 속기 시스템(100)은 제1 발언자(143)의 얼굴을 포커싱하여 표시부(140) 일측에 확대하여 출력하도록 제어할 수 있다. 그리고 상기 얼굴인식 회의 속기 시스템(100)은 기 설정된 제1 발언자(143)의 할당 시간이 경과하거나, 일정 시간 동안 발언이 없는 경우 회의 스케줄 정보에 따라 제2 발언자(145)에 얼굴 영상을 확대하여 표시부(140)에 출력하도록 제어할 수 있다. 이때 상기 얼굴인식 회의 속기 시스템(100)은 상기 제1 발언자(143)에 대한 영상을 이전 발언자의 영상으로서 표시부(140)에서 제거하지 않고 유지할 수 있으며, 설정에 따라 표시부(140)에서 제거할 수 도 있다. 다음 발언자가 선택되는 경우 제1 발언자(143)의 영상은 제거되고, 제2 발언자(145)가 이전 발언자의 영상으로서 표시부(140)에 출력될 수 있다.
또한 상기 얼굴인식 회의 속기 시스템(100)은 별도의 회의 스케줄 정보가 없는 경우, 전체 영상(141)에서 각 참석자들의 얼굴을 영상 인식하되 입 부근을 보다 세밀히 영상 인식하여 어떠한 참석자들이 발언을 하고 있는지를 판단할 수 도 있다. 그리고 상기 얼굴인식 회의 속기 시스템(100)은 발언을 수행하는 참석자들의 얼굴을 확대하여 표시부(140)에 출력하도록 하고, 해당 위치에 할당된 마이크를 활성화하도록 제어할 수 있다. 이 과정에서 상기 얼굴인식 회의 속기 시스템(100)은 마이크를 미리 활성화하도록 제어하고, 마이크가 수집하는 오디오 신호의 수집에 따라 발언자를 선택할 수도 있다.
다음으로 상기 얼굴인식 회의 속기 시스템(100)은 사용자 조작이나 환경 설정에 따라 발언자들의 정보를 리스트 형태로 저장하고, 저장된 리스트 형태의 정보를 403 화면에서와 같이 출력하도록 제어할 수 있다. 이를 위하여 상기 얼굴인식 회의 속기 시스템(100)은 회의 명을 카테고리로 하며, 해당 회의에 참석한 참석자들 중 발언을 수행한 발언자들의 얼굴 영상 정보와, 발언의 시작 시간 및 종료 시간을 포함하는 발언 시간 정보, 발언자들의 인물 정보, 발언자의 오디오 파일(147)을 포함하는 리스트 항목을 생성 및 관리할 수 있다. 여기서 상기 오디오 파일(147)을 해당 발언자의 음성 파형 및 해당 발언자의 발언 내용 중 적어도 하나를 포함할 수 있다. 얼굴인식 회의 속기 시스템(100)을 운용하는 관리자가 해당 오디오 파일(147)을 클릭하는 경우, 상기 얼굴인식 회의 속기 시스템(100)은 발언자의 발언 내용을 오디오 처리부를 통하여 출력할 수 있으며, 설정에 따라 음성 파형을 표시부(140)에 출력할 수 도 있다.
이상에서는 본 발명의 실시 예에 따른 얼굴인식 회의 속기 시스템(100)의 각 구성과 역할 및 기능에 대하여 살펴보았으며, 해당 시스템이 지원하는 화면 인터페이스에 대하여 설명하였다. 이하에서는 상기 얼굴인식 회의 속기 시스템(100)을 기반으로 하는 회의 속기 방법에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 회의 속기 방법을 설명하기 위한 순서도이다.
상기 도 5를 참조하면, 상기 얼굴인식 회의 속기 시스템(100)은 먼저 501 단계에서 회의 스케줄 정보를 확인한다. 즉 상기 얼굴인식 회의 속기 시스템(100)은 회의 스케줄 정보를 확인하여 어떠한 발언자가 선행적으로 발언을 수행하는지 위치를 판단하고, 해당 위치에 할당된 마이크를 활성화하도록 하는 한편, 카메라부(130)의 포커싱을 해당 위치로 조정할 수 있다. 여기서 상기 얼굴인식 회의 속기 시스템(100)은 회의 스케줄 정보가 없는 경우, 전체 영상을 수집하도록 제어하고, 전체 영상 중 참석자들의 얼굴을 인식하여 발언을 수행하는 발언자를 검색하거나, 마이크부(120)가 수집하는 오디오 신호에 따라 오디오 신호가 수집된 위치에 착석한 참석자를 발언자로 선택할 수 있다.
다음으로 스케줄 정보가 존재하는 경우 상기 얼굴인식 회의 속기 시스템(100)은 503 단계에서 스케줄 정보에 따라 오디오 및 영상 신호를 수집하도록 제어하고 수집된 영상에 대한 영상 인식을 수행할 수 있다. 스케줄 정보가 없는 경우, 상기 501 단계에서 상기 얼굴인식 회의 속기 시스템(100)은 선택된 발언자의 발언에 해당하는 오디오 신호 및 발언자의 영상을 수집하고, 수집된 영상에 대한 영상 인식을 수행할 수 있다.
다음으로 상기 얼굴인식 회의 속기 시스템(100)은 505 단계에서 수집된 정보와 영상 인식된 인물 정보를 기반으로 회의 기록을 저장하는 한편, 표시부 및 오디오 처리부를 통하여 출력하도록 제어할 수 있다. 이때 상기 얼굴인식 회의 속기 시스템(100)은 사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장과 동시에 재생할 수 있다. 이 과정에서 상기 얼굴인식 회의 속기 시스템(100)은 발언자의 얼굴에 대응하는 영상과, 수집된 오디오 신호에 대응하는 음성 파형 이미지, 해당 발언자의 인물 정보를 표시부(140)에 출력하도록 제어할 수 있다. 아울러 사용자는 실시간으로 녹화 중인 회의 영상을 보면서, 또는 녹화된 회의 영상을 재생하면서 입력부(110)를 통하여 속기를 수행할 수 있다.
한편 상기 얼굴인식 회의 속기 시스템(100)은 스케줄 정보에 따라 회의 진행 중에 507 단계에서와 같이 스케줄링 되지 않은 마이크로부터 오디오 수신이 발생하는지 여부를 확인할 수 있다. 이때 오디오 수신이 있는 경우, 상기 얼굴인식 회의 속기 시스템(100)은 509 단계로 분기하여 해당 영역의 영상 및 오디오 신호 수집을 제어하고, 수집된 영상 신호에 대한 영상 인식을 수행할 수 있다. 이후 상기 얼굴인식 회의 속기 시스템(100)은 505 단계 이전으로 분기하여 이하 과정을 반복적으로 수행할 수 있다.
한편, 507 단계에서 오디오 수신이 없는 경우, 511 단계로 진입하여 회의 종료 여부를 확인하고, 회의 종료를 지시하는 입력 신호가 없는 경우, 501 단계 이전으로 분기하여 이하 과정을 반복적으로 수행하도록 제어할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 얼굴인식 회의 속기 시스템
110 : 입력부
120 : 마이크부
130 : 카메라부
140 : 표시부
150 : 저장부
160 : 제어부

Claims (13)

  1. 얼굴인식 회의 속기 시스템에 있어서,
    회의에 참석한 적어도 하나의 참석자를 포함하는 영상을 수집하는 적어도 하나의 카메라를 포함하는 카메라부;
    상기 참석자들 중 적어도 한명의 발언자가 발언하는 오디오 신호를 수집하는 적어도 하나의 마이크를 포함하는 마이크부;
    사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장하고, 상기 발언자의 영상을 영상 인식하여 발언자의 인물 정보를 확인하도록 제어하는 제어부; 및
    상기 회의 기록, 상기 참석자들의 얼굴 인식을 위한 샘플 정보, 상기 참석자들의 인물 정보 및 상기 발언자의 인물 정보를 상기 발언자의 영상 및 오디오 신호와 함께 저장하는 저장부;
    를 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  2. 제1항에 있어서,
    상기 카메라부가 수집하는 발언자의 영상, 상기 오디오 신호의 음성 파형, 상기 참석자를 모두 포함하는 전체 영상 중 적어도 하나를 출력하는 표시부;
    를 더 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  3. 제2항에 있어서,
    상기 표시부에 출력된 전체 영상 중 발언을 수행하는 발언자를 선택하기 위한 입력 신호를 생성하는 입력부;
    를 더 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  4. 제3항에 있어서,
    상기 표시부는
    상기 전체 영상이 출력되는 영역;
    상기 전체 영상 중 상기 입력부에 의해 선택된 발언자의 얼굴을 확대하여 출력하는 영역;
    을 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는
    기 설정된 회의 스케줄 정보에 따라 선택된 발언자, 사용자 입력에 따라 선택된 발언자, 상기 참석자들을 포함하는 전체 영상 중 발언을 수행함에 따라 영상 인식된 발언자 중 적어도 한명을 선택하고, 선택된 발언자의 오디오 신호 및 영상 신호를 수집하도록 제어하며, 상기 선택된 발언자의 인물 정보를 수집하도록 제어하는 회의 스케줄링부;
    상기 회의 스케줄링부 제어에 따라 선택된 발언자의 위치에 할당된 마이크를 활성화하여 오디오 신호를 수집하는 오디오 수집부;
    상기 회의 스케줄링부 제어에 따라 선택된 발언자에게 포커싱을 할당하여 발언자 영상을 수집하는 영상 인식 및 수집부;
    상기 오디오 신호, 영상 및 상기 인물 정보 중 적어도 하나를 출력 및 저장하는 회의 기록 저장 및 출력부;
    를 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  7. 제6항에 있어서,
    상기 회의 기록 저장 및 출력부는
    사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장과 동시에 재생하는 것을 특징으로 하는 얼굴인식 회의 속기 시스템.
  8. 회의에 참석한 적어도 하나의 참석자들 중 발언을 수행하거나 수행할 발언자의 위치를 확인하는 과정;
    상기 발언자의 영상 및 상기 발언자의 발언에 대응하는 오디오 신호를 수집하는 과정; 및
    상기 참석자들의 얼굴 인식을 위한 샘플 정보, 상기 참석자들의 인물 정보 및 상기 발언자의 영상을 영상 인식하여 발언자의 인물 정보를 확인하고, 확인된 인물 정보를 상기 발언자의 영상 및 오디오 신호와 함께 저장하는 과정;
    을 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 방법.
  9. 제8항에 있어서,
    상기 발언자의 위치를 확인하는 과정은
    상기 참석자를 포함하는 전체 영상을 표시부에 출력하고, 상기 표시부에 출력된 전체 영상에 포함된 참석자들 중 특정 참석자를 발언자로 선택하는 과정;
    기 저장된 스케줄 정보를 확인하고, 상기 스케줄 정보에 따라 특정 참석자를 발언자로 선택하는 과정;
    상기 참석자를 포함하는 전체 영상을 획득하고, 상기 전체 영상에 포함된 각 참석자들의 얼굴 영상을 인식하여 발언을 수행하는 영상으로 인식된 참석자를 발언자로 선택하는 과정;
    참석자들에 할당된 마이크들로 오디오 신호를 수집하고, 오디오 신호가 수집된 위치의 참석자를 발언자로 선택하는 과정;
    중 적어도 하나를 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 카메라부가 수집하는 발언자의 영상, 상기 오디오 신호의 음성 파형, 상기 참석자를 모두 포함하는 전체 영상 중 적어도 하나를 출력하는 과정;
    을 더 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 방법.
  12. 제11항에 있어서,
    상기 전체 영상이 출력된 상태에서 특정 발언자가 선택된 경우, 선택된 발언자의 얼굴을 확대하여 출력하는 과정;
    을 더 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 방법.
  13. 제8항에 있어서,
    상기 저장하는 과정은,
    사용자 입력 및 기 설정된 회의 스케줄 정보에 따라 발언자의 오디오 신호 및 발언자의 영상을 수집하여 회의 기록으로 저장과 동시에 재생하는 과정;
    을 더 포함하는 것을 특징으로 하는 얼굴인식 회의 속기 방법.
KR1020100004784A 2010-01-19 2010-01-19 얼굴인식 회의 속기 시스템 및 방법 KR101077267B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100004784A KR101077267B1 (ko) 2010-01-19 2010-01-19 얼굴인식 회의 속기 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100004784A KR101077267B1 (ko) 2010-01-19 2010-01-19 얼굴인식 회의 속기 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110085160A KR20110085160A (ko) 2011-07-27
KR101077267B1 true KR101077267B1 (ko) 2011-10-27

Family

ID=44921995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100004784A KR101077267B1 (ko) 2010-01-19 2010-01-19 얼굴인식 회의 속기 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101077267B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101994044B1 (ko) * 2018-09-03 2019-06-27 강병진 스마트 회의 통합 시스템
CN110881115B (zh) * 2019-12-24 2021-06-15 新华智云科技有限公司 会议视频的拆条方法及系统
KR102147811B1 (ko) * 2020-01-14 2020-08-25 김승모 회의장 발언자 음성인식 및 문자정보변환시스템
CN115334048B (zh) * 2022-07-19 2023-10-27 贵州华云信安科技有限公司 一种基于人工智能的视频会议用信息安全系统
KR102542860B1 (ko) * 2023-02-08 2023-06-15 주식회사 이스턴전자 화상 회의 시스템
CN117577115B (zh) * 2024-01-15 2024-03-29 杭州讯意迪科技有限公司 一种智慧型无纸化会议系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197897A (ja) 2004-01-06 2005-07-21 Matsushita Electric Ind Co Ltd 低消費電力装置
JP2006235712A (ja) 2005-02-22 2006-09-07 Canon Inc 会話収録装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197897A (ja) 2004-01-06 2005-07-21 Matsushita Electric Ind Co Ltd 低消費電力装置
JP2006235712A (ja) 2005-02-22 2006-09-07 Canon Inc 会話収録装置

Also Published As

Publication number Publication date
KR20110085160A (ko) 2011-07-27

Similar Documents

Publication Publication Date Title
KR101077267B1 (ko) 얼굴인식 회의 속기 시스템 및 방법
US7907165B2 (en) Speaker predicting apparatus, speaker predicting method, and program product for predicting speaker
CN106651955A (zh) 图片中目标物的定位方法及装置
KR100926978B1 (ko) 영상 수집 제어 방법 및 장치
CN106572299A (zh) 摄像头开启方法及装置
CN101316324A (zh) 终端及其图像捕捉方法
US11488596B2 (en) Method and system for recording audio content in a group conversation
WO2019184650A1 (zh) 字幕生成方法及终端
CN103945121A (zh) 一种信息处理方法及电子设备
JP2006197505A (ja) カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
AU2009212965A1 (en) Displaying dynamic caller identity during point- to-point and multipoint audio/videoconference
JP7427408B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN103780843A (zh) 一种图像处理方法及电子设备
EP2712176B1 (en) Method and apparatus for photography
JP2019220848A (ja) データ処理装置、データ処理方法及びプログラム
JP2021022351A (ja) データベースに顔情報を入力する方法及び装置
JP2016126510A (ja) 画像生成装置、画像生成方法及びプログラム
EP2503545A1 (en) Arrangement and method relating to audio recognition
JP2007067972A (ja) 会議システム及び会議システムの制御方法
KR101976937B1 (ko) 마이크로폰 어레이를 이용한 회의록 자동작성장치
JP2013016933A (ja) 端末装置、撮像方法およびプログラム
CN110826487B (zh) 一种人脸表情数据采集方法
CN109983765A (zh) 经由全方位相机的视听传输调整
CN116472705A (zh) 一种会议内容显示的方法、会议系统及会议设备
JP2021197658A (ja) 収音装置、収音システム及び収音方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150915

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 7