KR102453084B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102453084B1
KR102453084B1 KR1020180044476A KR20180044476A KR102453084B1 KR 102453084 B1 KR102453084 B1 KR 102453084B1 KR 1020180044476 A KR1020180044476 A KR 1020180044476A KR 20180044476 A KR20180044476 A KR 20180044476A KR 102453084 B1 KR102453084 B1 KR 102453084B1
Authority
KR
South Korea
Prior art keywords
user
camera
users
identified
image captured
Prior art date
Application number
KR1020180044476A
Other languages
English (en)
Other versions
KR20190121016A (ko
Inventor
유덕인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180044476A priority Critical patent/KR102453084B1/ko
Priority to EP19789493.4A priority patent/EP3701715B1/en
Priority to PCT/KR2019/004559 priority patent/WO2019203528A1/en
Priority to CN201980021333.3A priority patent/CN111937376B/zh
Priority to US16/386,921 priority patent/US10681308B2/en
Publication of KR20190121016A publication Critical patent/KR20190121016A/ko
Application granted granted Critical
Publication of KR102453084B1 publication Critical patent/KR102453084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 컨퍼런스를 수행하기 위한 전자 장치가 개시된다. 본 전자 장치는 복수의 카메라 및 복수의 카메라 중 제1 카메라를 이용하여 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영하고, 제1 카메라를 통해 촬영된 영상을 바탕으로, 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 복수의 카메라 중 제2 카메라를 통해 식별된 제1 사용자를 촬영하고, 제1 카메라를 통해 촬영된 영상을 바탕으로, 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 복수의 카메라 중 제3 카메라를 통해 식별된 제2 사용자를 촬영하며, 제2 카메라에 의해 촬영된 영상에, 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 컨퍼런스 영상을 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 전자 기술의 발달로 소비자의 니즈에 부합하는 다양한 전자 장치들이 개발되고 있다. 특히, 최근에는 비디오 컨퍼런스를 제공하는 전자 장치가 개발되고 있다.
여기에서, 비디오 컨퍼런스는 원거리에 위치한 사람들이 영상 및 음성 통신 망을 통하여 한 장소에 있는 것과 같은 분위기로 진행하는 원격 회의를 의미한다.
한편, 종래의 비디오 컨퍼런스를 제공하는 전자 장치의 경우, 비디오 컨퍼런스가 수행되는 회의실 전체를 촬영한 영상을 제공하거나, 발언 중인 사람을 촬영한 영상을 제공하였다.
그런데, 회의실 전체를 촬영한 영상을 제공할 경우, 특히 큰 규모의 회의실에서 비디오 컨퍼런스가 진행될 때 발언 중인 사람이 지나치게 작게 표시되는 문제가 있었다.
또한, 발언 중인 사람을 촬영한 영상을 제공할 경우, 말하는 사람이 변경되면 새로 말하는 사람을 촬영하기 위해, 카메라를 회전함으로써, 몇 초간은 말하고 있는 사람이 영상에 포함되지 않는 문제가 있었다.
본 개시는 상술한 필요성에 의해 안출된 것으로, 본 개시의 목적은 발언 중인 사용자 다음으로 발언할 것으로 예상되는 사용자에게 미리 카메라를 할당해 놓음으로써, 말하는 사람이 변경되면 그 즉시 새로이 말하는 사용자를 촬영한 영상을 제공할 수 있는 전자 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 비디오 컨퍼런스를 수행하기 위한 전자 장치는 복수의 카메라 및 상기 복수의 카메라 중 제1 카메라를 이용하여 상기 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영하고, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 상기 복수의 카메라 중 제2 카메라를 통해 상기 식별된 제1 사용자를 촬영하고, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 상기 복수의 카메라 중 제3 카메라를 통해 상기 식별된 제2 사용자를 촬영하며, 상기 제2 카메라에 의해 촬영된 영상에, 상기 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공하는 프로세서를 포함할 수 있다.
여기에서, 상기 프로세서는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 입 모양의 변화 및 제스처의 변화 중 적어도 하나를 확인하고, 상기 입 모양의 변화 및 제스처의 변화 중 적어도 하나가 기설정된 임계 값 이상인 참가자를 상기 제1 참가자로 식별하거나, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 시선을 확인하고, 상기 복수의 참가자들의 시선이 향하는 방향에 존재하는 참가자를 상기 제1 참가자로 식별할 수 있다.
그리고, 상기 프로세서는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 참가자의 시선을 확인하고, 상기 시선이 향하는 방향에 존재하는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 프로세서는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 제스처를 확인하고, 상기 제1 참가자가 특정 방향을 가리키는 제스처를 하는 것으로 확인되면, 상기 특정 방향에 위치하는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 프로세서는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 제스처를 확인하고, 상기 복수의 참가자 중에서 적어도 하나의 참가자가 손을 드는 제스처를 하는 것으로 확인되면, 상기 손을 드는 제스처를 한 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 프로세서는 상기 제1 참가자에 의해 상기 복수의 참가자들 중 적어도 한 명이 호명되면, 기저장된 상기 복수의 참가자들의 얼굴에 대한 정보 중에서, 상기 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 상기 확인된 얼굴에 대한 정보에 대응되는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 프로세서는 기저장된 발언 순서 리스트에 기초해서, 상기 제1 참가자 다음으로 발언할 참가자를 확인하고, 기저장된 복수의 참가자들의 얼굴에 대한 정보 중에서, 상기 확인된 참가자에 매칭된 얼굴에 대한 정보를 확인하며, 상기 확인된 얼굴에 대한 정보에 대응되는 참가자를 상기 제2 참가자로 식별할 수 있다.
그리고, 상기 프로세서는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 식별된 제2 사용자가 발언을 시작하는 것으로 확인되면, 상기 제3 카메라에 의해 촬영된 영상을 전체 화면으로 제공할 수 있다.
그리고, 상기 프로세서는 기저장된 영상 회의 히스토리 정보에 기초해서, 상기 회의가 이루어지는 장소에서 최초 발언이 이루어지는 위치를 확인하고, 상기 확인된 위치를 촬영하도록 상기 제2 카메라를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 비디오 컨퍼런스를 수행하기 위한 전자 장치의 제어 방법은, 복수의 카메라 중 제1 카메라를 이용하여 상기 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영하는 단계, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 상기 복수의 카메라 중 제2 카메라를 통해 상기 식별된 제1 사용자를 촬영하는 단계, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 상기 복수의 카메라 중 제3 카메라를 통해 상기 식별된 제2 사용자를 촬영하는 단계 및 상기 제2 카메라에 의해 촬영된 영상에, 상기 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공하는 단계를 포함할 수 있다.
여기에서, 상기 제1 사용자를 식별하는 단계는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 입 모양의 변화 및 제스처의 변화 중 적어도 하나를 확인하고, 상기 입 모양의 변화 및 제스처의 변화 중 적어도 하나가 기설정된 임계 값 이상인 참가자를 상기 제1 참가자로 식별하거나, 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 시선을 확인하고, 상기 복수의 참가자들의 시선이 향하는 방향에 존재하는 참가자를 상기 제1 참가자로 식별할 수 있다.
그리고, 상기 제2 사용자를 식별하는 단계는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 참가자의 시선을 확인하고, 상기 시선이 향하는 방향에 존재하는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 제2 사용자를 식별하는 단계는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 제스처를 확인하고, 상기 제1 참가자가 특정 방향을 가리키는 제스처를 하는 것으로 확인되면, 상기 특정 방향에 위치하는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 제2 사용자를 식별하는 단계는 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 참가자들의 제스처를 확인하고, 상기 복수의 참가자 중에서 적어도 하나의 참가자가 손을 드는 제스처를 하는 것으로 확인되면, 상기 손을 드는 제스처를 한 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 제2 사용자를 식별하는 단계는 상기 제1 참가자에 의해 상기 복수의 참가자들 중 적어도 한 명이 호명되면, 기저장된 상기 복수의 참가자들의 얼굴에 대한 정보 중에서, 상기 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 상기 확인된 얼굴에 대한 정보에 대응되는 참가자를 상기 제2 참가자로 식별할 수 있다.
또한, 상기 제2 사용자를 식별하는 단계는 기저장된 발언 순서 리스트에 기초해서, 상기 제1 참가자 다음으로 발언할 참가자를 확인하고, 기저장된 복수의 참가자들의 얼굴에 대한 정보 중에서, 상기 확인된 참가자에 매칭된 얼굴에 대한 정보를 확인하며, 상기 확인된 얼굴에 대한 정보에 대응되는 참가자를 상기 제2 참가자로 식별할 수 있다.
그리고, 본 전자 장치의 제어 방법은 상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 식별된 제2 사용자가 발언을 시작하는 것으로 확인되면, 상기 제3 카메라에 의해 촬영된 영상을 전체 화면으로 제공하는 단계를 더 포함할 수 있다.
그리고, 본 전자 장치의 제어 방법은 기저장된 영상 회의 히스토리 정보에 기초해서, 상기 회의가 이루어지는 장소에서 최초 발언이 이루어지는 위치를 확인하고, 상기 확인된 위치를 촬영하도록 상기 제2 카메라를 제어하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 비디오 컨퍼런스를 수행 중인 사용자는 현재 발언 중인 사용자 다음으로 발언할 것으로 예상되는 사용자를 미리 인지할 수 있다.
또한, 발언 중인 사용자 다음으로 발언할 것으로 예상되는 사용자에게 미리 카메라를 할당해 놓음으로써, 말하는 사람이 변경되면 그 즉시 새로이 말하는 사용자를 촬영한 영상을 제공할 수 있다.
이에 따라, 비디오 컨퍼런스를 수행 중인 사용자는 비디오 컨퍼런스에 보다 집중할 수 있다.
도 1은, 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 2a, 2b 및 2c는 본 개시의 일 실시 예에 따른 카메라를 통해 촬영된 영상을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 현재 발언 중인 사용자 및 다음 발언이 예상되는 사용자를 포함하는 영상을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 현재 발언 중인 사용자 다음으로 발언을 할 것이 예상되는 사용자가 복수인 경우에 있어, 제공되는 영상을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 현재 발언 중인 사용자가 복수인 경우 제공되는 영상을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 전자 장치가 VR 영상을 제공하는 경우의 실시 예를 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 전자 장치가 그룹 콜 기능을 제공하는 경우의 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 개시를 상세히 설명한다.
도 1은, 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 제1 카메라(110), 제2 카메라(120), 제3 카메라(130) 및 프로세서(140)를 포함할 수 있다.
제1 내지 제3 카메라(110, 120, 130)는 다양한 대상을 촬영할 수 있다.
특히, 제1 카메라(110)는 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영할 수 있다. 예를 들어, 회의실에서 비디오 컨퍼런스가 진행 중인 경우, 제1 카메라(110)는 회의실 내부에 존재하는 복수의 사용자를 촬영할 수 있다. 이를 위해, 전자 장치(100)는 회의실 내부에 존재하는 복수의 사용자를 촬영할 수 있는 위치에 구비될 수 있다.
그리고, 제2 카메라(120)는 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 현재 발언 중인 제1 사용자를 촬영할 수 있다.
그리고, 제3 카메라(130)는 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 현재 발언 중인 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 촬영할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(140)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(140)는 제1 카메라(110)를 이용하여 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영할 수 있다. 예를 들어, 회의실에서 비디오 컨퍼런스가 진행 중인 경우, 프로세서(140)는 제1 카메라(110)를 이용하여 회의실 내부에 존재하는 복수의 사용자를 촬영할 수 있다. 여기에서, 제1 카메라(110)를 통해 촬영된 영상에는, 비디오 컨퍼런스를 수행 중인 모든 사용자가 포함됨이 바람직하다.
그리고, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상을 바탕으로, 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 현재 발언 중인 제1 사용자를 식별할 수 있다.
구체적으로, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서 복수의 사용자들의 입 모양의 변화를 확인하고, 입 모양의 변화가 기설정된 임계 값 이상인 사용자를 현재 발언 중인 제1 사용자로 식별할 수 있다.
예를 들어, 제1 카메라(110)를 통해 촬영된 영상에서 특정 사용자의 입 모양이 계속해서 변하고 있는 경우, 프로세서(140)는 해당 사용자를 제1 사용자로 식별할 수 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 얼굴 인식 알고리즘을 적용하여 복수의 사용자들의 얼굴을 인식할 수 있다. 그리고, 프로세서(140)는 인식된 얼굴에서 입 모양을 추출한 뒤, 추출된 입 모양의 변화를 확인할 수 있다. 한편, 이는 일 실시 예일 뿐, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 입 모양 인식 알고리즘을 적용하여, 복수의 사용자의 입 모양의 변화를 확인할 수도 있다.
또한, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서 복수의 사용자들의 제스처의 변화를 확인하고, 제스처의 변화가 기설정된 임계 값 이상인 사용자를 제1 사용자로 식별할 수도 있다.
예를 들어, 제1 카메라(100)를 통해 촬영된 영상에서 특정 사용자가 손을 움직이는 제스처를 하거나 자리에서 일어나는 제스처를 하는 경우 등에 있어서, 프로세서(140)는 해당 제스처를 수행하는 사용자를 제1 사용자로 식별할 수 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 모션 추적 알고리즘을 적용하여 복수의 사용자들의 모션을 인식할 수 있다. 그리고, 프로세서(140)는 인식된 모션의 변화를 통해 제스처의 변화를 확인할 수 있다.
또한, 프로세서(140)는 비디오 컨퍼런스를 수행 중인 복수의 사용자들의 시선을 확인하고, 복수의 사용자들의 시선이 향하는 방향에 존재하는 사용자를 제1 사용자로 식별할 수도 있다.
예를 들어, 제1 카메라(110)를 통해 촬영된 영상에서 복수의 사용자들의 시선이 특정 방향을 향하고 있는 경우, 특정 방향에 위치하는 사용자를 제1 사용자로 식별할 수 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 시선 인식 알고리즘을 적용하여 복수의 사용자들의 시선을 인식할 수 있다.
한편, 이와 같이 복수의 사용자들의 입 모양의 변화, 제스처의 변화 또는 시선 방향에 기초해서, 현재 발언 중에 사용자를 식별하는 방법은 일 실시 예일 뿐, 본 개시의 일 실시 예에 따른 전자 장치(100)는 다양한 방법으로 현재 발언 중인 사용자를 식별할 수 있다. 예를 들어, 전자 장치(100)는 스피커(미도시)를 더 포함하고, 스피커(미도시)를 통해 사용자의 음성이 수신되는 위치를 추적하여 현재 발언 중인 사용자를 식별할 수도 있다.
이후, 프로세서(140)는 제2 카메라(120)를 통해 식별된 제1 사용자, 즉 현재 발언 중인 사용자를 촬영할 수 있다.
한편, 프로세서(140)는 현재 발언 중인 제1 사용자가 식별되지 않는 경우에는, 비디오 컨퍼런스가 수행되는 회의실 내부 공간 중에서 최초 발언이 주로 이루어지는 위치를 촬영하도록 제2 카메라(120)를 제어할 수도 있다.
예를 들어, 비디오 컨퍼런스가 수행되는 회의실 내부 공간 중 단상 근처에서 주로 최초 발언이 이루어지는 경우, 프로세서(140)는 단상 근처를 촬영하도록 제2 카메라(120)를 제어할 수 있다.
이를 위해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 영상 회의 히스토리를 저장하고 있을 수 있다. 여기에서, 영상 회의 히스토리에는 회의실 내부 공간 중에서 최초 발언이 이루어진 위치 등에 대한 정보가 포함될 수 있다.
한편, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상을 바탕으로, 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 식별할 수 있다.
구체적으로, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서, 제1 사용자의 시선을 확인하고, 제1 사용자의 시선이 향하는 방향에 존재하는 사용자를 제2 사용자로 식별할 수 있다. 보다 구체적으로, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서, 기설정된 시간 이상 제1 사용자의 시선이 향하는 방향에 존재하는 사용자를 제2 사용자로 식별할 수 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 시선 인식 알고리즘을 적용하여 제1 사용자의 시선을 확인할 수 있다.
또한, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서, 제1 사용자의 제스처를 확인하고, 제1 사용자가 특정 방향을 가리키는 제스처를 하는 것으로 확인되면, 특정 방향에 위치하는 사용자를 제2 사용자로 식별할 수도 있다.
예를 들어, 제1 사용자가 팔을 들어 특정 방향을 지목하는 모션을 하는 경우, 프로세서(140)는 제1 사용자가 지목하는 방향에 위치하는 사용자를 제2 사용자로 식별할 수 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 모션 추적 알고리즘을 적용하여 제1 사용자의 모션을 인식할 수 있다.
또한, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서, 복수의 사용자들의 제스처를 확인하고, 복수의 사용자 중에서 적어도 하나의 사용자가 손을 드는 제스처를 하는 것으로 확인되면, 손을 드는 제스처를 한 사용자를 제2 사용자로 식별할 수도 있다.
이를 위해, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 모션 추적 알고리즘을 적용하여 복수의 사용자들의 제스처를 확인할 수 있다.
또한, 프로세서(140)는 제1 사용자에 의해 복수의 사용자들 중 적어도 한 명이 호명되면, 호명된 이름의 사용자를 제2 사용자로 식별할 수 있다.
구체적으로, 프로세서(140)는 제1 사용자에 의해 복수의 사용자들 중 적어도 한 명이 호명되면, 기저장된 복수의 사용자들의 얼굴에 대한 정보 중에서, 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 확인된 얼굴에 대한 정보에 대응되는 사용자를 제2 사용자로 식별할 수 있다.
이를 위해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 복수의 사용자들의 얼굴에 대한 정보에 각 사용자들의 이름을 매칭하여 저장하고 있을 수 있다.
또한, 프로세서(140)는 기저장된 발언 순서 리스트에 기초해서, 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 식별할 수 있다.
구체적으로, 프로세서(140)는 기저장된 발언 순서 리스트를 통해 제1 사용자 다음으로 발언할 사용자의 이름을 확인할 수 있다. 그리고, 프로세서(140)는 기저장된 복수의 사용자들의 얼굴에 대한 정보 중에서, 확인된 이름에 매칭된 얼굴에 대한 정보를 확인할 수 있다. 그리고, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에 포함된 복수의 사용자 중에서, 확인된 얼굴에 대한 정보에 대응되는 사용자를 제2 사용자로 식별할 수 있다.
이후, 프로세서(140)는 제3 카메라(130)를 통해 식별된 제2 사용자, 즉 현재 발언 중인 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 촬영할 수 있다.
그리고, 프로세서(140)는 제2 카메라(120)에 의해 촬영된 영상에, 제3 카메라(130)에 의해 촬영된 영상을 오버랩하여 제공할 수 있다.
즉, 프로세서(140)는 현재 발언 중인 제1 사용자를 포함하는 영상에, 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 포함하는 영상을 오버랩하여 제공할 수 있다.
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 현재 발언 중인 제1 사용자뿐만 아니라, 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 포함하는 영상을 제공함으로써, 비디오 컨퍼런스를 수행 중인 사용자들은 보다 비디오 컨퍼런스에 집중할 수 있다.
이후, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상을 바탕으로, 식별된 제2 사용자가 발언을 시작하는 것으로 확인되면, 제3 카메라(130)에 의해 촬영된 영상을 전체 화면으로 제공할 수 있다.
여기에서, 프로세서(140)는 제2 사용자의 입 모양의 변화 또는 제스처의 변화가 기설정된 임계 값 이상인 경우, 제2 사용자가 발언을 시작하는 것으로 확인할 수 있다. 한편, 이는 일 실시 예일 뿐, 전자 장치(100)는 스피커(미도시)를 더 포함하고, 프로세서(140)는 스피커(미도시)를 통해 제2 사용자의 음성이 수신되는 경우, 제2 사용자가 발언을 시작한 것으로 확인할 수도 있다.
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 발언 중인 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자에게 미리 카메라를 할당해 놓음으로써, 말하는 사람이 변경되면 그 즉시 새로이 말하는 제2 사용자를 촬영한 영상을 제공할 수 있다.
이에 따라, 비디오 컨퍼런스를 수행 중인 사용자는 비디오 컨퍼런스에 보다 집중할 수 있다.
도 2a, 2b 및 2c는 본 개시의 일 실시 예에 따른 카메라를 통해 촬영된 영상을 설명하기 위한 도면이다.
도 2a는 제1 카메라(110)를 통해 촬영된 영상을 설명하기 위한 도면이다. 제1 카메라(110)를 통해 촬영된 영상에는 비디오 컨퍼런스를 수행하는 복수의 사용자가 포함될 수 있다.
예를 들어, 도 2a를 참조하면, 제1 카메라(110)를 통해 촬영된 영상에는 비디오 컨퍼런스가 회의실에서 수행될 경우, 회의실 내부 공간에 존재하는 복수의 사용자가 포함될 수 있다. 여기에서, 제1 카메라(110)를 통해 촬영된 영상에는 비디오 컨퍼런스를 수행하는 모든 사용자가 포함됨이 바람직하다. 이를 위해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 비디오 컨퍼런스를 수행 중인 모든 사용자를 촬영할 수 있는 위치에 구비될 수 있다.
도 2b는 제2 카메라(120)를 통해 촬영된 영상을 설명하기 위한 도면이다. 제2 카메라(120)를 통해 촬영된 영상에는 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 현재 발언 중인 제1 사용자가 포함될 수 있다.
예를 들어, 도 2b를 참조하면, 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 마이크를 손에 쥐고 있는 사용자가 현재 발언 중인 제1 사용자로 식별될 경우, 제2 카메라(120)를 통해 촬영된 영상에는 마이크를 손에 쥐고 있는 사용자가 포함될 수 있다.
여기에서, 제1 사용자는 전술한 바와 같이, 제1 카메라(110)를 통해 촬영된 영상에 포함된 복수의 사용자들의 입 모양의 변화, 제스처의 변화 또는 시선 방향 등에 기초해서 식별될 수 있다.
도 2c는 제3 카메라(130)를 통해 촬영된 영상을 설명하기 위한 도면이다. 제3 카메라(130)를 통해 촬영된 영상에는 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 현재 발언 중인 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자가 포함될 수 있다.
예를 들어, 도 2c를 참조하면, 비디오 컨퍼런스를 수행 중인 복수의 사용자 중에서 마이크의 전원을 온하기 위해 마이크에 손을 대고 있는 사용자가 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자로 식별될 경우, 제3 카메라(130)를 통해 촬영된 영상에는 마이크에 손을 대고 있는 사용자가 포함될 수 있다.
여기에서, 제2 사용자는 전술한 바와 같이, 제1 카메라(110)를 통해 촬영된 영상에 포함된 제1 사용자의 시선 방향, 제1 사용자의 제스처, 제2 사용자의 제스처 또는 제1 사용자에 의해 호명된 이름 등에 기초해서 식별될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 현재 발언 중인 사용자 및 다음 발언이 예상되는 사용자를 포함하는 영상을 설명하기 위한 도면이다.
프로세서(140)는 제2 카메라(120)에 의해 촬영된 영상에, 제3 카메라(130)에 의해 촬영된 영상을 오버랩 하여 제공할 수 있다.
예를 들어, 제2 카메라(120)에 의해 도 2b와 같이 제1 사용자를 포함하는 영상이 촬영되고, 제3 카메라(130)에 의해 도 2c와 같은 영상이 제2 사용자를 포함하는 영상이 촬영된 경우, 프로세서(140)는 도 3에 도시된 바와 같이, 도 2b와 같은 영상에 도 2c와 같은 영상을 오버랩하여 제공할 수 있다.
즉, 프로세서(140)는 현재 발언 중인 제1 사용자 및 제1 사용자 다음에 발언할 것으로 예상되는 제2 사용자를 포함하는 영상을 제공할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 제1 사용자 다음으로 발언할 것이 예상되는 사용자가 복수인 경우 제공하는 영상을 설명하기 위한 도면이다.
프로세서(140)는 전술한 바와 같이, 제1 카메라(110)를 통해 촬영된 영상에 포함된 제1 사용자의 시선 방향, 제1 사용자의 제스처, 제2 사용자의 제스처 또는 제1 사용자에 의해 호명된 이름 등에 기초해서, 제1 사용자 다음에 발언할 것으로 예상되는 제2 사용자를 식별할 수 있다.
한편, 경우에 따라 프로세서(140)는 적어도 두 명 이상의 사용자를 제1 사용자 다음에 발언할 사용자로 식별할 수 있다. 예를 들어, 제1 사용자가 두 명 이상의 사용자를 각각 지목하는 제스처를 하는 경우 또는 제1 사용자가 두 명 이상의 사용자를 호명한 경우 등의 경우, 프로세서(140)는 적어도 두 명 이상의 사용자를 제1 사용자 다음으로 발언할 사용자로 식별할 수 있다.
이 경우, 프로세서(140)는 제1 사용자 다음으로 발언할 것이 예상되는 적어도 두 명 이상의 사용자를 각각 촬영하도록 복수의 카메라를 제어할 수 있다.
이를 위해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 제1 내지 제3 카메라 외 제4 카메라(미도시)를 더 포함할 수 있다.
즉, 프로세서(140)는 두 명의 사용자가 제1 사용자 다음으로 발언할 사용자로 식별된 경우, 제3 카메라(130) 및 제4 카메라(미도시) 각각을 통해 두 명의 사용자를 촬영할 수 있다.
이에 따라, 도 4에 도시된 바와 같이, 프로세서(140)는 현재 발언 중인 제1 사용자를 포함하는 영상에, 제1 사용자 다음으로 발언할 것이 예상되는 복수의 사용자 각각을 촬영한 영상을 오버랩하여 제공할 수 있다.
한편, 도 4에서는 두 명의 사용자가 제1 사용자 다음으로 발언할 사용자로 식별된 경우의 실시 예로써, 경우에 따라 세 명의 사용자가 제1 사용자 다음으로 발언할 사용자로 식별되면, 프로세서(140)는 세 명의 사용자 각각을 촬영한 영상을 오버랩하여 제공할 수도 있음은 물론이다.
도 5는 본 개시의 일 실시 예에 따른 현재 발언 중인 사용자가 복수인 경우 제공하는 영상을 설명하기 위한 도면이다.
프로세서(140)는 전술한 바와 같이, 제1 카메라(110)를 통해 촬영된 영상에서 복수의 사용자들의 입 모양의 변화, 제스처의 변화 또는 시선 방향에 기초해서, 현재 발언 중인 사용자를 식별할 수 있다.
한편, 경우에 따라 프로세서(140)는 적어도 두 명 이상의 사용자를 현재 발언 중인 사용자로 식별할 수 있다. 예를 들어, 두 명 이상의 사용자의 입 모양 각각이 기설정된 임계 값 이상 변화하는 경우 그러하다.
이 경우, 프로세서(140)는 현재 발언 중인 적어도 두 명 이상의 사용자를 각각 촬영하도록 복수의 카메라를 제어할 수 있다.
이를 위해, 본 개시의 일 실시 예에 따른 전자 장치(100)는 제1 내지 제3 카메라 외 제4 카메라(미도시)를 더 포함할 수 있다.
즉, 프로세서(140)는 두 명의 사용자가 현재 발언 중인 사용자로 식별된 경우, 제2 카메라(120) 및 제4 카메라(미도시) 각각을 통해 두 명의 사용자를 촬영할 수 있다.
이에 따라, 도 5에 도시된 바와 같이, 프로세서(140)는 현재 발언 중인 복수의 사용자를 포함하는 영상을 제공할 수 있다.
한편, 도 5에서는 두 명의 사용자가 현재 발언 중인 사용자로 식별된 경우의 실시 예로써, 경우에 따라 세 명의 사용자가 현재 발언 중인 사용자로 식별되면, 프로세서(140)는 세 명의 사용자 각각을 촬영한 영상을 제공할 수도 있음은 물론이다.
또한, 도 5에서는 다음 발언이 예상되는 사용자를 촬영한 영상이 도시되어 있지 않으나, 프로세서(140)는 상술한 제2 사용자를 식별하는 방법을 통해 제2 사용자가 식별된 경우, 제2 카메라(120)를 통해 식별된 제2 사용자를 촬영한 영상을, 현재 발언 중인 복수의 사용자를 포함하는 영상에 오버랩하여 제공할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 전자 장치가 VR 영상을 제공하는 경우의 실시 예를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 VR 영상을 제공할 수 있다. 여기에서, VR 영상이란 화각이 넓은 카메라(예를 들어 360도 카메라)로 촬영된 영상을 의미한다.
이를 위해, 전자 장치(100)의 복수의 카메라 중 적어도 하나는 화각이 넓은 카메라(예를 들어 360도 카메라)로 구현될 수 있다.
예를 들어 제1 카메라(110)가 360도 카메라로 구현되는 경우, 도 6a에 도시된 바와 같이, 제1 카메라(110)를 통해 촬영된 영상은 VR 영상이 될 수 있다.
이에 따라, 본 개시의 일 실시 예에 따른 전자 장치(100)는 회의에 참석 중인 복수의 사용자 각각의 제스처의 변화 및 시선 방향을 2D 영상보다 정밀하게 파악할 수 있다.
한편, 360도 카메라를 통해 촬영된 영상에서 현재 발언 중인 사용자는 전술한 바와 같은 다양한 방법을 통해 식별될 수 있다. 구체적으로, 프로세서(140)는 360도 카메라를 통해 촬영된 영상에서 복수의 사용자들의 입 모양의 변화, 제스처의 변화 또는 시선 방향에 기초해서, 현재 발언 중에 사용자를 식별할 수 있다.
또한, 360도 카메라를 통해 촬영된 영상에서 다음으로 발언이 예상되는 사용자 역시 전술한 바와 같은 다양한 방법을 통해 식별될 수 있다. 구체적으로, 프로세서(140)는 360도 카메라를 통해 촬영된 영상에 포함된 제1 사용자의 시선 방향, 제1 사용자의 제스처, 제2 사용자의 제스처 또는 제1 사용자에 의해 호명된 이름 등에 기초해서, 제1 사용자 다음으로 발언할 것이 예상되는 제2 사용자를 식별할 수 있다.
이에 따라, 본 개시의 일 실시 예에 따른 전자 장치(100)는 도 6b에 도시된 바와 같이, 현재 발언 중인 제1 사용자를 포함하는 VR 영상에, 제1 사용자 다음으로 발언할 것이 예상되는 제2 사용자를 촬영한 영상을 오버랩하여 제공할 수 있다.
한편, 도 6b는 제2 및 제3 카메라 역시 제1 카메라(110)와 마찬가지로 360도 카메라로 구현되어, 제1 및 제2 사용자를 촬영한 영상이 VR 영상인 경우의 실시 예를 도시한 실시 예이다. 다만, 경우에 따라서 제2 및 제3 카메라는 일반 카메라로 구현될 수도 있다. 이 경우, 프로세서(140)는 도 3과 같은 영상을 제공할 수 있다.
또한, 도 6b는 제1 사용자 다음으로 발언한 것으로 예상되는 사용자가 1명인 경우의 실시 예를 도시한 실시 예이다. 다만, 경우에 따라서 적어도 두 명 이상의 사용자가 제1 사용자 다음으로 발언할 사용자로 식별될 수도 있다. 이 경우, 프로세서(140)는 전술한 바와 같이 적어도 두 명 이상의 사용자를 각각 촬영한 영상을 제1 사용자를 촬영한 영상에 오버랩하여 제공할 수 있다.
도 7a 및 도 7b는 본 개시의 일 실시 예에 따른 전자 장치가 그룹 콜 기능을 제공하는 경우의 실시 예를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 그룹 콜 기능을 제공할 수 있다. 여기에서, 그룹 콜 기능은 복수의 사용자가 함께 통화를 수행할 수 있는 기능을 의미한다.
한편, 종래의 전자 장치는 그룹 콜 기능을 제공함에 있어서, 도 7a에 도시된 바와 같이, 통화를 수행 중인 복수의 사용자를 모두 화면에 표시하였다.
그런데, 이와 같이 그룹 콜 기능을 수행 중인 모든 사용자를 화면에 표시할 경우, 어떠한 사용자가 발언 중인 것인지를 한번에 인지하기 어려운 문제가 있다.
이와 같은 문제점을 해결하기 위해서, 프로세서(140)는 그룹 콜을 수행하는 복수의 사용자 중에서 현재 발언 중인 제1 사용자를 식별하고, 식별된 제1 사용자를 전체 화면으로 표시할 수 있다.
구체적으로, 프로세서(140)는 도 7a와 같이 그룹 콜을 수행하는 복수의 사용자를 포함하는 화면에서, 복수의 사용자들의 입 모양의 변화를 확인하고, 입 모양의 변화가 기설정된 임계 값 이상인 사용자를 현재 발언 중인 제1 사용자로 식별할 수 있다.
예를 들어, 복수의 사용자를 포함하는 화면에서, 특정 사용자의 입 모양이 계속해서 변하고 있는 경우, 프로세서(140)는 해당 사용자를 제1 사용자로 식별할 수 있다.
또한, 프로세서(140)는 복수의 사용자를 포함하는 화면에서, 복수의 사용자들의 제스처의 변화를 확인하고, 제스처의 변화가 기설정된 임계 값 이상인 사용자를 제1 사용자로 식별할 수도 있다.
또한, 프로세서(140)는 제1 카메라(110)를 통해 촬영된 영상에서 복수의 사용자들의 제스처의 변화를 확인하고, 제스처의 변화가 기설정된 임계 값 이상인 사용자를 제1 사용자로 식별할 수도 있다.
예를 들어, 제1 카메라(100)를 통해 촬영된 영상에서 특정 사용자가 손을 드는 제스처를 하는 경우 등에 있어서, 프로세서(140)는 해당 제스처를 수행하는 사용자를 제1 사용자로 식별할 수 있다.
그리고, 프로세서(140)는 현재 발언 중인 제1 사용자가 식별되면, 제1 사용자를 전체 화면으로 표시할 수 있다. 이에 따라, 그룹 콜을 수행하는 사용자는 현재 발언 중인 사용자를 쉽게 인지할 수 있다.
한편, 프로세서(140)는 그룹 콜을 수행하는 복수의 사용자 중에서 다음으로 발언할 것으로 예상되는 제2 사용자를 식별하고, 제1 사용자가 표시된 전체 화면에, 제2 사용자를 포함하는 화면을 오버랩하여 표시할 수 있다.
구체적으로, 프로세서(140)는 복수의 사용자를 포함하는 화면에서, 복수의 사용자들의 제스처를 확인하고, 복수의 사용자 중에서 적어도 하나의 사용자가 손을 드는 제스처를 하는 것으로 확인되면, 손을 드는 제스처를 한 사용자를 제2 사용자로 식별할 수 있다.
또한, 프로세서(140)는 현재 발언 중인 제1 사용자가 복수의 사용자들 중 적어도 한 명을 호명하면, 기저장된 복수의 사용자들의 얼굴에 대한 정보 중에서, 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 확인된 얼굴에 대한 정보에 대응되는 사용자를 제2 사용자로 식별할 수도 있다.
그리고, 프로세서(140)는 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자가 식별되면, 도 7b에 도시된 바와 같이, 제2 사용자를 포함하는 영상을 제1 사용자가 표시된 전체 화면에 오버랩하여 표시할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치는 복수의 카메라 중 제1 카메라를 이용하여 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영할 수 있다(S810).
예를 들어, 회의실에서 비디오 컨퍼런스가 진행 중인 경우, 전자 장치는 제1 카메라를 이용하여 회의실 내부에 존재하는 복수의 사용자를 촬영할 수 있다. 여기에서, 제1 카메라를 통해 촬영된 영상에는, 비디오 컨퍼런스를 수행 중인 모든 사용자가 포함됨이 바람직하다.
그리고, 전자 장치는 제1 카메라를 통해 촬영된 영상을 바탕으로, 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 복수의 카메라 중 제2 카메라를 통해 식별된 제1 사용자를 촬영할 수 있다(S820).
구체적으로, 전자 장치는 사용자들의 입 모양의 변화, 제스처의 변화 또는 시선 방향에 기초해서, 현재 발언 중에 사용자를 식별할 수 있다.
그리고, 전자 장치는 제1 카메라를 통해 촬영된 영상을 바탕으로, 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 복수의 카메라 중 제3 카메라를 통해 식별된 제2 사용자를 촬영할 수 있다(S830).
구체적으로, 전자 장치는 제1 사용자의 시선 방향, 제1 사용자의 제스처, 제2 사용자의 제스처 또는 제1 사용자에 의해 호명된 이름 등에 기초해서 제2 사용자를 식별할 수 있다.
그리고, 전자 장치는 제2 카메라에 의해 촬영된 영상에, 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공할 수 있다(S840).
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치는 현재 발언 중인 제1 사용자뿐만 아니라, 제1 사용자 다음으로 발언할 것으로 예상되는 제2 사용자를 포함하는 영상을 제공함으로써, 비디오 컨퍼런스를 수행 중인 사용자들은 보다 비디오 컨퍼런스에 집중할 수 있다.
한편, 본 발명에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 제1 카메라
120: 제2 카메라 130: 제3 카메라
140: 프로세서

Claims (18)

  1. 비디오 컨퍼런스를 수행하기 위한 전자 장치에 있어서,
    복수의 카메라; 및
    상기 복수의 카메라 중 제1 카메라를 이용하여 상기 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영하고,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 상기 복수의 카메라 중 제2 카메라를 통해 상기 식별된 제1 사용자를 촬영하고,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 상기 복수의 카메라 중 제3 카메라를 통해 상기 식별된 제2 사용자를 촬영하며,
    상기 제2 카메라에 의해 촬영된 영상에, 상기 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공하는 프로세서;를 포함하고,
    상기 프로세서는,
    기저장된 발언 순서 리스트에 기초해서, 상기 제1 사용자 다음으로 발언할 사용자를 확인하고, 기저장된 복수의 사용자의 얼굴에 대한 정보 중에서, 상기 확인된 사용자에 매칭된 얼굴에 대한 정보를 확인하며, 상기 확인된 얼굴에 대한 정보에 대응되는 사용자를 상기 제2 사용자로 식별하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 입 모양의 변화 및 제스처의 변화 중 적어도 하나를 확인하고, 상기 입 모양의 변화 및 제스처의 변화 중 적어도 하나가 기설정된 임계 값 이상인 사용자를 상기 제1 사용자로 식별하거나,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 시선을 확인하고, 상기 복수의 사용자의 시선이 향하는 방향에 존재하는 사용자를 상기 제1 사용자로 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자의 시선을 확인하고, 상기 시선이 향하는 방향에 존재하는 사용자를 상기 제2 사용자로 식별하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 제스처를 확인하고,
    상기 제1 사용자가 특정 방향을 가리키는 제스처를 하는 것으로 확인되면, 상기 특정 방향에 위치하는 사용자를 상기 제2 사용자로 식별하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 제스처를 확인하고,
    상기 복수의 사용자 중에서 적어도 하나의 사용자가 손을 드는 제스처를 하는 것으로 확인되면, 상기 손을 드는 제스처를 한 사용자를 상기 제2 사용자로 식별하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 사용자에 의해 상기 복수의 사용자 중 적어도 한 명이 호명되면, 기저장된 상기 복수의 사용자의 얼굴에 대한 정보 중에서, 상기 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 상기 확인된 얼굴에 대한 정보에 대응되는 사용자를 상기 제2 사용자로 식별하는, 전자 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 식별된 제2 사용자가 발언을 시작하는 것으로 확인되면, 상기 제3 카메라에 의해 촬영된 영상을 전체 화면으로 제공하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    기저장된 영상 회의 히스토리 정보에 기초해서, 상기 회의가 이루어지는 장소에서 최초 발언이 이루어지는 위치를 확인하고, 상기 확인된 위치를 촬영하도록 상기 제2 카메라를 제어하는, 전자 장치.
  10. 비디오 컨퍼런스를 수행하기 위한 전자 장치의 제어 방법에 있어서,
    복수의 카메라 중 제1 카메라를 이용하여 상기 비디오 컨퍼런스를 수행하는 복수의 사용자를 촬영하는 단계;
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자 중 현재 발언 중인 제1 사용자를 식별하고, 상기 복수의 카메라 중 제2 카메라를 통해 상기 식별된 제1 사용자를 촬영하는 단계;
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자 다음으로 발언이 예상되는 제2 사용자를 식별하고, 상기 복수의 카메라 중 제3 카메라를 통해 상기 식별된 제2 사용자를 촬영하는 단계; 및
    상기 제2 카메라에 의해 촬영된 영상에, 상기 제3 카메라에 의해 촬영된 영상을 오버랩 하여 제공하는 단계;를 포함하고
    상기 제2 사용자를 식별하는 단계는,
    기저장된 발언 순서 리스트에 기초해서, 상기 제1 사용자 다음으로 발언할 사용자를 확인하고, 기저장된 복수의 사용자의 얼굴에 대한 정보 중에서, 상기 확인된 사용자에 매칭된 얼굴에 대한 정보를 확인하며, 상기 확인된 얼굴에 대한 정보에 대응되는 사용자를 상기 제2 사용자로 식별하는, 전자 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 제1 사용자를 식별하는 단계는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 입 모양의 변화 및 제스처의 변화 중 적어도 하나를 확인하고, 상기 입 모양의 변화 및 제스처의 변화 중 적어도 하나가 기설정된 임계 값 이상인 사용자를 상기 제1 사용자로 식별하거나,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 시선을 확인하고, 상기 복수의 사용자의 시선이 향하는 방향에 존재하는 사용자를 상기 제1 사용자로 식별하는, 전자 장치의 제어 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 사용자를 식별하는 단계는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 제1 사용자의 시선을 확인하고, 상기 시선이 향하는 방향에 존재하는 사용자를 상기 제2 사용자로 식별하는, 전자 장치의 제어 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 사용자를 식별하는 단계는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 제스처를 확인하고,
    상기 제1 사용자가 특정 방향을 가리키는 제스처를 하는 것으로 확인되면, 상기 특정 방향에 위치하는 사용자를 상기 제2 사용자로 식별하는, 전자 장치의 제어 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 사용자를 식별하는 단계는,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 복수의 사용자의 제스처를 확인하고,
    상기 복수의 사용자 중에서 적어도 하나의 사용자가 손을 드는 제스처를 하는 것으로 확인되면, 상기 손을 드는 제스처를 한 사용자를 상기 제2 사용자로 식별하는, 전자 장치의 제어 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 사용자를 식별하는 단계는,
    상기 제1 사용자에 의해 상기 복수의 사용자 중 적어도 한 명이 호명되면, 기저장된 상기 복수의 사용자의 얼굴에 대한 정보 중에서, 상기 호명된 이름에 매칭된 얼굴에 대한 정보를 확인하고, 상기 확인된 얼굴에 대한 정보에 대응되는 사용자를 상기 제2 사용자로 식별하는, 전자 장치의 제어 방법.
  16. 삭제
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    기저장된 영상 회의 히스토리 정보에 기초해서, 상기 회의가 이루어지는 장소에서 최초 발언이 이루어지는 위치를 확인하고, 상기 확인된 위치를 촬영하도록 상기 제2 카메라를 제어하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제1 카메라를 통해 촬영된 영상을 바탕으로, 상기 식별된 제2 사용자가 발언을 시작하는 것으로 확인되면, 상기 제3 카메라에 의해 촬영된 영상을 전체 화면으로 제공하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
KR1020180044476A 2018-04-17 2018-04-17 전자 장치 및 그 제어 방법 KR102453084B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180044476A KR102453084B1 (ko) 2018-04-17 2018-04-17 전자 장치 및 그 제어 방법
EP19789493.4A EP3701715B1 (en) 2018-04-17 2019-04-16 Electronic apparatus and method for controlling thereof
PCT/KR2019/004559 WO2019203528A1 (en) 2018-04-17 2019-04-16 Electronic apparatus and method for controlling thereof
CN201980021333.3A CN111937376B (zh) 2018-04-17 2019-04-16 电子设备及其控制方法、可读记录介质
US16/386,921 US10681308B2 (en) 2018-04-17 2019-04-17 Electronic apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044476A KR102453084B1 (ko) 2018-04-17 2018-04-17 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190121016A KR20190121016A (ko) 2019-10-25
KR102453084B1 true KR102453084B1 (ko) 2022-10-12

Family

ID=68162245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044476A KR102453084B1 (ko) 2018-04-17 2018-04-17 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10681308B2 (ko)
EP (1) EP3701715B1 (ko)
KR (1) KR102453084B1 (ko)
CN (1) CN111937376B (ko)
WO (1) WO2019203528A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
WO2019231982A1 (en) 2018-05-29 2019-12-05 Curiouser Products Inc. A reflective video display apparatus for interactive training and demonstration and methods of using same
US10848606B2 (en) * 2019-10-12 2020-11-24 Adam Diamond Divided display of multiple cameras
EP4143809A1 (en) 2020-04-30 2023-03-08 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
KR20220074092A (ko) * 2020-11-27 2022-06-03 삼성전자주식회사 화상 회의를 제공하는 전자 장치 및 그 방법
WO2023096749A1 (en) * 2021-11-23 2023-06-01 Osaimi Rami Ayed System and method for managing a device and providing instruction from a remote location via a video display
US20230283740A1 (en) * 2022-03-03 2023-09-07 International Business Machines Corporation Front-end clipping using visual cues

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274680A (ja) * 2004-03-23 2005-10-06 National Institute Of Information & Communication Technology 会話分析方法、会話分析装置、および会話分析プログラム
JP2017118364A (ja) * 2015-12-24 2017-06-29 日本電信電話株式会社 コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム
US20180070008A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Techniques for using lip movement detection for speaker recognition in multi-person video calls

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
JP2001067482A (ja) * 1999-08-30 2001-03-16 Atr Media Integration & Communications Res Lab 人物の反応認識装置およびそのためのプログラムを記録したコンピュータ読取可能な記録媒体
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP2005122128A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 音声認識システム及びプログラム
JP2007147762A (ja) * 2005-11-24 2007-06-14 Fuji Xerox Co Ltd 発話者予測装置および発話者予測方法
JP5316286B2 (ja) 2009-07-28 2013-10-16 株式会社リコー ビデオ会議システム，サーバ装置，及びビデオ会議プログラム
JP5211001B2 (ja) 2009-09-09 2013-06-12 日本電信電話株式会社 会議通信システム、会議通信方法及びプログラム
US9154730B2 (en) * 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
CN102647577A (zh) * 2011-02-16 2012-08-22 鸿富锦精密工业（深圳）有限公司 远程会议管理系统及管理方法
US20120293606A1 (en) * 2011-05-20 2012-11-22 Microsoft Corporation Techniques and system for automatic video conference camera feed selection based on room events
US9113032B1 (en) * 2011-05-31 2015-08-18 Google Inc. Selecting participants in a video conference
US20140063176A1 (en) * 2012-09-05 2014-03-06 Avaya, Inc. Adjusting video layout
US20140114664A1 (en) * 2012-10-20 2014-04-24 Microsoft Corporation Active Participant History in a Video Conferencing System
JP6268510B2 (ja) 2013-06-11 2018-01-31 株式会社リコー 通信装置、通信方法及びプログラム
KR101508092B1 (ko) 2014-03-13 2015-04-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 화상 회의를 지원하는 방법 및 시스템
US9693017B2 (en) * 2014-08-20 2017-06-27 Cisco Technology, Inc. Automatic switching between different cameras at a video conference endpoint based on audio
US10666696B2 (en) 2014-09-05 2020-05-26 Minerva Project, Inc. System and method for a virtual conference interactive timeline
CN104301659A (zh) * 2014-10-24 2015-01-21 四川省科本哈根能源科技有限公司 一种多点视频汇聚识别系统
KR20160061773A (ko) * 2014-11-24 2016-06-01 주식회사 케이티 회의 화면을 구성하는 방법, 서버 및 시스템
KR101686833B1 (ko) 2015-05-12 2016-12-16 주식회사 우현디지털 화자 추적이 가능한 다자간 회의 영상 제공 시스템
JP6651989B2 (ja) * 2015-08-03 2020-02-19 株式会社リコー 映像処理装置、映像処理方法、及び映像処理システム
KR20170072782A (ko) 2015-12-16 2017-06-27 한국전자통신연구원 초고화질을 지원하는 지능형 영상 회의 제공 방법
US10477148B2 (en) * 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274680A (ja) * 2004-03-23 2005-10-06 National Institute Of Information & Communication Technology 会話分析方法、会話分析装置、および会話分析プログラム
JP2017118364A (ja) * 2015-12-24 2017-06-29 日本電信電話株式会社 コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム
US20180070008A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Techniques for using lip movement detection for speaker recognition in multi-person video calls

Also Published As

Publication number Publication date
EP3701715A4 (en) 2020-12-02
KR20190121016A (ko) 2019-10-25
US20190320140A1 (en) 2019-10-17
WO2019203528A1 (en) 2019-10-24
EP3701715A1 (en) 2020-09-02
CN111937376A (zh) 2020-11-13
CN111937376B (zh) 2022-08-09
US10681308B2 (en) 2020-06-09
EP3701715B1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
KR102453084B1 (ko) 전자 장치 및 그 제어 방법
US11343445B2 (en) Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote
US20190215464A1 (en) Systems and methods for decomposing a video stream into face streams
JP5012968B2 (ja) 会議システム
US20150146078A1 (en) Shift camera focus based on speaker position
US8289363B2 (en) Video conferencing
US9064160B2 (en) Meeting room participant recogniser
WO2020119032A1 (zh) 基于生物特征的声源追踪方法、装置、设备及存储介质
TW201901527A (zh) 視訊會議裝置與視訊會議管理方法
WO2019206186A1 (zh) 唇语识别方法及其装置、增强现实设备以及存储介质
US20210105437A1 (en) Information processing device, information processing method, and storage medium
CN114845081A (zh) 信息处理装置、记录介质及信息处理方法
CN110673811B (zh) 基于声音信息定位的全景画面展示方法、装置及存储介质
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
US10950272B2 (en) Method and apparatus for obtaining audio-visual information, device, and storage medium
US20220321831A1 (en) Whiteboard use based video conference camera control
JP6544209B2 (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
US20180081352A1 (en) Real-time analysis of events for microphone delivery
CN112291507A (zh) 视频画面的调节方法、装置、电子设备及存储介质
CN110600036A (zh) 基于语音识别的会议画面切换装置及其方法
CN109472225A (zh) 会议控制方法及装置
WO2023106350A1 (ja) 記録媒体、遠隔会議実行方法、及び遠隔会議実行装置
JP2015149679A (ja) 音声処理装置、情報処理装置、音声処理方法、音声処理プログラム、音声処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant