KR20190048291A - 영상 클리핑을 이용한 화상 회의 시스템 및 방법 - Google Patents

영상 클리핑을 이용한 화상 회의 시스템 및 방법 Download PDF

Info

Publication number
KR20190048291A
KR20190048291A KR1020170143124A KR20170143124A KR20190048291A KR 20190048291 A KR20190048291 A KR 20190048291A KR 1020170143124 A KR1020170143124 A KR 1020170143124A KR 20170143124 A KR20170143124 A KR 20170143124A KR 20190048291 A KR20190048291 A KR 20190048291A
Authority
KR
South Korea
Prior art keywords
image
clipping
client device
video
photographing
Prior art date
Application number
KR1020170143124A
Other languages
English (en)
Inventor
창성중
윤희태
김대우
강준호
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170143124A priority Critical patent/KR20190048291A/ko
Publication of KR20190048291A publication Critical patent/KR20190048291A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

화상 회의 시스템 및 방법이 개시된다. 일 실시예에 따른 화상 회의 시스템은, 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되고 영상을 촬영하는 촬영 장치, 촬영 장치로부터 영상을 획득하고, 영상의 일부를 클리핑하여 클리핑 영상을 생성하는 제1 클라이언트 장치, 및 제1 클라이언트 장치로부터 클리핑 영상을 수신하고, 수신한 클리핑 영상을 하나 이상의 제2 클라이언트 장치로 전달하는 브릿지 서버를 포함한다.

Description

영상 클리핑을 이용한 화상 회의 시스템 및 방법{SYSTEM AND METHOD FOR VIDEO CONFERENCE USING IMAGE CLIPPING}
본 발명의 실시예는 다자간 화상 회의 기술과 관련된다.
화상 회의(Video conference)란 2인 이상의 회의 참석자가 디스플레이 및 카메라를 이용하여 원격에서 회의를 수행하는 원격 통신 시스템이다. 이러한 화상 회의를 이용할 경우 서로 다른 장소에 있는 사람들이 편리하게 협업을 수행할 수 있다.
일반적으로, 화상 회의는 여러 명의 참석자가 있는 회의실의 일측에 카메라를 설치하거나, 또는 노트북 컴퓨터 등에 구비된 웹캠 등을 이용하여 회의실 전체를 촬영한 영상(평면 영상)을 브릿지 서버 등을 통해 원격지의 클라이언트 장치 장치로 전송하게 된다. 그러나 이 경우 원격지의 클라이언트 장치 장치에는 전체 회의실을 촬영한 영상만 표시되기 때문에, 화상 회의에 대한 몰입도가 떨어지게 되고, 현재 발언자와의 상호 커뮤니케이션이 효율적으로 이루어지지 않는 문제점이 있다.
한국등록특허공보 제10-0943963호(2010.02.26)
본 발명의 실시예는 화상 회의 시 몰입도 및 상호 커뮤니케이션 효율을 높일 수 있는 화상 회의 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다.
예시적인 실시예에 따르면, 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치; 상기 촬영 장치로부터 상기 영상을 획득하고, 획득된 상기 영상의 일부를 클리핑하여 클리핑 영상을 생성하는 제1 클라이언트 장치; 및 상기 제1 클라이언트 장치로부터 상기 클리핑 영상을 수신하고, 수신한 클리핑 영상을 원격에 위치한 하나 이상의 제2 클라이언트 장치로 전달하는 브릿지 서버를 포함하는, 화상 회의 시스템이 제공된다.
상기 제1 클라이언트 장치는, 상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 획득하고, 상기 영상 중 획득한 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치; 상기 촬영 장치로부터 상기 영상을 수신하는 제1 클라이언트 장치; 및 상기 제1 클라이언트 장치로부터 상기 영상을 수신하고, 상기 영상의 일부를 클리핑하여 화면에 표시하는 제2 클라이언트 장치를 포함하는, 화상 회의 시스템이 제공된다.
상기 제2 클라이언트 장치는, 상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 상기 제1 클라이언트 장치로부터 수신하고, 상기 영상 중 수신된 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑할 수 있다.
상기 제2 클라이언트 장치는, 상기 제2 클라이언트 장치를 이용하는 사용자로부터 영상 각도 제어 정보를 입력 받고, 상기 제어 정보를 기반으로 상기 영상을 클리핑할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치; 상기 촬영 장치로부터 상기 영상을 수신하는 제1 클라이언트 장치; 및 상기 제1 클라이언트 장치로부터 상기 영상을 수신하고, 상기 영상의 일부를 클리핑하여 생성되는 클리핑 영상을 원격에 위치한 하나 이상의 제2 클라이언트 장치로 전송하는 브릿지 서버를 포함하는, 화상 회의 시스템이 제공된다.
상기 브릿지 서버는, 상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 상기 제1 클라이언트로부터 수신하고, 상기 영상 중 수신된 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑할 수 있다.
상기 브릿지 서버는, 상기 제1 클라이언트 장치 또는 상기 하나 이상의 제2 클라이언트 장치 중 어느 하나로부터 수신되는 영상 각도 제어 정보를 기반으로 상기 영상을 클리핑하여 상기 제2 클라이언트 장치로 송신할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 제1 클라이언트 장치로부터 하나 이상의 회의 참석자를 촬영한 영상을 수신하는 단계; 상기 영상의 일부를 클리핑하여 클리핑 영상을 생성하는 단계; 및 상기 생성한 클리핑 영상을 하나 이상의 제2 클라이언트 장치로 전송하는 단계를 포함하는, 화상 회의 방법이 제공된다.
상기 클리핑 영상을 생성하는 단계는, 상기 회의 참석자의 음성과 대응되는 소리 방향 정보를 획득하는 단계; 획득한 상기 소리 방향 정보를 기반으로 상기 회의 참석자 중 화자의 방향을 결정하는 단계; 및 상기 영상 중 상기 화자의 방향에 대응하는 영상 각도 구간을 클리핑하는 단계를 포함하는, 화상 회의 방법이 제공된다.
상기 클리핑 영상을 생성하는 단계는, 상기 제1 클라이언트 장치 또는 상기 하나 이상의 제2 클라이언트 장치 중 어느 하나로부터 영상 각도 제어 정보를 수신하는 단계; 및 수신된 상기 영상 각도 제어 정보를 기반으로 상기 영상을 클리핑하는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, 360도 영상을 통해 회의실 내 여러 참석자들의 모습을 볼 수 있으며, 특히 회의 시 화자의 영상을 클리핑 영상으로 제공함으로써, 화상 회의 시 상호 몰입도와 실시간 커뮤니케이션 효율성을 높일 수 있게 된다.
또한, 360도 영상을 통해 실시간 커뮤니케이션이 가능하므로 화상 통화 또는 회의뿐만 아니라, 매장, 생산 라인, 건설 현장, 물류 센터 등 사람이 상시 위치하기 힘들고 실시간 관찰 및 모니터링이 필요한 업무 현장 등에서 관찰 및 모니터링 용도로도 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 화상 회의 시스템에서, 화상 회의 방법의 다른 실시예를 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 화상 회의 시스템에서, 화상 회의 방법의 또 다른 실시예를 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 화상 회의 장치의 구성을 나타낸 블록도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 제1 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 화상 회의 시스템(100)은 촬영 장치(102), 제1 클라이언트 장치(104), 브릿지 서버(106), 및 제2 클라이언트 장치(108)를 포함할 수 있다. 제1 클라이언트 장치(104) 및 제2 클라이언트 장치(108)는 통신 네트워크(미도시)를 통해 브릿지 서버(106)와 통신 가능하게 연결된다. 몇몇 실시예들에서, 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
촬영 장치(102)는 화상 회의가 이루어지는 회의실에 설치될 수 있다. 예시적인 실시예에서, 촬영 장치(102)는 회의실의 중앙 등 회의실에 참석한 참석자들을 촬영하기에 적절한 위치에 설치될 수 있다. 촬영 장치(102)는 카메라(102a) 및 마이크(102b)를 포함할 수 있다.
카메라(102a)는 회의실에 참석한 참석자들의 전체 영상을 촬영할 수 있다. 예시적인 실시예들에서, 카메라(102a)는 180도 이상의 영상을 촬영할 수 있는 장비일 수 있다. 예를 들어, 카메라(102a)는 360도 영상을 촬영할 수 있는 360도 카메라일 수 있다. 예를 들어, 카메라(102a)가 회의실에 중앙에 위치하는 경우, 360도 영상을 촬영할 수 있는 카메라(102a)를 통해 회의실에 참석한 참석자들을 모두 촬영할 수 있게 된다. 만약 카메라(102a)가 2개 이상의 렌즈를 이용하여 영상을 생성하는 경우, 카메라(102a)는 각각의 렌즈로부터 촬영되는 부분 영상들을 스티칭(stitching)하여 전술한 180도 이상의 영상을 생성할 수 있다. 카메라(102a)의 구성 및 동작은 공지된 기술인 바, 이에 대한 자세한 설명은 생략하기로 한다. 이하의 설명에서는 편의를 위하여 카메라(102a)가 360도 영상을 촬영할 수 있는 장비인 것으로 가정한다.
마이크(102b)는 하나 이상이 구비될 수 있다. 마이크(102b)는 카메라(102a)와 일체로 형성될 수 있으나, 이에 한정되는 것은 아니다. 즉, 마이크(102b)는 카메라(102a)와 별도로 구비될 수도 있다. 예시적인 실시예에서, 마이크(102b)는 소리의 방향을 감지할 수 있는 지향성 마이크가 사용될 수 있다. 마이크(102b)를 통해 화상 회의 시 화자가 발하는 음성의 방향을 감지할 수 있게 된다. 마이크(102b)를 통해 획득된 음성은 360도 영상과 동기화될 수 있다.
촬영 장치(102)는 카메라(102a)가 촬영한 360도 영상, 마이크(102b)가 획득한 음성, 및 음성과 대응되는 소리 방향 정보 중 하나 이상을 포함하는 화상 회의 촬영 데이터를 제1 클라이언트 장치(104)로 전달할 수 있다.
제1 클라이언트 장치(104)는 촬영 장치(102)로부터 화상 회의 촬영 데이터를 수신할 수 있다. 제1 클라이언트 장치(104)는 화상 회의 촬영 데이터를 브릿지 서버(106)로 전달할 수 있다. 예시적인 실시예에서, 제1 클라이언트 장치(104)는 회의실에 마련되는 컴퓨팅 장치(예를 들어, 퍼스널 컴퓨터, 랩탑 컴퓨터, 스마트 폰 등)일 수 있다. 예를 들어, 제1 클라이언트 장치(104)는 회의실에 참석한 참석자 중 어느 한 참석자가 소지한 컴퓨팅 장치일 수 있다. 그러나, 제1 클라이언트 장치(104)의 위치가 회의실이라는 공간에 제한되는 것은 아니다.
제1 클라이언트 장치(104)는 수신한 화상 회의 촬영 데이터 중 360도 영상을 편집할 수 있다. 예시적인 실시예에서, 제1 클라이언트 장치(104)는 수신한 화상 회의 촬영 데이터 중 음성 데이터가 포함된 구간인지 여부에 따라 360도 영상의 편집 여부를 결정할 수 있다. 예시적인 실시예에서, 제1 클라이언트 장치(104)는 수신한 화상 회의 촬영 데이터 중 음성 데이터가 포함되어 있지 않은 구간은 촬영 장치(102)로부터 수신한 360도 영상을 그대로 브릿지 서버(106)로 전송할 수 있다.
반면, 제1 클라이언트 장치(104)는 수신한 화상 회의 촬영 데이터 중 음성 데이터가 포함되어 있는 구간은 촬영 장치(102)로부터 수신한 360도 영상을 편집한 영상(즉, 편집 영상) 및 음성 데이터를 브릿지 서버(106)로 전송할 수 있다.
여기서, 편집 영상은 촬영 장치(102)로부터 수신한 360도 영상 중 일부의 영상일 수 있다. 예시적인 실시예에서, 제1 클라이언트 장치(104)는 음성 데이터에 대응하는 소리 방향 정보를 기반으로 360도 영상 중 일부를 클리핑(Clipping) 하여 편집 영상을 생성할 수 있다. 이하, 편집 영상을 클리핑 영상이라 지칭할 수 있다.
즉, 제1 클라이언트 장치(104)는 음성 데이터에 대응하는 소리 방향 정보를 이용하여 360도 영상에서 화상 회의 시 화자의 방향을 확인할 수 있다. 제1 클라이언트 장치(104)는 360도 영상 중 화자의 방향에 대응하는 부분(즉, 360도 영상 중 화자가 포함된 영상)을 클리핑하여 편집 영상을 생성할 수 있다. 제1 클라이언트 장치(104)는 음성 데이터에 대응하는 소리 방향 정보를 기반으로 360도 영상에서 클리핑 할 영상 각도를 산출할 수 있다. 편집 영상은 평면 영상(2차원 영상)일 수 있다.
한편, 여기서는 제1 클라이언트 장치(104)가 편집 영상 및 음성 데이터를 브릿지 서버(106)로 전송하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 360도 영상, 편집 영상, 및 음성 데이터를 브릿지 서버(106)로 전송할 수도 있다. 또한, 여기서는 제1 클라이언트 장치(104)가 화상 회의 촬영 데이터 중 음성 데이터가 포함된 구간은 360도 영상의 일부를 클리핑하여 브릿지 서버(106)로 전송하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 음성 데이터가 포함된 구간이라도 360도 영상을 그대로 브릿지 서버(106)로 전송할 수도 있다.
브릿지 서버(106)는 제1 클라이언트 장치(104)와 제2 클라이언트 장치(108) 간 화상 회의 촬영 데이터를 중계하는 장치이다. 구체적으로, 브릿지 서버(106)는 제1 클라이언트 장치(104)로부터 화상 회의 촬영 데이터를 수신하여 하나 이상의 제2 클라이언트 장치(108)로 전송할 수 있다.
예시적인 실시예에서, 브릿지 서버(106)가 제1 클라이언트 장치(104)로부터 수신하는 화상 회의 촬영 데이터는 360도 영상을 포함할 수 있다. 브릿지 서버(106)는 상기 화상 회의 촬영 데이터를 제2 클라이언트 장치(108)로 전송할 수 있다. 제2 클라이언트 장치(108)는 360도 영상을 표시할 수 있는 표시 장치(미도시)(예를 들어, VR(Virtual Reality) 기기 등)를 포함할 수 있다. 이 경우, 제2 클라이언트 장치(108)의 사용자들은 360도 영상을 통해 회의실에 참석한 참석자들을 입체적으로 볼 수 있게 된다.
또한, 브릿지 서버(106)가 제1 클라이언트 장치(104)로부터 수신하는 화상 회의 촬영 데이터는 클리핑 영상 및 음성 데이터를 포함할 수 있다. 브릿지 서버(106)는 상기 화상 회의 촬영 데이터를 제2 클라이언트 장치(108)로 전송할 수 있다. 이 경우, 제2 클라이언트 장치(108)의 사용자들은 클리핑 영상을 통해 화상 회의 시 화자를 집중하여 볼 수 있게 된다. 즉, 제2 클라이언트 장치(108)의 사용자들은 클리핑 영상을 통해 화자 관점의 영상을 볼 수 있게 된다.
이하, 본 발명의 일 실시예에 따른 화상 회의 시스템(100)의 동작을 살펴보면, 촬영 장치(102)는 카메라(102a)가 촬영한 360도 영상, 마이크(102b)가 획득한 음성, 및 음성과 대응되는 소리 방향 정보 중 하나 이상을 포함하는 화상 회의 촬영 데이터를 제1 클라이언트 장치(104)로 전송한다(S 101).
다음으로, 제1 클라이언트 장치(104)는 화상 회의 촬영 데이터에 포함된 360도 영상 중 일부를 클리핑하여 클리핑 영상을 생성한다(S 103). 이때, 제1 클라이언트 장치(104)는 화상 회의 촬영 데이터에 포함된 소리 방향 정보를 기반으로 360도 영상 중 일부를 클리핑 할 수 있다.
다음으로, 제1 클라이언트 장치(104)는 생성한 클리핑 영상을 브릿지 서버(106)로 전송한다(S 105). 그러면, 브릿지 서버(106)는 클리핑 영상을 각 제2 클라이언트 장치(108)로 전달한다(S 107).
본 발명의 실시예에 의하면, 360도 영상을 통해 회의실 내 여러 참석자들의 모습을 볼 수 있으며, 특히 회의 시 화자의 영상을 클리핑 영상으로 제공함으로써, 화상 회의 시 상호 몰입도와 실시간 커뮤니케이션 효율성을 높일 수 있게 된다.
도 2는 본 발명의 제2 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 2를 참조하면, 촬영 장치(102)는 카메라(102a)가 촬영한 360도 영상, 마이크(102b)가 획득한 음성, 및 음성과 대응되는 소리 방향 정보 중 하나 이상을 포함하는 화상 회의 촬영 데이터를 제1 클라이언트 장치(104)로 전송한다(S 201).
다음으로, 제1 클라이언트 장치(104)는 화상 회의 촬영 데이터를 브릿지 서버(106)로 전송하고(S 203), 브릿지 서버(106)는 화상 회의 촬영 데이터를 제2 클라이언트 장치(108)로 전달한다(S 205).
다음으로, 제2 클라이언트 장치(108)는 화상 회의 촬영 데이터에 포함된 360도 영상 중 일부를 클리핑하여 클리핑 영상을 생성하고, 생성한 클리핑 영상을 화면에 표시한다(S 207).
예시적인 실시예에서, 제2 클라이언트 장치(108)는 화상 회의 촬영 데이터에 포함된 소리 방향 정보를 기반으로 360도 영상 중 일부를 클리핑할 수 있다. 제2 클라이언트 장치(108)는 화상 회의 촬영 데이터에 포함된 소리 방향 정보를 기반으로 360도 영상에서 클리핑할 영상 각도를 산출하고, 해당 영상 각도에 대응하는 부분을 클리핑하여 화면에 표시할 수 있다.
또한, 제2 클라이언트 장치(108)는 360도 영상을 표시할 수 있는 표시 장치(미도시)(예를 들어, VR(Virtual Reality) 기기 등)를 포함할 수 있으며, 이 경우 제2 클라이언트 장치(108)는 해당 표시 장치를 착용한 사용자의 시선 방향에 대응하는 부분을 클리핑하여 화면에 표시할 수 있다.
한편, 여기서는 소리 방향 정보를 기반으로 360도 영상을 클리핑하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 제2 클라이언트 장치(108)는 사용자가 입력하는 영상 각도 정보를 기반으로 360도 영상을 클리핑하여 화면에 표시할 수 있다. 즉, 제2 클라이언트 장치(108)의 사용자는 360도 영상 중 자신이 보고자 하는 방향의 영상을 보기 위해 해당 방향에 대응하는 영상 각도 제어 정보를 제2 클라이언트 장치(108)로 입력할 수 있다. 그러면, 제2 클라이언트 장치(108)는 입력되는 영상 각도 제어 정보를 기반으로 360도 영상을 클리핑하여 화면에 표시할 수 있다.
도 3은 본 발명의 제3 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면이다. 여기서는, 도 1 및 도 2에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 3을 참조하면, 촬영 장치(102)는 카메라(102a)가 촬영한 360도 영상, 마이크(102b)가 획득한 음성, 및 음성과 대응되는 소리 방향 정보 중 하나 이상을 포함하는 화상 회의 촬영 데이터를 제1 클라이언트 장치(104)로 전송한다(S 301).
다음으로, 제1 클라이언트 장치(104)는 화상 회의 촬영 데이터를 브릿지 서버(106)로 전송한다(S 303).
다음으로, 브릿지 서버(106)는 화상 회의 촬영 데이터에 포함된 360도 영상 중 일부를 클리핑하여 클리핑 영상을 생성한다(S 305). 예를 들어, 브릿지 서버(106)는 화상 회의 촬영 데이터에 포함된 소리 방향 정보를 기반으로 360도 영상 중 일부를 클리핑 할 수 있다.
다음으로, 브릿지 서버(106)는 클리핑 영상을 제2 클라이언트 장치(108)로 전송한다(S 307).
여기서는, 브릿지 서버(106)가 상기 소리 방향 정보를 기반으로 360도 영상을 클리핑하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 브릿지 서버(106)는 입력되는 영상 각도 제어 정보를 기반으로 360도 영상을 클리핑 할 수도 있다.
구체적으로, 브릿지 서버(106)는 제1 클라이언트 장치(104) 또는 제2 클라이언트 장치(108)들 중 어느 하나의 장치(예를 들어, 화상 회의 주관자의 클라이언트 장치)로부터 영상 각도 제어 정보를 입력 받을 수 있다. 이 경우, 브릿지 서버(106)는 소리 방향 정보 보다 입력된 영상 각도 제어 정보에 우선하여 클리핑 영상을 생성할 수 있다.
본 발명의 실시예들에 의하면, 360도 영상을 통해 실시간 커뮤니케이션이 가능하므로 화상 통화 또는 회의뿐만 아니라, 매장, 생산 라인, 건설 현장, 물류 센터 등 사람이 상시 위치하기 힘들고 실시간 관찰 및 모니터링이 필요한 업무 현장에 관찰 및 모니터링 용도로 활용할 수 있게 된다. 또한, 기업용 IoT(Internet of Things) 네트워크와의 결합 등을 통해 다양한 방식으로 실시간 커뮤니케이션을 확장시킬 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 화상 회의 장치의 구성을 나타낸 블록도이다.
도 4를 참조하면, 화상 회의 장치(200)는 데이터 획득부(202), 영상 편집부(204), 데이터 전송부(206), 및 표시부(208)를 포함할 수 있다. 화상 회의 장치(200)는 제1 클라이언트 장치(104)일 수 있다. 또한, 화상 회의 장치(200)는 브릿지 서버(106)일 수 있다. 또한, 화상 회의 장치(200)는 제2 클라이언트 장치(108)일 수 있다.
데이터 획득부(202)는 회의실의 360도 영상, 상기 360도 영상과 동기화 되는 음성, 및 상기 음성과 대응되는 소리 방향 정보 중 하나 이상을 포함하는 화상 회의 촬영 데이터를 획득할 수 있다.
영상 편집부(204)는 화상 회의 촬영 데이터 중 음성이 존재하는 구간에서 360도 영상의 일부를 클리핑하여 클리핑 영상을 생성할 수 있다. 영상 편집부(204)는 소리 방향 정보를 기반으로 회의실의 화자의 방향을 확인하고, 360도 영상 중 화자의 방향에 대응하는 영상 각도 구간을 클리핑하여 클리핑 영상을 생성할 수 있다.
또한, 영상 편집부(204)는 영상 각도 제어 정보를 기반으로 360도 영상을 클리핑하여 클리핑 영상을 생성할 수 있다. 영상 각도 정보는 사용자로부터 입력 받을 수도 있고, 다른 통신 장치로부터 수신할 수도 있다. 영상 편집부(204)는 복수 개의 영상 각도 정보를 기반으로 360도 영상을 클리핑하여 복수 개의 클리핑 영상을 생성할 수 있다.
데이터 전송부(206)는 360도 영상을 다른 통신 장치(예를 들어, 브릿지 서버(106) 또는 제2 클라이언트 장치(108) 등)로 전송할 수 있다. 예시적인 실시예에서, 데이터 전송부(206)는 화상 회의 촬영 데이터 중 음성이 존재하지 않는 구간은 360도 영상을 다른 통신 장치로 전송할 수 있다.
또한, 데이터 전송부(206)는 영상 편집부(204)가 생성한 클리핑 영상을 다른 통신 장치(예를 들어, 브릿지 서버(106) 또는 제2 클라이언트 장치(108) 등)로 전송할 수 있다.
표시부(208)는 360도 영상을 화면에 표시할 수 있다. 또한, 표시부(208)는 영상 편집부(204)가 생성한 클리핑 영상을 화면에 표시할 수 있다.
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 화상 회의를 위한 클라이언트 장치(예를 들어, 제1 클라이언트 장치(102) 또는 제2 클라이언트 장치(108))일 수 있다. 또한, 컴퓨팅 장치(12)는 화상 회의를 중계하기 위한 서버 장치(예를 들어, 브릿지 서버(106))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 화상 회의 시스템
102 : 촬영 장치
102a : 카메라
102b : 마이크
104 : 제1 클라이언트 장치
106 : 브릿지 서버
108 : 제2 클라이언트 장치

Claims (11)

  1. 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치;
    상기 촬영 장치로부터 상기 영상을 획득하고, 획득된 상기 영상의 일부를 클리핑하여 클리핑 영상을 생성하는 제1 클라이언트 장치; 및
    상기 제1 클라이언트 장치로부터 상기 클리핑 영상을 수신하고, 수신한 클리핑 영상을 원격에 위치한 하나 이상의 제2 클라이언트 장치로 전달하는 브릿지 서버를 포함하는, 화상 회의 시스템.
  2. 청구항 1에 있어서,
    상기 제1 클라이언트 장치는,
    상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 획득하고, 상기 영상 중 획득한 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑하는, 화상 회의 시스템.
  3. 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치;
    상기 촬영 장치로부터 상기 영상을 수신하는 제1 클라이언트 장치; 및
    상기 제1 클라이언트 장치로부터 상기 영상을 수신하고, 상기 영상의 일부를 클리핑하여 화면에 표시하는 제2 클라이언트 장치를 포함하는, 화상 회의 시스템..
  4. 청구항 3에 있어서,
    상기 제2 클라이언트 장치는,
    상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 상기 제1 클라이언트 장치로부터 수신하고, 상기 영상 중 수신된 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑하는, 화상 회의 시스템.
  5. 청구항 3에 있어서,
    상기 제2 클라이언트 장치는,
    상기 제2 클라이언트 장치를 이용하는 사용자로부터 영상 각도 제어 정보를 입력 받고, 상기 제어 정보를 기반으로 상기 영상을 클리핑하는, 화상 회의 시스템.
  6. 하나 이상의 회의 참석자를 촬영할 수 있는 위치에 설치되며, 영상을 촬영하는 촬영 장치;
    상기 촬영 장치로부터 상기 영상을 수신하는 제1 클라이언트 장치; 및
    상기 제1 클라이언트 장치로부터 상기 영상을 수신하고, 상기 360도 영상의 일부를 클리핑하여 생성되는 클리핑 영상을 원격에 위치한 하나 이상의 제2 클라이언트 장치로 전송하는 브릿지 서버를 포함하는, 화상 회의 시스템.
  7. 청구항 6에 있어서,
    상기 브릿지 서버는,
    상기 하나 이상의 회의 참석자 중 현재 발언중인 화자의 음성과 대응되는 소리 방향 정보를 상기 제1 클라이언트로부터 수신하고, 상기 영상 중 수신된 상기 소리 방향 정보에 대응되는 영상 각도 구간을 클리핑하는, 화상 회의 시스템.
  8. 청구항 6에 있어서,
    상기 브릿지 서버는, 상기 제1 클라이언트 장치 또는 상기 하나 이상의 제2 클라이언트 장치 중 어느 하나로부터 수신되는 영상 각도 제어 정보를 기반으로 상기 영상을 클리핑하여 상기 제2 클라이언트 장치로 송신하는, 화상 회의 시스템.
  9. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    제1 클라이언트 장치로부터 하나 이상의 회의 참석자를 촬영한 360도 영상을 수신하는 단계;
    상기 영상의 일부를 클리핑하여 클리핑 영상을 생성하는 단계; 및
    상기 생성한 클리핑 영상을 하나 이상의 제2 클라이언트 장치로 전송하는 단계를 포함하는, 화상 회의 방법.
  10. 청구항 9에 있어서,
    상기 클리핑 영상을 생성하는 단계는,
    상기 회의 참석자의 음성과 대응되는 소리 방향 정보를 획득하는 단계;
    획득한 상기 소리 방향 정보를 기반으로 상기 회의 참석자 중 화자의 방향을 결정하는 단계; 및
    상기 영상 중 상기 화자의 방향에 대응하는 영상 각도 구간을 클리핑하는 단계를 포함하는, 화상 회의 방법.
  11. 청구항 9에 있어서,
    상기 클리핑 영상을 생성하는 단계는,
    상기 제1 클라이언트 장치 또는 상기 하나 이상의 제2 클라이언트 장치 중 어느 하나로부터 영상 각도 제어 정보를 수신하는 단계; 및
    수신된 상기 영상 각도 제어 정보를 기반으로 상기 360도 영상을 클리핑하는 단계를 포함하는, 화상 회의 방법.
KR1020170143124A 2017-10-31 2017-10-31 영상 클리핑을 이용한 화상 회의 시스템 및 방법 KR20190048291A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143124A KR20190048291A (ko) 2017-10-31 2017-10-31 영상 클리핑을 이용한 화상 회의 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143124A KR20190048291A (ko) 2017-10-31 2017-10-31 영상 클리핑을 이용한 화상 회의 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190048291A true KR20190048291A (ko) 2019-05-09

Family

ID=66545333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143124A KR20190048291A (ko) 2017-10-31 2017-10-31 영상 클리핑을 이용한 화상 회의 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190048291A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023225910A1 (zh) * 2022-05-25 2023-11-30 北京小米移动软件有限公司 视频显示方法及装置、终端设备及计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943963B1 (ko) 2009-09-21 2010-02-26 (주)하이엠텍 화상회의 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943963B1 (ko) 2009-09-21 2010-02-26 (주)하이엠텍 화상회의 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023225910A1 (zh) * 2022-05-25 2023-11-30 北京小米移动软件有限公司 视频显示方法及装置、终端设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US10554921B1 (en) Gaze-correct video conferencing systems and methods
US9883144B2 (en) System and method for replacing user media streams with animated avatars in live videoconferences
JP6171263B2 (ja) 遠隔会議システム及び遠隔会議端末
US11736801B2 (en) Merging webcam signals from multiple cameras
US20150049162A1 (en) Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
KR20150099402A (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신
US20090119593A1 (en) Virtual table
CN112243583A (zh) 多端点混合现实会议
WO2018214746A1 (zh) 一种视频会议实现方法、装置、系统及计算机存储介质
KR102402580B1 (ko) 메타버스 환경에서의 영상 처리 시스템 및 방법
CN102577368A (zh) 在虚拟协同系统中传送视觉表示
JP2016530810A (ja) 複数の人の没入型ビデオを生成するための方法
US9848168B2 (en) Method, synthesizing device, and system for implementing video conference
US20230008964A1 (en) User-configurable spatial audio based conferencing system
EP2868095B1 (en) Collaboration environments and views
Stearns et al. Automated person detection in dynamic scenes to assist people with vision impairments: An initial investigation
US20200162698A1 (en) Smart contact lens based collaborative video conferencing
US9131109B2 (en) Information processing device, display control system, and computer program product
KR20190048291A (ko) 영상 클리핑을 이용한 화상 회의 시스템 및 방법
KR20170014818A (ko) 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치
EP2953351A1 (en) Method and apparatus for eye-line augmentation during a video conference
US11178361B2 (en) Virtual window for teleconferencing
JP5682376B2 (ja) 通信装置
KR102391898B1 (ko) 영상 데이터 전송을 위한 원격 접속 시스템 및 이의 실행 방법
WO2023068275A1 (ja) 情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application