KR102449670B1 - 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 - Google Patents

복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 Download PDF

Info

Publication number
KR102449670B1
KR102449670B1 KR1020180005757A KR20180005757A KR102449670B1 KR 102449670 B1 KR102449670 B1 KR 102449670B1 KR 1020180005757 A KR1020180005757 A KR 1020180005757A KR 20180005757 A KR20180005757 A KR 20180005757A KR 102449670 B1 KR102449670 B1 KR 102449670B1
Authority
KR
South Korea
Prior art keywords
camera
image data
main camera
main
cameras
Prior art date
Application number
KR1020180005757A
Other languages
English (en)
Other versions
KR20190087230A (ko
Inventor
유은경
정종우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180005757A priority Critical patent/KR102449670B1/ko
Priority to PCT/KR2019/000581 priority patent/WO2019143095A1/ko
Priority to US16/771,742 priority patent/US11245933B2/en
Publication of KR20190087230A publication Critical patent/KR20190087230A/ko
Application granted granted Critical
Publication of KR102449670B1 publication Critical patent/KR102449670B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 다양한 실시예들은, 서버에 있어서, 통신 회로; 및 상기 통신 회로와 전기적으로 연결된 프로세서;를 포함하며, 상기 프로세서는, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 수신하고, 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하고, 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하도록 설정될 수 있다.
또한, 본 발명의 다양한 실시예들은 다른 실시예들이 가능할 수 있다.

Description

복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버{METHOD FOR CREATING VIDEO DATA USING CAMERAS AND SERVER FOR PROCESSING THE METHOD}
본 발명의 다양한 실시예들은 복수의 카메라들을 이용하여 영상 데이터를 생성하는 방법 및 서버에 관한 것이다.
일반적으로, 멀티미디어 장치는, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다. 또한, 멀티미디어 장치는, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다. 최근 멀티미디어 장치는, 운영체제(OS)와 인터넷 브라우저를 탑재하여, 방송 시청과 함께 인터넷 검색을 자유롭게 할 수 있고, 어플리케이션(application) 스토어를 통해, 선호하는 어플리케이션이나 컨텐츠를 다운받아서 실행할 수도 있다.
미디어 기기의 발달로 일반 개인들도 멀티미디어 컨텐츠를 생성하여 실시간 방송 채널을 통해 실시간으로 방송할 수 있는 서비스가 증가하고 있다. 또한, 사용자의 눈높이가 높아져 UCC(user create contents) 트랜드는 일반 사용자들에게 간단한 조작으로 멋있는 컨텐츠를 만들고 싶어하는 욕구를 자극하고 있다. 즉, 일반 사용자들은 자신의 사진이나 동영상을 그대로 웹에 게시하는 것이 아니라, 다양한 효과를 주거나 다른 미디어들과 혼합해서 새로운 컨텐츠를 생성하여 제공하고 싶어한다.
전자 장치 및 통신 기술의 발달로 실시간 개인 방송 서비스가 증가하고 있으나, 개인이 라이브 방송을 진행하는 중 카메라의 구도나 위치 등을 조작하는 것이 용이하지 않다. 예컨대, 실시간 개인 방송 중 사용자가 직접 카메라 등을 조작할 경우 부자연스러운 촬영 결과를 초래할 수 있으며, 제3자의 도움이 있다 하더라도 다양한 구도에서 자연스러운 라이브 미디어의 생성은 용이하지 않다.
본 발명의 다양한 실시예들은, 복수의 카메라들을 통해 영상이 촬영될 때, 미리 설정된 조건에 따라 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있는 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버를 제공할 수 있다.
본 발명의 다양한 실시예들은, 복수의 카메라들을 통해 영상이 촬영될 때, 미디어 유형별로 미리 정의된 템플릿에 기반하여 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있는 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버를 제공할 수 있다.
본 발명의 다양한 실시예들은, 복수의 카메라들을 통해 영상이 촬영될 때, 지정된 사용자 제스처에 따라 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있는 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버를 제공할 수 있다.
본 발명의 다양한 실시예들은, 복수의 카메라들을 통해 영상이 촬영될 때, 미리 설정된 조건에 따라 자동으로 메인 카메라를 선택하고, 촬영된 영상 데이터에 정보를 추가하여 자동으로 편집된 영상 데이터를 생성할 수 있는 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버를 제공할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 서버는, 통신 회로; 및 상기 통신 회로와 전기적으로 연결된 프로세서;를 포함하며, 상기 프로세서는, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 수신하고, 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하고, 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하도록 설정된다.
또한, 다양한 실시예 중 어느 하나에 따른 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법은, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 통신 회로를 통해 수신하는 동작; 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하는 동작; 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는지 판단하는 동작; 및 상기 판단 결과, 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하는 동작;을 포함한다.
다양한 실시예에 따른 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버는, 복수의 카메라들을 통해 영상이 촬영될 때, 미리 설정된 조건에 따라 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있다.
다양한 실시예에 따른 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버는, 복수의 카메라들을 통해 영상이 촬영될 때, 미디어 유형별로 미리 정의된 템플릿에 기반하여 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있다.
다양한 실시예에 따른 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버는, 복수의 카메라들을 통해 영상이 촬영될 때, 지정된 사용자 제스처 또는 미리 설정된 조건에 따라 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 네트워크 구성 예를 나타내는 도면이다.
도 2는 본 발명의 다양한 실시예에 따른 카메라의 하드웨어 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 카메라의 소프트웨어 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 클라우드 서버의 블록도이다.
도 5는 본 발명의 다양한 실시예에 따른 서버에서의 영상 데이터 생성 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에서 서버 간의 계정 연동을 설정하는 화면을 나타내는 도면이다.
도 7a, 도 7b, 도 7c, 도 7d, 도 7e, 및 도 7f는 본 발명의 다양한 실시예에 따른 복수의 카메라들을 조합하는 예를 나타내는 도면이다.
도 8은 본 발명의 다양한 실시예에 따른 복수의 카메라들과 서버 간의 연결을 나타내는 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 복수의 카메라들에 대한 상태 천이 관계를 나타내는 도면이다.
도 10은 본 발명의 다양한 실시예에 따른 복수의 카메라들에 대한 상태 이미지의 표시 예를 나타내는 도면이다.
도 11a, 도 11b, 및 도 11c는 본 발명의 다양한 실시예에 따른 미디어 유형별 템플릿 선택의 예를 나타내는 도면이다.
도 12a, 도 12b, 도 12c, 도 12d, 및 도 12e는 본 발명의 다양한 실시예에 따른 미디어 유형별 카메라 선택의 예를 나타내는 도면이다.
도 13a, 도 13b, 및 도 13c는 본 발명의 다양한 실시예에 따른 사용자 제스처에 의한 카메라 제어의 예를 나타내는 도면이다.
도 14a 및 도 14b는 본 발명의 다양한 실시예에 따른 메인 카메라를 판단하는 예를 나타내는 흐름도이다.
도 15 및 도 16은 본 발명의 다양한 실시예에 따른 실시간 영상 데이터를 편집하는 방법의 예를 나타내는 도면이다.
도 17은 본 발명의 다양한 실시예에 따른 생성된 영상 데이터에 대한 추가 편집 방법을 나타내는 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 전자 장치의 신규 등록 방법을 나타내는 도면이다.
도 19는 본 발명의 다양한 실시예에 따른 전자 장치의 신규 등록 시 연동된 전자 장치에 표시되는 화면의 예를 나타내는 도면이다.
도 20은 본 발명의 다양한 실시예에 따른 카메라에 표시되는 화면의 예를 나타내는 도면이다.
도 21 및 도 22는 본 발명의 다양한 실시예에 따른 복수의 카메라들을 통해 영상 데이터 서비스 절차를 나타내는 흐름도이다.
도 23 및 도 24는 본 발명의 다양한 실시예에 따른 복수의 카메라들 간에 자동으로 구도를 전환하는 예를 나타내는 도면이다.
도 25는 본 발명의 다양한 실시예에 따른 영상 데이터에 추가 정보를 실시간으로 삽입하는 예를 나타내는 도면이다.
도 26은 본 발명의 다양한 실시예에 따른 추가 정보가 삽입된 영상 데이터의 예를 나타내는 도면이다.
도 27은 본 발명의 다양한 실시예에 따른 영상 데이터에 추가 영상을 실시간으로 삽입하는 예를 나타내는 도면이다.
도 28은 본 발명의 다양한 실시예에 따른, 영상 데이터를 생성하는 전자 장치들을 포함하는 네트워크 환경을 나타내는 도면이다.
도 29는 본 발명의 일 실시예에 따른 카메라 모듈의 세부 구조를 나타내는 도면이다.
도 30은 본 발명의 일 실시예에 따른 프로그램 모듈의 세부 구조를 나타내는 도면이다.
이하, 본 발명의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", " A 및 B 중 적어도 하나", 또는 " A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 애플리케이션 프로세서(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시예들을 배제하도록 해석될 수 없다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things; IoT)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 발명의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
후술하는 본 발명의 다양한 실시예들은, 복수의 카메라들을 통해 영상이 촬영될 때, 미리 설정된 조건에 따라 자동으로 메인 카메라를 선택하도록 함으로써 자동으로 편집된 영상 데이터를 생성할 수 있는 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버를 개시한다.
후술하는 설명에서, 카메라는 전술한 다양한 전자 장치로 대체될 수 있다. 예컨대, 이미지 센서를 통해 영상 데이터를 획득할 수 있는 카메라 모듈을 포함하는 어떠한 전자 장치도 후술하는 카메라와 대체될 수 있다. 후술하는 설명에서, 서버는 클라우드 서버를 예를 들어 설명하고 있으나, 특정한 유형 또는 특정한 명칭의 서버로 한정되는 것은 아니며, 복수의 사용자 계정을 등록하고 통신 네트워크를 통해 각 사용자 계정에 대응하는 영상 데이터를 수신하여 실시간 방송 서버로 전송할 수 있는 어떠한 유형의 장치도 상기 서버에 포함될 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 네트워크 구성 예를 나타내는 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 네트워크는 실시간 방송 서버(100), 클라우드 서버(110), 복수의 카메라들(121, 122), 전자 장치(예: 스마트폰)(123)를 포함할 수 있다. 상기 도 1에서는 예시적으로 두 개의 카메라가 도시되어 있으나, 셋 이상의 카메라도 포함될 수 있다. 다양한 실시예에 따라, 상기 제1 카메라(121) 또는 상기 제2 카메라(122)는 각각 카메라 전용 기기뿐만 아니라 카메라 모듈을 내장하고 있는 다양한 유형의 전자 장치로 대체될 수 있다.
제1 카메라(121)는 듀얼 렌즈를 내장한 카메라일 수 있으며, 제2 카메라(122)는 싱글 렌즈를 내장한 카메라일 수 있다. 상기 각 카메라(121, 122)는 촬영된 영상 데이터 또는 센싱된 사용자 인터랙션 데이터를 클라우드 서버(110)로 전송할 수 있다. 상기 각 카메라(121, 122)는 클라우드 서버(110)로부터 제어 신호를 수신할 수도 있다. 다양한 실시예에 따라, 상기 클라우드 서버(110)로부터 수신되는 제어 신호는 메인 카메라의 선택에 대응하는 신호를 포함할 수 있다.
본 발명의 실시예에 따라 사용자는 전자 장치(123)를 통해 클라우드 서버(110)에 사용자 계정으로 로그인하고, 상기 각 카메라(121, 122)를 실시간 방송을 위한 장치 또는 카메라로 등록 또는 설정할 수 있다.
클라우드 서버(110)는 후술하는 다양한 실시예에 따라 상기 제1 카메라(121) 및 상기 제2 카메라(122) 중 어느 하나를 메인 카메라로 선택하고, 상기 복수의 카메라들(121, 122) 중 상기 메인 카메라로 선택된 카메라에서 촬영된 영상 데이터를 실시간 방송 서버(100)로 전송함으로써, 메인 카메라의 촬영 영상이 실시간으로 방송되도록 할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버(110)는 상기 제1 카메라(121)와 상기 제2 카메라(122)로부터 각각 촬영된 영상 데이터를 실시간으로 수신하고, 메인 카메라로 선택된 카메라의 영상 데이터를 선택하여 실시간 방송 서버(100)로 전송할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버(110)는 상기 제1 카메라(121)와 상기 제2 카메라(122) 중 메인 카메라로 선택된 카메라로부터 촬영된 영상 데이터를 실시간으로 수신하고, 메인 카메라가 변경되면 변경된 카메라로부터 촬영된 영상 데이터를 실시간으로 수신할 수 있다. 상기 클라우드 서버(110)는 상기 메인 카메라가 변경되는 경우 변경 전 카메라의 영상 데이터와 변경 후 카메라의 영상 데이터가 자연스럽게 연결되도록 컷(cut) 편집하고, 상기 컷 편집된 영상 데이터를 실시간 방송 서버(100)로 전송할 수 있다.
상기 실시간 방송 서버(100)로 전송되는 편집된 영상 데이터는 상기 실시간 방송 서버(100) 또는 상기 클라우드 서버(110)에서 상기 전자 장치(123)로 스트리밍 서비스될 수 있다.
본 발명의 다양한 실시예에 따라, 상기 클라우드 서버(110)는 상기 복수의 카메라들(121, 122) 중 상기 실시간 방송 서버(100)로 영상 데이터를 전송할 메인 카메라를 자동으로 전환시킴으로써, 다양한 구도의 영상 데이터를 자동으로 생성할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버(110)는 복수의 카메라들(121, 122) 중 하나의 카메라를 메인 카메라로 선택할 수 있다. 상기 전자 장치(123)에 카메라 모듈이 포함될 경우, 상기 전자 장치(123)는 복수의 카메라들에 포함되어, 메인 카메라로 선택될 수도 있다. 다양한 실시예에 따라, 상기 전자 장치(123)는 상기 클라우드 서버(110)의 기능들 중 적어도 일부를 수행할 수 있다. 예컨대, 상기 전자 장치(123)는 상기 복수의 카메라들(121, 122) 중 미리 설정된 조건에 따라 메인 카메라를 선택하도록 할 수도 있다.
상기 클라우드 서버(110)에서 복수의 카메라들(121, 122) 중 메인 카메라를 선택하면, 상기 메인 카메라의 선택에 대응하는 정보를 상기 복수의 카메라들(121, 122) 중 적어도 하나의 카메라로 전송할 수 있다. 상기 클라우드 서버(110)로부터 메인 카메라의 선택에 대응하는 정보를 수신한 각 카메라(121, 122)는 상기 정보의 수신에 대응하여 미리 설정된 동작을 수행할 수 있다. 예컨대, 상기 제1 카메라(121)가 메인 카메라로 선택된 상황에서, 상기 클라우드 서버(110)가 메인 카메라를 상기 제2 카메라(122)로 변경하는 경우, 상기 클라우드 서버(110)는 상기 제1 카메라(121)로 메인 카메라의 설정이 종료되었음을 나타내는 메시지를 전송하고, 상기 제2 카메라(122)로 새로운 메인 카메라로 설정되었음 나타내는 메시지를 전송할 수 있다.
다양한 실시예에 따라, 상기 클라우드 서버(110)에서 편집된 영상 데이터는 상기 클라우드 서버(110) 또는 상기 실시간 방송 서버(100)에 저장될 수 있으며, 추후 사용자가 상기 전자 장치(123) 또는 다른 전자 장치를 통해 상기 저장된 영상 데이터를 재편집할 수도 있다.
다양한 실시예에 따라, 상기 각 카메라(121, 122)는 상기 각 카메라에서 센싱된 데이터를 상기 클라우드 서버(110)로 전송할 수 있다. 상기 클라우드 서버(110)는 상기 각 카메라(121, 122)로부터 수신된 센싱된 데이터에 적어도 기반하여 메인 카메라를 선택할 수도 있다.
다양한 실시예에 따라, 상기 클라우드 서버(110)는 상기 실시간 방송 서버(100)와 계정을 연동할 수 있다. 예컨대, 상기 전자 장치(123)의 사용자는 상기 클라우드 서버(110)에 등록된 계정으로 로그인할 수 있으며, 동일한 계정 또는 다른 계정으로 실시간 방송 서버(100)에 로그인할 수 있다. 상기 사용자는 상기 클라우드 서버(110)에 등록된 자신의 계정과 상기 실시간 방송 서버(100)에 등록된 자신의 계정을 서로 연동시킬 수도 있다. 상기 사용자가 상기 전자 장치(123)를 통해 상기 클라우드 서버(110)에 로그인하고, 상기 제1 카메라(121) 또는 상기 제2 카메라(122)에서 촬영된 영상 데이터가 상기 클라우드 서버(110)로 전송되면, 상기 클라우드 서버(110)는 상기 사용자에 대해 상기 클라우드 서버(110)의 계정과 연동된 실시간 방송 서버(100)의 계정으로 상기 영상 데이터를 전송할 수 있다. 다양한 실시예에 따라, 상기 사용자는 상기 클라우드 서버(110) 또는 상기 실시간 방송 서버(100)에 단 한번의 로그인으로 양쪽 서버에 동시에 로그인할 수도 있으며, 각각의 서버에 로그인할 수도 있다.
도 2는 본 발명의 다양한 실시예에 따른 카메라의 하드웨어 블록도이다. 도 2를 참조하면, 본 발명의 다양한 실시예에 따른 카메라(200)(예: 도 1의 제1 카메라(121), 또는 제2 카메라(122))는 통신 네트워크(130)를 통해 클라우드 서버(110)와 통신할 수 있다.
상기 통신 네트워크(130)는 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 포함할 수 있다. 또한, 상기 통신 네트워크(130)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크(130)는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다.
또한, 상기 통신 네트워크(130)는 근거리 무선 통신을 포함할 수 있으며, 예컨대, WiFi(wireless fidelity), LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(ZigBee), NFC(near field communication), 또는 자력 시큐어 트랜스미션(magnetic secure transmission) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따라, 상기 카메라(200)는 프로세서(201), GPU(graphic processing unit)(202), 메모리(203), 전력 관리 모듈(204), 배터리(205), 무선 모듈(207), 카메라 모듈(208), 센서(209), LED(210), 마이크(211), 스토리지(212)를 포함할 수 있다. 상기 카메라(200)의 각 구성들은 인터페이스(206)를 통해 상호 통신할 수 있다. 상기 각 기능 블록들의 적어도 일부 기능은 후술하는 도 28에서 상세히 설명하는 전자 장치(2800)의 각 기능 블록들의 기능에 대응할 수 있으며, 도 28의 설명과 중복된 설명은 생략하기로 한다.
상기 카메라 모듈(208)을 통해 촬영된 영상 데이터는 무선 모듈(207)을 통해 클라우드 서버(110)로 전송될 수 있다. 다양한 실시예에 따라, 상기 프로세서(201)는 상기 카메라 모듈(208)로부터 촬영된 영상 데이터에 대해 메인 카메라로 선택된 경우에만 클라우드 서버(110)로 전송하도록 제어할 수 있다.
상기 프로세서(201)는 상기 각 센서(209)로부터 센싱된 데이터를 상기 클라우드 서버(110)로 전송함으로써 상기 카메라(200)가 메인 카메라로 선택되는지 여부를 결정하는 데에 상기 센싱된 데이터가 사용되도록 할 수 있다. 다양한 실시예에 따라, 상기 프로세서(201)의 각 동작을 수행하기 위한 인스트럭션(instruction)들은 메모리(203)에 저장될 수 있다.
상기 LED(210)는 상기 카메라(200)의 상태를 다양한 색상 또는 점등 패턴 등으로 구분하여 표시할 수 있으며, 예컨대, 상기 카메라(200)가 메인 카메라로 선택되면 지정된 색상의 빛을 발광하도록 구현할 수 있다. 상기 마이크(211)는 복수의 마이크들을 포함할 수 있으며, 상기 마이크(211)로부터 입력된 음성 데이터를 상기 클라우드 서버(110)로 전송함으로써 상기 카메라(200)가 메인 카메라로 선택되는지 여부를 결정하는 데에 상기 입력된 음성 데이터가 사용되도록 할 수 있다. 상기 스토리지(212)는 상기 카메라 모듈(208)을 통해 촬영된 영상 데이터를 저장할 수 있다.
상기 GPU(202)는 상기 카메라 모듈(208)을 통해 촬영된 데이터를 이미지 프로세싱할 수 있다. 상기 전력 관리 모듈(204)은 상기 배터리(205)로부터 전력을 수신하여 상기 카메라(200)의 각 모듈 또는 기능부로 전력을 배분하거나 제어할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 카메라의 소프트웨어 블록도이다. 도 3을 참조하면, 카메라(300)는 소프트웨어(310) 및 하드웨어 블록(330)을 포함할 수 있다. 상기 소프트웨어(310)는 상태 관리부(311), 촬영 관리부(312), 센서 관리부(313), 통신부(314), 운영 체제(operating system; OS)(320)를 포함할 수 있다. 상기 운영 체제(320)는 디바이스 드라이버(321) 및 HAL(hardware abstraction layer)(322)를 포함할 수 있다.
상기 상태 관리부(311)는 상기 카메라(300)의 상태 정보(예컨대, 도 9에 도시된 각 상태 정보)를 저장할 수 있으며, 이전 상태 저장부(311a), 상태 표시부(311b), 상태 수신부(311c)를 포함할 수 있다. 상기 이전 상태 저장부(311a)는 현재 상태로 변경되기 전의 이전 상태의 정보를 저장할 수 있으며, 상기 상태 표시부(311b)는 현재 상태를 LED 등을 통해 표시하도록 제어할 수 있으며, 상기 상태 수신부(311c)는 상기 통신부(314)를 통해 클라우드 서버(예: 도 1 또는 도 2의 클라우드 서버(110))로부터 상태 정보를 수신하도록 할 수 있다.
상기 촬영 관리부(312)는 촬영 설정부(312a), 컨텐츠 생성부(312b), 컨텐츠 전달부(312c)를 포함할 수 있다. 상기 촬영 설정부(312a)는 상기 카메라(300)의 영상 촬영을 위한 각 설정에 관련된 기능들을 제공하며, 상기 컨텐츠 생성부(312b)는 촬영된 영상 데이터로부터 컨텐츠를 생성하며, 컨텐츠 전달부(312c)는 생성된 컨텐츠를 클라우드 서버 등으로 전송하기 위해 통신부(314)로 전달하는 동작을 수행할 수 있다.
상기 센서 관리부(313)는 본 발명의 다양한 실시예에 따라 메인 카메라 선택을 위해 사용되는 센싱 데이터를 관리하는 동작을 수행할 수 있다. 상기 센서 관리부(313)는 얼굴 인식부(313a), 카메라 움직임 인식부(313b), 사운드 인식/처리부(313c), 거리 인식/처리부(313d)를 포함할 수 있다. 상기 얼굴 인식부(313a)는 카메라(300)에서 촬영된 영상 데이터로부터 얼굴을 인식하는 기능을 수행하며, 상기 카메라 움직임 인식부(313b)는 상기 카메라(300)의 움직임을 인식하는 기능을 수행할 수 있다. 상기 사운드 인식/처리부(313c)는 마이크를 통해 입력된 음성 데이터를 인식하고 처리하는 기능을 수행할 수 있다. 거리 인식/처리부(313d)는 상기 카메라(300)와 객체 또는 사람과의 거리를 측정하고 처리하는 기능을 수행할 수 있다.
상기 통신부(314)는 네트워크 연결부(314a), 데이터 전송부(314b), 데이터 수신부(314c)를 포함할 수 있다. 상기 네트워크 연결부(314a)는 클라우드 서버와 연결을 수행하며, 상기 데이터 수신부(314c)는 상기 촬영 관리부(312)로부터 생성된 컨텐츠를 수신하고, 상기 데이터 전송부(314b)는 상기 수신된 컨텐츠를 클라우드 서버로 전송할 수 있다. 다양한 실시예에 따라, 상기 데이터 수신부(314c)는 상기 센서 관리부(311)로부터 사용자 인터랙션 데이터를 수신하고, 상기 데이터 전송부(314b)는 상기 수신된 사용자 인터랙션 데이터를 클라우드 서버로 전송할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 클라우드 서버의 블록도이다. 도 4를 참조하면, 본 발명의 다양한 실시예에 따른 클라우드 서버(400)는 소프트웨어(410), 및 하드웨어 블록(480)을 포함할 수 있다. 상기 소프트웨어(410)는 템플릿 및 상태 관리부(420), 계정 및 기기 관리부((430), 방송 관리부(440), 컨텐츠 관리부(450), 통신부(460), 및 운영 체제(operating system; OS)(470)를 포함할 수 있다. 상기 운영 체제(470)는 디바이스 드라이버(471) 및 HAL(hardware abstraction layer)(472)를 포함할 수 있다.
상기 템플릿 및 상태 관리부(420)는 템플릿 저장부(421), 템플릿 관리부(422), 조건 판단부(423) 및 상태 명령부(424)를 포함할 수 있다. 상기 템플릿 저장부(421)는 후술하는 다양한 방송 유형에 따른 템플릿 정보를 저장하는 기능을 수행할 수 있다. 상기 템플릿 관리부(422)는 상기 저장된 각종 템플릿 정보를 설정 및 관리하는 기능을 수행할 수 있다. 상기 조건 판단부(423)는 상기 템플릿 저장부(421)에 저장된 정보에 기반하여 각 카메라로부터 수신된 정보를 통해 특정 카메라가 메인 카메라 선택 조건에 만족하는지 판단하는 기능을 수행할 수 있다. 상기 상태 명령부(424)는 상기 조건 판단부(423)를 통해 메인 카메라가 결정되면 상기 메인 카메라에 대응하는 상태 명령을 각 카메라로 전송하는 기능을 수행할 수 있다.
계정 및 기기 관리부(430)는 계정 등록부(431), 계정 저장부(432), 계정 삭제부(433), 기기 등록부(434), 기기 저장부(435), 기기 삭제부(436)를 포함하여 구성될 수 있다. 상기 계정 등록부(431)는 실시간 방송을 위한 사용자 계정을 등록하며, 상기 계정 저장부(432)는 상기 등록한 계정 정보를 메모리에 저장할 수 있다. 상기 계정 삭제부(433)는 상기 등록되어 저장된 계정을 사용자의 요청에 따라 삭제할 수 있다. 상기 기기 등록부(434)는 실시간 방송을 위한 각 사용자 계정에 대해 상기 실시간 방송을 위해 연결할 적어도 하나의 카메라를 등록하며, 상기 기기 저장부(435)는 상기 등록한 기기 정보를 메모리에 저장할 수 있다. 상기 기기 삭제부(436)는 상기 등록되어 저장된 기기를 사용자의 요청에 따라 삭제할 수 있다.
상기 컨텐츠 관리부(450)는 컨텐츠 저장부(451), 컨텐츠 수신부(452), 컨텐츠 연결부(453), 컨텐츠 생성부(454), 컨텐츠 전달부(455)를 포함할 수 있다. 상기 컨텐츠 수신부(452)에서 컨텐츠를 수신하면, 수신된 컨텐츠는 컨텐츠 저장부(451)를 통해 저장할 수 있다. 다양한 실시예에 따라, 메인 카메라가 변경되면, 상기 컨텐츠 연결부(453)는 각 카메라의 영상 데이터를 상기 변경 시점에서 서로 연결 처리할 수 있으며, 컨텐츠 생성부(454)를 통해 컷 편집된 컨텐츠가 생성될 수 있다. 상기 컨텐츠 전달부(455)는 상기 컨텐츠 생성부(454)를 통해 생성된 컷 편집된 컨텐츠를 통신부(460)로 전달할 수 있다.
상기 통신부(460)는 네트워크 연결부(461), 컨텐츠 전송부(462), 컨텐츠 수신부(463)를 포함할 수 있다. 상기 네트워크 연결부(461)는 각 카메라 또는 방송 서비스 서버와 연결을 수행하며, 상기 컨텐츠 수신부(463)는 상기 컨텐츠 관리부(450)로부터 생성된 컨텐츠를 수신하고, 상기 컨텐츠 전송부(462)는 상기 수신된 컨텐츠를 방송 서비스 서버로 전송할 수 있다.
상기 방송 관리부(440)는 서비스 관리부(441), 서비스 연결부(442), 컨텐츠 송출부(443)를 포함할 수 있다. 상기 서비스 관리부(441)는 실시간 방송 서비스와 관련된 관리를 수행할 수 있으며, 상기 서비스 연결부(442)는 상기 실시간 방송 서버와 실시간 서비스를 위한 연결을 수행할 수 있으며, 컨텐츠 송출부(443)는 상기 실시간 방송 서버를 통해 컨텐츠가 실시간 방송 처리되도록 컨텐츠를 송출할 수 있다.
본 발명의 다양한 실시예에서 각 기능부 또는 모듈이라 함은, 본 발명의 다양한 실시예의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부 또는 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 실시예의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
본 발명의 다양한 실시예 중 어느 하나에 따른 서버는, 통신 회로; 및 상기 통신 회로와 전기적으로 연결된 프로세서;를 포함하며, 상기 프로세서는, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 수신하고, 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하고, 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따라, 상기 프로세서는, 상기 복수의 카메라들 중 상기 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 메인 카메라의 선택에 대응하는 제어 신호를 상기 제2 카메라로 전송하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 촬영된 영상 데이터를 분석하고, 분석된 영상 데이터가 설정된 조건을 만족하는 카메라를 메인 카메라로 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 분석된 영상 데이터로부터 얼굴의 방향을 인식하고, 상기 인식된 얼굴의 방향에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 분석된 영상 데이터로부터 객체의 움직임을 인식하고, 상기 인식된 객체의 움직임에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 카메라의 움직임을 인식하고, 상기 인식된 카메라의 움직임에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 각 카메라의 마이크로부터 입력된 사용자의 발화 소리의 크기를 판단하고, 상기 사용자의 발화 소리의 크기에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 객체와의 거리를 측정하고, 상기 측정된 거리에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 사용자 제스처를 판단하고, 상기 판단한 사용자 제스처에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택 기준은, 방송하고자 하는 컨텐츠의 유형에 따라 상이하게 설정될 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 서버에서의 영상 데이터 생성 방법을 나타내는 흐름도이다. 도 5를 참조하면, 동작 502에서 클라우드 서버(예: 도 1의 클라우드 서버(110))는 복수의 카메라들(예: 도 1의 제1 카메라(121) 또는 제2 카메라(122))로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 수신할 수 있다.
동작 504에서, 상기 클라우드 서버는, 상기 수신된 제1 카메라의 영상 데이터를 실시간 방송 서버로 전송할 수 있다.
동작 506에서, 상기 클라우드 서버는, 제2 카메라가 메인 카메라의 조건을 만족하는지 판단하고, 상기 판단 결과 상기 제2 카메라가 메인 카메라의 조건을 만족하면 동작 508에서, 상기 제2 카메라의 영상 데이터를 상기 실시간 방송 서버로 전송할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 도 5에 도시된 동작들 중 적어도 하나의 동작이 생략되어 실행될 수도 있으며, 적어도 하나의 다른 동작이 상기 동작들 사이에 추가될 수도 있다. 또한, 상기 도 5의 동작들은 도시된 순서로 처리될 수도 있으며, 적어도 하나의 동작에 대한 실행 순서가 다른 동작의 실행 순서와 변경되어 처리될 수도 있다. 또한, 상기 도 5에 도시된 동작들은 전자 장치 내에서 수행될 수도 있으며, 서버에서 수행될 수도 있다. 또한, 상기 도 5에 도시된 동작들 중 적어도 하나의 동작들은 전자 장치 내에서 수행되고, 나머지 동작들은 서버에서 수행되도록 구현될 수도 있다.
본 발명의 다양한 실시예 중 어느 하나에 따른 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법은, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 통신 회로를 통해 수신하는 동작; 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하는 동작; 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는지 판단하는 동작; 및 상기 판단 결과, 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하는 동작;을 포함할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 방법은, 상기 복수의 카메라들 중 상기 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 메인 카메라의 선택에 대응하는 제어 신호를 상기 제2 카메라로 전송하는 동작;을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 촬영된 영상 데이터를 분석하고, 분석된 영상 데이터가 설정된 조건을 만족하는 카메라를 메인 카메라로 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 분석된 영상 데이터로부터 얼굴의 방향을 인식하고, 상기 인식된 얼굴의 방향에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 분석된 영상 데이터로부터 객체의 움직임을 인식하고, 상기 인식된 객체의 움직임에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 카메라의 움직임을 인식하고, 상기 인식된 카메라의 움직임에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 상기 각 카메라의 마이크로부터 입력된 사용자의 발화 소리의 크기를 판단하고, 상기 사용자의 발화 소리의 크기에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 객체와의 거리를 측정하고, 상기 측정된 거리에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택은, 각 카메라에서 사용자 제스처를 판단하고, 상기 판단한 사용자 제스처에 기반하여 메인 카메라를 선택할 수 있다.
본 발명의 다양한 실시예에 따라, 상기 메인 카메라의 선택 기준은, 방송하고자 하는 컨텐츠의 유형에 따라 상이하게 설정될 수 있다.
본 발명의 다양한 실시예에 따라, 상기 방법은 상기 영상 데이터에 추가 정보 또는 추가 영상을 삽입하는 요청을 수신하는 동작; 상기 요청의 수신에 대응하여, 상기 추가 정보 또는 추가 영상을 생성하는 동작; 및 상기 생성된 추가 정보 또는 추가 영상을 상기 영상 데이터에 삽입하는 동작;을 더 포함할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에서 서버 간의 계정 연동을 설정하는 화면을 나타내는 도면이다. 도 6을 참조하면, 멀티 카메라의 컷 편집된 미디어를 클라우드 서버를 통해 방송 송출하기 위해서, 사용자는 전자 장치(예: 스마트폰)(600)를 통해 본인이 주로 사용하는 미디어 서비스 플랫폼(예: 도 1의 실시간 방송 서버(100))(예: YouTubeTM, FacebookTM, InstagramTM, PeriscopeTM, SnapTM 등)과 클라우드 계정을 연동할 수 있다.
예컨대, 전자 장치(600)의 제1 화면(610)에서 특정 실시간 방송 서버(예: YouTubeTM 서버)의 클라우드 계정을 선택하면, 제2 화면(620)으로 전환되어 해당 실시간 방송 서버에 로그인하기 위한 정보(예: 이름 및 패스워드)를 입력할 수 있다. 상기 제2 화면(620)에 입력된 정보가 정상적으로 인증되면 제3 화면(630)을 통해 클라우드 서버와 방송 서비스 서버의 계정이 서로 연결되었음을 디스플레이할 수 있다.
다양한 실시예에 따라, 서비스 플랫폼(예컨대, 실시간 방송 서버)에서는 클라우드 계정과 연계되어 클라우드 서버를 하나의 카메라로 인식하여, 하나의 채널을 통해 라이브 미디어 소스를 제공 받아 이를 실시간 송출할 수 있다. 예컨대, 복수의 카메라들로부터 획득 및 컷 편집한 미디어는 단일 클라우드 계정을 통해 한 대의 카메라를 서비스 플랫폼에 연결시켜 방송 송출하는 것과 동일한 효과를 얻을 수 있다. 다양한 실시예에 따라, 상기에서 연동된 계정을 통해, 상기 클라우드 서버에서는 상기 실시간 방송 서버에서 송출한 영상과 사용자 피드백(댓글, 스티커 등) 데이터를 상기 실시간 방송 서버로부터 제공받고, 상기 클라우드 서버에서는 댓글이 많이 올라오는 부분 등을 활용해 추가로 영상 데이터를 재편집할 수 있다.
도 7a, 도 7b, 도 7c, 도 7d, 도 7e, 및 도 7f는 본 발명의 다양한 실시예에 따른 복수의 카메라들을 조합하는 예를 나타내는 도면이다.
도 7a는 복수의 스마트폰을 조합하여 복수의 카메라를 구성한 예이며, 도 7b는 복수의 듀얼 렌즈 카메라를 조합하여 복수의 카메라를 구성한 예이며, 도 7c는 복수의 싱글 렌즈 카메라를 조합하여 복수의 카메라를 구성한 예이며, 도 7d는 듀얼 렌즈 카메라와 싱글 렌즈 카메라를 조합하여 복수의 카메라를 구성한 예이며, 도 7e는 스마트폰과 듀얼 렌즈 카메라를 조합하여 복수의 카메라를 구성한 예이며, 도 7f는 스마트폰과 싱글 렌즈 카메라를 조합하여 복수의 카메라를 구성한 예이다. 상기 도 7a, 도 7b, 도 7c, 도 7d, 도 7e, 및 도 7f는 두 개의 카메라 또는 스마트폰이 복수의 카메라를 구성하는 것으로 예시되어 있으나, 다양한 실시예에 따라 셋 이상의 카메라 또는 전자 장치로 복수의 카메라를 구성할 수도 있다.
도 8은 본 발명의 다양한 실시예에 따른 복수의 카메라들과 서버 간의 연결을 나타내는 도면이다. 도 8을 참조하면, 다양한 실시예에 따라, 듀얼 렌즈 카메라(810)와 싱글 렌즈 카메라(820)를 조합하여 복수의 카메라를 구성하고, 상기 복수의 카메라를 클라우드 서버(800)에 연결하여 실시간 방송 서비스를 제공할 수 있다.
상기 듀얼 렌즈 카메라(810)는 광각 렌즈(811a) 및 일반 렌즈(811b)의 듀얼 렌즈로 구성된 카메라로, 광각 촬영과 클로즈업 촬영 간의 전환 촬영이 가능하다. 상기 싱글 렌즈 카메라(820)는 일반 싱글 렌즈(821)로 구성된 카메라로, 원하는 위치에 부착하거나 사용자가 들어서 자유로운 촬영이 가능하다.
상기 듀얼 렌즈 카메라(810)와 싱글 렌즈 카메라(820)는 각각 깊이 센서(812, 822)를 포함하여 사용자의 얼굴 방향(시선)을 추적하고, 사용자와 카메라 간, 또는 카메라들 간의 거리를 측정할 수 있다.
상기 듀얼 렌즈 카메라(810)와 싱글 렌즈 카메라(820)는 각각 적어도 하나의 마이크(813, 823)를 포함하여 센싱된 사운드 크기와 방향으로 상대적 사용자 발화 위치를 예측하고, 카메라들 간의 상대적 노이즈를 구분하여 노이즈 캔슬링된 사운드를 클라우드 서버(800)로 전송할 수 있다.
상기 듀얼 렌즈 카메라(810)와 싱글 렌즈 카메라(820)는 각각 통신 모듈(예: Cellular/Wi-Fi/BT)을 포함하여 어디에서나 유무선 통신 네트워크에 연결하여 촬영된 영상 데이터를 클라우드 서버(800)로 전송할 수 있으며, 상기 통신 모듈은 카메라 간 정보 송수신에도 사용될 수 있다.
상기 듀얼 렌즈 카메라(810)와 싱글 렌즈 카메라(820)는 각각 LED(814, 824) 포함하여 사용자가 현재 카메라의 상태를 인지할 수 있도록 피드백을 제공할 수 있다. 다양한 실시예에 따라, 상기 현재 카메라의 상태는 전원 온/오프, 메인 카메라 여부, 촬영 여부 등을 포함할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 복수의 카메라들에 대한 상태 천이(transition) 관계를 나타내는 도면이다. 도 9를 참조하면, 각 카메라는 오프(off) 상태, 스탠바이 싱글(standby-single) 상태, 스탠바이 멀티(standby-multi) 상태, 메인 카메라 오프(main cam-off) 상태, 메인 카메라 온(main cam-on) 상태 중 적어도 하나의 상태로 동작할 수 있다.
각 카메라는 상기 오프 상태에서 전원 버튼을 눌렀을 때, 스탠바이 싱글 상태로 전환될 수 있다. 상기 각 카메라는 상기 스탠바이 싱글 상태에서 멀티 카메라 조건을 만족하면 스탠바이 멀티 상태로 전환될 수 있다. 다양한 실시예에 따라, 상기 각 카메라는 상기 스탠바이 멀티 상태에서 재생 또는 녹화(record) 버튼을 누르면 메인 카메라 오프 상태로 전환될 수 있다. 상기 각 카메라는 상기 메인 카메라 오프 상태에서 메인 카메라 조건을 만족하면 메인 카메라 온 상태로 전환될 수 있다. 다양한 실시예에 따라 상기 메인 카메라 조건의 만족 여부는 연결된 클라우드 서버(예: 도 8의 클라우드 서버(800))를 통해 판단될 수 있다.
상기 각 카메라는 메인 카메라 온 상태에서 메인 카메라 조건을 만족하지 않거나, 다른 카메라가 메인 카메라 조건을 만족하면 메인 카메라 오프 상태로 전환될 수 있다. 상기 각 카메라는 상기 메인 카메라 오프 상태에서 재생 또는 녹화 정지 버튼을 누르면 스탠바이 멀티 상태로 전환될 수 있으며, 싱글 카메라 조건을 만족하면 스탠바이 싱글 상태로 전환될 수 있다. 상기 도 9에 도시된 각 상태 전환 관계는 예시적인 것으로서, 다양한 실시예에 따라 특정 상태가 생략되거나 추가될 수도 있으며, 적어도 하나의 상태에 대한 위치가 변경될 수도 있다.
도 10은 본 발명의 다양한 실시예에 따른 복수의 카메라들에 대한 상태 이미지의 표시 예를 나타내는 도면이다. 도 10을 참조하면, 각 카메라들은 상기 도 9에서 정의한 각 상태에 따라 현재 상태에 대응하는 상태 이미지를 표시할 수 있다. 상기 상태 이미지는 예시로 든 것으로서 다양한 형태로 변형될 수 있다. 상기 도 10의 이미지는 전자 장치(예: 도 1의 전자 장치(123))에 디스플레이될 수도 있으며, 각 카메라(예: 도 1의 제1 카메라(121) 또는 도 1의 제2 카메라(122))의 LED 점등에 적용될 수도 있다.
예컨대, 듀얼 렌즈 카메라(1010)의 이미지에 LED가 꺼진 표시(1011)를 할 수 있다. 상기 듀얼 렌즈 카메라(1010)는 오프 상태에서 카메라의 전원이 꺼져 있는 상태로서. 전원 버튼을 눌러 스탠바이 싱글 상태로 변경될 수 있다.
상기 듀얼 렌즈 카메라(1010)가 스탠바이 싱글 상태로 변경되면 듀얼 렌즈 카메라(1010)의 이미지에 LED를 청색으로 점등한 표시(1012)를 할 수 있다. 상기 스탠바이 싱글 상태는 상기 듀얼 렌즈 카메라(1010)의 전원이 켜졌으나, 연결된 계정에 등록된 다른 카메라(예컨대, 싱글 렌즈 카메라(1020))들의 전원은 들어오지 않은 상태를 나타낸다. 상기 스탠바이 싱글 상태에서는 멀티 카메라 조건을 지속적으로 체크하여 스탠바이 멀티 상태로 변경될 수 있는 상태인지를 확인할 수 있다.
스탠바이 멀티 상태가 되면 듀얼 렌즈 카메라(1010)의 이미지에 LED를 청색으로 점등한 표시(1012)를 하고, 싱글 렌즈 카메라(1020)의 이미지에 LED를 청색으로 점등한 표시(1021)를 할 수 있다. 상기 스탠바이 멀티 상태는 연결된 계정에 등록된 1대 이상의 다른 카메라의 전원이 들어와 클라우드 상 등록된 계정 내 복수 개의 카메라 준비가 확인된 상태를 나타내며, 복수의 카메라들 중 하나의 카메라 또는 전자 장치 등에서 촬영 시작기능(예: Record 버튼)을 실행하면 메인 카메라 오프 상태로 변경될 수 있다.
상기 메인 카메라 오프 상태가 되면, 상기 듀얼 렌즈 카메라(1010)와 싱글 렌즈 카메라(1020)의 이미지에 LED를 녹색으로 점등한 표시(1013, 1022)를 할 수 있다. 상기 메인 카메라 오프 상태는 촬영은 진행 중이나 메인 카메라 선정 및 실시간 방송 송출을 위해 클라우드 서버로의 영상 데이터 전송은 진행되지 않는 상태를 의미할 수 있다. 상기 메인 카메라 오프 상태에서는 메인 카메라 온 상태로의 전환 조건을 지속적으로 체크하여 메인 카메라 온 상태로 전환될 수 있다.
상기 메인 카메라 오프 상태에서, 상기 듀얼 렌즈 카메라(1010)가 메인 카메라의 조건을 만족하면, 메인 카메라 온 상태로 전환되고 상기 메인 카메라(1010)의 이미지에 LED를 적색으로 점등한 표시(1014)를 할 수 있다. 상기 메인 카메라 온 상태는 상기 듀얼 렌즈 카메라(1010)가 클라우드 서버를 통해 실시간 방송 송출할 컨텐츠를 촬영하는 메인 카메라로 전환된 상태임을 나타낸다. 상기 메인 카메라 온 상태에서는 메인 카메라 오프 조건을 지속적으로 체크하여 메인 카메라 오프 상태로 전환될 수 있다.
본 발명의 다양한 실시예에 따라, 각 카메라에서는 이미지, 카메라 움직임(모션), 사운드 등의 센서에서 발생한 이벤트 데이터를 실시간으로 클라우드 서버에 전송하고, 클라우드 서버는 전송 받은 데이터에 적어도 기반하여 메인 카메라의 전환 여부를 판단할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버는 사용자가 선택한 미디어 유형별 템플릿에 기반하여, 해당 미디어 유형에 적합한 사용자 인터랙션 관련 데이터를 우선 순위화하고, 세부 조건에 대한 만족 여부를 판단하여 메인 카메라로의 전환 여부를 결정할 수 있다.
다양한 실시예에 따라, 각 카메라에서 영상을 촬영하는 중 사용자 인터렉션이 발생하면, 각 카메라의 센서 관리부에서 센싱한 이벤트 데이터들을 통신부를 통해 클라우드 서버로 전송할 수 있다.
상기 클라우드 서버의 통신부에서는 이벤트 데이터를 수신하고, 조건 판단부에서 각 카메라가 메인 카메라의 조건을 만족하는지 판단할 수 있다.
예컨대, 클라우드 서버에서는 각 카메라에서 촬영된 영상 데이터로부터 이미지를 분석하여 얼굴 방향이 정면을 인식하면 메인 카메라로 설정할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버에서는 카메라의 움직임과 관련된 정보를 수신하고, 상기 카메라의 움직임이 지정된 조건을 만족하면 메인 카메라로 설정할 수 있다. 다양한 실시예에 따라, 상기 클라우드 서버에서는 사용자와 카메라의 거리에 대한 정보를 수신하고, 상기 거리가 지정된 조건을 만족하면 메인 카메라로 설정할 수 있다.
다양한 실시예에 따라, 상기 클라우드 서버에서는 사용자의 발화 소리 크기에 대한 정보를 수신하고, 상기 발화 소리 크기가 지정된 조건을 만족하면 메인 카메라로 설정할 수 있다. 다양한 실시예에 따라, 복수의 카메라로부터 수신된 사용자의 발화 소리 크기 중 발화 소리가 가장 큰 카메라를 메인 카메라로 설정할 수도 있다.
다양한 실시예에 따라, 상기 클라우드 서버에서는 각 카메라에서 촬영된 영상 데이터로부터 사용자 또는 객체의 움직임을 분석하여 상기 사용자 또는 객체의 움직임이 지정된 조건을 만족하면 메인 카메라로 설정할 수 있다.
다양한 실시예에 따라, 상기 클라우드 서버에서는 각 카메라에서 촬영된 영상 데이터로부터 사용자의 제스처를 식별하고, 상기 식별된 사용자의 제스처가 지정된 패턴 또는 방향이면 특정 카메라를 메인 카메라로 설정할 수 있다.
다양한 실시예에 따라, 상기 클라우드 서버의 조건 판단부는 이벤트 데이터를 사용자가 선택한 템플릿 내 인터랙션(interaction) 여부, 우선 순위 및 메인 카메라 온 조건(Main Cam-On Condition) 만족 여부를 판단하여 복수의 카메라들 중 하나를 메인 카메라로 결정할 수 있다.
상기 클라우드 서버는 각 카메라별 역할(메인 카메라, Non-메인 카메라)에 대한 명령을 통신부를 통해 각 카메라로 전송할 수 있다. 상기 각 카메라는 상기 클라우드 서버로부터 전송 받은 명령에 따라 지정된 역할을 수행할 수 있다. 예컨대, 메인 카메라로 결정된 카메라는 상태 표시부를 통해 메인 카메라에 대응하는 LED 색상을 표시할 수 있으며, 촬영된 영상 데이터를 실시간으로 상기 클라우드 서버에 전송할 수 있다.
도 11a, 도 11b, 및 도 11c는 본 발명의 다양한 실시예에 따른 미디어 유형별 템플릿 선택의 예를 나타내는 도면이다.
다양한 실시예에 따라, 메인 카메라로의 전환 방법은 라이브 촬영 중 사용자의 행동을 기반으로 한 자연 상호 작용(natural interaction)을 사용할 수 있다. 도 11a, 도 11b, 및 도 11c를 참조하면, 다양한 실시예에 따라, 1인 미디어의 컨텐츠 유형별로 자주 활용되는 선호 카메라 구도와 크리에이터의 행동(인터랙션)을 템플릿화하고, 사용자는 미디어 촬영 전 원하는 템플릿을 선택하고 해당 템플릿 내에 정의된 인터랙션을 우선적으로 메인 카메라 전환 기준으로 설정할 수 있다.
다양한 실시예에 따라, 해당 인터랙션이 인식되어 메인 카메라로 선정되면 해당 카메라에 정의된 선호 구도로 촬영이 진행될 수 있다. 다양한 실시예에 따라, 인터랙션이 복합적 인식되는 경우, 해당 템플릿 내 정의된 인터랙션을 제외한 '우선 순위' 순서에 따라 메인 카메라로 선정할 수 있다.
도 11a를 참조하면, 키즈, 뷰티, 요리, 토크쇼, 스포츠 등의 미디어 유형에 따른 템플릿을 설정할 수 있다. 상기 도 11a에서 사용자가 요리에 대한 템플릿을 선택하면 도 11b와 같은 화면에서 클로즈업을 원하는 피사체를 선택할 수 있다. 다양한 실시예에 따라 도 11c에 도시된 바와 같이 메인 카메라 간의 전환 효과(예: 스트레이트 컷(straight cut), 페이딩(fading), 와이프(widp), 팬(pan), 셔플(shuffle) 등)를 선택할 수도 있다.
다양한 실시예에 따라, 사용자 인터랙션은 화면에 기반한 얼굴 인식, 카메라 움직임 인식, 음성 인식 등을 사용할 수 있다. 다양한 실시예에 따라, 제1 카메라((예: 고정 카메라)의 디폴트 구도는 전체 샷으로 설정하고, 제2 카메라(예: 핸디 카메라)의 디폴트 구도는 클로즈업 샷으로 설정할 수 있다. 다양한 실시예에 따라 증강된 미디어(augmented media)는 음성 명령 입력 시 후술하는 도 26에 도시된 바와 같은 재료 정보를 표시할 수 있다.
도 12a, 도 12b, 도 12c, 도 12d, 및 도 12e는 본 발명의 다양한 실시예에 따른 미디어 유형별 카메라 선택의 예를 나타내는 도면이다.
도 12a를 참조하면, 요리 중심 템플릿을 선택하고 대표 인터랙션을 카메라를 드는 행동으로 설정할 수 있다. 다양한 실시예에 따라, 사용자의 얼굴을 n초 간 인식한 Cam1이 메인 카메라로 선택되어 사용자의 일반 상반신 샷을 촬영할 수 있다. 사용자가 Cam2를 들면 카메라의 움직임을 인식하고 Cam2를 메인 카메라로 전환시킨 후 클로즈업하여 사용자가 원하는 자유 구도로 촬영할 수 있다. 사용자가 Cam2를 내려놓으면 이전 메인 카메라인 Cam1으로 메인 카메라가 전환될 수 있다.
도 12b를 참조하면, 뷰티 템플릿을 선택하고 대표 인터렉션을 카메라를 보는 동작으로 설정할 수 있다. 다양한 실시예에 따라, 얼굴 인식 기술을 통해 사용자 얼굴을 n초 간 인식한 정면의 Cam1이 메인 카메라로 선택되어 사용자의 일반 상반신 샷을 촬영할 수 있다. 사용자가 측면의 Cam2를 쳐다보고 사용자 얼굴의 정면이 n초간 인식되면 Cam2가 메인 카메라로 전환될 수 있다. 상기 Cam2가 광각 기능의 카메라인 경우, 상기 Cam2가 메인 카메라가 되면 미리 설정된 기능에 따라 자동으로 줌-인(zoom-in) 기능이 동작하여 사용자 얼굴을 클로즈업 샷으로 촬영할 수 있다.
도 12c를 참조하면, 토크쇼 템플릿을 선택하고 대표 인터렉션을 말하는 동작으로 설정할 수 있다. 다양한 실시예에 따라, 동시에 말하거나, 복수의 사용자가 서로 연속된 순서로 말하면 두 개 카메라 중 하나의 카메라(Cam1)가 메인 카메라로 선택되어 전체 샷을 촬영할 수 있다. 한 명의 사용자가 다른 사용자의 인터럽션(interruption) 없이 n초 이상 말하는 것이 인식(예컨대, 마이크로 입력되는 사용자 발화 크기(예: 데시벨 레벨)를 비교해 더 큰 목소리로 말하는 사용자로 인식)되면, 근접한 카메라(Cam2)가 메인 카메라로 전환되어 해당 사용자를 클로즈업 촬영할 수 있다.
도 12d를 참조하면, 사물 중심 템플릿(예: 키즈 템플릿)을 선택하고 사물을 조작하는 동작을 대표 인터렉션으로 설정할 수 있다. 다양한 실시예에 따라, 사용자 얼굴을 n초 간 인식한 Cam1이 메인 카메라로 선택되어 사용자의 일반 상반신 샷을 촬영할 수 있으며, 촬영 전 설정한 영역 또는 특정 피사체(사물)를 인식하여, 해당 영역 내 사물을 조작하거나 드는 등의 움직임이 n초 이상 발생하면 Cam2가 메인 카메라로 선택되어 해당 영역 또는 해당 사물의 클로즈업 샷 촬영을 할 수 있다.
도 12e를 참조하면, 스포츠 템플릿을 선택하고 사용자가 움직이는 동작을 대표 인터렉션으로 설정할 수 있다. 다양한 실시예에 따라, 깊이 센싱(depth sensing) 또는 이미지(vision) 인식기술을 통해 사용자와 각 카메라 간 상대적 거리를 파악하여, 움직이는(이동하는) 주요 피사체(사용자)와 가장 가까이 있는 카메라로 자동 전환하면서 촬영할 수 있다. N개 카메라가 설치된 경우 연속된 동작을 N개 구도에서 자동으로 메인 카메라를 전환시키면서 촬영할 수 있다.
도 13a, 도 13b, 및 도 13c는 본 발명의 다양한 실시예에 따른 사용자 제스처에 의한 카메라 제어의 예를 나타내는 도면이다.
다양한 실시예에 따라, 미디어 유형별 템플릿을 활용한 카메라의 자동 제어 방법 외에도, 촬영 중 사용자의 제스처 인터랙션을 인식하여 카메라의 제어(예컨대, 메인 카메라의 선택)가 가능하다. 도 13a, 도 13b, 및 도 13c에 도시된 바와 같이 다양한 실시예에 따라 제스처를 통해 지정된 카메라를 메인 카메라로 전환할 수 있으며, 상기 제스처 인식을 통해 카메라 구도를 조정할 수도 있다.
도 13a를 참조하면, 사용자가 바라보는 정면의 카메라를 기준으로 제스처 방향에 위치한 카메라를 메인 카메라로 전환시킬 수 있다. 예컨대, 사용자가 왼쪽으로 손(또는 팔)을 흔들면 왼쪽에 위치한 카메라가 메인 카메라로 전환될 수 있으며, 사용자가 오른쪽으로 손(또는 팔)을 흔들면 오른쪽에 위치한 카메라가 메인 카메라로 전환될 수 있다.
도 13b를 참조하면, 다양한 실시예에 따라, 사용자가 바라보는 정면의 카메라를 향해 손가락으로 포인팅하면 해당 카메라를 메인 카메라로 전환시킬 수 있다. 도 13c를 참조하면, 다양한 실시예에 따라, 사용자가 바라보는 정면의 카메라를 향해 손가락으로 핀치-인 또는 핀치-아웃(pinch in/out) 제스처를 취하면 해당 카메라가 줌-인 또는 줌-아웃(zoom out/in) 기능을 수행할 수 있다.
도 14a 및 도 14b는 본 발명의 다양한 실시예에 따른 메인 카메라를 판단하는 예를 나타내는 흐름도이다. 클라우드 서버의 데이터 수신부를 통해 수신한 각 카메라에서 보낸 실시간 이벤트 데이터는 클라우드 서버의 조건 판단부로 전달될 수 있다. 상기 조건 판단부는 수신 받은 이벤트 데이터의 유형과 사용자가 선택한 템플릿에 정의된 인터랙션 항목과 일치하는지 비교할 수 있다.
상기 비교 결과, 일치하는 경우 해당 이벤트 데이터의 값을 프로세싱하여 템플릿 내 정의된 기능(예컨대, 카메라 제어 기능)을 실행하고, 일치하지 않으면 템플릿 관리부 내 다른 템플릿의 항목과 비교하며, 보유한 템플릿 내 모든 이벤트 유형과 일치하지 않으면 수동 제어로 전환할 수 있다.
도 14a 및 도 14b를 참조하면, 클라우드 서버(예: 도 1의 클라우드 서버(110))는 동작 1402에서 제1 카메라로부터 이벤트 데이터 항목 및 각 항목별 값을 수신할 수 있다. 동작 1404에서, 클라우드 서버는 상기 수신된 항목 및 값이 사용자가 미리 선택한 템플릿에 정의된 이벤트에 대응하는지 확인할 수 있다.
상기 확인 결과, 미리 선택한 템플릿에 정의된 이벤트에 대응하지 않으면, 동작 1406에서, 클라우드 서버는 템플릿 관리부 내의 다른 템플릿에 정의된 인터렉션 항목인지를 판단할 수 있다. 상기 판단 결과, 다른 템플릿에 정의된 인터렉션 항목이 아닐 경우, 동작 1408에서 클라우드 서버는 사용자 제스처에 의한 수동 제어를 수행할 수 있다. 상기 판단 결과, 다른 템플릿에 정의된 인터렉션 항목일 경우, 동작 1410에서, 클라우드 서버는 다른 템플릿에서 정의한 제어 기능 및 조건을 비교하여 카메라 제어 기능을 실행할 수 있다.
상기 동작 1404의 확인 결과, 미리 선택한 템플릿에 정의된 이벤트에 대응하면, 동작 1412에서 클라우드 서버는 동시에 수신되는 다른 카메라의 이벤트 데이터가 존재하는지를 확인할 수 있다. 상기 확인 결과, 동시에 수신되는 다른 카메라의 이벤트 데이터가 존재하면, 동작 1418에서 클라우드 서버는 미리 설정된 복합 인식 시의 우선 순위를 비교할 수 있다.
동작 1420에서, 클라우드 서버는 다른 카메라의 이벤트 데이터 대비 우선 순위기 높은지를 판단하고, 우선 순위가 높으면 동작 1422에서 제1 카메라에 대한 해당 이벤트에 해당하는 카메라 제어 기능을 실행할 수 있다. 동작 1420에서, 우선 순위가 높지 않으면, 동작 1424에서 클라우드 서버는 제2 카메라에 대한 해당 이벤트에 해당하는 카메라 제어 기능을 실행할 수 있다.
상기 동작 1412에서, 동시에 수신되는 다른 카메라의 이벤트 데이터가 존재하지 않는 경우, 동작 1414에서 클라우드 서버는 제1 이벤트 데이터 값이 카메라 제어 기능 실행에 필요한 최소한의 값을 만족하는지 판단할 수 있다. 상기 판단 결과, 만족하면 동작 1426에서 클라우드 서버는 제1 카메라에 대한 해당 이벤트의 카메라 제어 기능을 실행할 수 있다. 상기 판단 결과, 만족하지 않으면 동작 1416에서 현재 실행 중인 카메라 제어 기능을 유지할 수 있다.
다양한 실시예에 따라, 각 인터렉션의 유형 별 카메라 제어는 하기 <표 1>과 같이 정의하여 사용될 수 있으며, 본 발명의 실시예들이 하기 표에 한정되는 것은 아니다.
Input(인터랙션 유형) Output(카메라 제어) 비고
음성 명령어 해당 명령어에 해당하는 제어 기능 실행
예)"여기 줌 인 해줘"->Zoom in 기능 실행
예)"요리재료 보여줘"->요리재료 정보 Augment		 Bixby Voice 연계 모든 템플릿
음성 크기(데시벨) 메인 카메라 전환 및 클로즈업 Talk Show 템플릿
얼굴 정면 인식(n초간) 메인 카메라 전환 및 원경 촬영 모든 템플릿
카메라 위치 변경
(카메라를 든다)		 메인 카메라 전환 및 원경 촬영 Cooking, Outdoor 템플릿
사용자 움직임 및 사용자와 카메라 간 거리 메인 카메라 전환 및 원경 촬영 Sports 템플릿
얼굴 인식 + Hand/Arm 제스처 Hand/Arm 제스처에 해당하는 제어 기능 실행 수동 제어
얼굴 인식 + Finger 제스처 Finger 제스처에 해당하는 제어 기능 실행 수동 제어
도 15 및 도 16은 본 발명의 다양한 실시예에 따른 실시간 영상 데이터를 편집하는 방법의 예를 나타내는 도면이다. 도 15를 참조하면, 메인 카메라로 전환된 하나의 카메라는 촬영하는 영상을 실시간으로 클라우드 서버에 전송하고, 클라우드 서버는 직전까지 수신한 영상에 연결하여 실시간 자동 컷 편집된 미디어를 생성할 수 있다. 새로운 사용자 인터랙션 인식에 따라 메인 카메라가 다른 카메라로 전환되기 전까지 촬영한 영상은 상기 해당 카메라에서 클라우드 서버에 전송될 수 있다.
상기 클라우드 서버는 각 메인 카메라로부터 전송 받은 영상들을 시간 순으로 연결하여 자동 컷 편집된 미디어를 생성할 수 있다. 상기 생성된 컷 편집 영상은 실시간 방송 서버를 통해 실시간으로 방송될 수 있으며, 상기 실시간 방송되는 영상 데이터는 클라우드 서버에 저장될 수 있다.
촬영이 종료된 후 스탠바이 멀티 또는 스탠바이 싱글 상태가 되면, 클라우드 서버는 자동 컷 편집된 영상 데이터를 최종 컷 편집 영상으로 메모리 또는 스토리지에 저장할 수 있다.
사용자는 디스플레이가 있는 기기(예: 스마트폰, PC 등)에서 클라우드 서버의 계정으로 로그인하여 자동 컷 편집 영상과 각 카메라에서 촬영한 전체 영상 데이터를 확인하고, 필요 시 추가로 편집할 수 있다.
도 15를 참조하면, 제1 카메라에서 촬영된 영상 데이터와 제2 카메라에서 촬영된 영상 데이터 중 인터랙션에 따라 어느 하나의 영상 데이터가 선택되어 자동으로 컷 편집될 수 있다. 예컨대, 제1 카메라를 메인 카메라로 선택하는 인터렉션(Interaction 1)에 따라 제1 카메라에서 촬영된 영상 데이터가 자동 컷 편집본으로 송출되며, 제2 카메라를 메인 카메라로 선택하는 인터렉션(Interaction 2)에 따라 제2 카메라에서 촬영된 영상 데이터가 자동 컷 편집본으로 송출될 수 있다. 제3 인터렉션(Interaction 3)이 발생하면, 제1 카메라 또는 제2 카메라에서 촬영된 영상 데이터가 아닌 증강 이미지(augmented image)가 자동 생성되어 컷 편집 영상으로 포함될 수 있다.
도 16을 참조하면, 다양한 실시예에 따라, 사용자 인터랙션 발생 후 클라우드 서버의 메인 카메라 결정 및 전환 시 전송 지연 등 다양한 상황에 따라 영상이 단절되는 현상이 발생할 수 있으므로, 도 16에 도시된 것과 같은 방법으로 다른 카메라에서 보내는 영상을 자연스럽게 전환할 수 있다.
다양한 실시예에 따라, 각 카메라에서는 지속적으로 클라우드 서버로 전체 영상을 업로드하고, 메인 카메라 전환 시점에 클라우드 서버가 새롭게 전환된 메인 카메라의 영상을 선택하여 송출하도록 할 수 있다.
다양한 실시예에 따라, 도 16에 도시된 바와 같이 사용자 인터랙션이 발생하여 카메라 전환이 필요한 시점 전후에는 모든 카메라로부터 영상을 수신하여 버퍼에 저장하고, 사용자가 미리 선택한 전환 효과(transition effect)를 적용해 영상 전환이 완료되어 신규 메인 카메라의 영상이 송출된 후 기존 메인 카메라의 영상 수신을 끊도록 할 수 있다.
도 17은 본 발명의 다양한 실시예에 따른 생성된 영상 데이터에 대한 추가 편집 방법을 나타내는 도면이다. 도 17을 참조하면, 실시간 방송 후 리플레이(replay) 영상으로 업로드할 때, 다양한 실시예에 따라 영상 데이터의 길이를 줄이고 임팩트 있는 미디어로 재가공 하기 위해 다음과 같이 추가 컷 편집하여 업로드 할 수 있다.
다양한 실시예에 따라, 클라우드 서버는 계정 연동된 서비스 플랫폼(예: 실시간 방송 서버)으로부터 송출된 자동 컷 편집된 영상과 실시간으로 올라온 시청자 피드백(댓글, 이모티콘, 스티커 등) 데이터를 제공받을 수 있다. 상기 클라우드 서버는 영상 중 시청자 피드백이 많은 부분을 감지(detect) 또는 식별하여 해당 부분만 자동 컷 편집하여 업로드할 영상으로 재가공할 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 전자 장치의 신규 등록 방법을 나타내는 도면이다. 도 18을 참조하면, 다양한 실시예에 따라 다른 사람의 카메라 또는 스마트폰을 임시로 멀티 카메라 네트워크에 추가할 수 있다.
다양한 실시예에 따라, 제1 카메라(1811), 제2 카메라(1812), 및 사용자의 스마트폰(1813)이 공중 이동망을 이용하여 클라우드 서버(1820)에 연결될 수 있다. 다양한 실시예에 따라, 새로운 제3 카메라(1814)를 상기 사용자의 계정에 추가하고자 할 경우, 상기 스마트폰(1813)과 제3 카메라(1814)에 내장된 근거리 통신 모듈로 연결할 수 있다.
상기 스마트폰(1813)과 제3 카메라(1814)가 내장된 근거리 통신 모듈로 연결되면, 도 19 및 도 20에 도시된 바와 같이 신규 카메라를 멀티 카메라 네트워크에 추가할지 여부를 묻는 메시지(notification)를 기존 카메라(1811, 1812) 또는 연동된 스마트폰(1813)의 디스플레이를 통해 사용자에게 제공할 수 있다. 도 19 또는 도 20의 화면에서 'YES'를 선택하여 사용자 승인을 획득하면 기존 카메라가 등록된 클라우드 계정에 새로운 사용자의 카메라(1814)가 임시로 추가되어 기존 다른 카메라와 함께 미디어 생성에 활용될 수 있다.
도 19는 본 발명의 다양한 실시예에 따른 전자 장치의 신규 등록 시 연동된 전자 장치(예: 스마트폰)에 표시되는 화면의 예를 나타내는 도면이고, 도 20은 본 발명의 다양한 실시예에 따른 카메라에 표시되는 화면의 예를 나타내는 도면이다.
도 21 및 도 22는 본 발명의 다양한 실시예에 따른 복수의 카메라들을 통해 영상 데이터 서비스 절차를 나타내는 흐름도이다.
도 21을 참조하면, 동작 2102에서 제1 카메라의 전원이 온 상태가 되고 동작 2104에서 등록된 계정을 클라우드 서버에 연결하면서 클라우드 서버에 계정 정보 확인 요청을 할 수 있다. 사용자는 동작 2106에서 전자 장치를 이용하여 앱(application)을 실행하고, 동작 2108에서 클라우드 서버에 등록된 계정으로 연결할 수 있다.
동작 2110에서, 클라우드 서버는 등록된 계정 정보를 확인하고, 동작 2112에서 등록 확인 결과를 상기 제1 카메라 또는 상기 전자 장치로 전송할 수 있다. 동작 2114에서 상기 제1 카메라는 준비 상태로 진입하여 스탠바이 싱글 상태가 될 수 있다. 동작 2116에서, 상기 전자 장치는 프리뷰 화면을 온 시킬 수 있다. 사용자는 동작 2118에서 전자 장치의 화면을 통해 촬영 템플릿을 선택할 수 있다. 상기 선택한 템플릿 정보는 클라우드 서버로 전송되며, 동작 2120에서 상기 클라우드 서버는 수신된 템플릿에 대응하는 인터렉션을 판단할 준비를 할 수 있다.
동작 2122에서 제2 카메라의 전원이 온 상태가 되고 동작 2124에서 등록된 계정을 클라우드 서버에 연결하면서 클라우드 서버에 계정 정보 확인 요청을 할 수 있다. 동작 2126에서, 클라우드 서버는 등록된 계정 정보를 확인하고, 동작 2128에서 등록 확인 결과를 상기 제2 카메라로 전송할 수 있다. 동작 2130에서 상기 제2 카메라는 준비 상태로 진입하여 스탠바이 싱글 상태가 될 수 있다.
동작 2140에서, 사용자가 전자 장치의 레코딩 버튼을 눌러 촬영을 개시하면, 상기 촬영 개시 정보(또는 레코딩 버튼 누름(record press) 정보)가 상기 클라우드 서버로 전송될 수 있다. 동작 2142에서, 상기 클라우드 서버는 수신된 촬영 개시 정보(또는 레코딩 버튼 누름 정보)를 각 카메라로 전송하고, 동작 2144 및 동작 2146에서, 상기 제2 카메라 및 상기 제1 카메라는 메인 카메라 오프 상태로 전환되고 촬영을 시작할 수 있다.
동작 2148에서, 제1 카메라에서 사용자 인터렉션 이벤트가 발생하면, 상기 제1 카메라의 이벤트 데이터가 클라우드 서버로 전송될 수 있다. 동작 2150에서 상기 클라우드 서버는 상기 제1 카메라로부터 이벤트 데이터를 수신하고, 메인 카메라 조건 만족 여부를 판단할 수 있다. 상기 판단 결과, 상기 제1 카메라가 메인 카메라의 조건을 만족하면, 상기 클라우드 서버는 상기 제1 카메라로 메인 카메라 온 상태 명령을 전송하고, 상기 제2 카메라로 메인 카메라 오프 상태 명령을 전송할 수 있다.
동작 2152에서, 상기 제1 카메라는 메인 카메라 온 상태로 설정되고, 동작 2156에서 상기 제2 카메라는 메인 카메라 오프 상태로 설정될 수 있다. 동작 2154에서, 상기 제1 카메라는 LED 표시를 메인 카메라에 대응하여 표시하고, 촬영된 영상 데이터를 실시간으로 상기 클라우드 서버에 전송할 수 있다.
동작 2158에서, 상기 클라우드 서버는 상기 제1 카메라로부터 전송된 영상 데이터를 저장하고, 동작 2160에서 설정된 서비스(예컨대, 실시간 방송 서버)로 제1 카메라의 촬영된 영상 데이터를 실시간으로 송출할 수 있다.
도 22를 참조하면, 동작 2202에서, 제2 카메라에서 사용자 인터렉션 이벤트가 발생하면, 상기 제2 카메라의 이벤트 데이터가 클라우드 서버로 전송될 수 있다. 동작 2204에서 상기 클라우드 서버는 상기 제2 카메라로부터 이벤트 데이터를 수신하고, 메인 카메라 조건 만족 여부를 판단할 수 있다. 상기 판단 결과, 상기 제2 카메라가 메인 카메라의 조건을 만족하면, 상기 클라우드 서버는 상기 제2 카메라로 메인 카메라 온 상태 명령을 전송하고, 상기 제1 카메라로 메인 카메라 오프 상태 명령을 전송할 수 있다.
동작 2206에서, 상기 제1 카메라는 메인 카메라 오프 상태로 전환되고, 동작 2208에서, 상기 제2 카메라는 메인 카메라 온 상태로 설정될 수 있다. 동작 2210에서, 상기 제2 카메라는 LED 표시를 메인 카메라에 대응하여 표시하고, 촬영된 영상 데이터를 실시간으로 상기 클라우드 서버에 전송할 수 있다.
동작 2212에서, 상기 클라우드 서버는 상기 제2 카메라로부터 전송된 영상 데이터를 저장하고, 동작 2214에서 상기 제1 카메라의 수신 영상에 상기 제2 카메라의 수신 영상을 연결하여 저장할 수 있다. 동작 2216에서 상기 클라우드 서버는 설정된 서비스(예컨대, 실시간 방송 서버)로 제2 카메라의 촬영된 영상 데이터를 실시간으로 송출할 수 있다.
동작 2218에서, 사용자가 전자 장치의 촬영 중지 버튼을 누르면, 상기 촬영 중지에 대한 정보가 상기 클라우드 서버로 전송될 수 있다. 상기 클라우드 서버는 상기 전자 장치로부터 촬영 중지에 대한 정보를 수신하고, 동작 2220에서 제1 카메라 및 제2 카메라로 촬영 중지에 대한 정보를 전송할 수 있다.
동작 2224 및 동작 2222에서, 제1 카메라 및 제2 카메라는 상기 클라우드 서버로부터 촬영 중지에 대한 정보를 수신하고 촬영을 종료하며, 각각 스탠바이 멀티 상태로 전환될 수 있다. 동작 2226에서, 상기 클라우스 서버는 시간 순으로 연결된 메인 카메라 1 및 2의 수신 영상을 하나의 영상으로 저장할 수 있다.
도 23 및 도 24는 본 발명의 다양한 실시예에 따른 복수의 카메라들 간에 자동으로 구도를 전환하는 예를 나타내는 도면이다. 도 23을 참조하면, 다양한 실시예에 따라, 요리 방송의 예로서 고정된 카메라와 핸디 카메라 간 자동 구도 전환을 할 수 있다.
제1 카메라(Camera 1)는 재료 준비부 정면에 고정하고, 제2 카메라(Camera 2)는 조리부 상단에 각각 설치되면, 다양한 실시예에 따라 클라우드 서버에서는 다음과 같은 조건에 따라 자동으로 영상 데이터가 편집될 수 있다.
1. 제1 카메라('카메라를 본다' 조건 만족): 방송 시작(Record press)시 제1 카메라를 보면서 인사 및 재료 손질 내용 소개
2. 제2 카메라 ('카메라를 본다' 조건 만족): 조리부로 자리를 옮겨 제2 카메라를 보며 조리하는 방법 소개
3. 제2 카메라 ('카메라 든다' 조건 만족): 제2 카메라를 들어올려 조리되는 모습을 클로즈업
<템플릿의 구성 - 요리 방송>
- 사용자 인터랙션: 얼굴 인식, 카메라 움직임 인식, 음성 인식
- 제1 카메라(예: 고정 카메라)의 디폴트(default) 구도 : 전체 샷
- 제2 카메라 (예: 핸디 카메라)의 디폴트 구도 : 클로즈업 샷
- 증강 영상(augmented media): (음성 명령 입력 시) 재료 정보 표시
도 24를 참조하면, 다양한 실시예에 따라, 고정된 카메라와 핸디 카메라 간 자동 구도 전환을 할 수 있다. 제1 카메라는 자전거 핸들 부분에 고정하고, 제2 카메라는 아빠가 들고 있을 경우, 다양한 실시예에 따라 다음과 같은 동작이 가능할 수 있다.
1. 제1 카메라 ('카메라를 본다' 조건 만족): 방송 시작 시 아이 상반신 촬영
2. 제2 카메라 ('카메라 든다' 조건 만족): 아빠가 카메라를 들어 자전거를 타는 아이를 원거리에서 촬영
3. 제1 카메라 ('말한다' 조건 만족): 아이가 기뻐하며 큰 소리로 말하면 제1 카메라로 전환되어 얼굴을 클로즈업
<템플릿의 구성>
-사용자 인터랙션: 얼굴 인식, 카메라 움직임 인식, 음성 인식
- 제1 카메라 (예: 고정 카메라)의 디폴트 구도 : 클로즈업 샷
- 제2 카메라 (예: 핸디 카메라)의 디폴트 구도 : 전체 샷
도 25 및 도 26은 본 발명의 다양한 실시예에 따른 영상 데이터에 추가 정보를 실시간으로 삽입하는 예를 나타내는 도면이다. 다양한 실시예에 따라, 사용자가 음성 명령을 하면 클라우드 서버로 전송되고, 클라우드 서버에서는 이미지(영상) 내 관련 오브젝트를 인식하여 관련 추가 정보를 실시간 레이어링(layering) 하여 영상 데이터를 편집할 수 있다.
도 25를 참조하면, 동작 2502에서 음성 명령을 인식하고 클라우드 서버로 전송할 수 있다. 동작 2504에서, N초 전까지 촬영한 영상 중 음성 명령 내용에 해당하는 이미지를 검색할 수 있다. 동작 2506에서, 적합한 이미지 검색 결과가 없는 경우 음성 명령 내용에 근접한 카메라가 음성 명령 내용을 촬영하여 클라우드 서버에 전송할 수 있다.
동작 2508에서 이미지 내 오브젝트를 인식하고, 동작 2510에서 인식된 이미지의 텍스트 정보들을 추출하여 도 26에 도시된 바와 같이 이미지 내의 각 오브젝트에 중첩하여 표시함으로써 새로운 이미지를 생성할 수 있다. 동작 2512에서, 상기 생성된 영상 데이터를 현재 방송중인 영상에 삽입하고, 동작 2514에서, 상기 삽입된 영상을 n초간 방송 데이터로 송출할 수 있다. 동작 2516에서, 상기 삽입된 영상의 재생이 완료된 후 직전 메인 카메라의 촬영 영상으로 복귀시킬 수 있다.
도 27은 본 발명의 다양한 실시예에 따른 영상 데이터에 추가 정보를 실시간으로 삽입하는 예를 나타내는 도면이다. 도 27을 참조하면, 동작 2702에서 음성 명령을 인식하면, 동작 2704에서 상기 음성 명령을 클라우드 서버로 전송할 수 있다.
동작 2706에서, 클라우드 서버는 각 카메라가 동일한 시간에 촬영한 피사체가 동시에 등장하는 N초 전 영상을 찾을 수 있다. 동작 2708에서, 연속된 카메라의 배치 순서로 카메라 효과를 적용하여 스티칭함으로써 n초 길이의 새로운 미디어 영상을 생성할 수 있다.
동작 2710에서, 상기 생성된 영상 데이터를 현재 방송중인 영상에 삽입하고, 동작 2712에서, 상기 삽입된 영상을 n초간 방송 데이터로 송출할 수 있다. 동작 2714에서, 상기 삽입된 영상의 재생이 완료된 후 직전 메인 카메라의 촬영 영상으로 복귀시킬 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 28은, 다양한 실시예들에 따른, 네트워크 환경(2800) 내의 전자 장치(2801)(예: 도 1의 제1 카메라(121), 제2 카메라(122), 전자 장치(123), 클라우스 서버(110))의 블럭도이다. 도 28을 참조하면, 네트워크 환경(2800)에서 전자 장치(2801)는 제1 네트워크(2898)(예: 근거리 무선 통신)를 통하여 전자 장치(2802)와 통신하거나, 또는 제2 네트워크(2899)(예: 원거리 무선 통신)를 통하여 전자 장치(2804) 또는 서버(2808)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2801)는 서버(2808)를 통하여 전자 장치(2804)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2801)는 프로세서(2820), 메모리(2860), 입력 장치(2850), 음향 출력 장치(2855), 표시 장치(2860), 오디오 모듈(2870), 센서 모듈(2876), 인터페이스(2877), 햅틱 모듈(2879), 카메라 모듈(2880), 전력 관리 모듈(2888), 배터리(2889), 통신 모듈(2890), 가입자 식별 모듈(2896), 및 안테나 모듈(2897)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(2801)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(2860) 또는 카메라 모듈(2880))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(2860)(예: 디스플레이)에 임베디드된 센서 모듈(2876)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(2820)는, 예를 들면, 소프트웨어(예: 프로그램(2840))를 구동하여 프로세서(2820)에 연결된 전자 장치(2801)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(2820)는 다른 구성요소(예: 센서 모듈(2876) 또는 통신 모듈(2890))로부터 수신된 명령 또는 데이터를 휘발성 메모리(2862)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(2864)에 저장할 수 있다. 일실시예에 따르면, 프로세서(2820)는 메인 프로세서(2821)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(2821)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(2823)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(2823)는 메인 프로세서(2821)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(2823)는, 예를 들면, 메인 프로세서(2821)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(2821)를 대신하여, 또는 메인 프로세서(2821)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(2821)와 함께, 전자 장치(2801)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(2860), 센서 모듈(2876), 또는 통신 모듈(2890))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(2823)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(2880) 또는 통신 모듈(2890))의 일부 구성 요소로서 구현될 수 있다. 메모리(2860)는, 전자 장치(2801)의 적어도 하나의 구성요소(예: 프로세서(2820) 또는 센서모듈(2876))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(2840)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(2860)는, 휘발성 메모리(2862) 또는 비휘발성 메모리(2864)를 포함할 수 있다.
프로그램(2840)은 메모리(2860)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(2842), 미들 웨어(2844) 또는 어플리케이션(2846)을 포함할 수 있다.
입력 장치(2850)는, 전자 장치(2801)의 구성요소(예: 프로세서(2820))에 사용될 명령 또는 데이터를 전자 장치(2801)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(2855)는 음향 신호를 전자 장치(2801)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(2860)는 전자 장치(2801)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(2860)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(2870)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(2870)은, 입력 장치(2850)를 통해 소리를 획득하거나, 음향 출력 장치(2855), 또는 전자 장치(2801)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(2802)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(2876)은 전자 장치(2801)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(2876)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(2877)는 외부 전자 장치(예: 전자 장치(2802))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(2877)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(2878)는 전자 장치(2801)와 외부 전자 장치(예: 전자 장치(2802))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(2879)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(2879)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(2880)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(2880)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(2888)은 전자 장치(2801)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(2889)는 전자 장치(2801)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(2890)은 전자 장치(2801)와 외부 전자 장치(예: 전자 장치(2802), 전자 장치(2804), 또는 서버(2808))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(2890)은 프로세서(2820)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(2890)은 무선 통신 모듈(2892)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2894)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제1 네트워크(2898)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(2899)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(2890)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(2892)은 가입자 식별 모듈(2896)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(2801)를 구별 및 인증할 수 있다.
안테나 모듈(2897)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(2890)(예: 무선 통신 모듈(2892))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(2899)에 연결된 서버(2808)를 통해서 전자 장치(2801)와 외부의 전자 장치(2804)간에 송신 또는 수신될 수 있다. 전자 장치(2802, 104) 각각은 전자 장치(2801)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(2801)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(2801)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(2801)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(2801)로 전달할 수 있다. 전자 장치(2801)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 29는 다양한 실시예들에 따른, 카메라 모듈(2880)의 블럭도(2900)이다. 도 29를 참조하면, 카메라 모듈(2880)(예: 도 1의 제1 카메라(121), 제2 카메라(122), 전자 장치(123))은 렌즈 어셈블리(2910), 플래쉬(2920), 이미지 센서(2930), 이미지 스태빌라이저(2940), 메모리(2950)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(2960)를 포함할 수 있다. 렌즈 어셈블리(2910)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(2910)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(2880)은 복수의 렌즈 어셈블리(2910)들을 포함할 수 있다. 이런 경우, 카메라 모듈(2880)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(2910)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(2910)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(2920)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(2920)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(2930)는 피사체로부터 렌즈 어셈블리(2910)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(2930)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(2930)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(2940)는 카메라 모듈(2880) 또는 이를 포함하는 전자 장치(2801)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(2910)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(2930)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(2940)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(2880)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(2950)는 이미지 센서(2930)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(2950)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(2860)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(2950)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(2960)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(2950)는 메모리(2860)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(2960)는 이미지 센서(2930)를 통하여 획득된 이미지 또는 메모리(2950)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(2960)는 카메라 모듈(2880)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(2930))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(2960)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(2950)에 다시 저장 되거나 카메라 모듈(2880)의 외부 구성 요소(예: 메모리(2860), 표시 장치(2860), 전자 장치(2802), 전자 장치(2804), 또는 서버(2808))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(2960)는 프로세서(2820)의 적어도 일부로 구성되거나, 프로세서(2820)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(2960)에 의해 처리된 이미지들은 프로세서(2820)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(2860)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(2801)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(2880)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(2880)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 30은 다양한 실시예에 따른 프로그램(2840)의 블록도(3000)이다. 일실시예에 따르면, 프로그램(2840)은 전자 장치(2801)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(2842), 미들 웨어(2844), 또는 상기 운영 체제(2842) 상에서 실행 가능한 어플리케이션(2846)을 포함할 수 있다. 운영 체제(2842)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(2840) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(2801)에 프리로드되거나, 또는 사용자의 사용 환경에서 외부 전자 장치(예: 전자 장치(2802 또는 2804), 또는 서버(2808))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(2842)는 전자 장치(2801)의 시스템 리소스 (예: 프로세스, 메모리, 또는 전원)를 제어(예: 할당 또는 회수)할 수 있다. 운영 체제(2842)는, 추가적으로 또는 대체적으로, 전자 장치(2801)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(2850), 음향 출력 장치(2855), 표시 장치(2860), 오디오 모듈(2870), 센서 모듈(2876), 인터페이스(2877), 햅틱 모듈(2879), 카메라 모듈(2880), 전력 관리 모듈(2888), 배터리(2889), 통신 모듈(2890), 가입자 식별 모듈(2896), 또는 안테나 모듈(2897)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들 웨어(2844)는 어플리케이션(2846)이 전자 장치(2801)의 하나 이상의 리소스들이 제공하는 기능 또는 정보를 사용할 수 있도록 다양한 기능들을 어플리케이션(2846)으로 제공할 수 있다. 미들 웨어(2844)는, 예를 들면, 어플리케이션 매니저(3001), 윈도우 매니저(3003), 멀티미디어 매니저(3005), 리소스 매니저(3007), 파워 매니저(3009), 데이터베이스 매니저(3011), 패키지 매니저(3013), 커넥티비티 매니저(3015), 노티피케이션 매니저(3017), 로케이션 매니저(3019), 그래픽 매니저(3021), 시큐리티 매니저(3023), 통화 매니저(3025), 또는 음성 인식 매니저(3027)를 포함할 수 있다. 어플리케이션 매니저(3001)는, 예를 들면, 어플리케이션(226)의 생명 주기를 관리할 수 있다. 윈도우 매니저(3003)는, 예를 들면, 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(3005)는, 예를 들면, 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(3007)는, 예를 들면, 어플리케이션(226)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(3009)는, 예를 들면, 배터리의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(2801)의 동작에 필요한 전력 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(3009)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다.
데이터베이스 매니저(3011)는, 예를 들면, 어플리케이션(2846)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(3013)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(3015)는, 예를 들면, 전자 장치(2801)와 외부 전자 장치 간의 무선 또는 유선 연결을 관리할 수 있다. 노티피케이션 매니저(3017)는, 예를 들면, 발생된 이벤트(예: 통화, 메시지, 또는 알람)를 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(3019)는, 예를 들면, 전자 장치(2801)의 위치 정보를 관리할 수 있다. 그래픽 매니저(3021)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 시큐리티 매니저(3023)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(3025)는, 예를 들면, 전자 장치(2801)의 음성 통화 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(3027)는, 예를 들면, 사용자의 음성 데이터를 서버(2808)로 전송하고, 해당 음성 데이터에 기반하여 전자 장치(2801)에서 수행될 기능에 대응하는 명령어(command) 또는 해당 음성 데이터에 기반하여 변환된 문자 데이터를 수신할 수 있다. 일 실시예에 따르면, 미들 웨어(3044)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들 웨어(2844)의 적어도 일부는 운영 체제(2842)의 일부로 포함되거나, 또는 운영 체제(2842)와는 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(2846)은, 예를 들면, 홈(3051), 다이얼러(3053), SMS/MMS(3055), IM(instant message)(3057), 브라우저(3059), 카메라(3061), 알람(3063), 컨택트(3065), 음성 인식(3067), 이메일(3069), 달력(3071), 미디어 플레이어(3073), 앨범(3075), 와치(3077), 헬스(3079)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(3081)(예: 기압, 습도, 또는 온도 정보) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(2846)은 전자 장치(2801)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(2801)의 다른 어플리케이션(예: 이메일 어플리케이션(3069))에서 발생된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(2801)의 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치(2801)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 표시 장치(2860) 또는 카메라 모듈(2880))의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 표시 장치(2860) 또는 카메라 모듈(2880)의 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
본 발명의 다양한 실시예에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(2820))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(2860)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법에 있어서, 복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 통신 회로를 통해 수신하는 동작; 상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하는 동작; 상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는지 판단하는 동작; 및 상기 판단 결과, 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하면, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하는 동작;을 포함할 수 있다.
그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
100 : 실시간 방송 서버 110 : 클라우드 서버
121 : 제1 카메라 122 : 제2 카메라
123 : 스마트폰 130 : 통신 네트워크
200 : 카메라

Claims (20)

  1. 서버에 있어서,
    통신 회로; 및
    상기 통신 회로와 전기적으로 연결된 프로세서;를 포함하며,
    상기 프로세서는,
    복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 수신하고,
    상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하고,
    상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는 것에 기반하여, 상기 제1 카메라의 상태를 카메라 오프 상태로 전환하도록 하는 제1 명령을 상기 제1 카메라로 송신하고, 상기 제2 카메라의 상태를 카메라 온 상태로 전환하도록 하는 제2 명령을 상기 제2 카메라로 송신하고, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하도록 설정되고, 상기 카메라 오프 상태는 촬영은 수행되지만 상기 서버로의 이미지 데이터 송신은 수행되지 않는 상태이고, 상기 카메라 온 상태는 촬영 및 상기 서버로의 이미지 데이터 송신이 모두 수행되는 상태이고,
    상기 프로세서는,
    사용자의 선택에 따라 메인 카메라의 촬영 영상의 타입이 제1 템플릿으로 설정된 제1 상태에서, 상기 제2 카메라를 통하여, 상기 제1 템플릿에만 대응하는 제1 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하는 것으로 결정하고,
    사용자의 선택에 따라 메인 카메라의 촬영 영상의 타입이 제2 템플릿으로 설정된 제2 상태에서, 상기 제2 카메라를 통하여, 상기 제2 템플릿에만 대응하는 제2 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하는 것으로 결정하고,
    상기 제2 상태에서 상기 제2 카메라를 통하여 상기 제1 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하지 않은 것으로 결정하도록 더 설정되는, 서버.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 복수의 카메라들 중 상기 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는 것에 기반하여, 상기 메인 카메라의 선택에 대응하는 제어 신호를 상기 제2 카메라로 전송하도록 설정된, 서버.
  3. 제1항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 촬영된 영상 데이터를 분석하고, 분석된 영상 데이터가 설정된 조건을 만족하는 카메라를 메인 카메라로 선택하는, 서버.
  4. 제3항에 있어서, 상기 메인 카메라의 선택은,
    상기 분석된 영상 데이터로부터 얼굴의 방향을 인식하고, 상기 인식된 얼굴의 방향에 기반하여 메인 카메라를 선택하는, 서버.
  5. 제3항에 있어서, 상기 메인 카메라의 선택은,
    상기 분석된 영상 데이터로부터 객체의 움직임을 인식하고, 상기 인식된 객체의 움직임에 기반하여 메인 카메라를 선택하는, 서버.
  6. 제1항에 있어서, 상기 메인 카메라의 선택은,
    상기 카메라의 움직임을 인식하고, 상기 인식된 카메라의 움직임에 기반하여 메인 카메라를 선택하는, 서버.
  7. 제1항에 있어서, 상기 메인 카메라의 선택은,
    상기 각 카메라의 마이크로부터 입력된 사용자의 발화 소리의 크기를 판단하고, 상기 사용자의 발화 소리의 크기에 기반하여 메인 카메라를 선택하는, 서버.
  8. 제1항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 객체와의 거리를 측정하고, 상기 측정된 거리에 기반하여 메인 카메라를 선택하는, 서버.
  9. 제1항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 사용자 제스처를 판단하고, 상기 판단한 사용자 제스처에 기반하여 메인 카메라를 선택하는, 서버.
  10. 제1항에 있어서, 상기 메인 카메라의 선택 기준은,
    방송하고자 하는 컨텐츠의 유형에 따라 상이하게 설정되는, 서버.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    복수의 카메라를 이용하여 영상 데이터를 생성하는 방법에 있어서,
    복수의 카메라들로부터 촬영된 영상 데이터 중에서 메인 카메라로 선택된 제1 카메라의 영상 데이터를 통신 회로를 통해 수신하는 동작;
    상기 수신된 제1 카메라의 영상 데이터를 상기 통신 회로를 통해 실시간 방송 서버로 전송하는 동작;
    상기 복수의 카메라들 중 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는지 판단하는 동작; 및
    상기 판단 결과, 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는 것에 기반하여, 상기 제1 카메라의 상태를 카메라 오프 상태로 전환하도록 하는 제1 명령을 상기 제1 카메라로 송신하고, 상기 제2 카메라의 상태를 카메라 온 상태로 전환하도록 하는 제2 명령을 상기 제2 카메라로 송신하고, 상기 제2 카메라의 영상 데이터를 상기 통신 회로를 통해 상기 실시간 방송 서버로 전송하는 동작;을 포함하고, 상기 카메라 오프 상태는 촬영은 수행되지만 상기 서버로의 이미지 데이터 송신은 수행되지 않는 상태이고, 상기 카메라 온 상태는 촬영 및 상기 서버로의 이미지 데이터 송신이 모두 수행되는 상태이고,
    사용자의 선택에 따라 메인 카메라의 촬영 영상의 타입이 제1 템플릿으로 설정된 제1 상태에서, 상기 제2 카메라를 통하여, 상기 제1 템플릿에만 대응하는 제1 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하는 것으로 결정하는 동작;
    사용자의 선택에 따라 메인 카메라의 촬영 영상의 타입이 제2 템플릿으로 설정된 제2 상태에서, 상기 제2 카메라를 통하여, 상기 제2 템플릿에만 대응하는 제2 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하는 것으로 결정하는 동작; 및
    상기 제2 상태에서 상기 제2 카메라를 통하여 상기 제1 사용자 인터랙션이 검출되는 것에 기반하여, 상기 제2 카메라가 상기 메인 카메라의 선택 조건을 만족하지 않은 것으로 결정하는 동작을 더 포함하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 방법은,
    상기 복수의 카메라들 중 상기 제2 카메라가 미리 지정된 메인 카메라의 선택 조건을 만족하는 것에 기반하여, 상기 메인 카메라의 선택에 대응하는 제어 신호를 상기 제2 카메라로 전송하는 동작;을 더 포함하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 촬영된 영상 데이터를 분석하고, 분석된 영상 데이터가 설정된 조건을 만족하는 카메라를 메인 카메라로 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서, 상기 메인 카메라의 선택은,
    상기 분석된 영상 데이터로부터 얼굴의 방향을 인식하고, 상기 인식된 얼굴의 방향에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서, 상기 메인 카메라의 선택은,
    상기 분석된 영상 데이터로부터 객체의 움직임을 인식하고, 상기 인식된 객체의 움직임에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 메인 카메라의 선택은,
    상기 카메라의 움직임을 인식하고, 상기 인식된 카메라의 움직임에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 메인 카메라의 선택은,
    상기 각 카메라의 마이크로부터 입력된 사용자의 발화 소리의 크기를 판단하고, 상기 사용자의 발화 소리의 크기에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 객체와의 거리를 측정하고, 상기 측정된 거리에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 메인 카메라의 선택은,
    각 카메라에서 사용자 제스처를 판단하고, 상기 판단한 사용자 제스처에 기반하여 메인 카메라를 선택하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서, 상기 방법은,
    상기 영상 데이터에 추가 정보 또는 추가 영상을 삽입하는 요청을 수신하는 동작;
    상기 요청의 수신에 대응하여, 상기 추가 정보 또는 추가 영상을 생성하는 동작; 및
    상기 생성된 추가 정보 또는 추가 영상을 상기 영상 데이터에 삽입하는 동작;을 더 포함하는, 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법.
KR1020180005757A 2018-01-16 2018-01-16 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 KR102449670B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180005757A KR102449670B1 (ko) 2018-01-16 2018-01-16 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
PCT/KR2019/000581 WO2019143095A1 (ko) 2018-01-16 2019-01-15 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
US16/771,742 US11245933B2 (en) 2018-01-16 2019-01-15 Method and server for generating image data by using multiple cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180005757A KR102449670B1 (ko) 2018-01-16 2018-01-16 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버

Publications (2)

Publication Number Publication Date
KR20190087230A KR20190087230A (ko) 2019-07-24
KR102449670B1 true KR102449670B1 (ko) 2022-09-30

Family

ID=67301126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180005757A KR102449670B1 (ko) 2018-01-16 2018-01-16 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버

Country Status (3)

Country Link
US (1) US11245933B2 (ko)
KR (1) KR102449670B1 (ko)
WO (1) WO2019143095A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115335408A (zh) 2019-07-18 2022-11-11 Jw生物科学股份有限公司 特异性结合wrs蛋白的抗体及其用途
US20230362315A1 (en) * 2020-03-31 2023-11-09 Sony Group Corporation Live video production system, live video production method, and cloud server
CA3178929A1 (en) 2020-05-15 2021-11-18 Juha Alakarhu Flexible recording systems and body-worn batteries
KR102345729B1 (ko) * 2021-04-08 2022-01-03 주식회사 닫닫닫 영상 생성 방법 및 장치
US20230081349A1 (en) * 2021-09-13 2023-03-16 Apple Inc. Object Depth Estimation and Camera Focusing Techniques for Multiple-Camera Systems
CN114025183B (zh) * 2021-10-09 2024-05-14 浙江大华技术股份有限公司 直播方法、装置、设备、系统和存储介质
CN114422601A (zh) * 2021-12-31 2022-04-29 成都鲁易科技有限公司 基于云存储的文件处理方法、装置及计算机设备
US20230254446A1 (en) * 2022-02-08 2023-08-10 Meta Platforms, Inc. Methods, apparatuses and computer program products for enabling immersive video communications and live video streaming
US11943516B1 (en) * 2022-10-21 2024-03-26 Hytto Pte. Ltd. System and method for interactive web-browsing via user equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
WO2017134706A1 (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100960020B1 (ko) * 2008-05-28 2010-05-28 전자부품연구원 비전 네트워크 시스템 및 그 영상 서비스 방법
KR101025899B1 (ko) 2009-06-30 2011-03-30 에이알비전 (주) 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법
US20120304240A1 (en) * 2011-05-27 2012-11-29 Romulus Pereira Method and apparatus for selecting audiovisual content for streaming
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
KR20140097876A (ko) 2013-01-30 2014-08-07 삼성전자주식회사 영상 촬영 제어 방법 및 장치
JP6610961B2 (ja) 2014-07-22 2019-11-27 ソニー株式会社 制御装置、制御方法、プログラム、および制御システム
KR101679318B1 (ko) 2014-12-30 2016-11-24 주식회사 펀진 객체 추적 시스템
KR20170011862A (ko) 2015-07-24 2017-02-02 엘지전자 주식회사 디지털 사이니지 장치 및 그 제어 방법
US10692533B2 (en) * 2015-10-07 2020-06-23 Google Llc Storyline experience
US10506198B2 (en) 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
KR101807159B1 (ko) * 2015-12-04 2017-12-11 카페24 주식회사 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템
US20170162230A1 (en) 2015-12-04 2017-06-08 Livestream LLC Interactive digital camera for live crop editing and recording of video streams
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
US10699747B2 (en) * 2016-07-01 2020-06-30 Yuvie Llc System and method for recording a video scene within a predetermined video framework
US10124235B2 (en) * 2016-09-15 2018-11-13 Karhu Media, LLC Athletic training method and system for remote video playback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
WO2017134706A1 (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置

Also Published As

Publication number Publication date
US20210076080A1 (en) 2021-03-11
KR20190087230A (ko) 2019-07-24
WO2019143095A1 (ko) 2019-07-25
US11245933B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
KR102449670B1 (ko) 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
US11997382B2 (en) Method for providing different indicator for image based on shooting mode and electronic device thereof
US11032514B2 (en) Method and apparatus for providing image service
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
CN105282430B (zh) 使用照片的构图信息的电子装置及使用该装置的拍摄方法
KR102022444B1 (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
KR20190013308A (ko) 이동 단말기 및 그 제어 방법
EP3893495B1 (en) Method for selecting images based on continuous shooting and electronic device
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
KR20160127606A (ko) 이동 단말기 및 그 제어 방법
WO2020093798A1 (zh) 一种显示目标图像的方法、装置、终端及存储介质
US20230262321A1 (en) Electronic device and operating method thereof
KR20210101009A (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
US20200077019A1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US11297243B2 (en) Electronic device and method for providing content associated with camera function from electronic device
WO2021237744A1 (zh) 拍摄方法及装置
KR102668233B1 (ko) 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
CN115150543B (zh) 拍摄方法、装置、电子设备及可读存储介质
US12003850B2 (en) Method for selecting image based on burst shooting and electronic device
US20240007740A1 (en) Photographing control method and device
KR20130073733A (ko) 정보 송수신 방법 및 기기
KR101545328B1 (ko) 이미지에 감성 효과를 부가할 수 있는 기능을 갖는 이동통신 단말기 및 그 동작 방법
WO2019028757A1 (zh) 一种自拍引导的方法及终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant