KR20210029635A

KR20210029635A - Apparatus and method for providing 360 degree panoramic background during video call

Info

Publication number: KR20210029635A
Application number: KR1020190131239A
Authority: KR
Inventors: 유진희; 최지선; 류치훈; 서성란
Original assignee: 라인플러스 주식회사
Priority date: 2019-09-06
Filing date: 2019-10-22
Publication date: 2021-03-16

Abstract

Disclosed are a method for providing a 360-degree panorama background used during a video call and an apparatus thereof. According to one embodiment, in regard to a program stored in a computer-readable storage medium to execute a background providing method performed on an electronic device, the background providing method includes the following steps of: separating an object image and background image from image data inputted into a video call screen of a terminal during a video call; replacing the background image separated from the image data with a panorama image; displaying, on the video call screen, new image data created by synthesizing the object image with the background image replaced with the panorama image; and sharing the panorama image such that the background image of the new image data displayed on the video call screen can be displayed on a video call screen of a counterpart terminal.

Description

Method and device for providing 360 degree panoramic background used during video call {APPARATUS AND METHOD FOR PROVIDING 360 DEGREE PANORAMIC BACKGROUND DURING VIDEO CALL}

아래의 설명은 전자 기기간 영상 통화를 하면서 사용할 수 있는 배경을 제공하는 기술에 관한 것이다. The following description relates to a technology that provides a background that can be used while making a video call between electronic devices.

일반적으로 영상 통화는 사용자의 통화 장소나 위치, 주변환경 등 개인 프라이버시에 해당하는 정보가 상대방 사용자에게 전달되기 때문에 사생활 침해의 소지를 안고 있다. 이에, 영상 통화를 이용하는 사용자의 사생활 보호를 위하여 배경 영상을 변조하기 위한 연구들이 시도되고 있다. 예를 들면, 영상 통화에서 영상 부분을 제거하고 음성 부분만 전달하는 영상 삭제 형태나 인터넷 상 또는 별도로 구성된 영상 변환 서버를 통해 배경 영상을 특정 영상으로 대체하는 방식이 개시되고 있다. In general, video calls are subject to invasion of privacy because information corresponding to personal privacy, such as a user's call place, location, and surrounding environment, is transmitted to the other user. Accordingly, studies are being attempted to modulate a background image in order to protect the privacy of a user using a video call. For example, an image deletion form in which a video part is removed from a video call and only an audio part is transmitted, or a method of replacing a background image with a specific image on the Internet or through a separately configured image conversion server has been disclosed.

카메라 앱 또는 영상 통화 앱에서 다양한 종류의 배경을 선택할 수 있는 배경 스티커(Sticker)가 제공되면, 사용자는 원하는 배경 스티커를 선택함으로써 배경을 변경할 수 있다. 그러나, 종래의 배경 스티커는 단조로운 단색 배경을 제공하거나, 인물의 누끼를 따는 과정(즉, 배경과 피사체(예컨대, 인물)를 분리하는 과정)에서 배경이 완전히 제거되지 않고 일부 남게 되는 문제점이 있다. 이러한 문제점을 고려하여, 자신의 위치를 노출하고 싶지 않은 유저들이 배경을 완전히 가릴 수 있도록 하고, 단조로운 패턴의 스티커에서 탈피하여 현실감을 주고 이야깃거리를 제공할 수 있도록 하는 기술이 요구된다. If a camera app or a video call app provides a background sticker for selecting various types of backgrounds, the user can change the background by selecting a desired background sticker. However, the conventional background sticker provides a monochromatic background or has a problem in that a part of the background is not completely removed in the process of separating the background and the subject (for example, a person). In consideration of this problem, there is a need for a technology that allows users who do not want to expose their location to completely cover the background, and provides a sense of reality and a story by breaking away from the monotonous pattern of stickers.

영상 통화 중에 영상 통화 화면에 입력되는 영상 데이터로부터 배경 영상을 360도 파노라마 영상 이미지로 대체하고, 파노라마 영상 이미지로 대체된 배경 영상을 객체 영상과 합성하여 생성된 영상 데이터를 영상 통화 화면에 표시하는 방법 및 장치를 제공할 수 있다. A method of replacing a background image with a 360 degree panoramic image image from the image data input to the video call screen during a video call, and combining the background image replaced with the panoramic image image with an object image to display the image data generated on the video call screen And an apparatus.

영상 통화 화면에 표시되는 배경 영상이 상대방 단말의 영상 통화 화면에 표시되도록 파노라마 영상 이미지를 공유하는 방법 및 장치를 제공할 수 있다. It is possible to provide a method and apparatus for sharing a panoramic image image so that a background image displayed on a video call screen is displayed on a video call screen of a counterpart terminal.

전자 기기에서 수행되는 배경 제공 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장매체에 저장된 프로그램에 있어서, 상기 배경 제공 방법은, 영상 통화 중에 단말의 영상 통화 화면에 입력되는 영상 데이터로부터 객체 영상 및 배경 영상을 분리하는 단계; 상기 영상 데이터에 분리된 배경 영상을 파노라마 영상 이미지로 대체하는 단계; 상기 파노라마 영상 이미지로 대체된 배경 영상을 상기 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 상기 영상 통화 화면에 표시하는 단계; 및 상기 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되도록 상기 파노라마 영상 이미지를 공유하는 단계를 포함할 수 있다. A program stored in a computer-readable storage medium to execute a background providing method performed in an electronic device, wherein the background providing method separates an object image and a background image from image data input to a video call screen of a terminal during a video call. The step of doing; Replacing the background image separated from the image data with a panoramic image image; Displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And sharing the panoramic image image so that the background image of the new image data displayed on the video call screen is displayed on the video call screen of the counterpart terminal.

상기 표시하는 단계는, 상기 영상 통화 화면에 표시되는 새로운 영상 데이터에 입력된 사용자의 움직임 정보에 대응하여 위치가 이동되는 파노라마 영상 이미지를 상기 영상 통화 화면에 표시하는 단계를 포함할 수 있다. The displaying may include displaying, on the video call screen, a panoramic image image whose position is moved in response to the user's motion information input to the new video data displayed on the video call screen.

상기 공유하는 단계는, 상기 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상에 포함된 파노라마 영상 이미지를 상기 영상 통화가 수행 중인 상대방 단말로 전달하는 단계를 포함할 수 있다. The sharing may include transmitting a panoramic video image included in a background image of new video data displayed on the video call screen to a counterpart terminal on which the video call is being performed.

상기 공유하는 단계는, 상기 파노라마 영상 이미지로 대체된 배경 영상을 유지시키기 위하여 설정된 시간 정보에 기초하여 상기 상대방 단말의 영상 통화 화면에 상기 파노라마 영상 이미지가 대체된 배경 영상을 포함하는 영상 데이터가 표시되도록 제어하는 단계를 포함할 수 있다. The sharing may include displaying image data including a background image in which the panoramic image image is replaced on the video call screen of the counterpart terminal based on time information set to maintain the background image replaced with the panoramic image image. It may include controlling.

상기 공유하는 단계는, 상기 파노라마 영상 이미지에 상기 상대방 단말의 카메라를 통해 촬영되는 영상 통화 화면에 입력되는 객체 영상이 표시되기 위한 위치 정보를 설정하고, 상기 설정된 위치 정보를 포함하는 파노라마 영상 이미지를 상기 상대방 단말에게 전달하는 단계를 포함할 수 있다. The sharing may include setting position information for displaying an object image input on a video call screen captured through a camera of the counterpart terminal in the panoramic image image, and providing the panoramic image image including the set position information. It may include the step of transmitting to the counterpart terminal.

상기 공유하는 단계는, 상기 단말의 상기 영상 통화 화면에 입력되는 영상 데이터의 배경 영상이 파노라마 영상 이미지로 대체된 시간 정보를 기준으로 상기 상대방 단말과의 시간 차이 정보에 따라 상기 상대방 단말의 영상 통화 화면에 표시되도록 상기 대체된 시간 정보를 포함하는 파노라마 영상 이미지를 상기 상대방 단말에게 전달하는 단계를 포함할 수 있다. The sharing may include a video call screen of the counterpart terminal according to time difference information with the counterpart terminal based on time information in which a background image of the video data input to the video call screen of the terminal is replaced with a panoramic video image. It may include transmitting the panoramic image image including the replaced time information to the counterpart terminal to be displayed on.

상기 공유하는 단계는, 인터랙션 정보에 기초하여 상기 파노라마 영상 이미지에 존재하는 배경 객체에 이벤트를 발생시키는 단계를 포함할 수 있다. The sharing may include generating an event in a background object existing in the panoramic image based on interaction information.

상기 공유하는 단계는, 상기 파노라마 영상 이미지의 일부 영역에 아이템이 배치되고, 사용자의 움직임 정보에 따라 이동되는 파노라마 영상 이미지의 일부 영역에 배치된 아이템에 인터랙션 정보가 입력됨에 따라 이벤트를 발생시키는 단계를 포함할 수 있다. The sharing may include generating an event as an item is placed in a partial region of the panoramic image and interaction information is input to an item arranged in a partial region of the panoramic image that is moved according to the user's motion information. Can include.

상기 표시하는 단계는, 상기 파노라마 영상 이미지에 설정된 배경 음악을 재생(Play)하는 단계를 포함할 수 있다. The displaying may include playing background music set in the panoramic image image.

상기 대체하는 단계는, 상기 전자 기기에 저장된 파노라마 영상 이미지를 배경 영상으로 대체하는 단계를 포함할 수 있다. The replacing may include replacing the panoramic image image stored in the electronic device with a background image.

상기 대체하는 단계는, 상기 전자 기기에서 획득된 적어도 하나 이상의 이미지를 이용하여 파노라마 영상 이미지를 생성하고, 상기 생성된 파노라마 영상 이미지를 배경 영상으로 대체하는 단계를 포함할 수 있다. The replacing may include generating a panoramic image image using at least one image acquired from the electronic device, and replacing the generated panoramic image image with a background image.

상기 대체하는 단계는, 상기 배경 영상을 위한 배경 영상 리스트가 제공되고, 상기 제공된 배경 영상 리스트로부터 선택된 파노라마 영상 이미지를 배경 영상으로 대체하는 단계를 포함할 수 있다. The replacing may include providing a background image list for the background image, and replacing the panoramic image image selected from the provided background image list with a background image.

전자 기기에서 수행되는 배경 제공 방법은, 영상 통화 중에 단말의 영상 통화 화면에 입력되는 영상 데이터로부터 객체 영상 및 배경 영상을 분리하는 단계; 상기 영상 데이터에 분리된 배경 영상을 파노라마 영상 이미지로 대체하는 단계; 상기 파노라마 영상 이미지로 대체된 배경 영상을 상기 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 상기 영상 통화 화면에 표시하는 단계; 및 상기 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되도록 상기 파노라마 영상 이미지를 공유하는 단계를 포함할 수 있다. A method of providing a background performed in an electronic device includes: separating an object image and a background image from image data input to a video call screen of a terminal during a video call; Replacing the background image separated from the image data with a panoramic image image; Displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And sharing the panoramic image image so that the background image of the new image data displayed on the video call screen is displayed on the video call screen of the counterpart terminal.

전자 기기는, 영상 통화 중에 단말의 영상 통화 화면에 입력되는 영상 데이터로부터 객체 영상 및 배경 영상을 분리하는 영상 분리부; 상기 영상 데이터에 분리된 배경 영상을 파노라마 영상 이미지로 대체하는 배경 영상 대체부; 상기 파노라마 영상 이미지로 대체된 배경 영상을 상기 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 상기 영상 통화 화면에 표시하는 영상 데이터 표시부; 및 상기 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되도록 상기 파노라마 영상 이미지를 공유하는 배경 영상 공유부를 포함할 수 있다. The electronic device includes: an image separating unit for separating an object image and a background image from image data input to a video call screen of a terminal during a video call; A background image replacement unit for replacing the background image separated from the image data with a panoramic image image; An image data display unit for displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And a background image sharing unit that shares the panoramic image image so that the background image of the new image data displayed on the video call screen is displayed on the video call screen of the counterpart terminal.

상기 상대방 단말은, 상기 영상 통화 화면에 입력되는 영상 데이터의 배경 영상이 파노라마 영상 이미지로 대체된 시간 정보를 기준으로 상기 상대방 단말과의 시간 차이 정보에 따라 상기 상대방 단말의 영상 통화 화면에 표시되는 영상 데이터의 파노라마 영상 이미지가 변환될 수 있다. The counterpart terminal is an image displayed on the video call screen of the counterpart terminal according to time difference information from the counterpart terminal based on time information in which the background image of the video data input to the video call screen is replaced with a panoramic image image. The panoramic image image of the data may be converted.

상기 상대방 단말은, 상기 파노라마 영상 이미지를 전달받을 것인지 여부가 설정될 수 있다. The counterpart terminal may set whether to receive the panoramic image image.

상기 상대방 단말은, 상기 전달받은 파노라마 영상 이미지가 상기 상대방 단말의 카메라를 통하여 입력되는 영상 데이터의 배경 영상으로 대체되고, 상기 파노라마 영상 이미지로 대체된 배경 영상이 상기 상대방 단말의 영상 통화 화면에 표시될 수 있다. In the counterpart terminal, the transmitted panoramic image image is replaced with a background image of image data input through the camera of the counterpart terminal, and the background image replaced with the panoramic image image is displayed on the video call screen of the counterpart terminal. I can.

영상 통화 화면의 배경 영상에 360도 파노라마 영상 이미지가 표시되기 때문에 사용자와 상대방 사용자가 동일한 공간에 함께 있는 듯한 생동감을 느낄 수 있다. Since the 360-degree panoramic image is displayed on the background image of the video call screen, the user and the counterpart user can feel as if they are in the same space.

또한, 영상 통화 중에 영상 통화 화면에 표시되는 사용자의 주변 정보가 가려지기 때문에 사용자의 프라이버시를 보호할 수 있다. In addition, since the user's surrounding information displayed on the video call screen is hidden during a video call, it is possible to protect the user's privacy.

또한, 사용자의 공간을 노출할 필요없이 새로운 사람을 만날 수 있다. In addition, it is possible to meet new people without having to expose the user's space.

도 1은 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 전자 기기의 프로세서가 포함할 수 있는 구성요소를 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 전자 기기가 수행할 수 있는 배경 제공 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 전자 기기에서 영상 통화 중에 입력되는 영상 데이터를 객체 영상과 배경 영상으로 분리하는 것을 설명하기 위한 예이다.
도 6은 일 실시예에 따른 전자 기기에서 움직임 정보에 기초하여 위치가 이동되는 영상 통화 화면의 배경 영상을 표시하는 방법을 설명하기 위한 흐름도이다.
도 7 및 도 8은 일 실시예에 따른 전자 기기에서 영상 통화 화면에 파노라마 영상 이미지로 대체된 배경 영상을 표시하는 것을 설명하기 위한 예이다.
도 9는 일 실시예에 따른 전자 기기에서 설정된 시간 정보에 기초하여 상대방 단말의 배경 영상을 제어하는 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 전자 기기에서 설정된 시간 정보에 기초하여 상대방 단말의 배경 영상을 유지시키는 것을 설명하기 위한 예이다.
도 11은 일 실시예에 따른 전자 기기에서 객체 영상이 표시되는 위치 정보를 설정하는 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 전자 기기에서 설정된 위치 정보에 기초하여 객체 영상을 위치시키는 것을 설명하기 위한 예이다.
도 13은 일 실시예에 따른 전자 기기의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되는 것을 설명하기 위한 예이다.
도 14는 일 실시예에 따른 전자 기기에서 인터랙션 정보에 기초하여 배경 영상에 이벤트를 발생시키는 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating an example of a network environment according to an embodiment.
2 is a block diagram illustrating an internal configuration of an electronic device and a server according to an exemplary embodiment.
3 is a block diagram illustrating components that may be included in a processor of an electronic device according to an exemplary embodiment.
4 is a flowchart illustrating a method of providing a background that can be performed by an electronic device according to an exemplary embodiment.
5 is an example for explaining the separation of image data input during a video call into an object image and a background image in an electronic device according to an exemplary embodiment.
6 is a flowchart illustrating a method of displaying a background image of a video call screen in which a location is moved based on motion information in an electronic device according to an exemplary embodiment.
7 and 8 are examples for explaining displaying a background image replaced with a panoramic image image on a video call screen in an electronic device according to an exemplary embodiment.
9 is a flowchart illustrating a method of controlling a background image of a counterpart terminal based on time information set in an electronic device according to an exemplary embodiment.
10 is an example for explaining maintaining a background image of a counterpart terminal based on time information set in an electronic device according to an embodiment.
11 is a flowchart illustrating a method of setting location information on which an object image is displayed in an electronic device, according to an exemplary embodiment.
12 is an example for explaining positioning of an object image based on location information set in an electronic device according to an exemplary embodiment.
13 is an example for explaining that a background image of an electronic device is displayed on a video call screen of a counterpart terminal according to an exemplary embodiment.
14 is a flowchart illustrating a method of generating an event in a background image based on interaction information in an electronic device according to an exemplary embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.1 is a diagram illustrating an example of a network environment according to an embodiment. The network environment of FIG. 1 shows an example including a plurality of electronic devices 110, 120, 130, and 140, a plurality of servers 150 and 160, and a network 170. 1 is an example for explaining the invention, and the number of electronic devices or servers is not limited as in FIG. 1.

복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 시스템들 중 하나를 의미할 수 있다.The plurality of electronic devices 110, 120, 130, and 140 may be a fixed terminal implemented as a computer system or a mobile terminal. Examples of the plurality of electronic devices 110, 120, 130, and 140 include smart phones, mobile phones, navigation systems, computers, notebook computers, digital broadcasting terminals, personal digital assistants (PDAs), and portable multimedia players (PMPs). ), tablet PCs, game consoles, wearable devices, internet of things (IoT) devices, virtual reality (VR) devices, and augmented reality (AR) devices. As an example, in FIG. 1, the shape of a smartphone is shown as an example of the electronic device 110, but in the embodiments of the present invention, the electronic device 110 is substantially different through the network 170 using a wireless or wired communication method. It may mean one of various physical computer systems capable of communicating with the electronic devices 120, 130, 140 and/or the servers 150 and 160.

통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and not only a communication method using a communication network (for example, a mobile communication network, wired Internet, wireless Internet, broadcasting network, satellite network, etc.) that the network 170 may include, but also short-range wireless communication between devices is included. I can. For example, the network 170 includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). And any one or more of networks such as the Internet. In addition, the network 170 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, etc. Not limited.

서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 제1 서비스를 제공하는 시스템일 수 있으며, 서버(160) 역시 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 제2 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버(150)는 복수의 전자 기기들(110, 120, 130, 140)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 메시징 서비스 등)를 제1 서비스로서 복수의 전자 기기들(110, 120, 130, 140)로 제공할 수 있다. 다른 예로, 서버(160)는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 복수의 전자 기기들(110, 120, 130, 140)로 배포하는 서비스를 제2 서비스로서 제공할 수 있다.Each of the servers 150 and 160 is a computer device or a plurality of computers that communicates with a plurality of electronic devices 110, 120, 130, and 140 through a network 170 to provide commands, codes, files, contents, services, etc. It can be implemented with devices. For example, the server 150 may be a system that provides a first service to a plurality of electronic devices 110, 120, 130, and 140 accessed through the network 170, and the server 160 is also a network ( It may be a system that provides a second service to a plurality of electronic devices 110, 120, 130, and 140 accessed through 170). As a more specific example, the server 150 provides a service (for example, a messaging service, etc.) targeted by the application through an application as a computer program installed and driven on a plurality of electronic devices 110, 120, 130, and 140. As a first service, it may be provided to a plurality of electronic devices 110, 120, 130, and 140. As another example, the server 160 may provide a service for distributing the above-described application installation and running file to the plurality of electronic devices 110, 120, 130, and 140 as the second service.

도 2는 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 전자 기기에 대한 예로서 전자 기기(110), 그리고 서버(150)의 내부 구성을 설명한다. 또한, 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 상술한 전자 기기(110) 또는 서버(150)와 동일한 또는 유사한 내부 구성을 가질 수 있다.2 is a block diagram illustrating an internal configuration of an electronic device and a server according to an exemplary embodiment. In FIG. 2, internal configurations of the electronic device 110 and the server 150 are described as examples of the electronic device. In addition, other electronic devices 120, 130, 140 or server 160 may also have the same or similar internal configuration as the electronic device 110 or server 150 described above.

전자 기기(110)와 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 비-일시적인 컴퓨터 판독가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(211, 221)와는 구분되는 별도의 영구 저장 장치로서 전자 기기(110)나 서버(150)에 포함될 수도 있다. 또한, 메모리(211, 221)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기(110)에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 전자 기기(110)에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독가능한 기록매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.The electronic device 110 and the server 150 may include memories 211 and 221, processors 212 and 222, communication modules 213 and 223, and input/output interfaces 214 and 224. The memories 211 and 221 are non-transitory computer-readable recording media, such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory, and the like. It may include a permanent mass storage device. Here, a non-destructive mass storage device such as a ROM, SSD, flash memory, disk drive, etc. may be included in the electronic device 110 or the server 150 as a separate permanent storage device separated from the memories 211 and 221. In addition, the memories 211 and 221 include an operating system and at least one program code (for example, a browser installed and driven in the electronic device 110 or a code for an application installed in the electronic device 110 to provide a specific service). Can be saved. These software components may be loaded from a computer-readable recording medium separate from the memories 211 and 221. Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, and a memory card. In another embodiment, software components may be loaded into the memories 211 and 221 through communication modules 213 and 223 other than a computer-readable recording medium. For example, at least one program is a computer program installed by files provided by a file distribution system (for example, the server 160 described above) that distributes the installation files of developers or applications through the network 170 It may be loaded into the memories 211 and 221 based on (for example, the above-described application).

프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processors 212 and 222 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processors 212 and 222 by the memories 211 and 221 or the communication modules 213 and 223. For example, the processors 212 and 222 may be configured to execute a command received according to a program code stored in a recording device such as the memories 211 and 221.

통신 모듈(213, 223)은 네트워크(170)를 통해 전자 기기(110)와 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기(110) 및/또는 서버(150)가 다른 전자 기기(일례로 전자 기기(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 전자 기기(110)의 통신 모듈(213)을 통해 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기(110)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication modules 213 and 223 may provide a function for the electronic device 110 and the server 150 to communicate with each other through the network 170, and the electronic device 110 and/or the server 150 A function for communicating with an electronic device (for example, the electronic device 120) or another server (for example, the server 160) may be provided. As an example, a request generated by the processor 212 of the electronic device 110 according to a program code stored in a recording device such as a memory 211 is sent to the server 150 through the network 170 under the control of the communication module 213. ) Can be delivered. Conversely, control signals, commands, contents, files, etc. provided under the control of the processor 222 of the server 150 are transmitted through the communication module 223 and the network 170 to the communication module 213 of the electronic device 110. ) Through the electronic device 110. For example, a control signal, command, content, file, etc. of the server 150 received through the communication module 213 may be transmitted to the processor 212 or the memory 211, and the content or file may be transmitted to an electronic device ( 110) may be stored as a storage medium (permanent storage device described above) that may further include.

입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(215)는 전자 기기(110)와 하나의 장치로 구성될 수도 있다. 또한, 서버(150)의 입출력 인터페이스(224)는 서버(150)와 연결되거나 서버(150)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 보다 구체적인 예로, 전자 기기(110)의 프로세서(212)가 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 전자 기기(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.The input/output interface 214 may be a means for an interface with the input/output device 215. For example, the input device may include a device such as a keyboard, a mouse, a microphone, and a camera, and the output device may include a device such as a display, a speaker, and a haptic feedback device. As another example, the input/output interface 214 may be a means for interfacing with a device in which input and output functions are integrated into one, such as a touch screen. The input/output device 215 may be configured with the electronic device 110 and one device. In addition, the input/output interface 224 of the server 150 may be a means for interface with a device (not shown) for input or output that is connected to the server 150 or that the server 150 may include. As a more specific example, when the processor 212 of the electronic device 110 processes a command of a computer program loaded in the memory 211, a service configured by using data provided by the server 150 or the electronic device 120 A screen or content may be displayed on the display through the input/output interface 214.

또한, 다른 실시예들에서 전자 기기(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기(110)는 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기(110)에 더 포함되도록 구현될 수 있다.In addition, in other embodiments, the electronic device 110 and the server 150 may include more components than those of FIG. 2. However, there is no need to clearly show most of the prior art components. For example, the electronic device 110 may be implemented to include at least some of the input/output devices 215 described above, or other components such as a transceiver, a global positioning system (GPS) module, a camera, various sensors, and a database. May include more. As a more specific example, when the electronic device 110 is a smartphone, an acceleration sensor or a gyro sensor, a camera module, various physical buttons, a button using a touch panel, an input/output port, and a vibrator for vibration generally included in the smartphone Various components such as may be implemented to be further included in the electronic device 110.

이하에서는 영상 통화 중에 입력되는 영상 데이터를 객체 영상과 배경 영상으로 분리하고, 분리된 배경 영상을 광 시야각 영상으로 대체하여 영상 통화 화면에 표시하는 실시예를 설명하기로 한다. 또한, 영상 통화 화면에 표시되는 영상 데이터의 배경 영상에 포함된 광 시야각 영상을 영상 통화 중인 상대방 단말과 공유하는 실시예를 설명하기로 한다. 여기서, 광 시야각이란 영상 통화 화면에서 정상적인 화면을 볼 수 있는 최대한의 측면 각도를 의미할 수 있으며, 상, 하, 좌, 우를 포함하는 각도 범위에서 정상적인 밝기로 영상 통화 화면에서 광 시야각의 영상을 볼 수 있다. 광 시야각 영상의 예로서, 파노라마 영상 이미지가 적용될 수 있다. 파노라마 영상 이미지는 영상 또는 이미지를 파노라마 형태로 제공하는 것으로, 예를 들면, 영상 또는 이미지의 한 지점을 여러 방향(예를 들면, 360도 방향)에서 볼 수 있다. Hereinafter, an embodiment in which video data input during a video call is separated into an object image and a background image, and the separated background image is replaced with a wide viewing angle image and displayed on a video call screen will be described. In addition, an embodiment in which a wide viewing angle image included in a background image of image data displayed on a video call screen is shared with a counterpart terminal during a video call will be described. Here, the wide viewing angle may mean the maximum side angle at which the normal screen can be viewed on the video call screen, and the image of the wide viewing angle is displayed on the video call screen with normal brightness in an angular range including up, down, left, and right. can see. As an example of a wide viewing angle image, a panoramic image image may be applied. The panoramic image image provides an image or image in a panoramic form, and, for example, an image or a point of an image can be viewed from multiple directions (eg, in a 360-degree direction).

실시예에 따른 전자 기기(110)는 컴퓨터로 구현된 배경 제공 시스템이 구성될 수 있다. 일례로, 배경 제공 시스템은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있고 경우에 따라 서버(150)와의 연동을 통해 배경 제공 서비스를 제공할 수 있다.The electronic device 110 according to the embodiment may be configured with a computer-implemented background providing system. As an example, the background providing system may be implemented in the form of a program that operates independently, or may be implemented in the form of an in-app of a specific application so that it can operate on the specific application, and in some cases, the server ( 150), a background providing service can be provided.

전자 기기에 설치된 어플리케이션이 제공하는 명령에 기반하여 전자 기기(110)에 구현된 배경 제공 시스템은 실시예와 관련된 적어도 하나의 특징을 포함한 방법들을 수행할 수 있다.The background providing system implemented in the electronic device 110 based on a command provided by an application installed in the electronic device may perform methods including at least one feature related to the embodiment.

구체적으로, 영상 통화 중에 파노라마 영상 이미지로 대체된 배경 영상을 공유하여 전자 기기간 영상 통화 화면에 동일한 배경 영상이 표시될 수 있다. 이하, 전자 기기(110)를 단말 및 상대방 단말로 구분하기로 한다. 실시예에서 단말(예를 들면, 제1 단말, 발신 단말)과 상대방 단말(예를 들면, 제2 단말, 수신 단말)간 호(Call) 연결을 통하여 영상 통화가 수행됨에 따라 영상 통화 환경이 구성될 수 있고, 구성된 영상 통화 환경에서 제공되는 배경 제공 서비스를 통하여 파노라마 영상 이미지로 대체된 배경 영상이 공유될 수 있다. 이때, 배경 제공 서비스는 전자 기기 고유의 영상 통화 서비스, 카메라 서비스, 채팅 서비스 등 다양한 서비스에서 주기능 또는 부가적인 기능으로 제공될 수 있다. Specifically, the same background image may be displayed on a video call screen between electronic devices by sharing a background image replaced with a panoramic image image during a video call. Hereinafter, the electronic device 110 will be classified into a terminal and a counterpart terminal. In the embodiment, a video call environment is configured as a video call is performed through a call connection between a terminal (e.g., a first terminal, a calling terminal) and a counterpart terminal (e.g., a second terminal, a receiving terminal) In addition, a background image replaced with a panoramic image may be shared through a background providing service provided in the configured video call environment. In this case, the background providing service may be provided as a main function or an additional function in various services such as a video call service unique to an electronic device, a camera service, and a chat service.

전자 기기(110)에서 배경 영상을 대체하기 위한 유저 인터페이스(예를 들면, 스티커 탭)가 선택됨에 따라 배경 영상을 파노라마 영상 이미지로 대체하기 위한 스티커가 적용될 수 있다. 예를 들면, 전자 기기에서 동작하는 배경 제공 서비스에서 배경 영상을 대체하기 위한 배경 영상 리스트가 제공될 수 있으며, 배경 영상 리스트로부터 배경 영상 스티커가 선택됨에 따라 스티커 형태의 배경 영상이 적용 및 미적용된 영상 데이터가 확인됨으로써 배경 영상이 파노라마 영상 이미지로 대체될 수 있다. 이하, 상대방 단말과 영상 통화를 하면서 사용할 수 있는 배경 스티커를 제공하는 기술을 설명하기로 한다. As the electronic device 110 selects a user interface (eg, a sticker tab) for replacing the background image, a sticker for replacing the background image with a panoramic image may be applied. For example, a background image list for replacing a background image may be provided in a background providing service operated on an electronic device, and a background image in the form of a sticker is applied or not applied as a background image sticker is selected from the background image list. As the data is checked, the background image can be replaced with the panoramic image image. Hereinafter, a technology for providing a background sticker that can be used while making a video call with a counterpart terminal will be described.

도 3은 일 실시예에 따른 전자 기기의 프로세서가 포함할 수 있는 구성요소를 설명하기 위한 블록도이고, 도 4는 일 실시예에 따른 전자 기기가 수행할 수 있는 배경 제공 방법을 설명하기 위한 흐름도이다.3 is a block diagram illustrating components that may be included in a processor of an electronic device according to an exemplary embodiment, and FIG. 4 is a flowchart illustrating a method of providing a background that may be performed by an electronic device according to an exemplary embodiment to be.

전자 기기의 프로세서(212)는 영상 분리부(310), 배경 영상 대체부(320), 영상 데이터 표시부(330) 및 배경 영상 공유부(340)를 포함할 수 있다. 이러한 프로세서(212)의 구성요소들은 전자 기기에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서(212)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(212) 및 프로세서(212)의 구성요소들은 도 4의 배경 제공 방법이 포함하는 단계들(S410 내지 S440)을 수행하도록 전자 기기를 제어할 수 있다. 이때, 프로세서(212) 및 프로세서(212)의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The processor 212 of the electronic device may include an image separation unit 310, a background image replacement unit 320, an image data display unit 330, and a background image sharing unit 340. Components of the processor 212 may be expressions of different functions performed by the processor 212 according to a control command provided by a program code stored in the electronic device. The processor 212 and components of the processor 212 may control the electronic device to perform the steps (S410 to S440) included in the background providing method of FIG. 4. In this case, the components of the processor 212 and the processor 212 may be implemented to execute an instruction according to the code of the operating system included in the memory and the code of at least one program.

프로세서(212)는 배경 제공 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 전자 기기에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 전자 기기를 제어할 수 있다. 이때, 프로세서(212) 및 프로세서(212)가 포함하는 영상 분리부(310), 배경 영상 대체부(320), 영상 데이터 표시부(330) 및 배경 영상 공유부(340) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(S410 내지 S440)을 실행하기 위한 프로세서(212)의 서로 다른 기능적 표현들일 수 있다.The processor 212 may load a program code stored in a file of a program for a method of providing a background into a memory. For example, when a program is executed in the electronic device, the processor may control the electronic device to load the program code from the program file into the memory under the control of the operating system. At this time, each of the image separation unit 310, the background image replacement unit 320, the image data display unit 330, and the background image sharing unit 340 included in the processor 212 and the processor 212 are programs loaded into the memory. It may be different functional expressions of the processor 212 for executing the subsequent steps S410 to S440 by executing an instruction of a corresponding part of the code.

단계(S410)에서 영상 분리부(310)는 통화 중에 단말의 영상 통화 화면에 입력되는 영상 데이터로부터 객체 영상 및 배경 영상을 분리할 수 있다. 도 5를 참고하면, 영상 데이터로부터 객체 영상 및 배경 영상을 분리하는 것을 설명하기 위한 예이다. 전자 기기(110)에 카메라가 실행됨에 따라 전방 카메라 모드가 동작될 수 있다. 전자 기기(110)의 카메라를 통하여 입력되는 영상 데이터에 사용자의 정보(예를 들면, 사용자의 얼굴)를 포함하는 객체 영상(510) 및 사용자 주변 정보(예를 들면, 건물, 도로, 사용자와 관련없는 사람들 등)를 포함하는 배경 영상(520)이 포함될 수 있다. 이때, 전자 기기(110)에 영상 통화 중에 동작되는 카메라 모드로 전방 카메라 모드를 예를 들어 설명하였으나, 이에 한정되는 것은 아니며, 후방 카메라 모드도 동일하게 적용될 수 있으며, 사용자의 선택에 의하여 전방 카메라 모드 또는 후방 카메라 모드가 동작될 수도 있다. 예를 들면, 영상 분리부(310)는 영상 데이터에 대하여 엣지 인식을 통해 객체의 경계를 윤곽선으로 나타내고, 경계 안의 포인터들을 그룹화하고, 주변에 유사한 특징들을 가지는 점들로 계속 성장시키는 방법으로 그룹핑하여 객체 영상 및 배경 영상을 분리할 수 있다. 이외에도 다양한 방식을 적용하여 영상 데이터로부터 객체 영상 및 배경 영상이 분리될 수 있다. In step S410, the image separation unit 310 may separate the object image and the background image from the image data input to the video call screen of the terminal during a call. Referring to FIG. 5, it is an example for explaining separation of an object image and a background image from image data. As the camera is executed on the electronic device 110, the front camera mode may be operated. Object image 510 including user information (eg, user's face) in image data input through the camera of the electronic device 110 and user surrounding information (eg, buildings, roads, user-related A background image 520 including people without, etc.) may be included. In this case, the front camera mode has been described as an example as a camera mode that is operated during a video call on the electronic device 110, but the present invention is not limited thereto, and the rear camera mode may be applied in the same manner. Alternatively, the rear camera mode may be operated. For example, the image separating unit 310 represents the boundary of the object as an outline through edge recognition of the image data, groups the pointers within the boundary, and continues to grow into points having similar characteristics around the object. Video and background video can be separated. In addition, an object image and a background image may be separated from the image data by applying various methods.

단계(S420)에서 배경 영상 대체부(320)는 영상 데이터에 분리된 배경 영상을 파노라마 영상 이미지로 대체할 수 있다. 예를 들면, 배경 영상 대체부(320)는 객체 영상을 제외한 배경 영상을 파노라마 영상 이미지로 대체할 수 있다. 일례로, 배경 영상 대체부(320)는 전자 기기에 저장된 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. 전자 기기에 사전에 파노라마 영상 이미지가 저장되어 있을 수 있다. 배경 영상 대체부(320)는 전자 기기에 저장된 적어도 하나 이상의 파노라마 영상 이미지로부터 배경 영상으로 대체하기 위하여 선택된 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. 다른 예로서, 배경 영상 대체부(320)는 전자 기기로부터 획득된 적어도 하나 이상의 이미지를 이용하여 파노라마 영상 이미지를 생성하고, 생성된 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. 이때, 배경 영상 대체부(320)는 전자 기기에서 파노라마 영상 이미지를 생성하기 위하여 촬영된 이미지 또는 영상을 획득할 수 있다. 또는, 배경 영상 대체부(320)는 전자 기기에서 다른 전자 기기들로부터 업로드된 이미지 또는 영상을 다운로드함에 따라 이미지 또는 영상을 획득할 수 있다. 예를 들면, 배경 영상 대체부(320)는 전자 기기에서 획득된 이미지 또는 영상에 대하여 파노라마 영상 이미지를 생성할 수 있는 유저 인터페이스(예를 들면, 툴(Tool))를 제공할 수 있고, 제공된 유저 인터페이스를 이용하여 사용자의 선택에 따라 이미지 또는 영상이 조합됨에 따라 파노라마 영상 이미지를 생성할 수 있다. 배경 영상 대체부(320)는 생성된 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. 또 다른 예로서, 배경 영상 대체부(320)는 배경 영상을 위한 리스트를 제공할 수 있고, 제공된 배경 영상 리스트로부터 선택된 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. 이때, 영상 대체부(320)는 사용자로부터 선택된 파노라마 영상 이미지가 적용된 배경 영상 또는 영상 데이터가 표시될 수 있다. 사용자로부터 전자 기기의 영상 통화 화면에 표시된 파노라마 영상 이미지가 확인됨에 따라 파노라마 영상 이미지를 배경 영상으로 적용할 것인지 여부가 결정될 수 있다. 영상 대체부(320)는 파노라마 영상 이미지가 배경 영상으로 적용할 것으로 결정됨에 따라 파노라마 영상 이미지를 배경 영상으로 대체할 수 있다. In step S420, the background image replacement unit 320 may replace the background image separated from the image data with the panoramic image image. For example, the background image replacement unit 320 may replace a background image excluding an object image with a panoramic image image. For example, the background image replacement unit 320 may replace the panoramic image image stored in the electronic device with the background image. The panoramic image image may be previously stored in the electronic device. The background image replacement unit 320 may replace the selected panoramic image image with a background image to replace the at least one panoramic image image stored in the electronic device with a background image. As another example, the background image replacement unit 320 may generate a panoramic image image using at least one image acquired from an electronic device, and may replace the generated panoramic image image with a background image. In this case, the background image replacement unit 320 may acquire an image or an image captured by the electronic device to generate a panoramic image image. Alternatively, the background image replacement unit 320 may acquire an image or image as the electronic device downloads an image or image uploaded from other electronic devices. For example, the background image replacement unit 320 may provide a user interface (eg, a tool) capable of generating a panoramic image image with respect to an image or image acquired from an electronic device, and the provided user A panoramic image image may be generated as an image or an image is combined according to a user's selection using the interface. The background image replacement unit 320 may replace the generated panoramic image image with a background image. As another example, the background image replacement unit 320 may provide a list for a background image, and may replace a panoramic image image selected from the provided background image list with a background image. In this case, the image replacement unit 320 may display a background image or image data to which the panoramic image image selected by the user is applied. As the user confirms the panoramic image displayed on the video call screen of the electronic device, it may be determined whether to apply the panoramic image as a background image. The image replacement unit 320 may replace the panoramic image image with the background image as it is determined to apply the panoramic image image as the background image.

단계(S430)에서 영상 데이터 표시부(330)는 파노라마 영상 이미지로 대체된 배경 영상을 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 영상 통화 화면에 표시할 수 있다. 도 7 및 도 8을 참고하면, 영상 통화 화면에 파노라마 영상 이미지로 대체된 배경 영상을 표시하는 것을 설명하기 위한 예이다. 영상 데이터 표시부(330)는 파노라마 영상 이미지(520)로 대체된 배경 영상을 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 전자 기기(110)의 영상 통화 화면에 표시할 수 있다. 전자 기기(110)에 전자 기기(110)로부터 촬영되는 객체 영상이 유지된 채로 배경 영상이 파노라마 영상 이미지(520)로 대체된 새로운 영상 데이터가 표시될 수 있다. 이때, 전자 기기(110)에서 동작하는 카메라를 통하여 실시간으로 촬영되는 객체 영상이 영상 데이터에 표시될 수 있다. 영상 데이터 표시부(330)는 파노라마 영상 이미지로 대체된 배경 영상을 객체 영상과 합성함에 따라 생성된 새로운 영상 데이터를 영상 통화 화면에 표시함과 동시에 음악을 재생(play)할 수 있다. 예를 들면, 영상 데이터 표시부(330)는 영상 통화 화면에 새로운 영상 데이터를 표시할 때, 파노라마 영상 이미지에 등록된 배경 음악을 재생할 수 있다. 이때, 사전에 파노라마 영상 이미지와 함께 재생하기 위한 음악이 등록되어 있을 수 있다. 또는, 파노라마 영상 이미지와 함께 재생하기 위한 음악 리스트를 제공할 수 있고, 제공된 음악 리스트로부터 선택된 음악이 등록될 수 있다. 또는, 사용자로부터 파노라마 영상 이미지와 함께 재생하기 위한 음악의 검색을 통하여 음악이 등록될 수 있다. 또한, 음악의 볼륨이 조절될 수도 있다. In step S430, the image data display unit 330 may display new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen. Referring to FIGS. 7 and 8, it is an example for explaining displaying a background image replaced with a panoramic image image on a video call screen. The image data display unit 330 may display new image data generated by synthesizing the background image replaced with the panoramic image 520 with the object image on the video call screen of the electronic device 110. The electronic device 110 may display new image data in which the background image is replaced with the panoramic image 520 while the object image captured from the electronic device 110 is maintained. In this case, an object image captured in real time through a camera operating in the electronic device 110 may be displayed in the image data. The image data display unit 330 may display new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen and play music at the same time. For example, when displaying new video data on the video call screen, the video data display unit 330 may play background music registered in the panoramic video image. In this case, music for reproduction together with the panoramic image image may be registered in advance. Alternatively, a music list for playback with a panoramic image may be provided, and music selected from the provided music list may be registered. Alternatively, music may be registered by a user through a search for music to be reproduced together with the panoramic image image. Also, the volume of music may be adjusted.

또한, 영상 데이터 표시부(330)는 영상 통화 화면에 처음 표시되기 위한 파노라마 영상 이미지의 일부 영역을 기준 영역으로 설정할 수 있다. 영상 데이터 표시부(330)는 영상 통화 화면에 처음 표시되기 위하여 설정된 파노라마 영상 이미지의 기준 영역을 전자 기기(110)의 영상 통화 화면에 배경 영상으로 표시할 수 있다. 이러한 기준 영역은 사용자의 설정에 의하여 변경될 수 있다. 영상 통화 화면에 처음 표시된 파노라마 영상 이미지의 기준 영역을 기준으로 사용자의 움직임 정보(810, 811)에 따라 파노라마 영상 이미지로 대체된 배경 영상이 이동될 수 있다. 예를 들면, 영상 데이터 표시부(330)는 사용자로부터 입력되는 상, 하, 좌, 우의 방향 정보를 포함하는 적어도 하나 이상의 움직임 정보(810, 811)에 대응하는 배경 영상을 표시할 수 있다. 또한, 전자 기기(110)의 영상 통화 화면에 표시된 새로운 영상 데이터의 파노라마 영상 이미지로 대체된 배경 영상에 배경 객체(예를 들면, 랜드마크(820))가 포함될 수 있다. 여기서 랜드마크(820)란 파노라마 영상 이미지에 존재하는 객체를 의미할 수 있다. 이러한 랜드마크(820) 또는 파노라마 영상 이미지 내의 공간에 아이템을 배치하여 이벤트를 발생시키도록 설정될 수 있다. 예를 들면, 파리의 에펠탑이 포함된 파노라마 영상 이미지라고 가정하기로 한다. 사전에 파노라마 영상 이미지의 파리의 에펠탑 또는 에펠탑 주변에 아이템이 배치되어 있을 수 있다. 전자 기기(110)에 표시되는 새로운 영상 데이터를 통하여 사용자의 움직임에 따라 이동되는 배경 영상에서 에펠탑 또는 에펠탑 주변이 비춰짐으로써 에펠탑 또는 에펠탑 주변에 존재하는 아이템이 획득될 수 있다. 또는, 에펠탑 또는 에펠탑의 주변에 입력된 인터랙션 정보에 기초하여 이벤트가 발생될 수 있다. 예를 들면, 사용자로부터 에펠탑에 입력되는 인터랙션 정보에 따라 서로 다른 종류의 이벤트가 발생될 수 있다. Also, the image data display unit 330 may set a partial area of the panoramic image image to be initially displayed on the video call screen as a reference area. The video data display unit 330 may display a reference region of the panoramic image image set to be initially displayed on the video call screen as a background image on the video call screen of the electronic device 110. This reference area can be changed according to the user's setting. The background image replaced with the panoramic image may be moved according to the user's motion information 810 and 811 based on the reference area of the panoramic image first displayed on the video call screen. For example, the image data display unit 330 may display a background image corresponding to at least one or more motion information 810 and 811 including up, down, left, and right direction information input from a user. In addition, a background object (eg, a landmark 820) may be included in a background image replaced with a panoramic image image of new image data displayed on the video call screen of the electronic device 110. Here, the landmark 820 may mean an object existing in the panoramic image. It may be set to generate an event by placing an item in a space within the landmark 820 or the panoramic image image. For example, it is assumed that the image is a panoramic image including the Eiffel Tower in Paris. Items may be arranged in advance in the Eiffel Tower in Paris or around the Eiffel Tower in the panoramic image. An item existing around the Eiffel Tower or the Eiffel Tower may be obtained by illuminating the Eiffel Tower or the vicinity of the Eiffel Tower in a background image that is moved according to the user's movement through new image data displayed on the electronic device 110. Alternatively, an event may be generated based on the Eiffel Tower or interaction information input around the Eiffel Tower. For example, different types of events may occur according to interaction information input to the Eiffel Tower from a user.

도 6을 참고하면, 사용자의 움직임 정보에 기초하여 위치가 이동되는 영상 통화 화면의 배경 영상을 표시하는 방법을 설명하기 위한 흐름도이다. 단계(S610)에서 영상 데이터 표시부(330)는 영상 통화 화면에 표시된 새로운 영상 데이터에 사용자의 움직임 정보가 입력됨을 수신할 수 있다. 예를 들면, 사용자의 움직임 정보로 상, 하, 좌, 우를 포함하는 방향 정보가 입력될 수 있다. 단계(S620)에서 영상 데이터 표시부(330)는 사용자의 움직임 정보에 대응하여 위치가 이동되는 파노라마 영상 이미지를 영상 통화 화면에 표시할 수 있다. 예를 들면, 영상 데이터 표시부(330)는 사용자로부터 좌, 우로 360도 이동됨에 따라 360도 파노라마 영상 이미지를 배경 영상으로 표시할 수 있다. Referring to FIG. 6, it is a flowchart illustrating a method of displaying a background image of a video call screen in which a location is moved based on motion information of a user. In step S610, the image data display unit 330 may receive that the user's motion information is input to new image data displayed on the video call screen. For example, direction information including up, down, left, and right may be input as the user's motion information. In step S620, the image data display unit 330 may display a panoramic image image whose position is moved in response to the user's motion information on the video call screen. For example, the image data display unit 330 may display a 360-degree panoramic image as a background image as it moves 360 degrees to the left and right from the user.

단계(S440)에서 배경 영상 공유부(340)는 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되도록 파노라마 영상 이미지를 공유할 수 있다. 이때, 배경 영상 공유부(340)는 파노라마 영상 이미지를 공유하기 위한 요청에 기초하여 파노라마 영상 이미지 공유를 위한 프로세스가 동작될 수 있다. 배경 영상 공유부(340)는 영상 통화 화면에 표시되는 새로운 영상 데이터의 배경 영상에 포함된 파노라마 영상 이미지를 영상 통화가 수행 중인 상대방 단말로 전달할 수 있다. 예를 들면, 배경 영상 공유부(340)는 영상 통화 중인 상대방 단말이 복수 개일 경우, 복수 개의 상대방 단말 각각으로 파노라마 영상 이미지를 전달할 수 있다. 이때, 상대방 단말에 배경 영상에 포함된 파노라마 영상 이미지를 전달받을 것인지 여부가 온(On) 또는 오프(Off)로 설정되어 있을 수 있다. 만약, 상대방 단말에 온(On)으로 설정되어 있을 경우, 상대방 단말은 파노라마 영상 이미지를 전달받을 수 있고, 전달받은 파노라마 영상 이미지가 배경 영상으로 대체되어 영상 데이터로 표시될 수 있다. 또한, 상대방 단말에 오프(Off)로 설정되어 있을 경우, 상대방 단말은 파노라마 영상 이미지를 전달받지 않을 수 있어, 파노라마 영상 이미지가 배경 영상으로 대체되지 않는다. In step S440, the background image sharing unit 340 may share the panoramic image image so that the background image of the new image data displayed on the video call screen is displayed on the video call screen of the other terminal. In this case, the background image sharing unit 340 may operate a process for sharing a panoramic image image based on a request for sharing the panoramic image image. The background image sharing unit 340 may transmit the panoramic image image included in the background image of the new image data displayed on the video call screen to a counterpart terminal in which the video call is being performed. For example, the background image sharing unit 340 may transmit a panoramic image image to each of the plurality of counterpart terminals when there are a plurality of counterpart terminals during a video call. In this case, whether to receive the panoramic image image included in the background image to the counterpart terminal may be set to On or Off. If the counterpart terminal is set to On, the counterpart terminal may receive a panoramic image image, and the transmitted panoramic image image may be replaced with a background image and displayed as image data. In addition, when the counterpart terminal is set to Off, the counterpart terminal may not receive the panoramic image image, and thus the panoramic image image is not replaced with the background image.

도 9를 참고하면, 설정된 시간 정보에 기초하여 상대방 단말의 배경 영상을 제어하는 방법을 설명하기 위한 흐름도이다. 단계(S910)에서 배경 영상 공유부(340)는 파노라마 영상 이미지로 대체된 배경 영상을 유지시키기 위한 시간 정보(예를 들면, 5초)를 설정할 수 있다. 배경 영상 공유부(340)는 배경 영상을 유지시키기 위한 시간 정보를 설정하는 유저 인터페이스를 제공할 수 있고, 제공된 유저 인터페이스를 통하여 입력된 시간 정보에 기초하여 잠금 기능을 발생시킬 수 있다. 예를 들면, 배경 영상 공유부(340)는 기 설정된 시간 동안 상대방 단말에서 배경 영상을 변경하거나, 적용하지 않는 것을 방지하기 위하여 상대방 단말에 잠금 기능을 설정할 수 있다. 잠금 기능이 설정된 시간동안 상대방 단말에서 배경 영상을 변경, 삭제할 수 없으며, 영상 통화를 중지, 종료할 수 없다. 이에, 단말은 상대방 단말에게 동일한 공간으로의 초대를 수행하는 것이 될 수 있다. Referring to FIG. 9, it is a flowchart illustrating a method of controlling a background image of a counterpart terminal based on set time information. In step S910, the background image sharing unit 340 may set time information (eg, 5 seconds) for maintaining the background image replaced with the panoramic image image. The background image sharing unit 340 may provide a user interface for setting time information for maintaining the background image, and may generate a lock function based on time information input through the provided user interface. For example, the background image sharing unit 340 may set a lock function on the counterpart terminal to prevent the counterpart terminal from changing or not applying the background image for a preset time. During the time the lock function is set, the background image cannot be changed or deleted from the other terminal, and the video call cannot be stopped or terminated. Accordingly, the terminal may invite the other terminal to the same space.

단계(S920)에서 배경 영상 공유부(340)는 설정된 시간 정보에 기초하여 상대방 단말의 영상 통화 화면에 파노라마 영상 이미지가 대체된 배경 영상을 포함하는 영상 데이터가 표시되도록 제어할 수 있다. 배경 영상 공유부(340)는 사용자의 움직임 정보에 대응하여 위치가 이동되는 파노라마 영상 이미지를 상대방 단말에게 전달할 수 있다. 이에, 상대방 단말의 영상 통화 화면에 표시되는 파노라마 영상 이미지의 위치가 이동될 수 있다. 도 10을 참고하면, 단말에서 설정된 시간 정보에 기초하여 상대방 단말의 배경 영상을 유지시키는 것을 설명하기 위한 예이다. 단말(110a)과 상대방 단말(110b)이 영상 통화 중이라고 가정하기로 한다. 이때, 단말(110a)로부터 설정된 시간 동안 단말(110a)의 영상 통화 화면(1010)에 표시되는 배경 영상인 파노라마 영상 이미지가 상대방 단말(110b)로 전달될 수 있다. 상대방 단말(110b)은 다른 배경 영상을 사용하고 있는 경우일지라도, 단말(110a)의 파노라마 영상 이미지로 대체된 배경 영상을 전달받을 수 있다. 상대방 단말(110b)의 영상 통화 화면(1020)에 표시되는 영상 데이터의 배경 영상이 단말(110a)로부터 전달받은 파노라마 영상 이미지로 전환될 수 있다. 이에, 단말(110a)의 영상 통화 화면(1010)과 상대방 단말(110b)의 영상 통화 화면(1020)에 동일한 배경 영상이 표시될 수 있다. In step S920, the background image sharing unit 340 may control to display image data including a background image in which the panoramic image image is replaced on the video call screen of the counterpart terminal based on the set time information. The background image sharing unit 340 may transmit a panoramic image of which the location is moved to the counterpart terminal in response to the user's motion information. Accordingly, the position of the panoramic image displayed on the video call screen of the counterpart terminal may be moved. Referring to FIG. 10, this is an example for explaining maintaining a background image of a counterpart terminal based on time information set in the terminal. It is assumed that the terminal 110a and the other terminal 110b are on a video call. In this case, a panoramic image image, which is a background image displayed on the video call screen 1010 of the terminal 110a for a set time from the terminal 110a, may be transmitted to the counterpart terminal 110b. The counterpart terminal 110b may receive a background image replaced with the panoramic image image of the terminal 110a even if a different background image is being used. The background image of the image data displayed on the video call screen 1020 of the counterpart terminal 110b may be converted into a panoramic image image received from the terminal 110a. Accordingly, the same background image may be displayed on the video call screen 1010 of the terminal 110a and the video call screen 1020 of the counterpart terminal 110b.

도 11을 참고하면, 객체 영상이 표시되는 위치 정보를 설정하는 방법을 설명하기 위한 흐름도이다. 단계(S1110)에서 배경 영상 공유부(340)는 파노라마 영상 이미지에 상대방 단말의 카메라를 통해 촬영되는 영상 통화 화면에 입력된 객체 영상이 표시되기 위한 위치 정보를 설정할 수 있다. 예를 들면, 배경 영상 공유부(340)는 사용자로부터 파노라마 영상 이미지의 특정 지점이 선택됨을 수신할 수 있다. 이때, 단말 및 상대방 단말의 각각의 객체 영상에 존재하는 객체가 표시되기 위한 특정 지점이 선택될 수 있다. 예를 들면, 사용자의 얼굴이 표시되기 위한 지점이 선택될 수 있다. 단계(S1120)에서 배경 영상 공유부(340)는 사용자로부터 설정된 위치 정보를 포함하는 파노라마 영상 이미지를 상대방 단말에게 전달할 수 있다. 상대방 단말은 단말로부터 전달받은 파노라마 영상 이미지에 설정된 위치 정보에 기초하여 객체 영상에 존재하는 객체를 위치시킬 수 있다. 이때, 단말 또는 상대방 단말에 의하여 상대방 단말의 객체 영상이 표시되기 위한 위치 정보가 변경될 수도 있다. 상대방 단말은 단말로부터 설정된 위치 정보에 기초하여 파노라마 영상 이미지에 상대방 단말의 영상 통화 화면에 입력된 객체 영상이 위치될 수 있다. 도 12를 참고하면, 전자 기기(110a)가 상대방 단말(110b)과 배경 영상을 공유함에 따라 단말(110a) 및 상대방 단말(110b)의 영상 데이터에 입력되는 객체가 동일한 공간에 존재하게 될 수 있다. 예를 들면, 단말(110a)과 상대방 단말(110b)은 공원의 특정 테이블 또는 특정 지점에 마주앉은 것처럼 각각의 사용자가 표시될 수 있다. Referring to FIG. 11, it is a flowchart illustrating a method of setting location information on which an object image is displayed. In step S1110, the background image sharing unit 340 may set location information for displaying an object image input on a video call screen photographed through a camera of a counterpart terminal in the panoramic image image. For example, the background image sharing unit 340 may receive a selection of a specific point of the panoramic image image from the user. In this case, a specific point for displaying an object present in each object image of the terminal and the counterpart terminal may be selected. For example, a point at which the user's face is displayed may be selected. In step S1120, the background image sharing unit 340 may transmit the panoramic image image including the location information set by the user to the counterpart terminal. The counterpart terminal may locate an object existing in the object image based on location information set in the panoramic image image received from the terminal. In this case, location information for displaying the object image of the counterpart terminal may be changed by the terminal or the counterpart terminal. The counterpart terminal may position the object image input on the video call screen of the counterpart terminal in the panoramic image image based on the location information set by the terminal. Referring to FIG. 12, as the electronic device 110a shares a background image with the counterpart terminal 110b, an object input to the image data of the terminal 110a and the counterpart terminal 110b may exist in the same space. . For example, the terminal 110a and the counterpart terminal 110b may be displayed by each user as if they were seated at a specific table or a specific point in a park.

도 14를 참고하면, 인터랙션 정보에 기초하여 배경 영상에 이벤트를 발생시키는 방법을 설명하기 위한 흐름도이다. 단계(S1410)에서 영상 정보 공유부(340)는 인터랙션 정보에 기초하여 파노라마 영상 이미지에 존재하는 배경 객체에 이벤트를 발생시킬 수 있다. 영상 정보 공유부(340)는 사용자로부터 인터랙션 정보가 입력됨을 수신할 수 있다. 이때, 인터랙션 정보란, 사용자에 입력 정보에 따라 랜드마크 또는 파노라마 영상 이미지 내에서 기 설정된 이벤트가 발생하는 것을 의미할 수 있다. 더 나아가, 파노라마 영상 이미지 내에서 발생하는 이벤트를 통하여 상대방 단말과 상호작용하는 것을 의미할 수 있다. 영상 정보 공유부(340)는 단말의 움직임에 따라 이동되는 파노라마 영상 이미지의 일부 영역에 배치된 아이템에 인터랙션 정보가 입력됨에 따라 이벤트를 발생시킬 수 있다. 예를 들면, 영상 정보 공유부(340)는 인터랙션 정보에 의해 발생된 이벤트를 포함하는 파노라마 영상 이미지를 상대방 단말에 전달할 수 있다. 또는, 영상 정보 공유부(340)는 인터랙션 정보에 의해 발생된 이벤트 정보만을 상대방 단말에게 전달할 수 있다. 상대방 단말의 배경 영상에 단말과 동일하게 이벤트 정보가 적용될 수 있다. 예를 들면, 배경 영상 내에 분수가 존재할 경우, 사용자의 인터랙션 정보(예를 들면, 확대 모션, 축소 모션 등)이 입력됨에 따라 분수의 물줄기가 커지거나 작아질 수 있다. 또 다른 예로서, 배경 영상 내에 보물상자를 숨겨놓을 수 있다. 이때, 상대방 단말의 사용자가 보물상자를 찾아, 보물상자에 인터랙션 정보를 입력함으로써 보물상자가 열릴 수 있다. 예를 들면, 보물상자가 열림에 따라 상대방 단말에게 아이템이 제공될 수 있다.Referring to FIG. 14, it is a flowchart illustrating a method of generating an event in a background image based on interaction information. In operation S1410, the image information sharing unit 340 may generate an event in a background object existing in the panoramic image image based on the interaction information. The image information sharing unit 340 may receive that interaction information is input from a user. In this case, the interaction information may mean that a preset event occurs within a landmark or panoramic image image according to information input to the user. Furthermore, it may mean interacting with a counterpart terminal through an event occurring within the panoramic image. The image information sharing unit 340 may generate an event as interaction information is input to an item arranged in a partial area of the panoramic image image that is moved according to the movement of the terminal. For example, the image information sharing unit 340 may transmit a panoramic image image including an event generated by the interaction information to a counterpart terminal. Alternatively, the image information sharing unit 340 may transmit only event information generated by the interaction information to the counterpart terminal. Event information may be applied to the background image of the counterpart terminal in the same manner as the terminal. For example, when a fountain exists in the background image, the water stream of the fountain may increase or decrease as user interaction information (eg, enlarged motion, reduced motion, etc.) is input. As another example, a treasure chest can be hidden in a background image. At this time, the user of the other terminal may open the treasure box by searching for the treasure box and inputting interaction information into the treasure box. For example, as the treasure chest is opened, an item may be provided to the other terminal.

도 13은 일 실시예에 따른 전자 기기의 배경 영상이 상대방 단말의 영상 통화 화면에 표시되는 것을 설명하기 위한 예이다.13 is an example for explaining that a background image of an electronic device is displayed on a video call screen of a counterpart terminal according to an exemplary embodiment.

단말과 상대방 단말(110b)이 영상 통화 중일 때, 각각의 단말은 동일한 지역에 존재할 수도 있고, 서로 다른 지역에 존재할 수 있다. 예를 들면, 단말과 상대방 단말(110b)이 서로 다른 나라에서 영상 통화 중일 경우, 단말이 존재하는 공간은 낮일 경우, 상대방 단말(110b)이 존재하는 공간은 밤일 수 있다. 이와 같이, 단말과 상대방 단말(110b)에 시차가 발생할 수 있다. When the terminal and the counterpart terminal 110b are on a video call, each terminal may exist in the same area or in different areas. For example, when the terminal and the counterpart terminal 110b are on a video call in different countries, the space in which the terminal exists is daytime, and the space in which the counterpart terminal 110b exists may be night. In this way, a parallax may occur between the terminal and the counterpart terminal 110b.

전자 기기에서 파노라마 영상 이미지가 배경 영상으로 대체된 시간 정보가 함께 저장될 수 있다. 전자 기기의 배경 영상이 상대방 단말(110b)로 전달될 수 있다. 상대방 단말(110b)은 전자 기기로부터 전달된 배경 영상을 수신할 수 있다. 상대방 단말(110b)에 단말의 영상 통화 화면에 표시되는 영상 데이터의 배경 영상이 파노라마 영상 이미지로 대체된 시간 정보를 기준으로 단말과의 시간 차이 정보에 따라 상대방 단말(110b)의 영상 통화 화면에 표시되는 영상 데이터의 파노라마 영상 이미지가 변환될 수 있다. In the electronic device, time information in which the panoramic image image is replaced with a background image may be stored together. The background image of the electronic device may be transmitted to the counterpart terminal 110b. The counterpart terminal 110b may receive the background image transmitted from the electronic device. Based on the time information in which the background image of the video data displayed on the video call screen of the terminal is replaced with a panoramic video image on the counterpart terminal 110b, it is displayed on the video call screen of the counterpart terminal 110b according to the time difference information from the terminal. A panoramic image of the image data to be converted may be converted.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims

In a program stored in a computer-readable storage medium to execute a background providing method performed in an electronic device,
The background providing method,
Separating the object image and the background image from the image data input to the video call screen of the terminal during a video call;
Replacing the background image separated from the image data with a panoramic image image;
Displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And
Sharing the panoramic image image so that the background image of the new video data displayed on the video call screen is displayed on the video call screen of the counterpart terminal
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The displaying step,
Displaying on the video call screen a panoramic video image whose position is moved in response to the user's motion information input to the new video data displayed on the video call screen.
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The sharing step,
Transferring a panoramic video image included in a background image of new video data displayed on the video call screen to a counterpart terminal on which the video call is being performed
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The sharing step,
Controlling to display image data including a background image replaced with the panoramic image image on the video call screen of the counterpart terminal based on time information set to maintain the background image replaced with the panoramic image image
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 3,
The sharing step,
Setting position information for displaying an object image input on a video call screen photographed through a camera of the counterpart terminal in the panoramic video image, and transmitting a panoramic video image including the set position information to the counterpart terminal
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 3,
The sharing step,
The replaced background image of the video data input to the video call screen of the terminal is displayed on the video call screen of the counterpart terminal according to the time difference information from the counterpart terminal based on time information in which the panoramic video image is replaced. Transmitting a panoramic image including time information to the counterpart terminal
A computer program stored in a computer-readable storage medium, characterized in that.

The method of claim 1,
The sharing step,
Generating an event in a background object existing in the panoramic image based on interaction information
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The sharing step,
Generating an event when an item is placed in a partial area of the panoramic image and interaction information is input to an item placed in a partial area of the panoramic image that is moved according to the user's motion information
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The displaying step,
Playing background music set in the panoramic image image
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The replacing step,
Replacing the panoramic image image stored in the electronic device with a background image
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The replacing step,
Generating a panoramic image image using at least one image acquired from the electronic device, and replacing the generated panoramic image image with a background image
A computer program stored on a computer-readable storage medium comprising a.

The method of claim 1,
The replacing step,
Providing a background image list for the background image, and replacing the panoramic image image selected from the provided background image list with a background image
A computer program stored on a computer-readable storage medium comprising a.

In the background providing method performed in an electronic device,
Separating the object image and the background image from the image data input to the video call screen of the terminal during a video call;
Replacing the background image separated from the image data with a panoramic image image;
Displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And
Sharing the panoramic image image so that the background image of the new video data displayed on the video call screen is displayed on the video call screen of the counterpart terminal
Background providing method comprising a.

The method of claim 13,
The displaying step,
Displaying on the video call screen a panoramic video image whose position is moved in response to the user's motion information input to the new video data displayed on the video call screen.
Background providing method comprising a.

The method of claim 13,
The sharing step,
Controlling to display image data including a background image replaced with the panoramic image image on the video call screen of the counterpart terminal based on time information set to maintain the background image replaced with the panoramic image image
Background providing method comprising a.

The method of claim 13,
The sharing step,
Setting position information for displaying an object image input on a video call screen photographed through a camera of the counterpart terminal in the panoramic video image, and transmitting a panoramic video image including the set position information to the counterpart terminal
Background providing method comprising a.

In an electronic device,
An image separating unit for separating an object image and a background image from image data input to the video call screen of the terminal during a video call;
A background image replacement unit for replacing the background image separated from the image data with a panoramic image image;
An image data display unit for displaying new image data generated by synthesizing the background image replaced with the panoramic image image with the object image on the video call screen; And
A background image sharing unit that shares the panoramic image image so that the background image of the new image data displayed on the video call screen is displayed on the video call screen of the other terminal
Electronic device comprising a.

The method of claim 17,
The counterpart terminal,
A panoramic image image of video data displayed on the video call screen of the counterpart terminal according to time difference information from the counterpart terminal based on time information in which the background image of the video data input to the video call screen is replaced with a panoramic video image Is converted
Electronic device, characterized in that.

The method of claim 17,
The counterpart terminal,
Whether or not to receive the panoramic video image is set
Electronic device, characterized in that.

The method of claim 17,
The counterpart terminal,
The transferred panoramic image image is replaced with a background image of image data input through the camera of the counterpart terminal, and the background image replaced with the panoramic image image is displayed on the video call screen of the counterpart terminal.
Electronic device, characterized in that.