KR20170035608A - 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 - Google Patents

화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20170035608A
KR20170035608A KR1020150134714A KR20150134714A KR20170035608A KR 20170035608 A KR20170035608 A KR 20170035608A KR 1020150134714 A KR1020150134714 A KR 1020150134714A KR 20150134714 A KR20150134714 A KR 20150134714A KR 20170035608 A KR20170035608 A KR 20170035608A
Authority
KR
South Korea
Prior art keywords
image
user
virtual background
display device
virtual
Prior art date
Application number
KR1020150134714A
Other languages
English (en)
Inventor
김은서
김상윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150134714A priority Critical patent/KR20170035608A/ko
Priority to US15/212,381 priority patent/US10003769B2/en
Priority to EP16180160.0A priority patent/EP3148184B1/en
Publication of KR20170035608A publication Critical patent/KR20170035608A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 발명의 실시예에 따른 화상 통화 시스템은, 영상표시장치를 이용한 화상 통화 시스템에 있어서, 제1 영상표시장치, 및 상기 제1 영상표시장치와 화상 통화하는 제2 영상표시장치를 포함하되, 제1 영상표시장치는, 제1 사용자가 촬영된 제1 영상을 제2 영상표시장치로 전송하고, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 제2 영상표시장치로부터 수신하며, 제2 영상표시장치는, 제1 사용자의 위치 변화에 따라, 제2 영상의 가상 배경 영상을 변경하여 전송할 수 있다.

Description

화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체{Videotelephony System, Image Display Apparatus, Driving Method of Image Display Apparatus, Method for Generation Realistic Image and Computer Readable Recording Medium}
본 발명은 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 위치가 고정된 DTV를 이용하여 화상 통화시에, 사생활을 보호하고 동시에 사용자의 위치 이동시 실감 있는 화상 통화를 수행할 수 있는 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체에 관련된다.
종래 화상 통화시 사생활 보호의 목적으로 사용자의 모습을 추출하고, 가상의 배경과 합성하여 상대방에게 보여주는 것과 관련하여 여러 기술이 공개된 바 있다. 사용자 이미지를 추출하는 경우 기존의 2D 카메라를 통해 단일 색상 배경의 컬러 정보로 분리하거나 사전에 배경을 학습하여 이전 프레임과 차 영상을 통해 분리하는 방법이 사용된 바 있다.
또한, 최근에는 3D 뎁스 카메라의 도입으로 정밀한 뎁스 정보 추출을 통해 손쉬운 배경 분리가 가능해짐에 따라 가상 현실(Virtual Reality), 게임, 화상통화 등에서 배경과 분리한 사용자 영상을 가상의 영상에 합성하여 보여주고 있다.
화상 통화의 경우, 무엇보다 사용자가 원하지 않는 집 내부의 모습이나 현재 통화하는 장소가 상대방에게 노출된다는 점에서 사생활 침해 및 보안의 이유로 통화자의 배경을 가상의 영상으로 대체하려는 필요성이 증가하고 있다. 또한, 디스플레이 크기와 해상도가 증가함에 따라 화상통화를 실제 마주보고 이야기를 하는 듯한 느낌이 나도록 현실감을 높이려는 필요성도 제기되고 있다.
종래 2D 카메라를 통해 사용자 이미지를 추출하는 경우, 단일 색상의 배경을 사용하여 컬러 정보를 이용하거나, 배경 모델링을 위해 사용자가 없는 상태의 배경을 미리 학습하는 단계가 필요하였다. 단일 색상의 배경을 사용할 경우 조명 조건에 의해 컬러 값이 변하게 되면 배경을 포함한 사용자의 모습이 추출되는 문제가 있고, 배경을 학습할 경우에는 카메라나 사용자의 위치에 따라 변경되는 배경을 매번 학습해야 하는 단점이 있다.
반면 3D 카메라 뎁스 정보를 이용할 경우 쉽게 사용자와 배경을 분리할 수는 있지만 사용자의 테두리 부분이 깔끔하게 분리되지 않는 문제점이 있다.
또한, 분리된 상대방의 모습과 가상의 배경을 합성하여 보여주는 경우 사용자의 움직임에도 상대방의 배경이 고정되어 있어 실제 마주보고 통화하고 있다는 느낌을 주기에 부족하다.
본 발명의 실시예는 가령 위치가 고정된 DTV를 이용하여 화상 통화시에, 사생활을 보호하고 동시에 사용자의 위치 이동시 실감 있는 화상 통화를 수행할 수 있는 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 화상 통화 시스템은 영상표시장치를 이용한 화상 통화 시스템에 있어서, 제1 영상표시장치, 및 상기 제1 영상표시장치와 화상 통화하는 제2 영상표시장치를 포함하되, 상기 제1 영상표시장치는, 제1 사용자가 촬영된 제1 영상을 상기 제2 영상표시장치로 전송하고, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 제2 영상표시장치로부터 수신하며, 상기 제2 영상표시장치는, 상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하여 전송한다.
또한, 본 발명의 실시예에 따른 영상표시장치는, 외부 장치와 화상 통화를 수행하는 영상표시장치에 있어서, 상기 외부 장치 측의 제1 사용자가 촬영된 제1 영상을 수신하고, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 외부 장치로 전송하는 통신 인터페이스부, 상기 수신한 제1 영상을 표시하는 디스플레이부, 및 상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하는 제어부를 포함한다.
상기 영상표시장치는, 복수의 가상 배경 영상을 저장하는 저장부를 더 포함하며, 상기 제어부는, 화상 통화를 위한 사용자 명령이 있으면, 상기 제2 사용자가 촬영된 촬영 영상의 배경을 상기 저장한 복수의 가상 배경 영상 중 하나의 가상 배경 영상으로 대체하여 생성한 제2 영상을 상기 외부 장치로 전송할 수 있다.
상기 제어부는, 상기 가상 배경 영상이 변경된 제2 영상을 상기 외부 장치에 표시하기 위하여, 상기 수신한 제1 영상을 분석하여 상기 제1 사용자의 위치 변화 여부를 판단하고, 위치 변화가 있으면 상기 제2 영상의 가상 배경 영상을 변경하여 상기 외부 장치로 전송할 수 있다.
상기 저장부는, 상기 복수의 가상 배경 영상을 뎁스별로 분류하여 저장하고, 상기 제어부는, 상기 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 뎁스의 가상 배경 영상을 선택해 상기 제2 영상으로 생성하여 상기 외부 장치로 전송할 수 있다.
상기 영상표시장치는 상기 제2 사용자를 촬영하는 촬상부를 더 포함하며, 상기 제어부는, 상기 촬영 영상에서 상기 제2 사용자의 이미지를 분리해 내고, 상기 분리해 낸 상기 제2 사용자의 이미지를 상기 복수의 가상 배경 영상 중 하나의 가상 배경 영상과 합성할 수 있다.
상기 영상표시장치는, 화상 통화를 위한 사용자 명령을 수신하는 사용자 인터페이스부를 더 포함하며, 상기 제어부는, 상기 사용자 명령을 수신하면, 상기 가상 배경 영상으로 대체된 상기 제2 영상을 생성하여 상기 외부 장치로 전송할 수 있다.
나아가, 본 발명의 실시예에 따른 영상표시장치의 구동 방법은, 외부 장치와 화상 통화를 수행하는 영상표시장치의 구동 방법에 있어서, 상기 외부 장치 측의 제1 사용자가 촬영된 제1 영상을 수신하는 단계, 상기 수신한 제1 영상을 화면에 표시하는 단계, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 외부 장치로 전송하는 단계, 및 상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하여 상기 외부 장치로 전송하는 단계를 포함한다.
상기 구동 방법은, 복수의 가상 배경 영상을 저장하는 단계, 상기 제2 사용자가 촬영된 촬영 영상의 배경을 상기 저장한 복수의 가상 배경 영상 중 하나의 가상 배경 영상으로 대체하여 제2 영상을 생성하는 단계, 및 상기 생성한 제2 영상을 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
상기 구동 방법은, 가상 배경 영상이 변경된 상기 제2 영상을 상기 외부 장치에 표시하기 위하여, 상기 수신한 제1 영상을 분석하여 상기 제1 사용자의 위치 변화 여부를 판단하는 단계를 더 포함하며, 상기 제2 영상을 생성하는 단계는, 위치 변화가 있으면 상기 제2 영상의 가상 배경 영상을 변경할 수 있다.
상기 저장하는 단계는, 상기 복수의 가상 배경 영상을 뎁스별로 분류하여 저장하는 단계를 포함하며, 상기 제2 영상을 생성하는 단계는, 상기 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 뎁스의 가상 배경 영상을 선택해 상기 제2 영상을 생성할 수 있다.
상기 구동 방법은, 상기 제2 사용자를 촬영하는 단계, 및 상기 촬영 영상에서 상기 제2 사용자의 이미지를 분리해 내는 단계를 더 포함하며, 상기 제2 영상을 생성하는 단계는, 상기 분리해 낸 상기 제2 사용자의 이미지를 상기 복수의 가상 배경 영상 중 하나의 가상 배경 영상과 합성하여 상기 제2 영상을 생성할 수 있다.
상기 구동 방법은, 화상 통화를 위한 사용자 명령을 수신하는 단계를 더 포함하며, 상기 제2 영상을 생성하는 단계는, 상기 사용자 명령이 수신되면, 상기 가상 배경 영상으로 대체된 상기 제2 영상을 생성할 수 있다.
한편, 본 발명의 실시예에 따른 실감 영상 생성 방법은, 영상표시장치의 실감 영상 생성 방법에 있어서, 외부 장치로 전송하기 위해 상기 영상표시장치 측의 제1 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 제1 영상을 생성하는 단계, 상기 외부 장치 측의 제2 사용자의 위치 변화가 있으면, 상기 위치 변화에 따라 상기 가상 배경 영상을 변경하여 상기 제1 영상을 재생성하는 단계, 및 상기 재생성한 제1 영상을 상기 외부 장치로 제공하는 단계를 포함한다.
상기 실감 영상 생성 방법은, 상기 제2 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 생성한 제2 영상을 수신하는 단계, 상기 제1 사용자의 위치 변화가 있으면, 상기 제1 사용자의 위치 변화에 따라 상기 가상 배경 영상이 변경된 상기 제2 영상을 수신하는 단계, 및 상기 수신한 제2 영상을 디스플레이부로 제공하는 단계를 포함한다.
상기 실감 영상 생성 방법은, 상기 제2 사용자를 촬영하는 단계, 상기 촬영 영상에서 상기 제2 사용자의 이미지를 분리해 내는 단계, 및 상기 분리해 낸 상기 제1 사용자의 이미지를 가상 배경 영상과 합성하는 단계를 더 포함할 수 있다.
상기 가상 배경 영상과 합성하는 단계는, 상기 제2 사용자의 위치 변화에 따라 수신된 상기 제2 영상을 분석하여 상기 제2 사용자의 위치 변화 여부를 판단하는 단계, 및 위치 변화가 있으면, 기저장된 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 가상 배경 영상을 선택해 상기 제1 영상을 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 영상표시장치의 실감 영상 생성 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 실감 영상 생성 방법은, 외부 장치로 전송하기 위해 상기 영상표시장치의 제1 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 제1 영상을 생성하는 단계, 상기 외부 장치 측의 제2 사용자의 위치 변화가 있으면, 상기 위치 변화에 따라 상기 가상 배경 영상을 변경하여 상기 제1 영상을 재생성하는 단계, 및 상기 재생성한 제1 영상을 상기 외부 장치로 제공하는 단계를 실행한다.
도 1은 본 발명의 제1 실시예에 따른 화상 통화 시스템을 나타내는 도면,
도 2는 본 발명의 제2 실시예에 따른 화상 통화 시스템을 나타내는 도면,
도 3은 도 1의 영상표시장치의 세부 구조를 나타내는 블록다이어그램,
도 4는 도 3의 실감 영상 처리부의 구조를 예시하여 나타낸 도면,
도 5는 도 1의 영상표시장치의 다른 세부 구조를 예시하여 나타낸 블록다이어그램,
도 6은 도 1의 영상표시장치의 또 다른 세부 구조를 예시하여 나타낸 블록다이어그램,
도 7은 도 6의 실감 영상 생성부의 구조를 예시하여 나타낸 도면,
도 8은 도 2의 실감 영상 제공장치의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 9는 본 발명의 실시예에 따른 사용자 위치 기반 패럴렉스 효과가 적용된 예를 설명하기 위한 도면,
도 10은 뎁스 정보를 포함하는 가상 배경을 설명하기 위한 도면,
도 11은 뎁스 정보에 따라 패럴렉스 효과가 적용된 예를 설명하기 위한 도면,
도 12 및 도 13은 본 발명의 실시예에 따른 화상통화 과정을 설명하기 위한 흐름도,
도 14는 본 발명의 실시예에 따른 영상표시장치의 구동 과정을 나타내는 흐름도,
도 15는 본 발명의 다른 실시예에 따른 영상표시장치의 구동 과정을 나타내는 흐름도, 그리고
도 16은 본 발명의 실시예에 따른 영상표시장치의 실감 영상 생성 과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 제1 실시예에 따른 화상 통화 시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 화상 통화 시스템(90)은 영상표시장치 1(100), 통신망(110) 및 영상표시장치 2(120)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 화상 통화 시스템(90)이 구성될 수 있는 것 등을 의미하는 것으로서, 예를 들어, 2개의 영상표시장치(100, 120)는 P2P와 같은 다이렉트(direct) 통신을 수행할 수도 있다. 따라서, 설명의 편의를 위하여 전부 포함하는 것으로 설명한다.
먼저, 영상표시장치 1(100)은 DTV나 컴퓨터와 같이 특정 장소에 고정되어 위치하는 장치로서 화상 통화가 가능한 장치이다. 물론 휴대폰이나 랩탑 컴퓨터, 태블릿 PC 등과 같이 위치 이동이 가능한 영상표시장치라 하더라도, 특정 장소에 고정하여 사용된다면 본 발명의 실시예에 따른 영상표시장치 1(100)의 범주에 포함될 수 있다. 다시 말해, 가급적 장소가 고정되어 있어야 영상표시장치 1(100)이 사용자의 위치 변화가 있는지를 판단하고, 위치 변화가 있을 때 가상 배경 영상을 생성하기에 수월할 수 있다.
좀더 구체적으로, 영상표시장치 1(100)은 3D 카메라 등을 포함할 수 있다. 이러한 3D 카메라를 통해 영상표시장치 1(100)의 주위에서 영상을 시청하는 사용자(이하, 사용자 1이라 함)를 촬영한다. 이를 통해 사용자 1과 사용자 1의 주변 환경, 즉 실제 배경이 포함된 촬영 영상이 생성된다. 이때, 영상표시장치 1(100)은 3D 카메라에 의해 생성되는 뎁스 정보를 취득할 수 있다. 여기서, 뎁스 정보는 촬영 영상에서 각 객체, 또는 화소들의 깊이 즉 원근감을 나타내는 정보라 볼 수 있다. 이러한 뎁스 정보에 근거하여 사용자는 촬영 영상에서 사용자 1의 이미지와 배경을 분리한다. 그리고, 분리된 사용자 1의 이미지를 기저장된 가상 배경 영상과 합성하여 제1 영상을 생성하고, 생성된 제1 영상을 통신망(110)을 경유하여 영상표시장치 2(120)로 전송한다.
이와 같은 제1 영상의 생성을 위하여, 영상표시장치 1(100)은 사용자 1의 좌우 위치 변화나 앞뒤 위치 변화에 적용할 수 있는 다양한 뎁스를 갖는 가상 배경 영상을 기저장한다. 즉 3D 가상 배경 영상일 수 있다. 그리고, 화상 통화를 시작하는 초기에 제1 영상을 생성해야 하는 경우에는 기설정된 방식 즉 디폴트로 설정된 가상 배경 영상을 선택하여 제1 영상을 합성한다. 여기서, 디폴트로 선택되는 가상 배경 영상은 복수의 가상 배경 영상 중에 정중앙에 위치하는 가상 배경 영상이 될 수 있다. 이는 어디까지나 시스템 설계자에 의해 다양하게 설정될 수 있을 것이다.
한편, 영상표시장치 1(100)은 화상 통화의 특성상 영상표시장치 2(120)에서 생성된 제2 영상을 수신하여 화면에 표시하게 된다. 물론 여기에서의 제2 영상 또한 위의 제1 영상과 동일한 방식으로 생성될 것이다. 무엇보다 본 발명의 실시예에 따른 영상표시장치 1(100)은 2가지 상황에 근거하여 변화된 제2 영상을 시청할 수 있다. 여기서, 변화된 제2 영상이란 사용자 2의 위치가 변경된 영상을 의미할 수 있지만, 더 정확하게는 제2 영상의 가상 배경 영상이 변경된 경우를 의미할 수 있다. 또한, 사용자 2는 영상표시장치 2(120)의 주위에서 화상 통화에 참여하는 사용자일 수 있다. 영상표시장치 1(100)은 우선 자신, 즉 사용자 1은 고정된 위치에 있지만, 사용자 2가 위치를 변경한 경우에 변화된 제2 영상을 시청할 수 있다. 다시 말해, 영상표시장치 2(120)는 위치가 변경된 사용자 2의 이미지와 이에 상응하는 가상 배경 영상을 합성하여 영상표시장치 1(100)로 전송해 주기 때문이다. 또한, 영상표시장치 1(100)은 사용자 1이 위치를 변경하고, 사용자 2가 위치를 고정한 경우에도 변화된 제2 영상을 시청할 수 있다. 이를 통해 사용자 1은 자신의 위치 변화에 따라 실감 있는 화상 통화를 수행하고 있다고 느끼게 될 것이다.
후자의 경우, 영상표시장치 1(100)은 영상표시장치 2(120)의 사용자 2가 변경했을 때와 마찬가지로 위치가 변경된 사용자 1의 이미지와 이에 상응하는 가상 배경 영상을 합성하여 영상표시장치 2(120)에 전송해 주게 된다. 이때, 영상표시장치 2(120)는 이전에 수신된 제1 영상과 변경된 제1 영상을 분석하고, 사용자 1의 위치 변화가 있는지를 판단하게 되는데, 만약 위치 변화가 있으면 이에 부합하는 즉 뎁스가 반영된 가상 배경 영상을 사용자 2의 이미지에 합성하여 영상표시장치 1(100)로 전송해 주게 된다. 영상표시장치 1(100)은 수신된 제2 영상을 단순히 영상 처리하여 화면에 표시하지만, 영상표시장치 2(120)에서 가상 배경 영상이 변경되어 전송되었기 때문에, 자신의 위치 변화에 따라 가상 배경 영상이 바뀌었다고 느끼게 되는 것이다.
물론 사용자 1의 위치가 변경되었는지의 여부는 영상표시장치 1(100)에서 가령 자신이 생성한 제1 영상을 분석하여 사용자 1의 위치 변경 여부를 알려줄 수도 있을 것이다. 이의 경우, 영상표시장치 2(120)는 위치 변경 여부 및 어느 정도 변경되었는지에 대한 정보 즉 뎁스 정보를 수신할 수 있을 것이다. 그러면 영상표시장치 2(120)는 수신된 뎁스 정보를 근거로 가상 배경 영상을 선택하고, 선택한 가상 배경 영상을 촬영 영상에서 사용자 2의 이미지와 결합하여 제2 영상을 생성할 수도 있을 것이다. 따라서, 본 발명의 실시예에서는 어느 쪽에서 영상을 분석하느냐에 특별히 한정하지는 않을 것이다.
통신망(110)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 따라서 통신망(110)이 유선 통신망인 경우 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
또한 통신망(110)은 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국(AP)을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 모바일 장치(100)가 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 AP는 모바일 장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 본 발명의 실시예에서 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다.
영상표시장치 2(120)는 사용자 2를 촬영한 촬영 영상에서 배경을 가상 배경 영상으로 변경하여 생성한 제2 영상을 영상표시장치 1(100)로 전송한다. 또한, 영상표시장치 2(120)는 사용자 2의 위치 변화가 있는 경우, 위치 변화에 따른 사용자 2의 이미지와 위치 변화에 부합한 가상 배경 영상을 합성하여 영상표시장치 1(100)로 전송한다. 나아가, 영상표시장치 2(120)는 사용자 1의 위치 변화가 있는지를 판단하기 위하여, 수신된 제1 영상을 분석하여 사용자 1의 위치 변화가 있는지를 판단한다. 물론 위에서 언급한 바와 같이 위치 변화에 대한 뎁스 정보만을 수신할 수도 있다. 그리고, 판단 결과 위치 변화가 있으면 위치 변화에 상응하는 가상 배경 영상을 합성하여 영상표시장치 1(100)로 전송한다. 이와 같이 위치 변화에 따른 가상 배경 영상을 합성하기 위하여 영상표시장치 2(120) 또한 다양한 뎁스로 분류되는 가령 3D 가상 배경 영상을 기저장하고, 이를 이용할 수 있다. 예를 들어, 제1 영상을 분석해 본 결과, 사용자 1의 위치가 가까워지거나 멀어졌다고 하자. 이는 사용자 1의 이미지를 비교해 보면 알 수 있다. 가령 멀어졌다면 그 위치 변화에 따른 거리(d)를 계산하고, 새로운 가상 배경 영상을 선택할 때, 계산된 거리를 이용할 수 있다. 다시 말해, 데이터베이스(DB)에 저장된 가상 배경 영상에서 해당 거리(d)가 반영된 가상 배경 영상을 검색하여 사용하는 것이다.
그 이외에, 영상표시장치 2(120)는 영상표시장치 1(100)과 크게 다르지 않으므로 그 내용들로 대신하며, 더 이상의 설명은 생략하도록 한다.
상기한 바와 같이 사용자 모습을 가상의 배경과 합성하고, 사용자의 위치에 상응하여 상대방 영상의 배경에 패럴렉스 효과를 줌으로써 사용자들은 실감 있는 화상통화를 즐길 수 있을 것이다.
또한, 노출을 꺼리는 집안 모습이나 현재 내 위치에 대한 정보를 감추는 사생활 보호가 가능할 수 있으며, 실감 화상 통화를 위해 화상 통화시 상대방에게 전송하는 영상의 배경을 뎁스 정보가 있는 가상의 배경 영상으로 대체하여 사용자 위치에 따라 보여지는 배경의 시점이 변경되는 패럴렉스 효과를 적용함으로써 실제 마주보고 있는 듯한 현실감을 증가시킬 수 있을 것이다.
도 2는 본 발명의 제2 실시예에 따른 화상 통화 시스템을 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 화상 통화 시스템(190)은 클라우드 개념이 적용된 시스템으로서, 영상표시장치 1(200), 통신망(210), 영상표시장치(220) 및 실감 영상 제공 장치(230)의 일부 또는 전부를 포함하며, 여기서 일부 또는 전부를 포함한다는 것은 앞서의 의미와 동일하다.
도 2에 도시된 화상 통화 시스템(190)은 도 1에 도시된 화상 통화 시스템(90)과 비교해 볼 때, 도 1의 영상표시장치 1(100) 및 영상표시장치 2(120)에서 생성하는 실감 영상, 즉 제1 영상 및 제2 영상을, 도 2에서는 실감 영상 제공장치(230)가 생성한다는 점에서 차이가 있다.
좀더 살펴보면, 영상표시장치 1(200)과 영상표시장치 2(220)는 가령 3D 카메라에 의해 촬영되는 촬영 영상을 실감 영상 제공 장치(230)로 제공해 준다. 그러면, 실감 영상 제공 장치(230)는 수신된 각 촬영 영상에서 사용자 1 또는 사용자 2를 분리해 내고, 화상 통화 초기에는 디폴트로 설정된 가상 배경 영상을 결정하여 제1 영상 및 제2 영상을 생성한다. 물론 화상 통화 초기에 가상 배경 영상을 사용자가 선택하는 것도 얼마든지 가능하므로, 위의 디폴트 설정에 특별히 한정하지는 않을 것이다. 그리고, 생성된 제1 영상은 영상표시장치 2(220)로, 생성된 제2 영상은 영상표시장치 2(220)로 통신망(210)을 경유하여 각각 전송해 준다.
이의 과정에서, 실감 영상 제공 장치(230)는 사용자 1 또는 사용자 2의 위치 변화가 있는지를 판단하여, 다시 말해, 위에서 이미 언급한 바 있는 2가지 상황에 따라 적절한 가상 배경 영상을 적용하여 각 영상표시장치(200, 220)로 전송한다.
이에 따라 사용자 1 또는 사용자 2는 실감 있는 화상 통화를 즐길 수 있게 된다.
이와 같은 점을 제외하면, 도 2의 영상표시장치 1(200), 통신망(210), 영상표시장치(220)는 도 1의 영상표시장치 1(100), 통신망(110) 및 영상표시장치 2(120)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
한편, 위에서는 설명의 편의를 위하여 실감 영상 제공 장치(230)가 실감 영상을 생성하는 것에만 관여하는 것으로 설명하였지만, 더 나아가서 실감 영상 제공 장치(230)는 클라우드 서버와 같이 동작하는 것도 얼마든지 가능하다. 다시 말해, 영상표시장치 1(200)과 영상표시장치 2(220)는 최소한의 하드웨어 자원만을 구비하고 있고, 모든 영상 처리는 실감 영상 제공 장치(230)에서 수행하는 것이다. 따라서, 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다.
도 3은 도 1의 영상표시장치의 세부 구조를 나타내는 블록다이어그램이다.
도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 영상표시장치 1 및 영상표시장치 2(100, 120)(이하, 영상표시장치 1로 설명함)는 통신 인터페이스부(300), 실감 영상 처리부(310), 촬상부(320), 저장부(330) 및 디스플레이부(340)의 일부 또는 전부를 포함하며, 음향 출력부 등을 더 포함할 수 있다.
여기서, 일부 또는 전부를 포함한다는 것은 촬상부(320)와 같은 일부 구성요소가 생략되어 영상표시장치(100)가 구성되거나, 저장부(330)와 같은 일부 구성요소가 실감 영상 처리부(310)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(300)는 도 1의 통신망(110)과 통신하기 위한 유무선 통신모듈을 포함할 수 있다. 발명의 요지를 흐릴 수 있다는 점에서, 방송 프로그램을 수신하여 처리하는 다양한 모듈에 대한 설명은 생략하도록 하며, 본 발명의 실시예에 따른 화상 통화와 관련해서만 설명한다. 통신 인터페이스부(300)는 실감 영상 처리부(310)에서 생성된 제1 영상을 영상표시장치 2(120)로 전송할 수 있다. 또한 사용자 1의 위치가 변화되면 이의 변화에 따라 재생성된 제1 영상을 영상표시장치 2(120)로 전송할 수 있다.
또한, 통신 인터페이스부(300)는 영상표시장치 2(120)로부터 사용자 2가 촬영된 촬영 영상에서 배경이 가상 배경 영상으로 대체되어 생성된 제2 영상을 수신하여 실감 영상 처리부(310)로 전달할 수 있다. 나아가, 통신 인터페이스부(300)는 사용자 2의 위치 변화가 있을 때, 이에 근거하여 변화된 제2 영상을 수신할 수 있을 것이다.
실감 영상 처리부(310)는 하드웨어로만 또는 소프트웨어로만 구성될 수 있고, 또 이들이 결합된 형태를 가질 수 있다. 다시 말해, 소프트웨어의 일부 모듈(module)은 하드웨어로도 구성되는 것이 얼마든지 가능하므로, 실감 영상 처리부(310)가 하드웨어로 구성되는 것이냐 소프트웨어로 구성되는 것이냐에 특별히 한정하지는 않을 것이다. 예컨대, 소프트웨어의 레지스트리(registry)는 하드웨어의 메로리(memory)와 저장하는 동일 기능을 수행한다.
실감 영상 처리부(310)는 제어 기능과, 실감 영상을 생성 및 처리하는 기능을 수행한다. 다시 말해, 실감 영상 처리부(310)는 영상표시장치 1(100)을 구성하는 통신 인터페이스부(300), 촬상부(320), 저장부(330) 및 디스플레이부(340)의 전반적인 동작을 제어한다. 예를 들어, 통신 인터페이스부(300)에서 제2 영상이 제공되면, 이를 저장부(330)에 저장한 후, 디스플레이부(340)에 표시할 수 있다. 또 촬상부(320)에서 촬영 영상 및 뎁스 정보가 제공되면, 이를 저장부(330)에 임시 저장한 후, 뎁스 정보에 근거해 촬영 영상에서 사용자 1의 이미지와 실제 배경 이미지를 분리할 수 있다. 그리고, 저장부(330)에 기저장되어 있는 가상 배경 영상을 선택하여 분리된 사용자 1의 이미지와 결합한 후, 영상표시장치 2(120)에 전송되도록 통신 인터페이스부(300)로 제공할 수 있다.
가령 실감 영상 처리부(310)는 촬상부(320)로부터 사용자가 촬영된 촬영 영상과 뎁스 정보를 취득한다. 이어 실감 영상 처리부(310)는 뎁스 정보와 촬영 영상(혹은 컬러 영상)을 분석하여 사용자 세그먼트(User Segment) 및 매팅(Matting) 기술을 적용하여 사용자 모습 즉 사용자 1의 이미지와 배경을 분리할 수 있다.
이외에도 실감 영상 처리부(310)는 저장부(330)에 저장되어 있는 제2 영상을 분석하여 사용자 2의 위치 변화가 있는지를 판단할 수 있다. 물론 여기서 저장부(330)에 저장된 제2 영상은 2D 영상에 해당될 수 있다. 판단 결과 위치 변화가 있다면 이에 상응하는 뎁스가 반영되어 있는 가상 배경 영상을 선택해 사용자 1의 이미지와 결합하여 제1 영상을 재생성한 후, 영상표시장치 2(120)로 전송하도록 통신 인터페이스부(300)에 전달할 수 있다.
실감 영상 처리부(310)는 사용자 2의 위치 변화를 판단하기 위하여 저장부(330)에 저장한 이전의 2D 영상과 현재 수신된 2D 영상을 비교 분석할 수 있는데, 가령 얼굴 검출(Face Detection), 얼굴 추적(Face Tracking) 또는 눈(혹은 눈동자) 검출(Eye Detection), 눈 추적(Eye Tracking) 기술 등을 이용하여 상대방의 위치 정보를 추적하고 이를 통해 위치 변화를 판단할 수 있을 것이다.
좀더 구체적으로, 실감 영상 처리부(310)는 수신된 제2 영상을 이용하여 상대방 즉 사용자 2의 얼굴, 눈의 위치 또는 몸체(body skeleton) 정보를 추출하여 사용자 2의 위치를 실시간으로 추적할 수 있다. 그리고, 사용자 2의 위치 변화에 상응하는 송신할 가상 배경 영상을 추출한다. 예를 들어, 사용자 2의 위치 변화가 좌에서 우일 경우, 배경의 변화는 우에서 좌로 이루어진다. 사용자 2의 위치 변화가 카메라로부터 가까워지거나 멀어질 경우에 배경은 줌인에서 줌아웃이 된다. 이때 사용자의 위치는 그대로이기 때문에 줌인 및 줌아웃은 배경에만 적용된다. 이에 따라, 실감 영상 처리부(310)는 분리된 사용자 2의 이미지를 위에서 얻은 가상 배경 영상과 합성하여 제1 영상을 생성해 영상표시장치 2(120)로 전송한다.
상기의 동작, 즉 실감 영상을 생성하기 위한 동작을 수행하기 위하여 실감 영상 처리부(310)는 내부에 저장된 프로그램을 실행시킬 수 있지만, 본 발명의 실시예에서는 프로그램을 실행하는 것에 특별히 한정하지는 않을 것이다.
촬상부(320)는 3D 카메라를 포함할 수 있다. 다시 말해, 본 발명의 실시예에서는 촬영 영상에서 사용자의 이미지와 배경 이미지를 좀더 수월하게 분리하기 위하여 뎁스 정보를 생성해 주는 3D 카메라를 사용한다고 볼 수 있다. 다만, 기존 2D 카메라를 이용해도 사용자 검출 및 분리가 가능하기 때문에 촬상부(320)에 2D 카메라도 포함될 수 있다. 뎁스 정보를 생성 또는 취득하기 위하여, 촬상부(320)는 3D 카메라의 경우, 스테레오스코픽(Stereoscopic), ToF(Time of Fight), 구조형 광(Structured Light) 등 뎁스 정보를 획득할 수 있는 모든 방법을 사용할 수 있다. 따라서, 촬상부(320)는 이를 실행하기 위한 모듈을 포함할 수 있을 것이다 .
저장부(330)는 사전에 제작된 3D 뎁스 정보를 포함하는 가상 배경 영상(또는 이미지) 또는 동영상 등을 저장할 수 있다. 사용자는 화상 통화 초기에, 사용할 가상 배경 영상을 선택할 수 있는데, 이에 따라 저장부(330)는 가상 배경 영상을 출력해 줄 수 있다. 물론 사용자가 배경을 선택하지 않는다 하더라도, 실감 영상 처리부(310)의 제어 하에 디폴트로 설정된 3D 가상 배경 이미지가 저장부(330)에서 제공될 수 있을 것이다.
이외에도 저장부(330)는 실감 영상 처리부(310)에서 처리되는 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부(330)는 사용자 2가 촬영된 제2 영상을 저장할 수 있다. 그리고, 실감 영상 처리부(310)의 요청이 있을 때, 이전에 저장된 제2 영상을 출력할 수 있다. 그 결과, 실감 영상 처리부(310)는 현재 수신된 제2 영상과 이전에 수신되어 저장된 제2 영상을 비교 분석할 수 있다. 이와 같은 방식으로 저장부(330)는 실감 영상 처리부(310)의 제어 하에 저장된 제2 영상을 갱신할 수 있을 것이다.
디스플레이부(340)는 실감 영상 처리부(310)의 제어 하에, 수신된 제2 영상을 표시한다. 제2 영상은 사용자 2의 모습과 가상 배경 영상이 합성된 형태의 이미지이다. 디스플레이부(340)는 사용자 2의 위치 변화가 있을 때에는 물론 사용자 2의 모습이 변경된 제2 영상을 표시하게 된다. 반면, 사용자 1의 위치 변화가 있는 경우에도 디스플레이부(340)는 뎁스가 반영된 가상 배경 영상을 변경하여 제2 영상을 표시할 수 있다.
도 4는 도 1의 영상표시장치의 다른 세부 구조를 예시한 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 영상표시장치 1(100') 및 영상표시장치 2(120')(이하, 영상표시장치 1(100')로 설명함)는 통신 인터페이스부(400), 실감 영상 처리부(410) 및 디스플레이부(420)의 일부 또는 전부를 포함하며, 여기서, 일부 또는 전부를 포함한다는 것은 앞서의 의미와 동일하다. 또한, 실감 영상 처리부(410)는 일 예로서, 도 5의 제어부(530)와 실감 영상 생성부(550)와 같은 구성을 포함할 수 있다.
도 4의 영상표시장치 1(100')을 도 1에 도시된 영상표시장치 1(100)과 비교해 보면, 도 3의 촬상부(320) 및 저장부(330)가 생략되어 구성되었다는 점에서 차이가 있다. 예를 들어, 도 3의 촬상부(320)는 영상표시장치 1(100')에 포함되지 않을 수 있다. 즉 독립된 형태(stand alone)의 개별 장치로 형성되는 경우에는 단순히 통신 인터페이스부(300)에 연결하여 사용될 수 있기 때문이다. 또한 저장부(330)는 실감 영상 처리부(310)의 내부에 메모리의 형태로 구성될 수도 있다.
이와 같은 점을 제외하면, 본 발명의 다른 실시예에 따른 영상표시장치 1(100')를 구성하는 통신 인터페이스부(400), 실감 영상 처리부(410) 및 디스플레이부(420)는 도 3의 통신 인터페이스부(300), 실감 영상 처리부(310) 및 디스플레이부(340)와 크게 다르지 않으므로 자세한 내용은 그 내용들로 대신한다.
도 5는 도 1의 영상표시장치의 또 다른 세부 구조를 예시하여 나타낸 블록다이어그램이고, 도 6은 도 5의 제어부의 구조를 예시하여 나타낸 도면이며, 도 7은 도 5의 실감 영상 생성부의 구조를 예시하여 나타낸 도면이다.
도 5에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 영상표시장치 1(100'') 또는 영상표시장치 2(120'')(이하, 영상표시장치 1(100'')로 설명함)는 통신 인터페이스부(500), 촬상부(510), 음향 출력부(520), 제어부(530), 디스플레이부(540), 실감 영상 생성부(550) 및 저장부(560)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 촬상부(510) 및 음향 출력부(520)와 같은 구성요소가 생략되어 영상표시장치 1(100'')이 구성되거나, 실감 영상 생성부(550)와 같은 일부 구성요소가 제어부(530)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 5에 도시된 영상표시장치 1(100'')을 도 3의 영상표시장치 1(100)과 비교해 보면, 도 5의 영상표시장치 1(100'')은 제어 기능을 수행하는 제어부(530)와 실감 영상을 생성하는 실감 영상 생성부(550)로 분리된다는 데에 차이가 있다.
이를 통해 제어부(530)는 실감 영상 생성부(550)에서 생성되는 영상을 제공받아 통신 인터페이스부(500)로 제공하는 역할을 수행한다고 볼 수 있다.
그러나, 제어부(530)는 도 6에서와 같이 일 예로서 프로세서(600)와 메모리(610)를 포함할 수도 있다. 이의 경우에는 영상표시장치 1(100'')의 초기 구동시, 가령 부팅시에 실감 영상 생성부(550)에 저장된 프로그램을 불러내어 메모리(610)에 로딩할 수 있다. 그리고, 프로세서(600)가 메모리(610)에 로딩된 프로그램을 실행시켜 실감 영상을 생성하게 된다. 이러한 동작은 위에서와 같이 실감 영상 생성부(550)에서 생성한 영상을 제공받는 것에 비하여 데이터 처리 속도가 빠르기 때문에 좀더 유용할 수 있을 것이다.
이러한 점에서, 본 발명의 실시예에 따른 실감 영상의 생성 동작은 도 3 및 도 4에서 실감 영상 처리부(310, 410)가 수행하는 것을 넘어, 도 5의 제어부(530) 또는 도 6의 프로세서(600)가 하는 것으로 이해될 수 있을 것이다.
이외에 음향 출력부(520)는 화상 통화의 특성상 음성 출력이 이루어져야 하므로, 영상표시장치 1(100'')에 포함될 수 있다. 물론 음향 출력부(520)는 스피커를 포함하지만, 이러한 스피커는 외부에서 통신 인터페이스부(500)에 연결될 수 있으므로, 얼마든지 생략 가능하다.
또한, 실감 영상 생성부(550)는 롬(ROM)에 저장된 프로그램의 형태를 가질 수 있다. 저장된 프로그램은 제어부(530)의 제어 하에 실행될 수 있지만, 이러한 프로그램은 앞서 설명한 대로, 부팅시에 도 6에서와 같이 제어부(530) 내의 메모리(610)에 로딩될 수 있다.
이와 같은 프로그램은 도 7에서와 같이 기능별로 복수의 모듈로 분류될 수 있다. 물론 이러한 모듈은 서로 결합되어 하나의 프로그램을 구성할 수도 있다. 그러나, 특정 기능을 수행하는 개별 단위의 모듈은 하드웨어로 구성되는 것도 얼마든지 가능하므로, 소프트웨어로 구성되는 것이나 아니면 하드웨어로 구성되는 것이냐에 특별히 한정하지는 않을 것이다. 도 7에서 "모듈"은 소프트웨어를 "부"는 하드웨어의 구성을 나타내려는 것이다.
좀더 살펴보면, 본 발명의 실시예에 따른 실감 영상 생성부(550)는 뎁스 정보 취득부(모듈)(700), 영상 분석부(모듈)(710) 및 합성 영상 생성부(모듈)(720)의 일부 또는 전부를 포함할 수 있다.
뎁스 정보 취득부(710)는 3D 뎁스 카메라의 경우, 스테레오스코픽, ToF, 구조형 광 등의 방법을 수행하여 뎁스 정보를 획득하는 것을 넘어, 뎁스 정보를 이용하여 사용자의 모습과 배경을 분리하는 데에 관여할 수 있다. 또한, 사용자 모습과 배경 분리를 위해 기존 2D 카메라가 사용될 수 있다.
또한, 영상 분석부(710)는 2D 형태로 저장부(560)에 저장해 놓은 이전의 제2 영상과 현재 수신된 제2 영상을 분석한다. 이를 위하여, 앞서 언급한 바 있는 상대방의 얼굴, 눈의 위치 등을 검출 또는 추적하는 등의 동작을 수행할 수 있다.
합성 영상 생성부(720)는 사용자들의 위치 변화에 따라 선택되는 뎁스가 반영된 가상 배경 영상을 사용자의 모습과 합성하는 동작을 수행한다. 이를 통해 가령 영상표시장치 1(100'')은 제1 영상을 생성할 수 있다. 이의 과정에서 합성 영상 생성부(720)는 위의 제2 영상의 분석 결과에 근거하여 가상 배경 영상을 변경해 제1 영상을 재생성할 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.
그 이외에, 도 5의 통신 인터페이스부(500), 촬상부(510), 제어부(530), 디스플레이부(540), 실감 영상 생성부(550) 및 저장부(560)는 도 3의 통신 인터페이스부(300), 실감 영상 처리부(310), 촬상부(320), 저장부(330) 및 디스플레이부(340)의 내용과 크게 다르지 않으므로 자세한 내용은 그 내용들로 대신한다.
도 8은 도 2의 실감 영상 제공 장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 실감 영상 제공 장치(230)는 통신 인터페이스부(800), 제어부(810) 및 실감 영상 생성부(820)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 제어부(810)와 실감 영상 생성부(820)가 서로 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 2에서도 이미 살펴본 바 있지만, 본 발명의 실시예에 따른 도 8의 실감 영상 제공 장치(230)는 도 2의 영상표시장치 1(200) 및 영상표시장치 2(220)의 실감 영상을 모두 생성해 준다는 점에서 도 1의 시스템(90)과 차이가 있다.
따라서, 통신 인터페이스부(800)와 실감 영상 생성부(820)는 도 2의 영상표시장치 1(200) 및 영상표시장치 2(220)의 실감 영상의 생성에 모두 관여할 수 있다.
다시 말해, 영상표시장치 1(200)에서 제공된 촬영 영상을 이용해 실감 영상 생성부(820)에서 생성된 제1 영상은 제어부(810)의 제어 하에 영상표시장치 2(220)로 전송되고, 영상표시장치 2(220)에서 제공된 촬영 영상을 이용해 실감 영상 생성부(820)에서 생성된 제2 영상은 제어부(810)의 제어 하에 영상표시장치 1(200)로 전송된다. 이러한 제1 및 제2 영상의 전송을 위해, 제어부(810)는 통신 인터페이스부(800)를 제어하게 된다.
기타 자세한 내용은 앞서, 도 1 및 도 2에서 충분히 설명하였으므로 더 이상의 설명은 생략하도록 한다.
도 9는 본 발명의 실시예에 따른 사용자 위치 기반 패럴렉스 효과가 적용된 예를 설명하기 위한 도면이다.
설명의 편의상 도 9를 도 1과 함께 참조하면, 가령 도 9의 (a)에서와 같이 임의의 가상 배경 영상이 합성된 제2 영상(900)을 사용자 1(890)이 시청하고 있는 상황에서 도 9의 (b)에서와 같이 위치를 변화하여다고 가정하자.
이의 경우, 영상표시장치 1(100)은 사용자 1의 위치 변화에 따라, 가상 배경 영상이 변경된 제2 영상(910)을 화면에 표시할 수 있다. 도 9에서 볼 때, 도면 번호 880은 사용자 2를 나타낸다.
도 10은 뎁스 정보를 포함하는 가상 배경을 설명하기 위한 도면이다.
설명의 편의상 도 10을 도 3과 함께 참조하면, 도 3의 저장부(330)는 도 10에서 같이, 사용자의 위치가 변화할 때 원근감 즉 깊이를 표현해 줄 수 있도록 각 뎁스를 반영하는 가상 배경 영상을 생성하여 기저장할 수 있다.
예를 들어, 사용자가 화상 통화 중에 카메라의 뒤쪽으로 이동하였다면 도 10에서 원거리(Far)의 가상 배경 영상을 추출하여 사용자에게 보여줄 수 있지만, 카메라의 앞쪽으로 이동하는 경우에는 도 10에서 근거리(Near)의 가상 배경 영상을 추출하여 사용자에게 보여줄 수 있다.
도 11은 뎁스 정보에 따라 패럴렉스 효과가 적용된 예를 설명하기 위한 도면이다.
설명의 편의상 도 11을 도 1과 함께 참조하면, 가령 도 11의 (a)에서와 같이 영상표시장치 1(100) 측의 사용자 1(1090)이 사용자 2(1080)의 모습과 임의의 가상 배경 영상이 합성된 제2 영상(1100)을 시청하고 있다고 가정하자.
이의 과정에서 사용자 1(1090)이 우측에서 좌측으로, 그리고 뒤쪽으로 위치를 변경하였다면, 영상표시장치 1(100)은 사용자 2(1080)는 고정되어 있지만, 사용자 1의 위치 변화에 따른 배경 시점이 우측에서 좌측으로 변경된 제2 영상(1110)을 표시해 주게 되는 것이다. 이를 통해 사용자 1은 자신의 위치 변화에 따라 가상 배경 영상이 변화하는 제2 영상(1110)을 시청하게 됨으로써 화상 통화에 실감을 느낄 수 있게 된다.
도 12 및 도 13은 본 발명의 실시예에 따른 화상통화 과정을 설명하기 위한 흐름도이다.
도 12의 경우에는 사용자 1과 사용자 2의 위치 변화가 없을 때(상황 A) 화상통화를 수행할 때의 과정을 나타내는 것이고, 도 13은 사용자 1의 위치 변화가 있고 사용자 2의 위치 변화가 없을 때(상황 B)에서 화상 통화를 수행할 때의 과정을 나타내는 것으로, 편의상 영상표시장치 1(100)과 관련해서만 설명한다.
도 12를 참조하면, 본 발명의 실시예에 따른 영상표시장치 1(100)은 뎁스별 가상 배경 영상을 저장한다(S1200).
이어, 영상표시장치 1(100)은 사용자 1의 화상 통화시 사용자 1을 촬영하고, 동시에 뎁스 정보를 얻는다(SS1210).
그리고 취득한 뎁스 정보 및 2D 정보에 근거하여 촬영 영상에서 객체 즉 사용자 1의 이미지와 배경을 분리한다(S1230).
또한, 영상표시장치 1(100)은 분리된 사용자 1의 이미지와, 기저장된 임의의 가상 배경 영상을 합성한다(S1230). 이때 화상 통화 초기에는 사용자의 선택에 의해 가상 배경 영상을 선택받을 수 있지만, 디폴트로 설정된 가상 배경 영상을 합성하는 것도 얼마든지 가능할 수 있다.
이어 영상표시장치 1(100)은 생성한 합성 영상 즉 제1 영상을 영상표시장치 2(120)로 전송해 주고, 반면 영상표시장치 1(100)은 위의 S1200 단계에서 S1230 단계와 동일한 방식으로 생성된 사용자 2의 모습과 가상 배경 영상이 합성된 합성 영상 즉 제2 영상을 수신하게 된다(S1240, S1250).
이에 따라, 영상표시장치 1(100)은 사용자 2의 합성 영상을 화면에 표시한다(S1260).
이와 같은 과정에 의해, 영상표시장치 1(100)은 영상표시장치 2(120)와 화상 통화를 지속하게 된다(S1270).
이러한 상태에서, 도 13에 도시된 바와 같이 가령 사용자 1의 위치 변화가 발생할 수 있다.
이의 경우, 영상표시장치 1(100)은 위치가 변화된 사용자 1을 촬영하게 된다(S1300).
그리고 영상표시장치 1(100)은 위치 이동에 따른 제1 영상을 재생성하여 영상표시장치 2(120)로 전송한다(S1310, S1320). 여기서, 재생성된 제1 영상은 사용자 1의 모습이 변화된 영상일 수 있지만, 가상 배경 영상이 변경된 제1 영상일 수 있다.
그러면, 영상표시장치 2(120)는 이전에 전송된 제1 영상과 현재 가상 배경 영상이 변경되어 전송된 제1 영상을 비교 분석하여 사용자 1의 위치 변화를 판단할 수 있다(S1330). 물론 이러한 분석 과정은 영상표시장치 1(100)에서 얼마든지 이루어질 수 있다. 다만, 이때에는 위치 변화에 상응하는 가상 배경 영상을 영상표시장치 2(120)가 선택할 수 있도록 위치 변화의 정도에 대한 뎁스 정보를 영상표시장치 1(100)이 영상표시장치 2(120)로 전송해 주는 것이 바람직하다.
위치 변화가 있으면, 영상표시장치 2(120)는 사용자 1의 위치 변화를 반영한 가상 배경 영상을 추출하고, 추출한 가상 배경 영상을 이용해 제2 영상을 재생성한다(S1340). 예를 들어, 사용자 1이 거리 d만큼 멀어졌다면, 이를 산출해 내어 거리 d가 반영된 가상 배경 영상을 추출해 이용하는 것이다.
그리고 재생성된 제2 영상을 영상표시장치 1(100)로 전송하면, 영상표시장치 1(100)은 재생성된 제2 영상을 화면에 표시하게 된다(S1360).
이를 통해 사용자 1은 자신의 위치 변화에 따라 제2 영상이 변경되었다고 느끼게 되고, 이와 같은 과정으로 화상통화를 지속하게 된다(S1370).
도 14는 본 발명의 실시예에 따른 영상표시장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 14를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 영상표시장치 2(120)는 외부 장치, 가령 영상표시장치 1(100)의 사용자 1이 촬영된 촬영 영상의 배경을 가상 배경 영상으로 생성한 제1 영상을 수신한다(S1400).
이어 영상표시장치 2(120)는 수신한 제1 영상을 화면에 표시한다(S1410).
그리고, 영상표시장치 2(120) 측의 사용자 2의 위치 변화에 따라 제1 영상의 가상 배경 영상을 변경하여 표시한다(S1420).
기타 자세한 내용들은 앞서 충분히 설명하였으므로 그 내용들로 대신한다.
도 15는 본 발명의 다른 실시예에 따른 영상표시장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 15를 도 1과 함께 참조하면, 영상표시장치 1(100)은 사용자 1이 화상 통화를 시작하는 초기에 3D 가상 배경을 선택하는 것으로 시작될 수 있다(S1500). 물론 디폴트로 선택되는 것도 얼마든지 가능할 수 있다.
그리고, 영상표시장치 1(100)은 수신 영상 즉 제2 영상이 있으면(S1510), 수신 영상을 저장한 후 상대방인 사용자 2의 위치 변화가 있는지를 분석한다(S1520).
만약 위치 변화가 있다면(S1530), 영상표시장치 1(100)은 상대방의 위치 변화에 상응하는 3D 가상 배경을 추출한다(S1540).
그리고 영상표시장치 1(100)은 촬영된 영상을 취득하여 실 배경과 사용자를 분리하고, 분리된 사용자와 위의 추출된 3D 가상 배경을 합성한다(S1550, S1560).
그리고, 합성된 영상 데이터를 영상표시장치 2(120)로 송신한다(S1580).
이후, 영상표시장치 1(100)은 화상 통화의 종료 요청이 있는지를 판단하여 화상 통화를 종료하게 된다(S1580).
도 16은 본 발명의 실시예에 따른 영상표시장치의 실감 영상 생성 과정을 나타내는 흐름도이다.
설명의 편의상 도 16을 도 1 및 도 3과 함께 참조하면, 가령 본 발명의 실시예에 따른 영상표시장치 1(100)은 외부 장치 즉 영상표시장치 2(120)로 전송하기 위해 영상표시장치 1(100) 측의 사용자 1이 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 제1 영상을 생성한다(S1600).
이어, 영상표시장치 2(120) 측의 사용자 2의 위치 변화가 있으면, 위치 변화에 따라 가상 배경 영상을 변경하여 제1 영상을 재생성한다(S1610). 여기서, 위치 변화는 영상표시장치 1(100)이 영상표시장치 2(120)로부터 수신한 제2 영상의 분석에 의해 판단될 수 있다. 따라서, 영상표시장치 1(100)은 판단된 위치 변화의 변화량에 근거하여 가상 배경 영상을 선택(또는 추출)하게 된다.
그리고, 영상표시장치 1(100)은 재생성한 제1 영상을 외부 장치 즉 영상표시장치 2(120)로 제공한다(S1620).
도 16은 실제로, 가상 배경 영상 등이 변경되는 앞서의 2가지 상황 중에서 상대방의 영상을 보면서 화상 통화를 수행하는 자신이 위치를 변경했을 때에 상대방의 영상에서 가상 배경 영상이 변경되는 것에 해당된다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100, 200: 영상표시장치 1 110, 210: 통신망
120, 220: 영상표시장치 2 230: 실감 영상 제공 장치
300, 400, 500, 800: 통신 인터페이스부 310, 410: 실감 영상 처리부
320, 510: 촬상부 330, 560: 저장부
340, 420, 540: 디스플레이부 530, 810: 제어부
550, 820: 실감 영상 생성부 600: 프로세서
610: 메모리 700: 뎁스 정보 취득부(모듈)
710: 영상 분석부(모듈) 720: 합성 영상 생성부(모듈)
900, 1100: 제1 영상 920, 1110: 제2 영상

Claims (18)

  1. 영상표시장치를 이용한 화상 통화 시스템에 있어서,
    제1 영상표시장치; 및
    상기 제1 영상표시장치와 화상 통화하는 제2 영상표시장치;를 포함하되,
    상기 제1 영상표시장치는,
    제1 사용자가 촬영된 제1 영상을 상기 제2 영상표시장치로 전송하고, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 제2 영상표시장치로부터 수신하며,
    상기 제2 영상표시장치는,
    상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하여 전송하는 화상 통화 시스템.
  2. 외부 장치와 화상 통화를 수행하는 영상표시장치에 있어서,
    상기 외부 장치 측의 제1 사용자가 촬영된 제1 영상을 수신하고, 제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 외부 장치로 전송하는 통신 인터페이스부;
    상기 수신한 제1 영상을 표시하는 디스플레이부; 및
    상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하는 제어부;를
    포함하는 영상표시장치.
  3. 제2항에 있어서,
    복수의 가상 배경 영상을 저장하는 저장부;를 더 포함하며,
    상기 제어부는, 화상 통화를 위한 사용자 명령이 있으면, 상기 제2 사용자가 촬영된 촬영 영상의 배경을 상기 저장한 복수의 가상 배경 영상 중 하나의 가상 배경 영상으로 대체하여 생성한 제2 영상을 상기 외부 장치로 전송하는 것을 특징으로 하는 영상표시장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 가상 배경 영상이 변경된 제2 영상을 상기 외부 장치에 표시하기 위하여, 상기 수신한 제1 영상을 분석하여 상기 제1 사용자의 위치 변화 여부를 판단하고, 위치 변화가 있으면 상기 제2 영상의 가상 배경 영상을 변경하여 상기 외부 장치로 전송하는 것을 특징으로 하는 영상표시장치.
  5. 제4항에 있어서,
    상기 저장부는, 상기 복수의 가상 배경 영상을 뎁스별로 분류하여 저장하고,
    상기 제어부는, 상기 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 뎁스의 가상 배경 영상을 선택해 상기 제2 영상으로 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 영상표시장치.
  6. 제3항에 있어서,
    상기 제2 사용자를 촬영하는 촬상부;를 더 포함하며,
    상기 제어부는, 상기 촬영 영상에서 상기 제2 사용자의 이미지를 분리해 내고, 상기 분리해 낸 상기 제2 사용자의 이미지를 상기 복수의 가상 배경 영상 중 하나의 가상 배경 영상과 합성하는 것을 특징으로 하는 영상표시장치.
  7. 제3항에 있어서,
    화상 통화를 위한 사용자 명령을 수신하는 사용자 인터페이스부;를 더 포함하며,
    상기 제어부는, 상기 사용자 명령을 수신하면, 상기 가상 배경 영상으로 대체된 상기 제2 영상을 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 영상표시장치.
  8. 외부 장치와 화상 통화를 수행하는 영상표시장치의 구동 방법에 있어서,
    상기 외부 장치 측의 제1 사용자가 촬영된 제1 영상을 수신하는 단계;
    상기 수신한 제1 영상을 화면에 표시하는 단계;
    제2 사용자가 촬영된 촬영 영상의 배경이 가상 배경 영상을 대체된 제2 영상을 상기 외부 장치로 전송하는 단계; 및
    상기 제1 사용자의 위치 변화에 따라, 상기 제2 영상의 가상 배경 영상을 변경하여 상기 외부 장치로 전송하는 단계;를
    포함하는 영상표시장치의 구동 방법.
  9. 제8항에 있어서,
    복수의 가상 배경 영상을 저장하는 단계;
    상기 제2 사용자가 촬영된 촬영 영상의 배경을 상기 저장한 복수의 가상 배경 영상 중 하나의 가상 배경 영상으로 대체하여 제2 영상을 생성하는 단계; 및
    상기 생성한 제2 영상을 상기 외부 장치로 전송하는 단계;를
    더 포함하는 것을 특징으로 하는 영상표시장치의 구동 방법.
  10. 제9항에 있어서,
    가상 배경 영상이 변경된 상기 제2 영상을 상기 외부 장치에 표시하기 위하여, 상기 수신한 제1 영상을 분석하여 상기 제1 사용자의 위치 변화 여부를 판단하는 단계;를 더 포함하며,
    상기 제2 영상을 생성하는 단계는,
    위치 변화가 있으면 상기 제2 영상의 가상 배경 영상을 변경하는 것을 특징으로 하는 영상표시장치의 구동 방법.
  11. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 복수의 가상 배경 영상을 뎁스별로 분류하여 저장하는 단계;를 포함하며,
    상기 제2 영상을 생성하는 단계는,
    상기 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 뎁스의 가상 배경 영상을 선택해 상기 제2 영상을 생성하는 것을 특징으로 하는 영상표시장치의 구동 방법.
  12. 제9항에 있어서,
    상기 제2 사용자를 촬영하는 단계; 및
    상기 촬영 영상에서 상기 제2 사용자의 이미지를 분리해 내는 단계;를 더 포함하며,
    상기 제2 영상을 생성하는 단계는,
    상기 분리해 낸 상기 제2 사용자의 이미지를 상기 복수의 가상 배경 영상 중 하나의 가상 배경 영상과 합성하여 상기 제2 영상을 생성하는 것을 특징으로 하는 영상표시장치의 구동 방법.
  13. 제9항에 있어서,
    화상 통화를 위한 사용자 명령을 수신하는 단계;를 더 포함하며,
    상기 제2 영상을 생성하는 단계는,
    상기 사용자 명령이 수신되면, 상기 가상 배경 영상으로 대체된 상기 제2 영상을 생성하는 것을 특징으로 하는 영상표시장치의 구동 방법.
  14. 영상표시장치의 실감 영상 생성 방법에 있어서,
    외부 장치로 전송하기 위해 상기 영상표시장치 측의 제1 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 제1 영상을 생성하는 단계;
    상기 외부 장치 측의 제2 사용자의 위치 변화가 있으면, 상기 위치 변화에 따라 상기 가상 배경 영상을 변경하여 상기 제1 영상을 재생성하는 단계; 및
    상기 재생성한 제1 영상을 상기 외부 장치로 제공하는 단계;를
    포함하는 실감 영상 생성 방법.
  15. 제14항에 있어서,
    상기 제2 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 생성한 제2 영상을 수신하는 단계;
    상기 제1 사용자의 위치 변화가 있으면, 상기 제1 사용자의 위치 변화에 따라 상기 가상 배경 영상이 변경된 상기 제2 영상을 수신하는 단계; 및
    상기 수신한 제2 영상을 디스플레이부로 제공하는 단계;를
    포함하는 실감 영상 생성 방법.
  16. 제14항에 있어서,
    상기 제1 사용자의 촬영시, 상기 촬영 영상의 객체들에 대한 뎁스 정보를 취득하는 단계;
    상기 취득한 뎁스 정보를 이용해 상기 촬영 영상에서 상기 제1 사용자의 이미지를 분리해 내는 단계;
    상기 분리해 낸 상기 제1 사용자의 이미지를 가상 배경 영상과 합성하는 단계;를
    더 포함하는 것을 특징으로 하는 실감 영상 생성 방법.
  17. 제16항에 있어서,
    상기 가상 배경 영상과 합성하는 단계는,
    상기 제2 사용자의 위치 변화에 따라 수신된 상기 제2 영상을 분석하여 상기 제2 사용자의 위치 변화 여부를 판단하는 단계; 및
    위치 변화가 있으면, 기저장된 복수의 가상 배경 영상 중 상기 위치 변화에 상응하는 가상 배경 영상을 선택해 상기 제1 영상을 생성하는 단계;를
    포함하는 것을 특징으로 하는 실감 영상 생성 방법.
  18. 영상표시장치의 실감 영상 생성 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 실감 영상 생성 방법은,
    외부 장치로 전송하기 위해 상기 영상표시장치의 제1 사용자가 촬영된 촬영 영상의 배경을 가상 배경 영상으로 대체하여 제1 영상을 생성하는 단계;
    상기 외부 장치 측의 제2 사용자의 위치 변화가 있으면, 상기 위치 변화에 따라 상기 가상 배경 영상을 변경하여 상기 제1 영상을 재생성하는 단계; 및
    상기 재생성한 제1 영상을 상기 외부 장치로 제공하는 단계;를
    실행하는 컴퓨터 판독가능 기록매체.
KR1020150134714A 2015-09-23 2015-09-23 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 KR20170035608A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150134714A KR20170035608A (ko) 2015-09-23 2015-09-23 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
US15/212,381 US10003769B2 (en) 2015-09-23 2016-07-18 Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
EP16180160.0A EP3148184B1 (en) 2015-09-23 2016-07-19 Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134714A KR20170035608A (ko) 2015-09-23 2015-09-23 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20170035608A true KR20170035608A (ko) 2017-03-31

Family

ID=56740829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134714A KR20170035608A (ko) 2015-09-23 2015-09-23 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체

Country Status (3)

Country Link
US (1) US10003769B2 (ko)
EP (1) EP3148184B1 (ko)
KR (1) KR20170035608A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965769A (zh) * 2018-08-28 2018-12-07 腾讯科技（深圳）有限公司 视频显示方法及装置
WO2021107367A1 (ko) 2019-11-28 2021-06-03 엘지전자 주식회사 복수 개의 저장실 갖는 모듈을 포함하는 냉장고
WO2021107368A1 (ko) 2019-11-28 2021-06-03 엘지전자 주식회사 복수 개의 저장실 갖는 모듈을 포함하는 냉장고

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303035B2 (en) 2009-12-22 2019-05-28 View, Inc. Self-contained EC IGU
US11054792B2 (en) 2012-04-13 2021-07-06 View, Inc. Monitoring sites containing switchable optical devices and controllers
US10989977B2 (en) 2011-03-16 2021-04-27 View, Inc. Onboard controller for multistate windows
CA2941526C (en) 2014-03-05 2023-02-28 View, Inc. Monitoring sites containing switchable optical devices and controllers
US11868103B2 (en) 2014-03-05 2024-01-09 View, Inc. Site monitoring system
US11743071B2 (en) 2018-05-02 2023-08-29 View, Inc. Sensing and communications unit for optically switchable window systems
EP4235289A3 (en) 2014-06-30 2023-11-22 View, Inc. Computer-implemented control methods and systems for networks of optically switchable windows during reduced power availability
US11740948B2 (en) 2014-12-08 2023-08-29 View, Inc. Multiple interacting systems at a site
US20180077437A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
US10223821B2 (en) * 2017-04-25 2019-03-05 Beyond Imagination Inc. Multi-user and multi-surrogate virtual encounters
US11892738B2 (en) 2017-04-26 2024-02-06 View, Inc. Tandem vision window and media display
US11747696B2 (en) 2017-04-26 2023-09-05 View, Inc. Tandem vision window and media display
US11747698B2 (en) 2017-04-26 2023-09-05 View, Inc. Tandem vision window and media display
EP3616008A4 (en) 2017-04-26 2020-12-09 View, Inc. COMPUTER PLATFORM FOR TONABLE WINDOW SYSTEM
US11394898B2 (en) * 2017-09-08 2022-07-19 Apple Inc. Augmented reality self-portraits
US10839577B2 (en) 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
CN107613239B (zh) * 2017-09-11 2020-09-11 Oppo广东移动通信有限公司 视频通信背景显示方法和装置
CN110099241A (zh) * 2018-01-31 2019-08-06 北京视联动力国际信息技术有限公司 一种音视频流的传输方法及装置
CN110278140B (zh) * 2018-03-14 2022-05-24 阿里巴巴集团控股有限公司 通讯方法及装置
CN109639999B (zh) * 2018-12-28 2022-12-13 中科联芯(广州)科技有限公司 视频通话数据的优化方法、移动终端及可读存储介质
CN109767397B (zh) * 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
US11593947B2 (en) 2020-03-10 2023-02-28 Cisco Technology, Inc. Automatic adjusting background
TW202206925A (zh) 2020-03-26 2022-02-16 美商視野公司 多用戶端網路中之存取及傳訊
US11631493B2 (en) 2020-05-27 2023-04-18 View Operating Corporation Systems and methods for managing building wellness
BE1028937B1 (nl) * 2020-12-22 2022-07-19 Rods&Cones Holding Bv Contactloos configureren van een videoconferentie in steriele omgevingen
WO2022221532A1 (en) * 2021-04-15 2022-10-20 View, Inc. Immersive collaboration of remote participants via media displays

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279254B2 (en) 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
US10063848B2 (en) 2007-08-24 2018-08-28 John G. Posa Perspective altering display system
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8111913B2 (en) * 2008-09-17 2012-02-07 Motorola Solutions, Inc. Countermeasures against original background retrieval
US8395655B2 (en) 2010-08-15 2013-03-12 Hewlett-Packard Development Company, L.P. System and method for enabling collaboration in a video conferencing system
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
WO2014012567A1 (en) * 2012-07-18 2014-01-23 Unify Gmbh & Co. Kg Method of conveying a location information representing a physical location of a communication device, a computer program product for executing the method, and the communication device for conveying the location information
US9106908B2 (en) 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
US9357165B2 (en) * 2012-11-16 2016-05-31 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9282285B2 (en) * 2013-06-10 2016-03-08 Citrix Systems, Inc. Providing user video having a virtual curtain to an online conference
US9666231B2 (en) * 2014-06-26 2017-05-30 Touchcast LLC System and method for providing and interacting with coordinated presentations

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965769A (zh) * 2018-08-28 2018-12-07 腾讯科技（深圳）有限公司 视频显示方法及装置
WO2021107367A1 (ko) 2019-11-28 2021-06-03 엘지전자 주식회사 복수 개의 저장실 갖는 모듈을 포함하는 냉장고
WO2021107368A1 (ko) 2019-11-28 2021-06-03 엘지전자 주식회사 복수 개의 저장실 갖는 모듈을 포함하는 냉장고

Also Published As

Publication number Publication date
US10003769B2 (en) 2018-06-19
EP3148184A1 (en) 2017-03-29
US20170085834A1 (en) 2017-03-23
EP3148184B1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
KR20170035608A (ko) 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
US10074012B2 (en) Sound and video object tracking
CN110998566B (zh) 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US9927948B2 (en) Image display apparatus and image display method
US10645332B2 (en) Subtitle displaying method and apparatus
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US9460351B2 (en) Image processing apparatus and method using smart glass
JP6081440B2 (ja) スマートグラスに基づくプロンプティングのための方法及び装置
US20130106997A1 (en) Apparatus and method for generating three-dimension data in portable terminal
CN108600632B (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
CN107343081A (zh) 移动终端及其控制方法
US20190222806A1 (en) Communication system and method
CN103136746A (zh) 图像处理装置和图像处理方法
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
EP3513326B1 (en) Methods, systems, and media for detecting stereoscopic videos by generating fingerprints for multiple portions of a video frame
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
WO2017157135A1 (zh) 媒体信息处理方法及媒体信息处理装置、存储介质
CN111428672A (zh) 交互对象的驱动方法、装置、设备以及存储介质
JP2020095611A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
CN106954093B (zh) 全景视频处理方法、装置及系统
US11846783B2 (en) Information processing apparatus, information processing method, and program
CN111656776B (zh) 图像处理器、图像处理方法和计算机可读记录介质
KR102138835B1 (ko) 정보 노출 방지 영상 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right