WO2018093197A2 - 영상 처리 방법 및 이를 지원하는 전자 장치 - Google Patents

영상 처리 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2018093197A2
WO2018093197A2 PCT/KR2017/013106 KR2017013106W WO2018093197A2 WO 2018093197 A2 WO2018093197 A2 WO 2018093197A2 KR 2017013106 W KR2017013106 W KR 2017013106W WO 2018093197 A2 WO2018093197 A2 WO 2018093197A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
objects
processor
specified
Prior art date
Application number
PCT/KR2017/013106
Other languages
English (en)
French (fr)
Other versions
WO2018093197A3 (ko
Inventor
이송이
신영미
하진수
김장운
손현근
이주형
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP17870978.8A priority Critical patent/EP3537376A4/en
Priority to US16/462,261 priority patent/US10958894B2/en
Publication of WO2018093197A2 publication Critical patent/WO2018093197A2/ko
Publication of WO2018093197A3 publication Critical patent/WO2018093197A3/ko
Priority to US17/207,821 priority patent/US11595633B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the first user interface may include, for example, a control tap for controlling image contents of the plurality of second objects 1 and 5 and image data of each of the plurality of second objects 1 and 5. It may include.
  • the user of the electronic device 100 may control whether to set image data for the plurality of second objects 1 and 5 based on a user input (for example, a touch) applied to the control tab.
  • the processor 150 may determine the plurality of first objects detected through the image analysis. Image data setting may be performed on the remaining objects except for the second objects 1 and 5 of FIG.
  • an alpha ( ⁇ ) value for example, 100 based on 1 to 100
  • R, G, and B gray scale values for example, 255
  • any object (for example, a book) disposed behind the transparent display 130a may be visible.
  • the processor may set the R, G, and B grayscales included in the image data to a specified value with respect to the image data setting.
  • the electronic device 100 in FIG. 1 captures an image (eg, still image or video) of a peripheral area of the electronic device based on the camera module 110 (FIG. 1).
  • the camera module may include a first camera and a second camera.
  • One of the first camera and the second camera may include, for example, a 3D depth camera.
  • At least one image photographed by the camera module may be stored in the memory 120 of FIG. 1.

Abstract

본 발명의 일 실시 예는, 지정된 화각(angle of view)을 기반으로 영상을 촬영하는 적어도 하나의 카메라 모듈, 상기 영상을 표시하는 디스플레이 및, 상기 카메라 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 영상 내에서 복수의 오브젝트를 검출하고, 상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관계된 이미지 데이터의 설정을 수행하는 전자 장치를 개시한다. 이 외에도 명세서를 통하여 파악되는 다양한 실시 예가 가능하다.

Description

영상 처리 방법 및 이를 지원하는 전자 장치
본 문서에서 개시되는 실시 예들은, 투명 디스플레이 기반의 영상 처리 기술과 관련된다.
투명 디스플레이는 각종 영상을 표시하는 일차적 기능과 더불어, 디스플레이의 후방을 보여주는 공간 친화적 장점으로, 다채로운 디스플레이 운용 환경을 지원하고 있다. 일례로, 투명 디스플레이는 주거 또는 업무 공간이나, 차량, 항공기, 또는 선박 등과 같은 이동 수단에서 쇼윈도(show window) 또는 스마트 윈도우(smart window) 등으로 응용되며, 새로운 양상의 정보통신 인프라를 구축하는 기반이 되고 있다. 최근에는, 사물인터넷(internet of things) 환경 또는 증강현실 환경 등에도 투명 디스플레이가 도입되고 있으며, 이에 따라 전자 장치에 탑재된 기능들과 투명 디스플레이의 상호작용을 기반으로 하는 접목적 기술 개발이 요구되고 있다.
본 문서에서 개시되는 다양한 실시 예는, 영상에 포함되는 적어도 하나의 오브젝트에 대한 이미지 데이터 설정을 기반으로, 투명 디스플레이 상에서 해당 오브젝트에 대응하는 화면 영역의 화면 요소(예: 광 투과도, 색상 또는 채도 등)를 제어함으로써, 투명 디스플레이에 표시되는 영상에 대하여 입체감을 부여할 수 있는 영상 처리 방법 및 이를 지원하는 전자 장치를 제공한다.
일 실시 예에 따른 전자 장치는, 지정된 화각(angle of view)을 기반으로 영상을 촬영하는 적어도 하나의 카메라 모듈, 상기 영상을 표시하는 디스플레이 및, 상기 카메라 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 영상 내에서 복수의 오브젝트를 검출하고, 상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관계된 이미지 데이터의 설정을 수행할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 영상 통화 기능의 운용과 관련하여 상호작용하는 외부 장치로 입체감 있는 영상 표시를 지원할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 장치를 도시한 도면이다.
도 2a는 일 실시 예에 따른 제1 영상을 도시한 도면이다.
도 2b는 일 실시 예에 따른 제2 영상을 도시한 도면이다.
도 2c는 일 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다.
도 3a는 다른 실시 예에 따른 제1 영상을 도시한 도면이다.
도 3b는 다른 실시 예에 따른 제2 영상을 도시한 도면이다.
도 3c는 다른 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다.
도 4a는 또 다른 실시 예에 따른 제1 영상을 도시한 도면이다.
도 4b는 또 다른 실시 예에 따른 제2 영상을 도시한 도면이다.
도 4c는 또 다른 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다.
도 5는 일 실시 예에 따른 전자 장치의 운용 환경을 도시한 도면이다.
도 6은 일 실시 예에 따른 전자 장치의 영상 처리 방법을 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면 웨어러블 장치는 엑세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체 형(예: 전자 의복), 신체 부착 형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식 형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD 플레이어(Digital Video Disk player), 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(Global Navigation Satellite System)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 일 실시 예에 따른 전자 장치를 도시한 도면이다.
도 1을 참조하면, 전자 장치(100)는 적어도 하나의 외부 장치(300)(또는, 외부 서버)와 네트워크(200)를 구축할 수 있다. 전자 장치(100)는 상기 네트워크(200)에 접속함으로써, 기능 운용에 관계되는 데이터 또는 신호를 외부 장치(300)로 송신하거나, 외부 장치(300)로부터 수신할 수 있다. 다양한 실시 예에서, 상기 네트워크(200)는 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN) 또는, 인터넷 또는 전화 망(telephone network)을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 카메라 모듈(110), 메모리(120), 디스플레이(130), 통신 인터페이스(140), 프로세서(150) 및 하우징(160)을 포함할 수 있다. 다양한 실시 예에서, 전자 장치(100)는 상술된 구성요소들 중 적어도 하나를 생략하거나, 다른 구성요소를 추가적으로 구비할 수 있다. 예를 들어, 전자 장치(100)는 상기 구성요소들에 전기적 에너지를 공급하는 전원 공급 장치(예: 배터리), 각종 정보를 센싱하는 센서 모듈(예: 근조도 센서, 가속도 센서, 지문 인식 센서 또는 홍채 센서 등) 또는, 내부 또는 외부로부터 획득되는 음향을 출력하기 위한 스피커 모듈 등을 더 포함할 수 있다.
하우징(160)은 상술된 전자 장치(100)의 구성요소들 중 적어도 일부를 수용(예: 메모리(120), 통신 인터페이스(140) 또는 프로세서(150) 등)하거나, 적어도 일부의 거치를 지원(예: 디스플레이(130) 등)할 수 있다. 하우징(160)은 하면, 상기 하면의 가장자리로부터 지정된 각도(예: 실질적 수직)로 신장되는 적어도 하나의 측면 및 상기 하면과 대향하는 상면을 포함할 수 있다. 상기 상면의 적어도 일부 영역은 개방될 수 있다. 예를 들어, 상기 상면의 중심부로부터 지정된 면적의 영역이 개방될 수 있으며, 이에 따라 하우징(160)은 적어도 일부 영역이 개방된 내부공간을 포함할 수 있다. 다양한 실시 예에서, 하우징(160)의 적어도 일부 영역에는 전자 장치(100) 운용에 관계되는 기능 키(예: 전원 키 또는 음량 조정 키 등)가 외부로 노출되기 위한 적어도 하나의 공극(미도시)이 포함될 수 있다.
카메라 모듈(110)은 지정된 화각(angle of view)을 기반으로 전자 장치(100)의 주변 영역에 대한 영상(예: still image 또는 video 등)를 촬영할 수 있다. 일 실시 예에서, 카메라 모듈(110)은 제1 방향(예: 전자 장치(100)의 전방)으로의 화각을 갖도록 전자 장치(100)의 전면 일부 영역에 배치될 수 있다. 예를 들어, 카메라 모듈(110)은 상기 하우징(160)의 외부로 적어도 일부가 노출되는 디스플레이(130)의 전면 영역에 배치되되, 상기 디스플레이(130)에 표시되는 콘텐츠의 시인성이 저해되지 않도록 디스플레이(130)의 가장자리 영역에 배치될 수 있다. 일 실시 예에서, 카메라 모듈(110)은 제1 카메라 및 제2 카메라를 포함할 수 있다. 상기 제1 카메라 및 제2 카메라 중 어느 하나는 3D depth 카메라를 포함할 수 있다. 상기 제1 카메라 및 제2 카메라의 화각은 상호 유사하거나, 적어도 일부 중첩될 수 있다. 다양한 실시 예에서, 카메라 모듈(110)은 제1 방향 및 상기 제1 방향에 대향하는 제2 방향(예: 전자 장치(100)의 후방)으로의 화각을 갖도록 복수로 구비되어, 상기 디스플레이(130)의 전후면 각각에 배치될 수 있다.
메모리(120)는 전자 장치(100)의 다른 구성요소 또는 전자 장치(100)와 상호작용하는 외부 장치(300)에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 카메라 모듈(110)에 의하여 촬영된 영상 또는 외부 장치(300)로부터 수신하는 콘텐츠에 따른 데이터를 저장할 수 있다. 일 실시 예에서, 메모리(120)는 콘텐츠(예: 영상) 분석 데이터베이스를 포함할 수 있다. 상기 콘텐츠 분석 데이터베이스는 예컨대, 임의의 콘텐츠에 대하여 지정된 오브젝트를 검출하는데 이용될 수 있다. 이와 관련하여, 상기 콘텐츠 분석 데이터베이스는 지정된 오브젝트의 관련 정보(예: 오브젝트의 형상, 특징점 또는 윤곽선 등)를 포함할 수 있다.
메모리(120)는 전자 장치(100)의 기능 운용에 관계되는 적어도 하나의 프로그램을 포함할 수 있다. 상기 프로그램은 예컨대, 어플리케이션 프로그램(예: 통화 프로그램), 커널, 미들웨어 또는 어플리케이션 프로그래밍 인터페이스(Application Programming Interface; API) 등을 포함할 수 있다. 상기 커널, 미들웨어 또는 API의 적어도 일부는 운영 시스템(Operating System; OS)으로 지칭될 수 있다. 다양한 실시 예에서, 메모리(120)는 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM) 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM) 또는 EEPROM(electrically erasable and programmable ROM) 등), 마스크(mask) ROM, 플래시(flash) ROM 또는 플래시 메모리 중 적어도 하나를 포함할 수 있다.
디스플레이(130)는 사용자 제어 또는 지정된 스케줄링 정보에 대응하여 각종 화면을 표시할 수 있다. 예를 들어, 디스플레이(130)는 카메라 모듈(110)에 의하여 촬영된 영상(예: still image 또는 video 등) 또는, 외부 장치(300)로부터 수신하는 콘텐츠를 표시할 수 있다. 일 실시 예에서, 디스플레이(130)는 복수의 콘텐츠(예: 영상)를 단일의 화면 상에 표시할 수 있다. 예를 들어, 디스플레이(130)는 특정 프로그램(예: 영상 통화 프로그램)의 실행 시, 외부 장치(300)로부터 수신되는 제1 콘텐츠(예: 제1 영상)를 화면 영역의 일부에 지정된 제1 크기로 표시하고, 카메라 모듈(110)에 의한 제2 콘텐츠(예: 제2 영상)를 화면 영역의 나머지 일부에 지정된 제2 크기로 표시할 수 있다. 다양한 실시 예에서, 콘텐츠가 표시되는 상기 제1 크기 및 제2 크기는 상호 동일 또는 유사할 수 있다. 또는, 디스플레이(130)는 화면 영역에 상기 제1 콘텐츠를 지정된 크기(예: 풀 스크린(full screen) 크기)로 표시하고, 표시된 상기 제1 콘텐츠의 적어도 일부 영역에 카메라 모듈(110)에 의한 제2 콘텐츠를 지정된 크기로 중첩시켜 표시할 수 있다.
일 실시 예에서, 디스플레이(130)는 프로세서(150)의 제어 하에 지정된 화면 요소(예: 광 투과도(또는, 투명도), 색상 또는 채도 등)를 제어 가능한 투명 디스플레이를 포함할 수 있다. 이와 관련하여, 디스플레이(130)의 기능 동작에 관계된(또는, 디스플레이(130)의 구성요소로써 포함되는) 적어도 하나의 구성요소는 투명 소재를 기반으로 구성될 수 있다. 예를 들어, 디스플레이(130)가 터치 스크린으로 구현되는 경우, 사용자 입력(예: 터치, 근접, 드래그 또는 호버링 등)의 검출과 관계된 적어도 하나의 전극층은 투명 도전막(예: ITO(Indium Tin Oxide))을 포함할 수 있다. 또한, 상기 적어도 하나의 전극층에 대한 물리량(예: 전압 또는 정전용량) 변화를 기반으로 상기 사용자 입력의 발생 좌표 또는 지속 시간 등을 산출하는 제어회로는 예컨대, 상기 디스플레이(130)를 회피하여 하우징(160)의 내부공간으로 배치될 수 있다.
통신 인터페이스(140)(또는, 통신 모듈)는 전자 장치(100)와 외부 장치(300) 간의 통신을 지원할 수 있다. 예를 들어, 통신 인터페이스(140)는 유선 통신 또는 무선 통신을 기반으로 네트워크(200)에 접속하여 상기 전자 장치(100)와 외부 장치(300) 간의 통신을 지원할 수 있다. 다양한 실시 예에서, 상기 무선 통신은 셀룰러 통신 프로토콜로써, LTE(Long-Term Evolution), LTE-A(LTE-Advanced), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband) 또는 GSM(Global System for Mobile Communications) 중 적어도 하나를 포함할 수 있다. 또한, 상기 무선 통신은 Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication) 또는 MST(magnetic stripe transmission) 등과 같은 근거리 통신을 포함할 수 있다.
프로세서(150)는 전자 장치(100)의 다른 구성요소들과 전기적 또는 기능적으로 연결되어 구성요소들에 대한 제어, 통신 연산 또는 데이터 처리 등을 수행할 수 있다. 예를 들어, 프로세서(150)는 카메라 모듈(110)을 기반으로 촬영된 적어도 하나의 영상(예: still image 또는 video 등)에 대한 이미지 데이터 설정을 수행할 수 있다. 상기 이미지 데이터 설정은 상기 영상을 디스플레이(130)(예: 투명 디스플레이) 상에 표시할 경우, 상기 디스플레이(130)의 적어도 일부 영역에 대한 화면 요소(예: 광 투과도(또는, 투명도), 색상 또는 채도 등) 제어와 관계될 수 있다. 예를 들어, 프로세서(150)에 의하여 영상에 포함된 적어도 하나의 오브젝트 중 특정 오브젝트에 대한 이미지 데이터 설정이 수행되는 경우, 디스플레이(130) 상에서 상기 특정 오브젝트에 대응하는 영역은 상기 이미지 데이터 설정에 따른 화면 요소(예: 광 투과도(또는, 투명도), 색상, 또는 채도)가 제어되어 표시될 수 있다.
일 실시 예에서, 프로세서(150)는 카메라 모듈(110)의 제1 카메라 및 제2 카메라 각각에 의하여 촬영된 복수의 영상 중 어느 하나를 기반으로 상기 이미지 데이터 설정을 수행할 수 있다. 또는, 프로세서(150)는 상기 복수의 영상에 대한 취합을 기반으로 이미지 데이터 설정을 수행할 수 있다. 프로세서(150)는 통신 인터페이스(140)의 기능 동작을 제어하여 상기 이미지 데이터 설정이 수행된 영상의 데이터를 외부 장치(300)로 송신할 수 있다.
도 2a는 일 실시 예에 따른 제1 영상을 도시한 도면이고, 도 2b는 일 실시 예에 따른 제2 영상을 도시한 도면이며, 도 2c는 일 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다. 도 2a, 도 2b 및 도 2c에서 설명되는 기능 또는 동작들은 예컨대, 전자 장치와 외부 장치 간의 영상 통화 환경과 관계될 수 있다.
도 2a를 참조하면, 프로세서(도 1의 150)는 카메라 모듈(도 1의 110)의 제1 카메라에 의하여 촬영된 제1 영상(10)을 기반으로 이미지 데이터 설정을 수행할 수 있다. 이와 관련하여, 프로세서(150)는 카메라 모듈(110) 또는 메모리(도 1의 120)로부터 제1 영상(10)을 획득하여 이미지 분석을 수행할 수 있다. 예를 들어, 프로세서(150)는 윤곽선 검출 필터(edge detection filter) 또는 액티브 컨투어 모델(active contours model) 등과 같은 이미지 프로세싱을 기반으로 제1 영상(10)에 포함된 적어도 하나의 오브젝트(이하, 제1 오브젝트라 함)를 검출할 수 있다. 일 실시 예에서, 프로세서(150)는 기계학습 알고리즘(예: 딥 러닝(deep learning))을 기반으로 상기 제1 오브젝트 중 지정된 오브젝트(예: 인체)(이하, 제2 오브젝트라 함)를 추출할 수 있다. 이 동작에서, 프로세서(150)는 메모리(120)에 구축된 콘텐츠 분석 데이터베이스를 참조할 수 있다. 예를 들어, 프로세서(150)는 상기 콘텐츠 분석 데이터베이스에 포함된 제2 오브젝트에 대한 윤곽선(또는, 형상) 정보를 기반으로, 검출된 제1 오브젝트 중 상기 제2 오브젝트의 윤곽선과 지정된 비율 이상으로 일치하는 오브젝트를 식별하여, 제1 영상(10) 내에서 제2 오브젝트(1)를 추출할 수 있다. 또는, 프로세서(150)는 검출된 제1 오브젝트에 대하여 적어도 하나의 특징점을 추출하고, 상기 콘텐츠 분석 데이터베이스에 포함된 제2 오브젝트에 대한 특징점 정보와의 비교를 기반으로, 제1 영상(10) 내에서 제2 오브젝트(1)를 추출할 수 있다.
일 실시 예에서, 프로세서(150)는 상기 적어도 하나의 제1 오브젝트 중 추출된 제2 오브젝트(1)를 제외한 나머지 오브젝트(이하, 제3 오브젝트라 함)에 대하여 이미지 데이터 설정을 수행할 수 있다. 프로세서(150)는 상기 이미지 데이터 설정에 기초하여, 디스플레이(도 1의 130)(예: 투명 디스플레이) 상에서 상기 제3 오브젝트에 대응하는 화면 영역의 광 투과도를 지정된 값으로 제어할 수 있다. 예를 들어, 프로세서(150)는 상기 제3 오브젝트의 이미지 데이터에 대하여 알파(α) 값(예: 이미지의 투명도와 관계되는 값)을 지정된 값(예: 1 내지 100을 기준하여 100)으로 설정함으로써, 상기 디스플레이(130) 상에서 제3 오브젝트에 대한 화면 영역이 투명해지도록 제어할 수 있다. 또는, 프로세서(150)는 상기 제3 오브젝트의 이미지 데이터에 대하여 R, G, B 계조를 지정된 값(예: 255)으로 설정함으로써, 디스플레이(130) 상에서 상기 제3 오브젝트에 대응하는 화면 영역이 투명해지도록 제어할 수 있다.
다양한 실시 예에서, 프로세서(150)는 제1 영상(10) 내의 특정 오브젝트 또는 영역에 대한 이미지 데이터 설정을 기반으로, 전술한 광 투과도 제어뿐만 아니라, 색상 또는 채도 등과 같은 화면 요소를 더 제어할 수 있다. 예를 들어, 프로세서(150)는 디스플레이(130) 상에서 상기 제2 오브젝트(1)를 제외한 영역이 특정 색상 또는, 선명하거나 희미하게 표시되도록 디스플레이(130)의 출력을 제어할 수 있다. 이하에서는, 상기 이미지 데이터 설정에 따른 디스플레이(130)의 화면 요소 제어로써, 디스플레이(130)의 특정 화면 영역에 대한 광 투과도 제어를 일례로 하여 설명하기로 한다.
도 2b를 참조하면, 프로세서(150)는 카메라 모듈(110)의 제2 카메라(예: depth 카메라)에 의하여 촬영된 제2 영상(20)을 기반으로 이미지 데이터 설정을 수행할 수 있다. 상기 제2 영상(20)은 영상에 포함된 적어도 하나의 오브젝트에 대한 깊이 정보(또는, 제2 카메라를 기준한 거리 정보)를 포함할 수 있다. 상기 깊이 정보는 예컨대, 제2 카메라에서 송출되는 신호(예: 적외선)가 오브젝트에 반사되어 되돌아오는 시간을 참조하여 산출될 수 있다. 프로세서(150)는 상기 깊이 정보에 기초하여 상기 제2 영상(20) 상에서 지정된 깊이(또는, 거리) 이내의 오브젝트(1)를 포함하는 레이어를 식별할 수 있다. 일 실시 예에서, 프로세서(150)는 식별된 레이어를 제외한 나머지 레이어에 대하여 전술한 이미지 데이터 설정을 수행할 수 있다. 예를 들어, 프로세서(150)는 상기 나머지 레이어에 포함된 적어도 하나의 오브젝트의 이미지 데이터에 대하여 알파(α) 값을 지정된 값(예: 1 내지 100을 기준하여 100)으로 설정하거나 또는, R, G, B 계조를 지정된 값(예: 255)으로 설정할 수 있다.
일 실시 예에서, 프로세서(150)는 상기 제1 영상(10)과 제2 영상(20)을 취합하여 이미지 데이터 설정을 수행할 수 있다. 예를 들어, 프로세서(150)는 제1 영상(10)에 대한 이미지 분석을 기반으로 상기 제1 영상(10)에 포함된 적어도 하나의 오브젝트 중 지정된 오브젝트(예: 인체)를 추출하고, 상기 제1 영상(10)을 제2 영상(20)에 매핑시킬 수 있다. 프로세서(150)는 제2 영상(20) 상에서 상기 깊이 정보를 배제하고, 제1 영상(10)으로부터 추출된 오브젝트(예: 인체)와 동일 또는 유사한 비율로 매핑되는 오브젝트 및 이를 포함하는 레이어를 식별할 수 있다. 프로세서(150)는 식별된 레이어를 제외한 나머지 레이어에 대하여 이미지 데이터 설정(예: 알파(α) 값 설정 또는 R, G, B 계조 값 설정)을 수행할 수 있다. 프로세서(150)는 제1 영상(10)과 제2 영상(20)의 취합을 기반으로, 영상에 포함된 지정된 오브젝트(예: 인체)에 대한 영역 판단을 명확히 하여 이미지 데이터 설정을 수행할 수 있다.
일 실시 예에서, 프로세서(150)는 제1 영상(10) 또는 제2 영상(20) 중 어느 하나를 기반으로 수행된 이미지 데이터 설정에 대한 정보를 상기 제1 영상(10) 데이터와 함께 외부 장치(도 1의 300)로 송신할 수 있다. 또는, 프로세서(150)는 제1 영상(10) 및 제2 영상(20)의 취합을 기반으로 수행된 이미지 데이터 설정에 대한 정보를 제1 영상(10) 데이터와 함께 외부 장치(300)로 송신할 수 있다.
도 2c를 참조하면, 외부 장치(300)는 전자 장치(도 1의 100)로부터 이미지 데이터 설정 정보 및 제1 영상(도 2a의 10) 데이터를 수신하고, 상기 외부 장치(300)가 포함하는 디스플레이 상에 상기 제1 영상(10)을 표시할 수 있다. 이와 관련하여, 외부 장치(300)는 투명 디스플레이(130a)를 포함할 수 있다. 일 실시 예에서, 상기 이미지 데이터 설정 정보는 상기 제1 영상(10)에 포함되는 적어도 하나의 오브젝트 중 지정된 오브젝트(1)(예: 전자 장치(100) 사용자의 인체)를 제외한 나머지 오브젝트(또는, 오브젝트(1)를 포함하는 레이어 이외의 레이어)에 대하여 알파(α) 값이 지정된 값(예: 1 내지 100을 기준하여 100)으로 설정된 이미지 데이터를 포함할 수 있다. 또는, 상기 이미지 데이터 설정 정보는 상기 지정된 오브젝트(1)를 제외한 나머지 오브젝트(또는, 오브젝트(1)를 포함하는 레이어 이외의 레이어)에 대하여 R, G, B 계조가 지정된 값(예: 255)으로 설정된 이미지 데이터를 포함할 수 있다. 이에 따라, 상기 제1 영상(10)을 표시하는 외부 장치(300)의 투명 디스플레이(130a) 화면 영역 중 상기 지정된 오브젝트(1)를 제외한 영역(2)(또는, 지정된 오브젝트(1)의 배경 영역)은 상기 알파(α) 값 또는 R, G, B 계조 값에 대응하여 투명하게 제어될 수 있으며, 투명 디스플레이(130a)의 후방에 배치된 임의의 오브젝트(예: 책)가 가시될 수 있다. 다양한 실시 예에서, 외부 장치(300)의 영상 통화 기능 운용과 관련하여 상기 투명 디스플레이(130a)의 일부 영역에는 상기 영상 통화 기능의 종료와 관계되는 표시 객체(3)(예: 아이콘)가 표시될 수 있다.
다양한 실시 예에서, 전자 장치(100) 사용자는 상기 영상 통화 기능의 운용 동작에서 예컨대, 콘텐츠(예: 영상) 송신 설정을 제어할 수 있다. 예를 들어, 전자 장치(100) 사용자는 상기 콘텐츠 송신 설정과 관계된 사용자 인터페이스 또는 전자 장치(100)의 시스템 설정을 기반으로 상술한 이미지 데이터 설정 정보가 외부 장치(300)로 송신되지 않도록 제어할 수 있다. 이 경우, 외부 장치(300)의 투명 디스플레이(130a)는 전자 장치(100)로부터 수신한 제1 영상(10) 자체를 표시할 수 있다.
다양한 실시 예에서, 외부 장치(300)는 전자 장치(100)의 제1 카메라 또는 제2 카메라(예: depth 카메라) 중 적어도 하나와 동일 또는 대응되는 카메라를 구비할 수 있다. 외부 장치(300)는 상기 카메라를 기반으로 촬영되는 영상에 대하여 전술한 전자 장치(100)의 이미지 데이터 설정을 동일 또는 유사하게 수행할 수 있다. 이에 따르면, 전자 장치(100)는 외부 장치(300)로부터 이미지 데이터 설정 정보를 수신하여 디스플레이(도 1의 130)(예: 투명 디스플레이) 상에 도 3c에 도시된 바와 동일 또는 대응되는 형태로 영상을 표시할 수 있다.
도 3a는 다른 실시 예에 따른 제1 영상을 도시한 도면이고, 도 3b는 다른 실시 예에 따른 제2 영상을 도시한 도면이며, 도 3c는 다른 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다. 도 3a, 도 3b 및 도 3c에서, 전자 장치 또는 외부 장치에 의하여 수행되는 기능 또는 동작들은 도 2a, 도 2b 및/또는 도 2c를 통하여 상술한 바와 유사 또는 대응될 수 있다. 이하에서는 도 2a, 도2b 및/또는 도 2c에서 설명한 바와 상이한 기능 또는 동작에 대하여 설명하기로 한다.
도 3a를 참조하면, 프로세서(도 1의 150)는 카메라 모듈(도 1의 110)의 제1 카메라를 기반으로 촬영된 제1 영상(10)에 대하여 이미지 분석을 수행하고, 상기 제1 영상(10)에서 적어도 하나의 오브젝트(이하, 제1 오브젝트라 함)를 검출할 수 있다. 프로세서(150)는 메모리(도 1의 120)에 구축된 콘텐츠 분석 데이터베이스를 참조하여, 상기 제1 오브젝트 중 지정된 오브젝트(1)(예: 인체)(이하, 제2 오브젝트라 함)를 추출할 수 있다. 일 실시 예에서, 검출된 제1 오브젝트는 상기 제2 오브젝트(1)와 관계되는 적어도 하나의 오브젝트(이하, 제3 오브젝트라 함)를 포함할 수 있다. 예를 들어, 적어도 하나의 제1 오브젝트는 상기 제1 영상(10) 상에서 제2 오브젝트(1)를 기준하여 전방으로 위치하는 제3 오브젝트 또는, 제2 오브젝트(1)를 포함하는 레이어의 상부 레이어에 포함되어 상기 제2 오브젝트(1)에 중첩되는 제3 오브젝트를 포함할 수 있다. 이 경우, 프로세서(150)는 제2 오브젝트(1)의 적어도 일부 영역에 대한 단절을 고려하여, 상기 제3 오브젝트(4)를 제2 오브젝트(1)의 적어도 일부로 판단할 수 있다. 프로세서(150)는 검출된 적어도 하나의 제1 오브젝트 중 상기 제2 오브젝트(1) 및 제3 오브젝트(4)를 제외한 나머지 오브젝트의 이미지 데이터에 대하여 예컨대, 알파(α) 값을 지정된 값(예: 1 내지 100을 기준하여 100)으로 설정하거나 또는, R, G, B 계조를 지정된 값(예: 255)으로 설정하는 이미지 데이터 설정을 수행할 수 있다.
도 3b를 참조하면, 프로세서(150)는 카메라 모듈(110)의 제2 카메라(예: depth 카메라)에 의하여 촬영된 제2 영상(20)을 기반으로, 제2 영상(20) 내의 적어도 하나의 오브젝트에 대한 깊이 정보(또는, 제2 카메라를 기준한 거리 정보)를 획득할 수 있다. 일 실시 예에서, 제2 영상(20) 상에는 지정된 깊이 이내의 깊이 값을 갖는 오브젝트가 복수(1 및 4)로 포함될 수 있다. 복수의 오브젝트(1 및 4) 상호는 상기 지정된 깊이 이내의 범위에서, 동일한 깊이 값으로 동일 레이어 상에 포함되거나 또는, 상이한 깊이 값에 대응하는 각각의 레이어에 포함될 수 있다. 프로세서(150)는 상기 지정된 깊이 이내에 포함된 복수의 오브젝트(1 및 4)에 대응하는 적어도 하나의 레이어를 식별하고, 제2 영상(20) 상에서 상기 식별된 레이어를 제외한 나머지 레이어에 대하여 상기 알파(α) 값 또는 R, G, B 계조 값 설정을 통하여 이미지 데이터 설정을 수행할 수 있다.
도 3c를 참조하면, 외부 장치(300)는 전자 장치(도 1의 100)로부터 상기 이미지 데이터 설정 정보 및 제1 영상(도 3a의 10) 데이터를 수신하고, 투명 디스플레이(130a) 상에 상기 제1 영상(10)을 표시할 수 있다. 상기 이미지 데이터 설정 정보에 따르면, 제1 영상(10)을 표시하는 상기 투명 디스플레이(130a)의 화면 영역 중 적어도 일부에는 지정된 오브젝트(1) 및 상기 지정된 오브젝트(1)와 관계되는 오브젝트(4)(예: 지정된 오브젝트(1)를 기준하여 전방으로 위치하는 오브젝트 또는 지정된 오브젝트(1)에 중첩되는 오브젝트)가 표시될 수 있다. 또한, 상기 투명 디스플레이(130a)의 화면 영역 중 나머지 일부에서는 알파(α) 값(예: 1 내지 100을 기준하여 100) 또는 R, G, B 계조 값(예: 255)이 설정된 이미지 데이터에 기반한 광 투과도 제어로 인하여, 상기 투명 디스플레이(130a)의 후방에 배치된 임의의 오브젝트(예: 책)가 가시될 수 있다.
도 4a는 또 다른 실시 예에 따른 제1 영상을 도시한 도면이고, 도 4b는 또 다른 실시 예에 따른 제2 영상을 도시한 도면이며, 도 4c는 또 다른 실시 예에 따른 디스플레이의 영상 표시 형태를 도시한 도면이다. 도 4a, 도 4b 및 도 4c에서, 전자 장치 또는 외부 장치에 의하여 수행되는 기능 또는 동작들은 도 2a, 도 2b 및/또는 도 2c를 통하여 상술한 바와 유사 또는 대응될 수 있다. 이하에서는 도 2a, 도 2b 및/또는 도 2c에서 설명한 바와 상이한 기능 또는 동작에 대하여 설명하기로 한다.
도 4a를 참조하면, 프로세서(도 1의 150)는 카메라 모듈(도 1의 110)의 제1 카메라에 의해 촬영된 제1 영상(10)에 대하여 이미지 분석을 수행할 수 있다. 프로세서(150)는 상기 이미지 분석을 통하여 제1 영상(10)에서 적어도 하나의 오브젝트(이하, 제1 오브젝트라 함)를 검출할 수 있다. 프로세서(150)는 메모리(도 1의 120)에 구축된 콘텐츠 분석 데이터베이스를 참조하여 상기 제1 오브젝트 중 지정된 오브젝트(예: 인체)(이하, 제2 오브젝트라 함)를 추출할 수 있다. 일 실시 예에서, 프로세서(150)는 상기 제1 오브젝트 중에서 복수의 제2 오브젝트(1 및 5)를 추출할 수 있다. 이 동작에서, 프로세서(150)는 추출된 상기 복수의 제2 오브젝트(1 및 5) 각각의 이미지 데이터 설정과 관련한 제1 사용자 인터페이스를 출력할 수 있다. 상기 제1 사용자 인터페이스는 예컨대, 복수의 제2 오브젝트(1 및 5)에 대한 이미지 콘텐츠 및 복수의 제2 오브젝트(1 및 5) 각각의 이미지 데이터 설정 여부를 제어할 수 있는 제어 탭(tap)을 포함할 수 있다. 전자 장치(100) 사용자는 상기 제어 탭 상에 인가하는 사용자 입력(예: 터치)을 기반으로 복수의 제2 오브젝트(1 및 5)에 대한 이미지 데이터 설정 여부를 제어할 수 있다. 일 실시 예에서, 사용자가 상기 복수의 제2 오브젝트(1 및 5) 모두에 대하여 이미지 데이터 설정이 수행되지 않도록 제어하는 경우, 프로세서(150)는 상기 이미지 분석을 통하여 검출된 제1 오브젝트 중 상기 복수의 제2 오브젝트(1 및 5)를 제외한 나머지 오브젝트에 대하여 이미지 데이터 설정을 수행할 수 있다.
도 4b를 참조하면, 일 실시 예에서, 프로세서(150)는 카메라 모듈(110)의 제2 카메라(예: depth 카메라)에 의하여 촬영된 제2 영상(20)을 기반으로 상기 제2 영상(20)에 포함된 적어도 하나의 오브젝트에 대한 깊이 정보를 획득할 수 있다. 이 동작에서, 프로세서(150)는 예컨대, 상기 깊이 정보를 포함하는 제2 사용자 인터페이스를 출력할 수 있다. 상기 제2 사용자 인터페이스는 예컨대, 제2 영상(20)에 포함된 적어도 하나의 오브젝트에 대한 이미지 콘텐츠 및 각각의 오브젝트에 대응하는 깊이 정보를 포함할 수 있다. 전자 장치(100) 사용자는 상기 제2 사용자 인터페이스를 기반으로 이미지 데이터 설정을 적용할 적어도 하나의 오브젝트를 선택할 수 있다. 예를 들어, 사용자가 상기 제2 사용자 인터페이스에 포함된 적어도 하나의 특정 이미지 콘텐츠(예: 오브젝트(1 및 5)에 대응하는 이미지 콘텐츠) 상에 사용자 입력(예: 터치)을 인가하는 경우, 프로세서(150)는 상기 제2 영상(20) 상에서 상기 특정 이미지 콘텐츠의 해당 오브젝트(1 및 5)를 포함하는 적어도 하나의 레이어를 제외하고, 나머지 레이어에 대한 이미지 데이터 설정을 수행할 수 있다.
도 4c를 참조하면, 외부 장치(300)는 전자 장치(100)로부터 상기 이미지 데이터 설정 정보 및 제1 영상(도 4a의 10) 데이터를 수신하고, 투명 디스플레이(130a) 상에 상기 제1 영상(10)을 표시할 수 있다. 상기 이미지 데이터 설정 정보에는 도 4a 또는 4b를 통하여 상술한 상기 제1 사용자 인터페이스 또는 제2 사용자 인터페이스에 따른 사용자 제어 정보가 포함될 수 있다. 상기 이미지 데이터 설정 정보에 따르면, 외부 장치(300)의 투명 디스플레이(130a) 화면 영역 중 적어도 일부에는 전자 장치(100) 사용자에 의하여 이미지 데이터 설정이 수행되지 않도록 제어된 오브젝트(1 및 5) 또는, 전자 장치(100) 사용자에 의하여 선택된 이미지 콘텐츠에 대응하는 오브젝트(1 및 5)가 표시될 수 있다. 또한, 상기 투명 디스플레이(130a)의 화면 영역 중 나머지 일부에서는 이미지 데이터 설정에 따른 알파(α) 값(예: 1 내지 100을 기준하여 100) 또는 R, G, B 계조 값(예: 255)에 의한 광 투과도로 인하여 투명 디스플레이(130a)의 후방에 배치된 임의의 오브젝트(예: 책)가 가시될 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 운용 환경을 도시한 도면이다.
도 5를 참조하면, 전자 장치(100)의 프로세서(도 1의 150)는 카메라 모듈(도 1의 110)에 의하여 촬영되는 제1 영상(도 2a, 도 3a 또는 도 4a의 10) 및 제2 영상(도 2b, 도 3b 또는 도 4b의 20)을 실시간 또는 지정된 주기로 참조하여 전자 장치(100)와 사용자(1) 간의 이격 거리를 산출할 수 있다. 예를 들어, 프로세서(150)는 제1 영상(10) 상에서 지정된 오브젝트(예: 인체)를 추출하고, 제2 영상(20)과의 매핑 분석을 통하여 상기 지정된 오브젝트의 깊이 정보를 획득함으로써, 전자 장치(100)와 사용자(1) 간의 거리 변화를 추적할 수 있다. 또는, 프로세서(150)는 제1 영상(10) 또는 제2 영상(20)에 대한 분석을 기반으로 카메라 모듈(110)의 화각 범위(θ) 내에 사용자(1)가 존재하는지 여부를 판단할 수 있다.
일 실시 예에서, 프로세서(150)는 사용자(1)와의 거리 정보 또는 지정된 범위(예: 카메라 모듈(110)의 화각 범위) 내의 사용자(1) 존재 여부 판단을 기반으로 전자 장치(100)의 특정 기능 운용을 제어할 수 있다. 예를 들어, 프로세서(150)는 지정된 거리(r) 또는 범위(θ) 내에 사용자(1)가 존재하는 것으로 판단되는 경우, 전자 장치(100)의 통화 기능을 영상 통화 기능으로 운용 또는 유지시킬 수 있다. 만일, 사용자(1)가 상기 지정된 거리(r) 또는 범위(θ) 내에 존재하지 않는 것으로 판단되는 경우, 프로세서(150)는 전자 장치(100)의 통화 기능을 음성 통화 기능으로 운용 또는 유지시킬 수 있다.
상술한 다양한 실시 예에 따른 전자 장치는, 지정된 화각(angle of view)을 기반으로 영상을 촬영하는 적어도 하나의 카메라 모듈, 상기 영상을 표시하는 디스플레이 및, 상기 카메라 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 영상 내에서 복수의 오브젝트를 검출하고, 상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관련한 이미지 데이터의 설정을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 외부 장치와의 통신을 수행하는 통신 인터페이스를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 통신 인터페이스를 기반으로 상기 이미지 데이터 설정이 수행된 영상에 관련한 정보를 상기 외부 장치로 송신할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 이미지 데이터 설정이 수행된 영상에 관련한 정보의 송신 여부를 제어할 수 있는 사용자 인터페이스를 출력할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 지정된 오브젝트에 관련한 정보를 데이터베이스로 저장하는 메모리를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 데이터베이스를 기반으로 상기 복수의 오브젝트 중 지정된 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 복수의 오브젝트 중 상기 지정된 오브젝트와 지정된 관계를 갖는 적어도 하나의 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 오브젝트 및 상기 지정된 관계를 갖는 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 카메라 모듈은 상기 영상에 포함된 복수의 오브젝트에 대한 깊이(depth) 정보를 획득할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 깊이 정보를 기반으로 상기 복수의 오브젝트 중 지정된 깊이 이내의 적어도 하나의 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 깊이 이내의 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 알파(α) 값을 지정된 값으로 설정할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 R, G, B 계조를 지정된 값으로 설정할 수 있다.
도 6은 일 실시 예에 따른 전자 장치의 콘텐츠 처리 방법을 도시한 도면이다.
도 6을 참조하면, 동작 601에서, 전자 장치(도 1의 100)는 카메라 모듈(도 1의 110)을 기반으로 상기 전자 장치의 주변 영역에 대한 영상(예: still image 또는 video 등)을 촬영할 수 있다. 일 실시 예에서, 상기 카메라 모듈은 제1 카메라 및 제2 카메라를 포함할 수 있다. 상기 제1 카메라 및 제2 카메라 중 어느 하나는 예컨대, 3D depth 카메라를 포함할 수 있다. 카메라 모듈에 의하여 촬영된 적어도 하나의 영상은 전자 장치의 메모리(도 1의 120)에 저장될 수 있다.
동작 603에서, 전자 장치의 프로세서(도 1의 150)는 카메라 모듈 또는 상기 메모리로부터 영상을 획득하여 이미지 분석(예: 윤곽선 검출 필터 또는 액티브 컨투어 모델을 기반으로 하는 이미지 프로세싱)을 수행하고, 상기 영상에 포함된 적어도 하나의 오브젝트(이하, 제1 오브젝트라 함)를 검출할 수 있다. 또는, 프로세서는 3D depth 카메라에 의하여 촬영된 영상을 기반으로, 상기 영상 상에서 지정된 깊이 이내의 오브젝트(이하, 제2 오브젝트라 함)를 포함하는 레이어를 검출할 수 있다.
동작 605에서, 프로세서는 상기 제1 오브젝트 중에서 지정된 오브젝트(예: 인체)(이하, 제3 오브젝트라 함)를 추출할 수 있다. 이 동작에서, 프로세서는 상기 메모리에 구축된 데이터베이스(예: 지정된 오브젝트(인체)의 형상, 특징점 또는 윤곽선 등의 정보를 포함하는 데이터베이스)를 참조할 수 있다. 예를 들어, 프로세서는 상기 데이터베이스 참조를 기반으로, 상기 제1 오브젝트 중 상기 지정된 오브젝트의 형상, 특징점 또는 윤곽선과 지정된 비율 이상으로 일치하는 오브젝트를 식별하여, 영상 내에서(또는, 상기 제1 오브젝트 중에서) 제3 오브젝트를 추출할 수 있다. 일 실시 예에서, 프로세서는 상기 제1 오브젝트 중 추출된 제3 오브젝트를 제외한 나머지 오브젝트를 상기 이미지 데이터 설정 대상으로 판단할 수 있다. 또는, 프로세서는 상기 영상을 구성하는 복수의 레이어 중, 상기 제2 오브젝트를 포함하는 레이어를 제외한 나머지 레이어에 대하여 상기 이미지 데이터 설정 대상으로 판단할 수 있다.
동작 607에서, 프로세서는 상기 이미지 데이터 설정 대상으로 판단된 적어도 하나의 오브젝트 또는 레이어에 대하여 이미지 데이터 설정을 수행할 수 있다. 일 실시 예에서, 프로세서는 상기 이미지 데이터 설정을 기반으로, 디스플레이(도 1의 130)(예: 투명 디스플레이)의 화면 영역에서 상기 이미지 데이터 설정 대상으로 판단된 오브젝트 또는 레이어에 대응하는 영역의 광 투과도를 제어할 수 있다. 예를 들어, 프로세서는 상기 이미지 데이터 설정 대상으로 판단된 오브젝트 또는 레이어의 이미지 데이터에 대하여 알파(α) 값을 지정된 값(예: 1 내지 100을 기준하여 100)으로 설정할 수 있다. 또는, 프로세서는 상기 이미지 데이터 설정 대상으로 판단된 오브젝트 또는 레이어의 이미지 데이터에 대하여 R, G, B 계조를 지정된 값(예: 255)으로 설정할 수 있다.
동작 609에서, 전자 장치는 상기 이미지 데이터 설정에 대한 정보 및 카메라 모듈에 의하여 촬영된 영상(예: 제1 카메라에 의한 영상) 데이터를 상기 전자 장치와 상호작용하는 외부 장치(도 1의 300)로 송신할 수 있다. 일 실시 예에서, 상기 외부 장치에 구비된 디스플레이는 투명 디스플레이를 포함할 수 있다. 이에 따라, 전자 장치로부터 수신한 영상을 표시하는 상기 외부 장치의 투명 디스플레이 화면 영역 중 적어도 일부에는 상기 제2 오브젝트(예: 전자 장치가 촬영한 영상 상에서 지정된 깊이 이내의 깊이 값을 갖는 오브젝트) 또는 제3 오브젝트(예: 전자 장치가 촬영한 영상 상에서 지정된 윤곽선 또는 특징점을 갖는 오브젝트)가 표시될 수 있다. 또한, 상기 투명 디스플레이의 화면 영역 중 나머지 일부에서는 이미지 데이터 설정에 따른 알파(α) 값(예: 1 내지 100을 기준하여 100) 또는 R, G, B 계조 값(예: 255)에 의한 광 투과도로 인하여 상기 투명 디스플레이의 후방에 배치된 임의의 오브젝트가 가시될 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 영상 처리 방법은, 지정된 오브젝트에 관련한 정보를 데이터베이스로 구축하는 동작, 영상을 촬영하는 동작, 상기 영상 내에서 복수의 오브젝트를 검출하는 동작, 및 상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관련한 이미지 데이터의 설정을 수행하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 콘텐츠 처리 방법은 상기 이미지 데이터 설정이 수행된 영상에 관련한 정보를 외부 장치로 송신하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 송신하는 동작은 상기 이미지 데이터 설정이 수행된 영상에 관계한 정보의 송신 여부를 제어할 수 있는 사용자 인터페이스를 출력하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 오브젝트를 검출하는 동작은 상기 데이터베이스를 기반으로 상기 복수의 오브젝트 중 지정된 오브젝트를 추출하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 데이터의 설정을 수행하는 동작은 상기 복수의 오브젝트 중 상기 지정된 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 오브젝트를 검출하는 동작은 상기 복수의 오브젝트 중 상기 지정된 오브젝트와 지정된 관계를 갖는 적어도 하나의 오브젝트를 추출하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 데이터의 설정을 수행하는 동작은 상기 복수의 오브젝트 중 상기 지정된 오브젝트 및 상기 지정된 관계를 갖는 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 오브젝트를 검출하는 동작은 상기 복수의 오브젝트에 대한 깊이 정보를 기반으로 상기 복수의 오브젝트 중 지정된 깊이 이내의 적어도 하나의 오브젝트를 추출하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 데이터의 설정을 수행하는 동작은 상기 복수의 오브젝트 중 상기 지정된 깊이 이내의 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 데이터의 설정을 수행하는 동작은 상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 알파(α) 값을 지정된 값으로 설정하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 데이터의 설정을 수행하는 동작은 상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 R, G, B 계조를 지정된 값으로 설정하는 동작을 포함할 수 있다.
본 문서에 개시된 실시 예는, 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 지정된 화각(angle of view)을 기반으로 영상을 촬영하는 적어도 하나의 카메라 모듈;
    상기 영상을 표시하는 디스플레이; 및
    상기 카메라 모듈 및 상기 디스플레이와 전기적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 영상 내에서 복수의 오브젝트를 검출하고, 상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관련한 이미지 데이터의 설정을 수행하는, 전자 장치.
  2. 제1항에 있어서,
    외부 장치와의 통신을 수행하는 통신 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 기반으로 상기 이미지 데이터 설정이 수행된 영상에 관련한 정보를 상기 외부 장치로 송신하는, 전자 장치.
  3. 제1항에 있어서,
    지정된 오브젝트에 관련한 정보를 데이터베이스로 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 데이터베이스를 기반으로 상기 복수의 오브젝트 중 지정된 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 오브젝트 중 상기 지정된 오브젝트와 지정된 관계를 갖는 적어도 하나의 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 오브젝트 및 상기 지정된 관계를 갖는 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는, 전자 장치.
  5. 제1항에 있어서,
    상기 카메라 모듈은,
    상기 영상에 포함된 복수의 오브젝트에 대한 깊이(depth) 정보를 획득하고,
    상기 프로세서는,
    상기 깊이 정보를 기반으로 상기 복수의 오브젝트 중 지정된 깊이 이내의 적어도 하나의 오브젝트를 추출하고, 상기 복수의 오브젝트 중 상기 지정된 깊이 이내의 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 알파(α) 값을 지정된 값으로 설정하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 데이터 설정과 관련하여 상기 이미지 데이터에 포함된 R, G, B 계조를 지정된 값으로 설정하는, 전자 장치.
  8. 전자 장치의 영상 처리 방법에 있어서,
    지정된 오브젝트에 관련한 정보를 데이터베이스로 구축하는 동작;
    영상을 촬영하는 동작;
    상기 영상 내에서 복수의 오브젝트를 검출하는 동작; 및
    상기 디스플레이의 화면 영역에서 상기 복수의 오브젝트 중 적어도 하나의 오브젝트에 대응하는 영역이 지정된 광 투과도 값을 갖도록, 상기 적어도 하나의 오브젝트에 관련한 이미지 데이터의 설정을 수행하는 동작;을 포함하는, 콘텐츠 처리 방법.
  9. 제8항에 있어서,
    상기 이미지 데이터 설정이 수행된 영상에 관련한 정보를 외부 장치로 송신하는 동작;을 더 포함하는, 콘텐츠 처리 방법.
  10. 제8항에 있어서,
    상기 복수의 오브젝트를 검출하는 동작은,
    상기 데이터베이스를 기반으로 상기 복수의 오브젝트 중 지정된 오브젝트를 추출하는 동작;을 포함하는, 콘텐츠 처리 방법.
  11. 제10항에 있어서,
    상기 이미지 데이터의 설정을 수행하는 동작은,
    상기 복수의 오브젝트 중 상기 지정된 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작;을 포함하는, 콘텐츠 처리 방법.
  12. 제8항에 있어서,
    상기 복수의 오브젝트를 검출하는 동작은,
    상기 복수의 오브젝트 중 상기 지정된 오브젝트와 지정된 관계를 갖는 적어도 하나의 오브젝트를 추출하는 동작;을 포함하는. 콘텐츠 처리 방법.
  13. 제12항에 있어서,
    상기 이미지 데이터의 설정을 수행하는 동작은,
    상기 복수의 오브젝트 중 상기 지정된 오브젝트 및 상기 지정된 관계를 갖는 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작;을 포함하는, 콘텐츠 처리 방법.
  14. 제8항에 있어서,
    상기 복수의 오브젝트를 검출하는 동작은,
    상기 복수의 오브젝트에 대한 깊이 정보를 기반으로 상기 복수의 오브젝트 중 지정된 깊이 이내의 적어도 하나의 오브젝트를 추출하는 동작;을 포함하는, 콘텐츠 처리 방법.
  15. 제14항에 있어서,
    상기 이미지 데이터의 설정을 수행하는 동작은,
    상기 복수의 오브젝트 중 상기 지정된 깊이 이내의 적어도 하나의 오브젝트를 제외한 적어도 하나의 오브젝트에 관계되는 이미지 데이터를 설정하는 동작;을 포함하는, 콘텐츠 처리 방법.
PCT/KR2017/013106 2016-11-18 2017-11-17 영상 처리 방법 및 이를 지원하는 전자 장치 WO2018093197A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17870978.8A EP3537376A4 (en) 2016-11-18 2017-11-17 IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IMAGE PROCESSING
US16/462,261 US10958894B2 (en) 2016-11-18 2017-11-17 Image processing method and electronic device supporting image processing
US17/207,821 US11595633B2 (en) 2016-11-18 2021-03-22 Image processing method and electronic device supporting image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160154078A KR20180056174A (ko) 2016-11-18 2016-11-18 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
KR10-2016-0154078 2016-11-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/462,261 A-371-Of-International US10958894B2 (en) 2016-11-18 2017-11-17 Image processing method and electronic device supporting image processing
US17/207,821 Continuation US11595633B2 (en) 2016-11-18 2021-03-22 Image processing method and electronic device supporting image processing

Publications (2)

Publication Number Publication Date
WO2018093197A2 true WO2018093197A2 (ko) 2018-05-24
WO2018093197A3 WO2018093197A3 (ko) 2018-07-05

Family

ID=62146644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013106 WO2018093197A2 (ko) 2016-11-18 2017-11-17 영상 처리 방법 및 이를 지원하는 전자 장치

Country Status (4)

Country Link
US (2) US10958894B2 (ko)
EP (1) EP3537376A4 (ko)
KR (1) KR20180056174A (ko)
WO (1) WO2018093197A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430384A (zh) * 2019-08-23 2019-11-08 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220013235A (ko) * 2020-07-24 2022-02-04 삼성전자주식회사 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
JP2005267607A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム
US8203577B2 (en) 2007-09-25 2012-06-19 Microsoft Corporation Proximity based computer display
EP3671605A1 (en) * 2008-08-08 2020-06-24 Nikon Corporation Search supporting system, search supporting method and search supporting program
WO2010141023A1 (en) * 2009-06-04 2010-12-09 Hewlett-Packard Development Company, L.P. Video conference
US8682082B2 (en) * 2009-08-04 2014-03-25 Xerox Corporation Pictogram and ISO symbol decoder service
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US8957919B2 (en) 2010-04-05 2015-02-17 Lg Electronics Inc. Mobile terminal and method for displaying image of mobile terminal
KR101659958B1 (ko) 2010-04-05 2016-09-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 영상 표시 방법
US8928659B2 (en) 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
KR20120133640A (ko) * 2011-05-31 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
KR20130008746A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
KR101873759B1 (ko) * 2012-04-10 2018-08-02 엘지전자 주식회사 영상 표시 장치 및 그 제어방법
TWI576771B (zh) 2012-05-28 2017-04-01 宏碁股份有限公司 透明顯示裝置及其透明度調整方法
JP5660078B2 (ja) * 2012-05-31 2015-01-28 カシオ計算機株式会社 多クラス識別器、方法、およびプログラム
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
KR102255832B1 (ko) 2012-09-19 2021-05-26 삼성전자주식회사 투명 디스플레이 기기상에 정보를 디스플레이 하는 시스템 및 방법
TWI637312B (zh) 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
EP2752758A3 (en) * 2013-01-07 2016-10-26 LG Electronics Inc. Image display device and controlling method thereof
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器，画像表示機器，及び画像表示機器の表示制御方法
US20140347436A1 (en) * 2013-05-22 2014-11-27 Sony Corporation Portable transparent display with life-size image for teleconference
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9055186B2 (en) 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
KR20150026565A (ko) 2013-09-03 2015-03-11 엘지전자 주식회사 디스플레이 장치 및 그것의 제어방법
US9536493B2 (en) * 2013-09-25 2017-01-03 Samsung Electronics Co., Ltd. Display apparatus and method of controlling display apparatus
WO2016024288A1 (en) 2014-08-14 2016-02-18 Vats Nitin Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
US9602767B2 (en) 2014-10-10 2017-03-21 Microsoft Technology Licensing, Llc Telepresence experience
KR20170124559A (ko) * 2015-02-25 2017-11-10 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
EP3316592A4 (en) * 2015-06-29 2018-12-05 LG Electronics Inc. Display device and control method therefor
JP2016181004A (ja) 2016-06-24 2016-10-13 ソニー株式会社 情報処理装置、表示制御方法、プログラムおよび記憶媒体
US10198621B2 (en) * 2016-11-28 2019-02-05 Sony Corporation Image-Processing device and method for foreground mask correction for object segmentation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430384A (zh) * 2019-08-23 2019-11-08 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质
CN110430384B (zh) * 2019-08-23 2020-11-03 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质

Also Published As

Publication number Publication date
US20210211636A1 (en) 2021-07-08
US11595633B2 (en) 2023-02-28
US20190342540A1 (en) 2019-11-07
KR20180056174A (ko) 2018-05-28
EP3537376A2 (en) 2019-09-11
EP3537376A4 (en) 2019-11-20
US10958894B2 (en) 2021-03-23
WO2018093197A3 (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
KR102499110B1 (ko) 디스플레이 제어 방법 및 이를 사용하는 전자 장치
WO2018128475A1 (en) Augmented reality control of internet of things devices
WO2015186925A1 (en) Wearable device and method for providing augmented reality information
WO2018101773A1 (en) Electronic device and operating method thereof
WO2018026202A1 (ko) 펜과 관련된 정보를 판단하는 터치 감지 장치 및 그 제어 방법과 펜
WO2019182403A1 (en) Method for supporting user input and electronic device supporting the same
WO2018143642A1 (en) Electronic device and method for determining touch coordinate thereof
WO2015122616A1 (en) Photographing method of an electronic device and the electronic device thereof
WO2017119710A1 (en) Electronic device and operating method thereof
WO2016036122A1 (en) Electronic device and display method thereof
KR20160051411A (ko) 외부의 물체를 제어하는 전자 장치 및 그 방법
WO2018074798A1 (en) Electronic device and method for controlling display in electronic device
WO2018143675A1 (ko) 생체 센서를 제어하는 방법 및 전자 장치
WO2018084613A1 (en) Display operating method and electronic device supporting the same
WO2017082554A1 (ko) 액세서리 장치를 감지하는 전자장치 및 그의 동작 방법
WO2018105955A2 (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
WO2018151447A1 (ko) 피사체의 이미지를 획득하기 위한 인터페이스를 제공하는 방법 및 전자 장치
WO2018093197A2 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2018131852A1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
WO2016093533A1 (en) Electronic device and display method thereof
WO2018182282A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2018066843A1 (ko) 전자 장치 및 그의 동작 방법
KR102568387B1 (ko) 전자 장치 및 그의 데이터 처리 방법
EP3513269A1 (en) Electronic device comprising electromagnetic interference sensor
WO2016208931A1 (ko) 보조 장치를 가지는 전자 장치 및 그의 문자 수신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870978

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017870978

Country of ref document: EP

Effective date: 20190606