KR102174767B1 - 프라이버시 모드를 갖춘 카메라 - Google Patents

프라이버시 모드를 갖춘 카메라 Download PDF

Info

Publication number
KR102174767B1
KR102174767B1 KR1020157016298A KR20157016298A KR102174767B1 KR 102174767 B1 KR102174767 B1 KR 102174767B1 KR 1020157016298 A KR1020157016298 A KR 1020157016298A KR 20157016298 A KR20157016298 A KR 20157016298A KR 102174767 B1 KR102174767 B1 KR 102174767B1
Authority
KR
South Korea
Prior art keywords
camera
privacy
background
meeting
scene
Prior art date
Application number
KR1020157016298A
Other languages
English (en)
Other versions
KR20150097536A (ko
Inventor
로스 커틀러
라민 메란
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150097536A publication Critical patent/KR20150097536A/ko
Application granted granted Critical
Publication of KR102174767B1 publication Critical patent/KR102174767B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H04N5/23216—
    • H04N5/23229—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

카메라들로 이루어진 어레이 또는 RGBZ 카메라(들)를 포함하는 라이트필드 카메라와 같은 프라이버시 카메라는 선택된 프라이버시 모드에 따라 이미지들을 캡처하고 이미지들을 디스플레이하는 데 사용된다. 프라이버시 모드는 흐릿한 배경 모드 및 배경 대체 모드를 포함할 수 있고, 미팅 타입, 참가자들, 위치, 및 디바이스 타입에 기초하여 자동으로 선택될 수 있다. 관심 구역 및/또는 관심 대상(들)(예컨대, 전경(foreground)에 있는 1명 이상의 사람)이 결정되고, 프라이버시 카메라는 선택된 프라이버시 모드에 따라 관심 구역/대상을 선명하게 보여주는 한편, 배경을 희미하게 하거나 또는 대체하도록 구성된다. 디스플레이된 이미지는 선명하게 보여지는 관심 구역/대상(들)(예컨대, 정초점)과, 제한된 심도(예컨대, 흐림/탈초점)로 도시된 조합된 이미지의 배경이나, 및/또는 다른 이미지 및/또는 필로 대체된 배경 내의 임의의 대상들을 포함한다.

Description

프라이버시 모드를 갖춘 카메라{CAMERA WITH PRIVACY MODES}
영상 회의는 가정 및 직장 모두에서 더욱 대중화되고 있다. 그러나, 많은 유저들은 공유된 직장 또는 가정 환경에서의 자신들의 배경을 다른 참가자들에게 선명하게 보여주고 싶지 않을 수 있다. 예컨대, 배경은 지저분할 수 있으며, 산만함 속에 은밀한 정보가 포함되어 있는 경우 등이 있다. 몇몇 영상 회의 시스템들은 배경 대체물(예컨대, 그린 스크린(green screen)/정지상태의 배경)을 이용하거나 또는 흐릿하게 만드는 기능(blurring capability)을 포함할 수 있지만, 이들 방법은 시행하기 어려울 수 있거나(예컨대, 그린 스크린을 요함) 또는 장면 내의 콘텐트의 디스플레이에 악영향을 줄 수 있다(예컨대, 현저한 이미지 아티팩트(image artifact)를 가짐).
이 요약은 발명을 실시하기 위한 구체적인 내용에서 더 후술되는 개념들의 선택을 간략화된 형태로 소개하기 위해 제공된다. 이 요약은 청구 요지의 핵심 특징들 또는 본질적인 특징들을 확인하려는 것이 아닐 뿐만 아니라, 청구 요지의 범위를 제한하는 데 이용되게 하려는 것도 아니다.
카메라들로 이루어진 어레이 또는 RGBZ(RGB+깊이) 카메라(들)를 포함하는 라이트필드 카메라(light field camera)와 같은 프라이버시 카메라는 선택된 프라이버시 모드에 따라 이미지들을 캡처하고 이미지들을 디스플레이하는 데 사용된다. 프라이버시 모드는 흐릿한 배경 모드 및 배경 대체 모드를 포함할 수 있다. 관심 구역 및/또는 관심 대상(들)(예컨대, 전경(foreground)에 있는 1명 이상의 사람)이 결정되고, 프라이버시 카메라는 선택된 프라이버시 모드에 따라 관심 구역/대상 및 배경을 선명하게 보여주도록 구성된다(예컨대, 카메라의 타입에 의존). 디스플레이된 이미지는 선명하게 보여지는 관심 구역/대상(들)(예컨대, 정초점(in focus))과, 제한된 심도(예컨대, 흐릿함/탈초점(blurry/not in focus))로 도시된 조합된 이미지의 배경이나, 및/또는 다른 이미지 및/또는 필(fill)로 대체된 배경 내의 임의의 대상들을 포함한다. 프라이버시 카메라는 장면 내의 대상에 대한 깊이 추정치를 결정하는 데 사용될 수도 있다.
도 1은 프라이버시 카메라를 사용하기 위한 시스템을 도시한 것이다.
도 2는 라이트필드 카메라에서 사용된 카메라들로 이루어진 어레이의 예시적인 배치구조를 도시한 것이다.
도 3a 및 도 3b는 비-프라이버시 모드 및 프라이버시 모드를 도시하는 예시적인 디스플레이들을 나타낸 것이다.
도 4 및 도 5는 카메라 디바이스를 사용해서 프라이버시 모드를 생성하기 위한 예시적인 프로세스들을 도시한 것이다.
도 6은 프라이버시 카메라를 사용하는 영상 회의 시스템을 나타낸 것이다.
도 7은 실시예들이 구현될 수 있는 네트워크화된 환경을 도시한 것이다.
도 8은 프라이버시 카메라의 예시적인 시스템을 나타낸 것이다.
도 9 내지 도 11 및 연관된 기재들은 본 발명의 실시예들을 실행할 수 있는 다양한 운영 환경들의 논의를 제공한다.
이제, 유사한 참조번호들이 유사한 요소들을 나타내고 있는 도면들을 참조하여, 다양한 실시예가 기술될 것이다.
도 1은 프라이버시 카메라를 사용하기 위한 시스템을 도시한다. 도시된 바와 같이, 시스템(100)은 애플리케이션 프로그램(110), 카메라 매니저(26), 및 프라이버시 카메라(120)를 포함하는 터치 스크린 입력 디바이스/디스플레이(110)를 포함한다.
카메라 매니저(26)와의 통신이 가능하도록, 하나 이상의 콜백(callback) 루틴이 수행될 수 있다. 일 실시예에 따르면, 애플리케이션 프로그램(110)은 MICROSOFT LYNC와 같은 영상 회의 애플리케이션이다. 애플리케이션 프로그램은 프라이버시 모드를 사용해서 화상의 특징을 이용하는 다른 프로그램들일 수 있다. 도시된 바와 같이, 애플리케이션 프로그램(110)은 터치식 입력 디바이스(110) 및/또는 다른 입력 디바이스들로부터의 입력을 수신하도록 구성된다. 그러한 입력으로는, 예컨대, 음성 입력, 키보드 입력(예컨대, 물리 키보드 및/또는 SIP), 영상 기반의 입력 등이 있다. 예컨대, 카메라 매니저(26)는, 유저 인터페이스 요소를 선택하고, 관심 구역/대상을 선택하고, 콘텐트 및 터치 기반 제스처들과 상호작용하는 유저의 제스처에 응하여 애플리케이션(110)에 정보를 제공할 수 있다. 예컨대, 제스처로서는, 집기(pinch) 제스처; 늘이기(stretch) 제스처; 선택(select) 제스처(예컨대, 디스플레이된 요소를 두드리는 탭(tap) 동작); 선택 및 유지(select and hold) 제스처(예컨대, 디스플레이된 요소를 두드려서 유지하는 탭 및 홀드 제스처); 스와이핑 동작(swiping action) 및/또는 드래그하는 동작(dragging action) 등을 포함할 수 있지만, 이들에 한정되는 것은 아니다.
도시된 바와 같은 시스템(100)은 터치 입력을 수신한 시기(예컨대, 터치 스크린을 손가락 터치하거나 또는 거의 터치함)를 검출하는 터치 스크린 입력 디바이스/디스플레이(110)를 포함한다. 유저의 터치 입력을 검출하는 임의의 타입의 터치 스크린을 이용할 수 있다. 예컨대, 터치 스크린은 터치 입력을 검출하는 하나 이상의 정전용량 재료층을 포함할 수 있다. 정전용량 재료에 더하여 또는 그것을 대신하여 다른 센서들이 사용될 수도 있다. 예컨대, 적외선(IR) 센서들이 사용될 수 있다. 실시예에 따르면, 터치 스크린은 터치 가능한 표면과 접촉하거나 그 위에 있는 대상들을 검출하도록 구성된다. 명세서에서는 "위(above)"라는 용어가 사용되고 있지만, 터치 패널 시스템의 방위와는 관계없는 것으로 이해되어야 한다. "위"라는 용어는 상기와 같이 모든 방위에 적용 가능한 것으로 의도된다. 터치 스크린은 터치 입력이 수신되는 위치들(예컨대, 시점, 중간점 및 종점)을 결정하도록 구성될 수 있다. 터치 가능한 표면과 대상 사이의 실제 접촉은, 예컨대 터치 패널에 결합된 진동 센서 또는 마이크로폰과 같은 임의의 적절한 수단에 의해 검출될 수 있다. 접촉을 검출하기 위한 센서들에 대한 예시들의 비-포괄적인 리스트는 압력-기반 메커니즘, 미세-기계식 가속도계, 압전식 디바이스, 정전용량 센서, 저항 센서, 유도형 센서, 레이저 진동계, 및 LED 진동계를 포함한다.
프라이버시 카메라(120)는 이미지들을 기록하도록 구성되어 있으며, 정초점으로 관심 구역/대상(들)을 디스플레이하고, 또한 탈초점(예컨대, 흐릿한)으로 배경에 있는 대상들과 같은 다른 대상들을 디스플레이하거나, 및/또는 이미지/필(fill)로 대체된 배경을 디스플레이하는 프라이버시 모드를 포함한다. 실시예에 따르면, 프라이버시 카메라(120)는 카메라들로 이루어진 마이크로렌즈 어레이(예컨대, 3×2, 3×3, ...)를 이용해서 장면의 4D 라이트필드를 캡처하는 라이트필드(플렌옵틱(plenoptic)) 카메라이다(카메라들로 이루어진 예시적인 어레이들에 대해서는 도 2 참조). 프라이버시 카메라(120)는 다른 센서들/카메라(들)를 이용해서 구현될 수도 있다. 예컨대, 프라이버시 카메라(120)는 RGBZ 카메라(단일 센서 RGBZ, MICROSOFT KTNECT와 같은 2 센서 RGB + 깊이, 등)일 수 있다. 실시예에 따르면, 카메라 매니저(26)는 라이트필드 카메라의 상이한 카메라들로부터 취득한 이미지들을 수정하고, 관심 구역/대상(예컨대, 전경에 있는 1명 이상의 사람)을 결정한다. 이후, 카메라 매니저(26)는 검출된 관심 구역/대상(들)을 포함하는 제한된 심도를 갖도록 프라이버시 카메라(120)를 구성한다. 실시예에 따르면, 프라이버시 카메라(120)를 구성한 후에, 가시 영역(viewable area)(152)이 생성되며, 여기서, 가시 영역 안에 있는 대상(들)은 선명하게 도시되고(예컨대, 영상 참가자(121)), 불가시 영역(unviewable area)(154) 안에 있는 대상은 영상 참가자(121)의 뒤에 도시되는 화이트보드(122)와 같이 제한된 심도로 인해 탈초점으로(예컨대, 흐릿하게) 도시된다. 다른 실시예에 따르면, 배경은 이미지(예컨대, 유저 선택되거나 및/또는 미리 정해짐) 및/또는 필(예컨대, 배경의 평준화)로 대체될 수 있다. 카메라 매니저(26)는 상이한 카메라들로부터의 이미지들을 결합해서, 선명하게 도시된 (예컨대, 정초점) 관심 대상들과, 흐릿하게 도시된 (예컨대, 탈초점) 배경에 있는 임의의 대상들 및/또는 필/이미지로 대체된 배경을 포함하는 단일 이미지를 생성한다. 다수의 카메라가 사용될 경우에는, 상이한 카메라 센서들 사이의 거리로 인해 배경에 있는 대상들이 흐릿하게 보인다. 배경을 흐릿하게 만들기 위해 배경 분절화(background segmentation)를 이용하려 하는 대신에, 라이트필드 카메라로부터 취득한 상이한 이미지들의 결합을 통해 흐릿하게 만드는 효과를 생성한다. 일반적으로, 라이트필드에 포함되는 카메라가 많을수록, 불가시 영역(154)(예컨대, 배경)에 있는 더 많은 대상들이 흐릿하게 보인다(도 3 참조). 프라이버시 카메라(120)는 장면 내의 대상에 대한 깊이 추정치를 결정하기 위해 카메라 매니저에 의해 사용될 수도 있다. 예컨대, 깊이 추정치를 결정하기 위해 라이트필드에 있는 한 쌍의 카메라가 사용될 수 있다. 깊이 추정치를 결정하기 위해 다른 거리 측정 장치가 사용될 수 있다(예컨대, 전파 측정 시간(measures time of flight)). 라이트필드 카메라는, 통상적으로 슬레이트 장치, 모바일 전화기, 데스크톱 컴퓨터 등에 포함되는 바와 같은 컴퓨팅 디바이스에 의해 사용되는 단일 카메라에 비해, 양호한 신호대 잡음비(SNR)를 또한 제공한다. 배경 흐림 및/또는 배경 대체로 인해, 사용되는 대역폭이 감소될 수도 있다. 실시예에 따르면, 유저는 유저 인터페이스 요소(예컨대, 버튼, 슬라이더 등)를 이용하여 상이한 프라이버시 모드들을 선택해서 배경에 도시되는 상세의 정도를 변화시키거나, 및/또는 배경의 디스플레이에서 사용되는 필/이미지를 선택할 수 있다. 보다 상세하게는 후술한다.
도 2는 라이트필드 카메라에 사용된 카메라들로 이루어진 어레이의 예시적인 배치구조를 도시한다. 도시된 바와 같이, 도 2는 어레이(210), 어레이(220), 어레이(240) 및 어레이(250)를 도시한다.
실시예에 따르면, 카메라들은 사이즈가 각각 2.5×2.5×2.5mm인 1/13인치의 광학 포맷을 갖는 OMNIVISION사제의 OV7690 VGA 이미지 센서들이다. 다른 카메라들이 사용될 수 있다. 예컨대, 사이즈가 각각 4.0×3.0×2.5mm인 OMNIVISION OVM2722와 같은 720p 카메라가 사용될 수도 있다. 일반적으로, 카메라들은 원하는 해상도, 사이즈, 및 기준 소매가에 기초하여 선택된다. 베이어(Bayer) 필터가 사용될 수 있거나, 및/또는 몇몇 다른 필터(예컨대, R, G, B, W의 조합)가 사용될 수 있다. 카메라들로 이루어진 어레이는 좁은 공간에 적합하며, 현재의 보편적인 전자 컴퓨팅 디바이스들(예컨대, 노트북, 태블릿, 전화기, 데스크톱 웹캠 등)의 프레임 내에 배치될 수 있다. 또한, 이들 서로 다른 카메라들은 일반적으로 저렴하다.
어레이(210)는 베이스에 6대의 카메라(211-216)가 배치되어 있는 3×2 어레이를 도시한다. 실시예에 따르면, 상이한 어레이들에 의해 사용되는 베이스는 모바일 컴퓨팅 디바이스에 쉽게 합체될 수 있도록 30mm×30mm보다 작다. 실시예에 따르면, 6대의 카메라는 카메라(211)의 중심에서 카메라(213)의 중심까지 대략 20mm의 전체 폭 및 카메라(211)의 중심에서 카메라(214)의 중심까지 대략 10mm의 높이를 갖는 어레이에 배치된다. 어레이(210)는 노트북, 태블릿 및/또는 전화기와 같은 소형 휴대용 전자 기기에 대하여 구성될 수 있다.
어레이(220)는 9대의 카메라(241-249)로 이루어진 3×3 어레이를 도시한다. 실시예에 따르면, 9대의 카메라는 카메라(241)의 중심에서 카메라(243)의 중심까지 대략 20mm의 전체 폭 및 카메라(241)의 중심에서 카메라(247)의 중심까지 대략 20mm의 높이를 갖는 어레이에 배치된다. 실시예에 따르면, 어레이(220)는 데스크톱 웹캠과 같은 약간 대형의 전자 기기에 대하여 구성될 수 있다.
어레이(240)는 15대의 카메라(221-235)로 이루어진 5×3 어레이를 도시한다. 실시예에 따르면, 15대의 카메라는 카메라(221)의 중심에서 카메라(225)의 중심까지 대략 30mm의 전체 폭 및 카메라(221)의 중심에서 카메라(231)의 중심까지 대략 20mm의 높이를 갖는 어레이에 배치된다.
어레이(250)는 카메라들(1 내지 N)로 이루어진 N×N 어레이를 도시한다. 실시예에 따르면, 카메라들은 카메라들에 대한 원하는 폭 및 높이에 기초한 어레이에 배치된다.
어레이들 내의 각각의 카메라는 이미지를 카메라 매니저(26)에게 제공하도록 구성된다. 어레이 내에는 다수의 카메라가 포함되기 때문에, 1대 이상의 카메라 내부의 픽셀들의 고장률은 어레이 내의 다른 카메라들에 근거하여 보상될 수 있다. 어레이 내에서는 1대 또는 그 이상의 카메라가 고장일 수도 있지만, 여전히 프라이버시 모드가 제공된다.
도 3a 및 도 3b는 비-프라이버시 모드 및 프라이버시 모드를 도시하는 예시적인 디스플레이들을 나타낸다. 도시된 바와 같이, 도 3a는 디스플레이(300), 디스플레이(310) 및 디스플레이(320)를 포함한다.
디스플레이(300)는 카메라에 대하여 프라이버시 모드를 활성화하지 않고 장면의 이미지를 도시하는 예시적인 디스플레이를 도시한다. 도면에서 알 수 있듯이, 장면 내의 대상들 각각은 선명하게 보이고 읽을 수 있다.
디스플레이(310)는 프라이버시 모드를 이용하여 디스플레이된 예시적인 장면을 도시한다. 도면에서 알 수 있듯이, 배경에 있는 대상들(311, 312)은 관심 대상(영상 참가자)에 비해 제한된 심도로 인해 정초점으로 도시되지 않는다(예컨대, 흐림).
디스플레이(320)는 프라이버시 모드를 이용하여 디스플레이된 예시적인 장면을 도시한다. 도면에서 알 수 있듯이, 배경에 있는 대상들(321, 322)은 관심 대상(영상 참가자)에 비해 탈초점으로 도시된다. 디스플레이(320)에 있는 배경 대상들은 디스플레이(310)에 있는 배경 대상들에 비해 더 흐릿하게 보인다. 프라이버시 카메라에서 보다 대형의 카메라 어레이를 이용하거나 및/또는 어레이 내에서 카메라들의 간격을 상이하게 함으로써, 흐릿하게 만드는 효과를 더욱 크게 할 수 있다.
도 3b는 배경을 필과 이미지로 대체한 것을 도시한다. 도시된 바와 같이, 도 3b는 디스플레이(330) 및 디스플레이(340)를 포함한다.
디스플레이(330)는 배경이 필(335)로 도시되어 있는 프라이버시 모드를 이용하여 디스플레이된 예시적인 장면을 도시한다. 도면에서 알 수 있듯이, 배경에 있는 대상들(예컨대, 디스플레이(310)에 있는 311, 312 참조)은 필(335)에 의해 덮이지만, 관심 대상(영상 참가자)은 그대로 선명하게 도시된다. 실시예에 따르면, 필(335)은 배경 대상들의 평준화이다. 다른 필/필 패턴들이 사용될 수 있다. 예컨대, 미리 정해진 및/또는 유저 선택의 필 패턴들은 선택될 수 있다(예컨대, 자동으로/수동으로).
디스플레이(340)는 배경이 배경 이미지(345)로 대체되어 있는 프라이버시 모드를 이용하여 디스플레이된 예시적인 장면을 도시한다. 도면에서 알 수 있듯이, 배경에 있는 대상들(예컨대, 디스플레이(310)에 있는 311, 312 참조)은 배경 이미지(345)로 덮이지만, 관심 대상(영상 참가자)은 그대로 선명하게 도시된다. 배경 이미지(345)는 자동으로/수동으로 결정될 수 있다. 예컨대, 유저는 배경 이미지(345)를 선택할 수 있다. 상이한 배경 이미지들 및/또는 필들이 사용될 수 있다. 예컨대, 가족 구성원과의 화상 대화를 위해서는 파리(Paris)의 배경 이미지가 사용될 수 있으며, 안전한 비지니스 미팅을 위해서는 민무늬 배경이 선택될 수 있거나, 및/또는 덜 안전한 비지니스 미팅을 위해서는 배경 흐림이 사용될 수 있다.
도 4 및 도 5는 카메라 디바이스를 이용해서 프라이버시 모드를 생성하는 예시적인 프로세스들(400 및 500)을 도시한다. 본원에 제시된 루틴들의 논의를 숙독하면, 다양한 실시예들의 논리 동작들이 (1) 컴퓨팅 시스템에서 가동하는 컴퓨터 구현 동작들 또는 프로그램 모듈들의 시퀀스로서 및/또는 (2) 컴퓨팅 시스템 내부의 상호접속된 기계 논리 회로들 또는 회로 모듈들로서 구현된다는 점을 인식해야 한다. 구현은, 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 의존하는 선택의 문제이다. 결국, 본원에 기술된 실시예들을 형성하는 것으로 예시된 논리 동작들은 동작들, 구조적 장치들, 동작들 또는 모듈들로서 다양하게 인용된다. 이들 동작들, 구조적 장치들, 동작들 및 모듈들은 소프트웨어로, 펌웨어로, 특수 목적 디지털 논리로, 및 그 임의의 조합으로 구현될 수 있다.
도 4는 영상 회의에서 상이한 프라이버시 모드들을 이용하여 프라이버시 카메라를 이용하는 예시를 도시한다.
개시 동작 이후에, 프로세스는 동작(410)으로 이동하고, 여기서 시야 내에 있는 사람들을 검출한다. 예컨대, 프라이버시 카메라로부터 사람들의 깊이가 결정될 수 있으며, 그들의 얼굴의 방위가 결정될 수 있는 등이다. 실시예에 따르면, 미리 정해진 영역 내에 있으며 영상 회의에 참가하고 있는 각각의 유저(예컨대, 프라이버시 카메라의 미리 정해진 거리 안에 있는 1명 이상의 사람)가 결정된다.
결정 동작(420)으로 진행해서, 프라이버시 모드가 결정된다. 프라이버시 모드는: 배경을 흐릿하게 하거나; 배경을 대체하거나; 또는 오프(off)(예컨대, 흐릿하게 하거나 또는 배경 대체를 하지 않음)로 될 수 있다. 프라이버시 모드는 수동으로/자동으로 결정될 수 있다. 선택되는 프라이버시 모드를 결정함에 있어서, 상이한 정보가 사용될 수 있다. 유저 프라이버시 선호도(412)는 프라이버시 모드를 선택하는 시기 및 프라이버시 모드가 설정될 때 어떤 이미지/필을 배경 대체로 선택할지를 규정하는 하나 이상의 용도에 대한 상이한 선호도들을 포함할 수 있다. 프라이버시 모드를 결정함에 있어서, 발호 정보(414)(예컨대, 참석자, 발호 위치, 디바이스 타입)가 또한 사용될 수 있다. 예컨대, 선호도(412) 및/또는 발호 정보(414)는: 회사내 그룹내 미팅에서 이용하는 프라이버시 모드 M1; 회사내 그룹간 미팅에서 이용하는 모드 M2; 회사간 미팅에서 이용하는 모드 M3; 사람 X와의 미팅에서 이용하는 모드 M4; 자신의 스마트폰을 통한 미팅에서 이용하는 모드 M5; 가정으로부터의 사적인 통화에서 이용하는 모드 M6 등을 지정할 수 있다. 실시예에 따르면, 각각의 프라이버시 모드는 맞춤형의 흐릿한 세팅들 및 배경들(예컨대, 가족 구성원을 위한 파리, 안전한 비지니스 미팅을 위한 민무늬 배경, 덜 안전한 비지니스 미팅을 위한 흐릿한 배경, 비지니스 그룹 미팅을 위한 해칭된 배경)을 가질 수 있다.
결정된 프라이버시 모드가 배경 대체일 경우에는, 프로세스는 동작(430)으로 이동하고, 여기서 최소/최대 전경 깊이가 결정되고 배경은 이미지 및/또는 필로 대체된다. 예컨대, 전경 깊이들(최소, 최대)은 영상 회의에 참가하는 사람(들)을 검출하는 것에 의해 자동으로, 및/또는 유저로부터 선택들을 수신하는 것에 의해 수동으로 결정될 수 있다. 실시예에 따르면, 배경 대체를 위해, 전경/배경 분절화는 시계(FOV; field of view)에 있는 사람들의 수 및 그들 각각의 깊이에 기초하여 얼굴 검출기/사람 추적장치 및 깊이 추정치들을 이용해서 동적으로 설정된다. 결정된 배경 이미지/필은 전경에 있는 것으로 결정되지 않은 배경을 대체하는 데 사용된다.
결정된 프라이버시 모드가 배경 흐림일 경우에, 프로세스는 동작(440)으로 이동한다. 전경을 결정한 후에, 배경이 흐릿해진다. 배경은 상이한 정도들로 흐릿해질 수 있다(예컨대, 약간 흐릿해지는 경우부터 매우 흐릿해지는 경우까지). 실시예에 따르면, 배경 흐림이 프라이버시 모드일 때, 심도(DOF; Depth of Field)는 FOV에 있는 사람들의 수 및 그들 각각의 깊이에 기초하여 얼굴 검출기/사람 추적장치 및 깊이 추정치들을 이용해서 동적으로 설정된다. 배경 흐림 및 배경 대체는 서로 다른 타입들의 프라이버시 카메라들에 의해 서로 다르게 수행된다. 예컨대, 라이트필드 카메라들은 배경 흐림을 위해서는 깊이를 이용하지 않고, 배경 대체를 위해서 깊이 정보를 이용하는 반면, RGB + 깊이 카메라들은 배경 흐림 및 배경 대체를 위해 깊이를 이용한다.
도 5는 프라이버시 카메라를 이용하는 다른 프로세스를 도시한다.
개시 동작 이후에, 프로세스는 동작(510)으로 이동하고, 여기서 이미지들이 수신된다. 실시예에 따르면, 장면의 4D 라이트필드를 캡처하기 위해 카메라들로 이루어진 마이크로렌즈 어레이(예컨대, 3×2, 3×3, ...)를 이용하는 라이트필드(플렌옵틱) 카메라로부터 이미지들이 수신된다. 카메라들은 단일의 이미지 애플리케이션들 및/또는 다수의 이미지 애플리케이션들(예컨대, 영상 회의)에 사용될 수 있다. 실시예에 따르면, 카메라들은 염가이며 작아서, 카메라들로 이루어진 어레이가 모바일 퍼스널 컴퓨팅 디바이스(예컨대, 노트북, 슬레이트, 전화기, ...)에 포함될 수 있다.
동작(520)으로 이동하면, 취득한 이미지들을 공통 이미지로 변환해서 카메라들의 공간 관계를 설명하기 위해 이미지들이 수정된다.
동작(530)으로 이동하면, 하나 이상의 관심 구역/대상이 결정된다. 예컨대, 영상 회의 애플리케이션에 있어서, 통상은 영상 회의 참가자가 관심 대상이다. 일반적으로, 관심 구역/대상은 카메라들이 초점을 맞추도록 결정된 대상이다. 관심 구역/대상은 자동으로/수동으로 결정될 수 있다. 예컨대, 관심 대상(예컨대, 사람)을 자동으로 검출하기 위해 얼굴 검출 및 얼굴 방위 방법이 사용될 수 있다. 유저는 이미지에서 초점을 맞추기 위한 대상을 선택할 수도 있다(예컨대, 터치 및/또는 몇몇 다른 입력 방법).
동작(540)으로 이행하면, 프라이버시 카메라는 결정될 때 초점이 다시 맞춰진다. 예컨대, 프라이버시 카메라가 라이트필드 카메라가면, 초점을 다시 맞추는 작업은 수행되지 않는다. 프라이버시 카메라가 RGB + 깊이 카메라(또는 몇몇 유사한 카메라)인 경우에는, 카메라(들)는 결정된 관심 구역/대상에 초점을 맞추도록 초점이 다시 맞춰진다.
동작(550)으로 이행하면, 이미지들이 취득된다.
동작(560)으로 이동하면, 취득된 이미지들로부터 결합 이미지가 생성된다. 결합 이미지는 흐릿하게 탈초점으로 도시되거나 및/또는 필/배경으로 대체된 대상들과 함께 관심 대상(및 동일한 초점 거리를 갖는 다른 대상들)을 선명하게 도시하는 단일 이미지를 생성한다. 흐릿하게 만드는 효과는 어레이에 배치된 카메라들로부터의 이미지들의 결합에 의해 자동으로 생성될 수 있다. 일반적으로, 어레이 내의 카메라들의 수를 변화시키거나, 및/또는 카메라들의 공간 관계를 변화시키면, 결합 이미지 내의 흐림의 정도가 변화된다(예컨대, 보통은 카메라가 많을수록 초점이 맞춰지지 않은 대상들에 대하여 흐림이 더해진다).
동작(570)으로 이행하면, 이미지가 디스플레이된다. 실시예에 따르면, 이미지들은 영상 회의 애플리케이션에 디스플레이된다.
이후, 프로세스는 종료 동작으로 이동하고 나서, 다른 행위들의 처리로 복귀한다.
도 6은 프라이버시 카메라를 이용하는 영상 회의 시스템(600)을 나타낸다.
영상 캡처 시스템에 있어서는, 1대 이상의 카메라(652)가 영상 회의 참가자들의 영상 이미지를 캡처한다. 카메라(652)에는 하나 이상의 인입 영상 피드(incoming video feeds)와 같은 영상 신호를 도시하기 위한 디스플레이(654)가 합체될 수 있다. 실시예에 따르면, 적어도 1대의 카메라는 어레이 내에 배치된 적어도 6대의 카메라를 포함하는 라이트필드 카메라가다. 영상 회의 관리 모듈(650)은 영상 이미지들의 디스플레이 및 송/수신을 관리하는 데 사용될 수 있으며, 본원에서 기술된 바와 같이 카메라 매니저(26)의 기능을 포함할 수 있다. 예컨대, 모듈(650)은 유입 영상 피드들을 선택하는 데 사용될 수 있다. 모듈(650)은 인입/송출 영상에 대한 영상 처리를 수행하는 데 사용될 수도 있다. 예컨대, 모듈(650)은 영상 프레임의 그 부분에 대한 노출 및/또는 게인의 조절을 통해 관심 대상 또는 구역을 강화하는 등 이미지 품질을 개선하는 데 사용될 수 있다. 음원 위치추정(sound source localization) 검출기(642), 다인(multi-person) 검출기(644), 및 능동 발표자(active speaker) 검출기(646)는 청각적 및/또는 시각적 큐를 이용해서 관심 구역 및/또는 관심 대상을 선택한다. 음원 위치추정 검출기(642)는 다수의 마이크로폰으로부터의 음향 검출과 같은 오디오 특징들을 이용해서 다수의 사람들 중에서 발표자의 위치를 검출한다. 다인 검출기(644)는 움직임 및 이미지 특징들(사람의 윤곽, 안면 인식 등과 같음)을 이용해서 발표자를 결정한다. 능동 발표자 검출기(646)는 음원 위치추정, 움직임, 및 이미지 특징들을 이용해서 현재의 발표자를 검출한다. 모듈(650)은 영상 피드가 발표자를 나타낼 때 더욱 빈번하게 디스플레이(654)에 인입 피드의 영상 디스플레이를 강조 표시하도록 결정할 수 있다. 예컨대, 발표자의 영상 피드는 디스플레이(654)상에, 또한 다른 인입 피드들의 디스플레이에 더 크게 디스플레이될 수 있다. 인입 영상 피드들은 잇따라, 층을 이루어, 일정 패턴으로 등등 디스플레이(654)에 도시될 수 있다. 일 실시예에 따르면, 디스플레이(654)상에 도시하기 위한 피드들이 선택될 수 있다. 모듈(650)은 하드웨어로서, 소프트웨어로서, 또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다.
도 7은 실시예들을 구현할 수 있는 네트워크화된 환경을 도시한다. 영상 회의에 참가하는 하나 이상의 장소는 상술한 바와 같이 카메라 디바이스(예컨대, 120)를 포함할 수 있다.
상기와 같은 시스템은 서버들, 클라이언트들, 인터넷 서비스 제공자들, 및 통신 미디어의 임의의 토폴로지를 포함할 수 있다. 또한, 시스템은 정적 또는 동적 토폴로지를 가질 수 있다. 실시예들을 구현하는 네트워크화된 시스템이 더 많은 구성요소를 수반할 수 있지만, 관련된 것들을 이 도면과 함께 논의한다.
영상 회의 애플리케이션들은 디바이스들(781-784)에서 실행 및 영상 렌더링될 수 있다. 하나 이상의 디바이스는 프라이버시 모드를 생성하기 위해 본원에서 기술된 바와 같이 라이트필드 카메라, 및/또는 RGB + 깊이 (구조화된 광, 스테레오, 전파 시간) 카메라를 포함할 수 있다. 다른 실시예에 따르면, 약 1 이하의 f/#을 갖는 단일 카메라를 이용해서 프라이버시 모드가 생성될 수 있다. 예컨대, 1080p 웹캠은 (예컨대, 신체 제스처를 캡처하기 위해) f/# <= 1인 렌즈, 전기기계식으로 조절 가능한 조리개, 전기기계식으로 조절 가능한 초점 및 VFOV=60°을 포함할 수 있다. 카메라는 거리계(예컨대, 초음파 거리계)를 또한 포함할 수 있다. 낮은 f/#을 갖춘 렌즈는 작은 심도(DOF)를 갖는다. DOF는 조리개를 이용해서 조절될 수 있고, 카메라는 DOF가 큰 "노멀 모드" 및 DOF가 작은 "프라이버시 모드"를 갖출 수 있다. 높은 f/#을 갖춘 렌즈보다 낮은 f/#을 갖춘 렌즈가 더 많은 광을 모으기 때문에, 프라이버시 모드(예컨대, f/# <=1)를 이용하면 SNR이 증가된다.
영상 애플리케이션이 통신 애플리케이션(또는 서비스)의 일부인 경우에는, 애플리케이션 또는 서비스는 하나 이상의 서버(예컨대, 서버(785))에 의해 관리될 수 있다. 발생된 영상의 일부 또는 전부는 순간적으로 렌더링되는 대신에 저장될 수 있다. 그러한 전개상황에서는, 영상 파일들은 데이터 스토어(788)와 같은 데이터 스토어에 저장될 수 있으며, 나중에 데이터베이스 서버(786)를 통해 디바이스들 내의 영상 애플리케이션(들)에 제공되거나 또는 영상 애플리케이션(들)에 의해 직접 검색된다.
네트워크(들)(780)는 엔터프라이즈 네트워크와 같은 보안 네트워크, 무선 개방형 네트워크와 같은 무보안 네트워크, 또는 인터넷을 포함할 수 있다. 네트워크(들)(780)는 본원에 기술된 노드들 사이에 통신을 제공한다. 비제한적인 예시로서, 네트워크(들)(780)는 유선 네트워크 또는 직결 접속부와 같은 유선 미디어, 및 음향, RF, 적외선 및 그 밖의 무선 매체와 같은 무선 미디어를 포함할 수 있다.
컴퓨팅 디바이스들, 애플리케이션들, 데이터 소스들, 데이터 분배 시스템들의 많은 다른 구성들이 채용되어서 영상 회의 시스템을 구현할 수 있다. 또한, 도 7에서 논의된 네트워크화된 환경들은 단지 설명을 위한 것이다. 실시예들은 예시한 애플리케이션들, 모듈들, 또는 프로세스들에 한정되지 않는다.
도 8은 프라이버시 카메라를 이용하는 예시적인 시스템을 나타낸다. 도시된 바와 같이, 시스템(1000)은 서비스(1010), 데이터 스토어(1045), 프라이버시 카메라(1002)를 포함하는 터치 스크린 입력 디바이스/디스플레이(1050)(예컨대, 슬레이트) 및 프라이버시 카메라(1001)를 포함하는 스마트폰(1030)을 포함한다.
도시된 바와 같이, 서비스(1010)는 영상 회의 서비스(예컨대, MICROSOFT LYNC, SKYPE), 전자 메시징 서비스(예컨대, MICROSOFT EXCHANGE/OUTLOOK), 생산성 서비스(예컨대, MICROSOFT OFFICE 365)와 같은 서비스들을 제공하도록 구성될 수 있는 클라우드 기반 및/또는 기업 기반 서비스이거나, 또는 몇몇 다른 클라우드 기반/온라인 서비스이다. 서비스는 상이한 타입들의 입력/출력을 이용해서 교류될 수 있다. 예컨대, 유저는 터치 입력, 하드웨어 기반 입력, 음성 입력 등을 이용할 수 있다. 서비스는 녹음된 음성 및 합성된 음성을 결합하는 음성 출력을 제공할 수 있다. 서비스(1010)에 의해 제공된 하나 이상의 서비스/애플리케이션의 기능은 클라이언트/서버 기반 애플리케이션으로서 구성될 수도 있다. 시스템(1000)이 메시징 애플리케이션에 관한 서비스를 도시하고 있지만, 다른 서비스들/애플리케이션들이 구성될 수 있다.
도시된 바와 같이, 서비스(1010)는 임의의 수의 테넌트(tenants)(예컨대, Tenants 1-N)에게 리소스(1015)들 및 서비스들을 제공하는 멀티-테넌트 서비스이다. 멀티-테넌트 서비스(1010)는 서비스에 가입된 테넌트에게 리소스들/서비스들(1015)을 제공하고 다른 테넌트 데이터와는 별도로 그로부터 보호된 각각의 테넌트의 데이터를 유지하는 클라우드 기반 서비스이다.
도시된 바와 같은 시스템(1000)은 터치 입력이 수신완료된 시기(예컨대, 터치 스크린을 손가락 터치하거나 또는 근접 터치하는 것)를 검출하는 터치 스크린 입력 디바이스/디스플레이(1050)(예컨대, 슬레이트/태블릿 디바이스) 및 스마트폰(1030)을 포함한다. 유저의 터치 입력을 검출하는 임의의 타입의 터치 스크린을 이용할 수 있다. 예컨대, 터치 스크린은 터치 입력을 검출하는 하나 이상의 정전용량 재료층을 포함할 수 있다. 정전용량 재료에 더하여 또는 대신하여 다른 센서들이 사용될 수 있다. 예컨대, 적외선(IR) 센서들이 사용될 수 있다. 실시예에 따르면, 터치 스크린은 터치 가능한 표면과 접촉하거나 또는 그 위에 있는 대상들을 검출하도록 구성된다. 본 명세서에서는 "위"라는 용어가 사용되고 있지만, 터치 패널 시스템의 방위와는 관계없는 것으로 이해되어야 한다. "위"라는 용어는 상기와 같이 모든 방위에 적용 가능한 것으로 의도된다. 터치 스크린은 터치 입력이 수신되는 위치들(예컨대, 시점, 중간점 및 종점)을 결정하도록 구성될 수 있다. 터치 가능한 표면과 대상 사이의 실제 접촉은, 예컨대 터치 패널에 결합된 진동 센서 또는 마이크로폰을 포함하는 임의의 적절한 수단에 의해 검출될 수 있다. 접촉을 검출하기 위한 센서들에 대한 예시들의 비-포괄적인 리스트는 압력-기반 메커니즘, 미세-기계식 가속도계, 압전식 디바이스, 정전용량 센서, 저항 센서, 유도형 센서, 레이저 진동계, 및 LED 진동계를 포함한다.
실시예에 따르면, 스마트폰(1030) 및 터치 스크린 입력 디바이스/디스플레이(1050)는 본원에 기술된 바와 같이 프라이버시 카메라를 이용하는 영상 애플리케이션들로 구성된다.
도시된 바와 같이, 터치 스크린 입력 디바이스/디스플레이(1050) 및 스마트폰(1030)은 영상 회의 애플리케이션의 사용을 도시하는 예시적인 디스플레이들(1052/1032)을 도시한다. 디스플레이(1052)는 영상 참가자가 선명하게 도시되고 배경 대상들이 흐릿해져 있는 프라이버시 카메라의 이미지들로부터 생성된 프라이버시 뷰(view)를 도시한다. 디스플레이(1032)는 영상 참가자가 선명하게 도시되고 배경이 이미지/필로 대체되어 있는 프라이버시 카메라를 이용해서 생성된 프라이버시 뷰를 도시한다. 데이터는 디바이스(예컨대, 스마트폰(1030), 슬레이트(1050)) 및/또는 몇몇 다른 장소(예컨대, 네트워크 데이터 스토어(1045))에 저장될 수 있다. 디바이스들에 의해 사용된 애플리케이션들은 클라이언트 기반 애플리케이션들, 서버 기반 애플리케이션들, 클라우드 기반 애플리케이션들 및/또는 몇 가지 조합일 수 있다.
카메라 매니저(26)는 본원에 기술된 바와 같이 프라이버시 뷰를 생성하는 것에 관한 동작들을 수행하도록 구성된다. 매니저(26)가 서비스(1010) 내에 도시되어 있지만, 매니저의 기능은 다른 장소들(예컨대, 스마트폰(1030) 및/또는 슬레이트 디바이스(1050))에 포함될 수 있다.
본원에 기술된 실시예들 및 기능들은 유선 및 무선 컴퓨팅 시스템들, 모바일 컴퓨팅 시스템들(예컨대, 모바일 전화기들, 태블릿 또는 슬레이트 타입 컴퓨터들, 랩톱 컴퓨터들 등)을 포함하는 다수의 컴퓨팅 시스템들을 통해 실시될 수 있다. 또한, 본원에 기술된 실시예들 및 기능들은 분산된 시스템들에 걸쳐서 실시될 수 있으며, 여기서 애플리케이션 기능, 메모리, 데이터 스토리지 및 검색과 다양한 처리 기능들은 인터넷 또는 인트라넷과 같은 분산된 컴퓨팅 네트워크에 걸쳐서 서로 원격으로 실시될 수 있다. 유저 인터페이스들 및 다양한 타입의 정보가 온-보드 컴퓨팅 디바이스 디스플레이를 통해 또는 하나 이상의 컴퓨팅 디바이스와 연관된 원격 디스플레이 유닛들을 통해 디스플레이될 수 있다. 예컨대 유저 인터페이스들 및 다양한 타입의 정보는, 유저 인터페이스들 및 다양한 타입의 정보가 투영되는 벽면에 디스플레이되어 상호작용될 수 있다. 본 발명의 실시예들을 실행할 수 있는 다수의 컴퓨팅 시스템들과의 상호작용은 키스트로크(keystroke) 입력, 터치 스크린 입력, 음성 또는 그 밖의 오디오 입력, 제스처 입력을 포함하고, 여기서 연관된 컴퓨팅 디바이스는 컴퓨팅 디바이스의 기능 등을 제어하기 위한 유저 제스처들을 캡처해서 해석하는 검출(예컨대, 카메라) 기능을 갖추고 있다.
도 9 내지 도 11 및 연관된 기재들은 본 발명의 실시예들이 실행될 수 있는 다양한 운영 환경의 논의를 제공한다. 그러나, 도 9 내지 도 11과 관련하여 도시되고 논의되는 디바이스들 및 시스템들은 예시 및 설명을 위한 것이며, 본원에 기술된 본 발명의 실시예들을 실행하기 위해 이용될 수 있는 광대한 수의 컴퓨팅 디바이스 구성들을 제한하는 것은 아니다.
도 9는 본 발명의 실시예들을 실행할 수 있는 컴퓨팅 디바이스(1100)의 예시적인 물리 구성요소들을 나타내는 블록도이다. 후술하는 컴퓨팅 디바이스 구성요소들은 상술한 컴퓨팅 디바이스들에 대하여 적합할 수 있다. 기본적인 구성에 있어서, 컴퓨팅 디바이스(1100)는 적어도 하나의 처리 유닛(1102) 및 시스템 메모리(1104)를 포함할 수 있다. 컴퓨팅 디바이스의 구성 및 타입에 따라, 시스템 메모리(1104)는 휘발성(예컨대, 랜덤 액세스 메모리(RAM)), 비-휘발성(예컨대, 리드-온리 메모리(ROM)), 플래시 메모리, 또는 임의의 조합을 포함할 수 있지만, 이들에 한정되는 것은 아니다. 시스템 메모리(1104)는 운영 체제(1105), 하나 이상의 프로그래밍 모듈(1106)을 포함할 수 있으며, 또한 웹 브라우저 애플리케이션(1120)을 포함할 수 있다. 운영 체제(1105)는, 예컨대 컴퓨팅 디바이스(1100)의 동작을 제어하는 데 적합할 수 있다. 일 실시예에 있어서, 프로그래밍 모듈(1106)들은 컴퓨팅 디바이스(1100)에 인스톨된, 상술한 바와 같은 카메라 매니저(26)를 포함할 수 있다. 또한, 본 발명의 실시예들은 그래픽스 라이브러리, 다른 운영 체제들, 또는 임의의 다른 애플리케이션 프로그램과 함께 실행될 수 있으며, 임의의 특정 애플리케이션 또는 시스템에 한정되는 것은 아니다. 이 기본적인 구성은 도 9에서 점선(1108) 안의 구성요소들로 도시되어 있다.
컴퓨팅 디바이스(1100)는 추가적인 특징들 또는 기능을 구비할 수 있다. 예컨대, 컴퓨팅 디바이스(1100)는, 예를 들면 자기 디스크, 광 디스크, 또는 테이프와 같은 추가적인 데이터 스토리지 디바이스들(외장형 및/또는 내장형)을 또한 포함할 수 있다. 상기와 같은 추가적인 스토리지는 외장형 스토리지(1109) 및 내장형 스토리지(1110)로 도시되어 있다.
상술한 바와 같이, 운영 체제(1105)를 포함하는 시스템 메모리(1104)에 다수의 프로그램 모듈들 및 데이터 파일들이 저장될 수 있다. 처리 유닛(1102)을 실행하는 상태에서, 상기 매니저와 같은 프로그래밍 모듈(1106)들은, 예컨대 상술한 바와 같은 방법들에 관련된 동작들을 포함하는 프로세스들을 수행할 수 있다. 상술한 프로세스는 예시이며, 처리 유닛(1102)은 다른 프로세스들을 수행할 수 있다. 본 발명의 실시예들에 따라 사용될 수 있는 다른 프로그래밍 모듈들은 영상 회의 애플리케이션들, 이미징 애플리케이션들, 전자 메일 및 연락 애플리케이션들, 문서 작성 애플리케이션들, 스프레드시트 애플리케이션들, 데이터베이스 애플리케이션들, 슬라이드 프리젠테이션 애플리케이션들, 그림그리기 또는 컴퓨터-이용(computer-aided) 애플리케이션 프로그램들 등을 포함할 수 있다.
일반적으로, 본 발명의 실시예들과 일치하는, 프로그램 모듈들은 특정 태스크들을 수행할 수 있거나 또는 특정 추상 데이터 타입들을 구현할 수 있는 루틴들, 프로그램들, 구성요소들, 데이터 구조들, 및 다른 타입의 구조들을 포함할 수 있다. 또한, 본 발명의 실시예들은, 핸드-헬드 디바이스들, 멀티프로세서 시스템들, 마이크로프로세서-기반의 또는 프로그램 가능한 가전 제품들, 미니컴퓨터들, 메인프레임 컴퓨터들 등을 포함하는 다른 컴퓨터 시스템 구성들에 의해 실행될 수 있다. 본 발명의 실시예들은 분산된 컴퓨팅 환경들에서 실행될 수도 있으며, 여기서는 통신 네트워크를 통해 연결되는 원격 처리 디바이스들에 의해 태스크들이 수행된다. 분산된 컴퓨팅 환경에 있어서는, 프로그램 모듈들이 로컬 및 원격 메모리 스토리지 디바이스들 모두에 위치될 수 있다.
또한, 본 발명의 실시예들은, 이산형 전자 소자들을 포함하는 전기 회로, 논리 게이트들을 내포하는 패키지형 또는 집적형 전자 칩들, 마이크로프로세서를 이용하는 회로, 또는 전자 소자들 또는 마이크로프로세서들을 내포하는 단일 칩에서 실행될 수 있다. 예컨대, 본 발명의 실시예들은 시스템-온-칩(SOC)을 통해 실행될 수 있으며, 여기서 도 9에 도시된 각각의 또는 다수의 구성요소들은 단일의 집적 회로에 집적될 수 있다. 상기와 같은 SOC 디바이스는 하나 이상의 처리 유닛들, 그래픽스 유닛들, 통신 유닛들, 시스템 가상화 유닛들 및 다양한 애플리케이션 기능을 포함할 수 있으며, 이들은 모두 단일의 집적 회로로서의 칩 기판에 집적된다(또는 "구워진다(burned)"). SOC를 통한 동작시에, 매니저(26)에 대하여, 본원에 기술된, 기능은 단일의 집적 회로(칩)상의 컴퓨팅 디바이스/시스템(1100)의 다른 구성요소들과 통합된 특수용도의 논리를 통해 동작될 수 있다. 본 발명의 실시예들은 기계적, 광학적, 유체공학적, 및 양자 기술들을 포함하되, 이들에 한정되지 않는, 예컨대 AND, OR, 및 NOT과 같은 논리 동작들을 수행할 수 있는 다른 기술들을 이용해서 실행될 수도 있다. 또한, 본 발명의 실시예들은 범용 컴퓨터 내에서, 또는 임의의 다른 회로들 또는 시스템들에서 실행될 수 있다.
본 발명의 실시예들은, 예컨대, 컴퓨터 프로세스(방법)로서, 컴퓨팅 시스템으로서, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독 가능한 매체와 같은 제조품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은, 컴퓨터 시스템에 의해 판독 가능하고, 또한 컴퓨터 프로세스를 실행하기 위한 명령어들로 이루어진 컴퓨터 프로그램을 부호화하는 컴퓨터 스토리지 미디어일 수 있다.
본원에서 사용된 컴퓨터 판독 가능한 매체라는 용어는 컴퓨터 스토리지 미디어를 포함할 수 있다. 컴퓨터 스토리지 미디어는 컴퓨터 판독 가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 그 밖의 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 외장형 및 내장형 미디어를 포함할 수 있다. 시스템 메모리(1104), 외장형 스토리지(1109), 및 내장형 스토리지(1110)는 모두 컴퓨터 스토리지 미디어의 예시들(즉, 기억 장치)이다. 컴퓨터 스토리지 미디어는, RAM, ROM, EEPROM(electrically erasable read-only memory), 플래시 메모리 또는 그 밖의 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 그 밖의 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그 밖의 자기 스토리지 디바이스, 또는 정보를 저장하는 데 사용될 수 있으며 컴퓨팅 디바이스(1100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있지만, 이들에 한정되는 것은 아니다. 임의의 상기 컴퓨터 스토리지 미디어는 디바이스(1100)의 일부일 수 있다. 컴퓨팅 디바이스(1100)는 키보드, 마우스, 펜, 음향 입력 디바이스, 터치 입력 디바이스 등과 같은 입력 디바이스(들)(1112)를 또한 구비할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(들)(1114)가 포함될 수도 있다. 전술한 디바이스들은 예시들이며, 다른 것들이 사용될 수 있다.
카메라 및/또는 몇몇 다른 감지 디바이스는, 하나 이상의 유저를 기록하는 한편, 컴퓨팅 디바이스의 유저들이 행한 움직임들 및/또는 제스처들을 캡처하도록 작동할 수 있다. 또한, 감지 디바이스는, 마이크로폰 등에 의해 구어(spoken words)를 캡처하는 한편, 키보드 및/또는 마우스(도시되지 않음) 등에 의해 유저로부터의 다른 입력들을 캡처하도록 작동할 수 있다. 감지 디바이스는 유저의 이동을 검출할 수 있는 임의의 움직임 검출 디바이스를 포함할 수 있다. 예컨대, 카메라는 복수의 카메라 및 복수의 마이크로폰으로 구성되는 MICROSOFT KINECT® 움직임 캡처 디바이스를 포함할 수 있다. 카메라는 본원에 기술된 바와 같은 라이트필드 카메라일 수도 있다.
본원에서 사용된 컴퓨터 판독 가능한 매체라는 용어는 통신 미디어를 포함할 수도 있다. 통신 미디어는 컴퓨터 판독 가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 그 밖의 데이터에 의해, 반송파 또는 다른 수송 메커니즘과 같은 변조 데이터 신호로 구체화될 수 있으며, 임의의 정보 전달 미디어를 포함할 수 있다. "변조 데이터 신호"라는 용어는 신호 내의 정보를 부호화하는 방식으로 설정 또는 변경된 하나 이상의 특징을 갖는 신호를 의미할 수 있다. 비제한적인 예시로서, 통신 미디어는 유선 네트워크 또는 직결 접속부와 같은 유선 미디어, 및 음향, 무선 주파수(RF), 적외선 및 그 밖의 무선 매체와 같은 무선 미디어를 포함할 수 있다.
도 10a 및 도 10b는, 예컨대 본 발명의 실시예들을 실행할 수 있는, 모바일 전화기, 스마트폰, 태블릿 퍼스널 컴퓨터, 랩톱 컴퓨터 등의 적절한 모바일 컴퓨팅 환경을 나타낸다. 도 10a를 참조하면, 실시예들을 구현하기 위한 예시적인 모바일 컴퓨팅 디바이스(1200)가 도시되어 있다. 기본적인 구성에 있어서, 모바일 컴퓨팅 디바이스(1200)는 입력 요소들 및 출력 요소들을 모두 갖는 핸드헬드 컴퓨터이다. 입력 요소들은 유저가 모바일 컴퓨팅 디바이스(1200)에 정보를 입력할 수 있게 하는 터치 스크린 디스플레이(1205) 및 입력 버튼(1210)들을 포함할 수 있다. 모바일 컴퓨팅 디바이스(1200)는 추가적인 유저 입력을 허용하는 선택적인 측면 입력 요소(1215)를 또한 포함할 수 있다. 선택적인 측면 입력 요소(1215)는 로터리 스위치, 버튼, 또는 임의의 다른 타입의 수동 입력 요소일 수 있다. 대안적인 실시예들에 있어서, 모바일 컴퓨팅 디바이스(1200)는 다소의 입력 요소를 포함할 수 있다. 예컨대, 디스플레이(1205)는 몇몇 실시예에서는 터치 스크린이 아닐 수 있다. 또 다른 대안적인 실시예에 있어서, 모바일 컴퓨팅 디바이스는 디스플레이(1205) 및 입력 버튼(1215)들을 갖는 휴대폰과 같은 휴대용 전화 시스템이다. 모바일 컴퓨팅 디바이스(1200)는 선택적인 키패드(1235)를 또한 포함할 수 있다. 선택적인 키패드(1235)는 물리 키패드이거나, 또는 터치 스크린 디스플레이 상에 생성된 "소프트" 키패드일 수 있다.
모바일 컴퓨팅 디바이스(1200)는 그래픽 유저 인터페이스(GUI)를 디스플레이할 수 있는 디스플레이(1205)와 같은 출력 요소들을 포함한다. 그 밖의 출력 요소들로서는, 스피커(1225) 및 LED 라이트(1220)가 포함된다. 추가적으로, 모바일 컴퓨팅 디바이스(1200)는 이벤트를 유저에게 통지하기 위해 모바일 컴퓨팅 디바이스(1200)를 진동시키는 진동 모듈(도시되지 않음)을 포함할 수 있다. 또 다른 실시예에 있어서, 모바일 컴퓨팅 디바이스(1200)는 출력 신호들을 제공하는 다른 수단을 제공하기 위한 헤드폰 잭(도시되지 않음)을 포함할 수 있다.
본원에서는 모바일 컴퓨팅 디바이스(1200)와 결합하여 기술되어 있지만, 대안적인 실시예들에 있어서는, 본 발명이 데스크톱 환경, 랩톱 또는 노트북 컴퓨터 시스템들, 멀티프로세서 시스템들, 마이크로-프로세서 기반의 또는 프로그램 가능한 가전 제품들, 네트워크 PC들, 미니 컴퓨터들, 메인프레임 컴퓨터들 등에서와 같은 많은 컴퓨터 시스템들과 결합하여 사용된다. 본 발명의 실시예들은 분산된 컴퓨팅 환경에서 실행될 수도 있으며, 여기서는 분산된 컴퓨팅 환경에서 통신 네트워크를 통해 연결되는 원격 처리 디바이스들에 의해 태스크들이 수행되고, 프로그램들은 로컬 및 원격 메모리 스토리지 디바이스들 모두에 위치될 수 있다. 요약하면, 복수의 환경 센서, 유저에게 통지를 제공하는 복수의 출력 요소 및 복수의 통지 이벤트 타입을 갖는 임의의 컴퓨터 시스템은 본 발명의 실시예들을 포함할 수 있다.
도 10b는 도 10a에 도시된 컴퓨팅 디바이스와 같은, 일 실시예에서 사용된 모바일 컴퓨팅 디바이스의 구성요소들을 나타내는 블록도이다. 즉, 모바일 컴퓨팅 디바이스(1200)는 몇몇 실시예를 구현하기 위해 시스템(1202)을 포함할 수 있다. 예컨대, 시스템(1202)은, 예를 들면 프리젠테이션 애플리케이션들, 브라우저, 이메일, 스케줄링, 인스턴트 메시징, 및 미디어 플레이어 애플리케이션들과 같은 데스크톱 또는 노트북 컴퓨터의 것들과 유사한 하나 이상의 애플리케이션을 가동할 수 있는 "스마트폰"을 구현하는 데 사용될 수 있다. 몇몇 실시예에 있어서, 시스템(1202)은 통합 PDA(personal digital assistant) 및 무선 폰과 같은 컴퓨팅 디바이스로서 통합된다.
하나 이상의 애플리케이션 프로그램(1266)들은 메모리(1262)에 로딩될 수 있으며, 운영 체제(1264)와 연계하여 가동될 수 있다. 애플리케이션 프로그램들의 예시들은 전화기 다이얼러 프로그램들, 이메일 프로그램들, PIM(개인 정보 관리) 프로그램들, 문서 작성 프로그램들, 스프레드시트 프로그램들, 인터넷 브라우저 프로그램들, 메시징 프로그램들 등을 포함한다. 시스템(1202)은 메모리(1262) 내에 비휘발성 스토리지(1268)를 또한 포함한다. 비휘발성 스토리지(1268)는, 시스템(1202)이 전원 차단되는 경우에 소실되지 않아야 하는 지속적인 정보를 저장하는 데 사용될 수 있다. 애플리케이션(1266)들은 이메일 애플리케이션 등에 의해 사용된 이메일 또는 다른 메지시들 등의 비휘발성 스토리지(1268) 내의 정보를 이용 및 저장할 수 있다. 동기화 애플리케이션(도시되지 않음)이 또한 시스템(1202)에 상주할 수 있으며, 이는 호스트 컴퓨터에 저장된 대응 정보와 동기화된 비휘발성 스토리지(1268)에 저장된 정보를 유지하기 위해 호스트 컴퓨터에 상주하는 대응 동기화 애플리케이션과 상호작용하도록 프로그래밍된다. 이해할 수 있듯이, 다른 애플리케이션들이 메모리(1262)에 로딩될 수 있으며, 상술한 카메라 매니저(26)를 포함하는 디바이스(1200) 상에서 가동한다.
시스템(1202)은 하나 이상의 배터리로 구현될 수 있는 전원 장치(1270)를 구비한다. 전원 장치(1270)는 배터리들을 보충 또는 충전하는 AC 어댑터 또는 전동 격납 크래들(powered docking cradle)과 같은 외부 전원을 더 포함할 수 있다.
시스템(1202)은 무선 주파수 통신을 송신 및 수신하는 기능을 수행하는 라디오(1272)를 또한 포함할 수 있다. 라디오(1272)는 시스템(1202)과 "외부(outside world)" 간의 무선 접속을 통신 사업자 또는 서비스 제공자를 통해 가능하게 한다. 라디오(1272)에 대한 송신은 OS(1264)의 제어하에 수행된다. 다시 말해, 라디오(1272)에 의해 수신된 통신은 OS(1264)를 통해 애플리케이션 프로그램(1266)들에 전파될 수 있으며, 그 반대도 마찬가지이다.
라디오(1272)는 시스템(1202)이 네트워크 등을 통해 다른 컴퓨팅 디바이스들과 통신하는 것을 허용한다. 라디오(1272)는 통신 미디어의 일례이다. 통신 미디어는 통상적으로, 컴퓨터 판독 가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터에 의해, 반송파 또는 다른 수송 메커니즘과 같은 변조 데이터 신호로 구체화될 수 있으며, 임의의 정보 전달 미디어를 포함할 수 있다. "변조 데이터 신호"라는 용어는 신호 내의 정보를 부호화하는 방식으로 설정 또는 변경된 하나 이상의 그 특징을 갖는 신호를 의미한다. 비제한적인 예시로서, 통신 미디어는 유선 네트워크 또는 직결 접속부와 같은 유선 미디어, 및 음향, RF, 적외선 및 그 밖의 무선 매체와 같은 무선 미디어를 포함한다. 본원에서 사용된 컴퓨터 판독 가능한 매체라는 용어는 스토리지 미디어 및 통신 미디어를 모두 포함하는 것이다.
시스템(1202)의 이 실시예에는, 2가지 타입의 통지 출력 디바이스, 즉 시각적 통지를 제공하는 데 사용될 수 있는 LED(1220) 및 청각적 통지를 제공하기 위한 스피커(1225)로 사용될 수 있는 오디오 인터페이스(1274)가 도시된다. 이들 디바이스는 전원 장치(1270)에 직접 결합될 수 있기 때문에, 작동시에, 프로세서(1260) 및 다른 구성요소들이 배터리 전원을 보존하기 위해 정지되는 경우에도 통지 메커니즘에 의해 지시된 기간 동안은 켜진 상태를 유지한다. LED(1220)는 유저가 디바이스의 전원 인가 상태를 나타내기 위한 동작을 취할 때까지 무기한으로 켜진 상태를 유지하도록 프로그래밍될 수 있다. 오디오 인터페이스(1274)는 유저에게 가청 신호를 제공하는 한편, 유저로부터 가청 신호를 수신하는 데 사용된다. 예컨대, 오디오 인터페이스(1274)는 스피커(1225)에 결합되는 것 외에, 통화 등이 가능하도록 가청 입력을 수신하기 위해 마이크로폰(1220)에 결합될 수도 있다. 본 발명의 실시예들에 따르면, 마이크로폰(1220)은 후술하는 바와 같이, 통지의 제어가 가능하도록 오디오 센서로서 기능할 수도 있다. 시스템(1202)은 정지 이미지(still images), 비디오 스트림 등을 기록하기 위해 온-보드 카메라(1230)(예컨대, 카메라(120))의 작동을 가능하게 하는 비디오 인터페이스(1276)를 더 포함할 수 있다.
시스템(1202)을 구현하는 모바일 컴퓨팅 디바이스는 추가적인 특징들 또는 기능을 가질 수 있다. 예컨대, 상기 디바이스는 자기 디스크, 광 디스크, 또는 테이프와 같은 추가적인 데이터 스토리지 디바이스들(외장형 및/또는 내장형)을 또한 포함할 수 있다. 상기와 같은 추가적인 스토리지는 도 10b에서 스토리지(1268)로 도시되어 있다. 컴퓨터 스토리지 미디어는 컴퓨터 판독 가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 그 밖의 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 외장형 및 내장형 미디어를 포함할 수 있다.
디바이스(1200)에 의해 생성 또는 캡처되고 시스템(1202)을 통해 저장되는 데이터/정보는 상술한 바와 같이, 디바이스(1200)에 로컬 저장될 수 있거나, 또는 데이터는 디바이스(1200)와 디바이스(1200)에 연관된 별도의 컴퓨팅 디바이스, 예컨대 인터넷과 같은 분산된 컴퓨팅 네트워크에서의 서버 컴퓨터와의 사이에서의 유선 접속을 통해 또는 라디오(1272)를 통해 디바이스가 액세스할 수 있는 임의의 수의 스토리지 미디어에 저장될 수 있다. 이해할 수 있듯이, 상기와 같은 데이터/정보는 라디오(1272)를 통해 또는 분산된 컴퓨팅 네트워크를 통해 디바이스(1200)에 의해 액세스될 수 있다. 유사하게, 상기와 같은 데이터/정보는 전자 메일 및 공동 데이터/정보 공유 시스템들을 포함하는 잘 알려져 있는 데이터/정보 전달 및 저장 수단에 따라 저장 및 사용을 위해 컴퓨팅 디바이스들 사이에서 쉽게 전달될 수 있다.
도 11은 프라이버시 카메라를 사용하기 위한 시스템 아키텍처를 나타낸다.
카메라 매니저(26) 및/또는 다른 프로세스에 의해 관리된 구성요소들은 상이한 통신 채널들에 또는 다른 저장 타입들로 저장될 수 있다. 예컨대, 구성요소들은, 그들을 나타내는 정보와 함께, 디렉터리 서비스(1322), 웹 포털(1324), 메일박스 서비스(1326), 인스턴트 메시징 스토어(1328) 및 소셜 네트워킹 사이트(1330)를 이용해서 저장될 수 있다. 시스템/애플리케이션(26, 1320)은 스토어(1316) 내의 구성요소들의 관리 및 저장을 가능하게 하기 위해 이들 시스템 타입들 중 어느 것을 이용할 수 있다. 서버(1332)는 영상 회의 및/또는 다른 이미징 서비스에 관한 통신 및 서비스를 제공할 수 있다. 서버(1332)는 네트워크(1308)를 통해 클라이언트들에게 웹을 거쳐 서비스들 및 콘텐트를 제공할 수 있다. 서버(1332)를 이용할 수 있는 클라이언트들의 예시들로서는, 임의의 범용 퍼스널 컴퓨터를 포함할 수 있는 컴퓨팅 디바이스(1302), 태블릿 컴퓨팅 디바이스(1304) 및/또는 스마트폰을 포함할 수 있는 모바일 컴퓨팅 디바이스(1306)가 포함된다. 이들 디바이스 각각은 본원에서 기술한 바와 같은 프라이버시 모드를 포함하는 카메라를 포함할 수 있다. 이들 디바이스 중 어느 것은 디스플레이 구성요소 관리 통신 및 콘텐트를 스토어(1316)로부터 취득할 수 있다.
본 발명의 실시예들은, 본 발명의 실시예들에 따른 방법들, 시스템들, 및 컴퓨터 프로그램 제품들의 블록도들 및/또는 작업 설명도들을 참조로 위에서 기술된다. 블록들에 주지된 기능들/동작들은 임의의 플로차트에 도시된 순서와 다르게 발생할 수 있다. 예컨대, 연속으로 도시된 2개의 블록은 실제로는 거의 동시에 실행될 수 있거나, 또는 때때로 블록들은 수반되는 기능/동작들에 따라 역순으로 실행될 수 있다.
상기 명세서, 예시들 및 데이터는 본 발명의 구성의 생성 및 이용의 완전한 설명을 제공한다. 본 발명의 다수의 실시예가 발명의 정신 및 범위로부터 일탈함이 없이 이루어질 수 있기 때문에, 본 발명은 이하에 첨부된 특허청구범위에 속하는 것이다.

Claims (17)

  1. 프라이버시 카메라로부터 프라이버시 모드를 생성하는 방법으로서,
    전경(foreground) 및 배경(background)을 포함하는 장면에서 관심 대상들을 결정하는 단계와,
    배경 흐림(blur) 및 배경 대체(replacement)를 포함하는 프라이버시 모드들로부터 하나의 프라이버시 모드를 결정하는 단계와,
    상기 결정된 프라이버시 모드가 상기 배경 흐림일 경우에는, 상기 장면에서 전경에 있는 관심 대상들은 정초점(in focus)으로 보이고 상기 장면의 배경 내의 임의의 대상들은 정초점이 아니게 보이도록, 상기 프라이버시 카메라에 대하여 제한된 심도(depth of field)를 설정하여 이미지를 생성하는 단계 - 상기 프라이버시 카메라는 어레이를 형성하는 복수의 카메라를 포함하고, 상기 장면의 배경 내의 임의의 대상들은 상기 복수의 카메라와 연관된 상이한 카메라 센서들 사이의 거리로 인해 흐릿해지고, 상기 장면의 배경은 상이한 정도로 흐릿해짐 - 와,
    상기 결정된 프라이버시 모드가 상기 배경 대체일 경우에는, 상기 장면에서 전경에 상기 관심 대상들이 포함되도록 결정하는데 사용된 상기 프라이버시 카메라에 대하여 동적으로 조절 가능한 전경 깊이 범위를 설정하고 상기 배경을 이미지 및 필(fill) 중 적어도 하나로 대체하여 이미지를 생성하는 단계와,
    상기 이미지를 디스플레이하는 단계
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 프라이버시 모드는 유저 프라이버시 선호도 및 발호(call) 정보 중 적어도 하나를 이용해서 결정되는
    방법.
  3. 제 1 항에 있어서,
    상기 프라이버시 모드를 결정하는 단계는, 발호 위치, 얼굴 검출 및 머리 자세와, 디바이스 타입 중 적어도 하나를 이용하는 단계를 더 포함하는
    방법.
  4. 제 2 항에 있어서,
    상기 프라이버시 모드를 결정하는 단계는, 미팅이 회사내 미팅, 그룹간 미팅 및 회사간 미팅 중 적어도 하나인 경우를 판정하는 단계를 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 프라이버시 모드는 유저 프라이버시 선호도, 발호 위치, 디바이스 타입, 얼굴 검출, 머리 자세, 및 발호 참가자들 중 하나 이상을 이용해서 자동으로 결정되는
    방법.
  6. 제 1 항에 있어서,
    상기 카메라 어레이 내의 카메라들 중 적어도 하나의 카메라의 고장을 상기 어레이 내의 다른 카메라들 중 적어도 하나의 카메라를 사용하여 보상하는 단계를 더 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 프라이버시 카메라로부터 깊이 추정치를 결정하는 단계를 더 포함하는
    방법.
  8. 제 2 항에 있어서,
    상기 배경을 이미지 및 필 중 적어도 하나로 대체하는 것은, 회사내 미팅, 그룹간 미팅 및 회사간 미팅을 포함하는 미팅 타입, 유저 프라이버시 선호도, 발호 위치, 디바이스 타입, 얼굴 검출 및 머리 자세 중 적어도 하나에 기초하여 사용할 이미지를 결정하는 것을 포함하는
    방법.
  9. 프라이버시 모드를 포함하는 카메라를 이용하기 위한 컴퓨터 실행 가능한 명령어들을 저장하는, 신호가 아닌, 컴퓨터 판독 가능한 저장 매체로서,
    상기 카메라에 의해 취득된 장면의 전경에서 관심 구역을 결정하는 명령어와,
    배경 흐림 및 배경 대체를 포함하는 프라이버시 모드들로부터 하나의 프라이버시 모드를 결정하는 명령어와,
    상기 결정된 프라이버시 모드가 상기 배경 흐림일 경우에는, 상기 장면에서 전경에 있는 관심 대상들이 정초점으로 보이고 상기 장면의 배경 내의 임의의 대상들이 정초점이 아니게 보이도록, 상기 카메라에 대하여 제한된 심도를 설정하여 이미지를 생성하는 명령어 - 상기 카메라는 어레이를 형성하는 복수의 카메라를 포함하고, 상기 장면의 배경 내의 임의의 대상들은 상기 복수의 카메라와 연관된 상이한 카메라 센서들 사이의 거리로 인해 흐릿해지고, 상기 장면의 배경은 상이한 정도로 흐릿해짐 - 와,
    상기 결정된 프라이버시 모드가 상기 배경 대체일 경우에는, 상기 장면에 있는 다수의 사람들 및 그들 각각의 깊이들 중 적어도 일부에 기초하여 상기 장면에서 전경에 상기 관심 구역이 포함되도록 결정하는데 사용된 상기 카메라에 대하여 전경 깊이를 자동으로 설정하고 상기 배경을 이미지 및 필 중 적어도 하나로 대체하여 이미지를 생성하는 명령어와,
    상기 이미지를 디스플레이하는 명령어
    를 포함하는 컴퓨터 판독 가능한 저장 매체.
  10. 제 9 항에 있어서,
    상기 프라이버시 모드는 유저 프라이버시 선호도 및 발호 정보 중 적어도 하나를 이용해서 자동으로 결정되는
    컴퓨터 판독 가능한 저장 매체.
  11. 제 10 항에 있어서,
    상기 프라이버시 모드를 자동으로 결정하는 데에 발호 위치 및 디바이스 타입 중 적어도 하나를 사용하는 명령어를 더 포함하는
    컴퓨터 판독 가능한 저장 매체.
  12. 제 9 항에 있어서,
    깊이 추정치를 결정하는 명령어를 더 포함하는
    컴퓨터 판독 가능한 저장 매체.
  13. 제 9 항에 있어서,
    상기 프라이버시 모드는, 회사내 미팅, 그룹간 미팅 및 회사간 미팅을 포함하는 미팅 타입, 유저 프라이버시 선호도, 발호 위치 및 디바이스 타입 중 하나 이상을 사용하여 자동으로 결정되는
    컴퓨터 판독 가능한 저장 매체.
  14. 시스템으로서,
    프로세서 및 메모리와,
    상기 프로세서를 이용하여 실행되는 운영 환경과,
    적어도 4대의 카메라 각각의 중심 사이에 적어도 5mm 간격을 갖는 베이스에 배치된 적어도 4대의 카메라로 이루어진 어레이를 포함하는 프라이버시 카메라와,
    카메라 매니저를 포함하되,
    상기 카메라 매니저는,
    상기 프라이버시 카메라에 의해 취득된 장면의 전경에서 관심 구역을 자동으로 결정하는 동작과,
    배경 흐림 및 배경 대체를 포함하는 프라이버시 모드들로부터 프라이버시 모드를 결정하는 동작과,
    상기 결정된 프라이버시 모드가 상기 배경 흐림일 경우에는, 상기 장면에서 전경에 있는 관심 대상들이 정초점으로 보이고 상기 장면의 배경 내의 임의의 대상들이 정초점이 아니게 보이도록, 상기 프라이버시 카메라에 대하여 제한된 심도를 설정하여 이미지를 생성하는 동작 - 상기 장면의 배경 내의 임의의 대상들은 상기 적어도 4대의 카메라와 연관된 상이한 카메라 센서들 사이의 거리로 인해 흐릿해지고, 상기 장면의 배경은 상이한 정도로 흐릿해짐 - 과,
    상기 결정된 프라이버시 모드가 상기 배경 대체일 경우에는, 상기 장면에서 전경에 상기 관심 구역이 포함되도록 결정하는데 사용된 상기 프라이버시 카메라에 대하여 전경 깊이를 설정하고 상기 배경을 이미지 및 필 중 적어도 하나로 대체하여 이미지를 생성하는 동작과,
    상기 이미지를 디스플레이하는 동작
    을 수행하도록 구성되는 시스템.
  15. 제 14 항에 있어서,
    상기 프라이버시 모드를 결정하는 동작은, 회사내 미팅, 그룹간 미팅, 및 회사간 미팅을 포함하는 미팅 타입, 유저 프라이버시 선호도, 발호 위치, 디바이스 타입, 얼굴 검출, 및 머리 자세 중 하나 이상을 이용해서 상기 프라이버시 모드를 자동으로 선택하는 동작을 포함하는
    시스템.
  16. 제 14 항에 있어서,
    상기 카메라 매니저는, 상기 적어도 4대의 카메라로 이루어진 어레이 내의 카메라들 중 적어도 하나의 카메라의 고장을 상기 어레이 내의 다른 카메라들 중 적어도 하나의 카메라를 사용하여 보상하는 동작을 더 수행하도록 구성되는
    시스템.
  17. 제 14 항에 있어서,
    상기 배경을 이미지 및 필 중 적어도 하나로 대체하는 것은, 회사내 미팅, 그룹간 미팅, 및 회사간 미팅을 포함하는 미팅 타입, 유저 프라이버시 선호도, 발호 위치, 얼굴 검출, 머리 자세, 및 디바이스 타입 중 하나 이상에 기초하여, 사용할 이미지를 결정하는 것을 포함하는
    시스템.
KR1020157016298A 2012-12-20 2013-12-19 프라이버시 모드를 갖춘 카메라 KR102174767B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/723,008 2012-12-20
US13/723,008 US9124762B2 (en) 2012-12-20 2012-12-20 Privacy camera
PCT/US2013/076647 WO2014100455A1 (en) 2012-12-20 2013-12-19 Camera with privacy modes

Publications (2)

Publication Number Publication Date
KR20150097536A KR20150097536A (ko) 2015-08-26
KR102174767B1 true KR102174767B1 (ko) 2020-11-05

Family

ID=49989895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157016298A KR102174767B1 (ko) 2012-12-20 2013-12-19 프라이버시 모드를 갖춘 카메라

Country Status (6)

Country Link
US (4) US9124762B2 (ko)
EP (1) EP2920958A1 (ko)
JP (1) JP2016506669A (ko)
KR (1) KR102174767B1 (ko)
CN (3) CN108234920B (ko)
WO (1) WO2014100455A1 (ko)

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9420168B2 (en) * 2013-09-20 2016-08-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN104469127B (zh) * 2013-09-22 2019-10-18 南京中兴软件有限责任公司 拍摄方法和装置
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
US10013564B2 (en) 2013-10-10 2018-07-03 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US10185841B2 (en) 2013-10-10 2019-01-22 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy beacons
US10346624B2 (en) * 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
US10834290B2 (en) 2013-10-10 2020-11-10 Elwha Llc Methods, systems, and devices for delivering image data from captured images to devices
US10102543B2 (en) 2013-10-10 2018-10-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US9367939B2 (en) 2013-10-22 2016-06-14 Nokia Technologies Oy Relevance based visual media item modification
US9479730B1 (en) 2014-02-13 2016-10-25 Steelcase, Inc. Inferred activity based conference enhancement method and system
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
CN104021350B (zh) * 2014-05-13 2016-07-06 小米科技有限责任公司 隐私信息隐藏方法及装置
CN105100671A (zh) * 2014-05-20 2015-11-25 西安中兴新软件有限责任公司 一种基于视频通话的图像处理方法和装置
KR101834530B1 (ko) * 2014-06-16 2018-04-16 한국전자통신연구원 동적 협업 서비스 플랫폼 및 상기 플랫폼에서 응용 서비스를 제공하는 방법
US9679194B2 (en) * 2014-07-17 2017-06-13 At&T Intellectual Property I, L.P. Automated obscurity for pervasive imaging
CN105407261A (zh) * 2014-08-15 2016-03-16 索尼公司 图像处理装置、方法以及电子设备
SG10201407100PA (en) * 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
JP6551416B2 (ja) * 2014-11-07 2019-07-31 ソニー株式会社 情報処理システム、記憶媒体、および制御方法
CN104378553A (zh) * 2014-12-08 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备
US9881070B2 (en) 2014-12-12 2018-01-30 Microsoft Technology Licensing, Llc Controlling service functions in response to service instigation and service reactivation messages
US9826000B2 (en) 2014-12-12 2017-11-21 Microsoft Technology Licensing, Llc Effecting communication events
EP3035284A1 (en) 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
US20160182846A1 (en) 2014-12-22 2016-06-23 Google Inc. Monolithically integrated rgb pixel array and z pixel array
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US9918073B2 (en) 2014-12-22 2018-03-13 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
US9508681B2 (en) 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
US9569697B1 (en) * 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
US9648236B2 (en) 2015-02-19 2017-05-09 Blackberry Limited Device with a front facing camera having discrete focus positions
US9955140B2 (en) 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging
WO2016154392A1 (en) 2015-03-24 2016-09-29 University Of Florida Research Foundation, Inc. Optical privatizing device, system and method of use
US10999499B2 (en) * 2015-03-25 2021-05-04 Avaya, Inc. Background replacement from video images captured by a plenoptic camera
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
EP3101838A1 (en) * 2015-06-03 2016-12-07 Thomson Licensing Method and apparatus for isolating an active participant in a group of participants
EP3101839A1 (en) * 2015-06-03 2016-12-07 Thomson Licensing Method and apparatus for isolating an active participant in a group of participants using light field information
GB2539387B (en) * 2015-06-09 2021-04-14 Oxford Metrics Plc Motion capture system
US10284558B2 (en) 2015-08-12 2019-05-07 Google Llc Systems and methods for managing privacy settings of shared content
JP6761230B2 (ja) * 2015-08-21 2020-09-23 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び撮像装置
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
EP3284249A2 (en) * 2015-10-30 2018-02-21 2MEE Ltd Communication system and method
US9881171B2 (en) 2015-11-16 2018-01-30 International Business Machines Corporation Privacy protecting sensing devices
US9948893B2 (en) * 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
US9911193B2 (en) 2015-11-18 2018-03-06 Avaya Inc. Semi-background replacement based on rough segmentation
CN105825106B (zh) * 2015-11-30 2018-10-23 南京步步高通信科技有限公司 拍照加密查看方法和移动终端
US10565395B2 (en) * 2016-01-29 2020-02-18 Kiwi Security Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
JP6736916B2 (ja) * 2016-03-02 2020-08-05 株式会社リコー 情報処理装置、情報処理方法、及びプログラム
US10025938B2 (en) * 2016-03-02 2018-07-17 Qualcomm Incorporated User-controllable screen privacy software
WO2017163323A1 (ja) * 2016-03-23 2017-09-28 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
CN106060423B (zh) 2016-06-02 2017-10-20 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
US20170351336A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight based gesture control devices, systems and methods
US10447910B2 (en) 2016-08-04 2019-10-15 International Business Machines Corporation Camera notification and filtering of content for restricted sites
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN109983765A (zh) * 2016-12-05 2019-07-05 惠普发展公司，有限责任合伙企业 经由全方位相机的视听传输调整
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US9854206B1 (en) * 2016-12-22 2017-12-26 TCL Research America Inc. Privacy-aware indoor drone exploration and communication framework
CN106878588A (zh) * 2017-02-27 2017-06-20 努比亚技术有限公司 一种视频背景虚化终端及方法
CN106803920B (zh) * 2017-03-17 2020-07-10 广州视源电子科技股份有限公司 一种图像处理的方法、装置及智能会议终端
US10412139B2 (en) * 2017-05-26 2019-09-10 Streamsure Solutions Limited Communication event
WO2019009894A1 (en) 2017-07-06 2019-01-10 Hewlett-Packard Development Company, L.P. LIGHT SHUTTERS FOR CAMERAS
US10623680B1 (en) * 2017-07-11 2020-04-14 Equinix, Inc. Data center viewing system
JP6820074B2 (ja) * 2017-07-19 2021-01-27 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
US10798313B2 (en) * 2017-08-22 2020-10-06 Alarm.Com Incorporated Preserving privacy in surveillance
CN107623832A (zh) * 2017-09-11 2018-01-23 广东欧珀移动通信有限公司 视频背景替换方法、装置和移动终端
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10560645B2 (en) 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10674096B2 (en) 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
CN108174140A (zh) * 2017-11-30 2018-06-15 维沃移动通信有限公司 一种视频通信的方法和移动终端
CN110009555B (zh) * 2018-01-05 2020-08-14 Oppo广东移动通信有限公司 图像虚化方法、装置、存储介质及电子设备
JP7030534B2 (ja) 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法
JP7047394B2 (ja) * 2018-01-18 2022-04-05 セイコーエプソン株式会社 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
EP3514760B1 (en) 2018-01-23 2020-06-17 Honda Research Institute Europe GmbH Method and system for privacy compliant data recording
CN108322646B (zh) * 2018-01-31 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108270973B (zh) * 2018-02-06 2020-06-30 Oppo广东移动通信有限公司 一种拍照处理方法、移动终端及计算机可读存储介质
WO2019176236A1 (ja) * 2018-03-13 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
CN108174109B (zh) * 2018-03-15 2020-09-25 维沃移动通信有限公司 一种拍照方法及移动终端
EP3564900B1 (en) 2018-05-03 2020-04-01 Axis AB Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
CN110536097A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 一种视频控制方法、视频会议终端和多点控制单元mcu
US10762755B2 (en) * 2018-06-04 2020-09-01 Apple Inc. Data-secure sensor system
US11386614B2 (en) * 2018-06-15 2022-07-12 Google Llc Shading images in three-dimensional content system
IL260417B (en) * 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
CN109035307B (zh) * 2018-07-16 2020-09-25 湖北大学 基于自然光双目视觉的设定区域目标追踪方法及系统
US10580272B1 (en) * 2018-10-04 2020-03-03 Capital One Services, Llc Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection
US10498973B1 (en) 2018-10-26 2019-12-03 At&T Intellectual Property I, L.P. Physical object-based visual workspace configuration system
WO2020106271A1 (en) 2018-11-19 2020-05-28 Hewlett-Packard Development Company, L.P. Protecting privacy in video content
WO2020107187A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Systems and methods for taking telephoto-like images
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
EP3691277A1 (en) 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
JP6675510B2 (ja) * 2019-04-04 2020-04-01 キヤノン株式会社 被写体追跡装置およびその制御方法、画像処理装置およびその制御方法、撮像装置およびその制御方法、プログラム
CN111953922B (zh) * 2019-05-16 2022-05-27 南宁富联富桂精密工业有限公司 视频会议的人脸辨识方法、服务器及计算机可读存储介质
US11217345B2 (en) * 2019-05-22 2022-01-04 Mocxa Health Private Limited Anonymization of audio-visual medical data
KR102148351B1 (ko) * 2019-06-18 2020-08-26 주식회사 필인 사생활 보호 기능을 구비한 감시 카메라
CN110502974A (zh) * 2019-07-05 2019-11-26 深圳壹账通智能科技有限公司 一种视频图像的展示方法、装置、设备、及可读存储介质
US10891128B1 (en) 2019-08-07 2021-01-12 Microsoft Technology Licensing, Llc Software regression detection in computing systems
US11877064B1 (en) * 2019-08-20 2024-01-16 Opic Technologies, Inc. Method and apparatus for a stereoscopic smart phone
US11321487B2 (en) 2019-08-23 2022-05-03 International Business Machines Corporation Contextual privacy policy implementation via digital blurring system
CN110519544B (zh) * 2019-08-30 2021-03-23 维沃移动通信有限公司 一种视频通话方法及电子设备
CN112492193B (zh) * 2019-09-12 2022-02-18 华为技术有限公司 一种回调流的处理方法及设备
CN110881103B (zh) * 2019-09-19 2022-01-28 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
EP3820145B1 (de) * 2019-11-11 2021-10-20 GIRA GIERSIEPEN GmbH & Co. KG Türkommunikationsanlage mit einer eine kamera aufweisenden türstation
US11182879B1 (en) * 2019-11-27 2021-11-23 United Services Automobile Association (Usaa) Synthetic bokeh for video conferencing
JP7532767B2 (ja) * 2019-11-29 2024-08-14 セイコーエプソン株式会社 撮影表示装置、撮影表示システムおよび撮影表示装置の制御方法
WO2021161321A1 (en) 2020-02-13 2021-08-19 Inspekto A.M.V Ltd User interface device for autonomous machine vision inspection
US11869262B1 (en) * 2020-03-24 2024-01-09 Amazon Technologies, Inc. System for access control of image data using semantic data
JPWO2021192764A1 (ko) * 2020-03-25 2021-09-30
CN111432154B (zh) * 2020-03-30 2022-01-25 维沃移动通信有限公司 视频播放方法、视频处理方法及电子设备
CN111601063B (zh) * 2020-04-29 2021-12-14 维沃移动通信有限公司 视频处理方法及电子设备
EP3910545A1 (en) 2020-05-15 2021-11-17 Koninklijke Philips N.V. Ambient light suppression
KR102152780B1 (ko) * 2020-08-20 2020-09-07 주식회사 필인 사생활 보호 기능을 구비한 감시 카메라
KR102152779B1 (ko) * 2020-08-20 2020-09-07 주식회사 필인 사생활 보호 기능을 구비한 감시 카메라
KR20220029212A (ko) * 2020-09-01 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220032867A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 전자장치 및 그 제어방법
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
US11659137B1 (en) * 2020-11-30 2023-05-23 Securus Technologies, Inc. Video display blurring on demand
CN112770049A (zh) * 2020-12-30 2021-05-07 维沃移动通信有限公司 拍摄方法、装置及存储介质
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
CN112954210B (zh) * 2021-02-08 2023-04-18 维沃移动通信（杭州）有限公司 拍照方法、装置、电子设备及介质
US11800056B2 (en) * 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113096084B (zh) * 2021-03-31 2023-06-20 深圳百迈技术有限公司 基于阵列相机成像的视觉检测方法、设备及系统
US12081899B2 (en) * 2021-04-16 2024-09-03 Zoom Video Communications, Inc. Immersive scenes
CN115250320B (zh) * 2021-04-28 2024-06-14 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质
US12108243B2 (en) * 2021-04-29 2024-10-01 Cisco Technology, Inc. Selective privacy filtering for online conferences
CN113905204B (zh) * 2021-09-07 2023-02-14 深圳壹秘科技有限公司 图像显示方法、装置、设备及存储介质
US11546181B1 (en) 2021-09-13 2023-01-03 International Business Machines Corporation Contextually driven diversion enhancement framework
CN117994121A (zh) * 2022-10-28 2024-05-07 华为技术有限公司 一种图像处理方法及电子设备
CN116847159B (zh) * 2023-08-29 2023-11-07 中亿(深圳)信息科技有限公司 基于视频云存储的监控视频管理系统
CN116915938B (zh) * 2023-09-11 2023-11-21 北京蓝耘科技股份有限公司 一种高安全性的云计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525667A (ja) * 2007-04-20 2010-07-22 ジェネラル・インスツルメント・コーポレーション テレビ電話におけるプライバシーを最大にするための浅い被写界深度の模擬実験
JP4942221B2 (ja) * 2006-10-25 2012-05-30 国立大学法人東京工業大学 高解像度仮想焦点面画像生成方法

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781198A (en) * 1995-12-22 1998-07-14 Intel Corporation Method and apparatus for replacing a background portion of an image
US5870103A (en) * 1996-09-25 1999-02-09 Eastman Kodak Company Method for creating realistic-looking composite images
GB9626525D0 (en) * 1996-12-20 1997-02-05 Kodak Ltd A photographic system using chroma-key processing
US6295392B1 (en) * 1998-05-20 2001-09-25 Itt Manufacturing Enterprises, Inc. Super resolution methods for electro-optical systems
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
US6067399A (en) * 1998-09-02 2000-05-23 Sony Corporation Privacy mode for acquisition cameras and camcorders
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
KR100516638B1 (ko) * 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
GB2400514B (en) * 2003-04-11 2006-07-26 Hewlett Packard Development Co Image capture method
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
GB0326374D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object detection in images
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7362350B2 (en) * 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
JP2006013856A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd テレビ電話装置
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US7911516B2 (en) * 2004-09-27 2011-03-22 Panasonic Corporation Camera module and electronic apparatus provided with it
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
KR101113844B1 (ko) * 2005-03-08 2012-02-29 삼성테크윈 주식회사 감시카메라 및 감시카메라의 프라이버시 보호방법
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
CN101297545B (zh) * 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7783075B2 (en) * 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
TWI376930B (en) * 2006-09-04 2012-11-11 Via Tech Inc Scenario simulation system and method for a multimedia device
KR20080044379A (ko) * 2006-11-16 2008-05-21 삼성전자주식회사 이동통신 단말기 및 그의 프라이버시를 보호하는 화상통화방법
US8265793B2 (en) * 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
JP4889538B2 (ja) * 2007-03-27 2012-03-07 三洋電機株式会社 画像処理装置
US7834894B2 (en) * 2007-04-03 2010-11-16 Lifetouch Inc. Method and apparatus for background replacement in still photographs
US8063929B2 (en) * 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8154578B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8559732B2 (en) * 2007-08-06 2013-10-15 Apple Inc. Image foreground extraction using a presentation application
JP5028574B2 (ja) * 2007-08-10 2012-09-19 株式会社メガチップス デジタルカメラシステム
JP5306628B2 (ja) * 2007-10-16 2013-10-02 富士フイルム株式会社 撮影方法及び装置
CN101946267B (zh) * 2007-12-21 2013-12-25 皇家飞利浦电子股份有限公司 匹配通信设备
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP4497211B2 (ja) * 2008-02-19 2010-07-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8596541B2 (en) * 2008-02-22 2013-12-03 Qualcomm Incorporated Image capture device with integrated barcode scanning
KR101427660B1 (ko) * 2008-05-19 2014-08-07 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
TWI377521B (en) * 2008-05-27 2012-11-21 Novatek Microelectronics Corp Image processing apparatus and method
US9253416B2 (en) * 2008-06-19 2016-02-02 Motorola Solutions, Inc. Modulation of background substitution based on camera attitude and motion
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
US8665258B2 (en) * 2008-09-16 2014-03-04 Adobe Systems Incorporated Generating a depth map based on a single image
WO2010034025A2 (en) * 2008-09-22 2010-03-25 Uni-Pixel Displays, Inc. Field sequential color encoding for displays
US8254679B2 (en) * 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
EP2244484B1 (en) * 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8320666B2 (en) * 2009-08-14 2012-11-27 Genesis Group Inc. Real-time image and video matting
KR101617289B1 (ko) * 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2011052064A1 (ja) * 2009-10-30 2011-05-05 キヤノン株式会社 情報処理装置および方法
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
CN102170552A (zh) * 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
US8639020B1 (en) * 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
WO2012001947A1 (ja) * 2010-06-28 2012-01-05 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム記録媒体
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
US20120019688A1 (en) * 2010-07-20 2012-01-26 Research In Motion Limited Method for decreasing depth of field of a camera having fixed aperture
US9785744B2 (en) * 2010-09-14 2017-10-10 General Electric Company System and method for protocol adherence
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
CN107105157B (zh) * 2010-11-29 2020-02-14 快图有限公司 从手持设备所捕获的多个图像进行肖像图像合成
US8599255B2 (en) * 2010-12-07 2013-12-03 Qnap Systems, Inc. Video surveillance system based on Gaussian mixture modeling with two-type learning rate control scheme
US20130050395A1 (en) * 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
JP5797016B2 (ja) * 2011-05-30 2015-10-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2013012820A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
JP5389879B2 (ja) * 2011-09-20 2014-01-15 株式会社日立製作所 撮像装置、監視カメラ、およびカメラ画面のマスク方法
US20130083997A1 (en) * 2011-10-04 2013-04-04 Alcatel-Lucent Usa Inc. Temporally structured light
WO2013086734A1 (en) * 2011-12-16 2013-06-20 Intel Corporation Reduced image quality for video data background regions
US20130176458A1 (en) * 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US20130242057A1 (en) * 2012-03-16 2013-09-19 Research In Motion Limited Methods and devices for producing an enhanced image
CN103366352B (zh) * 2012-03-30 2017-09-22 北京三星通信技术研究有限公司 用于产生背景被虚化的图像的设备和方法
US9294746B1 (en) * 2012-07-09 2016-03-22 Amazon Technologies, Inc. Rotation of a micro-mirror device in a projection and camera system
US9282301B1 (en) * 2012-07-25 2016-03-08 Rawles Llc System for image projection
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
US9020825B1 (en) * 2012-09-25 2015-04-28 Rawles Llc Voice gestures
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US9398272B2 (en) * 2012-11-07 2016-07-19 Google Inc. Low-profile lens array camera
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4942221B2 (ja) * 2006-10-25 2012-05-30 国立大学法人東京工業大学 高解像度仮想焦点面画像生成方法
JP2010525667A (ja) * 2007-04-20 2010-07-22 ジェネラル・インスツルメント・コーポレーション テレビ電話におけるプライバシーを最大にするための浅い被写界深度の模擬実験

Also Published As

Publication number Publication date
WO2014100455A1 (en) 2014-06-26
KR20150097536A (ko) 2015-08-26
CN104982029B (zh) 2018-03-30
CN108234920B (zh) 2022-09-09
US20140176663A1 (en) 2014-06-26
US9729824B2 (en) 2017-08-08
US9124762B2 (en) 2015-09-01
US20180365809A1 (en) 2018-12-20
EP2920958A1 (en) 2015-09-23
US20150334348A1 (en) 2015-11-19
CN108234920A (zh) 2018-06-29
CN108184086A (zh) 2018-06-19
JP2016506669A (ja) 2016-03-03
US10181178B2 (en) 2019-01-15
CN104982029A (zh) 2015-10-14
US20170301067A1 (en) 2017-10-19
US10789685B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102174767B1 (ko) 프라이버시 모드를 갖춘 카메라
US10554921B1 (en) Gaze-correct video conferencing systems and methods
US10009298B2 (en) Managing modality views on conversation canvas
CN108781271B (zh) 用于提供图像服务的方法和装置
US9930270B2 (en) Methods and apparatuses for controlling video content displayed to a viewer
US8789094B1 (en) Optimizing virtual collaboration sessions for mobile computing devices
CN110785996B (zh) 具有多个显示器的设备中的相机资源的动态控制
WO2014200704A1 (en) Providing user video having a virtual curtain to an online conference
US10672167B2 (en) Generating synthetic group selfies
WO2021114592A1 (zh) 视频降噪方法、装置、终端及存储介质
US11871147B2 (en) Adjusting participant gaze in video conferences
JP6720513B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
CN110944013A (zh) 网络会话的切换方法、装置、计算机设备及存储介质
US20230388357A1 (en) 2d and 3d transitions for renderings of users participating in communication sessions
Shamma et al. Interacting with smart consumer cameras: exploring gesture, voice, and AI control in video streaming
US11947871B1 (en) Spatially aware virtual meetings
US20230289919A1 (en) Video stream refinement for dynamic scenes
US20230262101A1 (en) Methods, Systems, and Devices for Presenting Demonstration Objects in a Videoconference

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right