KR20180054794A - 카메라 프리뷰 - Google Patents

카메라 프리뷰 Download PDF

Info

Publication number
KR20180054794A
KR20180054794A KR1020187011114A KR20187011114A KR20180054794A KR 20180054794 A KR20180054794 A KR 20180054794A KR 1020187011114 A KR1020187011114 A KR 1020187011114A KR 20187011114 A KR20187011114 A KR 20187011114A KR 20180054794 A KR20180054794 A KR 20180054794A
Authority
KR
South Korea
Prior art keywords
image
images
copies
preview
preview image
Prior art date
Application number
KR1020187011114A
Other languages
English (en)
Inventor
징팅 딩
판 링
쉬안 저우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180054794A publication Critical patent/KR20180054794A/ko

Links

Images

Classifications

    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23232—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

전자 디바이스는 그 전자 디바이스가 이미지 프리뷰 모드에서 동작하고 있는 동안 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 상이한 시간들에 복수의 이미지들을 수신하며, 전자 디바이스는 프리뷰 이미지로부터 하나 이상의 이동 물체들을 배제하는 깨끗한 프리뷰 이미지를 생성한다.

Description

카메라 프리뷰
본 개시는 컴퓨팅 디바이스로 이미지를 렌더링하는 기법들에 관한 것이다.
전경에 원하지 않는 물체들 (예를 들어, 사람들, 자동차들, 및 다른 이동하는 물체들) 을 갖는 배경 장면의 사진을 촬영할 때, 사진 촬영자는 종종 가능한 소수의 원하지 않는 물체들을 갖는 배경 장면의 사진을 갖기를 원한다. 시간에 있어서 가까운 다수의 사진들을 촬영하고 그 다수의 사진들을 원하지 않는 물체들이 제거된 단일의 사진으로 합성하는 솔루션들이 현재 존재한다. 이들 기존의 솔루션들은, 그러나, 포스트-프로세싱에서 물체들을 제거한다. 일부 기존의 솔루션들은 사용자들이 이미 캡쳐된 이미지들 내의 물체들을 수동으로 식별하고 이들 물체들을 제거하는 것을 허용한다.
본 개시는 이미지 프리뷰 모드에서 원하지 않는 물체들을 배제시키는 프리뷰 이미지를 생성하는 방법들 및 디바이스들을 기술한다. 따라서, 본 개시의 기법들을 구현하는 디바이스의 사용자는 (예를 들어, 실시간 또는 근 실시간으로) 최종 이미지를 캡쳐하기 전에 깨끗한 (clean) 프리뷰 이미지 (즉, 원하지 않는 물체들이 제거된 이미지) 를 볼 수도 있다. 일부 예들에서, 사용자는 초점, 프레이밍, 배향, 줌, 조명, 및 임의의 다른 그러한 파라미터들에 대한 캡쳐전 조정들을 행함에 있어서 그 깨끗한 프리뷰를 사용한다. 사진을 촬영한 후, 카메라는 사용자가 이미지 프리뷰 모드에서 본, 원하지 않는 물체들이 제거된 프리뷰 이미지와 실질적으로 유사하고, 일부 해상도들에서는 아마도 심지어 그 프리뷰 이미지로부터 구별불가능한 원하지 않는 물체들을 갖지 않는 최종 이미지를 생성할 수도 있다.
본 개시의 하나의 양태에 따르면, 방법은, 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 단계로서, 상기 복수의 이미지들을 수신하는 단계는 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하는 단계; 버퍼에 그 복수의 이미지들의 카피들의 제 1 세트를 저장하는 단계로서, 카피들의 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하는 단계; 카피들의 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하는 단계; 및 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 단계로서, 상기 프리뷰 이미지는 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하는 단계를 포함한다.
본 개시의 다른 양태에 따르면, 전자 디바이스는 메모리 및 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 것으로서, 상기 하나 이상의 프로세서들은 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 동작하면서 상기 복수의 이미지들을 수신하는, 상기 복수의 이미지들을 수신하고; 메모리에 그 복수의 이미지들의 카피들의 제 1 세트를 저장하는 것으로서, 카피들의 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하며; 카피들의 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하고; 및 디스플레이상의 출력을 위해, 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 것으로서, 상기 프리뷰 이미지는 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하도록 구성된다.
본 개시의 다른 양태에 따르면, 장치는, 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 수단으로서, 상기 복수의 이미지들을 수신하는 것은 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하는 수단; 그 복수의 이미지들의 카피들의 제 1 세트를 저장하는 수단으로서, 카피들의 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하는 수단; 카피들의 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하는 수단; 및 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 수단으로서, 상기 프리뷰 이미지는 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하는 수단을 포함한다.
본 개시의 다른 양태에 따르면, 컴퓨터 판독가능 저장 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 그 하나 이상의 프로세서들로 하여금, 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하게 하는 것으로서, 상기 복수의 이미지들을 수신하는 것은 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하게 하고; 버퍼에 그 복수의 이미지들의 카피들의 제 1 세트를 저장하게 하는 것으로서, 카피들의 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하게 하며; 카피들의 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하게 하고; 및 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하게 하는 것으로서, 상기 프리뷰 이미지는 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하게 하는 명령들을 저장한다.
본 개시의 하나 이상의 양태들의 상세들은 첨부하는 도면들 및 이하의 설명에서 진술된다. 본 개시에 기술된 기법들의 다른 특징들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구범위로부터 명백할 것이다.
도 1 은 본 개시의 기법들을 구현할 수도 있는 예시의 디바이스를 도시한다.
도 2a 는 도 1 에 도시된 디바이스에 의해 캡쳐될 수도 있는 복수의 이미지들의 예를 도시한다.
도 2b 는 본 개시의 기법들의 예에 따라 도 2a 의 복수의 이미지들로부터 생성된 프리뷰 이미지의 예를 도시한다.
도 3 은 본 개시의 기법들을 구현하도록 구성될 수도 있는 디바이스의 예를 도시하는 블록도이다.
도 4 는 본 개시의 기법들의 예에 따라 프리뷰 이미지를 생성하는 기법들을 도시하는 흐름도이다.
도 5 는 본 개시의 기법들의 예에 따라 프리뷰 이미지를 생성하는 기법들을 도시하는 흐름도이다.
도 6 은 본 개시의 기법들의 예에 따라 라벨 맵의 예를 도시한다.
도 7 은 본 개시의 기법들의 예에 따라 최종 이미지를 생성하기 위해 사용될 수도 있는 업샘플링된 라벨 맵의 예를 도시한다.
도 8 은 본 개시의 기법들의 예에 따라 프리뷰 이미지를 생성하는 기법들을 도시하는 흐름도이다.
사진들로부터 원하지 않는 물체들을 제거하는 기존의 솔루션들에서, 사진 촬영자는 사진(들) 을 캡쳐하기 전에 프리뷰 윈도우에서 원하지 않는 물체들이 제거된 사진을 실제로 보는 것이 아니라, 대신에 사진(들) 을 캡쳐한 후에만 그러한 사진을 본다. 본 개시는, 이미지 프리뷰 모드에서, 원하지 않는 물체들을 배제하는 프리뷰 이미지를 생성하는 방법들 및 디바이스들을 기술한다. 따라서, 본 개시의 기법들을 구현하는 디바이스의 사용자는 (예를 들어, 실시간 또는 근 실시간으로) 최종 이미지를 캡쳐하기 전에 깨끗한 프리뷰 이미지 (즉, 원하지 않는 물체들이 제거된 이미지) 를 볼 수도 있고, 초점, 프레이밍, 배향, 줌, 조명, 및 임의의 다른 그러한 파라미터들에 대한 캡쳐전 조정들을 행함에 있어서 그 깨끗한 프리뷰를 사용할 수도 있다.
사진을 촬영한 후, 카메라는 사용자가 이미지 프리뷰 모드에서 본, 원하지 않는 물체들이 제거된 프리뷰 이미지와 실질적으로 유사하고, 일부 해상도들에서는 아마도 심지어 그 프리뷰 이미지로부터 구별불가능한 원하지 않는 물체들을 갖지 않는 최종 이미지를 생성할 수도 있다. 그러나, 최종 이미지는 예를 들어 상이한 이미지 프로세싱 기법들을 사용하여 생성될 수도 있기 때문에, 최종 이미지는 프리뷰 이미지와 동일하지 않을 수도 있다. 깨끗한 프리뷰 이미지들의 실시간 또는 근 실시간 생성을 용이하게 하기 위해, 깨끗한 프리뷰 이미지를 생성하기 위해 사용되는 프로세싱은 예를 들어 최종 이미지를 생성하기 위해 사용되는 프로세싱보다 덜 복잡하고 시간-집약적일 수도 있다. 추가적으로 또는 대안적으로, 깨끗한 프리뷰 이미지는 최종 이미지보다 더 낮은 공간 해상도 이미지일 수도 있다.
본 개시에서 사용되는 바와 같이, 용어들 깨끗한 프리뷰 이미지 및 깨끗한 최종 이미지는 일반적으로 상이한 시간들에서 캡쳐된 복수의 이미지들로부터 합성되는 이미지들을 지칭한다. 그 이미지들은 복수의 이미지들에 존재하는 하나 이상의 물체들의 적어도 일부가 깨끗한 프리뷰 이미지 또는 깨끗한 최종 이미지에 존재하지 않는 방식으로 합성될 수도 있다. 카메라는 하나 이상의 물체들이 가망 있는 원하지 않는 물체들이라는 결정에 기초하여 어느 물체들을 배제할지를 결정할 수도 있다. 이하에 더 상세히 기술되는 바와 같이, 카메라는 카메라의 이미지 센서로부터 예를 들어 복수의 이미지들을 수신하고 하나의 이미지로부터 다른 이미지로 물체들의 이동을 검출하고, 물체들의 이동에 기초하여 깨끗한 프리뷰 이미지 또는 깨끗한 최종 이미지로부터 배제할 원하지 않는 물체를 식별할 수도 있다.
도 1 은 본 개시의 기법들을 구현하고 깨끗한 프리뷰 이미지를 생성하도록 구성될 수도 있는 예시의 디바이스를 도시한다. 일반적으로, 본 개시의 기법들은 (고 및/또는 저 해상도 화상들 및/또는 비디오를 위해 구성될 수도 있는) 적어도 하나의 이미지 센서 및 이미지 프로세서를 갖는 디바이스들로 구현될 수도 있다. 예를 들어, 디바이스 (20) 는 전방 이미지 센서 (22), 후방 이미지 센서 (24), 디스플레이 (26), 및 사진속 사진 (picture-in-picture: PIP) 윈도우 (28) 를 포함한다. 디바이스 (20) 는 또한 스피커 (30), 마이크로폰 (32), 및 버튼 (34) 을 포함하고 도 1 의 예에 명시적으로 도시되지 않은 다수의 다른 컴포넌트들을 포함할 수도 있다.
디바이스 (20) 는 예를 들어 소위 "스마트" 폰들과 같은 전화 핸드셋들, 태블릿 컴퓨터들, 웨어러블 컴퓨팅 디바이스들 (예를 들어, 헤드-장착 디스플레이들 및 시계들), 카메라들, 노트북 (즉, 랩톱) 컴퓨터들, 디지털 미디어 재생기들, 비디오 게이밍 콘솔들 또는 핸드헬드 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는 임의의 광범위한 디바이스들을 포함할 수도 있다. 디바이스 (20) 는 휴대용 디바이스일 수도 있지만, 본 개시의 기법들은 이러한 방식으로 제한되지 않는다. 예를 들어, 다른 양태들에 다르면, 기법들은 데스크톱 컴퓨터들, 셋톱 박스들, 텔레비젼들, 드론들, 또는 다른 디바이스들과 함께 사용될 수도 있다.
전방 이미지 센서 (22) 및 후방 이미지 센서 (24) 는 이미지들을 캡쳐하도록 구성될 수도 있다. 예를 들어, 전방 이미지 센서 (22) 및 후방 이미지 센서 (24) 는 광학 이미지를 전자 신호로 변환하는 임의의 컴포넌트들을 포함할 수도 있다. 예시의 이미지 센서들은 전하 결합 디바이스들 (CCD), 상보형 금속산화물 반도체 (CMOS), N-형 금속산화물 반도체 (NMOS) 등을 포함한다. 일부 예들에서, 이하에 더 상세히 기술되는 바와 같이, 전방 이미지 센서 (22) 및 후방 이미지 센서 (24) 는 하나 이상의 카메라 시스템들 또는 서브시스템들에 포함될 수도 있다.
디스플레이 (26) 는 액정 디스플레이 (LCD), 발광 다이오드 (LED), 유기 발광다이오드 (OLED), 또는 사용자에게 출력을 생성할 수 있는 임의의 다른 타입의 디바이스를 포함할 수도 있다. 일부 예들에서, 디스플레이 (26) 는 터치-감지 및/또는 존재-감지 디스플레이들로서 구성될 수도 있다.
도 1 에 도시된 예에서, 디바이스 (20) 는 PIP 윈도우 (28) 를 포함한다. 일부 예들에서, PIP 윈도우는 디스플레이 (26) 에 디스플레이되는 다른 컨텐츠와는 독립적으로 컨텐츠를 디스플레이하는 영역들을 제공할 수도 있다. 예를 들어, 디바이스 (20) 는 카메라 애플리케이션이 실행되고 있을 때 PIP 이미지 프리뷰잉을 수행하도록 구성될 수도 있다. 이러한 예에서, 디바이스 (20) 는 PIP 윈도우 (28) 가 일부 다른 정보를 디스플레이하는 동안 디스플레이 (26) 상에서 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 에 의한 캡쳐를 위해 이미지들을 프리뷰할 수도 있다. 다른 예들에서, 디바이스 (20) 는 디스플레이 (26) 의 나머지가 일부 다른 정보를 디스플레이하는 동안 PIP 윈도우 (28) 에서 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 에 의한 캡쳐를 위해 이미지들을 프리뷰할 수도 있다.
디바이스 (20) 는 디스플레이 (26), 즉 디스플레이 (26) 의 전체 또는 단지 PIP 윈도우 (28) 만이 사용자에게 프리뷰 이미지들을 제시하는 기본 이미지 프리뷰 모드에서 동작하도록 구성될 수도 있다. 일반적으로, 프리뷰 이미지들은 시간에서의 임의의 특정의 순간에 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 의 시야 내에 있는 것을 보여준다. 프리뷰 이미지들은, 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 의 FOV 내의 물체들이 변화함에 따라, 디스플레이 (26) 상에 보여지는 프리뷰 이미지들의 컨텐츠가 또한 사용자에게 실시간인 것으로 나타나는 것으로 변화할 정도로 충분히 빈번히 업데이트될 수도 있다. 터치 커맨드, 음성 커맨드, 버튼의 프레싱, 또는 다른 그러한 액션과 같은 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 디바이스 (20) 는 사용자가 개시한 캡쳐 요청이 수신되는 때에 디스플레이되는 프리뷰 이미지와 실질적으로 유사한 최종 이미지를 캡쳐하도록 구성될 수도 있다.
디바이스 (20) 는 또한 인에이블된 깨끗한 프리뷰 특징을 갖는 이미지 프리뷰 모드에서 동작하도록 구성될 수도 있다. 디바이스 (20) 가 인에이블된 깨끗한 프리뷰 특징으로 동작하고 있을 때, 디스플레이 (26) 는 상술된 바와 같이 사용자에게 프리뷰 이미지들을 제시할 수도 있지만, 프리뷰 이미지들은 하나 이상의 원하지 않는 물체들을 배제할 수도 있다. 디바이스 (20) 는 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 를 통해 상이한 시간들에서 복수의 이미지들을 수신할 수도 있다. 디바이스 (20) 는 복수의 이미지들의 카피들의 제 1 세트를 저장할 수도 있다. 디바이스 (20) 는 카피들의 제 1 세트의 각 이미지의 화소들을 이동 물체 화소들 또는 배경 화소로서 분류하고, 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성할 수도 있다. 디바이스 (20) 는 디스플레이들 (26) 상에 깨끗한 프리뷰 이미지들을 디스플레이할 수도 있다.
깨끗한 프리뷰 이미지를 디스플레이하는 동안, 디바이스 (20) 의 사용자는 이미지 캡쳐 요청을 개시할 수도 있다. 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 디바이스 (20) 는 사용자가 개시한 이미지 캡쳐 요청의 때에 디스플레이되는 깨끗한 프리뷰 이미지와 대략 동일한 최종 이미지를 생성할 수도 있다. 디바이스 (20) 는 깨끗한 프리뷰가 사용자에게 실시간 또는 근 실시간인 것으로 보이는 것으로 변화하도록 깨끗한 프리뷰 이미지를 연속적으로 업데이트할 수도 있다. 그러나, 기본 이미지 프리뷰 모드와 달리, 인에이블된 깨끗한 뷰 특징에 의해, 디스플레이 (26) 상에 보여지는 프리뷰는 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 의 시야 내에 있는 소정의 물체들을 배제할 수도 있다.
도 2a 는 전방 이미지 센서 (22) 또는 후방 이미지 센서 (24) 를 통해 디바이스 (20) 에 의해 수신될 수도 있는 이미지들의 예를 도시한다. 도 2a 의 예에서, 이미지들 (35A, 35B, 및 35C) (이미지들 (35)) 은 약간 상이한 시간들에서 디바이스 (20) 에 의해 수신된 동일한 장면의 이미지들이다. 이미지들 (35) 은 예를 들어 서로로부터 십분의 수초 떨어져 수신된 이미지들일 수도 있다. 디바이스 (20) 는 버퍼에 이미지들 (35) 의 저해상도 카피들을 저장할 수도 있다. 디바이스 (20) 는 예를 들어 1080P 와 같은 고해상도에서 이미지들 (35) 을 수신하지만, 버퍼에 쿼터 비디오 그래픽 어레이 (QVGA) 이미지들과 같은 이미지들 (35) 의 저해상도 버전들을 저장할 수도 있다.
도 2a 의 예들에서 알 수 있듯이, 이미지들 (35) 은 (36A 및 36B 로 라벨링된) 건물을 포함한다. 이미지 (35C) 에서의 건물은 명시적을 보이지 않는다. 이미지들 (35) 은 (37A, 37B 및 37C, 집합적으로 "자동차 (37)" 로 라벨링된) 자동차 및 모터사이클 (38A) 을 더 포함한다. 이미지들 (35) 내의 자동차 (37) 및 모터사이클 (38A) 의 이동에 기초하여, 디바이스 (20) 는 자동차 (37) 및 모터사이클 (38A) 이 원하지 않는 물체들이라고 결정할 수도 있다. 이하에 더 상세히 기술될 기법들을 이용하여, 디바이스 (20) 는 이미지들 (35) 로부터 디스플레이 (26) 상의 디스플레이를 위해 깨끗한 프리뷰 이미지를 생성할 수도 있다.
디바이스 (20) 는 예를 들어 물체가 물체의 운동과 같은 물체의 특징들에 기초하여 원해지지 않는다고 자동적으로 (예를 들어, 사용자 입력 없이) 결정할 수도 있다. 추가적으로 또는 대안적으로, 디바이스 (20) 는 물체가 사용자 입력에 적어도 부분적으로 기초하여 원하지 않는 물체라고 결정할 수도 있다. 사용자는 예를 들어 터치 커맨드 또는 일부 다른 커맨드로 프리뷰 이미지로부터 제거될 물체를 식별할 수도 있다. 다른 구현들에서, 사용자는 프리뷰 이미지에 유지할 물체를 식별하고, 그러한 식별에 응답하여 디바이스 (20) 는 식별된 물체를 프리뷰에 유지하면서 원하지 않는 물체들인 것으로 결정된 물체들을 프리뷰 이미지로부터 제거할 수도 있다.
일부 사용 시나리오들에서, 시야 내의 다수의 물체들은, 그 물체들이 사용자가 이미지에 유지하기를 원하는 물체일지라도, 원하지 않는 물체들의 특징들을 나타낼 수도 있다. 하나의 예로서, 축구 경기를 촬영할 때, 디바이스 (20) 의 사용자는 시야 내로 진입할 수도 있는 비선수들을 배제하면서 그들의 사진들에 축구 선수들을 포함하기를 원할 수도 있다. 선수들이 이동하고 있기 때문에, 그들은 통상적으로 원하지 않는 물체들의 특징들 (예를 들어, 운동) 을 나타낼 수도 있지만, 사용자 입력에 기초하여, 디바이스 (20) 는 원하지 않는 물체들로부터 선수들을 구별할 수 있다.
도 2b 는 도 2a 의 이미지들 (35) 로부터 생성된 깨끗한 프리뷰 이미지 (39) 의 예를 도시한다. 프리뷰 이미지 (39) 에서 알 수 있듯이, 건물 (36) 은 존재하지만, 자동차 (37) 및 모터사이클 (38A) 이 깨끗한 프리뷰 이미지 (39) 로부터 배제되어 있다. 깨끗한 프리뷰 이미지 (39) 는 이미지들 (35) 의 2 이상의 이미지들로부터 합성된다. 즉, 깨끗한 프리뷰 이미지 (39) 의 제 1 부분은 이미지 (35A) 로부터, 제 2 부분은 35B 로부터, 및 제 3 부분은 35C 로부터 취해져 합성된 이미지를 형성할 수도 있다. 합성된 이미지는 디스플레이 (26) 에 의해 디스플레이되기 전에 더욱 프로세싱, 예를 들어, 필터링될 수도 있다.
도 3 은 본 개시의 기법들을 구현하도록 구성될 수도 있는 디바이스 (40) 의 하나의 예를 도시하는 블록도이다. 일부 예들에서, 디바이스 (40) 에 대해 도시되고 기술된 하나 이상의 컴포넌트들은 디바이스 (40) 에 통합될 수도 있다.
도 3 에 도시된 예에서, 디바이스 (40) 는 하나 이상의 프로세서들 (44), 메모리 (48), 디스플레이 프로세서 (54), 로컬 디스플레이 (56), 오디오 프로세서 (60), 스피커들 (62), 전송 유닛 (66), 무선 모뎀 (68), 입력 디바이스들 (72), 및 카메라 시스템(들) (76) 을 포함한다. 다른 예들은 도 3 에 도시된 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수도 있다. 또, 소정의 컴포넌트들이 논의의 목적으로 개별적으로 기술되지만, 도 3 에 대해 도시 및 기술된 일부 컴포넌트들은 단일 컴포넌트를 형성하기 위해 고도로 집적되거나 결합될 수도 있다는 것이 이해되어야 한다.
컴포넌트들 (44, 48, 54, 60, 66, 72, 및 76) 각각은 통신 채널들 (82) 을 통해 컴포넌트간 통신들을 위해 (물리적으로, 통신적으로, 및/또는 동작적으로) 상호연결될 수도 있다. 일부 예들에서, 통신 채널들 (82) 은 시스템 버스, 네트워크 연결, 프로세스간 통신 데이터 구조, 또는 데이터를 통신하기 위한 임의의 다른 채널을 포함할 수도 있다.
하나 이상의 프로세서들 (44) 은 저장 디바이스 메모리 (48) 에 저장된 명령들을 프로세싱할 수 있을 수도 있다. 하나 이상의 프로세서들 (44) 은 디바이스 (40) 를 위한 중앙 처리 유닛 (CPU) 을 형성할 수도 있다. 프로세서들 (44) 은 예를 들어 하나 이상의 마이크로프로세서들, DSP 들, ASIC 들, FPGA 들, 이산 로직, 또는 이들의 임의의 조합들을 포함할 수도 있다. 일부 예들에서, 프로세서들 (44) 은 고정 기능 로직 및/또는 프로그램가능한 로직을 포함할 수도 있고, 소프트웨어 및/또는 펌웨어를 실행할 수도 있다. 기법들이 부분적으로 소프트웨어로 구현될 때, 디바이스는 적합한, 비일시적 컴퓨터 판독가능 매체에 그 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하여 하드웨어에서 그 명령들을 실행할 수도 있다.
일부 예들에서, 프로세서들 (44) 은 전송, 저장, 및 디스플레이를 위해 A/V 데이터를 인코딩 및/또는 디코딩하도록 구성될 수도 있다. 예를 들어, 하나 이상의 프로세서들 (44) 은 비디오 인코더 및/또는 비디오 디코더로서 동작할 수도 있고, 이들 양자는 결합된 비디오 인코더/디코더 (코덱) 의 부분으로서 통합될 수도 있다. 일부 예들에서, 코덱은 대안적으로 MPEG-4, Part 10, 진보된 비디오 코딩 (AVC) 으로서 지칭되는 ITU-T H.264 표준과 같은 비디오 압축 표준, 또는 그러한 표준들의 확장들에 따라 동작할 수도 있다. 비디오 압축 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 및 ITU-T H.265, 고효율 비디오 코딩 (HEVC) 표준을 포함한다.
도 3 의 메모리 (48) 는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 리드 온리 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그램가능한 리드 온리 메모리 (EEPROM), 자기 랜덤 액세스 메모리 (MRAM), 플래시 메모리 등을 포함하지만 이들에 제한되지 않는 임의의 다양한 휘발성 또는 비휘발성 메모리를 포함할 수도 있다. 메모리 (48) 는 오디오/비디오 데이터 뿐아니라 다른 종류들의 데이터를 저장하는 컴퓨터 판독가능 저장 매체를 포함할 수도 있다.
일부 예들에서, 메모리 (48) 는 본 개시에 기술된 여러 기법들을 수행하는 것의 부분으로서 프로세서 (44) 에 의해 실행되는 애플리케이션들 (50) 을 저장할 수도 있다. 애플리케이션들 (50) 은 예를 들어 본 개시의 기법들에 따라 깨끗한 프리뷰 이미지들을 생성하도록 구성된 카메라 애플리케이션을 포함할 수도 있다. 메모리 (48) 는 이하에 더 상세히 설명되는 바와 같이 프레임 버퍼 또는 이미지 버퍼 중 하나 또는 양자일 수도 있는 버퍼 (52) 를 더 포함할 수도 있다. 본 개시는 일반적으로 수신된 이미지들의 풀 (full) 해상도 카피들을 저장하는 버퍼를 지칭하기 위해 용어 이미지 버퍼를 사용할 것이고 수신된 이미지들의 다운샘플링된 버전들을 저장하는 버퍼를 지칭하기 위해 용어 프레임 버퍼를 사용할 것이다. 이하에 더 상세히 설명되는 바와 같이, 프레임 버퍼에 저장된 프레임들은 프리뷰 이미지들을 생성하기 위해 사용될 수도 있지만, 이미지 버퍼에 저장된 이미지들은 최종 이미지들을 생성하기 위해 사용될 수도 있다. 메모리 (48) 는 또한 디바이스 (40) 에 의한 제시를 위해 소정의 A/V 데이터를 저장할 수도 있다. 예를 들어, 메모리 (48) 는 전체 A/V 파일을 저장할 수도 있거나, 예를 들어, 다른 디바이스 또는 소스로부터 스트리밍된 A/V 파일의 일부만을 저장하는 더 작은 버퍼를 포함할 수도 있다. 어느 경우든지, 메모리 (48) 는 데이터가 디바이스 (40) 에 의해 제시되기 전에 A/V 데이터를 버퍼링할 수도 있다.
일부 예들에서, 디바이스 (40) 는 A/V 데이터를 로컬로 프로세싱하고 디스플레이할 수도 있다. 특히, 디스플레이 프로세서 (54) 는 로컬 디스플레이 (56) 상에 디스플레이될 비디오 데이터를 프로세싱하는 플랫폼의 일부를 형성할 수도 있다. 이와 관련하여, 디스플레이 프로세서 (54) 는 (프로세서들 (44) 에 대해 상술된 바와 같은) 코덱을 포함할 수도 있다. 디스플레이 (26) 는 액정 디스플레이 (LCD), 발광 다이오드 (LED), 유기 발광다이오드 (OLED), 또는 사용자에게 이해할 수 있는 출력을 생성할 수 있는 임의의 다른 타입의 디바이스를 포함할 수도 있다. 또, 오디오 프로세서 (60) 는 하나 이상의 스피커들 (62) 상의 출력을 위해 오디오 데이터를 프로세싱할 수도 있다.
전송 유닛 (66) 은 네트워크 전송을 위해 인코딩된 A/V 데이터를 프로세싱할 수도 있다. 예를 들어, 인코딩된 A/V 데이터는 프로세서들 (44) 에 의해 프로세싱되고 네트워크를 통한 통신을 위해 네트워크 액세스 계층 (NAL) 유닛들로 전송 유닛 (66) 에 의해 캡슐화될 수도 있다. NAL 유닛들은 네트워크 연결을 통해 다른 디바이스로 모뎀 (68) 에 의해 전송될 수도 있다. 이와 관련하여 모뎀 (68) 은 예를 들어 직교 주파수 분할 멀티플렉싱 (OFDM) 기법들, 시간 분할 다중 액세스 (TDMA), 주파수 분할 다중 액세스 (FDMA), 코드 분할 다중 액세스 (CDMA), 또는 OFDM, FDMA, TDMA, 및/또는 CDMA 의 임의의 조합, WiFi, 블루투스, 이더넷, IEEE 802.11 표준 패밀리, 또는 임의의 다른 무선 또는 유선 통신 기법을 포함하는 임의의 수의 통신 기법들에 따라 동작할 수도 있다. 일부 예들에서, 디바이스 (40) 의 모뎀 (68) 은 NAL 유닛들과 같은 캡슐화된 데이터 패킷들을 수신할 수도 있고, 캡슐화해제를 위해 전송 유닛 (66) 으로 그 캡슐화된 데이터 유닛들을 전송한다. 예를 들어, 전송 유닛 (66) 은 NAL 유닛들로부터 데이터 패킷들을 추출할 수도 있고, 프로세서들 (44) 은 사용자 입력 커맨드들을 추출하기 위해 그 데이터 패킷들을 파싱할 수 있다.
하나 이상의 입력 디바이스들 (72) 은 촉각, 오디오, 또는 비디오 피드백을 통해 사용자로부터 입력을 수신하도록 구성될 수도 있다. 입력 디바이스들 (42) 의 예들은 터치 및/또는 존재 감지 스크린, 마우스, 키보드, 음성 응답 시스템, 마이크로폰 또는 사용자로부터 커맨드를 검출하기 위한 임의의 다른 타입의 디바이스를 포함한다.
그래픽 처리 유닛 (GPU) (74) 은 그래픽 동작들을 수행하기 위한 하나 이상의 전용 프로세서들을 나타낸다. 즉, 예를 들어, GPU (74) 는 그래픽을 렌더링하고 GPU 애플리케이션들을 실행하는 고정 기능 및 프로그램가능 컴포넌트들을 갖는 전용 하드웨어 유닛일 수도 있다. GPU (74) 는 또한 DSP, 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 등가의 집적된 또는 이산 로직 회로를 포함할 수도 있다. GPU (74) 가 도 3 의 예에서 별개의 유닛으로서 도시되지만, 일부 예들에서, GPU (74) 는 단일의 유닛으로 (CPU 와 같은) 하나 이상의 다른 프로세서들 (44) 과 통합될 수도 있다.
카메라 시스템 (76) 은 하나 이상의 이미지 프로세서들, 하나 이상의 이미지 센서들 (예를 들어, CCD 센서들, CMOS 센서들, NMOS 센서들 등) 뿐아니라 이미지들을 캡쳐하기 위한 다수의 다른 컴포넌트들을 포함할 수도 있다. 카메라 시스템 (76) 은 소위 카메라 폰들 또는 비디오 폰들을 위한 하나 이상의 컴포넌트들을 포함할 수도 있다. 일부 예들에서, 카메라 시스템 (76) 은 다수의 이미지 센서들 (예를 들어, 카메라 폰 또는 비디오 폰의 전방 이미지 센서 및 후방 이미지 센서) 을 지원할 수도 있다. 카메라 시스템 (76) 의 그러한 이미지 센서들에 의해 생성된 이미지 스트림들은 하나 이상의 이미지 프로세서들에 의해 프로세싱될 수도 있다. 일부 예들에서, 카메라 시스템 (76) 은 소스 비디오로서, 또는 라이브 비디오, 아카이빙된 비디오, 및/또는 컴퓨터 생성된 비디오의 조합으로서 컴퓨터 그래픽 기반 데이터를 생성하기 위해 GPU (74) 와 결합하여 동작할 수도 있다. 캡쳐된, 사전 캡쳐된, 또는 컴퓨터 생성된 비디오는 (이하에 기술된) 비디오 인코더에 의해 인코딩될 수도 있다.
도 4 는 디바이스 (40) 의 동작의 양태들을 도시하는 플로우챠트를 도시한다. 디바이스 (40) 는 메모리 (48) 의 애플리케이션들 (50) 에 저장된 카메라 애플리케이션을 실행할 수도 있다. 카메라 애플리케이션의 실행 시에, 디바이스 (40) 는 카메라 시스템 (76) 을 액세스하고 카메라 시스템 (76) 으로부터 이미지 입력을 시간 (t0) 에서 수신하고 t0 프레임 입력을 결정하기 위해 이미지를 다운샘플링할 수도 있다 (102). 카메라 시스템 (76) 은 예를 들어 초당 30 프레임들로 이미지들을 수신할 수도 있다. 이미지를 다운샘플링한 후, 디바이스 (40) 는 프레임 버퍼가 업데이트되야 하는지여부를 결정할 수도 있다 (104). 프레임 버퍼가 업데이트되어야 하는 경우 (104, 예), 디바이스 (40) 는 프레임 버퍼로 t0 프레임을 추가할 수도 있고 또한 프레임 버퍼로부터 더 오래된 프레임을 제거할 수도 있다 (106). 프레임 버퍼가 업데이트되지 않아야 하는 경우 (104, 아니오), 디바이스 (40) 는 그 버퍼를 업데이트하지 않을 수도 있다 (107). 예를 들어, 디바이스 (40) 는 프레임 버퍼에 t0 프레임을 추가하지 않을 수도 있고 또한 프레임 버퍼로부터 더 오래된 프레임을 제거하지 않을 수도 있다. 프레임 버퍼에 프레임을 추가하지 않기로 하는 블록 (204) 에서의 결정은 프레임이 프리뷰 프레임들을 생성하는데 있어서 장래의 사용을 위해 프레임 버퍼에 추가되지 않는다는 것만을 의미하고, 반드시 프레임이 다른 목적들을 위해 버퍼링되지 않는 것을 의미하지는 않는다.
디바이스 (40) 는 카메라 시스템 (76) 이 이미지들을 수신하는 레이트보다 더 낮은 레이트로 프레임 버퍼를 업데이트할 수도 있다. 예를 들어, 카메라 시스템 (76) 이 30 fps 로 이미지들을 수신하는 경우, 디바이스 (40) 는 3 fps 로 프레임 버퍼를 업데이트할 수도 있다. 따라서, 도 4 의 블록 (104) 에서 행해진 프레임 버퍼를 업데이트할지 여부의 결정은 이미지가 수신되는 시간, 또는 프레임과 연관된 화상 순서 카운트 (POC) 값 또는 프레임 넘버에 기초할 수도 있다. 디바이스 (40) 가 프레임 버퍼를 업데이트하는 레이트는 임의의 2 개의 버퍼링된 프레임들 사이의 충분히 긴 충분한 시간 주기 발생하도록 선택될 수도 있다. 그 시간 주기는 원하지 않는 물체의 운동에 기인하여 원하지 않는 물체가 제 2 버퍼링된 프레임에 대해 하나의 버퍼링된 프레임에서 충분히 상이한 로케이션에 있도록 선택될 수도 있다. 위에서 도입된 30 fps 및 3 fps 의 예를 사용하여, 디바이스 (40) 가 시간 (t0) 에서 수신된 이미지의 프레임으로 프레임 버퍼를 업데이트하는 경우, 디바이스 (40) 는 시간 (t10) 까지 다시 프레임 버퍼를 업데이트하지 않을 수도 있으며, 이는 시간들 (t1 내지 t9) 동안 결정된 프레임들이 프레임 버퍼에 추가되지 않는다는 것을 의미한다.
깨끗한 프리뷰를 생성하는 것의 부분으로서, 디바이스 (40) 는 예를 들어 t0 프레임에서 이동 물체를 검출하기 위해 프레임 버퍼에 저장된 2 이상의 이전의 프레임 입력들과 t0 프레임 입력을 비교할 수도 있다 (108). 이러한 예의 목적들을 위해, 프레임 버퍼는 이미 t-10, t-20 등에 대한 프레임 입력들을 저장하고 있다는 것이 가정될 수 있다. 디바이스 (40) 는 t0 프레임의 화소들의 값들을 버퍼링된 프레임들에서의 대응하는 로케이션들에서의 화소들의 값들과 비교함으로써 이동 물체들을 검출할 수도 있다. 프레임 내의 소정의 화소 로케이션에서의 화소 값들이 모든 프레임들 (즉, t0 프레임 및 프레임 버퍼에 저장된 프레임들) 에 걸쳐 일관되는 경우, 그 화소 값은 배경 화소에 대응하기 쉽다. 프레임 내의 소정의 로케이션에서의 화소 값들이 모든 프레임들에 걸쳐 일관되지 않는 경우, 프레임들의 적어도 일부의 그 로케이션에서의 화소들은 이동 물체 화소들에 대응하기 쉽다. 특정의 화소 로케이션의 경우, 그 화소 로케이션에 대해 어느 프레임들이 배경 화소들을 포함하는지 및 어느 프레임들이 이동 물체 화소들을 포함하는지를 결정하기 위해, 디바이스 (40) 는 보우팅 (voting) 기법을 수행하도록 구성될 수도 있으며, 여기서 가장 빈번하게 발생하는 화소 값이 배경에 대응하는 것으로 가정된다. t0 프레임의 경우, 디바이스 (40) 는 라벨 맵을 결정할 수도 있다. 라벨 맵은, 프리뷰 이미지에서의 각 화소 로케이션에 대해, 프리뷰 이미지를 생성하기 위해 화소 값을 획득할 프레임을 식별한다. 화소 값을 획득할 프레임은 현재의 프레임 (즉, t0 프레임) 또는 버퍼링된 프레임들 (즉, t-10 프레임, t-20 프레임, t-30 프레임 등) 중 하나일 수도 있다.
라벨 맵을 결정하기 위해, 디바이스 (40) 는 보우팅 프로세스를 사용하여 현재의 프레임에 대한 배경 가능성 맵을 생성할 수도 있다. 보우팅 프로세스의 부분으로서, 디바이스 (40) 는 현재의 프레임 내의 특정의 화소가 원하지 않는 물체 화소 또는 배경 화소인지 여부를 결정하기 위해 2 이상의 버퍼링된 프레임들 및 현재의 프레임의 소정의 화소 로케이션에 대한 화소 값들을 비교할 수도 있다. 디바이스 (40) 는 예를 들어 가장 빈번히 발생하는 화소 값을 결정하기 위해 모든 로케이션에 대해 히스토그램을 생성하고 프리뷰 이미지를 생성할 때 그 화소 로케이션을 위해 사용할 프레임으로서 가장 빈번히 발생하는 화소 값에 대응하는 현재의 프레임 또는 버퍼링된 프레임을 선택할 수도 있다.
디바이스 (40) 는 라벨 맵의 결정 동안 이웃 화소 값 유사도 정보를 고려할 수도 있다. 인접한 화소들 및 현재의 화소가 화소 값에 있어서 가까운 경우, 그들의 라벨 값들은 동일한 경향이 있다. 직관적으로, 그들의 화소 값들이 가깝기 때문에, 이들 화소들은 전경 물체 또는 배경 물체의 동일한 부분에 속할 수도 있다. 디바이스 (40) 는 모든 화소 로케이션에 대해 라벨 맵에 포함시킬 프레임 인덱스로서 최대 가능성 값과 연관된 프레임 인덱스를 선택할 수도 있다.
디바이스 (40) 는 깨끗한 배경을 복원할 수도 있다 (110). 깨끗한 배경을 복원하는 것의 부분으로서, 디바이스 (40) 는 t0 프레임 입력의 이동 물체 화소들을 하나의 버퍼링된 프레임 입력의 배경 화소들로 대체할 수도 있다. 깨끗한 배경을 복원하기 위해, 디바이스 (40) 는 프레임 버퍼에 저장된 하나 이상의 이미지들로부터 이미지를 합성할 수도 있다. 합성된 이미지의 각각의 화소 로케이션에 대해, 디바이스 (40) 는 라벨 맵에 기초하여 프레임 버퍼에 저장된 이미지들 중 하나에서의 대응하는 로케이션에서 배경 화소에 대한 화소 값을 결정할 수도 있다. 따라서, 합성된 이미지는 t0 에서 수신된 이미지의 배경 화소들, t-10 에서 수신된 이미지의 배경 화소들, t-20 에서 수신된 이미지의 배경 화소들, 및 잠재적으로 프레임 버퍼에 저장된 다른 이미지들의 배경 화소들에 대한 화소 값들을 포함할 수도 있다. 디바이스 (40) 는 로컬 디스플레이 (56) 를 통해 예를 들어 깨끗한 프리뷰 이미지를 출력할 수도 있다 (112).
디바이스 (40) 는 실시간 또는 근 실시간 방식으로 디스플레이 (26) 에 디스플레이되는 프리뷰 이미지를 업데이트할 수도 있다. 예를 들어, 디바이스 (40) 는 t1 에서 새로운 프레임 입력을 수신할 수도 있으며, 이 경우에 t0 에서 수신된 이미지는 이제 프레임 버퍼에 저장된다. 상술된 바와 같이, 버퍼는 단지 3 fps 로 업데이될 수도 있는 반면, 카메라 시스템 (76) 은 30 fps 로 이미지들을 생성한다. 따라서, 블록 (104) 에서, t1 에 대한 프레임 입력은 프레임 버퍼에 추가되지 않을 수도 있다. 그러나, t1 에 대한 프레임 입력은 여전히 깨끗한 프리뷰 이미지를 생성하기 위해 사용될 수도 있다. 따라서, 블록들 (108 및 110) 에서, 이동 물체들을 검출하고 라벨 맵들을 생성하기 위해 사용된 프레임들은 t1 에 대한 프레임들 뿐아니라 t0, t-10, t-20 등에 대한 버퍼링된 프레임들을 포함할 수도 있다.
도 5 는 디바이스 (40) 의 동작의 양태들을 도시하는 플로우챠트를 도시한다. 디바이스 (40) 는 메모리 (48) 의 애플리케이션들 (50) 에 저장된 카메라 애플리케이션을 실행할 수도 있다. 카메라 애플리케이션의 실행 시에, 디바이스 (40) 는 카메라 시스템 (76) 을 액세스할 수도 있다. 시간 (t=0) 에서, 카메라 시스템 (76) 은 이미지를 수신할 수도 있다. 디바이스 (40) 는 프레임 입력을 생성하기 위해 제 1 해상도로 수신된 이미지를 다운샘플링할 수도 있다 (202). 디바이스 (40) 는 또한 프레임 버퍼가 업데이트되어야 하는지 여부를 결정할 수도 있다 (204). 프레임 버퍼가 업데이트되어야 한다고 결정하는 것에 응답하여 (204, 예), 디바이스 (40) 는 프레임 버퍼에 입력 프레임의 카피를 저장할 수도 있다 (206). 프레임 버퍼가 업데이트되지 않아야 한다고 결정하는 것에 응답하여 (204, 아니오), 디바이스 (40) 는 프레임 버퍼를 업데이트하지 않을 수도 있다 (205). 디바이스 (40) 는 또한 이미지 버퍼가 업데이트되어야 하는지 여부를 결정할 수도 있다 (208). 이미지 버퍼가 업데이트되어야 한다고 결정하는 것에 응답하여 (208, 예), 디바이스 (40) 는 이미지 버퍼에 제 1 해상도보다 더 높은 제 2 해상도로 이미지의 카피를 저장할 수도 있다 (210). 제 2 해상도는 예를 들어 카메라 시스템 (76) 에 의해 수신된 이미지의 네이티브 해상도일 수도 있다. 이미지 버퍼가 업데이트되지 않아야 한다고 결정하는 것에 응답하여 (208, 아니오), 디바이스 (40) 는 이미지 버퍼를 업데이트하지 않을 수도 있다 (209). 예를 들어, 디바이스 (40) 는 이미지 버퍼에 이미지의 카피를 저장하지 않을 수도 있다.
도 4 를 참조하여 상술된 바와 같이, 프레임 버퍼를 업데이트할지 여부의 결정은 카메라 시스템 (76) 이 이미지들을 수신하는 레이트와는 상이할 수도 있는 프레임 업데이트 버퍼 레이트에 기초할 수도 있다. 예를 들어, 카메라 시스템 (76) 이 15 fps 의 레이트로 이미지들을 수신하고 디바이스 (40) 가 5 fps 의 레이트로 프레임 버퍼를 업데이트하는 경우, 카메라 시스템 (76) 에 의해 수신된 매 3 개의 이미지들 중 단 하나만이 프레임 버퍼를 업데이트하기 위해 사용될 수도 있다. 유사하게, 디바이스 (40) 는 카메라 (76) 가 이미지들을 수신하는 동일한 레이트, 디바이스 (40) 가 프레임 버퍼를 업데이트하는 동일한 레이트, 또는 상이한 레이트일 수도 있는 이미지 버퍼 업데이트 레이트에 기초하여 이미지 버퍼를 업데이트할 수도 있다.
깨끗한 프리뷰를 생성하는 것의 부분으로서, 디바이스 (40) 는 예를 들어 t0 프레임에서의 이동 물체를 검출하기 위해 프레임 버퍼에 저장된 2 이상의 이전의 프레임 입력들과 t0 프레임 입력을 비교할 수도 있다 (212). 이러한 예의 목적을 위해, 프레임 버퍼는 이미 t-5, t-10 등에 대한 프레임 입력들을 저장하고 있다는 것이 가정될 수 있다. 디바이스 (40) 는 t0 프레임의 화소들의 값들을 버퍼링된 프레임들에서의 대응하는 로케이션들에서의 화소들의 값들과 비교함으로써 이동 물체들을 검출할 수도 있다. 프레임 내의 소정의 화소 로케이션에서의 화소 값들이 모든 프레임들 (즉, t0 프레임 및 프레임 버퍼에 저장된 프레임들) 에 걸쳐 일관되는 경우, 그 화소 값은 배경 화소에 대응하기 쉽다. 프레임 내의 소정의 로케이션에서의 화소 값들이 모든 프레임들에 걸쳐 일관되지 않는 경우, 프레임들의 적어도 일부의 그 로케이션에서의 화소들은 이동 물체 화소들에 대응하기 쉽다. 특정의 화소 로케이션의 경우, 그 화소 로케이션에 대해 어느 프레임들이 배경 화소들을 포함하는지 및 어느 프레임들이 이동 물체 화소들을 포함하는지를 결정하기 위해, 디바이스 (40) 는 보우팅 (voting) 기법을 수행하도록 구성될 수도 있으며, 여기서 가장 빈번하게 발생하는 화소 값이 배경에 대응하는 것으로 가정된다. t0 프레임의 경우, 디바이스 (40) 는 라벨 맵을 결정할 수도 있다. 라벨 맵은, 프리뷰 이미지에서의 각 화소 로케이션에 대해, 프리뷰 이미지를 생성하기 위해 화소 값을 획득할 프레임을 식별한다. 화소 값을 획득할 프레임은 현재의 프레임 (즉, t0 프레임) 또는 버퍼링된 프레임들 (즉, t-5 프레임, t-10 프레임, t-20 프레임 등) 중 하나일 수도 있다.
디바이스 (40) 는 깨끗한 배경을 복원할 수도 있다 (214). 깨끗한 배경을 복원하는 것의 부분으로서, 디바이스 (40) 는 t0 프레임 입력의 이동 물체 화소들을 하나의 버퍼링된 프레임 입력의 배경 화소들로 대체할 수도 있다. 깨끗한 배경을 복원하기 위해, 디바이스 (40) 는 프레임 버퍼에 저장된 하나 이상의 이미지들로부터 이미지를 합성할 수도 있다. 합성된 이미지의 각각의 화소 로케이션에 대해, 디바이스 (40) 는 라벨 맵에 기초하여 프레임 버퍼에 저장된 이미지들 중 하나에서의 대응하는 로케이션에서 배경 화소에 대한 화소 값을 결정할 수도 있다. 따라서, 합성된 이미지는 t0 에서 수신된 이미지의 배경 화소들, t-5 에서 수신된 이미지의 배경 화소들, t-10 에서 수신된 이미지의 배경 화소들, 및 잠재적으로 프레임 버퍼에 저장된 다른 이미지들의 배경 화소들에 대한 화소 값들을 포함할 수도 있다. 디바이스 (40) 는 로컬 디스플레이 (56) 를 통해 예를 들어 깨끗한 프리뷰 이미지를 출력할 수도 있다 (216).
디바이스 (40) 는 실시간 또는 근 실시간 방식으로 디스플레이 (26) 에 디스플레이되는 프리뷰 이미지를 업데이트할 수도 있다. 예를 들어, 디바이스 (40) 는 t1 에서 새로운 프레임 입력을 수신할 수도 있으며, 이 경우에 t0 에서 수신된 이미지는 이제 프레임 버퍼에 저장된다. 상술된 바와 같이, 버퍼는 단지 5 fps 로 업데이될 수도 있는 반면, 카메라 시스템 (76) 은 15 fps 로 이미지들을 생성한다. 따라서, 블록 (204) 에서, t1 에 대한 프레임 입력은 프레임 버퍼에 추가되지 않을 수도 있다. 그러나, t1 에 대한 프레임 입력은 여전히 깨끗한 프리뷰 이미지를 생성하기 위해 사용될 수도 있다. 따라서, 블록들 (212 및 214) 에서, 이동 물체들을 검출하고 라벨 맵들을 생성하기 위해 사용된 프레임들은 t1 에 대한 프레임들 뿐아니라 t0, t-5, t-10 등에 대한 버퍼링된 프레임들을 포함할 수도 있다.
디바이스 (40) 는 로컬 디스플레이 (56) 를 통해 예를 들어 깨끗한 프리뷰의 부분으로서 깨끗한 프레임을 출력할 수도 있다 (216). 디바이스 (40) 의 로컬 디스플레이 (56) 상에 깨끗한 프리뷰 이미지를 디스플레이하는 동안, 디바이스 (40) 는 이미지를 캡쳐하기 위해 사용자가 개시한 이미지 캡쳐 요청을 수락하도록 구성될 수도 있다. 디바이스 (40) 가 사용자가 개시한 이미지 캡쳐 요청을 수신하지 않는 경우, 디바이스 (40) 는 실시간 또는 근 실시간 방식으로 디스플레이 (56) 에 디스플레이되는 깨끗한 프리뷰 이미지를 업데이트할 수도 있다. 예를 들어, 디바이스 (40) 는 t1 에서 새로운 프레임 입력을 수신할 수도 있으며, 이 경우에 t0 에서 수신된 이미지는 이제 프레임 버퍼에 저장된다.
디바이스 (40) 는 인에이블된 깨끗한 프리뷰 특징을 갖는 이미지 프리뷰 모드의 부분으로서 깨끗한 프리뷰 이미지를 생성할 수도 있다 (블록들 (202, 204, 206, 212, 및 214)). 이미지 프리뷰 모드에서 동작할 때, 디바이스 (40) 는 터치 커맨드, 음성 커맨드, 버튼 프레스, 또는 일부 다른 그러한 액션과 같은 사용자가 개시한 이미지 캡쳐 요청을 검출하도록 구성될 수도 있다. 디바이스 (40) 가 사용자가 개시한 이미지 캡쳐 요청을 검출하지 않는 경우 (218, 아니오, 도 5 에 도시되지 않음), 디바이스 (40) 는 깨끗한 프리뷰 이미지를 계속 업데이트한다. 이미지를 캡쳐하기 위한 사용자가 개시한 이미지 캡쳐 요청을 수신하는 것에 응답하여 (218, 예), 디바이스 (40) 는 이미지 버퍼에 저장된 이미지들에 기초하여 깨끗한, 최종 이미지를 출력한다 (220). 사용자가 개시한 이미지 캡쳐 요청이 디바이스 (40) 에 의해 수신되는 때에 로컬 디스플레이 (56) 상에 디스플레이되는 깨끗한 프리뷰 이미지는 최종 이미지의 근사화일 수도 있다. 그러나, 최종 이미지는 깨끗한 프리뷰 이미지와 동일하지 않을 수도 있다. 다른 잠재적인 차이들 중에서, 최종 이미지는 깨끗한 프리뷰 이미지보다 더 높은 해상도일 수도 있다.
또, 최종 이미지를 생성하기 위해, 디바이스 (40) 는 깨끗한 프리뷰 이미지를 생성하기 위해 수행되지 않은 하나 이상의 포스트-프로세싱 동작들을 수행할 수도 있다. 그러한 포스트-프로세싱 동작들의 예들은 휘도 변경, 잡음 감소, 화이트 밸런스 조정들, 블러 감소, 줌 변경, 레드 아이 제거, 이미지 샤프닝 및/또는 소프트닝, 특수 효과 필터들의 적용, 자막 정보의 추가 등을 포함한다. 본 개시의 기법들은 이들 포스트-프로세싱 동작들이 프리뷰 이미지 생성 프로세스의 부분으로서 프리뷰 이미지에 또한 적용되는 것을 배제하지 않는다는 것이 이해되어야 한다. 대신에, 프리뷰 이미지를 생성하는데 이용되는 이미지 프로세싱 동작들은 최종 이미지를 생성하기 위해 이용되는 이미지 프로세싱 동작들과는 상이할 수도 있으며, 최종 이미지를 생성하기 위해 이용되는 이미지 프로세싱 동작들은 통상적으로 프리뷰 이미지를 생성하는데 이용되는 이미지 프로세싱 동작들보다 더 계산적으로 복잡하고 집약적이다.
입력 프레임에서 이동 물체들을 검출하는 것 (도 4 의 블록 (108) 및 도 5 의 블록 (212)) 의 부분으로서, 디바이스 (40) 는 현재의 입력 프레임에 대한 라벨 맵을 결정할 수도 있다. 라벨 맵은, 프리뷰 이미지의 각 화소에 대해, 현재의 입력 프레임 또는 프레임 버퍼로부터의 프레임을 식별할 수도 있다. 도 6 은 예를 들어 프리뷰 이미지에 대응하는 라벨 맵을 보여준다. 라벨 맵에서의 일부 화소 로케이션들은 현재의 프레임과 연관되고, 일부는 버퍼링된 프레임 1 과 연관되며, 일부는 버퍼링된 프레임 2 와 연관되고, 일부는 버퍼링된 프레임 3 과 연관된다. 따라서, 도 6 의 라벨 맵에 기초하여 프리뷰 이미지를 생성하기 위해, 디바이스 (40) 는 현재의 프레임과 연관된 라벨 맵의 영역에서의 현재의 프레임으로부터의 화소 값들, 버퍼링된 프레임 1 과 연관된 라벨 맵의 영역에서의 제 1 버퍼링된 프레임으로부터의 화소 값들, 버퍼링된 프레임 2 와 연관된 라벨 맵의 영역에서의 제 2 버퍼링된 프레임으로부터의 화소 값들, 및 버퍼링된 프레임 3 과 연관된 라벨 맵의 영역에서의 제 3 버퍼링된 프레임으로부터의 화소 값들을 포함하는 합성된 이미지를 생성한다. 따라서, 디바이스 (40) 는 현재의 프레임, 제 1 버퍼링된 프레임, 제 2 버퍼링된 프레임, 및 제 3 버퍼링된 프레임으로부터의 합성된 이미지인 프리뷰 이미지를 생성할 수도 있다. 현재의 프레임 및 버퍼링된 프레임들로부터의 화소들을 사용하여 프리뷰 이미지를 생성하는 것에 의해, 디바이스 (40) 는 프리뷰 이미지로부터 원하지 않는 물체들을 배제하는 프리뷰를 생성할 수도 있다.
도 7 은 업샘플링된 라벨 맵의 예를 도시한다. 디바이스 (40) 는 도 6 의 라벨 맵을 업샘플링함으로써 도 7 의 업샘플링된 라벨 맵을 생성한다. 도 6 의 라벨 맵을 도 7 의 업샘플링된 라벨 맵과 비교함으로써 알 수 있는 바와 같이, 2 개의 라벨 맵들은 대략 동일하다. 그러나, 업샘플링된 라벨 맵은 더 높은 해상도에 있다. 디바이스 (40) 가 합성된 프리뷰 이미지를 생성하기 위한 프레임들을 식별하기 위해 도 6 의 라벨 맵을 사용하는 사용하는 것과 동일한 방식으로, 디바이스 (40) 는 최종 이미지를 생성하기 위해 업샘플링된 라벨 맵을 사용할 수도 있다. 따라서, 디바이스 (40) 는 현재의 이미지, 제 1 버퍼링된 이미지, 제 2 버퍼링된 이미지, 및 제 3 버퍼링된 이미지로부터의 합성된 이미지인 최종 이미지를 생성할 수도 있다. 현재의 이미지 및 버퍼링된 이미지들로부터의 화소들을 사용하여 최종 이미지를 생성하는 것에 의해, 디바이스 (40) 는 최종 이미지로부터 원하지 않는 물체들을 배제하는 최종 이미지를 생성할 수도 있다. 프리뷰 이미지를 생성하기 위해 사용된 라벨 맵의 업샘플링된 버전을 사용하여 최종 이미지를 생성하는 것은 최종 이미지를 생성하는 것과 연관된 프로세싱 타임을 향상시킬 수도 있다
도 8 은 본 개시의 기법들을 도시하는 플로우챠트를 도시한다. 도 8 의 기법들은 일반 카메라 디바이스를 참조하여 기술될 것이다. 일반 카메라 디바이스는, 예를 들어, 도 1 을 참조하여 기술된 디바이스 (20), 도 3 을 참조하여 기술된 디바이스 (40), 또는 이미지 데이터를 프로세싱하도록 구성된 일부 다른 디바이스일 수도 있다. 도 8 의 콘텍스트에서, 카메라 디바이스는 또한 이미지 센서 또는 디스플레이와 같은 다른 컴포넌트들과 함께 작동하지만, 사실상 이들 다른 컴포넌트들과는 별개인, 카메라 칩 세트와 같은 하나 이상의 카메라 컴포넌트들을 지칭할 수도 있다. 카메라 디바이스는 상이한 시간들에서 복수의 이미지들을 획득한다 (400). 카메라 디바이스는 예를 들어 이미지 센서로부터 그러한 이미지들을 수신할 수도 있다. 카메라 디바이스는 버퍼에 그 복수의 이미지들의 카피들의 제 1 세트를 저장한다 (402). 카피들의 제 1 세트는 제 1 화소, 즉 공간, 해상도에서 저장될 수도 있다. 카메라 디바이스는 카피들의 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류할 수도 있다 (404). 카메라 디바이스는 카피들의 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 깨끗한 프리뷰 이미지를 생성할 수도 있다 (406). 깨끗한 프리뷰 이미지는 복수의 이미지들의 이미지들 중 하나 이상에서 발견된 이동 물체 화소들 중 하나 이상을 배제할 수도 있다.
깨끗한 프리뷰 이미지는 예를 들어 카피들의 제 1 세트의 2 이상의 이미지들로부터 합성된 이미지일 수도 있으며, 카피들의 제 1 세트의 하나 이상의 이미지들에 존재하는 적어도 하나의 물체는 깨끗한 프리뷰 이미지에 존재하지 않는다. 깨끗한 프리뷰 이미지를 생성하기 위해, 카메라 디바이스는 카피들의 제 1 세트의 2 이상의 이미지들로부터 배경 화소들로서 분류된 화소들로부터 합성된 이미지를 생성할 수도 있다.
카메라 디바이스는 카메라 디바이스가 이미지 프리뷰 모드에서 동작하고 있는 동안에 그리고 사용자가 개시한 이미지 획득 요청 이전에 복수의 이미지들을 획득할 수도 있다. 카메라 디바이스는 카메라 디바이스의 디스플레이상에 깨끗한 프리뷰 이미지를 디스플레이할 수도 있다. 깨끗한 프리뷰 이미지를 디스플레이하는 동안, 카메라 디바이스는 사용자가 개시한 이미지 획득 요청을 수신할 수도 있고, 사용자가 개시한 이미지 획득 요청에 응답하여, 최종 이미지를 생성할 수도 있다. 최종 이미지는 제 1 해상도보다 높은 제 2 해상도를 가질 수도 있다.
프리뷰 이미지는 최종 이미지의 근사화일 수도 있다. 따라서, 프리뷰 이미지로부터 배제된 원하지 않는 물체 화소들 중 하나 이상은 또한 최종 이미지로부터 배제될 수도 있다. 그 하나 이상의 원하지 않는 물체 화소들은 수신된 복수의 이미지들에 존재함에도 불구하고 프리뷰 이미지 및 최종 이미지 양자로부터 배제되는 원하지 않는 물체를 집합적으로 형성할 수도 있다.
카메라 디바이스는 라벨 맵을 생성하도록 구성될 수도 있다. 라벨 맵은 깨끗한 프리뷰 이미지의 각각의 화소를 카피들의 제 1 세트로부터의 이미지와 연관시키는 데이터 구조일 수도 있다. 깨끗한 프리뷰를 생성하기 위해, 카메라 디바이스는, 깨끗한 프리뷰 이미지의 화소 로케이션에 대해, 그 화소 로케이션에 대해 식별된 이미지를 라벨 맵으로부터 결정하고, 그 식별된 이미지에서, 깨끗한 프리뷰 이미지의 화소 로케이션과 동일한 로케이션의 화소 값을 결정할 수도 있다. 카메라 디바이스는 식별된 이미지의 동일한 로케이션의 화소 값 (예를 들어, RGB 값들, 또는 YCBCR 값들) 에 기초하여 깨끗한 프리뷰 이미지의 화소 로케이션에 대한 화소 값을 결정할 수도 있다.
카메라 디바이스는 버퍼에 복수의 이미지들의 카피들의 제 2 세트를 저장할 수도 있다. 복수의 이미지들의 카피들의 제 2 세트는 카피들의 제 1 세트에 대해 사용된 제 1 해상도보다 더 높은 제 2 해상도에 있을 수도 있다. 사용자가 개시한 이미지 획득 요청에 응답하여, 카메라 디바이스는 카피들의 제 2 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 최종 이미지를 생성할 수도 있다. 최종 이미지를 생성하기 위해, 카메라 디바이스는 라벨 맵을 업샘플링하고, 최종 이미지의 화소 로케이션에 대해, 그 업샘플링된 라벨 맵으로부터 최종 이미지의 화소 로케이션에 대해 식별된 이미지를 결정할 수도 있다. 카메라 디바이스는, 그 식별된 이미지에서, 최종 이미지의 화소 로케이션과 동일한 로케이션의 화소 값을 결정할 수도 있다. 카메라 디바이스는 식별된 이미지의 동일한 로케이션의 화소 값에 기초하여 최종 이미지의 화소 로케이션에 대한 화소 값을 결정할 수도 있다.
예시에 따라서는, 여기에 기술된 방법들 중 임의의 것의 소정의 액션들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있거나, 추가되거나 병합되거나 함께 제거될 수도 있다 (예를 들어, 모든 기술된 액션들 또는 이벤트들이 방법의 실시를 위해 필요한 것은 아니다). 게다가 소정의 예들에서, 액션들 또는 이벤트들은 예를 들어 순차적으로라기보다, 멀티-스레디드 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들을 통해 동시에 수행될 수도 있다.
또한, 하나 이상의 예들에서, 여기에 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 예를 들면, 통신 프로토콜에 따라, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체, 또는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체를 포함할 수도 있다.
이런 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는, 본 개시에서 설명된 기법들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 취출하기 위하여 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비한정적 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 (DSL), 또는 적외선, 전파 (radio), 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 전파, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속, 캐리어 파, 신호 또는 다른 일시적 매체를 포함하는 것이 아니라, 대신에 비일시적, 유형의 저장 매체를 포함한다는 것이 이해되야 한다. 여기에 사용된, 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를테면 하나 이상의 DSP 들, 범용 마이크로프로세서들, ASIC 들, FPGA 들, 또는 다른 동등한 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 전술한 구조 중 임의의 것 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 추가로, 일부 양태들에서, 여기서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나 또는 결합된 코덱에 포함될 수도 있다. 또한, 그 기법들은 하나 이상의 회로 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이, 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적인 양태들을 강조하기 위하여 본 개시에 설명되었지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 상술된 바처럼, 다양한 유닛들이 코덱 하드웨어 유닛에 결합될 수도 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상술된 하나 이상의 프로세서들을 포함하는 연동적인 (interoperative) 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
본 개시의 다양한 양태들이 설명되었다. 이들 및 다른 양태들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

  1. 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 단계로서, 상기 복수의 이미지들을 수신하는 단계는 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하는 단계;
    버퍼에, 상기 복수의 이미지들의 카피들의 제 1 세트를 저장하는 단계로서, 카피들의 상기 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하는 단계;
    카피들의 상기 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하는 단계; 및
    카피들의 상기 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 단계로서, 상기 프리뷰 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 프리뷰 이미지는 카피들의 상기 제 1 세트의 2 이상의 이미지들의 부분들로부터 합성된 이미지를 포함하고,
    카피들의 상기 제 1 세트의 하나 이상의 이미지들에 존재하는 적어도 하나의 물체는 상기 프리뷰 이미지에 존재하지 않는, 방법.
  3. 제 1 항에 있어서,
    디스플레이상에 상기 프리뷰 이미지를 디스플레이하는 단계;
    상기 프리뷰 이미지를 디스플레이하는 동안, 사용자가 개시한 이미지 캡쳐 요청을 수신하는 단계;
    상기 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 최종 이미지를 생성하는 단계로서, 상기 최종 이미지는 상기 제 1 해상도보다 더 높은 제 2 해상도를 갖는, 상기 최종 이미지를 생성하는 단계를 더 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 프리뷰 이미지는 상기 최종 이미지의 근사화를 포함하고,
    상기 최종 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제하는, 방법.
  5. 제 1 항에 있어서,
    라벨 맵을 생성하는 단계를 더 포함하고,
    상기 라벨 맵은, 상기 프리뷰 이미지의 각 화소에 대해, 카피들의 상기 제 1 세트로부터 이미지를 식별하는, 방법.
  6. 제 5 항에 있어서,
    상기 프리뷰 이미지를 생성하는 단계는,
    상기 프리뷰 이미지의 화소 로케이션에 대해, 상기 화소 로케이션에 대해 식별된 상기 이미지를 상기 라벨 맵으로부터 결정하는 단계;
    상기 식별된 이미지에서, 상기 프리뷰 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하는 단계; 및
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 프리뷰 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하는 단계를 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 버퍼에, 상기 복수의 이미지들의 카피들의 제 2 세트를 저장하는 단계로서, 상기 복수의 이미지들의 카피들의 상기 제 2 세트는 상기 제 1 해상도보다 더 높은 제 2 해상도에 있는, 상기 카피들의 제 2 세트를 저장하는 단계;
    사용자가 개시한 이미지 캡쳐 요청에 응답하여, 카피들의 상기 제 2 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 최종 이미지를 생성하는 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 최종 이미지를 생성하는 단계는,
    상기 라벨 맵을 업샘플링하는 단계;
    상기 최종 이미지의 화소 로케이션에 대해, 업샘플링된 상기 라벨 맵으로부터 상기 최종 이미지의 상기 화소 로케이션에 대해 식별된 이미지를 결정하는 단계;
    상기 식별된 이미지에서, 상기 최종 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하는 단계;
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 최종 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 최종 이미지를 생성하는 단계는 상기 프리뷰 이미지를 생성하는 것을 위해 수행되지 않은 하나 이상의 포스트-프로세싱 동작들을 수행하는 단계를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 이미지 센서로부터, 제 1 레이트로 상기 복수의 이미지들을 수신하는 단계; 및
    제 2 레이트로 상기 버퍼에 저장된 상기 복수의 이미지들의 카피들의 상기 제 1 세트를 업데이트하는 단계로서, 상기 제 2 레이트는 상기 제 1 레이트보다 낮은, 상기 카피들의 상기 제 1 세트를 업데이트하는 단계를 더 포함하는, 방법.
  11. 전자 디바이스로서,
    메모리; 및
    하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 것으로서, 상기 하나 이상의 프로세서들은 이미지 프리뷰 모드에서 동작하는 동안 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 상기 복수의 이미지들을 수신하는, 상기 복수의 이미지들을 수신하고;
    상기 메모리에, 상기 복수의 이미지들의 카피들의 제 1 세트를 저장하는 것으로서, 카피들의 상기 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하며;
    카피들의 상기 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하고; 및
    디스플레이상의 출력을 위해, 카피들의 상기 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 것으로서, 상기 프리뷰 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제하는, 상기 프리뷰 이미지를 생성하도록 구성된, 전자 디바이스.
  12. 제 11 항에 있어서,
    상기 프리뷰 이미지는 카피들의 상기 제 1 세트의 2 이상의 이미지들의 부분들로부터 합성된 이미지를 포함하고,
    카피들의 상기 제 1 세트의 하나 이상의 이미지들에 존재하는 적어도 하나의 물체는 상기 프리뷰 이미지에 존재하지 않는, 전자 디바이스.
  13. 제 11 항에 있어서,
    상기 프리뷰 이미지를 디스플레이하는 디스플레이를 더 포함하고,
    상기 하나 이상의 프로세서들은 또한,
    상기 디스플레이가 상기 프리뷰 이미지를 디스플레이하고 있는 동안 사용자가 개시한 이미지 캡쳐 요청을 수신하고;
    상기 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 최종 이미지를 생성하는 것으로서, 상기 최종 이미지는 상기 제 1 해상도보다 더 높은 제 2 해상도를 갖는, 상기 최종 이미지를 생성하도록 구성되는, 전자 디바이스.
  14. 제 13 항에 있어서,
    상기 프리뷰 이미지는 상기 최종 이미지의 근사화를 포함하고,
    상기 최종 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제하는, 전자 디바이스.
  15. 제 11 항에 있어서,
    상기 하나 이상의 프로세서들은 또한 라벨 맵을 생성하도록 구성되고,
    상기 라벨 맵은, 상기 프리뷰 이미지의 각 화소에 대해, 카피들의 상기 제 1 세트로부터 이미지를 식별하는, 전자 디바이스.
  16. 제 15 항에 있어서,
    상기 프리뷰 이미지를 생성하기 위해, 상기 하나 이상의 프로세서들은 또한,
    상기 프리뷰 이미지의 화소 로케이션에 대해, 상기 화소 로케이션에 대해 식별된 상기 이미지를 상기 라벨 맵으로부터 결정하고;
    상기 식별된 이미지에서, 상기 프리뷰 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하며; 및
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 프리뷰 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하도록 구성되는, 전자 디바이스.
  17. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    버퍼에, 상기 복수의 이미지들의 카피들의 제 2 세트를 저장하는 것으로서, 상기 복수의 이미지들의 카피들의 상기 제 2 세트는 상기 제 1 해상도보다 더 높은 제 2 해상도에 있는, 상기 카피들의 제 2 세트를 저장하고;
    사용자가 개시한 이미지 캡쳐 요청에 응답하여, 카피들의 상기 제 2 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 최종 이미지를 생성하도록 구성되는, 전자 디바이스.
  18. 제 17 항에 있어서,
    상기 최종 이미지를 생성하기 위해, 상기 하나 이상의 프로세서들은 또한,
    상기 라벨 맵을 업샘플링하고;
    상기 최종 이미지의 화소 로케이션에 대해, 업샘플링된 상기 라벨 맵으로부터 상기 최종 이미지의 상기 화소 로케이션에 대해 식별된 이미지를 결정하며;
    상기 식별된 이미지에서, 상기 최종 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하고;
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 최종 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하도록 구성되는, 전자 디바이스.
  19. 제 18 항에 있어서,
    상기 최종 이미지를 생성하기 위해, 상기 하나 이상의 프로세서들은 또한 상기 프리뷰 이미지를 생성하는 것을 위해 수행되지 않은 하나 이상의 포스트-프로세싱 동작들을 수행하도록 구성되는, 전자 디바이스.
  20. 제 11 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 이미지 센서로부터, 제 1 레이트로 상기 복수의 이미지들을 수신하고; 및
    제 2 레이트로 버퍼에 저장된 상기 복수의 이미지들의 카피들의 상기 제 1 세트를 업데이트하는 것으로서, 상기 제 2 레이트는 상기 제 1 레이트보다 낮은, 상기 카피들의 상기 제 1 세트를 업데이트하도록 구성되는, 전자 디바이스.
  21. 제 11 항에 있어서,
    상기 전자 디바이스는,
    마이크로프로세서;
    집적회로 (IC); 또는
    상기 이미지 센서 및 디스플레이를 포함하는 무선 통신 디바이스
    중 하나 이상을 포함하는, 전자 디바이스.
  22. 이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하는 수단으로서, 상기 복수의 이미지들을 수신하는 것은 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하는 수단;
    상기 복수의 이미지들의 카피들의 제 1 세트를 저장하는 수단으로서, 카피들의 상기 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하는 수단;
    카피들의 상기 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하는 수단; 및
    카피들의 상기 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하는 수단으로서, 상기 프리뷰 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하는 수단을 포함하는, 장치.
  23. 제 22 항에 있어서,
    상기 프리뷰 이미지를 디스플레이하는 수단;
    상기 디스플레이하는 수단이 상기 프리뷰 이미지를 디스플레이하는 동안, 사용자가 개시한 이미지 캡쳐 요청을 수신하는 수단; 및
    상기 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 최종 이미지를 생성하는 수단으로서, 상기 최종 이미지는 상기 제 1 해상도보다 더 높은 제 2 해상도를 갖는, 상기 최종 이미지를 생성하는 수단을 더 포함하는, 장치.
  24. 제 22 항에 있어서,
    상기 프리뷰 이미지를 생성하는 수단은,
    상기 프리뷰 이미지의 화소 로케이션에 대해, 상기 화소 로케이션에 대해 식별된 상기 이미지를 라벨 맵으로부터 결정하는 수단;
    상기 식별된 이미지에서, 상기 프리뷰 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하는 수단; 및
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 프리뷰 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하는 수단을 포함하는, 장치.
  25. 제 24 항에 있어서,
    상기 복수의 이미지들의 카피들의 제 2 세트를 저장하는 수단으로서, 상기 복수의 이미지들의 카피들의 상기 제 2 세트는 상기 제 1 해상도보다 더 높은 제 2 해상도에 있는, 상기 카피들의 제 2 세트를 저장하는 수단; 및
    사용자가 개시한 이미지 캡쳐 요청에 응답하여, 카피들의 상기 제 2 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 최종 이미지를 생성하는 수단을 더 포함하는, 장치.
  26. 제 25 항에 있어서,
    상기 최종 이미지를 생성하는 수단은,
    상기 라벨 맵을 업샘플링하는 수단;
    상기 최종 이미지의 화소 로케이션에 대해, 업샘플링된 상기 라벨 맵으로부터 상기 최종 이미지의 상기 화소 로케이션에 대해 식별된 이미지를 결정하는 수단;
    상기 식별된 이미지에서, 상기 최종 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하는 수단; 및
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 최종 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하는 수단을 포함하는, 장치.
  27. 명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    이미지 센서로부터, 상이한 시간들에 복수의 이미지들을 수신하게 하는 것으로서, 상기 복수의 이미지들을 수신하는 것은 이미지 프리뷰 모드에서 그리고 사용자가 개시한 이미지 캡쳐 요청 전에 발생하는, 상기 복수의 이미지들을 수신하게 하고;
    버퍼에, 상기 복수의 이미지들의 카피들의 제 1 세트를 저장하게 하는 것으로서, 카피들의 상기 제 1 세트는 제 1 해상도에 있는, 상기 카피들의 제 1 세트를 저장하게 하며;
    카피들의 상기 제 1 세트의 각각의 이미지의 화소들을 이동 물체 화소들 또는 배경 화소들로서 분류하게 하고; 및
    카피들의 상기 제 1 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 프리뷰 이미지를 생성하게 하는 것으로서, 상기 프리뷰 이미지는 상기 이동 물체 화소들 중 하나 이상을 배제시키는, 상기 프리뷰 이미지를 생성하게 하는, 컴퓨터 판독가능 저장 매체.
  28. 제 27 항에 있어서,
    실행될 때 상기 하나 이상의 프로세서들로 하여금,
    디스플레이상에 상기 프리뷰 이미지를 디스플레이하게 하고;
    상기 프리뷰 이미지를 디스플레이하는 동안, 사용자가 개시한 이미지 캡쳐 요청을 수신하게 하며;
    상기 사용자가 개시한 이미지 캡쳐 요청에 응답하여, 최종 이미지를 생성하게 하는 것으로서, 상기 최종 이미지는 상기 제 1 해상도보다 더 높은 제 2 해상도를 갖는, 상기 최종 이미지를 생성하게 하는
    명령들을 더 저장하는, 컴퓨터 판독가능 저장 매체.
  29. 제 27 항에 있어서,
    실행될 때 상기 하나 이상의 프로세서들로 하여금,
    라벨 맵을 생성하게 하는 것으로서, 상기 라벨 맵은, 상기 프리뷰 이미지의 각 화소에 대해, 카피들의 상기 제 1 세트로부터 이미지를 식별하는, 상기 라벨 맵을 생성하게 하는 명령들을 더 저장하는, 컴퓨터 판독가능 저장 매체.
  30. 제 27 항에 있어서,
    상기 프리뷰 이미지를 생성하기 위해, 상기 하나 이상의 프로세서들로 하여금,
    상기 프리뷰 이미지의 화소 로케이션에 대해, 상기 화소 로케이션에 대해 식별된 상기 이미지를 라벨 맵으로부터 결정하게 하고;
    상기 식별된 이미지에서, 상기 프리뷰 이미지의 상기 화소 로케이션과 동일한 로케이션의 화소 값을 결정하게 하며;
    상기 식별된 이미지의 상기 동일한 로케이션의 상기 화소 값에 기초하여 상기 프리뷰 이미지의 상기 화소 로케이션에 대한 화소 값을 결정하게 하고;
    상기 버퍼에, 상기 복수의 이미지들의 카피들의 제 2 세트를 저장하게 하는 것으로서, 상기 복수의 이미지들의 카피들의 상기 제 2 세트는 상기 제 1 해상도보다 더 높은 제 2 해상도에 있는, 상기 카피들의 제 2 세트를 저장하게 하며;
    사용자가 개시한 이미지 캡쳐 요청에 응답하여, 카피들의 상기 제 2 세트의 2 이상의 이미지들로부터의 배경 화소들을 사용하여 최종 이미지를 생성하게 하는
    명령들을 더 저장하는, 컴퓨터 판독가능 저장 매체.
KR1020187011114A 2015-09-21 2015-09-21 카메라 프리뷰 KR20180054794A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/090123 WO2017049430A1 (en) 2015-09-21 2015-09-21 Camera preview

Publications (1)

Publication Number Publication Date
KR20180054794A true KR20180054794A (ko) 2018-05-24

Family

ID=58385500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011114A KR20180054794A (ko) 2015-09-21 2015-09-21 카메라 프리뷰

Country Status (6)

Country Link
US (1) US10616502B2 (ko)
EP (1) EP3354037A4 (ko)
JP (1) JP2018535572A (ko)
KR (1) KR20180054794A (ko)
CN (1) CN108141634B (ko)
WO (1) WO2017049430A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131720A (ko) * 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3627817B1 (en) * 2017-07-17 2021-07-21 Huawei Technologies Co., Ltd. Image processing method and terminal
CN109819178B (zh) * 2017-11-21 2022-07-08 虹软科技股份有限公司 一种用于帧处理的方法和装置
US10902626B2 (en) * 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
EP4333449A1 (en) * 2021-09-27 2024-03-06 Samsung Electronics Co., Ltd. Wearable device comprising camera, and control method therefor
US20240013351A1 (en) * 2022-07-11 2024-01-11 Qualcomm Incorporated Removal of objects from images

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) * 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
JPH11225344A (ja) 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd デジタルカメラ
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
US20070177800A1 (en) * 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5115556B2 (ja) * 2007-07-05 2013-01-09 日本電気株式会社 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
JP5075054B2 (ja) * 2008-08-08 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5457100B2 (ja) * 2009-08-04 2014-04-02 オリンパスイメージング株式会社 撮影装置及び撮影装置の制御方法
DE102009038364A1 (de) * 2009-08-23 2011-02-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
EP2494498B1 (en) * 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
KR101105034B1 (ko) 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8964025B2 (en) 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
JP5705027B2 (ja) 2011-05-26 2015-04-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム、並びに記録媒体
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
CN103905716B (zh) * 2012-12-27 2017-08-18 三星电子（中国）研发中心 拍摄照片时动态处理取景画面的照相设备及方法
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
KR102090105B1 (ko) * 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
JP6084552B2 (ja) 2013-11-06 2017-02-22 株式会社パスコ 路面オルソ画像の生成装置および生成方法
CN103561271B (zh) 2013-11-19 2016-08-17 福建师范大学 静止摄像头拍摄的运动目标被移除视频空域篡改检测方法
KR102161212B1 (ko) * 2013-11-25 2020-09-29 한화테크윈 주식회사 움직임 검출 시스템 및 방법
CN104735364A (zh) 2013-12-19 2015-06-24 中兴通讯股份有限公司 一种照片拍摄处理方法和设备
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
CN104580882B (zh) 2014-11-03 2018-03-16 宇龙计算机通信科技(深圳)有限公司 拍照的方法及其装置
CN104486546B (zh) 2014-12-19 2017-11-10 广东欧珀移动通信有限公司 拍照的方法、装置及移动终端
WO2016165967A1 (en) * 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
KR102398027B1 (ko) * 2015-07-03 2022-05-17 삼성전자주식회사 전자 장치의 동적 프리뷰 디스플레이 방법 및 그 전자 장치
KR102292985B1 (ko) * 2015-08-10 2021-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
EP3354037A4 (en) 2019-04-10
JP2018535572A (ja) 2018-11-29
US20180249091A1 (en) 2018-08-30
CN108141634B (zh) 2021-03-16
EP3354037A1 (en) 2018-08-01
US10616502B2 (en) 2020-04-07
CN108141634A (zh) 2018-06-08
WO2017049430A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
US10616502B2 (en) Camera preview
US20240276055A1 (en) Video processing method and electronic device
US20190313071A1 (en) Dynamic chroma key for video background replacement
US10129488B2 (en) Method for shooting light-painting video, mobile terminal and computer storage medium
US9961297B2 (en) Method and system of rotation of video frames for displaying a video
TW201404143A (zh) 動態攝像機模式切換
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
JP2011527841A (ja) 画像処理装置およびそれを用いた撮像装置
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN103024607A (zh) 用于显示摘要视频的方法和设备
US10127455B2 (en) Apparatus and method of providing thumbnail image of moving picture
US9363526B2 (en) Video and image compression based on position of the image generating device
KR20100138168A (ko) 영상감시 시스템 및 그 시스템의 영상감시방법
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
US20120237089A1 (en) Image processing apparatus and image processing method
WO2011048742A1 (ja) 半導体集積回路及びそれを備える撮像装置
EP2230834A1 (en) Apparatus and method for image processing
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
US20240267615A1 (en) Video processing method and electronic device
US10282633B2 (en) Cross-asset media analysis and processing
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
US20230206449A1 (en) Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Image Processing
JP5660306B2 (ja) 撮像装置、プログラム、及び撮像方法
KR101826463B1 (ko) 동영상의 시간 축을 동기화하기 위한 방법 및 장치