KR20180132946A - 멀티-뷰 장면 분할 및 전파 - Google Patents

멀티-뷰 장면 분할 및 전파 Download PDF

Info

Publication number
KR20180132946A
KR20180132946A KR1020187034558A KR20187034558A KR20180132946A KR 20180132946 A KR20180132946 A KR 20180132946A KR 1020187034558 A KR1020187034558 A KR 1020187034558A KR 20187034558 A KR20187034558 A KR 20187034558A KR 20180132946 A KR20180132946 A KR 20180132946A
Authority
KR
South Korea
Prior art keywords
video stream
image
foreground
region
mask
Prior art date
Application number
KR1020187034558A
Other languages
English (en)
Other versions
KR102185179B1 (ko
Inventor
프랑수아 블레이벨
팅팡 두
토마스 논
지에 텐
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180132946A publication Critical patent/KR20180132946A/ko
Application granted granted Critical
Publication of KR102185179B1 publication Critical patent/KR102185179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

깊이-기반 효과가 수정된 멀티-뷰 비디오 스트림을 생성하기 위해 멀티-뷰 비디오 스트림에 적용될 수 있다. 사용자 입력은 비디오 스트림의 참조 이미지의 전경 영역과 배경 영역 사이의 경계를 전경 영역과 상이한 깊이로 지정할 수 있다. 사용자 입력에 기초하여, 참조 마스크는 전경 영역 및 배경 영역을 나타내기 위해 생성될 수 있다. 상기 참조 마스크는 참조 이미지로부터의 프레임 및/또는 뷰와 상이한 하나 이상의 상이한 이미지에 대한 전경 및 배경 영역을 나타내는 하나 이상의 다른 마스크를 생성하는데 사용될 수 있다. 상기 참조 마스크 및 다른 마스크(들)는 수정된 멀티-뷰 비디오 스트림을 생성하기 위해 멀티-뷰 비디오 스트림에 효과를 적용하는데 사용될 수 있다.

Description

멀티-뷰 장면 분할 및 전파
본 출원은 2017년 3월 17일자로 출원된 "멀티-뷰 장면 분할 및 전파"(대리인 번호. LYT287)에 대한 미국 실용 신안 출원 15/462,752호의 우선권을 주장하며, 그 개시는 그 전체가 참조로서 본 명세서에 통합된다.
본 출원은 2016년 6월 9일자로 출원된 "배경 컬러 번짐 억제를 위한 광-필드 이미지 데이터의 사용"(대리인 번호 LYT255-PROV)에 대한 미국 가출원 제62/347,734 호의 이익을 주장하며, 그 개시는 그 전체가 참조로서 본 명세서에 통합된다.
본 출원은 2015년 8월 27일자로 출원된 "이미지 효과의 깊이 기반 응용"(대리인 번호 LYT203)에 대한 미국 특허 출원 제14/837,465 호의 우선권을 주장하며, 그 개시는 그 전체가 참조로서 본 명세서에 통합된다.
본 출원은 2016년 3월 29일자로 출원된 "타일형 광-필드 카메라를 사용한 광-필드 볼륨 이미지 및 비디오 데이터 캡처링"(Atty. Docket No. LYT217)에 대한 미국 실용 신안 출원 제15/084,326호에 관한 것으로, 그 개시 내용은 그 전체가 본원에 참고로 인용되어 있다.
본 발명은 이미지 데이터를 처리하기 위한 시스템 및 방법에 관한 것으로, 보다 상세하게는 가상 현실 또는 증강 현실 응용에서 사용하기 위해 캡처된 광-필드 이미지 및/또는 입체 비디오(volumetric video)의 장면을 분할하는 시스템 및 방법에 관한 것이다.
착색 변경, 콘트라스트 변경, 또는 이미지 내의 객체 삽입 및/또는 제거와 같은 효과(effects)를 제공하기 위해 종래의 또는 광-필드 이미지를 편집하는 것은 도전적인 것일 수 있다. 일반적으로, 사용자는 효과를 적용하는 방법을 제어하기 위해 객체 경계를 신중하게 선택해야 한다. 따라서, 깊이(depth) 기반 효과의 적용은 시간 소모적이고 노동 집약적인 노력이 될 수 있다.
추가 도전은 배경 교체와 같은 깊이 기반의 수정을 비디오에 적용할 필요성에 의해 제시된다. 전경(foreground) 요소와 배경(background) 요소를 구별하는 프로세스는 다수의 프레임이 관련되어있을 때 급격하게 커질 수 있다. 이러한 분할(segmentation)을 자동화하는 알려진 방법은 상당히 제한되어 있다. 예를 들어, 에지 영역에서 에지 검출 및 알파 추정(alpha estimation)은 낮은 콘트라스트 영역이나 전경 및 배경 색이 유사한 곳에서 부정확한 배경 컬러과 전경 컬러을 분리하는 것에 의존한다.
상기 도전은 광-필드 카메라 또는 타일형(tiled) 카메라 어레이와 같이, 다수의 시점을 갖는 비디오의 경우 복잡해진다. 비디오 스트림의 각 뷰에 세분화가 필요한 경우에는 프로세스들이 그에 따라 반복되어야 한다. 이 결과는 노동 집약적인 프로세이다.
다양한 실시예들에 따라, 본 명세서에 기술된 기숭의 시스템 및 방법은 광-필드 이미지 데이터와 같은 이미지 데이터를 처리하여, 상기 이미지 데이터의 깊이 특성에 기초하여 다양한 효과를 구현한다. 이러한 효과는 하나 이상의 객체 교체, 노출 레벨 수정, 콘트라스트 레벨 수정, 채도 레벨 수정, 이미지의 컬러 세트 수정 미/또는 이미지 데이터의 배경 변경을 포함할 수 있지만 이에 한정되는 것은 아니다. 전경 장면 요소의 정확한 추출은 예를 들어 색 번짐(color spillage) 및 기타 아티팩트를 최소화하면서 새로운 배경(및/또는 다른 요소)을 혼합할 수 있도록 보다 효과적인 합성 및/또는 다른 시각 효과를 가능하게 할 수 있다.
특히, 수정된 비디오 스트림을 생성하기 위해 비디오 스트림에 깊이 기반 효과가 적용될 수 있다. 사용자 입력은 상기 비디오 스트림의 참조 이미지의 전경 영역과 배경 영역 사이의 경계를 상기 전경 영역과 다른 깊이로 지정할 수 있다. 이것은 바운딩 박스(bounding box) 등을 사용하여 경계를 지정하여 수행될 수 있다. 예를 들어, 3D 바운딩 박스는 참조 이미지의 전경 영역을 3D 바운딩 박스 내의 이미지 부분으로 지정하는데 사용될 수 있다. 상기 3D 바운딩 박스 외부의 이미지 부분은 배경 영역일 수 있다.
사용자 입력에 기초하여, 전경 영역 및 배경 영역을 나타내기 위해 참조 마스크가 생성될 수 있다. 상기 경계는 정교한(refined) 참조 마스크의 정교한 경계를 계산하도록 조정될 수 있다. 조정된 참조 마스크는 선택적으로 전경 영역과 배경 영역사이의 미지 영역(unknown region)을 포함하는 트라이맵(trimap)일 수 있다. 상기 미지 영역은 배경 영역 또는 전경 영역에 속할 수 있는 픽셀들을 포함할 수 있다. 상기 미지 영역은 상기 경계가 정확한 위치에 있는지에 대한 신뢰 레벨에 기초하여, 더 크거나 작을 수 있는 적응 폭을 가질 수 있다. 원하는 경우, 추가 조정이 추가 사용자 입력, 깊이 기반 알고리즘의 적용 및/또는 색 기반 알고리즘의 적용을 통해 상기 미지 영역에 대해 수행될 수 있다. 상기 미지 영역의 픽셀들이 전경 영역 또는 배경 영역에 속하는지 여부를 결정하는 것을 돕기 위해 다른 뷰 및/또는 프레임이 참조 이미지와 함께 분석될 수 있다.
상기 참조 마스크는 비디오 스트림의 참조 이미지와 상이한 하나 이상의 비-참조 이미지에 대한 전경 및 배경 영역을 나타내는 하나 이상의 비-참조 마스크를 생성하는데 사용될 수 있다. 따라서, 상기 참조 마스크(예를 들어, 트라이맵)는 해당 프레임에 대해 트라이맵의 생성을 용이하게 하기 위해 상이한 뷰 및/또는 상이한 프레임에 적용될 수 있다. 따라서, 트라이맵들은 순방향 전파(시간상으로 순방향) 및/또는 역방향 전파(시간상으로 역방향)를 통해 하나 이상의 키 프레임(key frames)으로부터 전파될 수 있다. 유사하게, 트라이맵은 트라이맵이 계산된 이미지와 동일한 프레임의 다른 뷰로 전파될 수 있다. 따라서, 트라이맵들은 사용자가 각 프레임 및/또는 뷰에 대한 입력을 제공할 필요 없이, 비디오 스트림의 모든 뷰 및/또는 프레임에 대해 계산될 수 있다.
상기 트라이맵들은 각 뷰 및/또는 프레임에 대한 알파 매트(alpha mattes)를 생성하는데 사용될 수 있다. 상기 알파 매트는 효과가 비디오 스트림에 적용되는 방법을 제어하는데 사용될 수 있다. 만약 비디오 스트림이 광-필드 비디오이면, 상기 광-필드가 알파 매트가 적용된 새로운 뷰로 투영하는데 사용될 수 있도록 알파 매트가 상기 광-필드에 선택적으로 역-투영될 수 있다.
따라서, 수정된 비디오 스트림이 생성될 수 있다. 상기 수정된 비디오 스트림은 예를 들어, 가상 현실 또는 증강 현실 경험의 일부로서 시청자에게 디스플레이 될 수 있다.
첨부된 도면은 여러 실시예를 도시한다. 설명과 함께, 이들은 실시예의 원리를 설명하는 역할을 한다. 당업자라면 도면에 도시된 특정 실시예는 단지 예시적인 것이며 범위를 한정하는 것으로 의도되지 않는다는 것을 알 것이다.
도 1은 일 실시예에 따른, 비디오 효과 적용을 수행하기 위한 파이프 라인을 도시하는 도면이다.
도 2는 일 실시예에 따른, 비디오 효과 적용을 수행하기 위한 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따라, 비디오 스트림의 인접 프레임 및/또는 뷰에 대한 분할의 전파를 나타내는 도면이다.
도 4는 일 실시예에 따라, 비디오 스트림의 인접한 프레임 및/또는 뷰로의 분할 전파를 도시하는 도면이다.
도 5는 일 실시예에 따라, 사용자가 전경 객체를 지정할 수 있는 하나의 방식을 나타내는 스크린샷 도면이다.
도 6은 일 실시예에 따라, 전경 및 배경 재료를 지정하기 위해 사용자-채색 스트로크의 사용을 나타내는 스크린샷 도면이다.
도 7은 일 실시예에 따른, 전경, 배경 및 미지 영역(즉, 미지의 세그먼트)을 나타내는 트라이맵의 일부이다.
도 8은 일 실시예에 따른, 광학 흐름을 사용하여 순방향 트라이맵 전파를 나타내는 이미지 세트이다.
도 9는 다른 실시예에 따른, 광학 흐름을 사용하여 역방향 트라이맵 전파를 나타내는 이미지 세트이다.
도 10은 일 실시예에 따른, 순방향 및 역방향 전파를 통해 획득된 트라이맵들의 조합을 나타내는 이미지 세트이다.
도 11은 i에서의 키 프레임 및 k에서의 키 프레임을 사용하여 프레임 j에 대한 트라이맵의 보간을 나타내는 그래프이다.
도 12는 일 실시예에 따른, |i-j| <= |k-j|인 경우, 결합된 트라이맵 값을 나타내는 표이다.
도 13은 일 실시예에 따른, |i-j|인 > |k-j|인 경우, 결합된 트라이맵 값을 나타내는 표이다.
도 14a 내지도 14d는 일 실시예에 따른, 인접(비-참조) 뷰(VA)에 대한 상부 뷰, 예비 트라이맵, 이진 분할 및 최종 트라이맵이다.
도 15는 일 실시예에 따른, 인접(비-참조 뷰) VA에 대한 상부 뷰이다.
도 16은 일 실시예에 따른, 다수의 뷰로부터 광-필드로의 알파 매트의 역-투영의 단계를 도시하는 스크린샷 이미지의 세트이다.
정의
본 명세서에 제공된 설명의 목적을 위해, 다음의 정의가 사용된다 :
● 알파 매트(Alpha matte) : 알파 매팅 프로세스로부터 출력된다.
● 알파 매팅(alpha matting) : 이미지내의 배경 픽셀과 전경 픽셀들을 구별하는 프로세스로, 이 픽셀들에 투명도를 할당하는 것이 포함될 수 있다. 할당된 투명도 레벨은 예를 들어 이미지와 관련된 알파 채널로 인코딩될 수 있다.
● 배경 영역 : 카메라에서 더 멀리 있는 대상을 지정하는 이미지의 일부.
● 컴퓨팅 디바이스 : 프로세서를 포함하는 모든 디바이스.
● 데이터 저장소(Data store) : 디지털 데이터를 저장하는 모든 디바이스.
● 깊이(Depth) : 광-필드 이미지내의 다수의 픽셀 샘플 각각에 대해 깊이를 나타내는, 광-필드 이미지에 해당하는 2차원 맵.
● 깊이 맵 : 광-필드 이미지에 해당하는 2 차원 맵으로, 광-필드 이미지 내의 여러 픽셀 샘플 각각에 대한 깊이를 나타냅니다.
● 디스플레이 스크린 : 이미지를 디스플레이할 수 있는 모든 유형의 하드웨어.
● 확장된 피사계 심도(EDOF: Extended depth of field) 이미지 : 더 큰 깊이 범위에 초점을 맞춘 객체를 갖도록 처리된 이미지.
● 전경 세그먼트(Foreground segment) 또는 "전경 영역(foreground region)" : 카메라에 더 가까이 있는 대상을 지정하는 이미지의 일부.
● 프레임 : 장면의 하나 이상의 이미지가 비디오 스트림의 일부로서 캡처된 시간 지정.
● 이미지 : 색을 지정하는 픽셀 값의 2차원 어레이 또는 픽셀들.
● 입력 디바이스 : 컴퓨팅 디바이스에 대한 사용자 입력을 수신할 수 있는 모든 디바이스.
● 광-필드 이미지 : 센서에서 캡처된 광-필드 데이터의 표현을 포함하는 이미지.
● 마이크로 렌즈 : 소형 렌즈, 전형적으로 유사한 마이크로 렌즈들의 어레이내의 하나.
● 멀티-뷰 비디오 스트림 : 적어도 하나의 프레임에 대해 다수의 뷰를 갖는 비디오 스트림.
● 수정된 비디오 스트림 : 하나 이상의 효과가 비디오 스트림에 적용된 후의 결과 비디오 스트림.
● 프로세서 : 데이터를 기반으로 의사 결정을 내릴 수 있는 모든 디바이스.
● 참조 마스크(Reference mask) : 이미지의 다수의 부분 각각에 대한 지정을 나타내는, 트라이맵을 포함한 모든 데이터 구조.
● 트라이맵(Trimap) : 이미지의 영역들을 지정하는 참조 마스크. 상기 트라이맵은 예를 들어, 전경 영역, 배경 영역 및 상기 전경 영역과 배경 영역 사이의 미지 영역을 지정할 수 있다.
● 미지 영역(Unknown region ) : 전경 영역 또는 배경 영역에 속할 수 있는 픽셀들이 포함된 이미지의 일부.
● 비디오 스트림 : 서로 다른 시간에 프레임을 구성하는 일련의 이미지.
● 뷰(View) : 장면이 보여지는 시점(viewpoint) 및/또는 뷰 방향.
또한, 명칭의 용이함을 위해, "카메라"라는 용어는 이미지 캡쳐 디바이스 또는 기타 데이터 획득 디바이스를 지칭하기 위해 본 명세서에서 사용된다. 이러한 데이터 획득 디바이스는 2차원 이미지 데이터, 3차원 이미지 데이터 및/또는 광-필드 데이터를 포함하지만 이에 한정되지 않는, 장면(scene)을 나타내는 데이터를 획득, 기록, 측정, 추정, 결정 및/또는 계산하기 위한 임의의 디바이스 또는 시스템일 수 있다. 이러한 데이터 획득 디바이스는 당 업계에 공지된 기술을 사용하여 장면을 나타내는 데이터를 획득하기 위한 광학계, 센서 및 이미지 프로세싱 전자 장치를 포함할 수 있다. 당업자는 많은 종류의 데이터 획득 디바이스가 본 발명과 관련하여 사용될 수 있고, 본 발명은 카메라에 한정되지 않음을 알 수 있을 것이다. 따라서, 본 명세서에서 "카메라"라는 용어의 사용은 예시적이고 대표적인 것으로 의도되지만, 본 발명의 범위를 제한하는 것으로 고려되어서는 안된다. 특히, 본 명세서에서 이러한 용어의 임의의 사용은 이미지 데이터를 획득하기 위한 임의의 적절한 디바이스를 지칭하는 것으로 고려되어야 한다.
이하의 설명에서, 광-필드 이미지를 처리하기 위한 여러 기술 및 방법이 설명된다. 당업자는 이들 다양한 기술 및 방법이 단독으로 및/또는 임의의 적절한 조합으로 수행될 수 있음을 인식할 것이다.
아키텍처(Architecture)
적어도 하나의 실시예에서, 본 명세서에 설명된 시스템 및 방법은, Ng의 핸드-헬드 플렌옵틱 캡처 디바이스를 이용한 광-필드 촬영(스탠포드 컴퓨터 사이언스, 기술 보고서 CSTR 2005-02)에 기술된 것들을 포함하지만 이에 한정되는 않는 광-필드 캡처 디바이스에 의해 캡처된 광-필드 이미지와 관련하여 구현될 수 있다. 예시적인 광-필드 개념, 광학 하드웨어 및 컴퓨팅 하드웨어는 2015년 8월 27일자로 출원된 "이미지 효과의 깊이 기반 적용"(대리인 번호 LYT203)에 대한 미국 특허 출원 제14/837,465 호에 도시되고 기술되며, 그 개시는 그 전체가 참조로서 본 명세서에 통합된다. 본 명세서에 설명된 시스템 및 방법은 광-필드 데이터를 수신하고 처리하는 광-필드 카메라 또는 후 처리 시스템과 같이 본 명세서에 개시된 하드웨어 상에 구현될 수 있다.
부가적으로 또는 대안적으로, 본 명세서에 설명된 시스템 및 방법은 타일형(tiled) 카메라 어레이에 의해 캡처된 비디오 데이터와 같은 입체(volumetric) 비디오 비디오 데이터와 관련하여 구현될 수 있다. 예시적인 카메라 어레이 개념, 광학 하드웨어 및 컴퓨팅 하드웨어는 2016년 3월 29일자로 출원된 "타일형 광-필드 카메라를 사용한 광-필드 볼륨 이미지 및 비디오 데이터 캡처링"(Atty. Docket No. LYT217)에 대한 미국 실용 신안 출원 제15/084,326호에 도시되고 기술되며, 그 개시 내용은 그 전체가 본원에 참고로 인용되어 있다. 본 명세서에 설명된 시스템 및 방법은, 타일형 카메라 어레이 또는 캡처 시스템 및/또는 입체 비디오 데이터를 수신하고 처리하는 후 처리 시스템과 같은 관련 하드웨어로 구현될 수 있다.
효과 적용(Effect Application)
이미지내의 객체들(objects)의 깊이(depth))에 기초하여 유리하게 적용될 수 있는 많은 효과가 있다. 예를 들어, 이미지의 배경 또는 전경을 대체하거나 카메라에 가까이 있거나 멀리 있는 개체들만을 조명하는 추가 광원의 존재를 시뮬레이션하는 것이 바람직할 수 있다.
이러한 효과들의 적용은 단일 이미지에 대한 챌린지일 수 있다. 추가 챌린지는 광-필드 이미지 또는 타일형 카메라 어레이에 의해 캡쳐된 이미지와 같은 멀티-뷰 이미지에 대해 존재한다. 이들 챌린지는 가상 현실 또는 증강 현실 응용에서 사용되는 비디오와 같이 비디오 포멧으로 프리젠테이션하기 위해 다수의 프레임에 변경 사항을 적용할 때 더 복잡해진다.
본 발명은 이미지가 깊이에 기초하여 분할될 수 있는 시스템 및 방법을 제공한다. 예를 들어, 백그라운드 교체를 수행하기 위해, 상기 이미지는 이미지 전경의 객체들을 포함하는 전경 부분, 이미지 배경의 객체들을 포함하는 배경 부분 및/또는 이미지의 전경 및/또는 배경에 있을 수 있는 객체들을 포함하는 미지 부분(unknown portion)으로 분할될 수 있다. 그런 다음 상기 분할은 비디오 스트림의 세분화를 제공하기 위해 대체 뷰 및/또는 대체 프레임으로부터의 이미지로 전파될 수 있다. 분할 후 후에는 백그라운드 교체와 같은 동작들을 쉽게 수행할 수 있다.
멀티-뷰 분할 파이프 라인 및 방법(Multi-View Segmentation Pipeline and Method)
도 1은 일 실시예에 따른 비디오 효과 적용을 수행하기 위한 파이프 라인을 도시하는 도면이다. 이전에 설명한 바와 같이, 효과들은 광-필드 비디오 및/또는 타일형 카메라 어레이로 캡쳐된 비디오와 같은 멀티-뷰 비디오에 적용될 수 있다. 도시된 바와 같이, 비디오 스트림(100)은 선택적으로 멀티-뷰 비디오 스트림일 수 있고, 각각이 특정 프레임 및/또는 뷰에 대응하는 복수의 이미지를 포함할 수 있다.
비디오 스트림(100)은 컬러 데이터(102), 깊이 데이터(104), 및 모션 데이터(106)를 포함할 수 있지만 이에 한정되지 않는 다양한 유형의 데이터를 포함할 수 있다. 컬러 데이터(102)는 비디오 스트림(100)의 각 이미지의 각 픽셀에 대한 컬러를 인코딩할 수 있으며, RGB 또는 임의의 다른 적절한 포맷일 수 있다. 깊이 데이터(104)는 깊이 맵 또는 비디오 스트림(100)을 캡처한 이미지 센서로부터의 비디오 스트림(100)의 각 이미지의 다양한 픽셀 및/또는 부분들의 깊이를 나타내는 다른 데이터 구조를 포함할 수 있다. 모션 데이터(106)는 각 프레임의 이미지(들)로부터 후속 프레임들의 상응하는 이미지(들)로의 변화들을 나타낼 수 있다.
비디오 스트림(100)의 하나 이상의 이미지는 분할을 거쳐서 비디오 스트림(100)의 상이한 세그먼트들이 효과의 적용을 용이하게 하도록 묘사된다. 예를 들어, 상기 분할은 이미지가 카메라에 상대적으로 더 가까운 객체들을 나타내는 전경 영역 및 카메라로부터 상대적으로 멀리있는 객체들을 나타내는 배경 영역과 같은 2개의 세그먼트로 분할되는 이진 분할(110)일 수 있다. 사용자 입력(120)은 이러한 묘사 프로세스를 용이하게 하는데 사용될 수 있다.
이진 분할(110)은 각 이미지에 대해, 경계(132)가 전경 영역과 배경 영역 사이에 기술되는 초기 이진 분할(130)을 포함할 수 있다. 또한, 이진 분할(110)은 각 이미지에 대해, 전경 영역과 배경 영역 사이의 정교한 경계(142)의 형태를 취하도록 조정된 이진 분할(140)을 포함할 수 있다.
상기 이진 분할(110)은 각 이미지에 대한 적응 트라이맵(trimap)일 수 있는 트라이맵(150)을 구성하는데 사용될 수 있다. 상기 트라이맵(150)은 전경 및 배경 영역 사이의 미지 영역뿐만 아니라 전경 영역과 배경 영역으로 이미지를 분리하는 이미지의 맵일 수 있다. 상기 미지 영역은 전경 영역 또는 배경 영역과 적절하게 그룹화될 수 있는 픽셀들을 포함할 수 있다. 일부 실시예에서, 상기 트라이맵(150)은 전경(예컨대, 255로 인코딩된), 배경(예컨대, 0로 인코딩된) 및 미지(예컨대, 128으로 인코딩된) 영역을 지정하는 마스크일 수 있다. 미지의 영역은 개별 픽셀의 전경/배경 지정에 대한 불확실성이 있는 전경 및 배경 픽셀을 구분하는 경계들에 대한 픽셀들의 범위(swath)를 정의할 수 있다.
매팅(Matting)(160)은 트라이맵 패드(150)에 적용될 수 있고, 이는 전경 영역만을 나타내는 이미지일 수 있는 전경 이미지(165) 및/또는 상기 효과가 각 이미지에 적용되는 정도를 나타내는 알파 매트(170)를 생성할 수 있다. 상기 전경 이미지(165) 및/또는 알파 매트(170)는 비디오 스트림(100)에 상기 효과를 적용하여 수정된 비디오 스트림(180)을 생성하는데 사용될 수 있다. 상기 알파 매트(170)의 생성은 이미지 분할의 주요 목표일 수 있다.
일부 구현예에서, 알파 매트(170)는 다음에 속하는 이미지 부분들을 식별하는 부동 소수점 이미지일 수 있다.
● 전경(1의 알파 값);
● 배경(0의 알파 값); 및
● 전경과 배경 사이의 "소프트(soft)" 에지. 모션 블러(motion blu) 또는 재질 특성으로 인해 일부 에지 값은 부분 투명도를 갖는다. 이 경우, 0과 1 사이의 알파 값이 추정될 수 있다.
도 2는 일 실시예에 따른, 비디오 효과 적용을 수행하는 방법을 나타낸 흐름도이다. 도 2의 방법은 도 1에 도시된 데이터 구조를 사용하여 선택적으로 수행될 수 있다. 대안적으로, 도 2의 방법은 상이한 데이터 구조들로 수행될 수 있는데, 유사하게, 도 1의 데이터 구조는 도 2의 것과 다른 방법과 관련하여 사용될 수 있다. 다음의 설명은 도 2의 방법이 도 1의 데이터 구조를 이용하는 것으로 가정한다.
도 2의 방법은, 예를 들어, 광-필드 이미지 및/또는 입체 비디오 데이터를 처리하는데 사용되는 후 처리 회로를 사용하여 수행될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 상기 방법을 수행할 수 있으며, 그러한 컴퓨팅 디바이스는 데스크탑 컴퓨터, 랩톱 컴퓨터, 스마트 폰, 태블릿, 카메라 및/또는 디지털 정보를 처리하는 다른 디바이스 중 하나 이상을 포함할 수 있다.
상기 방법은 비디오 스트림(100)이, 예를 들어 본 명세서에 참고로 통합된 특허 출원들에 개시된 바와 같이, 카메라의 센서 또는 카메라 어레이에 의해 캡처되는 단계(200)로 시작할 수 있다. 광-필드 비디오 캡처의 경우, 다수의 뷰는 가상 애퍼처(virtual aperture)의 다양한 위치에서 광-필드를 재포커싱함으로써 계산될 수 있다. 이것은 비디오 스트림(100)의 캡쳐 이후에 발생하는 하나 이상의 단계로 행해질 수 있다.
단계(210)에서, 비디오 스트림(100)은 카메라 또는 카메라 어레이의 일부일 수 있는 컴퓨팅 디바이스에서 수신될 수 있다. 대안적으로, 컴퓨팅 디바이스는 본 명세서에 참조로 통합된 특허 출원들에 개시된 바와 같이 별도의 후 처리 시스템에서와 같이 카메라로부터 분리될 수 있다. 이러한 컴퓨팅 디바이스는 이하에서 "시스템"으로 지칭될 것이다.
단계(220)에서, 시스템은 초기 이진 분할을 위해 사용될 비디오 스트림(100)의 참조 이미지에 대한 사용자 지정을 수신할 수 있다. 사용자는 예를 들어, 명확하게 정의된 및/또는 쉽게 인식된 전경 및 배경 영역을 갖는 이미지를 선택할 수 있다. 다른 실시예에서, 참조 이미지는 시스템에 의해 자동으로 선택될 수 있다. 일부 실시예에서, 각 프레임에 대한 깊이 또는 변위 맵(disparity map), 및/또는 각 픽셀에 대해 정확한 움직임을 기록하는 광학 흐름 이미지(optical flow image)는 비디오 스트림(100)의 참조 이미지 및/또는 다른 이미지에 대해 이미 계산되었을 수 있다.
단계(230)에서, 시스템은 전경 영역과 배경 영역 사이의 경계에 대한 사용자 지정을 수신할 수 있다. 이 사용자 지정은, 예를 들어, 사용자가 전경 영역 및/또는 배경 영역 내의 하나 이상의 요소(elelments) 주위에 바운딩 박스와 같은 하나 이상의 요소를 드로잉(drawing)함으로써 이루어질 수 있다. 이러한 사용자 지정은도 1의 초기 이진 분할(130)을 계산하기 위해 단계(240)에서 사용될 수 있다.
선택적으로, 사용자에 의해 드로잉된(그려진) 요소들은 집합적으로 경계 (132)를 구성할 수 있다. 단계(250)에서, 경계(132)는 정교한 경계(142)를 제공하도록 조정될 수 있으며, 따라서 조정된 이진 분할(140)을 제공한다. 원하는 경우, 그래프 컷(graph cuts) 및/또는 다른 컴퓨터 비전 기술들이 상기 경계(132) 및/또는 정교한 경계(142)를 정의 및/또는 조정하는데 사용될 수 있다. 원하는 경우, 참조 이미지에 대한 깊이 맵의 깊이 단서들(depth clues)이 배경 및 전경 영역이 유사한 컬러를 갖는 에지들을 조정하기 위해 확률 모델에 포함될 수 있다.
단계(260)에서, 트라이맵(150)은 조정된 이진 분할(140)에 기초하여 계산될 수 있다. 상기 트라이맵은 상술한 바와 같이 전경 및 배경 영역 사이에 미지 영역을 포함할 수 있다. 단계(270)에서, 매팅 알고리즘이 참조 이미지에 대한 알파 매트(alpha matte)(170)를 생성하기 위해 트라이맵(150)에 적용될 수 있다. 인접 뷰들로부터의 컬러 정보가 전경 및 배경 성분을 분리하는데 사용될 수 있으며, 따라서 합성 방정식에서 미지수의 수를 감소시키고 최종 알파 매트(170)의 정확도를 현저하게 향상시킨다. 일부 실시예에서, 알파 매트(170)는 비디오 스트림(100)의 이미지의 각 픽셀의 투명도를 나타내는 픽셀 단위(pixel-by-pixel) 맵일 수 있다. 알파 매트(170)는 비디오 스트림(100)에 대한 알파 채널로 인코딩될 수 있다. 알파 매트(170)의 생성은 입력으로서 비디오 스트림(100)의 컬러 데이터(102) 및 트라이맵(150)의 사용을 수반할 수 있다.
질의(280)에서, 비디오 스트림(100)의 모든 프레임 및 뷰가 처리되었는지 여부에 관한 결정이 이루어질 수 있다. 그렇지 않다면, 단계(290)에서, 참조 이미지로부터의 상이한 프레임 및/또는 뷰로부터 새로운 이미지("제1 비-참조 이미지")가 선택될 수 있다. 단계(291)에서, 단계(260)에서 계산된 트라이맵(150)은 새로운 이미지로 전파될 수 있다. 단계(240), 단계(250), 단계(260) 및 단계(270)는 비-참조 이미지에 대해 반복될 수 있고, 연속적인 비-참조 이미지들은 단계(290)에서 다시 선택되어 상기 질의(280)이 긍정으로 응답될 때까지 전술한 바와같이 처리될 수 있다.
일부 실시예에서, 각 비-참조 이미지는 단계(290)에서 시스템에 의해 자동으로 선택될 수 있고, 상기 단계(240), 단계(250), 단계(260) 및 단계(270)에서 추가 사용자 입력없이 처리될 수 있다. 다른 실시예에서, 사용자는 단계(290)에 따라 하나 이상의 새로운 이미지를 선택하기 위한 입력을 제공할 수 있다. 원하는 경우, 상기 단계(230)는 또한 사용자가 초기 이진 분할(130)의 적절한 생성을 용이하게 하는 입력을 제공할 수 있도록 각각의 새로운 이미지에 대해 반복될 수 있다.
일부 실시예에서, 상기 단계(240), 단계(250), 단계(260) 및 단계(270) 중 하나 이상은 각각의 비-참조 이미지에 대해 생략될 수 있다. 예를 들어, 참조 이미지에 대한 트라이맵(150)은 단계(260)에 따라, 상기 제1 비-참조 이미지에 대한 트라이맵(150)을 계산하는데 사용될 수 있다. 이것은 새로운 비-참조 이미지에 대해 단계(240) 및/또는 단계(250)를 수행하지 않고 수행될 수 있다.
비-참조 이미지들은 인접 뷰 및/또는 프레임으로부터 이전에 처리된 이미지들의 뷰 및/또는 프레임에 이르기 위해 선택될 수 있어서, 인접 이미지에 대한 트라이맵(150)이 상기 단계260)에서 새로운 비-참조 이미지에 대해 트라이맵(150)를 생성하는데 사용될 수 있다. 생성될 각 트라이맵(150)은, 예를 들어, (1) 새로운 비-참조 이미지와 이전에 처리된 이미지 사이에 광학 흐름를 적용하고 및/또는 2) 상기 새로운 비-참조 이미지 및/또는 이전에 처리된 이미지의 외부 파라미터들과 조합하여 깊이 데이터(104)를 사용함으로써 이전 것으로부터 외삽(extrapolate)될 수 있다.
일부 실시예에서, 상기 단계(240) 및/또는 단계(250)는 부분적으로만 수행될 수 있다. 예를 들어, 단계(291)에서 새로운 비-참조 이미지에 대해 전파된 새로운 트라이맵은 모션 및/또는 깊이 추정 에러로 인해 새로운 비-참조 이미지에 대해 정확하지 않을 수 있는데, 그러한 부정확성은 매트 알고리즘이 단계(270)에서 실패하게할 수 있다. 이러한 부정확성을 해소하기 위해, 상기 단계(240) 및/또는 단계(250)는 이전에 처리된 이미지의 외삽을 통해 생성된 트라이맵(150)의 미지 영역에 대해서만 수행될 수 있다. 상기 단계(260) 및 단계(270)는 단계(270)에서 매팅 알고리즘의 더 나은 기능을 수행할 수 있는 보정된(revised) 트라이맵을 계산하기 위해 실행될 수 있다.
도 3은 일 실시예에 따른, 비디오 스트림(100)의 인접 프레임 및/또는 뷰에 대한 분할의 전파를 나타낸 도면(300)이다. 예를 들어, 참조 이미지(310)로부터, 분할은 시간적으로 인접한 이전의 비-참조 이미지(320)로 역방향(backward) 및/또는 시간적으로 인접한 후속의 비-참조 이미지(330)로 순방향(forward)으로 전파될 수 있다. 부가적으로 또는 대안적으로, 참조 이미지(310)로부터, 분할은 제1 인접 뷰 비-참조 이미지(340) 및/또는 제2 인접 뷰 비-참조 이미지(350)로 전파될 수 있다.
유사하게, 인접된 이전의 비-참조 이미지(320)로부터, 분할은 제1 인접 뷰 비-참조 이미지(360) 및/또는 제2인접 뷰 비-참조 이미지(370)로 전파될 수 있다.인접된 후속의 비-참조 이미지(330)로부터, 분할은 제1인접 뷰 비-참조 이미지(380) 및/또는 제2 인접 뷰 비-참조 이미지(390)로 전파될 수 있다.
도 4는 일 실시예에 따른, 비디오 스트림(100)의 인접 프레임 및/또는 뷰로의 분할의 전파를 더 도시한 도면(400)이다. 뷰 전파 및/또는 시간 전파는 임의의 순서로 사용될 수 있다. 도시된 바와 같이, 시간(t)에서 참조 뷰(VR)에서의 참조 이미지에 대한 트라이맵(410)으로부터, 뷰 전파는 대체(즉, 비-참조) 뷰(VA)에 대한 초기 트라이맵(420)을 생성할 수 있다. 이진 분할(430)은 뷰(VA)에 대한 알파 매트(170)를 생성하는데 사용될 수 있는 뷰(VA)에 대한 적응 트라이맵(440)을 생성하도록 수행될 수 있다. 유사하게, 트라이맵(410)으로부터, 시간 전파는 후속 프레임(시각(t+1)에서)에서 뷰(VR)에 대한 초기 트라이맵(450)을 생성할 수 있다. 이진 분할(460)은 시각(t+1)에서 뷰(VR)에 대한 적응 트라이맵(470)을 생성하도록 수행될 수 있다.
다시 도 1과 관련하여 2를 참조하면, 일단 모든 뷰 및/또는 프레임이 처리되면, 단계(292)에서, 상기 단계(270)에서 각각의 이미지에 대해 생성된 알파 매트(170)는 비디오 스트림(100)의 뷰들을 함께 연결(linking)하는 광-필드 또는 다른 데이터로 역-투영될 수 있다. 미지 영역을 투영하고 모든 다른 뷰에 대해 상기 역-투영된 알파 매트를 계산하기 위해, 공지된 뷰 기하 구조가 깊이 맵과 함께 사용될 수 있다. 이는 비디오 스트림(100)에 대한 알파 매트(170)의 적절한 적용을 용이하게 할 수 있다. 단계(294)에서, 알파 매트(170) 및/또는 역-투영된 알파 매트는 도 1의 수정된 비디오 스트림(180)을 생성하기 위해 비디오 스트림(100)에 효과를 적용하는데 사용될 수 있다. 원하는 경우, 캡처된 및 컴퓨터 생성의 광-필드들이 혼합되어 최종 이미지를 형성하는 4D 합성 워크플로우를 인에이블하기 위해 단일-뷰 알파 매트가 4D 광-필드로 역-투영될 수 있다.
단계(296)에서, 수정된 비디오 스트림(180)은 사용자를 위해 디스플레이될 수 있다. 이는, 예를 들어 수정된 비디오 스트림(180)을, 본 명세서에 참조로 통합된 특허 출원들에 개시된 것과 같이 디스플레이 스크린 상에 디스플레이함으로써 수행될 수 있다. 원하는 경우, 상기 방법은 가상 현실 또는 증강 현실 경험의 일부일 수 있다. 그런 다음, 상기 방법은 종료될 수 있다.
도 2의 방법은 멀티-프레임 비디오 스트림과 같은 비디오 스트림에 효과를 적용하는데 사용될 수 있는 많은 가능한 방법들 중 하나일 뿐이다. 다양한 대안들에 따르면, 도 2의 다양한 단계들은 다른 순서로 수행되거나, 생략되거나 및/또는 다른 단계들로 대체될 수 있다. 예를 들어, 다른 이미지 처리 단계들은 상기 방법의 임의의 스테이지에서, 도 2의 방법에 통합될 수 있고, 효과의 적용 전, 동안 및/또는 후에 상기 이미지와 관련하여 수행될 수 있다.
도 2의 방법의 각 단계는 본 발명의 범위 내에서 다양한 방법으로 수행될 수 있다. 상기 단계들의 일부가 수행될 수 있는 예시적인 방법들이 이하에서 보다 상세히 도시되고 기술될 것이다. 다음의 단계들은 단지 예시일뿐인데, 도 2의 단계들은 다음 단계들과 상당히 다른 방식으로 수행될 수 있다.
이진 분할(Binary Segmentation)
단계(230)에서와 같이, 사용자 입력을 통해 이진 분할을 개시하기 위해, 참조 뷰가 그래픽 사용자 인터페이스에 디스플레이 될 수 있다. 그런 다음 아티스트(artist)는 이미지의 하나 이상의 부분 주위에 3D 바운딩 박스를 정의할 수 있다. 예를 들어, 배경을 교체하기 위해, 아티스트는 배경으로부터 분할되도록 하나 이상의 전경 객체들 주위에 3D 바운딩 박스들을 정의할 수 있다. 이것은 박스의 두개의 대향 코너(opposite corners)에 대해 최소 및 최대 X, Y 및 Z 값을 지정하여 수행할 수 있다.
도 5는 일 실시예에 따른, 사용자가 전경 객체들을 지정할 수 있는 하나의 방식을 나타내는 스크린샷 도면(500)이다. 도시된 바와 같이, 이미지는 전경(510) 및 배경(520)을 포함할 수 있다. 3D 바운딩 박스(530)는 전경(510)을 둘러싸도록 전술한 바와 같이 배치될 수 있으며, 이에 의해 도 1의 초기 이진 분할(130)의 경계(132)일 수 있는 초기 이진 분할을 위한 초기 경계를 제공한다.
이러한 초기 이진 분할(130)은 반복 그래프 컷(iterative graph cuts)을 사용하여 조정될 수 있다. 첫 번째 단계는 초기 이진 분할(130)을 사용하여 가우스 혼합 모델로 각각 표현되는 초기 이진 분할(130)으로부터 4개의 확률 분포를 트레이닝하는 것일 수 있다:
1. 전경 컬러 확률(PFG,C);
2. 배경 컬러 확률(PBG,C);
3. 전경 깊이 확률(PFG,D); 및
4. 배경 깊이 확률(PBG,D).
깊이 확률 분포(위의 번호 3 및 4)는 이진 분할로 도입될 수 있다. 사용자는 실수값 가중치(WC 및 WD)를 사용하여 깊이 또는 컬러 정보에 상대적 중요성을 지정할 수 있다. 사용자는 깊이 맵 및/또는 컬러 이미지에 대한 자신의 신뢰도에 기초하여 이들 가중치를 선택적으로 변경할 수 있다.
이 정의에서, 주어진 픽셀(p)가 전경에 속할 확률은 다음과 같이 정의될 수 있다.
Figure pct00001
WC 및 WD는 다음과 같이 설정될 수 있다.
Figure pct00002
상기 배경 확률은 동일한 방식으로 정의될 수 있다.
전역 최소화(Global minimization)는 위의 확률 모델에 기초하여 각 픽셀에 대한 새로운 라벨 할당(전경 또는 배경)을 찾도록 수행될 수 있다. 유사한 색의 영역에서의 일관성을 촉진하기 위해 평활도 항(smoothness term)이 사용될 수 있다. 기존의 접근법에 더하여, 이웃하는 픽셀들의 깊이값은 이 평활도 항에 포함될 수 있어, 유사한 깊이의 영역들이 일관된 라벨링을 갖는 경향이 있다.
이러한 최종 최소화(final minimization)는 최종 분할을 산출하는 최소 컷 알고리즘을 사용하여 수행될 수 있다. 이러한 처리(확률 추정 및 그래프 컷)는 전형적으로 이들 분할 라벨들이 수렴할 때까지 반복되는 새로운 분할 라벨 세트를 획득하기 위해 반복될 수 있다. 그 결과는 도 2의 단계(250)에서 기술된 바와 같이,도 1의 정교한 2진 분할(140)의 생성일 수 있다.
사용자는 전경 및/또는 배경 영역에 속하는 것으로 알려진 영역들(areas)에 페인트 스트로크(paint strokes)를 그려서 이 분할을 보정하기 위한 옵션을 가질 수 있다. 따라서, 페인트 스트로크 하의 각 픽셀은 사용자 정의 라벨이 최적화 프로세스에 의해 변경되지는 않지만 확률 모델을 학습하는데 사용되는 방식으로 그에 따라 라벨링될 수 있다.
도 6은 일 실시예에 따른 전경 및 배경 재질을 지정하기 위해 사용자 페인트 스트로크(user-painted strokes)의 사용을 나타낸 스크린샷 도면(600)이다. 도시된 바와 같이, 사용자는 전경(510)에 속하는 이미지의 부분들을 지정하기 위해 적색 스트로크(630)를 사용할 수 있다. 마찬가지로, 청색 스트로크(640)는 배경(520)에 속하는 이미지의 부분들을 지정하는데 사용될 수 있다. 전술한 바와 같이, 이들 지정은 반복 그래프 컷 중에 수정되지 않을 수 있다.
트라이맵 생성(Trimap Generation)
상기 조정된 이진 분할(140)은 도 2의 방법의 단계(260)에서와 같이 트라이맵(150)를 계산하기 위해 사용될 수 있다. 트라이맵(150)은 각 픽셀이 전경, 배경 및 미지의 3개의 영역 중 하나에 속하는 것으로 라벨링되는 삼원 이미지( ternary image)일 수 있다. 경계(132) 및/또는 조정된 경계(142)가 저-콘트라스트 영역을 교차함에 따라, 초기 이진 분할(130) 및/또는 조정된 이진 분할(140)에 에러들이 나타날 수 있다. 트라이맵(150)의 두께는 미지 영역이 이미지의 실제 에지를 정확하게 포함하도록 에지 거리 메트릭에 기초하여 동적으로 선택될 수 있다.
도 7은 일 실시예에 따른, 전경(510), 배경(520) 및 미지 영역(720)(즉, 미지 영역)을 나타내는 트라이맵(700)의 일부이다. 도시된 바와 같이, 미지 영역(720)은 전경(510)을 배경(520)으로부터 분리할 수 있다. 상기 트라이맵(700)을 계산하는 단계는 미지 영역(720)을 위치시키기 위해 상기 조정된 이진 분할(140)으로부터 상기 조정된 경계(142)일 수 있는 이진 분할 에지(710)를 이용하는 단계를 포함할 수 있다.
미지 영역(720)의 폭은 미지 영역(720)의 길이를 따라 변할 수 있다는 점에서 적응적일 수 있다. 예를 들어, 미지 영역(720)은 저 콘트라스트 영역(740)에 근접한 고 콘트라스트 피처(feature)일 수 있는 실제 소프트 에지(750)와 같은, 이진 분할 에지(710)에 인접한 피처를 수용하도록 이격되는 트라이맵 에지(730)를 가질 수 있다.
일부 실시예에서, 다음 프로세스가 사용될 수 있다.
1. 사용자는 미지의 영역(720)에 대한 최소 두께(tmin) 및 최대 두께(tmax)를 픽셀 단위로 설정할 수 있다.
2. 상기 이미지의 고-콘트라스트 에지들이 검출될 수 있다. 공식적으로, 픽셀(I)에서의 콘트라스트 값은 이웃 화소들(j)에 대해 다음과 같이 정의될 수 있다.
Figure pct00003
3. C는 고-콘트라스트 에지에서 C'(i)가 1과 같고, 그렇지 않으면 0과 같도록 이진 에지 이미지(C')를 형성하도록 임계화될 수 있다.
4. 거리 맵(D)는 이진 이미지(C')로부터 계산될 수 있다. 각 픽셀(I)에 대해, D(i)는 C'에서 가장 가까운 고 콘트라스트 에지까지의 거리를 포함할 수 있다. 속도를 고려할 때, E는 삼각형 필터로 블러(blurred)될 수 있다. 이렇게 하면 현재 픽셀이 에지에서 얼마나 멀리 떨어져 있는지 나타내는 각 에지 주변에 램프 프로파일을 생성할 수 있다. 다른 보다 정확한 옵션은 C'에서 거리 변환을 계산하는 것이다.
5. 그런 다음 최종 트라이맵 이미지(T)는 예시적인 의사 코드에 나타난 바와같이 계산될 수 있다.
이진 분할에 따라 T = '전경' 또는 T = '배경'으로 초기화
이진 분할 에지상의 각 픽셀 i에 대해:
T(i) = '미지(Unknown)'로 설정
만약 D(i)가 tmax보다 작으면:
r = max(D(i), tmin)으로 설정
i 주위의 반경 r인 디스크의 각 픽셀 j에 대해:
T(j) = '미지'로 설정
최종 트라이맵 이미지는 이진 분할 에지 주위의 특성 대칭 프로파일을 갖는 가장 가까운 고-콘트라스트 에지(들)를 정확하게 포함하는 미지 영역을 가질 수 있다. 특히, 콘트라스트 이미지 C(i)의 정의는, 미지의 영역(720)이 필요한 만큼만 두꺼운 것을 보장하면서, 미지의 영역(720)의 컬러 에지들 이외에 깊이 에지들이 정확히 캡쳐되는 것을 보장할 수 있다. 이는 상기 매팅이 도 2의 단계(270)에서 수행되는 것을 용이하게 할 수 있다.
파라미터들(tmin 및 tmax)은 미지 영역(720)의 최종 형상을 제어할 수 있다. 이들은 원하는 결과를 얻기 위해 미지 영역(720)을 조이거나 팽창시키기 위해 사용자에 의해 조정될 수 있다.
시간 전파(Time Propagation)
앞서 언급한 바와 같이, 참조 이미지에 대해 계산된 트라이맵(150)은 비디오 스트림(100)의 상이한 프레임들에 시간적으로 전파될 수 있다. 이러한 전파는 비디오 스트림(100)의 모든 프레임들이 분할될 때까지 계속될 수 있다.
일 실시예에서, 다음 프로세스가 사용될 수 있다.
1. 사용자는 단계(230), 단계(240), 단계(250) 및 단계(260)에서와 같이, 비디오 스트림(100)으로부터 몇 개의 프레임들로부터 이미지들을 분할할 수 있다. 이들 각각의 이미지는 "참조 이미지"로 지칭될 수 있고, 비디오 스트림(100)의 대응하는 프레임들은 "키 프레임"으로 지칭될 수 있다
2. 키 프레임들 사이의 프레임들 내의 각 이미지에 대한 트라이맵(150)은 다음과 같이 보간될 수 있다.
a. 트라이맵은 광학 흐름를 사용하여 각 키 프레임으로부터 시간상으로 순방향 전파될 수 있다.
b. 트라이맵은 시간상으로 역방향 전파될 수 있다.
c. 순방향 및 역방향의 트라이맵은 함께 결합될 수 있다.
3. 사용자는 새로운 키 프레임을 정의할 수 있는 중간 프레임들에 대한 사용자 지원(user-aided) 분할을 반복함으로써 분할을 편집할 수 있다. 상기 프로세스는 최종 분할이 각 프레임의 각 이미지에 대해 충족될 때까지 반복될 수 있다.
도 8 및 도 9는 전파 프로세스를 나타낸다. 구체적으로, 도 8은 일 실시예에 따른 광학 흐름을 사용하는 순방향 트라이맵 전파를 나타내는 이미지 세트(800)이다. 키 프레임(i)은 전경(510), 배경(520) 및 미지 영역(720)을 도시하는, 트라이맵(810)이 계산되었던 참조 이미지를 포함한다. 키 프레임(i)으로부터 시간상으로 3개의 프레임 순방향인 키 프레임(i+3)은 대응하는 트라이맵(840)을 가질 수 있다.
광학 흐름은 트라이맵(810)에 적용되어 키 프레임(i)으로부터 시간상으로 한 프레임 전압인 키 프레임(i+1)에 대한 트라이맵(820)을 생성할 수 있다. 유사하게, 광학 흐름은 트라이맵(820)에 적용되어 키 프레임(i)으로부터 시간상으로 두 프레임 전방인 키 프레임(i+2)에 대한 트라이맵(830)을 생성할 수 있다. 따라서, 시간상의 순방향 전파를 통해 키 프레임들(i와 i+3)사이의 프레임들(i+1 및 i+2)에 대해 트라이맵들이 생성될 수 있다.
보다 정확하게, 순방향 전파는 다음의 방식으로 수행될 수 있다 :
1. 광학 흐름을 사용하여 프레임(i)에서 프레임(i+1)으로 트라이맵(810)을 왜곡(Warp) 한다. 결과의 트라이맵(820)은 불완전하다. 광학 흐름은 프레임(i+1)에서 드러난 프레임(i)의 폐색 영역(occluded areas)을 설명하지 못할 수도 있다.
2. 미지 영역에 대해서만, 단계(230), 단계(240) 및/또는 단계(250)에서와 같이 이진 분할을 수행한다. 이는 전경(510) 및 배경(520)으로부터 계산된 확률 모델을 사용하여 이진 분할을 추정할 수 있다.
3. 프레임(i+1)에 대해 단계(260)에서와 같이 트라이맵을 계산한다.
4. 프레임(i+1)에서 시작하여 위의 1~3 단계를 반복하여, 프레임(i+1)이 키 프레임인 경우 중지한다.
도 9는 다른 실시예에 따른, 광학 흐름을 사용하는 역방향 트라이맵 전파를 나타내는 이미지 세트(900)이다. 키 프레임(i)은 전경(510), 배경(520) 및 미지 영역(720)을 도시하는, 트라이맵(810)이 계산되었던 참조 이미지를 포함한다. 키 프레임(i)으로부터 시간상으로 3개의 프레임 전방인 키 프레임(i+3)은 대응하는 트라이맵(840)을 가질 수 있다.
역방향 전파는 역방향(프레임(i)에서 프레임(i-1)까지)으로 추정된 광학 흐름을 사용하여 순방향 전파와 동일한 방식으로 정의될 수 있다. 광학 흐름은 트라이맵(840)에 적용에 적용되어 키 프레임(i+3)으로부터 시간상으로 한 프레임 후방인 키 프레임(i+2)에 대한 트라이맵(930)을 생성할 수 있다. 유사하게, 광학 흐름은 트라이맵(930)에 적용에 적용되어 키 프레임(i+3)으로부터 시간상으로 두 프레임 후방인 키 프레임(i+1)에 대한 트라이맵(920)을 생성할 수 있다. 순방향 전파와 마찬가지로, 결과적인 트라이맵은 프레임(i)의 폐색 영역이 프레임(i-1)에서 드러난다면 불완전할 수 있으며, 미지의 영역(720)을 보다 정확하게 분할하기 위해 필요에 따라 조정될 수 있다. 따라서, 시간상의 역방향 전파를 통해 키 프레임들(i와 i+3)사이의 프레임들(i+1 및 i+2)에 대해 트라이맵들이 생성될 수 있다.
상기 순방향 및 역방향으로 전파된 트라이맵들(150)은 광학 흐름 부정확성이 존재하는 곳에서는 동의하지 않을 수 있다. 상기 단계(2(c))에서와 같이 순방향 및 역방향 트라이맵(150)을 함께 결합하는 목적은 두 개의 전파된 트라이맵(150)을 조정하여 최종 분할을 형성하는 것일 수 있다. 이는 도 10과 관련하여 더 도시되고 개시될 것이다.
도 10은 일 실시예에 따른 순방향 및 역방향 전파를 통해 획득된 트라이맵(150)의 조합을 나타내는 이미지의 세트(1000)이다. 특히, 도 8 및 도 9의 키 프레임들(프레임 i 및 프레임 i+3)에 대한 트라이맵(810) 및 트라이맵(840)이 도시되어 있다. 게다가, 도 8에서 전방으로 전파된 트라이맵(820) 및 트라이맵(830)과, 도 9에서 후방으로 전파된 트라이맵(920) 및 트라이맵(930)이 또한 도시되어 있다. 프레임(i+1)에 대한 것인 트라이맵(820) 및 트라이맵(920)은 프레임(i+1)에 대한 결합 트라이맵(1020)을 계산하기 위해 결합될 수 있다. 유사하게, 프레임(i+2)에 대한 것인 트라이맵(830) 및 트라이맵(930)은 프레임(i+2)에 대한 결합 트라이맵(1030)을 계산하기 위해 결합될 수 있다.
도 11은 i(1110)에서의 키 프레임 및 k(1120)에서의 키 프레임을 사용하여 프레임(j)(1140)에 대한 트라이맵의 보간을 도시한 그래프(1100)이다. 추가 프레임들(1130)은 k(1120)에서의 키 프레임과 프레임(j)(1140) 사이에 있을 수 있다. 프레임(j)에서의 각 픽셀(p)에 대해, 그의 조합된 트라이맵 값(Tj(p))은, (1) 키 프레임(i)로부터 순방향 전파된 트라이맵(TFj) 및 (2) 키 프레임(k)로부터의 역방향 전파된 트라이맵(TBj)를 사용하여 계산될 수 있다. 이 값은 프레임(j)가 프레임(i) 또는 프레임(k)에 가장 가까운지의 여부에 따라 달라질 수 있다. 이것은 만약 프레임(j)가 프레임(i)에 가장 근접하면 도 12의 테이블(1200)에 따라 계산되고, 그렇지 않으면 도 13의 테이블(1300)에 따라 계산될 수 있다.
도 12는 일 실시예에 따른, |i-j| <= |k-j|인 경우의 결합 트라이맵 값을 나타내는 테이블(1200)이다. 도 13은 일 실시예에 따른, |i-j| > |k-j|인 경우의 결합 트라이맵 값을 나타내는 테이블(1300)이다.
트라이맵 값을 계산하는 이 모드는 다음과 같은 이점을 가질 수 있다.
- 특히 순방향 및 역방향 전파가 일치하지 않는 미지 영역에서 이미지 에지 주위의 불확실성이 포착될 수 있고; 그리고
- 전파된 트라이맵 픽셀들 중 오직 하나가 알려진 경우 가장 가까운 키 프레임에 우선 순위를 부여함으로써 사용자 입력이 존중될 수 있다.
상기 결합 트라이맵은 결합 트라이맵(도 10의 트라이맵(1020) 또는 트라이맵(1030)과 같은)의 미지 영역(720)에서, 단계(230), 단계(240) 및/또는 단계(250)를 적용함으로써 더 조정될 수 있다. 상기 단계(260)는 조정된 이진 분할(140)상에서 수행되어 최종 트라이맵 펫(150)을 계산할 수 있다.
뷰 전파(View Propagation)
지금까지, 분할은 참조 뷰에 대해서만 계산되었다. 참조 뷰에서 계산된 깊이 맵과 다른 뷰의 상대 위치를 사용하여, 해당 뷰에 상기 분할을 전파할 수 있다. 다음의 예시적인 방법은 분할하기 위한 전경 객체가 참조 뷰에서 완전히 보일 수 있는 것으로 가정한다.
도 14a 내지 도 14d는 일 실시예에 따른, 인접(비-참조) 뷰(VA)(1450)에 대한 상부 뷰, 예비 트라이맵, 이진 분할 및 최종 트라이맵이다. 도 14a에 도시된 바와 같이, 포인트(XA)(1410)는 배경(1420)과 전경(1430) 사이의 경계에서 깊이 불연속성으로 인해 참조 뷰(VR)(1460)에서 차단될 수 있다. 그러나, 새로운 트라이맵(150)이 생성되어야 하는 인접 뷰(VA)(1450)에서, 상기 포인트(XA)(1410)는 보일 수 있다. 도시된 바와 같이, 배경(1420) 및 전경(1430)은 모두 이미지 평면(1440) 뒤에 있을 수 있다.
인접 뷰 VA(1450)에서, 투영(pA)(1470)이 도 14b에 도시된 바와 같이 예비 트라이맵(TA)(1480)에서 미지(Unknown)로 설정되지만, 정확한 값은 도 14c에 도시된 바와 같이 이진 분할(1482) 동안 검출될 수 있다. 상기 경계는 도 14d에 도시된 바와 같이, 최종 트라이맵(TA')(1484)에서 제거될 수 있다.
보다 구체적으로, 참조 뷰(VR)(1460) 및 인접 뷰(VA)(1450)이 주어지면, 최종 트라이맵(TA')(1484)은 참조 뷰(TR) 및 깊이 맵(DR)(미도시)에서 트라이맵의 사용을 통해 계산될 수 있다. 다음 프로세스가 사용될 수 있다.
1. 예비 트라이맵(TA)(1480)을 "미지(Unknown)"로 초기화한다.
2. 참조 뷰(VR)(1460)의 각 픽셀(pR)에 대해:
a. pR에서 샘플링된 깊이 맵(DR)을 사용하여 그의 3D 뷰 공간 위치(XR)을 계산한다.
b. XR을 인접 뷰(VA)의 공간으로 변환한다. 이는 3D 위치(XA)를 제공할 수 있다.
c. XA를 인접한 뷰의 픽셀(pA)로 투영한다.
d. TA(pA)를 TR(pR)의 값으로 설정한다.
3. 2진 분할(1482)을 추정하기 위해 TA의 미지 영역(720)에만 단계(230), 단계(240) 및/또는 단계(250)를 적용한다. 깊이 맵(DA)은 VA에 대해 이용 가능하지 않다고 가정한다. 만약 그것이 이용 가능하지 않으면, 단계 3의 2진 분할(1482)은 VA 에 대한 컬러 이미지만을 사용하여 수행될 수 있다.
4. 최종 트라이맵(TA')(1484)를 추정하기 위해 이진 분할(1482)에 단계(260)를 적용한다.
VA의 일부 픽셀들은 깊이 불연속성에서의 폐색(가림)으로 인해 VR에서 보이지 않을 수 있다. 이러한 픽셀에는 위의 단계 1에서 예비 트라이맵(TA)(1480)에 "미지(Unknown)" 값이 디폴트로 할당될 수 있다. 이 값은 깊이 연속성이 실제 전경/배경 경계를 넘어서면 올바른 값일 수 있지만, 미지 영역(720)이 전체적으로 이미지의 전경(510) 또는 배경(520) 내에 있으면 올바르지 않을 수 있다. 이것은 도 10에 도시된 상황이다.
올바른 값은 위의 단계 3 및 4에 의해 할당될 수 있다. 단계 3에서 생성된 이진 분할(1482)은 이웃하는 영역들에서의 일관성을 보장하기 위해 수행될 수 있다. pA의 가장 가까운 이웃들이 모두 "배경"으로 분류되므로 상기 경계를 "닫고 (close)" 최종 트라이맵(TA')(1484)에 올바른 값을 설정한다. 상기 깊이 불연속성이 전경(510)에만 있는 경우에도 동일한 솔루션이 적용될 수 있다.
멀티-뷰 매트(Multi-View Matting)
도 2의 방법의 단계(270)에 따라, 전경 픽셀 값들뿐만 아니라 알파 매트(170)가 미지 영역(720)에서 추정될 수 있다. 몇몇 알고리즘이 매팅 라플라시안 (matplating Laplacian)과 같은 단일 뷰들상에서 그렇게 하도록 존재한다. 인접 뷰들로부터의 정보를 사용하면 알파 매트(170)에 대한 정확한 알파 값들을 추정할 수 있다. 이미지 매팅의 문제는 다음 합성 방정식을 만족하는 주어진 픽셀 컬러(I)에 대해 실수 값 알파(α) 및 컬러 값 F(전경) 및 B(배경)을 찾는 것일 수 있다.
Figure pct00004
F, B 및 α는 일반적으로 함께 추정될 수 있으며, 이는 7개의 미지 파라미터의 추정을 수반할 수 있다. 대안으로, B는 다수의 뷰로부터 복원될 수 있으며, 이는 상기 방정식에서 3개의 미지수(Unknowns)(각 컬러 채널에 대해 하나)를 제거할 수 있다.
예를 들어, 인접 뷰(VA)는 미지 영역(720)의 경계의 일부(behind part)를 볼 수 있다. 이 상황은 VA 및 VR의 상대 포즈(poses)를 미지 영역(720)의 경계의 방위와 비교함으로써 검출될 수 있다. 도 11은 VA가 좌측에서 경계를 바라 보는 경우를 나타낸다.
도 15는 일 실시예에 따른, 인접(비-참조 뷰) VA(1450)에 대한 상부 뷰 (1500)이다. 도 15는 미지 영역(1510) 및 참조 뷰(VR)(1460)로부터의 투영(pR) (1520)이 추가된 도 14a와 동일한 요소들을 나타낸다.
배경 샘플들은 전경들(510)에 의해 폐색된(가려진) 컬러 샘플 모두를 참조 뷰(VR)(1460)로부터 이미지 평면(1440)으로 투영함으로써 복원될 수 있다. 이는 다음의 2-단계 프로세스로 간주될 수 있다.
1. 깊이 전파(Depth Propagation). 깊이 맵은 2개의 뷰의 공지된 상대 위치에 기초하여, VR에서 VA로 재 투영될 수 있다. 깊이 맵에는 "홀(holes)"이 있을 수 있다. 이들은 VR에서는 폐색되지만(가려지지만) VA에서는 볼 수 있는 영역이다. 깊이 값들은 공간 및 피쳐 도메인 모두에서 고도로 상관된 이웃 픽셀들로부터 이러한 홀들을 채울 수 있다.
2. 재 투영(Reprojection). VA의 3D 포인트들은 VR의 이미지 평면에으로 재 투영될 수 있다. 상기 폐색된 객체들은 이제 VR에서 "볼(seen) 수 있다.
상기 깊이 값들은 위의 단계 1에서 설명된 바와 같이 홀들에 채워질 수 있다. 상기 홀 영역들은 VR의 폐색 영역들일 수 있다. 따라서, 여기서의 깊이 값들은 근처 배경 픽셀들에 더 가까울 수 있다. 다음과 같이 반복적인 전파 프로세스가 사용될 수 있다.
A. 홀 영역내의 픽셀(p)에 대해, 깊이 값(zp)이 다음과 같이 추정될 수 있다.
Figure pct00005
B. 픽셀(p)는 "채움(Filled)"으로 라벨링될 수 있다. εs와 εc가 충분히 작지 않다면, εs와 εc는 갱신될 수 있고, 상기 갱신된 εs와 εc를 이용하여 상기 반복적인 전파 프로세스가 재시작될 수 있다. 그렇지 않은 경우, 반복적인 전파 프로세스가 중지될 수 있다.
그런 다음 단계(270)의 매팅 루틴에서 복구된 배경 샘플들이 활용될 수 있다. VR의 이미지 평면에서 재 투영 컬러 샘플(x, y, zF, IF)을 원래의 컬러 샘플로 나타내기 위해 표현식(x, y, zB, IB)이 사용될 수 있다. 그런 다음 재 투영 샘플들은 원본 샘플과 비교될 수 있다. 여기에는 세 가지 케이스(case)가 있을 수 있다.
케이스 1:
Figure pct00006
케이스 2:
Figure pct00007
케이스 3:
Figure pct00008
인 픽셀이 이상치이다.
케이스 1에서, 픽셀에 대한 미지수의 수는 7개에서 4개로 감소될 수 있다. 케이스 2에 대해, 미지 영역(720)의 면적을 감소시킬 수 있고, 따라서 추정할 픽셀의 수를 감소시킬 수 있다. 이렇게 하면, 전경 및 알파 값을 보다 정확하게 예측할 수 있다.
일부 실시예에서, 최종 알파 값은 2-단계 프로세스로 추정될 수 있다. 초기 추정은 이미지 픽셀(I)에 대한 전경(F) 및 배경(B) 컬러 샘플들의 "베스트 매치(best match)"를 발견함으로써 계산될 수 있다. "베스트 매치"는 각각의 예상 샘플 F 및 B에 대해, 다음의 비용 함수를 최소화하는 의미로 정의될 수 있다.
Figure pct00009
여기서
Figure pct00010
이고, dist(X, Y)는 두 이미지 샘플 간의 유클리드 거리(Euclidean distance)이고, βcolor와 βdistance는 각각 컬러와 거리 불일치(mismatch)간에 상대적인 페널티를 적용하는 상수이다.
만약 배경 샘플(B)가 성공적으로 복구되면, 이는 탐색 공간을 상당히 좁히는 데 사용될 수 있다. 특히, 비용 함수(C)에 따른 베스트(최상의) 전경 샘플(F)만이 필요할 수 있다. 상기 탐색은 전역적으로(전체 전경 영역에 대한 베스트 매치를 위해) 또는 국부적으로(전경/미지 영역 경계를 따라) 수행될 수 있다. 그런 다음, 로컬 컬러 친화도(affinities)에 따라 알파 값들을 평활하는 후 처리 단계를 추가하는 것이 바람직할 수 있다. 사용자가 요구하는 품질 레벨에 따라, "카이드 필터" 알고리즘 또는 "매팅 라플라시안" 알고리즘이 사용될 수 있다.
전경 컬러 추정(Foreground Color Estimation)
최종 알파 매트가 추정된 후, 전경 컬러(F)는 배경 컬러(B)가 알려질 때, 위에서 언급한 매팅 방적식에 따라 쉽게 계산될 수 있다.
Figure pct00011
인 배경 컬러가 이전에 멀티-뷰로부터 복구될 수 없는 경우, 알파가 이 경우 고정될 수 있다는 것을 제외하고는 전술한 바와같이 비용 함수(C)를 최소화하는 가장 "가능한(probable)" 전경 및 배경 컬러쌍이 확인될 수 있다. 이것은 전체 미지 영역에 대해 추정된 최종 전경 컬러를 산출할 수 있다.
최종 전경 이미지는 예를 들어 다음과 같이 형성될 수 있다.
● 공지된 배경 영역에서 픽셀을 검정색으로 설정.
● 미지 영역에서 위에서 추정한 전경 컬러 사용.
● 공지된 전경 영역에서, 소스 이미지의 픽셀 직접 사용.
4D 합성(4D Compositing)
전술한 바와 같이 생성된 상기 알파 매트(170) 및 전경 이미지는 2D일 수 있으므로, 다른 2D 이미지를 합성하는데에만 사용될 수 있다. 광-필드 카메라와 같은 멀티-뷰 카메라 구성은 동일한 장면의 다수의 뷰를 생성할 수 있다. 인접한 뷰에 대해 알파 매트(170) 및 전경 이미지가 획득되면, 일단 알파 매트(170) 및 전경 이미지가 인접 뷰들에 대해 획득되면, 상기 알파 매트(170) 및 전경 이미지는 단일 RGBA 광-필드로 역-투영될 수 있다. 이것은 임의의 시점(viewpoint)에 대한 재포커싱 및 투영과 같은 광-필드 기술의 사용을 허용할 수 있다.
도 16은 일 실시예에 따른 다수의 알파 맵으로 다수의 뷰로부터 광-필드로의 이미지의 역-투영의 단계를 나타내는 스크린샷 이미지 세트(1600)이다. 이것은 전경 이미지와 알파 맵은 4-성분 RGBA 광-필드를 재생성하도록 역투영될 수 있는 역 투영에 대한 일반적인 워크 플로우를 설명한다. 도시된 바와 같이, 4D 광-필드(1610)는 캡처되어, 일련의 M×M 서브-애퍼처 이미지들(1620)로서 디스플레이되는 일련의 뷰들을 계산하는데 사용될 수 있다. 맵(이 경우, 알파 맵)은 각각의 서브-애퍼처 이미지(1620)에 대해 생성되어, M×M 알파 맵(1630)을 생성하게 한다. 유사한 프로세스가 M×M 전경 맵들을 생성하도록 수행될 수 있다. 또한, 깊이 맵(1640)은 4D 광-필드(1610)에 기초하여 생성될 수 있으며, 4D 광-필드(1610)에 대한 알파 채널 또는 알파 맵들(1630)의 멀티-뷰 역투영에 사용될 수 있다. 이것은 컬러 및/또는 깊이 데이터와 함께 임의의 서브-애퍼처 이미지에 투사될 수 있는 알파 채널을 포함하는 RGBA 광-필드(1650)를 생성하게 할 수 있다.
상기 설명 및 참조된 도면은 가능한 실시예에 대한 특정 세부 사항을 나타낸다. 당업자는 본 명세서에 설명된 기술들이 다른 실시예들에서 실시될 수 있음을 이해할 것이다. 먼저, 구성 요소의 특정 명명, 용어들의 대문자 사용, 속성, 데이터 구조 또는 기타 프로그래밍 또는 구조적 측면은 필수적이거나 중요하지 않으며, 본 명세서에 설명된 기술을 구현하는 메커니즘은 다른 이름, 포멧 또는 프로토콜을 가질 수 있다. 게다가, 시스템은 설명된 바와 같이, 하드웨어 또는 소프트웨어의 조합을 통해 구현될 수도 있고, 전체적으로 하드웨어 요소로 구현되거나, 전체적으로 소프트웨어 요소로 구현될 수도 있다. 또한, 본 명세서에 기술된 다양한 시스템 구성 요소들 사이의 특정 기능 분할은 단지 예시적인 것이며 필수적이지는 않으며, 단일 시스템 구성 요소에 의해 수행되는 기능은 다수의 구성 요소에 의해 수행될 수도 있고, 다수의 구성 요소에 의해 수행되는 기능은 단일 구성 요소에 의해 대신 수행될 수도 있다.
명세서에서 "일 실시예" 또는 "실시예"에 대한 참조는 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함됨을 의미한다. 명세서의 다양한 위치에서 "일 실시예에서"라는 문구는 반드시 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예는 전술한 기술을 단독으로 또는 임의의 조합으로 수행하기 위한 시스템 또는 방법을 포함할 수 있다. 다른 실시예는 컴퓨팅 디바이스 또는 다른 전자 디바이스의 프로세서로 하여금 전술한 기술을 수행하게 하기 위해, 비-일시적 컴퓨터 판독 가능 저장 매체 및 매체 상에 인코딩된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 포함할 수 있다.
위의 일부분은 컴퓨팅 디바이스의 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 심볼 표현의 관점에서 제공된다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 당업자가 그들의 작업 내용을 당업자에게 가장 효과적으로 전달하기 위해 사용되는 수단이다. 알고리즘은 본 명세서에 있으며, 일반적으로 바림직한 결과를 유도하는 일관성있는 일련의 단계들(명령들)로 인식된다. 이들 단계는 물리적 양에 대한 물리적 조작이 요구되는 단계이다. 일반적으로, 반드시 그런 것은 아니지만, 이러한 양은 저장, 전송, 결합, 비교 또는 조작할 수 있는 전기, 자기 또는 광학 신호의 형태를 취한다. 주로 공통적인 사용을 이유로, 이들 신호를 비트, 값, 요소, 심볼, 문자, 용어, 숫자 등으로 지칭하는 것이 편리하다. 게다가, 보편성의 손실없이 모듈 또는 코드 디바이스로서 물리량의 물리적으로 조작을 요구하는 단계들의 특정 배열을 언급하는 것이 때때로 편리하다.
그러나, 이러한 모든 용어 및 유사 용어는 적절한 물리적 양과 관련되어 있고 단지 이들 양에 적용되는 편리한 라벨들 뿐임을 명심해야 한다. 다음의 설명으로부터 명백한 바와 같이 달리 명시하지 않는한, 설명을 통해, "처리", "컴퓨팅" 또는 "계산" 또는 "디스플레이" 또는 "결정"등과 같은 용어를 사용하는 논의는, 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 정보 저장 장치, 전송 또는 디스플레이 디바이스 내의 물리적(전자적) 양으로 표현된 데이터를 조작하고 변환하는, 컴퓨터 시스템 또는 유사 전자 컴퓨팅 모듈 및/또는 디바이스의 동작 및 프로세스를 언급한다.
특정 양태는 본 명세서에서 알고리즘의 형태로 기술된 처리 단계들 및 명령들을 포함한다. 본 명세서에 기술된 처리 단계들 및 명령들은 소프트웨어, 펌웨어 및/또는 하드웨어로 구체화될 수 있고, 소프트웨어로 구체화될 때는 다운로드되어 다양한 운영 체제에 의해 사용되는 상이한 플랫폼 상에 상주하도록 다운로드되고 운영될 수 있음을 주목해야 한다 .
일부 실시예는 본 명세에 설명된 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는 요구되는 목적을 위해 특별하게 구성될 수 있거나 컴퓨팅 디바이스에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광 디스크, CD-ROM, 자기 광학 디스크, 판독 전용 메모리(ROM), 랜덤 억세스 메모리 (RAM), EPROM, EEPROM, 플래시 메모리, 고체 상태 메모리, 자기 또는 광 카드, 주문형 집적 회로(ASIC), 및/또는 전자 명령을 저장하기에 적합한 임의의 유형의 매체를 포함하는 임의 유형의 디스크와 같은(이에 한정되지 않음) 컴퓨터 판독 가능 저장 매체에 저장 될 수 있으며, 각각은 컴퓨터 시스템 버스에 결합된다. 또한, 본 명세서에서 언급된 컴퓨팅 디바이스는 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 성능을 위해 다중 프로세서 설계를 채택하는 아키텍처일 수 있다.
본 명세서에 제시된 알고리즘 및 디스플레이는 본질적으로 임의의 특정 컴퓨팅 디바이스, 가상화 시스템 또는 다른 장치와 관련되지 않는다. 다양한 범용 시스템이 또한 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나, 요구된 방법 단계를 수행하기 위해보다 특수화된 장치를 구성하는 것이 편리할 수도 있다. 다양한 이들 시스템에 요구되는 구조는 본 명세서에 제공된 설명으로부터 명백해질 것이다. 또한, 본 명세서에 기술된 기술들은 임의의 특정 프로그래밍 언어를 참조하여 기술되지 않는다. 본 명세서에 설명된 기술을 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있으며, 특정 언어에 대한 언급은 단지 예시적인 목적으로 제공되는 것으로 이해될 것이다.
따라서, 다양한 실시예에서, 본 명세서에 기술된 기술들은 컴퓨터 시스템, 컴퓨팅 디바이스 또는 다른 전자 디바이스, 또는 이들의 임의의 조합 또는 복수를 제어하기 위한 소프트웨어, 하드웨어 및/또는 다른 요소로서 구현될 수 있다. 이러한 전자 디바이스는 당 업계에 공지된 기술들에 따라, 예를 들어 프로세서, 입력 디바이스(키보드, 마우스, 터치 패드, 트랙 패드, 조이스틱, 트랙볼, 마이크로폰 및/또는 이들의 임의의 조합과 같은), 출력 디바이스(스크린(예를 들어, 스크린, 스피커 및/또는 이와 유사한 것), 메모리, 장기 저장 장치(자기 저장 장치, 광학 저장 장치 및/또는 이와 유사한 것), 및/또는 네트워크 연결성을 포함할 수 있다. 이러한 전자 디바이스 휴대용 또는 비휴대용일 수 있다. 본 명세서에 기술된 기술들을 구현하는데 사용할 수 있는 전자 디바이스들의 예는, 휴대 전화, 개인 정보 단말기, 스마트 폰, 키오스크, 서버 컴퓨터, 기업 컴퓨팅 디바이스, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 소비자 전자 디바이스, 텔레비젼, 셋탑 박스 등을 포함한다. 셋탑 박스 등을 포함할 수 있다. 본 명세서에 기술된 기술들을 구현하기 위한 전자 디바이스는 예를 들어, 리눅스; 워싱턴 레드몬드에 소재한 마이크로 소프트 사로부터 입수 가능한 마이크로 소프트 윈도우; 캘리포니아 주 쿠퍼티노에 소재한 애플 사로부터 구입할 수 있는 Mac OS X; 캘리포니아 주 쿠퍼티노에 소재한 애플 사로부터 입수 가능한 iOS; 캘리포니아 주 마운틴 뷰 소재의 구글 사로부터 구입 가능한 Android; 및/또는 디바이스상에서 사용하기에 적합한 임의의 다른 운영 체제일 수 있다.
다양한 실시예에서, 본 명세서에 기술된 기술들은 분산 처리 환경, 네트워크 컴퓨팅 환경 또는 웹 기반 컴퓨팅 환경에서 구현될 수 있다. 요소들은 클라이언트 컴퓨팅 디바이스, 서버, 라우터 및/또는 기타 네트워크 또는 비-네트워크 구성 요소상에 구현될 수 있다. 일부 실시예에서, 본 명세서에 기술된 기술들은 클라이언트/서버 아키텍처를 사용하여 구현되며, 여기서 일부 구성 요소는 하나 이상의 클라이언트 컴퓨팅 디바이스 상에 구현되고 다른 컴포넌트는 하나 이상의 서버 상에 구현된다. 일 실시예에서, 본 발명의 기술을 구현하는 과정에서, 클라이언트(들)는 서버(들)로부터 콘텐츠를 요청하고, 서버(들)는 그 요청에 응답하여 콘텐츠를 반환한다. 이러한 요청 및 응답을 가능하게 하고, 사용자가 그러한 상호 작용을 개시 및 제어하고 상기 제시된 콘텐츠를 볼 수 있는 사용자 인터페이스를 제공하기 위해 클라이언트 컴퓨팅 디바이스에 브라우저가 설치될 수 있다.
상기 설명된 기술을 구현하기 위한 네트워크 구성 요소들 중 일부 또는 전부는 일 실시예에서, 유선 또는 무선 또는 이들의 임의의 조합을 불문하고 임의의 적절한 전자 네트워크를 사용하여 서로 통신 가능하게 결합될 수 있고 그러한 통신을 가능하게 하기 위해 임의의 적절한 프로토콜을 사용할 수 있다. 이러한 네트워크의 일 에는 인터넷이지만, 본 명세서에서 설명된 기술들은 다른 네트워크를 사용하여 구현될 수도 있다.
한정된 수의 실시예가 본 명세서에 설명되었지만, 상기 설명의 이점을 갖는 당업자는 청구 범위의 범주를 벗어나지 않는 다른 실시예가 고안될 수 있음을 이해할 것이다. 게다가, 본 명세서에서 사용된 언어는 주로 가독성 및 학습 목적을 위해 선택되었으며, 발명 주제를 기술하거나 제한하는데 선택되지 않았을 수 있음에 유의해야 한다. 따라서, 본 발명은 예시적인 것으로 의도되었을 뿐 제한하려는 것은 아니다.

Claims (41)

  1. 비디오 스트림에 효과(effect)를 적용하는 방법으로서,
    데이터 저장소에서, 비디오 스트림을 수신하는 단계;
    입력 디바이스에서, 상기 비디오 스트림의 참조 이미지(reference image)의 전경 영역과 배경 영역 사이의 경계를 상기 전경 영역과 다른 깊이로 지정하는 제1 사용자 입력을 수신하는 단계;
    프로세서에서, 상기 제1 사용자 입력에 기초하여, 상기 전경 영역 및 상기 배경 영역을 나타내는 참조 마스크를 생성하는 단계;
    프로세서에서, 상기 비디오 스트림의 상기 참조 이미지와 상이한 제1 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제1 비-참조 마스크를 생성하도록 상기 참조 마스크를 사용하는 단계; 및
    프로세서에서, 상기 참조 이미지에 효과를 적용하도록 상기 참조 마스크를 사용하고 상기 제1 비-참조 이미지에 효과를 적용하도록 상기 제1 비-참조 마스크를 사용하여 수정된 비디오 스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  2. 제1항에 있어서,
    디스플레이 디바이스에서, 상기 수정된 비디오 스트림을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  3. 제1항에 있어서,
    카메라에서, 상기 데이터 저장소에서 비디오 스트림을 수신하기 전에 비디오 스트림을 캡쳐하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  4. 제1항에 있어서,
    상기 참조 이미지는 비디오 스트림의 참조 프레임으로부터의 것이고; 그리고
    상기 제1 비-참조 이미지는 비디오 스트림의 상기 참조 프레임과 상이한 제1 프레임으로부터의 것인 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  5. 제4항에 있어서,
    프로세서에서, 상기 비디오 스트림의 참조 프레임 및 제1 프레임과 상이한 제2 프레임으로부터 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하도록 상기 제1 비-참조 마스크를 사용하는 단계를 더 포함하고,
    상기 수정된 비디오 스트림을 생성하는 단계는 상기 제2 비-참조 이미지에 상기 효과를 적용하도록 상기 제2 비-참조 마스크를 사용하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  6. 제1항에 있어서,
    상기 비디오 스트림은 멀티-뷰 비디오 스트림을 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  7. 제6항에 있어서,
    디스플레이 디바이스에서, 상기 수정된 비디오 스트림을 가상 현실 또는 증강 현실 경험으로서 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  8. 제6항에 있어서,
    상기 참조 이미지는 비디오 스트림의 참조 프레임의 참조 뷰로부터의 것이고; 그리고
    상기 제1 비-참조 이미지는 비디오 스트림의 참조 프레임의 참조 뷰와 상이한 제1 뷰로부터의 것임을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  9. 제8항에 있어서,
    프로세서에서, 상기 비디오 스트림의 참조 프레임의 상기 참조 뷰 및 상기 제1 뷰와 상이한 제2 뷰로부터 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하기 위해 상기 제1 비-참조 마스크를 사용하는 단계를 더 포함하고,
    상기 수정된 비디오 스트림을 생성하는 단계는 상기 제2 비-참조 이미지에 상기 효과를 적용하도록 상기 제2 비-참조 마스크를 사용하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  10. 제1항에 있어서,
    상기 입력 디바이스에서, 상기 제1 사용자 입력을 수신하기 전에, 상기 비디오 스트림의 복수의 이미지들 중에서 상기 참조 이미지를 지정하는 제2 사용자 입력을 수신하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  11. 제1항에 있어서,
    상기 참조 마스크를 생성하는 단계는,
    상기 참조 이미지의 상기 전경 영역 및 상기 배경 영역을 지정하는 초기 이진 분할을 계산하기 위해 상기 경계를 사용하는 단계;
    상기 전경 영역 및 상기 배경 영역을 보다 정확하게 지정하는 정교한 (refined) 경계를 묘사하기 위해 상기 경계를 조정(refining)하는 단계; 및
    상기 참조 마스크를 생성하기 위해 상기 조정된 경계를 사용하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  12. 제11항에 있어서,
    상기 참조 마스크를 생성하도록 상기 조정된 경계를 사용하는 단계는,
    상기 전경 영역과 상기 배경 영역 사이의 미지 영역(unknown region)을 추가로 나타내는 트라이맵(trimap)을 생성하기 위해 상기 조정된 경계를 이용하는 단계를 포함하고, 상기 미지 영역은 상기 전경 영역 또는 상기 배경 영역에 속할 수 있는 픽셀들을 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  13. 제12항에 있어서,
    프로세서에서, 상기 전경 영역, 상기 배경 영역 및 상기 미지 영역에서 상기 픽셀들에 대한 알파 값들을 포함하는 알파 매트(alpha matte)를 획득하기 위해 상기 트라이맵에 매팅 알고리즘(matting algorithm)을 적용하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  14. 제13항에 있어서,
    상기 비디오 스트림은
    하나 이상의 광-필드(light-field) 카메라에 의해 캡처된 광-필드 비디오를 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  15. 제14항에 있어서,
    상기 광-필드 비디오에 상기 알파 매트 및 상기 전경 영역의 전경 이미지를 역-투영(back-projecting)하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  16. 제12항에 있어서,
    상기 제1 비-참조 마스크를 생성하기 위해 참조 마스크를 사용하는 단계는,
    상기 제1 비-참조 이미지의 제1 비-참조 세그먼트(segment)와 제2 비-참조 세그먼트 사이의 제1 비-참조 경계를 지정하는 단계;
    상기 제1 비-참조 이미지의 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트를 지정하는 초기 비-참조 이진 분할(binary segmentation)을 계산하도록 상기 제1 비-참조 경계를 사용하는 단계;
    상기 제1 비-참조 세그먼트 및 상기 제2 비-참조 세그먼트를 보다 정확하게 지정하는 정교한 비-참조 경계를 묘사하기 위해 상기 제1 비-참조 경계를 조정하는 단계; 및
    상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트 사이의 미지의 비-참조 세그먼트를 더 나타내는 비-참조 트라이맵을 생성하기 위해 상기 조정된 비-참조 경계를 사용하는 단계를 포함하고, 상기 미지의 비-참조 세그먼트는 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트에 속할 수 있는 비-참조 픽셀들을 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  17. 제16항에 있어서,
    프로세서에서, 상기 전경 영역의 비-참조 전경 이미지를 생성하기 위해, 상기 미지의 비-참조 세그먼트의 상기 비-참조 픽셀들에 대한 비-참조 알파 값들을 포함하는 비-참조 알파 매트를 획득하기 위해 상기 비-참조 트라이맵에 매팅 알고리즘을 적용하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림에 효과를 적용하는 방법.
  18. 비디오 스트림에 효과를 적용하기 위한 비-일시적 컴퓨터 판독 가능 매체로서, 프로세서에 의해 실행될 때,
    데이터 저장소가 비디오 스트림을 수신하게 하는 단계;
    입력 디바이스가 상기 비디오 스트림의 참조 이미지의 전경 영역과 배경 영역 사이의 경계를 상기 전경 영역과 상이한 깊이로 지정하는 제1 사용자 입력을 수신하게 하는 단계;
    제1 사용자 입력에 기초하여, 상기 전경 영역 및 상기 배경 영역을 나타내는 참조 마스크를 생성하는 단계;
    상기 비디오 스트림의 참조 이미지와 상이한 제1 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제1 비-참조 마스크를 생성하도록 상기 참조 마스크를 사용하는 단계; 및
    상기 참조 이미지에 상기 효과를 적용하기 위해 상기 참조 마스크를 사용하고 상기 제1 비-참조 이미지에 상기 효과를 적용하기 위해 상기 제1 비-참조 마스크를 사용함으로써 수정된 비디오 스트림을 생성하게 하는 명령들을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    프로세서에 의해 실행될 때, 디스플레이 디바이스로 하여금 상기 수정된 비디오 스트림을 디스플레이하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  20. 제18항에 있어서,
    프로세서에 의해 실행될 때, 카메라로 하여금 데이터 저장소에서 비디오 스트림을 수신하기 전에 상기 비디오 스트림을 캡처하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  21. 제18항에 있어서,
    상기 참조 이미지는 비디오 스트림의 참조 프레임으로부터의 것이고;
    상기 제1 비-참조 이미지는 비디오 스트림의 상기 참조 프레임과 상이한 제1 프레임으로부터의 것이며;
    상기 비-일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때, 상기 비디오 스트림의 참조 프레임 및 제1 프레임과 상이한 제2 프레임으로부터 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하기 위해 상기 제1 비-참조 마스크를 사용하게 하는 명령들을 더 포함하며,
    상기 수정된 비디오 스트림을 생성하는 단계는 상기 제2 비-참조 이미지에 상기 효과를 적용하기 위해 상기 제2 비-참조 마스크를 사용하는 단계를 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  22. 제18항에 있어서,
    상기 비디오 스트림은 멀티-뷰 비디오 스트림을 포함하고; 그리고
    상기 비-일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때, 디스플레이 디바이스로 하여금 상기 수정된 비디오 스트림을 가상 현실 또는 증강 현실 경험으로서 디스플레이하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  23. 제18항에 있어서,
    상기 비디오 스트림은 멀티-뷰 비디오 스트림을 포함하고;
    상기 참조 이미지는 상기 비디오 스트림의 참조 프레임의 참조 뷰로부터의 것이고;
    상기 제1 비-참조 이미지는 상기 비디오 스트림의 상기 참조 프레임의, 상기 참조 뷰와 상이한 제1 뷰로부터의 것이고;
    상기 비-일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때, 상기 비디오 스트림의 참조 프레임의 상기 참조 뷰 및 상기 제1 뷰와 상이한 제2 뷰로부터, 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하기 위해 상기 제1 비-참조 마스크를 사용하게 하는 명령들을 더 포함하고; 그리고
    상기 수정된 비디오 스트림을 생성하는 단계는 상기 제2 비-참조 이미지에 상기 효과를 적용하기 위해 상기 제2 비-참조 마스크를 사용하는 단계를 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  24. 제18항에 있어서,
    프로세서에 의해 실행될 때, 상기 입력 디바이스로 하여금 상기 제1 사용자 입력을 수신하기 전에, 상기 비디오 스트림의 복수의 이미지들 중에서 상기 참조 이미지를 지정하는 제2 사용자 입력을 수신하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  25. 제18항에 있어서,
    상기 참조 마스크를 생성하는 단계는,
    상기 참조 이미지의 상기 전경 영역 및 상기 배경 영역을 지정하는 초기 이진 분할을 계산하기 위해 상기 경계를 사용하는 단계;
    상기 전경 영역 및 상기 배경 영역을 보다 정확하게 지정하는 정교한 (refined) 경계를 묘사하기 위해 상기 경계를 조정(refining)하는 단계; 및
    상기 참조 마스크를 생성하기 위해 상기 조정된 경계를 사용하는 단계를 포함하고,
    상기 참조 마스크를 생성하기 위해 상기 조정된 경계를 사용하는 단계는 상기 전경 영역과 상기 배경 영역 사이의 미지 영역(unknown region)을 추가로 나타내는 트라이맵(trimap)을 생성하기 위해 상기 조정된 경계를 사용하는 단계를 포함하고, 상기 미지 영역은 상기 전경 영역 또는 상기 배경 영역에 속할 수 있는 픽셀들을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  26. 제25항에 있어서,
    프로세서에 의해 실행될 때, 상기 전경 영역, 상기 배경 영역 및 상기 미지 영역에서 상기 픽셀들에 대한 알파 값들을 포함하는 알파 매트(alpha matte)를 획득하기 위해 상기 트라이맵에 매팅(matting) 알고리즘을 적용하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  27. 제26항에 있어서,
    상기 비디오 스트림은 하나 이상의 광-필드 카메라에 의해 캡처된 광-필드 비디오를 포함하고; 그리고
    상기 비-일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때, 상기 광-필드 비디오에 상기 알파 매트와 상기 전경 영역의 전경 이미지를 역-투영하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  28. 제25항에 있어서,
    상기 제1 비-참조 마스크를 생성하기 위해 참조 마스크를 사용하는 단계는,
    상기 제1 비-참조 이미지의 제1 비-참조 세그먼트(segment)와 제2 비-참조 세그먼트 사이의 제1 비-참조 경계를 지정하는 단계;
    상기 제1 비-참조 이미지의 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트를 지정하는 초기 비-참조 이진 분할(binary segmentation)을 계산하도록 상기 제1 비-참조 경계를 사용하는 단계;
    상기 제1 비-참조 세그먼트 및 상기 제2 비-참조 세그먼트를 보다 정확하게 지정하는 정교한 비-참조 경계를 묘사하기 위해 상기 제1 비-참조 경계를 조정하는 단계; 및
    상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트 사이의 미지의 비-참조 세그먼트를 더 나타내는 비-참조 트라이맵을 생성하기 위해 상기 조정된 비-참조 경계를 사용하는 단계를 포함하고, 상기 미지의 비-참조 세그먼트는 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트에 속할 수 있는 비-참조 픽셀들을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  29. 제28항에 있어서,
    프로세서에 의해 실행될 때, 상기 전경 영역의 비-참조 전경 이미지를 생성하기 위해, 상기 미지의 비-참조 세그먼트의 상기 비-참조 픽셀들에 대한 비-참조 알파 값들을 포함하는 비-참조 알파 매트를 획득하기 위해 상기 비-참조 트라이맵에 매팅 알고리즘을 적용하게 하는 명령들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
  30. 비디오 스트림에 효과를 적용하기 위한 시스템으로서,
    비디오 스트림을 수신하도록 구성된 데이터 저장소;
    상기 비디오 스트림의 참조 이미지(reference image)의 전경 영역과 배경 영역 사이의 경계를 상기 전경 영역과 다른 깊이로 지정하는 제1 사용자 입력을 수신하도록 구성된 입력 디바이스; 및
    데이터 저장소 및 입력 디바이스에 통신 가능하게 결합된 프로세서로서,
    상기 제1 사용자 입력에 기초하여, 상기 전경 영역 및 상기 배경 영역을 나타내는 참조 마스크를 생성하고;
    상기 비디오 스트림의 상기 참조 이미지와 상이한 제1 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제1 비-참조 마스크를 생성하도록 상기 참조 마스크를 사용하고; 그리고
    상기 참조 이미지에 효과를 적용하도록 상기 참조 마스크를 사용하고 상기 제1 비-참조 이미지에 효과를 적용하도록 상기 제1 비-참조 마스크를 사용하여 수정된 비디오 스트림을 생성하는 것을 특징으로 하는 시스템.
  31. 제30항에 있어서,
    상기 수정된 비디오 스트림을 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는 것을 특징으로 하는 시스템.
  32. 제30항에 있어서,
    상기 데이터 저장소에서 상기 비디오 스트림을 수신하기 전에 상기 비디오 스트림을 캡처하도록 구성된 카메라를 더 포함하는 것을 특징으로 하는 시스템.
  33. 제30항에 있어서,
    상기 참조 이미지는 상기 비디오 스트림의 참조 프레임으로부터의 것이고;
    상기 제1 비-참조 이미지는 상기 비디오 스트림의 상기 참조 프레임과 상이한 제1 프레임으로부터의 것이며;
    상기 프로세서는 상기 비디오 스트림의 참조 프레임 및 제1 프레임과 상이한 제2 프레임으로부터, 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하도록 상기 제1 비-참조 마스크를 사용하도록 더 구성되고,
    상기 프로세서는 상기 제2 비-참조 이미지에 상기 효과를 적용하기 위해 상기 제2 비-참조 마스크를 사용하여 상기 수정된 비디오 스트림을 생성하도록 더 구성되는 것을 특징으로 하는 시스템.
  34. 제30항에 있어서,
    상기 비디오 스트림은 멀티-뷰 비디오 스트림을 포함하고; 그리고
    상기 시스템은 상기 수정된 비디오 스트림을 가상 현실 또는 증강 현실 경험으로서 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는 것을 특징으로 하는 시스템.
  35. 제34항에 있어서,
    상기 비디오 스트림은 멀티-뷰 비디오 스트림을 포함하고;
    상기 참조 이미지는 상기 비디오 스트림의 참조 프레임의 참조 뷰로부터의 것이고;
    상기 제1 비-참조 이미지는 상기 비디오 스트림의 상기 참조 프레임의 상기 참조 뷰와 상이한 제1 뷰로부터의 것이고;
    상기 프로세서는 상기 비디오 스트림의 참조 프레임의 상기 참조 뷰 및 상기 제1 뷰와 상이한 제2 뷰로부터, 제2 비-참조 이미지에 대한 상기 전경 영역 및 상기 배경 영역을 나타내는 제2 비-참조 마스크를 생성하기 위해 상기 제1 비-참조 마스크를 사용하도록 더 구성되고; 그리고
    상기 프로세서는 상기 제2 비-참조 이미지에 상기 효과를 적용하기 위해 상기 제2 비-참조 마스크를 사용하여 상기 수정된 비디오 스트림을 생성하도록 더 구성되는 것을 특징으로 하는 시스템.
  36. 제30항에 있어서,
    상기 입력 디바이스는 상기 제1 사용자 입력을 수신하기 전에, 상기 비디오 스트림의 복수의 이미지들 중에서 상기 참조 이미지를 지정하는 제2 사용자 입력을 수신하도록 더 구성되는 것을 특징으로 하는 시스템.
  37. 제30항에 있어서,
    상기 프로세서는,
    상기 참조 이미지의 상기 전경 영역 및 상기 배경 영역을 지정하는 초기 이진 분할을 계산하기 위해 상기 경계를 사용하고;
    상기 전경 영역 및 상기 배경 영역을 보다 정확하게 지정하는 정교한 (refined) 경계를 묘사하기 위해 상기 경계를 조정(refining)하고; 그리고
    상기 참조 마스크를 생성하기 위해 상기 조정된 경계를 사용하여 상기 참조 마스크를 생성하도록 더 구성되고; 그리고
    상기 프로세서는,
    상기 전경 영역과 상기 배경 영역 사이의 미지 영역(unknown region)을 추가로 나타내는 트라이맵(trimap)을 생성하기 위해 상기 조정된 경계를 사용함으로써 상기 참조 마스크를 생성하기 위해 상기 조정된 경계를 사용하도록 더 구성되며, 상기 미지 영역은 상기 전경 영역 또는 상기 배경 영역에 속할 수 있는 픽셀들을 포함하는 것을 특징으로 하는 시스템.
  38. 제37항에 있어서,
    상기 프로세서는
    상기 전경 영역, 상기 배경 영역 및 상기 미지 영역에서 상기 픽셀들에 대한 알파 값들을 포함하는 알파 매트(alpha matte)를 획득하기 위해 상기 트라이맵에 매팅(matting) 알고리즘을 적용하도록 더 구성되는 것을 특징으로 하는 시스템.
  39. 제38항에 있어서,
    상기 비디오 스트림은 하나 이상의 광-필드 카메라에 의해 캡처된 광-필드 비디오를 포함하고; 그리고
    상기 프로세서는 상기 광-필드 비디오에 상기 알파 매트와 상기 전경 영역의 전경 이미지를 역-투영하도록 더 구성되는 것을 특징으로 하는 시스템.
  40. 제37항에 있어서,
    상기 프로세서는,
    상기 제1 비-참조 이미지의 제1 비-참조 세그먼트(segment)와 제2 비-참조 세그먼트 사이의 제1 비-참조 경계를 지정하고;
    상기 제1 비-참조 이미지의 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트를 지정하는 초기 비-참조 이진 분할(binary segmentation)을 계산하도록 상기 제1 비-참조 경계를 사용하고;
    상기 제1 비-참조 세그먼트 및 상기 제2 비-참조 세그먼트를 보다 정확하게 지정하는 정교한 비-참조 경계를 묘사하기 위해 상기 제1 비-참조 경계를 조정하고; 그리고
    상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트 사이의 미지의 비-참조 세그먼트를 더 나타내는 비-참조 트라이맵을 생성하기 위해 상기 조정된 비-참조 경계를 사용하여 상기 제1 비-참조 마스크를 생성하기 위해 상기 참조 마스크를 사용하도록 더 구성되며, 상기 미지의 비-참조 세그먼트는 상기 제1 비-참조 세그먼트와 상기 제2 비-참조 세그먼트에 속할 수 있는 비-참조 픽셀들을 포함하는 것을 특징으로 하는 시스템.
  41. 제40항에 있어서,
    상기 프로세서는,
    상기 전경 영역의 비-참조 전경 이미지를 생성하기 위해, 상기 미지의 비-참조 세그먼트의 상기 비-참조 픽셀들에 대한 비-참조 알파 값들을 포함하는 비-참조 알파 매트를 획득하기 위해 상기 비-참조 트라이맵에 매팅 알고리즘을 적용하도록 더 구성되는 것을 특징으로 하는 시스템.
KR1020187034558A 2016-06-09 2017-05-31 멀티-뷰 장면 분할 및 전파 KR102185179B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662347734P 2016-06-09 2016-06-09
US62/347,734 2016-06-09
US15/462,752 US10275892B2 (en) 2016-06-09 2017-03-17 Multi-view scene segmentation and propagation
US15/462,752 2017-03-17
PCT/US2017/035148 WO2017213923A1 (en) 2016-06-09 2017-05-31 Multi-view scene segmentation and propagation

Publications (2)

Publication Number Publication Date
KR20180132946A true KR20180132946A (ko) 2018-12-12
KR102185179B1 KR102185179B1 (ko) 2020-12-01

Family

ID=60573928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187034558A KR102185179B1 (ko) 2016-06-09 2017-05-31 멀티-뷰 장면 분할 및 전파

Country Status (6)

Country Link
US (1) US10275892B2 (ko)
EP (1) EP3469788A4 (ko)
JP (1) JP6655737B2 (ko)
KR (1) KR102185179B1 (ko)
CN (1) CN109479098B (ko)
WO (1) WO2017213923A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
US10122969B1 (en) 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
WO2019129923A1 (en) * 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
KR102450948B1 (ko) 2018-02-23 2022-10-05 삼성전자주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
JP6965439B2 (ja) * 2018-04-04 2021-11-10 株式会社ソニー・インタラクティブエンタテインメント 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
US10515463B2 (en) * 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
US10706556B2 (en) * 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
US10921596B2 (en) * 2018-07-24 2021-02-16 Disney Enterprises, Inc. Adaptive luminance/color correction for displays
US20200036880A1 (en) * 2018-07-25 2020-01-30 Microsoft Technology Licensing, Llc Detecting fluid on a surface
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
US11509933B2 (en) 2018-09-13 2022-11-22 Nokia Technologies Oy Method, an apparatus and a computer program product for volumetric video
WO2020062898A1 (zh) * 2018-09-26 2020-04-02 惠州学院 一种视频前景目标提取方法及装置
CN109816611B (zh) * 2019-01-31 2021-02-12 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
US11055852B2 (en) * 2019-02-15 2021-07-06 Nokia Technologies Oy Fast automatic trimap generation and optimization for segmentation refinement
US11004208B2 (en) * 2019-03-26 2021-05-11 Adobe Inc. Interactive image matting using neural networks
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN112153483B (zh) * 2019-06-28 2022-05-13 腾讯科技（深圳）有限公司 信息植入区域的检测方法、装置及电子设备
CN110381369B (zh) 2019-07-19 2022-02-22 腾讯科技（深圳）有限公司 推荐信息植入位置的确定方法、装置、设备及存储介质
CN111223106B (zh) * 2019-10-28 2022-08-09 稿定（厦门）科技有限公司 全自动人像蒙版抠图方法及系统
US11763565B2 (en) * 2019-11-08 2023-09-19 Intel Corporation Fine-grain object segmentation in video with deep features and multi-level graphical models
EP4073762A1 (en) 2019-12-13 2022-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
CN111127486B (zh) * 2019-12-25 2023-09-08 Oppo广东移动通信有限公司 图像分割方法、装置、终端及存储介质
CN111274902B (zh) * 2020-01-15 2023-05-02 浙江大学 用多头掩模均衡融和单元的手势深度图像连续检测方法
KR20230104298A (ko) 2020-01-22 2023-07-07 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
CN111524082B (zh) * 2020-04-26 2023-04-25 上海航天电子通讯设备研究所 目标鬼影消除方法
US11689693B2 (en) * 2020-04-30 2023-06-27 Boe Technology Group Co., Ltd. Video frame interpolation method and device, computer readable storage medium
CN111754528A (zh) * 2020-06-24 2020-10-09 Oppo广东移动通信有限公司 人像分割方法、装置、电子设备和计算机可读存储介质
US11263750B1 (en) * 2020-10-06 2022-03-01 Adobe Inc. Cyclic scheme for object segmentation networks
CN112200756A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种子弹特效短视频智能生成方法
CN112560684B (zh) * 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
KR102583256B1 (ko) * 2021-01-06 2023-10-04 노다르 인크. 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템
US11989913B2 (en) * 2021-01-13 2024-05-21 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture
CN113112508A (zh) * 2021-03-30 2021-07-13 北京大米科技有限公司 一种视频处理方法及装置
US20220379475A1 (en) * 2021-05-25 2022-12-01 Fanuc Corporation Transparent object bin picking
CN113516672B (zh) * 2021-09-07 2022-02-25 北京美摄网络科技有限公司 图像分割方法、装置、电子设备及可读存储介质
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321574A1 (en) * 2012-06-04 2013-12-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding
US20140003719A1 (en) * 2012-06-29 2014-01-02 Xue Bai Adaptive Trimap Propagation for Video Matting
KR20140137738A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체

Family Cites Families (454)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
JPS5672575A (en) 1979-11-19 1981-06-16 Toshiba Corp Picture input unit
GB8317407D0 (en) 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4694185A (en) 1986-04-18 1987-09-15 Eastman Kodak Company Light sensing devices with lenticular pixels
US4920419A (en) 1988-05-31 1990-04-24 Eastman Kodak Company Zoom lens focus control device for film video player
JP3429755B2 (ja) 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5077810A (en) 1990-07-19 1991-12-31 Eastman Kodak Company Distributed digital signal processing system using standard resolution processors for a high resolution sensor
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5251019A (en) 1991-01-25 1993-10-05 Eastman Kodak Company Solid state color image sensor using a field-staggered color filter pattern
US5838239A (en) 1992-10-20 1998-11-17 Robotic Vision Systems, Inc. System for detecting ice or snow on surface which specularly reflects light
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US5499069A (en) 1994-05-24 1996-03-12 Eastman Kodak Company Camera system and an optical adapter to reduce image format size
US5572034A (en) 1994-08-08 1996-11-05 University Of Massachusetts Medical Center Fiber optic plates for generating seamless images
JPH08107194A (ja) 1994-10-03 1996-04-23 Fuji Photo Optical Co Ltd 固体撮像装置
WO1996024085A1 (en) 1995-02-03 1996-08-08 The Regents Of The University Of Colorado Extended depth of field optical systems
DE19624421B4 (de) 1995-06-30 2008-07-10 Carl Zeiss Ag Vorrichtung und Verfahren zur ortsaufgelösten Vermessung von Wellenfrontdeformationen
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6315445B1 (en) 1996-02-21 2001-11-13 Lunar Corporation Densitometry adapter for compact x-ray fluoroscopy machine
GB9607541D0 (en) 1996-04-11 1996-06-12 Discreet Logic Inc Processing image data
JPH09289655A (ja) 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
US5818525A (en) 1996-06-17 1998-10-06 Loral Fairchild Corp. RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
GB9616262D0 (en) 1996-08-02 1996-09-11 Philips Electronics Nv Post-processing generation of focus/defocus effects for computer graphics images
JP3154325B2 (ja) 1996-11-28 2001-04-09 日本アイ・ビー・エム株式会社 認証情報を画像に隠し込むシステム及び画像認証システム
US5907619A (en) 1996-12-20 1999-05-25 Intel Corporation Secure compressed imaging
US7304670B1 (en) 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
US6351570B1 (en) 1997-04-01 2002-02-26 Matsushita Electric Industrial Co., Ltd. Image coding and decoding apparatus, method of image coding and decoding, and recording medium for recording program for image coding and decoding
US6115556A (en) 1997-04-10 2000-09-05 Reddington; Terrence P. Digital camera back accessory and methods of manufacture
JP4376974B2 (ja) 1997-04-14 2009-12-02 ディーコン エー／エス 媒体の局所的照明のための照明ユニット及び方法
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US5835267A (en) 1997-07-15 1998-11-10 Eastman Kodak Company Radiometric calibration device and method
US6091860A (en) 1997-11-12 2000-07-18 Pagemasters, Inc. System and method for processing pixels for displaying and storing
US6061400A (en) 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
US5974215A (en) 1998-05-20 1999-10-26 North Carolina State University Compound image sensor array having staggered array of tapered optical fiber bundles
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6448544B1 (en) 1998-06-08 2002-09-10 Brandeis University Low noise, high resolution image detection system and method
US6075889A (en) 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
US6674430B1 (en) 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US6021241A (en) 1998-07-17 2000-02-01 North Carolina State University Systems and methods for using diffraction patterns to determine radiation intensity values for areas between and along adjacent sensors of compound sensor arrays
US7057647B1 (en) 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US6833865B1 (en) 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6577342B1 (en) 1998-09-25 2003-06-10 Intel Corporation Image sensor with microlens material structure
US6320979B1 (en) 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
US6169285B1 (en) 1998-10-23 2001-01-02 Adac Laboratories Radiation-based imaging system employing virtual light-responsive elements
EP1008956A1 (en) 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
JP2000207549A (ja) 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6137634A (en) 1999-02-01 2000-10-24 Intel Corporation Microlens array
US6424351B1 (en) 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
KR100346259B1 (ko) 1999-05-29 2002-07-26 엘지전자주식회사 다수개의 영역특징정보를 이용한 이미지 검색 방법
JP2000350071A (ja) 1999-06-02 2000-12-15 Nikon Corp 電子スチルカメラ
JP3595759B2 (ja) 1999-07-02 2004-12-02 キヤノン株式会社 撮像装置および撮像システム
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6768980B1 (en) 1999-09-03 2004-07-27 Thomas W. Meyer Method of and apparatus for high-bandwidth steganographic embedding of data in a series of digital signals or measurements such as taken from analog data streams or subsampled and/or transformed digital data
US6597859B1 (en) 1999-12-16 2003-07-22 Intel Corporation Method and apparatus for abstracting video data
US6221687B1 (en) 1999-12-23 2001-04-24 Tower Semiconductor Ltd. Color image sensor with embedded microlens array
US6476805B1 (en) 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
EP1249002B1 (en) 2000-01-13 2011-03-16 Digimarc Corporation Authenticating metadata and embedding metadata in watermarks of media signals
WO2001061483A2 (en) 2000-02-14 2001-08-23 Geophoenix, Inc. System and method for graphical programming
US20010048968A1 (en) 2000-02-16 2001-12-06 Cox W. Royall Ink-jet printing of gradient-index microlenses
US6681195B1 (en) 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
US6460997B1 (en) 2000-05-08 2002-10-08 Alcon Universal Ltd. Apparatus and method for objective measurements of optical systems using wavefront analysis
ES2227200T3 (es) 2000-05-19 2005-04-01 Tibor Balogh Metodo y aparato para presentar imagenes 3d.
JP3748786B2 (ja) 2000-06-19 2006-02-22 アルプス電気株式会社 表示装置および画像信号の処理方法
US6868191B2 (en) 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
US7092014B1 (en) 2000-06-28 2006-08-15 Microsoft Corporation Scene capturing and view rendering based on a longitudinally aligned camera array
US9134760B2 (en) 2000-07-17 2015-09-15 Microsoft Technology Licensing, Llc Changing power mode based on sensors in a device
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US7034866B1 (en) 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US7003061B2 (en) * 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
EP1231767B1 (en) 2001-02-09 2011-04-13 Canon Kabushiki Kaisha Information processing apparatus and its control method, computer program, and storage medium
US7102666B2 (en) 2001-02-12 2006-09-05 Carnegie Mellon University System and method for stabilizing rotational images
US6924841B2 (en) 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7480796B2 (en) 2001-06-07 2009-01-20 Kwan Sofware Engineering, Inc. System and method for authenticating data using incompatible digest functions
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US7239345B1 (en) 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
US20040257360A1 (en) 2001-10-22 2004-12-23 Frank Sieckmann Method and device for producing light-microscopy, three-dimensional images
US7929808B2 (en) 2001-10-30 2011-04-19 Hewlett-Packard Development Company, L.P. Systems and methods for generating digital images having image meta-data combined with the image data
US20030210329A1 (en) 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
EP1468314A4 (en) 2001-12-18 2006-12-13 Univ Rochester ILLUSTRATION USING AN ASPHARIAN MULTI-FUNGI CASE FOR MAINTAINING AN ADVANCED SHARPNESS
US7053953B2 (en) 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
JP3997085B2 (ja) 2001-12-28 2007-10-24 キヤノン株式会社 画像生成装置
US7046292B2 (en) 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
ITTO20020103A1 (it) 2002-02-06 2003-08-06 Fioravanti Srl Sistema per l'illuminazione anteriore di un autoveicolo.
US7017144B2 (en) 2002-06-17 2006-03-21 Microsoft Corporation Combined image views and method of creating images
US6744109B2 (en) 2002-06-26 2004-06-01 Agilent Technologies, Inc. Glass attachment over micro-lens arrays
US20040012688A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Large area charge coupled device camera
US20040012689A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Charge coupled devices in tiled arrays
WO2004021151A2 (en) 2002-08-30 2004-03-11 Orasee Corp. Multi-dimensional image system for digital image input and output
US7778438B2 (en) 2002-09-30 2010-08-17 Myport Technologies, Inc. Method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval
US7987341B2 (en) 2002-10-31 2011-07-26 Lockheed Martin Corporation Computing machine using software objects for transferring data that includes no destination information
US7206022B2 (en) 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US20040114176A1 (en) 2002-12-17 2004-06-17 International Business Machines Corporation Editing and browsing images for virtual cameras
US7627193B2 (en) 2003-01-16 2009-12-01 Tessera International, Inc. Camera with image enhancement functions
JP4324404B2 (ja) 2003-04-22 2009-09-02 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
US7164807B2 (en) 2003-04-24 2007-01-16 Eastman Kodak Company Method and system for automatically reducing aliasing artifacts
US7025515B2 (en) 2003-05-20 2006-04-11 Software 2000 Ltd. Bit mask generation system
CN100417198C (zh) 2003-05-29 2008-09-03 松下电器产业株式会社 摄像装置和摄像方法
WO2004106857A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP4148041B2 (ja) 2003-06-27 2008-09-10 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP2005094740A (ja) 2003-08-08 2005-04-07 Ricoh Co Ltd 画像処理装置、画像形成装置及び画像処理方法
US7044912B2 (en) 2003-08-28 2006-05-16 Siemens Medical Solutions Usa Inc. Diagnostic medical ultrasound system having method and apparatus for storing and retrieving 3D and 4D data sets
US7262771B2 (en) 2003-10-10 2007-08-28 Microsoft Corporation Systems and methods for all-frequency relighting using spherical harmonics and point light distributions
JP2005143094A (ja) 2003-10-14 2005-06-02 Canon Inc 画像検証システム、管理方法、及びコンピュータ読み取り可能な記憶媒体
US7078260B2 (en) 2003-12-31 2006-07-18 Dongbu Electronics Co., Ltd. CMOS image sensors and methods for fabricating the same
JP4525089B2 (ja) 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
US20050212918A1 (en) 2004-03-25 2005-09-29 Bill Serra Monitoring system and method
ES2217986B1 (es) 2004-04-27 2005-08-16 Fico Mirrors, S.A. Mecanismo de abatimiento para retrovisores exteriores de vehiculos automoviles.
WO2005124660A2 (en) 2004-06-12 2005-12-29 University Of Southern California Performance relighting and reflectance transformation with time-multiplexed illumination
US20080018668A1 (en) 2004-07-23 2008-01-24 Masaki Yamauchi Image Processing Device and Image Processing Method
US20060023066A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and Method for Client Services for Interactive Multi-View Video
WO2006012677A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US7329856B2 (en) 2004-08-24 2008-02-12 Micron Technology, Inc. Image sensor having integrated infrared-filtering optical device and related method
US7477304B2 (en) 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
TWI242368B (en) 2004-09-02 2005-10-21 Asia Optical Co Inc Image capturing system of image formation on curved surface
US7336430B2 (en) 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
JP2006078738A (ja) 2004-09-09 2006-03-23 Fuji Photo Film Co Ltd カメラシステム、カメラ本体およびカメラヘッド
JP4587166B2 (ja) 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US20060056604A1 (en) 2004-09-15 2006-03-16 Research In Motion Limited Method for scaling images for usage on a mobile communication device
US8750509B2 (en) 2004-09-23 2014-06-10 Smartvue Corporation Wireless surveillance system releasably mountable to track lighting
JP4752031B2 (ja) 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
JP2006107213A (ja) 2004-10-06 2006-04-20 Canon Inc 立体画像印刷システム
US7417670B1 (en) 2005-01-12 2008-08-26 Ambarella, Inc. Digital video camera with binning or skipping correction
US7532214B2 (en) 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
EP1887399A4 (en) 2005-05-30 2011-03-23 Nikon Corp IMAGE GENERATION CONDITION DETECTION DEVICE
KR101120092B1 (ko) 2005-06-04 2012-03-23 삼성전자주식회사 복합 영상 신호의 화질 개선 방법, 그 장치 및 복합 영상신호의 디코딩 방법 및 장치
US7577309B2 (en) 2005-06-18 2009-08-18 Muralidhara Subbarao Direct vision sensor for 3D computer vision, digital imaging, and digital video
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070019883A1 (en) 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8601475B2 (en) 2005-08-02 2013-12-03 Aol Inc. Download and upload of email messages using control commands in a client/server web application
US8237801B2 (en) 2005-08-05 2012-08-07 The Innovation Science Fund I, LLC Image processing system and communication method
JP3930898B2 (ja) 2005-08-08 2007-06-13 松下電器産業株式会社 画像合成装置および画像合成方法
US8310554B2 (en) 2005-09-20 2012-11-13 Sri International Method and apparatus for performing coordinated multi-PTZ camera tracking
JP4718952B2 (ja) 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
EP1941314A4 (en) 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US9270976B2 (en) 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US7409149B2 (en) 2005-11-03 2008-08-05 International Business Machines Corporation Methods for improved autofocus in digital imaging systems
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US7523405B2 (en) 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US7286295B1 (en) 2005-11-30 2007-10-23 Sandia Corporation Microoptical compound lens
US7945653B2 (en) 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
JP4874641B2 (ja) 2005-12-16 2012-02-15 Ｈｏｙａ株式会社 自動焦点調節装置を備えたカメラ
US8358354B2 (en) 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
US8248515B2 (en) 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US7614018B1 (en) 2006-02-13 2009-11-03 Google Inc. Web based user interface for selecting options
US7748022B1 (en) 2006-02-21 2010-06-29 L-3 Communications Sonoma Eo, Inc. Real-time data characterization with token generation for fast data retrieval
US7590344B2 (en) 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP5186727B2 (ja) 2006-03-31 2013-04-24 株式会社ニコン プロジェクタ付き電子カメラ、投影装置および電子機器
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7724952B2 (en) 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
KR101521041B1 (ko) 2006-05-25 2015-05-15 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
US8213734B2 (en) 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
JP2008022372A (ja) 2006-07-13 2008-01-31 Canon Inc 改竄検知情報生成装置、撮像装置、改竄検知情報生成方法、プログラムおよび記憶媒体
CN101512553B (zh) 2006-07-16 2012-06-20 西姆比有限公司 用于虚拟内容安置的系统和方法
JP5041757B2 (ja) 2006-08-02 2012-10-03 パナソニック株式会社 カメラ制御装置およびカメラ制御システム
US7813586B2 (en) 2006-08-07 2010-10-12 Mela Sciences, Inc. Reducing noise in digital images
US7953277B2 (en) 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8155478B2 (en) 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
JP2008129554A (ja) 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
AU2006246497B2 (en) 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
JP4569561B2 (ja) 2006-12-01 2010-10-27 富士フイルム株式会社 画像ファイル作成装置
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130113981A1 (en) 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
EP1927949A1 (en) 2006-12-01 2008-06-04 Thomson Licensing Array of processing elements with local registers
US8103111B2 (en) 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
BRPI0718951A2 (pt) 2006-12-28 2013-12-17 Thomson Licensing Método e aparelho para análise automática de artefatos visuais e redução de artefatos
JP4947639B2 (ja) 2007-01-19 2012-06-06 浜松ホトニクス株式会社 反射型位相変装置及び反射型位相変調装置の設定方法
US7872796B2 (en) 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US8538210B2 (en) 2007-02-01 2013-09-17 Alliance Fiber Optic Products, Inc. Micro free-space WDM device
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
CN100585453C (zh) 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP5034556B2 (ja) 2007-02-27 2012-09-26 株式会社ニコン 焦点検出装置および撮像装置
US8077964B2 (en) 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US20080253652A1 (en) 2007-04-10 2008-10-16 Aricent Inc. Method of demosaicing a digital mosaiced image
WO2008128205A1 (en) 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US7936377B2 (en) 2007-04-30 2011-05-03 Tandent Vision Science, Inc. Method and system for optimizing an image for improved analysis of material and illumination image features
US8494304B2 (en) 2007-05-11 2013-07-23 Xerox Corporation Punched hole detection and removal
JP5109803B2 (ja) 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US7982776B2 (en) 2007-07-13 2011-07-19 Ethicon Endo-Surgery, Inc. SBI motion artifact removal apparatus and method
JP4967873B2 (ja) 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US8085391B2 (en) 2007-08-02 2011-12-27 Aptina Imaging Corporation Integrated optical characteristic measurements in a CMOS image sensor
WO2009020977A1 (en) 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
JP5203655B2 (ja) 2007-09-07 2013-06-05 キヤノン株式会社 コンテンツ表示装置及びその表示方法
US8253824B2 (en) 2007-10-12 2012-08-28 Microsoft Corporation Multi-spectral imaging
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
US8488834B2 (en) 2007-11-15 2013-07-16 Certifi-Media Inc. Method for making an assured image
US8229294B2 (en) 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
JP5018504B2 (ja) 2008-01-21 2012-09-05 株式会社ニコン データ処理装置，撮像装置，データ処理プログラム
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP4941332B2 (ja) 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
KR101445606B1 (ko) 2008-02-05 2014-09-29 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8577216B2 (en) 2008-02-13 2013-11-05 Qualcomm Incorporated Auto-focus calibration for image capture device
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
JP2009246745A (ja) 2008-03-31 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ
EP2107446A1 (en) 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US7780364B2 (en) 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
JP4524717B2 (ja) 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101483714B1 (ko) 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
CN101309359B (zh) 2008-06-20 2013-02-06 埃派克森微电子(上海)股份有限公司 使用哑像素消除固定模式噪声的系统及方法
US20090321861A1 (en) 2008-06-26 2009-12-31 Micron Technology, Inc. Microelectronic imagers with stacked lens assemblies and processes for wafer-level packaging of microelectronic imagers
JP5525703B2 (ja) 2008-07-10 2014-06-18 オリンパス株式会社 画像再生表示装置
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US7587109B1 (en) 2008-09-02 2009-09-08 Spectral Imaging Laboratory Hybrid fiber coupled artificial compound eye
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US8201951B2 (en) 2008-11-19 2012-06-19 Seiko Epson Corporation Catadioptric projectors
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
DK200801722A (en) 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
WO2010077625A1 (en) 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8013904B2 (en) 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
JP5355208B2 (ja) 2009-05-01 2013-11-27 富士フイルム株式会社 ３次元表示装置及びデジタルズーム補正方法
US9635253B2 (en) 2009-01-05 2017-04-25 Duke University Multiscale telescopic imaging system
WO2010081229A1 (en) 2009-01-19 2010-07-22 The University Of British Columbia Multiplexed imaging
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US7687757B1 (en) 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
US8195040B2 (en) 2009-02-10 2012-06-05 Canon Kabushiki Kaisha Imaging apparatus, flash device, and control method thereof
JP5607079B2 (ja) * 2009-02-10 2014-10-15 トムソン ライセンシング 前景−背景制約伝播に基づくビデオマッティング
US8589374B2 (en) 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US8797321B1 (en) 2009-04-01 2014-08-05 Microsoft Corporation Augmented lighting environments
US20100253782A1 (en) 2009-04-07 2010-10-07 Latent Image Technology Ltd. Device and method for automated verification of polarization-variant images
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8358365B2 (en) 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8097894B2 (en) 2009-07-23 2012-01-17 Koninklijke Philips Electronics N.V. LED with molded reflective sidewall coating
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
JP5350123B2 (ja) 2009-08-10 2013-11-27 株式会社日立ハイテクノロジーズ 荷電粒子線装置及び画像表示方法
US8497914B2 (en) 2009-08-10 2013-07-30 Wisconsin Alumni Research Foundation Vision system and method for motion adaptive integration of image frames
US8922628B2 (en) 2009-09-01 2014-12-30 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US8228413B2 (en) 2009-09-01 2012-07-24 Geovector Corp. Photographer's guidance systems
WO2011029209A2 (en) 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
KR101600010B1 (ko) 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
WO2011042900A1 (en) 2009-10-05 2011-04-14 I.C.V.T Ltd. A method and system for processing an image
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8624925B2 (en) 2009-10-16 2014-01-07 Qualcomm Incorporated Content boundary signaling techniques
US8502909B2 (en) 2009-10-19 2013-08-06 Pixar Super light-field lens
US8259198B2 (en) 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
WO2011052200A1 (ja) 2009-10-30 2011-05-05 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、チューナーおよび情報処理方法
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
US9699418B2 (en) 2009-11-17 2017-07-04 Telefonaktiebolaget Lm Ericsson (Publ) Synchronization of cameras for multi-view session capturing
EP2362257B1 (en) 2009-11-20 2016-08-17 FUJIFILM Corporation Solid-state imaging device
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
AU2009243486B2 (en) 2009-12-02 2012-12-13 Canon Kabushiki Kaisha Processing captured images having geolocations
US8716953B2 (en) 2009-12-07 2014-05-06 At&T Intellectual Property I, L.P. Mechanisms for light management
KR101367820B1 (ko) 2009-12-21 2014-02-27 한국전자통신연구원 이동 가능한 다시점 영상 획득 시스템 및 다시점 영상 전처리 방법
US8330720B2 (en) 2009-12-18 2012-12-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation system and method for performing self-calibration on the system using a calibration cover
JP5490514B2 (ja) 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
WO2011081187A1 (ja) 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
RU2557084C2 (ru) 2010-01-29 2015-07-20 Конинклейке Филипс Электроникс Н.В. Система и способ управления интерактивным освещением
EP3460458B1 (en) 2010-02-19 2021-08-11 Pacific Biosciences of California, Inc. A method for nucleic acid sequencing
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8400533B1 (en) 2010-02-23 2013-03-19 Xilinx, Inc. Methods of reducing aberrations in a digital image
US20110205384A1 (en) 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
US8411948B2 (en) * 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8989436B2 (en) 2010-03-30 2015-03-24 Nikon Corporation Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP2011217062A (ja) 2010-03-31 2011-10-27 Sony Corp カメラシステム、信号遅延量調整方法及びプログラム
US9100581B2 (en) 2010-04-02 2015-08-04 Microsoft Technology Licensing, Llc Time interleaved exposures and multiplexed illumination
JP4888579B2 (ja) 2010-04-21 2012-02-29 パナソニック電工株式会社 視機能検査装置
TW201138466A (en) 2010-04-23 2011-11-01 Hon Hai Prec Ind Co Ltd Video camera and method for monitoring videos of a person or an object
JP5449536B2 (ja) 2010-04-28 2014-03-19 富士フイルム株式会社 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
US9053573B2 (en) * 2010-04-29 2015-06-09 Personify, Inc. Systems and methods for generating a virtual camera viewpoint for an image
US20110273466A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US20110292258A1 (en) 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
EP2390772A1 (en) 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
US8406556B2 (en) 2010-06-10 2013-03-26 Microsoft Corporation Light transport reconstruction from sparsely captured images
JP2012003679A (ja) 2010-06-21 2012-01-05 Kyocera Mita Corp 画像形成装置用追加アプリケーションのセキュリティ確保方法、画像形成システム及び画像形成装置
JP2012013730A (ja) 2010-06-29 2012-01-19 Kowa Co 望遠レンズユニット
US8493432B2 (en) 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8866822B2 (en) 2010-09-07 2014-10-21 Microsoft Corporation Alternate source for controlling an animation
WO2012038924A2 (en) 2010-09-22 2012-03-29 Nds Limited Enriching digital photographs
US9232123B2 (en) 2010-10-06 2016-01-05 Hewlett-Packard Development Company, L.P. Systems and methods for acquiring and processing image data produced by camera arrays
US9400384B2 (en) 2010-10-26 2016-07-26 Bae Systems Plc Display assembly, in particular a head mounted display
CA2819324A1 (en) 2010-11-25 2012-05-31 Lester Kirkland An imaging robot
EP2548368B1 (en) 2010-11-29 2013-09-18 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
JP5858381B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
US8908013B2 (en) 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US8665440B1 (en) 2011-02-10 2014-03-04 Physical Optics Corporation Pseudo-apposition eye spectral imaging system
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP5689707B2 (ja) 2011-02-15 2015-03-25 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
US8666191B2 (en) 2011-03-02 2014-03-04 Canon Kabushiki Kaisha Systems and methods for image capturing
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US8619179B2 (en) 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
US8849132B2 (en) 2011-03-31 2014-09-30 Eastman Kodak Company Compensating for periodic nonuniformity in electrophotographic printer
JP5786412B2 (ja) 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5325255B2 (ja) 2011-03-31 2013-10-23 富士フイルム株式会社 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
KR101824005B1 (ko) 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
US9313390B2 (en) 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
EP2705495B1 (en) 2011-05-04 2015-07-08 Sony Ericsson Mobile Communications AB Method, graphical user interface, and computer program product for processing of a light field image
JP5956808B2 (ja) 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
JP2012252321A (ja) 2011-05-10 2012-12-20 Canon Inc 画像撮影システムおよびその制御方法
JP5917017B2 (ja) 2011-05-11 2016-05-11 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US8531581B2 (en) 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
US8908062B2 (en) 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program
US20130002936A1 (en) 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
US9401039B2 (en) * 2011-07-01 2016-07-26 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method, program, and integrated circuit
US9100587B2 (en) 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US8432435B2 (en) 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
JP5824297B2 (ja) 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US9014470B2 (en) * 2011-08-31 2015-04-21 Adobe Systems Incorporated Non-rigid dense correspondence
JP5206853B2 (ja) 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
US8879901B2 (en) 2011-09-13 2014-11-04 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US20130088616A1 (en) 2011-10-10 2013-04-11 Apple Inc. Image Metadata Control Based on Privacy Rules
JP5389139B2 (ja) 2011-10-14 2014-01-15 株式会社東芝 電子機器及び表示制御方法
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US9264627B2 (en) 2012-01-09 2016-02-16 Lifetouch Inc. Video photography system
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
JP5924978B2 (ja) 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
EP2635022A1 (en) 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US8416240B1 (en) 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images
US8994845B2 (en) 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
JP6064040B2 (ja) 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
JP5657182B2 (ja) 2012-05-10 2015-01-21 富士フイルム株式会社 撮像装置及び信号補正方法
US8736710B2 (en) 2012-05-24 2014-05-27 International Business Machines Corporation Automatic exposure control for flash photography
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9253373B2 (en) 2012-06-06 2016-02-02 Apple Inc. Flare detection and mitigation in panoramic images
US9053582B2 (en) 2012-06-11 2015-06-09 Disney Enterprises, Inc. Streaming light propagation
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US20130342700A1 (en) 2012-06-26 2013-12-26 Aharon Kass System and method for using pattern matching to determine the presence of designated objects in digital images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US8978981B2 (en) 2012-06-27 2015-03-17 Honeywell International Inc. Imaging apparatus having imaging lens
GB2503654B (en) 2012-06-27 2015-10-28 Samsung Electronics Co Ltd A method and apparatus for outputting graphics to a display
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9860443B2 (en) 2012-08-20 2018-01-02 The Regents Of The University Of California Monocentric lens designs and associated imaging systems having wide field of view and high resolution
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9940901B2 (en) 2012-09-21 2018-04-10 Nvidia Corporation See-through optical image processing
US20140096010A1 (en) 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Motion Simulation of Digital Assets Presented in an Electronic Interface using Single Point or Multi-Point Inputs
US8799756B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US8799829B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9595553B2 (en) 2012-11-02 2017-03-14 Heptagon Micro Optics Pte. Ltd. Optical modules including focal length adjustment and fabrication of the optical modules
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US20140139538A1 (en) 2012-11-19 2014-05-22 Datacolor Holding Ag Method and apparatus for optimizing image quality based on measurement of image processing artifacts
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
CN104904197B (zh) 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
US9092890B2 (en) 2012-12-20 2015-07-28 Ricoh Company, Ltd. Occlusion-aware reconstruction of three-dimensional scenes from light field images
US9070050B2 (en) 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset
JP6220125B2 (ja) 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
US8860819B2 (en) 2013-01-08 2014-10-14 Peripheral Vision, Inc. Automated lighting system characterization device and system
US9298006B2 (en) 2013-01-18 2016-03-29 Intel Corporation Layered light field reconstruction for defocus blur
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
JP6055332B2 (ja) 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
US9456141B2 (en) 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
JP2014199393A (ja) 2013-03-13 2014-10-23 株式会社東芝 画像表示装置
US20140300753A1 (en) 2013-04-04 2014-10-09 Apple Inc. Imaging pipeline for spectro-colorimeters
US9224782B2 (en) 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
ES2872927T3 (es) 2013-05-21 2021-11-03 Photonic Sensors & Algorithms S L Integración monolítica de lentes plenópticas sobre sustratos fotosensores
KR102088401B1 (ko) 2013-05-31 2020-03-12 삼성전자 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US8903232B1 (en) 2013-08-05 2014-12-02 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
US20150062178A1 (en) 2013-09-05 2015-03-05 Facebook, Inc. Tilting to scroll
US9013611B1 (en) 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
JP6476658B2 (ja) 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
US9030580B2 (en) 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US20150104101A1 (en) 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
US20150103200A1 (en) 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof
US9390505B2 (en) 2013-12-12 2016-07-12 Qualcomm Incorporated Method and apparatus for generating plenoptic depth maps
WO2015100105A1 (en) 2013-12-24 2015-07-02 Lytro, Inc. Improving plenoptic camera resolution
US9483869B2 (en) 2014-01-17 2016-11-01 Intel Corporation Layered reconstruction for defocus and motion blur
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
JP6327922B2 (ja) 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
JP6338467B2 (ja) 2014-06-18 2018-06-06 キヤノン株式会社 撮像装置
JP2016005198A (ja) 2014-06-18 2016-01-12 キヤノン株式会社 撮像装置
US9210391B1 (en) 2014-07-31 2015-12-08 Apple Inc. Sensor data rescaler with chroma reduction
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
JP6473608B2 (ja) 2014-11-27 2019-02-20 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
TWI510086B (zh) 2014-12-03 2015-11-21 Nat Univ Tsing Hua 數位重對焦方法
US20160253837A1 (en) 2015-02-26 2016-09-01 Lytro, Inc. Parallax bounce
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US20160309065A1 (en) 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US20160307368A1 (en) 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
EP3099055A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
US11293873B2 (en) 2015-09-08 2022-04-05 Xerox Corporation Methods and devices for improved accuracy of test results
US10028437B2 (en) 2015-10-06 2018-07-24 Deere & Company System for clearing a feeder house and belt pickup
US20170256036A1 (en) 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
EP3220351A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
US10127712B2 (en) 2016-07-08 2018-11-13 Google Llc Immersive content framing
US10186756B2 (en) 2016-08-01 2019-01-22 Intel IP Corporation Antennas in electronic devices
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US9900510B1 (en) 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321574A1 (en) * 2012-06-04 2013-12-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding
US20140003719A1 (en) * 2012-06-29 2014-01-02 Xue Bai Adaptive Trimap Propagation for Video Matting
KR20140137738A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치

Also Published As

Publication number Publication date
US20170358092A1 (en) 2017-12-14
KR102185179B1 (ko) 2020-12-01
EP3469788A1 (en) 2019-04-17
US10275892B2 (en) 2019-04-30
CN109479098A (zh) 2019-03-15
JP6655737B2 (ja) 2020-02-26
CN109479098B (zh) 2021-06-29
EP3469788A4 (en) 2020-03-11
JP2019525515A (ja) 2019-09-05
WO2017213923A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
KR102185179B1 (ko) 멀티-뷰 장면 분할 및 전파
US11017586B2 (en) 3D motion effect from a 2D image
US10600157B2 (en) Motion blur simulation
US10692197B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
US8654181B2 (en) Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
US9237330B2 (en) Forming a stereoscopic video
US9041819B2 (en) Method for stabilizing a digital video
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US9299152B2 (en) Systems and methods for image depth map generation
US20130127988A1 (en) Modifying the viewpoint of a digital image
US8611642B2 (en) Forming a steroscopic image using range map
US20130129192A1 (en) Range map determination for a video frame
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN109525786B (zh) 视频处理方法、装置、终端设备及存储介质
US20130257851A1 (en) Pipeline web-based process for 3d animation
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
CN116980579A (zh) 一种基于图像虚化的图像立体成像方法及相关装置
US10078905B2 (en) Processing of digital motion images
US20130286289A1 (en) Image processing apparatus, image display apparatus, and image processing method
US20240155095A1 (en) Systems and methods for processing volumetric images
EP3107287A1 (en) Methods, systems and apparatus for local and automatic color correction
Pohl et al. Semi-Automatic 2D to 3D Video Conversion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant