KR102169431B1 - 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법 - Google Patents

이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR102169431B1
KR102169431B1 KR1020190021699A KR20190021699A KR102169431B1 KR 102169431 B1 KR102169431 B1 KR 102169431B1 KR 1020190021699 A KR1020190021699 A KR 1020190021699A KR 20190021699 A KR20190021699 A KR 20190021699A KR 102169431 B1 KR102169431 B1 KR 102169431B1
Authority
KR
South Korea
Prior art keywords
image
depth
boundary
pixels
pixel
Prior art date
Application number
KR1020190021699A
Other languages
English (en)
Other versions
KR20190106698A (ko
Inventor
다니엘 유지코프
무하마드 가라비-알칸사리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190106698A publication Critical patent/KR20190106698A/ko
Application granted granted Critical
Publication of KR102169431B1 publication Critical patent/KR102169431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법의 다양한 양태들이 개시된다. 이미지 처리 장치는 제1 유형의 센서로부터 장면의 깊이 이미지 및 제2 유형의 센서로부터의 장면의 컬러 이미지를 수신하는 이미지 프로세서를 포함한다. 장면은 적어도 관심대상 객체를 포함할 수 있다. 관심대상 객체의 제1 객체 마스크는 수신된 깊이 이미지에 관한 깊이 임계 연산에 의해 생성된다. 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀들 아티팩트가 제거된다. 제1 객체 경계는 컬러 이미지 상에서 이동 템플릿 필터를 이용하여 평활화된다. 제2 객체 경계를 갖는 제2 객체 마스크는 제1 객체 경계의 평활화에 기초하여 생성된다. 생성된 제2 객체 마스크에 기초하여 컬러 이미지로부터 관심대상 객체가 추출된다.

Description

이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR OBJECT BOUNDARY STABILIZATION IN AN IMAGE OF A SEQUENCE OF IMAGES}
본 개시내용의 다양한 실시예들은 객체 세그먼트화 및 이미지 배경 대체 기술에 관한 것이다. 더 구체적으로는, 본 개시내용의 다양한 실시예들은 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법에 관한 것이다.
비디오 감시 시스템, 로봇 및 자동차 산업 분야의 머신 비전 시스템, 및 가전(CE) 디바이스 분야에서의 최근의 발전은, 주로 이미지 처리 기술의 급속한 기술 개발에 기인한다. 전경 객체와 이미지의 배경을 분리하는 다양한 객체 세그먼트화 방법이 알려져 있지만, 복잡성, 정확도 및 계산 자원 요건은 달성될 목표에 기초하여 달라진다. 깊이-기반의 객체 세그먼트화 방법에서, 객체 세그먼트화를 위한 깊이 맵의 이용은, 컬러 이미지만을 이용하는 방법과 비교하여, 객체 묘사 프로세스에서 많은 불확실성의 회피를 허용할 수 있다. 깊이 맵을 제공하는 기존의 깊이 센서는 RGB 카메라의 증가하는 해상도에 필적하기에는 여전히 정확도와 지연이 부족하다. 예를 들어, 깊이 맵은 그림자 영역을 포함할 수 있고, 그림자 영역에서는, 깊이 센서의 적외선(IR) 방출기로부터의 광이 전파되지 않아, 깊이가 알려지지 않는 영역을 초래한다. 또한, 깊이 맵은 객체의 경계에서 가장 불확실하며, 객체의 경계에서는 깊이가 급격히 떨어지고, 이미지 프레임들 사이에서 강하게 변동할 수 있다. 현대의 깊이 센서들의 깊이 맵에서의 불완전성은, 이미지 프레임들의 시퀀스, 예를 들어, 영화 또는 기타의 비디오의 프레임들 사이에서 특히 볼 수 있는, 세그먼트화된 객체의 경계 상에서의 상당한 변동을 초래한다. 결과적인 아티팩트들은 시청자에게 시각적으로 불쾌하다. 따라서, 정확한 객체 세그먼트화 및 향상된 배경 대체를 위해 경계 변동량을 감소시키고 객체 경계를 안정화하는 것이 바람직할 수 있다.
종래의 그리고 전통적인 접근법의 추가적인 제한 및 단점은, 도면을 참조한 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들과의 설명된 시스템의 비교를 통해 본 기술분야의 통상의 기술자에게 명백해질 것이다.
이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법이, 도면들 중 적어도 하나에 도시되거나 및/또는 이와 관련하여 설명되고, 청구항들에서 더 완전하게 개시되는 바와 같이 제공된다.
본 개시내용의 이들 및 다른 피처들 및 이점들은, 전체적으로 유사한 참조 번호는 유사한 부분을 나타내는 첨부된 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있을 것이다.
도 1a는, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 예시적인 네트워크 환경을 도시하는 블록도이다.
도 1b는, 본 개시내용의 한 실시예에 따른, 예시적인 이미지 처리 장치에 의해 처리된 깊이 이미지에서의 상이한 아티팩트들을 묘사하는 장면의 예시적인 컬러 이미지 및 깊이 이미지를 도시한다.
도 2는 본 개시내용의 한 실시예에 따른 예시적인 이미지 처리 장치를 도시하는 블록도이다.
도 3a 내지 도 3m은, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 도 2의 이미지 처리 장치의 예시적인 동작들을 집합적으로 도시한다.
도 4a 및 도 4b는, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 예시적인 방법을 집합적으로 도시하는 플로차트이다.
이하의 설명된 구현들은, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 개시된 이미지 처리 장치 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은, 제1 유형의 센서로부터의 장면의 깊이 이미지 및 제2 유형의 센서로부터의 장면의 컬러 이미지의 수신을 포함하는 이미지 처리 장치 및 방법을 포함할 수 있다. 제1 유형의 센서는 제2 유형의 센서와는 상이할 수 있다. 장면은 적어도 관심대상 객체(object-of-interest)를 포함할 수 있다. 관심대상 객체의 제1 객체 마스크는 수신된 깊이 이미지에 관한 깊이 임계 연산(depth thresholding operation)에 의해 획득될 수 있다. 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀들 아티팩트(dangling-pixels artifact)는 제거될 수 있다. 제1 객체 마스크의 제1 객체 경계는 단글링-픽셀들 아티팩트를 제거한 후에 컬러 이미지 상에서 이동 템플릿 필터를 이용하여 평활화될 수 있다. 제2 객체 경계를 갖는 제2 객체 마스크는 제1 객체 경계의 평활화에 기초하여 생성될 수 있다. 컬러 이미지로부터의 관심대상 객체는 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 추출될 수 있다.
한 실시예에 따르면, 장면의 컬러 이미지의 처리는, 컬러 이미지로부터의 관심대상 객체의 추출을 위한 제1 유형의 센서의 시야(field-of-view)(FOV)로 제약될 수 있다. 임계 깊이 값보다 큰 복수의 깊이 값은, 깊이 임계 연산에 의해 배제될 수 있다. 임계 깊이 값은 관심대상 객체의 제1 객체 마스크의 픽셀들과 연관된 최대 깊이 값에 대응할 수 있다.
한 실시예에 따르면, 제로-깊이 아티팩트들은 깊이 이미지로부터 제거될 수 있다. 제로-깊이 아티팩트들은 깊이 이미지에서 미지의 깊이 값을 갖는 영역에 대응할 수 있다. 미지의 깊이 값과 연관된 픽셀은 명시된 기준에 기초하여 배경 픽셀 또는 전경 픽셀로서 분류될 수 있다. 나아가, 관심대상 객체의 일부에 의해 제1 객체 마스크 상에 캐스팅된 적외선(IR) 그림자도 역시 깊이 이미지로부터 제거될 수 있다. 컬러 이미지에서 제1 객체 마스크 외부의 배경 영역은, IR 그림자의 제거를 위해 동적으로 업데이트될 수 있다.
한 실시예에 따르면, 이동 템플릿 필터는 제1 객체 경계의 경계 픽셀을 둘러싸도록 컬러 이미지 상에 위치할 수 있어서, 이동 템플릿 필터는 제1 객체 마스크의 내부 영역에 위치한 제1 세트의 픽셀들 및 제1 객체 마스크 외부의 외부 영역에 위치한 제2 세트의 픽셀들을 포함할 수 있다. 이동 템플릿 필터 내에서 제1 객체 경계의 법선을 따라 최대 이미지 그래디언트(image gradient)를 갖는 픽셀들이 검색될 수 있다. 제1 객체 경계의 법선은 이미지 그래디언트가 계산되는 방향을 정의할 수 있다. 한 실시예에 따르면, 제1 세트의 픽셀들과 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값에서의 차이가 계산될 수 있다. 경계 픽셀은, 제1 세트의 픽셀들과 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값의 계산된 차이에 기초하여 제1 객체 경계의 평활화를 위한 후보 픽셀로서 식별될 수 있다.
한 실시예에 따르면, 추출된 관심대상 객체는 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩될 수 있다. 혼합 연산은 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 새로운 이미지 내의 관심대상 객체의 제2 객체 경계에 적용될 수 있다. 제2 객체 경계의 경계 픽셀의 컬러 값 또는 밝기 값 중 적어도 하나가 업데이트될 수 있다. 업데이트는, 경계 픽셀 및 경계 픽셀에 인접한 픽셀들의 세트의 컬러 값 또는 밝기 값 사이의 차이에 기초하여 발생할 수 있다. 경계 픽셀에 인접한 픽셀들의 세트는, 제2 객체 마스크 내의 제1 개수의 픽셀들 및 새로운 이미지의 새로운 배경 내의 제2 개수의 픽셀들을 포함한다.
도 1a는, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 예시적인 네트워크 환경을 도시하는 블록도이다. 도 1a를 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은, 이미지 처리 장치(102), 센서 회로(104), 서버(106), 및 통신 네트워크(108)를 포함할 수 있다. 한 실시예에 따르면, 센서 회로(104)는 이미지 처리 장치(102)와 통합될 수 있다. 한 실시예에 따르면, 센서 회로(104)는 이미지 처리 장치(102)에 통신가능하게 결합된 외부 센서 디바이스일 수 있다. 센서 회로(104)는 제1 유형의 센서(104a) 및 제2 유형의 센서(104b)를 포함할 수 있다. 이미지 처리 장치(102) 및 서버(106)는 통신 네트워크(108)를 통해 서로 통신가능하게 결합될 수 있다.
이미지 처리 장치(102)는, 제1 유형의 센서(104a)로부터 장면의 깊이 맵과 제2 유형의 센서(104b)로부터 동일한 장면의 컬러 이미지를 수신하도록 구성될 수 있는 적절한 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 깊이 맵과 컬러 이미지는 처리를 위해 동시에 수신될 수 있다. 깊이 센서 등의 제1 유형의 센서(104a) 및 제2 유형의 센서(104b)에 의해 캡처된 장면은 하나 이상의 객체를 포함할 수 있다. 하나 이상의 객체의 예는, 인간 객체, 동물, 이동 객체, 변형 객체, 또는 로봇 또는 관절 객체 등의 비인간 또는 무생물 객체를 포함하지만 이것으로 제한되는 것은 아니다. 관절 객체(articulated object)란, 관절을 통해 부착되고 서로에 관해 움직일 수 있는 부분들을 갖는 객체를 말한다. 이미지 처리 장치(102)는 깊이 맵과 컬러 이미지 양쪽 모두를 이용하여 관심대상 객체의 경계를 정확하게 식별하고 정교화하도록 구성될 수 있다. 제1 유형의 센서(104a) 등의 깊이 센서의 특징인 깊이 맵에서의 전형적인 아티팩트는, 이미지 처리 장치(102)에 의한 순차 정교화 연산(sequential refinement operation)에 의해 제거될 수 있다. 이미지 처리 장치(102)는 관심대상 객체에 대한 객체 경계 변동량을 감소시키기 위해 순차 정교화 연산을 실행하도록 구성될 수 있다. 이미지 처리 장치(102)는, 정교화된 객체 경계를 갖는 정교화된 객체 마스크에 기초하여 컬러 이미지로부터 관심대상 객체를 추출하도록 구성될 수 있다. 추출된 관심대상 객체는 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩될 수 있다. 이미지 처리 장치(102)의 예는, 디지털 카메라, 캠코더, 머리-장착형 디바이스(head-mounted device)(HMD), 감시 장비, 스마트폰, 스마트 안경, 가상 현실-기반 디바이스, 혼합 현실-기반 디바이스, 또는 증강 현실-기반 디바이스, 컴퓨팅 디바이스, 및/또는 기타의 가전(CE) 디바이스들을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
센서 회로(104)는, 동일한 장면의 깊이 맵 및 컬러 이미지를 동시에 캡처하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 센서 회로(104)는 제1 유형의 센서(104a) 및 제2 유형의 센서(104b)를 포함할 수 있다. 제1 유형의 센서(104a)는 깊이 센서 및 적외선(IR) 방출기를 포함할 수 있다. 깊이 센서는 IR 깊이 센서일 수 있다. 제2 유형의 센서(104b)는, 이미지 센서, 예를 들어, RGB 이미지 등의 컬러 이미지를 캡처할 수 있는 RGB 카메라일 수 있다. 센서 회로(104)는, 깊이 맵 및 컬러 이미지를, 로컬 버퍼, 메모리, 및/또는 서버(106)에 저장하도록 구성될 수 있다.
서버(106)는, 이미지 처리 장치(102)에 의해 캡처된 이미지 프레임들의 시퀀스 및 깊이 맵을 저장하도록 구성될 수 있는 적절한 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 서버(106)의 예는, 데이터베이스 서버, 파일 서버, 애플리케이션 서버, 클라우드 서버, 웹 서버, 또는 이들의 조합을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
통신 네트워크(108)는, 이미지 처리 장치(102)가 서버(106)와 통신가능하게 결합될 수 있는 통신 매체를 포함할 수 있다. 통신 네트워크(108)의 예는, 인터넷, 클라우드 네트워크, Wi-Fi 네트워크, 근거리 통신망(Local Area Network)(LAN), 및/또는 도심 영역 네트워크(Metropolitan Area Network)(MAN)를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜에 따라 통신 네트워크(108)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜의 예는, TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, IEEE 802.11, Li-Fi(light fidelity), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신, 무선 액세스 포인트(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜, 또는 Bluetooth(BT) 통신 프로토콜, 또는 이들의 변형 및/또는 조합 중 적어도 하나를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
동작시, 이미지 처리 장치(102)는, 제1 유형의 센서(104a)로부터 장면의 깊이 이미지 및 제2 유형의 센서(104b)로부터 장면의 컬러 이미지를 수신하도록 구성될 수 있다. 장면은, 하나 이상의 전경 객체, 예를 들어, 세그먼트화될 관심대상 객체 객체를 포함할 수 있다. 이미지 처리 장치(102)는, 예를 들어, 도 1b에 도시된 바와 같이, 장면의 컬러 이미지 처리를 제1 유형의 센서(104a)의 시야(FOV)로 제약하도록 구성될 수 있다.
도 1b는, 본 개시내용의 한 실시예에 따른, 예시적인 이미지 처리 장치에 의해 처리된 깊이 이미지에서의 상이한 아티팩트들을 묘사하는 장면의 예시적인 컬러 이미지 및 깊이 이미지를 도시한다. 도 1b를 참조하면, RGB 이미지(110a) 등의 예시적인 컬러 이미지, 및 장면(114)의 깊이 이미지(112a) 등의 예시적인 깊이 맵이 도시되어 있다. RGB 이미지(110a)는, RGB 컬러 채널로 표현된 제1 전경 객체(118a), 제2 전경 객체(120a), 및 배경(116a)을 포함한다. 깊이 이미지(112a)는, 제1 전경 객체(118a)의 제1 깊이 표현(118b), 제2 전경 객체(120a)의 제2 깊이 표현(120b), 및 배경(116a)의 제3 깊이 표현(116b)을 포함한다. 깊이 이미지(112a)에는 영역(122a, 122b, 122c, 122d 및 124) 등의 소정의 그림자 영역이 또한 도시되어 있다.
이미지 처리 장치(102)는, 수신된 깊이 이미지(112a)에 관한 깊이 임계 연산에 의해, 제1 전경 객체(118a) 등의 관심대상 객체의 제1 객체 마스크를 획득하도록 구성될 수 있다. 이미지 처리 장치(102)는, 깊이 임계 연산에 의해 임계 깊이 값보다 큰 복수의 깊이 값을 배제하도록 구성될 수 있다. 예를 들어, 센서 회로(104)로부터의 (1.5 깊이 값 등의) 깊이에서의 소정의 미터보다 작은 위치에 있는 모든 픽셀들은, 전경 객체(들)에 속하는 것으로 간주될 수 있고, 그에 따라 객체 마스크(들)가 생성될 수 있다. 임계 깊이 값은, 제1 전경 객체(118a) 등의, 관심대상 객체의 제1 객체 마스크의 픽셀들과 연관된 최대 깊이 값에 대응한다.
소정 시나리오에서, 깊이 이미지(112a)는, 예를 들어, 영역(122a, 122b, 122c 및 122d)에 도시된 바와 같은, 그림자 영역을 포함할 수 있다. 제1 유형의 센서(104a)의 IR 방출기에 의해 방출된 IR 광은 캡처된 장면(114)의 소정 영역들에 전파되지 않을 수 있다. 광이 사실상 전파되지 않는 이러한 영역은 대개 깊이 이미지(112a)에서 그림자 영역으로서 나타나고, 미지의 깊이 값을 갖는다. 미지의 깊이 값은 제로-깊이 또는 미정의 깊이 값이라고도 불릴 수 있다. 예를 들어, 영역(122a)은 제1 유형의 센서(104a)의 FOV 밖에 있는 장면(114)의 영역을 가리킨다. 영역(122a)은 제1 유형의 센서(104a)에 의해 보고된 제로-깊이 값을 포함할 수 있다. 따라서, 영역(122a)에서 0-깊이 아티팩트를 해결하기 위해, 이미지 처리 장치(102)는, 장면(114)의 RGB 이미지(110a)의 처리를, 예를 들어 도 1b에서는 평행 한 점선으로 도시된, 제1 유형의 센서(104a)의 FOV로 제약하도록 구성될 수 있다.
영역(122b)은, 제로-깊이 값을 역시 포함할 수 있는, 깊이 이미지(112a)의 제3 깊이 표현(116b)의 영역(즉, 배경(116a)에 대응함)을 가리킬 수 있다. 영역(122b)은 비제로 깊이 영역을 갖는 경계를 가질 수 있고, 영역(122b) 근처의 비제로 깊이 영역들 사이의 차이는 임계 깊이 값보다 클 수 있다. 달리 말하면, 영역(122b)은, 영역(122b)과 경계를 공유하는 근처의 비제로 깊이 영역과 비교하여, 장면(114)의 깊이에서 큰 강하(drop)를 나타낼 수 있다. 영역(122c)은, 제로-깊이 값을 역시 포함할 수 있는, 깊이 이미지(112a)의 제3 깊이 표현(116b)의 그림자 영역을 가리킬 수 있다. 영역(122c)의 제로-깊이 값은, 배경(116a) 상의, 제1 전경 객체(118a) 등의 전경 객체에 의해 캐스팅된 영역(122c)의 IR 그림자의 결과일 수 있다.
소정 시나리오에서, 제1 전경 객체(118a) 등의 전경 객체의 일부는, 영역(122d)에 의해 도시된 바와 같이, 그 자체에 그림자를 캐스팅할 수 있다. 따라서, 제1 유형의 센서(104a)의 IR 방출기에 의해 방출된 IR 광이 영역(122d)으로 전파되지 않을 수도 있기 때문에, 영역(122d)은 제로-깊이 값을 포함할 수도 있다. 이미지 처리 장치(102)는 깊이 이미지(112a)로부터 제로-깊이 아티팩트들을 제거하도록 구성될 수 있다. 제로-깊이 아티팩트들은, 깊이 이미지(112a)에서, 미지의 깊이 값을 갖는 영역, 예를 들어 영역(122a, 122b, 122c 및 122d)에 대응한다. 이미지 처리 장치(102)는, 미지의 깊이 값과 연관된 픽셀들을 명시된 기준에 기초하여 배경 픽셀 또는 전경 픽셀로서 분류하도록 구성될 수 있다. 픽셀의 분류는, 관심대상 객체의 제1 객체 마스크 등의, 정확한 객체 마스크를 획득하기 위해 수행될 수 있다. 픽셀의 분류 및 명시된 기준은, 예를 들어, 도 3a 내지 도 3i에서 상세히 설명된다.
한 실시예에 따르면, 이미지 처리 장치(102)는, 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀들 아티팩트를 제거하도록 구성될 수 있다. "단글링" 또는 단글링-픽셀들 아티팩트는, 깊이 이미지(112a) 내의 IR 그림자 영역에 인접한 제1 객체 경계에서의 상당한 변동에 의해 분명해질 수 있다. 제1 객체 경계에서의 영역(124) 등의 이들 IR 그림자 영역에서, 객체 경계 변동은, 프레임 대 프레임, 및 픽셀 대 픽셀 방식으로 발생할 수 있다. 영역(124)은, 제1 전경 객체(118a) 등의, 관심대상 객체의 제1 객체 경계의 및 그 주변의 단글링-픽셀들 아티팩트를 발생시키는, (예를 들어, 제1 유형의 센서(104a)에 의해 보고되는) 깊이 이미지(112a)에서의 혼돈 깊이(chaotic depth)를 나타낸다. 단글링-픽셀들 아티팩트의 예가 도 3a 및 도 3c에 더 도시되고 설명된다. 이미지 처리 장치(102)는, 어떤 픽셀 부근의 3x3 픽셀들 중 적어도 하나의 픽셀이 깊이-미정의 픽셀(예를 들어, 제로-깊이 값을 포함하는 픽셀)인 경우, 그 어떤 픽셀을 단글링-픽셀로서 마킹하도록 구성될 수 있다.
한 실시예에 따르면, 이미지 처리 장치(102)는 제로-깊이 아티팩트들 및 단글링-픽셀들 아티팩트의 제거 후에 RGB 이미지(110a) 상의 이동 템플릿 필터를 이용하여 제1 객체 마스크의 제1 객체 경계를 평활화하도록 구성될 수 있다. 평활화 연산은, 도 3a, 도 3e, 도 3f, 도 3g, 도 3h 및 도 3i에서 상세히 설명된다. 이미지 처리 장치(102)는, 제1 객체 경계의 평활화에 기초하여 제2 객체 경계를 갖는 제2 객체 마스크를 생성하도록 구성될 수 있다. 이미지 처리 장치(102)는, 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 RGB 이미지(110a)로부터 관심대상 객체를 추출하도록 구성될 수 있다. 이미지 처리 장치(102)는, 추출된 관심대상 객체를, 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩하도록 구성될 수 있다. 이미지 처리 장치(102)는, 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 새로운 이미지 내의 관심대상 객체의 제2 객체 경계에 혼합 연산을 적용하도록 구성될 수 있다. 혼합 연산은 예를 들어 도 3a 및 도 3m에서 상세히 설명된다.
한 실시예에 따르면, 관심대상 객체는, 이미지 프레임들의 시퀀스 중의, RGB 이미지(110a) 등의 각각의 소스 컬러 이미지로부터 추출될 수 있고, 실시간 또는 준실시간으로 프레임별로 비디오의 각각의 새로운 이미지 프레임에 혼합될 수 있다. 이미지 처리 장치(102)는 또한, 새로운 이미지 프레임 및 후속 이미지 프레임들 내의 임베딩된 관심대상 객체 및 대체된 배경을 포함하는 비디오를 통신 네트워크(108)를 통해 서버(106)에 전달하도록 구성될 수 있다. 서버(106)는 수정된 비디오를 저장하도록 구성될 수 있다.
영화 또는 기타의 비디오 등의, 이미지 프레임들의 시퀀스 중의 이미지 내의 객체 경계 안정화를 위한 개시된 이미지 처리 장치(102)는, 비디오 감시, 자동 이미지 편집 시스템, 자동 배경 대체 시스템, 또는 이미지 프레임들의 입력 시퀀스가 캡처되는 동안 상이한 시점들에서 위치 또는 배향을 변경하는 객체의 추적 등의, 다양한 응용 분야에서 구현될 수 있다. 개시된 이미지 처리 장치(102) 및 방법은, 인간 또는 기타의 관절 객체의 비디오 감시, 게임 시스템에서의 객체 추적, 또는 실시간 또는 준실시간 객체 세그먼트화 및 새로운 배경에서의 객체들의 혼합 등의, 실세계 추적 응용에 적합할 수 있다.
도 2는 본 개시내용의 한 실시예에 따른 예시적인 이미지 처리 장치를 도시하는 블록도이다. 도 2는 도 1a 및 도 1b의 요소들과 연계하여 설명된다. 도 2를 참조하면, 이미지 처리 장치(102)가 도시되어 있다. 이미지 처리 장치(102)는, 이미지 프로세서(202), 메모리(204), 및 객체 혼합 프로세서(206), I/O 디바이스(208), 및 네트워크 인터페이스(210) 등의, 하나 이상의 회로를 포함할 수 있다. I/O 디바이스(208)는 센서 회로(104) 및 디스플레이(208A)를 포함할 수 있다. 센서 회로(104)는, 한 예에서, 이미지 처리 장치(102)의 통합 유닛으로서 도시된다. 이미지 프로세서(202)는, 메모리(204), 객체 혼합 프로세서(206), I/O 디바이스(208), 네트워크 인터페이스(210), 및 센서 회로(104)와 통신가능하게 결합될 수 있다. 네트워크 인터페이스(210)는 통신 네트워크(108)를 통한 서버(106)와의 통신을 용이화할 수 있다.
이미지 프로세서(202)는, 제로-깊이 및 단글링-픽셀들 아티팩트 등의, 상이한 유형의 아티팩트들의 제거 후에 수신된 컬러 이미지 상에서 이동 템플릿 필터를 이용하여 제1 객체 마스크의 제1 객체 경계를 평활화하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 이미지 프로세서(202)는, 제1 객체 경계의 평활화에 기초하여 제2 객체 경계를 갖는 제2 객체 마스크를 생성하도록 구성될 수 있다. 그 후, 정교화된 객체 경계인 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 컬러 이미지로부터 관심대상 객체가 추출될 수 있다. 이미지 프로세서(202)는 메모리(204)에 저장된 명령어 세트를 실행하도록 구성될 수 있다. 이미지 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 이미지 프로세서(202)의 예는, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing), 하드웨어 프로세서, 중앙 처리 유닛(CPU), 및/또는 기타의 프로세서들 또는 제어 회로들일 수 있다.
메모리(204)는, 깊이 맵 및 컬러 이미지를 메모리(204)의 로컬 이미지 버퍼에 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(204)는 또한, 이미지 프로세서(202)에 의해 실행가능한 명령어 세트를 저장할 수 있다. 메모리(204)는, 운영 체제 및 연관된 애플리케이션을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM), 하드 디스크 드라이브(HDD), 솔리드-스테이트 드라이브(SSD), CPU 캐시, 및/또는 보안 디지털(SD) 카드를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
객체 혼합 프로세서(206)는, 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 새로운 이미지 내의 관심대상 객체의 제2 객체 경계에 혼합 연산을 적용하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 혼합 프로세서(206)는, (코프로세서 등의) 별도의 프로세서, 또는 이미지 처리 장치(102) 내의 회로로서 구현될 수 있다. 객체 혼합 프로세서(206) 및 이미지 프로세서(202)는, 객체 혼합 프로세서(206) 및 이미지 프로세서(202)를 위한 기능을 수행하는 통합된 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다.
I/O 디바이스(208)는, 입력을 수신하고 사용자에게 출력을 제공하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. I/O 디바이스(208)는, 이미지 프로세서(202)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스를 포함할 수 있다. 입력 디바이스의 예는, 터치 스크린, 키보드, 마우스, 조이스틱, 마이크로폰, 및/또는 센서 회로(104)를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 출력 디바이스의 예는, 디스플레이(208A) 및/또는 스피커를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
디스플레이(208A)는, 추출된 관심대상 객체를 렌더링하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 한 실시예에 따르면, 디스플레이(208A)는 사용자로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이(208A)는 사용자가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 터치 스크린은, 저항식 터치 스크린, 용량식 터치 스크린, 또는 열 터치 스크린 중 적어도 하나에 대응할 수 있다. 한 실시예에 따르면, 디스플레이(208A)는, 가상 키패드, 스타일러스, 제스처-기반 입력, 및/또는 터치-기반 입력을 통해 입력을 수신할 수 있다. 디스플레이(208A)는, 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(OLED) 디스플레이 기술, 및/또는 기타의 디스플레이 중 적어도 하나 등의 그러나 이것으로 제한되지 않는 수 개의 공지된 기술을 통해 실현될 수 있다. 한 실시예에 따르면, 디스플레이(208A)란, 스마트-안경 디바이스의 디스플레이 스크린, 시스루(see-through) 디스플레이, 프로젝션-기반 디스플레이, 전기 변색(electro-chromic) 디스플레이, 컷-투-쉐이프 디스플레이(cut-to-shape display), 및/또는 투명 디스플레이를 지칭할 수 있다. 시스루 디스플레이는 투명 또는 반투명 디스플레이일 수 있다. 한 실시예에 따르면, 시스루 디스플레이 및/또는 프로젝션-기반 디스플레이는, 투명한 배경을 가진 추출된 관심대상 객체가 사용자 등의 사용자의 눈으로부터 미리결정된 거리에서 공중에 떠 있는 착시를 생성함으로써, 향상된 사용자 경험을 제공할 수 있다.
네트워크 인터페이스(210)는, 통신 네트워크(108)를 통한, 이미지 처리 장치(102)와 서버(106) 사이의 통신을 용이화하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(210)는, 통신 네트워크(108)와 이미지 처리 장치(102)의 유선 또는 무선 통신을 지원하는 다양한 공지된 기술의 이용에 의해 구현될 수 있다. 네트워크 인터페이스(210)는, 안테나, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 인터페이스(210)는, 인터넷, 인트라넷, 및/또는 셀룰러 전화 네트워크, 무선 근거리 통신망(LAN) 및/또는 도시권 통신망(MAN)과 같은 무선 네트워크 등의 네트워크와 무선 통신을 통해 통신할 수 있다. 무선 통신은, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), 광대역 코드 분할 다중 액세스(W-CDMA), 롱텀 에볼루션(LTE), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), Bluetooth, (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) 무선 피델리티(Wi Fi), VoIP(voice over Internet Protocol), Li-Fi(light fidelity), Wi MAX, 전자 메일, 인스턴트 메시징 및/또는 단문 메시지 서비스(SMS)를 위한 프로토콜 등의, 복수의 통신 표준, 프로토콜 및 기술들 중 임의의 것을 이용할 수 있다.
이미지 처리 장치(102)에 의해 수행되는 기능 및/또는 동작은, 도 1a 및 도 1b에서 설명된 바와 같이, 이미지 프로세서(202) 및/또는 객체 혼합 프로세서(206)에 의해 수행될 수 있다. 이미지 프로세서(202) 및 객체 혼합 프로세서(206)에 의해 수행되는 다른 동작들은, 예를 들어 도 3a 내지 도 3m, 도 4a 및 도 4b에서 더 설명된다.
도 3a 내지 도 3m은, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 도 2의 이미지 처리 장치의 예시적인 동작들을 집합적으로 도시한다. 도 3a 내지 도 3m은, 도 1a, 도 1b, 및 도 2의 요소들과 연계하여 설명된다. 도 3a를 참조하면, 본 개시내용의 한 실시예에 따른, 객체 마스크 정교화 및 새로운 배경 내로의 객체 혼합의 예시적인 처리 파이프 라인(300)이 도시되어 있다.
302에서, 이미지 프로세서(202)는, 제1 유형의 센서(104a)로부터 장면(114)의 깊이 이미지(112a)와 제2 유형의 센서(104b)로부터 장면(114)의 RGB 이미지(110a)를 수신하도록 구성될 수 있다. 304에서, 이미지 프로세서(202)는, 수신된 깊이 이미지(112a)에 관한 깊이 임계 연산에 의해, 제1 전경 객체(118a) 등의, 관심대상 객체의 제1 객체 경계(304B)를 갖는 제1 객체 마스크(304A)를 획득하도록 구성될 수 있다. 장면(114) 내의 제1 유형의 센서(104a)에 가깝게 놓인 객체는, 제1 유형의 센서(104a)로부터 멀리 놓인 객체와 비교하여 더 작은 깊이를 가질 수 있다. 소정 경우에, 제2 전경 객체(120a) 등의 객체가 장면(114) 내에서 제1 전경 객체(118a)와 유사한 깊이에 놓여 있다면, 깊이 임계 연산에서 추가 마스크(304C)가 또한 획득될 수 있다. 이러한 추가 마스크(304C)는 나중에 폐기될 수 있다. 이미지 프로세서(202)는, 제1 전경 객체(118a) 등의 관심대상 객체의 최대 깊이 값을 추정하도록 구성될 수 있다. 그 후, 깊이 임계 연산에 의해, 이미지 프로세서(202)는, 임계 깊이 값보다 큰 모든 깊이 값을 배제하도록 구성될 수 있다. 임계 깊이 값은, 제1 전경 객체(118a) 등의 관심대상 객체의 픽셀들과 연관된 추정된 최대 깊이 값에 기초하여 동적으로 계산될 수 있다. 제1 유형의 센서(104a) 등의 현대의 깊이 센서로부터 수신된 깊이 정보는, 대개 불완전하므로, 깊이 이미지(112a)는, 도 1b에서 관찰되고 논의된 바와 같이, 영역(122a 내지 122d) 및 영역(124) 등의, 그림자 영역을 포함한다. 깊이 이미지(112a) 등의 깊이 맵의 불완전성은, 특히 이미지 프레임들의 시퀀스 중의 프레임들 사이에서 볼 수 있는, 객체의, 제1 객체 경계(304B) 등의 경계 상에서 상당한 변동을 야기할 수 있다. 따라서, 종래의 깊이-기반 세그먼트화 방법에 기초해 획득된 객체 마스크에 기초하여 객체가 직접 세그먼트화된다면, 이것은 시청자에게 불쾌한 아티팩트를 제공할 수 있다. 따라서, 이미지 프로세서(202)는 일련의 정교화 연산을 실행하여 제1 객체 경계(304B) 상의 변동량을 감소시킨다. 제1 객체 경계(304B)를 갖는 제1 객체 마스크(304A)는 이미지 프로세서(202)에 의해 적절하게 정교화될 수 있다.
306A에서, 이미지 프로세서(202)는 제1 객체 마스크(304A) 상의 및 그 주변의 도트형 아티팩트들을 제거하도록 구성될 수 있다. 도트형 아티팩트들은 제로-깊이 아티팩트들에 대응한다. 제1 객체 마스크(304A) 상의 및 그 주변의 제로-깊이 아티팩트들의 제거는, 예를 들어, 도 3b로부터 상세히 이해될 수 있다. 이제 도 3b를 참조하면, 제로-깊이 분류 맵(318)은 제1 객체 마스크(304A) 상의 및 그 주변의 제로-깊이(또는 도트형) 아티팩트의 제거를 기술하기 위해 도시되어 있다. 제로-깊이 분류 맵(318)은, 제1 객체 마스크(304A), 추가 마스크(304C), 및 (점선 패턴으로 표시된) 배경 영역(320)을 포함한다. 배경 영역(320)은 흑색 또는 단색일 수 있고 영역(322A 및 322B)을 포함한다. 영역(322A 및 322B)은, 제로-깊이 아티팩트들이 처리되어 비제로 깊이 픽셀들로 업데이트되는 처리된 영역에 대응한다.
이미지 프로세서(202)는, 비제로 깊이 영역들과의 경계를 갖는 깊이 이미지(112a)에서, (도 1b 및 도 3a에 도시되고 도 3b에는 도시되지 않은 영역(122b) 등의) 하나 이상의 제로-깊이 연결된 영역을 발견하도록 구성될 수 있다. 영역(122b)은, 영역(122b)과 경계를 공유하는 근처의 비제로 깊이 영역과 비교하여, 장면(114)의 깊이에서 큰 강하를 나타낼 수 있다. 소정 경우에, 대부분의 경계 픽셀들, 즉, 영역(122b)과 경계를 공유하는 픽셀들은, 제1 전경 객체(118a) 등의 전경 객체의 최대 깊이보다 큰 깊이 값을 포함할 수 있다. 이러한 경우에, 이미지 프로세서(202)는, 제1 정교화 연산에서 비제로 깊이 값들로, 영역(122b) 등의 하나 이상의 제로-깊이 연결 영역들을 분류하도록 구성될 수 있다. 분류된 깊이 값들은, 경계 픽셀들(즉, 영역(122b)과 경계를 공유하는 픽셀들)의 깊이 값들과 유사할 수 있다. 깊이 값들이 하나 이상의 제로-깊이 연결된 영역들에서 비제로 깊이 값들로 분류되는 픽셀들은, 예를 들어, 도 3b의 제로-깊이 분류 맵(318) 내의 영역(322A)에 의해 표현된다. 한 실시예에 따르면, 이미지 프로세서(202)는, 제로-깊이 분류 맵(318) 내의 배경 영역(320)과는 상이한 컬러, 예를 들어 청록색(cyan)으로 영역(322A)을 인페인트(in-paint)하도록 구성될 수 있다. 따라서, (장면(114)(도 1b)의 깊이에서의 큰 강하를 나타내는) 영역(122b)으로부터의 제로-깊이 아티팩트들은 제1 정교화 연산에서 제거된다.
한 실시예에 따르면, 이미지 프로세서(202)는, 제1 객체 경계(304B) 및 추가 마스크(304C)를 포함하는 제1 객체 마스크(304A)의 모든 픽셀들을 전경 픽셀로서 분류하도록 구성될 수 있다. 이러한 전경 픽셀들은 제로-깊이 분류 맵(318)에서 상이한 컬러, 예를 들어 적색으로 마킹될 수 있다. 이러한 전경 픽셀들은, 깊이 임계 연산에 이용된 임계 깊이 값보다 작은 깊이를 포함할 수 있다. 예를 들어, 센서 회로(104)로부터 깊이 1.5 미터(즉, 1.5 깊이 값) 미만에 위치하는 모든 픽셀들은 전경 객체(들)에 속하는 것으로 간주될 수 있고, 제로-깊이 분류 맵(318)에서 상이한 컬러, 예를 들어, 적색으로 마킹될 수 있다. 그 후, 예를 들어, 제1 전경 객체(118a) 및 제2 전경 객체(120a) 등의 전경 객체(들)의 최좌측 픽셀(경계 픽셀)에서 시작하여, 이미지 프로세서(202)는, 행 내의 다음 픽셀들을 소정 방향으로(즉, 전경 객체(들)의 경계 픽셀로부터 배경 영역(320)을 향해 행 방향으로), 비제로 깊이 픽셀을 만날 때까지 체크하도록 구성될 수 있다. 예를 들어, 제1 객체 마스크(304A)의 제1 객체 경계(304B)의 최좌측 경계 픽셀로부터 시작하여, 이미지 프로세서(202)는, 화살표(324)로 도시된 바와 같이, 행 내의 후속 픽셀들을 좌측-방향을 향하여, 비제로 깊이 픽셀을 만날 때까지 체크하도록 구성될 수 있다. 픽셀이 제1 전경 객체(118a)의 최대 깊이 값보다 큰 깊이 값을 갖는 경우에, 비제로 깊이 값을 갖는 모든 체크된 픽셀들은 배경 픽셀로서 분류된다. 화살표(326)에 의해 도시된 유사한 체크 및 비제로 깊이 값을 갖는 픽셀들의 분류는, 추가 마스크(304C)의 경계 픽셀들로부터 실행될 수 있다. 따라서, 이전에 비제로 깊이 아티팩트 또는 도트형 아티팩트들을 포함하는 영역(322B)은, 분류에 기초하여 제거될 수 있다. 영역(322B)은 깊이 이미지(112a)(도 1b 및 도 3a)의 영역(122c 및 124)에 대응할 수 있고, 여기서, 픽셀들의 분류가 업데이트된다. 영역(322B)은, 제로-깊이 분류 맵(318)에서 고유한 컬러, 예를 들어 녹색으로 표현될 수 있다.
이제 도 3a로 돌아가서, 306B에서, 이미지 프로세서(202)는, RGB 이미지(110a) 내의 제1 객체 마스크(304A) 외부의 배경(116a)을 동적으로 업데이트하도록 구성될 수 있다. 제로-깊이 값들을 갖는 배경(116a) 내의 일부 픽셀들은 실제로 배경 영역에 속한다는 지식은, RGB 이미지(110a)의 배경(116a)의 동적 업데이트에 이용될 수 있으므로, 배경(116a)에서 소정의 블라인드 스폿(blind spot) 또는 도트형 아티팩트들을 제거할 수 있다. 달리 말하면, 업데이트된 배경(116a)은, 제1 전경 객체(118a) 및 제2 전경 객체(120a) 등의 전경 객체가 없는 RGB 배경 이미지 및 블라인드 스폿 또는 도트형 아티팩트들일 수 있다.
308에서, 이미지 프로세서(202)는, 제1 객체 마스크(304A)의 제1 객체 경계(304B) 상에 존재하는 단글링-픽셀들 아티팩트를 제거하도록 구성될 수 있다. 제1 객체 마스크(304A) 주변의 도트형 아티팩트들 또는 소정의 제로-깊이 아티팩트들을 제거한 후에, 제1 객체 마스크(304A)의 제1 객체 경계(304B) 상에 존재하는 단글링-픽셀들 아티팩트가 제거될 수 있다. 단글링-픽셀들 아티팩트의 제거는 도 3c로부터 더 이해될 수 있다. 이제 도 3c를 참조하면, 단글링-픽셀들 아티팩트(326)가 한 예에 도시되어 있다. 단글링-픽셀들 아티팩트(326)는, 깊이 이미지(112a) 내의 IR 그림자 영역에 인접한 제1 객체 경계(304B)에서의 현저한 변동에 의해 뚜렷해질 수 있다. 영역(124)(도 1b 및 도 3a) 등의 이들 IR 그림자 영역들 내에서, 제1 객체 경계(304B)에서, 객체 경계 변동은 프레임-대-프레임 및 픽셀-픽셀 방식으로 발생할 수 있다. 단글링-픽셀들 아티팩트(326)는, 깊이 이미지(112a) 내의, 영역(124)(도 1b 및 도 3a)에 도시된, 혼돈 깊이로 인해 야기된다. 이미지 프로세서(202)는, 어떤 픽셀 부근의 3x3 픽셀들 중 적어도 하나의 픽셀이 깊이-미정의 픽셀(예를 들어, 제로-깊이 값을 포함하는 픽셀)인 경우, 그 어떤 픽셀을 제1 객체 경계(304B)에서의 단글링-픽셀로서 태깅하도록 구성될 수 있다. 일단 단글링-픽셀들 아티팩트(326)가 식별되고 태깅되고 나면, 단글링-픽셀들 아티팩트(326)가 제거될 수 있다.
이제 도 3a로 돌아가서, 310에서, 이미지 프로세서(202)는 제1 객체 마스크(304A)로부터 자기-그림자(self-shadow)를 제거하도록 구성될 수 있다. 제1 객체 마스크(304A)로부터의 자기-그림자의 제거는 도 3d로부터 더 이해될 수 있다. 이제 도 3d를 참조하면, 자기-그림자 영역(328)이 제1 객체 마스크(304A)에 도시되어 있다. 소정 시나리오에서, 제1 전경 객체(118a) 등의 전경 객체의 일부는, 그 자신 상에 그림자를 캐스팅할 수 있고, 이것은 자기-그림자라고 지칭된다. 자기-그림자 영역(328)은 영역(122d)(도 1b 및 도 3a)에 대응한다. 따라서, 제1 유형의 센서(104a)의 IR 방출기들에 의해 방출된 IR 광이 소정 영역으로 전파되지 않아 제1 객체 마스크(304A)에서 자기-그림자 영역(328)을 야기할 수 있기 때문에, 자기-그림자 영역(328) 내의 픽셀들도 역시 제로-깊이 값들을 포함할 수 있다. RGB 이미지(110a)에서 제1 객체 마스크(304A) 외부의 제로-깊이 아티팩트들의 제거 및 제1 객체 마스크(304A) 외부의 배경(116a)의 동적 업데이트 후에, 이미지 프로세서(202)는 제1 객체 마스크(304A) 내의 픽셀들을 처리하도록 구성될 수 있다. 픽셀이 제1 전경 객체(118a)의 제1 객체 마스크(304A)에서 제로-깊이 값을 갖는 경우에, 제1 객체 마스크(304A) 내의 제로-깊이 값을 갖는 모든 처리된 픽셀들은 전경 픽셀로서 분류될 수 있다.
이제 다시 도 3a로 돌아가면, 312에서, 이미지 프로세서(202)는 RGB 이미지(110a) 상에서 이동 템플릿 필터를 이용하여 제1 객체 마스크(304A)의 제1 객체 경계(304B)를 평활화하도록 구성될 수 있다. 이동 템플릿 필터를 이용한 제1 객체 경계(304B)의 평활화는, 예를 들어, 도 3e, 도 3f, 도 3g, 도 3h, 및 도 3i로부터 상세히 이해될 수 있다. 이제 도 3e를 참조하면, 이동 템플릿 필터(330), (화살표로 표시된) 법선(330A), 외부 밴드(332), 내부 밴드(334), 및 경계 픽셀 밴드(336), 및 경계 픽셀 밴드(336)의 앵커 픽셀(336a)이 도시되어 있다. 이미지 프로세서(202)는, 제1 전경 객체(118a) 등의 관심대상 객체의 초기 객체 경계를 정의하도록 구성될 수 있다. 메모리(204)에 저장된 세그먼트화 알고리즘은, 제로-깊이 아티팩트들, 단글링-픽셀들 아티팩트(326), 및 자기-그림자 등의, 모든 아티팩트들의 제거 후에, 제1 객체 경계(304B) 등의 초기 객체 경계를 정의하는데 이용될 수 있다. 경계 픽셀들의 픽셀 좌표들은 이미지 프로세서(202)에 의해 획득된다.
이동 템플릿 필터(330)는 경계 픽셀 밴드(336)를 따라 이동하는 템플릿 기반의 이동-윈도우일 수 있다. 한 실시예에 따르면, 이동 템플릿 필터(330)의 템플릿 형상은 원형일 수 있다. 일부 실시예에서, 템플릿의 형상은, 본 개시내용의 범위를 제한하지 않으면서, 타원형 또는 다각형일 수 있다. (점모양 패턴으로 표시된) 외부 밴드(332)는, 한 예에 도시된 바와 같이, 제1 객체 마스크(304A)의 제1 객체 경계(304B) 외부의 근처 픽셀들의 그룹이다. (빗금 라인 패턴으로 표시된) 내부 밴드(334)는, 한 예에 도시된 바와 같이, 제1 객체 마스크(304A)의 제1 객체 경계(304B) 내부의 근처 픽셀들의 그룹이다. 경계 픽셀 밴드(336)는 제1 객체 마스크(304A)의 제1 객체 경계(304B)의 경계 픽셀들을 포함한다. 경계 픽셀 밴드(336)는 외부 밴드(332)와 내부 밴드(334) 사이의 백색 픽셀로서 표시된다.
한 실시예에 따르면, 이동 템플릿 필터가, 제1 객체 마스크(304A)의 (내부 밴드(334) 등의) 내부 영역에 위치한 제1 세트의 픽셀들과, 제1 객체 마스크(304A) 외부의 (외부 밴드(332) 등의) 외부 영역에 위치한 제2 세트의 픽셀들을 포함할 수 있도록, 이동 템플릿 필터(330)는 제1 객체 경계(304B)의 앵커 픽셀(336a) 등의 경계 픽셀을 둘러싸도록 RGB 이미지(110a) 상에 위치할 수 있다. 달리 말하면, 이동 템플릿 필터(330) 내의 픽셀들은, 경계 픽셀, 제1 세트의 픽셀들(내부 픽셀들), 및 제2 세트의 픽셀들(외부 픽셀들)의 양쪽에 2개의 서브세트를 형성한다. 이동 템플릿 필터(330)가 경계 픽셀(즉, 앵커 픽셀(336a)) 상에 중심을 두고 있을 때, 제1 세트의 픽셀들 및 제2 세트의 픽셀들로의 정확한 분할이 발생할 수 있다. 제1 객체 경계(304B)에 대한 (화살표로 표시된) 법선(330A)은 이동 템플릿 필터(330)의 최상의 위치 탐색의 방향을 정의할 수 있다.
한 실시예에 따르면, 이미지 프로세서(202)는, 앵커 픽셀(336a)을 통과하는 법선(330A)을 따라 픽셀들에 순차적으로 이동 템플릿 필터(330)를 적용하도록 구성될 수 있다. 이미지 프로세서(202)는, 이동 템플릿 필터(330) 내의 제1 세트의 픽셀들과 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값에서의 차이를 계산하도록 구성될 수 있다. 즉, 이동 템플릿 필터(330)가 경계 픽셀들을 따라 이동할 때 이동 템플릿 필터(330)의 각각의 위치에서, 제1 세트의 픽셀들과 제2 세트의 픽셀들 사이의 컬러-밝기에서의 차이가 계산될 수 있다. 컬러-밝기에서의 최대 차이를 제공하는 법선(330A)을 따른 이동 템플릿 필터(330)의 위치는, 제1 객체 경계(304B)의 정교화를 위한 후보가 될 수 있다. 즉, 이미지 프로세서(202)는, 제1 세트의 픽셀들과 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값에서의 계산된 차이에 기초하여 제1 객체 경계(304B)의 평활화를 위한 후보 픽셀로서 경계 픽셀을 식별하도록 구성될 수 있다. 플렉스블 및 방향성 필터로서 작용하는 이동 템플릿 필터(330)의 많은 장점이 있다. 예를 들어, 이동 템플릿 필터(330)의 지오메트리는, 제1 객체 경계(304B) 등의 객체의 경계의 로컬 지오메트리에 맞게 조정될 수 있다. 또한, 이동 템플릿 필터(330)에 의한 평활화는 비-로컬 밝기 변환에 대해 불변이다. 또한, 이동 템플릿 필터(330)에 의한 평활화는, 이동 템플릿 필터(330) 내의 총 픽셀 수와 검색 길이로 곱해진 경계 픽셀들의 수의 복잡성이 단순화되어 매우 빠르다.
도 3f 내지 3i를 참조하면, 제1 객체 마스크(304A)의 예시적인 조정이 도시되어 있다고, 여기서, 조정은 제1 객체 마스크(304A) 등의 객체 마스크 내에 있을 수 있다. 이제 도 3f를 참조하면, (백색 픽셀로 표시된) 초기 객체 마스크(338A) 및 (점선 픽셀로 표시된) 초기 배경(340A)이 도시되어 있다. 초기 객체 마스크(338A)는 제1 객체 마스크(304A)에 대응한다. 초기 배경(340A)은 배경(116a)에 대응한다. 도 3g를 참조하면, (라인 패턴으로 표시된) 초기 객체 마스크(338A)를 조정하는 밴드(342)가 더 도시되어 있다. 밴드(342)는 내부 밴드(334)에 대응할 수 있다(도 3e). 도 3h를 참조하면, 밴드(342) 내의 조정된 객체 경계(344)가 더 도시되어 있다. 이미지 프로세서(202)는, 이동 템플릿 필터(330) 내의 (제1 객체 마스크(304A)의 제1 객체 경계(304B) 등의) 초기 객체 마스크(338A)의 초기 객체 경계에 대한 (도 3e의) 법선(330A)을 따라 최대 이미지 그래디언트를 갖는 픽셀들을 발견하도록 구성될 수 있다. 초기 객체 경계에 대한 (도 3e의) 법선(330A)은 이미지 그래디언트가 계산되는 방향을 정의한다. 법선(330A)을 따른 최대 이미지 그래디언트를 갖는 픽셀(346) 등의 소정 픽셀들은 조정된 객체 경계(344)를 정의한다. 도 3i를 참조하면, 조정된 배경(340B), 조정된 객체 마스크(338B), 조정된 객체 경계(344), 및 최대 이미지 그래디언트를 갖는 픽셀(346)이 도시되어 있다. 조정된 객체 마스크(338B)는 제2 객체 마스크에 대응하고 조정된 객체 경계(344)는 제2 객체 마스크의 제2 객체 경계에 대응한다. 일부 실시예에서, 프레임들 사이의 객체 경계의 변동은, 제1 객체 경계(304B) 등의 객체의 경계에 (이동 템플릿 필터(330)의 이용 등에 의해) 이동 평균화를 적용함으로써 상당히 감소될 수 있다. 이동 템플릿 필터(330)의 최적 길이는 컬러 이미지의 크기에 의존할 수 있다. 예를 들어, 고선명(HD) 이미지의 경우, 이동 템플릿 필터(330)의 최적 길이는 약 21 픽셀일 수 있다.
이제 도 3j를 참조하면, 제2 객체 경계(348B)를 갖는 제2 객체 마스크(348A)가 도시되어 있다. 제2 객체 마스크(348A)의 위치는 제1 전경 객체(118a)의 현재 위치에 대응한다. 이미지 프로세서(202)는, 제1 객체 경계(304B)의 평활화에 기초하여 제2 객체 경계(348B)를 갖는 제2 객체 마스크(348A)를 생성하도록 구성될 수 있다. 따라서, 이미지 프로세서(202)는, 제1 객체 경계(304B) 등의, 객체 경계 안정화 및 초기 객체 경계 상의 변동량의 감소를 위한 일련의 정교화 연산(예를 들어, 도 3a 및 도 3b 내지 도 3i의 처리 파이프라인(300)에 도시된 연산(306A, 306B, 308, 310 및 312)을 실행한다.
도 3k를 참조하면, RGB 이미지(110a)의 배경(116a)으로부터 묘사된 제1 전경 객체(118a) 등의 예시적인 최종 세그먼트화 결과(350)가 도시되어 있다. 이미지 프로세서(202)는, 제2 객체 경계(348B)를 갖는 생성된 제2 객체 마스크(348A)에 기초하여 RGB 이미지(110a)로부터 제1 전경 객체(118a) 등의 관심대상 객체를 추출하도록 구성될 수 있다. 제2 객체 경계(348B)를 갖는 생성된 제2 객체 마스크(348A)는, 정교화된 제1 객체 경계(304B)를 갖는 정교화된 제1 객체 마스크(304A)에 대응한다. 최종 세그먼트화 결과(350)는, 제로-깊이 또는 도트형 아티팩트들, 단글링-픽셀들 아티팩트(326), 자기-그림자 등의 임의의 아티팩트가 없을 수 있다.
이제 도 3a로 돌아가서, 314에서, 이미지 프로세서(202)는, 제1 전경 객체(118a)에 새로운 배경을 제공하기 위해 새로운 RGB 이미지를 회수하도록 구성될 수 있다. 새로운 RGB 이미지는 RGB 이미지(110a)와는 상이할 수 있다. 도 3l은, 제1 전경 객체(118a) 등의, 추출된 관심대상 객체에 대한 배경 대체 동작을 나타낸다. 이제 도 3l을 참조하면, 이미지(352) 및 이미지(352)의 배경(354)이 도시되어 있다. 이미지 처리 장치(102)는, 제1 전경 객체(118a) 등의 추출된 관심대상 객체를, 제1 전경 객체(118a)에 대한 배경(354) 등의, 새로운 배경을 제공하는 이미지(352) 등의 새로운 이미지 내에 임베딩하도록 구성될 수 있다. 대개, 제1 전경 객체(118a) 등의 추출된 관심대상 객체의 새로운 배경에의 임베딩은, 제1 전경 객체(118a)와 배경(354) 등의 새로운 배경 사이의 컬러-밝기 값에서의 변화로 인해 현저하다.
이제 도 3a로 돌아가서, 316에서, 객체 혼합 프로세서(206)는, 새로운 배경으로의 부드러운 컬러-밝기 천이를 위해 새로운 배경과의 제2 객체 경계(348B)에 혼합 연산을 최종적으로 적용하도록 구성될 수 있다. 도 3m은 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 새로운 이미지 내의 관심대상 객체의 정교화된 객체 경계에 적용된 혼합 연산을 나타낸다. 이제 도 3m을 참조하면, 객체-외부 층(356), 객체-옆(next-to-object) 내부 층(358), 및 제2 객체 경계(348B)가 도시되어 있다. 객체-외부 층(356)이란 제2 객체 경계(348B) 외부의 배경 픽셀들을 지칭한다. 한 실시예에 따르면, 객체-외부 층(356)에서 선택된 픽셀들의 수는, 새로운 이미지의 이미지 해상도 및 최종 세그먼트화 결과(350)의 픽셀-레벨 정확성의 정도에 의존할 수 있다. 예를 들어, 객체-외부 층(356)은, 제2 객체 경계(348B) 외부의, 새로운 배경(354) 등의 새로운 배경의 3개의 배경 픽셀 층일 수 있다. 일부 실시예에서, 객체-외부 층(356)은 제2 객체 경계(348B) 외부의 새로운 배경의 하나의 픽셀 층일 수 있다. 객체-옆 내부 층(358)은 제2 객체 경계(348B) 내부의 제1 전경 객체(118a)의 전경 픽셀들을 지칭한다. 객체 혼합 프로세서(206)는, (배경(354) 등의) 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해, (이미지(352) 등의) 새로운 이미지 내의 제1 전경 객체(118a) 등의 관심대상 객체의 제2 객체 경계(348B)에 혼합 연산을 적용하도록 구성될 수 있다. 객체 혼합 프로세서(206)는, 제2 객체 경계(348B)의 경계 픽셀이 객체-옆 내부 층(358)의 (컬러-밝기에 있어서) 상당히 상이한 내부 픽셀들과 객체-외부 층(356)의 외부 픽셀들 사이에 위치하는지를 결정하도록 구성될 수 있다. 이러한 경우에, 내부 픽셀들 및 외부 픽셀들의 컬러-밝기 값에서의 차이가 임계값보다 큰 경우, 객체 혼합 프로세서(206)는 부드러운 혼합을 제공하기 위해 경계 픽셀의 컬러-밝기 값을 변경하도록 구성될 수 있다. 달리 말하면, 제2 객체 경계(348B)의 경계 픽셀의 컬러 값 또는 밝기 값 중 적어도 하나가 업데이트될 수 있다. 업데이트는, 경계 픽셀 및 경계 픽셀에 인접한 픽셀들의 세트의 컬러 값 또는 밝기 값 사이의 차이에 기초하여 이루어질 수 있다. 경계 픽셀에 인접한 픽셀들의 세트는, 관심대상 객체(즉, 객체-옆 내부 층(358)) 내의 제1 개수의 픽셀들 및 (이미지(352) 등의) 새로운 이미지의 새로운 배경 내의(즉, 배경(354)의 객체 외부 층(356) 내의) 제2 개수의 픽셀들을 포함한다. 예를 들어, 경계 픽셀에 대한 새로운 컬러-밝기 값은, 내부 픽셀들과 외부 픽셀들의 50-50% 혼합으로서 설정될 수 있다. 객체 경계 안정화와 결합된 제2 객체 경계(348B)의 이러한 1-픽셀 혼합은, 정확하고 시각적으로 인지가능한 아티팩트가 없는 혼합을 제공할 수 있다.
도 4a 및 도 4b는, 본 개시내용의 한 실시예에 따른, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 예시적인 방법을 집합적으로 도시하는 플로차트이다. 도 4a 및 도 4b를 참조하면, 플로차트(400)가 도시되어 있다. 이미지 처리 장치(102)에서 구현되는 플로차트(400)는, 도 1a, 도 1b, 도 2, 및 도 3a 내지 도 3m의 요소들과 연계하여 설명된다. 이 방법은 402에서 시작하여 404로 진행한다.
404에서, 제1 유형의 센서(104a)로부터의 장면의 깊이 이미지 및 제2 유형의 센서(104b)로부터의 장면의 컬러 이미지가 수신될 수 있다. 장면은 적어도 관심대상 객체를 포함할 수 있다. 이미지 프로세서(202)는, 제1 유형의 센서(104a)(예를 들어, 깊이 센서)로부터 장면(예를 들어, 장면(114))의 깊이 이미지(예를 들어, 깊이 이미지(112a))를 수신하도록 구성될 수 있다. 이미지 프로세서(202)는 또한, 제2 유형의 센서(104b)(예를 들어, RGB 이미지 센서)로부터 동일한 장면의 컬러 이미지(예를 들어, RGB 이미지(110a))를 수신할 수 있다. 일부 실시예에서, 센서 회로(104)가 이미지 처리 장치(102)에 통신가능하게 결합된 외부 센서 디바이스인 경우, 깊이 이미지 및 컬러 이미지는 네트워크 인터페이스(210)를 통해 이미지 프로세서(202)에 의해 수신될 수 있다.
406에서, 장면의 컬러 이미지의 처리는 제1 유형의 센서(104a)의 FOV로 제약될 수 있다. 달리 말하면, 장면의 컬러 이미지는, 동일한 장면의 깊이 이미지를 캡처하는 제1 유형의 센서(104a)의 FOV와 동등한 컬러 이미지의 영역까지 처리될 수 있다. 예를 들어, 도 1b에 도시된 바와 같이, 영역(122a)에서 0-깊이 아티팩트를 해결하기 위해, 이미지 프로세서(202)는, 평행 점선으로 도시된 바와 같이, 장면(114)의 RGB 이미지(110a)의 처리를 제1 유형의 센서(104a)의 FOV로 제약하도록 구성될 수 있다.
408에서, 관심대상 객체의 제1 객체 마스크는 수신된 깊이 이미지에 관한 깊이 임계 연산에 의해 획득될 수 있다. 임계 깊이 값보다 큰 복수의 깊이 값은, 제1 객체 마스크를 획득하기 위해 깊이 임계 연산에 의해 배제될 수 있다. 임계 깊이 값은 관심대상 객체의 제1 객체 마스크의 픽셀들과 연관된 최대 깊이 값에 대응할 수 있다. 예를 들어, 이미지 프로세서(202)는, (도 3a의) 수신된 깊이 이미지(112a)에 관한 깊이 임계 연산에 의해, 제1 전경 객체(118a) 등의, 관심대상 객체의 제1 객체 경계(304B)를 갖는 제1 객체 마스크(304A)를 획득하도록 구성될 수 있다. 제1 유형의 센서(104a) 등의 현대의 깊이 센서로부터 수신된 깊이 정보는, 대개 불완전하므로, 깊이 이미지(112a)는, 도 1b에서 관찰되고 논의된 바와 같이, 영역(122a 내지 122d) 및 영역(124) 등의, 그림자 영역을 포함한다. 깊이 이미지(112a) 등의 깊이 맵의 불완전성은, 특히 이미지 프레임들의 시퀀스 중의 프레임들 사이에서 볼 수 있는, 객체의, 제1 객체 경계(304B) 등의 경계 상에서 상당한 변동을 야기할 수 있다.
410에서, 제로-깊이 아티팩트들이 깊이 이미지로부터 제거될 수 있다. 제로-깊이 아티팩트들은 깊이 이미지에서 미지의 깊이 값을 갖는 영역에 대응할 수 있다. 미지의 깊이 값과 연관된 픽셀은, 제로-깊이 아티팩트들의 제거를 위한 명시된 기준에 기초하여 배경 픽셀 또는 전경 픽셀로서 분류될 수 있다. 예를 들어, 이미지 프로세서(202)는, 동작 306A에 의해 도시된 바와 같이, 제1 객체 마스크(304A) 상의 및 그 주변의 도트형 아티팩트들을 제거하도록 구성될 수 있다. 도트형 아티팩트들은 제로-깊이 아티팩트들에 대응한다. 제1 객체 마스크(304A) 상의 및 그 주변의 제로-깊이 아티팩트들을 제거하는 예는, 도 3b의 제로-깊이 분류 맵(318)에 의해 더 설명된다.
412에서, 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀들 아티팩트가 제거될 수 있다. 예를 들어, 이미지 프로세서(202)는, 도 3c에서 설명된 바와 같이, 제1 객체 마스크(304A)의 제1 객체 경계(304B) 상에 존재하는 단글링-픽셀들 아티팩트(326)를 제거하도록 구성될 수 있다. 이미지 프로세서(202)는, 어떤 픽셀 부근의 3x3 픽셀들 중 적어도 하나의 픽셀이 깊이-미정의 픽셀(예를 들어, 제로-깊이 값을 포함하는 픽셀)인 경우, 그 어떤 픽셀을 제1 객체 경계(304B)에서의 단글링-픽셀로서 태깅하도록 구성될 수 있다. 일단 단글링-픽셀들 아티팩트(326)가 식별되고 태깅되고 나면, 단글링-픽셀들 아티팩트(326)가 제거될 수 있다.
414에서, 관심대상 객체의 일부에 의해 제1 객체 마스크 상에 캐스팅된 IR 그림자가 깊이 이미지로부터 제거될 수 있다. 예를 들어, 이미지 프로세서(202)는 제1 객체 마스크(304A)로부터 자기-그림자를 제거하도록 구성될 수 있다. 도 3d는, 한 예에서, 제1 객체 마스크(304A)에서의 자기-그림자 영역(328)의 제거를 나타낸다. 한 실시예에 따르면, 제1 객체 마스크 외부의 배경 영역은, IR 그림자의 제거 전에 컬러 이미지에서 동적으로 업데이트될 수 있다.
416에서, 제1 객체 마스크의 제1 객체 경계는, 단글링-픽셀들 아티팩트 및 기타 아티팩트의 제거 후에 컬러 이미지 상에서 이동 템플릿 필터를 이용하여 평활화될 수 있다. 이동 템플릿 필터(330)를 이용한 제1 객체 경계(304B)의 평활화는, 도 3e, 3f, 3g, 3h, 및 3i로부터 이해될 수 있다.
418에서, 제2 객체 경계를 갖는 제2 객체 마스크는 제1 객체 경계의 평활화에 기초하여 생성될 수 있다. 예를 들어, 이미지 프로세서(202)는, 도 3j에 도시되고 설명된 바와 같이, 제1 객체 경계(304B)의 평활화에 기초하여 제2 객체 경계(348B)를 갖는 제2 객체 마스크(348A)를 생성하도록 구성될 수 있다.
420에서, 컬러 이미지로부터의 관심대상 객체는 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 추출될 수 있다. 관심대상 객체 추출의 예가 도 3k에서 도시되고 설명되며, 여기서, 제1 전경 객체(118a) 등의 최종 세그먼트화 결과(350)는 RGB 이미지(110a)의 배경(116a)으로부터 묘사될 수 있다.
422에서, 추출된 관심대상 객체는 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩될 수 있다. 예를 들어, 도 3l에 도시되고 설명된 바와 같이, 이미지 처리 장치(102)는, 제1 전경 객체(118a) 등의 추출된 관심대상 객체를, 제1 전경 객체(118a)에 대한 배경(354) 등의 새로운 배경을 제공하는, 이미지(352) 등의 새로운 이미지 내에 임베딩하도록 구성될 수 있다.
424에서, 혼합 연산은, 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 새로운 이미지 내의 관심대상 객체의 제2 객체 경계에 적용될 수 있다. 혼합 연산의 예가 도 3m에서 설명된다. 객체 혼합 프로세서(206)는, (배경(354) 등의) 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해, (이미지(352) 등의) 새로운 이미지 내의 제1 전경 객체(118a) 등의 관심대상 객체의 제2 객체 경계(348B)에 혼합 연산을 적용하도록 구성될 수 있다.
426에서, 이미지 프레임들의 시퀀스 중의 컬러 이미지 등의 모든 이미지 프레임들이 처리되는지가 체크될 수 있다. 이미지 프레임들의 시퀀스 중의 모든 이미지 프레임이 처리되지는 않는 경우에, 제어는 404로 되돌아가서, 다음 이미지 프레임에 대해, 객체 추출 및 혼합 프로세스를 반복할 수 있다. 프로세스는 이미지 프레임의 모든 시퀀스가 처리될 때까지 반복될 수 있고, 대체된 배경과 함께 새로운 비디오가 생성된다. 이미지 프레임들의 시퀀스 중의 모든 이미지 프레임이 처리되는 경우, 제어는 종료(428)로 진행할 수 있다.
본 개시내용의 한 실시예에 따르면, 이미지 프레임들의 시퀀스 중의 이미지(예를 들어, RGB 이미지(110a))에서의 객체 경계 안정화를 위한 이미지 처리 시스템이 개시된다. 이미지 처리 시스템은, (이미지 프로세서(202)(도 2) 등의) 적어도 하나의 이미지 프로세서를 포함할 수 있는, 이미지 처리 장치(102)(도 1a)를 포함할 수 있다. 이미지 프로세서(202)는, 제1 유형의 센서(104a)로부터의 장면(예를 들어, 장면(114))의 깊이 이미지(예를 들어, 깊이 이미지(112a)) 및 제2 유형의 센서(104b)로부터의 장면의 컬러 이미지(예를 들어, RGB 이미지(110a))를 수신하도록 구성될 수 있다. 장면은 적어도 관심대상 객체(예를 들어, 제1 전경 객체(118a))를 포함할 수 있다. 이미지 프로세서(202)는 또한, 수신된 깊이 이미지에 관한 깊이 임계 연산에 의해 관심대상 객체의 제1 객체 마스크(예를 들어, 제1 객체 마스크(304A))를 획득하도록 구성될 수 있다. 이미지 프로세서(202)는 또한, 제1 객체 마스크의 제1 객체 경계(예를 들어, 제1 객체 경계(304B)) 상에 존재하는 단글링-픽셀들 아티팩트(예를 들어, 단글링-픽셀들 아티팩트(326))를 제거하도록 구성될 수 있다. 이미지 프로세서(202)는, 단글링-픽셀들 아티팩트의 제거 후에 컬러 이미지 상에서 이동 템플릿 필터(예를 들어, 이동 템플릿 필터(330))를 이용하여 제1 객체 마스크의 제1 객체 경계를 평활화하도록 구성될 수 있다. 이미지 프로세서(202)는 또한, 제1 객체 경계의 평활화에 기초하여 제2 객체 경계(예를 들어, 제2 객체 경계(348B))를 갖는 제2 객체 마스크(예를 들어, 제2 객체 마스크(348A))를 생성하도록 구성될 수 있다. 이미지 프로세서(202)는 또한, 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 컬러 이미지로부터 관심대상 객체(예를 들어, 최종 세그먼트화 결과(350))를 추출하도록 구성될 수 있다.
깊이-기반 객체 세그먼트화 및 객체 혼합 방법에는 소정의 해결과제가 있다. 깊이-기반의 객체 세그먼트화 방법에서, 객체 세그먼트화를 위한 깊이 맵의 이용은, 컬러 이미지(예를 들어, RGB 이미지(110a))만을 이용하는 방법과 비교하여, 객체 묘사 프로세스에서 많은 불확실성의 회피를 허용할 수 있다. 그러나, 깊이 이미지(예를 들어, 깊이 맵)를 제공하는 (제1 유형의 센서(104a) 등의) 기존의 깊이 센서는, (제2 유형의 센서(104b) 등의) RGB 카메라의 증가하는 해상도에 필적하기에는 여전히 정확도와 지연이 부족하다. 예를 들어, 깊이 센서로부터 수신된 깊이 이미지(112a)는, 깊이 센서의 적외선(IR) 방출기로부터의 광이 전파되지 않아, 미지의 깊이를 갖는 영역에서, 제로-깊이 아티팩트들을 유발할 수 있는 그림자 영역을 포함할 수 있다. 제로-깊이 아티팩트들은, 깊이 이미지(112a)에서, 미지의 깊이 값을 갖는 영역, 예를 들어 영역(122a, 122b, 122c 및 122d)에 대응한다. 또한, 깊이 정보는 객체의 경계에서 가장 불확실하며, 객체의 경계에서는 깊이가 급격히 떨어지고, 이미지 프레임들 사이에서 강하게 변동할 수 있다. 현대의 깊이 센서들의 깊이 정보에서의 불완전성은, 이미지 프레임들의 시퀀스, 예를 들어, 영화 또는 기타의 비디오의 프레임들 사이에서 특히 볼 수 있는, 세그먼트화된 객체의 경계 상에서의 상당한 변동을 초래한다. 결과적인 아티팩트들은 시청자에게 눈에 띄고 시각적으로 불쾌하다. 예를 들어, 단글링-픽셀들 아티팩트(326)는, 깊이 이미지(112a) 내의, 영역(124)(도 1b 및 도 3a)에 도시된, 혼돈 깊이로 인해 야기된다. 또한, 소정 시나리오에서, 제1 전경 객체(118a) 등의 전경 객체의 일부는, 그 자신 상에 그림자를 캐스팅할 수 있고, 이것은 자기-그림자라고 지칭된다. 자기-그림자 영역(328)은 영역(122d)(도 1b 및 도 3a)에 대응한다. 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 개시된 이미지 처리 장치(102) 및 방법은 깊이-기반의 객체 세그먼트화의 상기 문제점들을 해결한다. 이미지 프로세서(202)는, 관심대상 객체에 대한 객체 경계 변동량을 감소시키기 위해 순차 정교화 연산을 실행하도록 구성될 수 있다. 이미지 프로세서(202)는, 관심대상 객체의 경계를 정확하게 식별하기 위해 깊이 이미지와 컬러 이미지 양쪽 모두를 이용하도록 구성될 수 있다. 제1 유형의 센서(104a) 등의 깊이 센서의 특징인 깊이 맵에서의 전형적인 아티팩트는, 예를 들어, 도 3a의 처리 파이프 라인(300)에서의 동작 304, 306A, 306B, 308, 310, 312, 및 316에 의해 설명된 바와 같이, 순차 정교화 연산에 의해 제거될 수 있다. 또한, 플렉스블 및 방향성 필터로서 작용하는 이동 템플릿 필터(330)의 많은 장점이 있다. 예를 들어, 이동 템플릿 필터(330)의 지오메트리는, 제1 객체 경계(304B) 등의 객체의 경계의 로컬 지오메트리에 맞게 조정될 수 있다. 또한, 이동 템플릿 필터(330)에 의한 평활화는 비-로컬 밝기 변환에 대해 불변이다. 또한, 이동 템플릿 필터(330)에 의한 평활화는, 종래의 방법에 비해, 이동 템플릿 필터(330) 내의 총 픽셀 수와 검색 길이로 곱해진 경계 픽셀들의 수의 복잡성이 단순화되어 매우 빠르다.
추가로, 제1 전경 객체(118a) 등의 추출된 관심대상 객체의 새로운 배경에의 임베딩은, 제1 전경 객체(118a)와 배경(354) 등의 새로운 배경 사이의 컬러-밝기 값에서의 변화로 인해 대개 현저하다. 그러나, 객체 혼합 프로세서(206)가, 도 3m에서 설명된 바와 같이, 새로운 배경과의 제2 객체 경계(348B)에 대한 혼합 연산을 적용함에 따라, 새로운 배경으로의 부드러운 컬러-밝기 천이가 달성될 수 있다. 소정의 시나리오에서, 객체 경계 안정화와 결합된 제2 객체 경계(348B)의 이러한 1-픽셀 혼합은, 정확하고 시각적으로 아티팩트가 없는 혼합을 제공할 수 있다. 이미지 프로세서(202) 및 객체 혼합 프로세서(206)에 의해 수행되는 연산들은, 종래 기술의 깊이-기반의 객체 세그먼트화 방법과 비교하여, 상이한 아티팩트들의 제거 후 이동 템플릿 필터(330)의 이용에 의해, 이미지 처리 장치(102) 자체를 객체 경계 안정화에 대해 더욱 견고하게 만든다.
본 개시내용의 다양한 실시예는 비일시적인 컴퓨터 판독가능한 매체 및/또는 저장 매체를 제공할 수 있고, 이들 매체에는, 이미지 프레임들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위해 머신 및/또는 컴퓨터에 의해 실행가능한 명령어 세트가 저장된다. 명령어 세트는, 머신 및/또는 컴퓨터로 하여금, 제1 유형의 센서(104a)로부터의 장면(예를 들어, 장면(114))의 깊이 이미지(예를 들어, 깊이 이미지(112a)) 및 제2 유형의 센서(104b)로부터의 장면의 컬러 이미지(예를 들어, RGB 이미지(110a))를 수신하게 할 수 있다. 장면은 적어도 관심대상 객체(예를 들어, 제1 전경 객체(118a))를 포함할 수 있다. 관심대상 객체의 제1 객체 마스크(예를 들어, 제1 객체 마스크(304A))는 수신된 깊이 이미지에 관한 깊이 임계 연산에 의해 생성될 수 있다. 제1 객체 마스크의 제1 객체 경계(예를 들어, 제1 객체 경계(304B)) 상에 존재하는 단글링-픽셀들 아티팩트(예를 들어, 단글링-픽셀들 아티팩트(326))가 제거될 수 있다. 제1 객체 마스크의 제1 객체 경계는, 단글링-픽셀들 아티팩트의 제거 후에 컬러 이미지 상에서 이동 템플릿 필터(예를 들어, 이동 템플릿 필터(330))를 이용하여 평활화될 수 있다. 제2 객체 경계(예를 들어, 제2 객체 경계(348B))를 갖는 제2 객체 마스크(예를 들어, 제2 객체 마스크(348A))는 제1 객체 경계의 평활화에 기초하여 생성될 수 있다. 컬러 이미지로부터의 관심대상 객체(예를 들어, 최종 세그먼트화 결과(350))는 제2 객체 경계를 갖는 생성된 제2 객체 마스크에 기초하여 추출될 수 있다.
본 개시내용은, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은, 적어도 하나의 컴퓨터 시스템에서 중앙집중식 방식으로, 또는 상이한 요소들이 수 개의 상호접속된 컴퓨터 시스템들에 걸쳐 분산되어 있을 수 있는 분산형 방식으로 실현될 수 있다. 여기서 설명된 방법을 수행하도록 적합화된 컴퓨터 시스템 또는 다른 장치가 적절할 수도 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되고 실행될 때, 본 명세서에서 설명된 방법들을 실행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖춘 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들도 역시 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수도 있다.
본 개시내용은 또한, 여기서 설명된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이들 방법을 실행할 수 있는 모든 피처들을 포함하는 컴퓨터 프로그램 제품에 임베딩될 수도 있다. 컴퓨터 프로그램은, 본 문맥에서, 정보 처리 능력을 가진 시스템으로 하여금, 특정 기능을, 곧바로, 또는 a) 또 다른 언어, 코드 또는 표기로의 변환; b) 상이한 자료 형태로의 재생산 중 어느 하나 또는 양쪽 모두 이후에, 수행하게 하도록 의도된 한 세트의 명령어로 이루어진, 임의의 언어로 된, 임의의 표현, 코드 또는 표기를 의미한다.
본 개시내용이 소정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면, 본 개시내용의 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물로 대체될 수 있다는 것을 이해할 것이다. 또한, 특정한 상황 또는 재료를 본 개시내용의 교시에 맞게 그 본질적 범위로부터 벗어나지 않고 적합하게 개작하도록 많은 수정이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.

Claims (29)

  1. 이미지 처리 장치로서,
    적어도 하나의 이미지 프로세서
    를 포함하고, 상기 적어도 하나의 이미지 프로세서는:
    제1 유형의 센서로부터의 장면 - 상기 장면은 적어도 관심대상 객체(object-of-interest)를 포함함 - 의 깊이 이미지 및 제2 유형의 센서로부터의 상기 장면의 컬러 이미지를 수신하고;
    상기 수신된 깊이 이미지에 관한 깊이 임계 연산(depth thresholding operation)에 의해 상기 관심대상 객체의 제1 객체 마스크를 획득하여 적어도 상기 제1 객체 마스크를 포함하는 임계 깊이 이미지를 생성하고;
    어떤 픽셀 부근의 3x3 픽셀들 중 적어도 하나의 픽셀이 깊이-미정의 픽셀(depth-undefined pixel)인 경우, 상기 어떤 픽셀을 제1 객체 경계에서의 단글링-픽셀로서 마킹하고;
    상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀 아티팩트들(dangling-pixel artifacts)을 제거하고;
    이동 템플릿 필터가 상기 컬러 이미지 내의 상기 경계의 내부의 내부 영역에 위치한 제1 세트의 픽셀들 및 상기 컬러 이미지 내의 상기 경계의 외부의 외부 영역에 위치한 제2 세트의 픽셀들을 포함하도록, 상기 단글링-픽셀 아티팩트들이 제거된 후, 상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 상기 제1 객체 경계에 대응하는 상기 컬러 이미지 내의 경계 상의 복수의 경계 픽셀들 중 적어도 하나를 둘러싸도록 상기 컬러 이미지 상에 상기 이동 템플릿 필터를 위치시키고;
    상기 컬러 이미지 내의 상기 경계에 대한 법선 방향으로 상기 이동 템플릿 필터 내의 픽셀들의 이미지 그래디언트를 계산하고, 최대 이미지 그래디언트를 갖는 상기 픽셀들에 기초하여 제2 객체 경계를 정의함으로써 상기 제2 객체 경계를 가지는 제2 객체 마스크를 생성하기 위해, 상기 단글링-픽셀 아티팩트들이 제거된 후, 상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 상기 제1 객체 경계를 조정하고;
    상기 제2 객체 경계를 갖는 상기 생성된 제2 객체 마스크에 기초하여 상기 컬러 이미지로부터 상기 관심대상 객체를 추출하도록
    구성되는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 컬러 이미지로부터의 상기 관심대상 객체의 상기 추출을 위해 상기 제1 유형의 센서의 시야(field-of-view)(FOV)와 동등한 상기 컬러 이미지의 영역까지 상기 장면의 상기 컬러 이미지를 처리하도록 구성되는 이미지 처리 장치.
  3. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 깊이 임계 연산에 의한 임계 깊이 값보다 큰 복수의 깊이 값을 배제하도록 구성되며, 상기 임계 깊이 값은 상기 관심대상 객체의 상기 제1 객체 마스크의 픽셀들과 연관된 최대 깊이 값에 대응하는 이미지 처리 장치.
  4. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 깊이 이미지로부터 제로-깊이 아티팩트(zero-depth artifact)들을 제거하도록 구성되고, 상기 제로-깊이 아티팩트들은 상기 깊이 이미지에서 미지의 깊이 값들을 갖는 영역들에 대응하는 이미지 처리 장치.
  5. 제4항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 미지의 깊이 값들과 연관된 픽셀들을 명시된 기준에 기초하여 배경 픽셀들 또는 전경 픽셀들로서 분류하도록 구성되는 이미지 처리 장치.
  6. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 깊이 이미지로부터, 상기 관심대상 객체의 일부에 의해 상기 제1 객체 마스크 상에 캐스팅된 적외선(IR) 그림자를 제거하도록 구성되는 이미지 처리 장치.
  7. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 컬러 이미지에서 상기 제1 객체 마스크 외부의 배경 영역을 동적으로 업데이트하도록 구성되는 이미지 처리 장치.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값에서의 차이를 계산하도록 구성되는 이미지 처리 장치.
  11. 제10항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들 사이의 상기 컬러 값 및 상기 밝기 값에서의 상기 계산된 차이에 기초하여, 경계 픽셀을 상기 제1 객체 경계의 평활화에 대한 후보 픽셀로서 식별하도록 구성되는 이미지 처리 장치.
  12. 제1항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 추출된 관심대상 객체를, 상기 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩하도록 구성되는 이미지 처리 장치.
  13. 제12항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 새로운 배경에 대한 부드러운 컬러-밝기 혼합(smooth color-brightness blend)을 위해 상기 새로운 이미지 내의 상기 관심대상 객체의 상기 제2 객체 경계에 혼합 연산(blending operation)을 적용하도록 구성되는 이미지 처리 장치.
  14. 제13항에 있어서, 상기 적어도 하나의 이미지 프로세서는 추가로, 상기 제2 객체 경계의 경계 픽셀의 컬러 값 또는 밝기 값 중 적어도 하나를, 상기 경계 픽셀과 상기 경계 픽셀에 인접한 픽셀들의 세트의 상기 컬러 값 또는 상기 밝기 값 사이의 차이에 기초하여 업데이트하도록 구성되고, 상기 픽셀들의 세트는 상기 제2 객체 마스크 내의 제1 개수의 픽셀들 및 상기 새로운 이미지의 상기 새로운 배경 내의 제2 개수의 픽셀들을 포함하는 이미지 처리 장치.
  15. 객체 경계 안정화를 위한 방법으로서,
    적어도 하나의 이미지 프로세서를 포함하는 이미지 처리 장치에서:
    상기 적어도 하나의 이미지 프로세서에 의해, 제1 유형의 센서로부터의 장면 - 상기 장면은 적어도 관심대상 객체를 포함함 - 의 깊이 이미지 및 제2 유형의 센서로부터의 상기 장면의 컬러 이미지를 수신하는 단계;
    상기 적어도 하나의 이미지 프로세서에 의해, 상기 수신된 깊이 이미지에 관한 깊이 임계 연산에 의해 상기 관심대상 객체의 제1 객체 마스크를 획득하여 적어도 상기 제1 객체 마스크를 포함하는 임계 깊이 이미지를 생성하는 단계;
    상기 적어도 하나의 이미지 프로세서에 의해, 어떤 픽셀 부근의 3x3 픽셀들 중 적어도 하나의 픽셀이 깊이-미정의 픽셀(depth-undefined pixel)인 경우, 상기 어떤 픽셀을 제1 객체 경계에서의 단글링-픽셀로서 마킹하는 단계;
    상기 적어도 하나의 이미지 프로세서에 의해, 상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 제1 객체 경계 상에 존재하는 단글링-픽셀 아티팩트들을 제거하는 단계;
    이동 템플릿 필터가 상기 컬러 이미지 내의 상기 경계의 내부의 내부 영역에 위치한 제1 세트의 픽셀들 및 상기 컬러 이미지 내의 상기 경계의 외부의 외부 영역에 위치한 제2 세트의 픽셀들을 포함하도록, 상기 단글링-픽셀 아티팩트들이 제거된 후, 상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 상기 제1 객체 경계에 대응하는 상기 컬러 이미지 내의 경계 상의 복수의 경계 픽셀들 중 적어도 하나를 둘러싸도록 상기 컬러 이미지 상에 상기 이동 템플릿 필터를 위치시키는 단계;
    상기 컬러 이미지 내의 상기 경계에 대한 법선 방향으로 상기 이동 템플릿 필터 내의 픽셀들의 이미지 그래디언트를 계산하고, 최대 이미지 그래디언트를 갖는 상기 픽셀들에 기초하여 제2 객체 경계를 정의함으로써 상기 제2 객체 경계를 가지는 제2 객체 마스크를 생성하기 위해, 상기 단글링-픽셀 아티팩트들이 제거된 후, 상기 임계 깊이 이미지 내의 상기 제1 객체 마스크의 상기 제1 객체 경계를 조정하는 단계; 및
    상기 적어도 하나의 이미지 프로세서에 의해, 상기 제2 객체 경계를 갖는 상기 생성된 제2 객체 마스크에 기초하여 상기 컬러 이미지로부터 상기 관심대상 객체를 추출하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 컬러 이미지로부터의 상기 관심대상 객체의 상기 추출을 위해 상기 제1 유형의 센서의 시야(FOV)와 동등한 상기 컬러 이미지의 영역까지 상기 장면의 상기 컬러 이미지를 처리하는 단계를 더 포함하는 방법.
  17. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 깊이 임계 연산에 의한 임계 깊이 값보다 큰 복수의 깊이 값을 배제하는 단계를 더 포함하고, 상기 임계 깊이 값은 상기 관심대상 객체의 상기 제1 객체 마스크의 픽셀들과 연관된 최대 깊이 값에 대응하는 방법.
  18. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 깊이 이미지로부터 제로-깊이 아티팩트들을 제거하는 단계를 더 포함하고, 상기 제로-깊이 아티팩트들은 상기 깊이 이미지에서 미지의 깊이 값들을 갖는 영역들에 대응하는 방법.
  19. 제18항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 미지의 깊이 값들과 연관된 픽셀들을 명시된 기준에 기초하여 배경 픽셀들 또는 전경 픽셀들로서 분류하는 단계를 더 포함하는 방법.
  20. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 깊이 이미지로부터, 상기 관심대상 객체의 일부에 의해 상기 제1 객체 마스크 상에 캐스팅된 적외선(IR) 그림자를 제거하는 단계를 더 포함하는 방법.
  21. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 컬러 이미지에서 상기 제1 객체 마스크 외부의 배경 영역을 동적으로 업데이트하는 단계를 더 포함하는 방법.
  22. 삭제
  23. 삭제
  24. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들 사이의 컬러 값 및 밝기 값에서의 차이를 계산하는 단계를 더 포함하는 방법.
  25. 제24항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들 사이의 상기 컬러 값 및 상기 밝기 값에서의 상기 계산된 차이에 기초하여, 경계 픽셀을 상기 제1 객체 경계의 평활화에 대한 후보 픽셀로서 식별하는 단계를 더 포함하는 방법.
  26. 제15항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 추출된 관심대상 객체를 상기 관심대상 객체에 대한 새로운 배경을 제공하는 새로운 이미지 내에 임베딩하는 단계를 더 포함하는 방법.
  27. 제26항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 새로운 배경에 대한 부드러운 컬러-밝기 혼합을 위해 상기 새로운 이미지 내의 상기 관심대상 객체의 상기 제2 객체 경계에 혼합 연산을 적용하는 단계를 더 포함하는 방법.
  28. 제27항에 있어서, 상기 적어도 하나의 이미지 프로세서에 의해, 상기 제2 객체 경계의 경계 픽셀의 컬러 값 또는 밝기 값 중 적어도 하나를, 상기 경계 픽셀과 상기 경계 픽셀에 인접한 픽셀들의 세트의 상기 컬러 값 또는 상기 밝기 값 사이의 차이에 기초하여 업데이트하는 단계를 더 포함하고, 상기 픽셀들의 세트는 상기 제2 객체 마스크 내의 제1 개수의 픽셀들 및 상기 새로운 이미지의 상기 새로운 배경 내의 제2 개수의 픽셀들을 포함하는 방법.
  29. 삭제
KR1020190021699A 2018-03-06 2019-02-25 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법 KR102169431B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/913,246 2018-03-06
US15/913,246 US10643336B2 (en) 2018-03-06 2018-03-06 Image processing apparatus and method for object boundary stabilization in an image of a sequence of images

Publications (2)

Publication Number Publication Date
KR20190106698A KR20190106698A (ko) 2019-09-18
KR102169431B1 true KR102169431B1 (ko) 2020-10-23

Family

ID=65443767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190021699A KR102169431B1 (ko) 2018-03-06 2019-02-25 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US10643336B2 (ko)
EP (1) EP3537378B1 (ko)
JP (1) JP6889417B2 (ko)
KR (1) KR102169431B1 (ko)
CN (1) CN110248085B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043407A1 (ko) * 2022-08-22 2024-02-29 한국전자기술연구원 Ar 영상 수신 장치 및 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
WO2020040729A1 (en) * 2018-08-20 2020-02-27 Hewlett-Packard Development Company, L.P. Generating a preview of a part to be printed
CN110378946B (zh) * 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
US10991130B2 (en) * 2019-07-29 2021-04-27 Verizon Patent And Licensing Inc. Systems and methods for implementing a sensor based real time tracking system
CN110689609B (zh) * 2019-09-27 2020-11-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
USD1027692S1 (en) 2019-10-25 2024-05-21 Icm Airport Technics Australia Pty Ltd Baggage scanner station
USD1002411S1 (en) 2019-10-25 2023-10-24 Icm Airport Technics Australia Pty Ltd Baggage scanner array
CA3065992A1 (en) * 2019-11-11 2021-05-11 Icm Airport Technics Australia Pty Ltd Device with biometric system
JP7287257B2 (ja) * 2019-12-06 2023-06-06 トヨタ自動車株式会社 画像処理装置、表示システム、プログラムおよび画像処理方法
US11430179B2 (en) 2020-02-24 2022-08-30 Microsoft Technology Licensing, Llc Depth buffer dilation for remote rendering
CN113065534B (zh) * 2021-06-02 2021-09-03 全时云商务服务股份有限公司 一种基于人像分割精度提升的方法、系统和存储介质
JP2023072296A (ja) * 2021-11-12 2023-05-24 ソニーグループ株式会社 情報処理装置および方法
WO2023097576A1 (en) * 2021-12-01 2023-06-08 Qualcomm Incorporated Segmentation with monocular depth estimation
CN115170810B (zh) * 2022-09-08 2022-12-13 南京理工大学 一种可见光红外图像融合目标检测实例分割方法
CN115482309B (zh) * 2022-11-04 2023-08-25 平安银行股份有限公司 图像处理方法、计算机设备及存储介质
CN115880327B (zh) * 2022-11-30 2023-10-31 珠海视熙科技有限公司 抠图方法、摄像设备、会议系统、电子设备、装置、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera
US20170372510A1 (en) * 2016-06-27 2017-12-28 Robert Bosch Gmbh Systems and methods for dynamic occlusion handling

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07122908B2 (ja) 1991-03-12 1995-12-25 インターナショナル・ビジネス・マシーンズ・コーポレイション ３次元のソリッド物体を表す表示可能情報を生成する装置と方法
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
EP2384584B1 (en) 2009-01-30 2017-03-15 Thomson Licensing Coding of depth maps
CN102542601A (zh) * 2010-12-10 2012-07-04 三星电子株式会社 一种用于3d对象建模的设备和方法
US9230308B2 (en) * 2011-06-30 2016-01-05 Weyerhaeuser Nr Company Method and apparatus for removing artifacts from aerial images
JP6178321B2 (ja) 2011-11-04 2017-08-09 エンパイア テクノロジー ディベロップメント エルエルシー 画像のためのｉｒ信号捕捉
CN103247050B (zh) * 2013-05-16 2015-12-02 北京工业大学 一种渐进式图像分割方法
CN105144710B (zh) 2013-05-20 2017-09-12 英特尔公司 用于增加深度相机图像的精度的技术
CN104063871B (zh) * 2014-07-04 2017-03-01 西安电子科技大学 可穿戴设备的图像序列场景分割方法
US9741125B2 (en) 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera
US20170372510A1 (en) * 2016-06-27 2017-12-28 Robert Bosch Gmbh Systems and methods for dynamic occlusion handling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043407A1 (ko) * 2022-08-22 2024-02-29 한국전자기술연구원 Ar 영상 수신 장치 및 방법

Also Published As

Publication number Publication date
US10643336B2 (en) 2020-05-05
CN110248085B (zh) 2021-08-06
US20190279371A1 (en) 2019-09-12
EP3537378B1 (en) 2021-11-24
CN110248085A (zh) 2019-09-17
JP6889417B2 (ja) 2021-06-18
KR20190106698A (ko) 2019-09-18
JP2019160298A (ja) 2019-09-19
EP3537378A1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
KR102169431B1 (ko) 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법
US10380756B2 (en) Video processing system and method for object detection in a sequence of image frames
EP3327668B1 (en) Image-processing device and method for foreground mask correction for object segmentation
CN113424223B (zh) 彩色图像帧序列中的基于多个神经网络的对象分割
US10916019B2 (en) Moving object detection in image frames based on optical flow maps
KR102598459B1 (ko) 지평면 검출에 기초한 이미지 시퀀스로부터의 사람 객체의 손실 발 복구
US10122912B2 (en) Device and method for detecting regions in an image
KR102572986B1 (ko) 사용자 지정 초기화 포인트에 기반한 개체 추적
US10089721B2 (en) Image processing system and method for object boundary smoothening for image segmentation
EP3537377B1 (en) Automated tracking and retaining of an articulated object in a sequence of image frames
JP6044138B2 (ja) 画像領域分割装置、方法、およびプログラム
JP6044130B2 (ja) 画像領域分割装置、方法、およびプログラム
JP5962491B2 (ja) 画角調整装置、方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant