KR102084343B1 - 배경 제거 - Google Patents

배경 제거 Download PDF

Info

Publication number
KR102084343B1
KR102084343B1 KR1020187018281A KR20187018281A KR102084343B1 KR 102084343 B1 KR102084343 B1 KR 102084343B1 KR 1020187018281 A KR1020187018281 A KR 1020187018281A KR 20187018281 A KR20187018281 A KR 20187018281A KR 102084343 B1 KR102084343 B1 KR 102084343B1
Authority
KR
South Korea
Prior art keywords
scene
captured
captured scene
color
pixels
Prior art date
Application number
KR1020187018281A
Other languages
English (en)
Other versions
KR20180088862A (ko
Inventor
찰 프라이
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20180088862A publication Critical patent/KR20180088862A/ko
Application granted granted Critical
Publication of KR102084343B1 publication Critical patent/KR102084343B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

캡처된 장면의 일부를 디스플레이하는 방법은 이동 디바이스에서 장면을 시각적으로 캡처하는 단계를 포함할 수 있다. 캡처된 장면의 전경 객체와 연관되는 캡처된 장면의 영역은 이동 디바이스에서 식별될 수 있다. 이동 디바이스는 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 영역과 연관되는 캡처된 이미지의 전경 부분을 포함하는 디스플레이된 장면을 실시간으로 디스플레이할 수 있다. 디스플레이된 장면은 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 영역과 연관되지 않는 캡처된 이미지의 배경 부분과 상이한 배경을 추가로 포함할 수 있다. 디스플레이된 장면은 개별 배경 제거 프로세스의 예상된 결과를 증명할 수 있다.

Description

배경 제거
관련 출원들에 대한 상호참조
본 출원은 2015년 12월 30일에 출원되고, 발명의 명칭이 BACKGROUND REMOVAL인 미국 실용 특허 출원 제14/985,108호에 대한 우선권 및 이의 이득을 주장하며, 미국 실용 특허 출원은 본원에 전체적으로 포함된다.
분야
본원에 설명되는 일부 실시예들은 일반적으로 배경 제거에 관한 것이다.
본원에 달리 표시되지 않는 한, 본원에 설명되는 재료들은 본 출원에서의 청구항들에 대한 선행 기술이 아니고 이 부분에서의 포함에 의해 선행 기술인 것으로 허용되지 않는다.
배경 제거는 일반적으로 배경과 연관되는 이미지의 일부를 제거하거나 다른 방법으로 숨기기 위해 이미지 상에 수행될 수 있다. 이미지의 나머지 또는 다른 방법으로 숨기지 않은 부분은 전경 객체와 연관될 수 있다. 일부 사례들에서, 배경 제거는 마켓플레이스를 통한 판매를 위해 제공되는 제품들의 이미지들 상에 수행될 수 있다.
본원에서 청구되는 발명 대상은 임의의 단점들을 해결하거나 상기 설명된 것들과 같은 환경들에서만 동작하는 실시예들에 제한되지 않는다. 오히려, 이러한 배경은 본원에 설명되는 일부 실시예들이 실시될 수 있는 하나의 기술 영역을 예시하기 위해서만 제공된다.
본 요약은 상세한 설명에서 아래에 추가로 설명되는 개념들의 선택을 간략한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명 대상의 중요한 특징들 또는 본질적 특성들을 식별하도록 의도되지 않으며, 청구된 발명 대상의 범위를 결정할 시에 원조로 사용되도록 의도되지 않는다.
본원에 설명되는 일부 예시적 실시예들은 일반적으로 배경 제거에 관한 것이다.
예시적 실시예에서, 캡처된 장면의 일부를 디스플레이하는 방법은 이동 디바이스에서 장면을 시각적으로 캡처하는 단계를 포함할 수 있다. 캡처된 장면의 전경 객체와 연관되는 캡처된 장면의 영역은 이동 디바이스에서 식별될 수 있다. 이동 디바이스는 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 영역과 연관되는 캡처된 이미지의 전경 부분을 포함하는 디스플레이된 장면을 실시간으로 디스플레이할 수 있다. 디스플레이된 장면은 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 영역과 연관되지 않는 캡처된 이미지의 배경 부분과 상이한 배경을 추가로 포함할 수 있다. 디스플레이된 장면은 개별 배경 제거 프로세스의 예상된 결과를 증명할 수 있다.
발명의 부가 특징들 및 장점들은 이하의 설명에 제시될 것이고, 부분적으로 설명으로부터 명백할 것이거나, 발명의 실시에 의해 습득될 수 있다. 발명의 특징들 및 장점들은 첨부된 청구항들에서 특히 지적되는 기구들 및 조합들에 의해 실현되고 획득될 수 있다. 본 발명의 이러한 및 다른 특징들은 이하의 설명 및 첨부된 청구항들로부터 더 완전히 분명해질 것이거나, 이하에 제시된 바와 같은 발명의 실시에 의해 습득될 수 있다.
본 발명의 상기 및 다른 장점들 및 특징들을 추가로 명확하게 하기 위해, 발명의 더 특정한 설명은 첨부된 도면들에 예시되는 그것의 구체적 실시예들을 참조하여 제공될 것이다. 이러한 도면들이 발명의 전형적 실시예들만을 도시하고 따라서 그것의 범위의 제한으로 간주되지 않아야 한다는 점이 이해된다. 발명은 첨부 도면들의 사용을 통해 부가적으로 특별하게 그리고 상세하게 기재되고 설명될 것이다.
도 1은 배경 제거 시스템의 개략적 표현이다.
도 2는 배경 제거의 예시적 방법의 흐름도이다.
도 3은 간략한 예시적 캡처된 장면을 예시한다.
도 4는 CIELAB 컬러 공간에서의 간략한 예시적 히스토그램을 예시한다.
도 5는 간략한 예시적 픽셀 맵을 예시한다.
도 6은 간략한 예시적 에지 맵을 예시한다.
도 7은 간략한 예시적 전경 에지 맵을 예시한다.
도 8은 간략한 예시적 전경 영역 맵을 예시한다.
도 9는 간략한 예시적 디스플레이를 예시한다.
도 10은 본 개시내용에서 설명하는 적어도 하나의 실시예에 따라 모두 배열되는, 배경 제거의 다른 예시적 방법의 흐름도이다.
일부 사례들에서, 온라인 마켓플레이스는 판매자가 온라인 마켓플레이스를 통한 판매를 위해 제공하기를 원하는 객체의 이미지로부터 배경 이미지 데이터를 제거하기 위한 배경 제거 시스템을 이용할 수 있다. 배경 제거 시스템은 처리된 이미지를 생성하기 위해 판매자로부터 미가공 이미지를 수신하고 서버에서 다양한 배경 제거 기술들을 통해 배경 제거를 수행하는 서버를 포함할 수 있다. 그 다음, 처리된 이미지는 판매자에 의해 승인되거나 거절되고 그리고/또는 온라인 마켓플레이스 상의 리스팅과 연관하여 사용될 수 있다.
일부 사례들에서, 판매자는 사진의 전경에서 판매를 위한 객체로 판매를 위한 객체의 사진을 찍을 수 있다. 일부 사례들에서, 판매자는 사진을 찍기 위해 이동 전화 또는 태블릿 컴퓨터와 같은, 이동 디바이스를 사용할 수 있다. 그 다음, 판매자는 미가공 이미지 상에 배경 제거 프로세스를 수행하기 위해 객체의 미가공 이미지를 서버에 송신할 수 있다. 미가공 이미지는 객체의 전경 이미지 및 배경 이미지를 포함할 수 있다. 일부 구성들에서, 배경 제거 서버는, 배경 제거 서버가 전경 객체와 연관되는 것으로 식별한 이미지 데이터를 포함하는 처리된 이미지를 발생시키기 위해 미가공 이미지에서 객체의 전경 이미지와 연관되는 이미지 데이터를 식별하고 미가공 이미지로부터 다른 이미지 데이터를 제거하려고 시도할 수 있다.
일부 상황들에서, 처리된 이미지는 일부 방식에서 판매자, 온라인 마켓플레이스, 및/또는 잠재적 구매자에게 바람직하지 않을 수 있다. 예를 들어, 배경 제거 서버는 배경 이미지의 부분들을 객체의 전경 이미지와 연관되는 것으로 부정확하게 식별할 수 있고, 그리고/또는 객체의 전경 이미지의 부분들을 배경과 연관되는 것으로 부정확하게 식별할 수 있다. 그 결과, 처리된 이미지는 배경의 부분들을 포함할 수 있고 그리고/또는 판매되는 아이템의 부분들(예를 들어, 객체의 전경 이미지)을 생략할 수 있다. 비성공적 배경 제거는 전경 객체에 포함되는 컬러들과 유사한 컬러들을 포함하는 배경, 전경 객체 및/또는 배경에 걸친 음영들, 일반 조명 조건들, 전경 객체와 연관되는 것으로 식별될 수 있는 배경 피처들 등과 같은, 미가공 이미지에서의 다수의 쟁점의 결과일 수 있다.
온라인 마켓플레이스 상의 리스팅들에 사용되는 바람직하지 않은 이미지들의 수를 감소시키는 시도에서, 배경 제거 서버는 처리된 이미지가 판매자의 리스팅과 연관하여 사용되기 전에 승인을 위해 처리된 이미지 또는 처리된 이미지의 일부 표현을 판매자에게 다시 송신할 수 있다. 판매자는 처리된 이미지를 재검토할 수 있고, 처리된 이미지가 허용가능하면, 온라인 마켓플레이스에서의 사용을 위한 이미지를 승인할 수 있다. 처리된 이미지가 허용가능하지 않으면, 판매자는 배경 제거 서버에 의해 경험되는 쟁점들을 정정하고 허용가능 이미지를 초래하는 시도에서 변경된 조건들로 객체의 다른 사진을 찍을 수 있다.
그러나, 많은 사례들에서, 판매자는 재검토를 위해 사진을 찍는 것과 처리된 이미지를 수신하는 것 사이의 지연을 경험할 수 있다. 지연은 이미지 데이터를 판매자의 이동 디바이스로부터 배경 제거 서버로 송신하는데 걸리는 시간의 길이, 배경 제거 서버에서 처리된 이미지를 생성하는데 걸리는 시간의 길이, 처리된 이미지를 배경 제거 서버로부터 판매자의 이동 디바이스로 송신하는 걸리는 시간의 길이 등을 포함하는, 다수의 인자들에 영향을 받을 수 있다. 판매자에 의해 경험되는 지연은, 특히 적절하게 처리된 이미지를 초래하는 미가공 이미지를 캡처하는 수회 시도를 판매자에게 취하는 상황들에서, 판매자를 좌절시킬 수 있다.
좌절된 판매자들은 배경 제거 서버를 충분히 이용하지 않을 수 있다. 예를 들어, 좌절된 판매자들은 다른 사진을 찍기 위해 시간을 투자하는 것보다는 오히려 현저한 에러들을 갖는 처리된 이미지를 승인하는 것을 선택할 수 있다. 대안적으로, 좌절된 판매자들은 배경 제거 서버를 전적으로 사용하는 것을 회피하여, 오히려 배경이 남아 있는 미가공 이미지들 및/또는 판매를 위해 제공되는 실제 객체의 이미지를 대신하는 유사한 객체의 이미지들을 사용하는 것을 선택할 수 있다.
배경 제거 서버가 충분히 이용되지 않으면, 온라인 마켓플레이스 및/또는 판매자들은 배경 제거 서버의 사용을 통해 이용가능할 수 있는 장점들을 충분히 경험하지 않을 수 있다.
더욱이, 처리 자원들, 대역폭 자원들, 및 다른 자원들은 비성공적 배경 제거 시도들에서 사용될 수 있다. 따라서, 예를 들어, 배경 제거 서버들에 의한 비성공적 배경 제거 시도들은 처리 또는 대역폭 자원들을 불필요하게 고정시킬 수 있어, 네트워크 처리량 및/또는 배경 제거 서버의 이용된 출력에서 손실들을 잠재적으로 초래한다.
일부 실시예들은 배경 제거 자원들의 배경 제거 이용 및/또는 효율적 이용을 장려할 수 있다. 일부 실시예들은 사용자들의 기존 스킬들 및 루틴들, 예를 들어, 배경 제거 프로세스 동안, 사진을 찍기 위해 이동 디바이스를 위치시키는 것 및 샷을 구성하기 위해 카메라 프리뷰로부터 즉시 피드백을 사용하는 것을 강화할 수 있다. 예를 들어, 배경 제거 피처가 인에이블된 채로, 사용자는 만족스러운 배경 제거를 용이하게 하는 샷을 구성하기 위해 그들의 이동 디바이스를 선택적으로 위치시키고 카메라 프리뷰를 재검토할 수 있다. 배경 제거는 실질적 실시간으로 이동 디바이스에 의해 수행될 수 있다. 예를 들어, 카메라 프리뷰 상에 수행되는 배경 제거 프로세스들에 의해 이미지를 캡처하는 것과 이미지를 디스플레이하는 것 사이의 지체 시간들은 100 밀리초(ms) 미만일 수 있다. 대안적으로, 지체는 100 ms 이상일 수 있다. 따라서, 일부 실시예들은 배경 제거를 사진 구성 프로세스로 통합할 수 있다.
이동 디바이스에서 배경 제거를 수행하는 것은 서버 또는 다른 비이동 컴퓨터에서 수행되는 것에 비해 배경 제거 프로세스들에서 희생들을 초래할 수 있다. 다르게 말하면, 고성능 서버들 상에 구현될 수 있는 최첨단 배경 제거 알고리즘들에 비해, 일부 실시예들은 이동 디바이스 상에서 상대적으로 작은 지체로 수행될 수 있는 단순한 허용가능 배경 제거 프로세스를 이용할 수 있다. 배경 제거 프로세스들에서의 희생들에 관계없이, 배경 제거를 사진 구성 활동으로 통합하는 것은 후처리 배경 제거에 비해 더 좋은 결과들을 더 짧은 시간량으로 생성할 수 있다.
도 1은 배경 제거 시스템(100)의 개략적 표현이다. 시스템(100)은 다른 배경 제거 시스템들에 의해 경험되는 문제들을 감소시킬 수 있다. 예를 들어, 시스템(100)은 임의의 이미지들을 배경 제거기(114)에 송신하기 전에 배경 제거기(114)가 성공적으로 처리할 수 있는 이미지들을 판매자들 또는 다른 사용자들이 식별하는 것을 허용할 수 있다. 그 결과, 판매자는 다수의 미가공 이미지를 배경 제거기(114)에 송신하는 것 및 다수의 잠재적인 처리된 이미지를 재검토하는 것과 연관되는 지연을 견디는 것 없이 온라인 마켓플레이스(117)의 리스팅(116)에서의 사용을 위한 적절하게 처리된 이미지(120)를 생성할 수 있다. 유리하게, 시스템(100)은 판매자가 사용하기에 덜 불만스러울 수 있고, 배경 제거의 상대적으로 더 넓은 채택을 야기할 수 있어, 판매자 및/또는 온라인 마켓플레이스(117)를 잠재적으로 유익하게 한다.
시스템(100)은 이동 디바이스(102)를 포함할 수 있다. 시스템(100)은 이미지가 배경 제거기(114)에 송신되기 전에 배경 제거기(114)가 특정 장면(101)의 미가공 이미지로부터 배경 이미지 데이터를 성공적으로 제거할 가능성에 관한 시각 피드백을 이동 디바이스(102)를 통해 판매자 또는 다른 사용자에게 제공하기 위해 사용될 수 있다.
일부 실시예들에서, 시스템(100)은 상품들을 판매하기 위해 온라인 마켓플레이스(117)를 사용하는 판매자들에 의해 사용될 수 있다. 시스템(100)은 리스팅(116)을 통해 온라인 마켓플레이스(117) 상에 판매를 위한 아이템을 제공하는 프로세스에서 판매자들이 시간 및/또는 데이터 송신 자원들을 절약하는 것을 허용할 수 있다. 대안적으로 또는 부가적으로, 시스템(100)은 리스팅(116)에서 사용되는 이미지들의 품질을 개선할 수 있으며, 그것은 온라인 마켓플레이스(117)에서의 판매자 만족, 온라인 마켓플레이스(117)에서의 구매자 만족, 온라인 마켓플레이스(117)의 대중 지각, 및/또는 등을 증가할 수 있다.
이동 디바이스(102)는 디스플레이(103) 및 하나 이상의 카메라, 예컨대 전방 카메라(105) 및/또는 후방 카메라를 포함한다. 이동 디바이스(102)의 카메라는 전경 객체(104) 및 배경(106)을 포함하는 장면(101)을 캡처하기 위해 사용될 수 있다. 일부 조명 조건들에서, 장면은 전경 객체(104)의 음영을 포함할 수 있다. 본원에 사용되는 바와 같이, 장면(101)을 캡처하는 것은 이동 디바이스(102)가 이동 디바이스(102)의 카메라를 통해 장면(101)의 이미지 데이터를 발생시키는 임의의 방식을 포함한다. 예를 들어, 이동 디바이스(102)는 카메라가 활성화된 채로 장면(101)에 카메라를 겨눔으로써 장면(101)을 캡처할 수 있다. 대안적으로 또는 부가적으로, 이동 디바이스(102)는 캡처된 장면을 이미지 데이터로 변환하고 이동 디바이스(102)의 메모리에 이미지 데이터를 저장함으로써 장면(101)을 캡처할 수 있다.
이동 디바이스(102)는 중앙 처리 유닛(central processing unit)(CPU)(121), 그래픽 처리 유닛(graphics processing unit)(GPU)(122), 및 CPU(121) 및 GPU(122)에 결합되는 비일시적 저장 매체(123)를 포함할 수 있다. 저장 매체(123)는 저장되는 명령어들을 포함할 수 있으며, 명령어들은 CPU(121) 및/또는 GPU(122)에 의해 실행될 때, 이동 디바이스(102)로 하여금 본원에 설명되는 동작들, 방법들, 및/또는 프로세스들을 수행하게 할 수 있다.
일부 실시예들에서, 디스플레이(103)는 장면(101)을 실시간으로 추정 이미지(112)로서, 예를 들어 소위 증강 현신과 유사한 방식으로 나타내는 뷰파인더로서의 기능을 할 수 있다. 대안적으로 또는 부가적으로, 이동 디바이스(102)는 장면(101)의 예비 이미지를 캡처할 수 있고 예비 이미지에 기초하여 추정 이미지(112)를 발생시킬 수 있다. 대안적으로 또는 부가적으로, 이동 디바이스(102)는 배경 제거기(114)를 미가공 이미지로 잠재적으로 송신하기 위해 판매자가 캡처했던 이미지 데이터에 기초하여 추정 이미지(112)를 발생시킬 수 있다.
추정 이미지(112)는 장면(101)로부터 배경(106)을 제거하고 다양한 조건들 하에 장면(101)에서 전경 객체(104)를 남길 시에 배경 제거기(114)가 가질 성공 또는 가능성을 거의 반영할 수 있다. 예를 들어, 이동 디바이스(102)는 처리된 이미지(120)를 생성하기 위해 미가공 이미지로부터 배경을 제거하도록 배경 제거기(114)가 사용하는 배경 제거 알고리즘들의 서브세트를 수행할 수 있다. 따라서, 추정 이미지(112)는 장면(101)의 조건들이 배경 제거기(114)에 의해 배경 제거에 도움이 되는지에 관한 피드백을 제공할 수 있다. 예를 들어, 배경 제거기(114)가 배경(106)의 일부를 제거하지 못하고 그리고/또는 전경 객체(104)의 일부를 제거하면, 추정 이미지(112)는 동일한 에러들을 포함할 수 있다.
일부 사례들에서, 시스템(100)은 배경 제거기(114)에 의해 배경 제거에 만족스럽게 도움이 되는 조건들의 세트를 발견하기 위해 사용자가, 장면(101)을 향해 이동 디바이스(102)의 카메라를 지향시키면서, 이동 디바이스(102)를 상이한 위치들 및/또는 배향들로 이동시키는 것, 장면(101)의 조명 조건들을 변경하는 것, 및/또는 등을 허용할 수 있다.
일부 실시예들에서, 이동 디바이스(102)에 의해 수행되는 배경 제거 알고리즘들은 배경 제거기(114)의 배경 제거 알고리즘들보다 계산적으로 요구가 덜 할 수 있다. 그 결과, 이동 디바이스(102)에 의해 수행되는 배경 제거 알고리즘들은 이동 디바이스(102)로부터 이용가능한 처리 예산으로 적절히 수행될 수 있다. 예를 들어, 이동 디바이스(102)에 의해 수행되는 배경 제거 알고리즘들은 배경 제거기(114)에 의해 수행되는 배경 제거 알고리즘들의 근사들을 포함할 수 있다. 대안적으로 또는 부가적으로, 이동 디바이스(102)에 의해 수행되는 배경 제거 알고리즘들은 배경 제거기(114)의 배경 제거 알고리즘들보다 더 적은 계산 사이클들을 포함할 수 있다. 일부 실시예들에서, 추정 이미지(112)의 이미지 품질은 이동 디바이스(102)로부터 이용가능한 처리 자원들을 사용하여 적절한 속도로 배경 제거를 용이하게 하도록 감소될 수 있다. 그러나, 배경 제거기(114)에 송신되는 미가공 이미지의 품질은 감소되지 않을 수 있다. 일부 실시예들에서, 이동 디바이스(102)에 의해 수행되는 배경 제거 알고리즘들은 배경 제거기(114)의 배경 제거 알고리즘들에 비해 차선일 수 있다.
일부 실시예들에서, 배경 제거기(114)는 카탈로그 음영(118)을 처리된 이미지(120) 내로 삽입할 수 있다. 카탈로그 음영(118)은 잠재적 구매자들을 위해 리스팅(116), 전경 객체(104) 및/또는 처리된 이미지(120)의 출현을 개선할 수 있다. 임의로, 이동 디바이스(102)는 추정 이미지(112) 내의 추정된 음영(110)을 포함할 수 있다. 본원에 설명되는 배경 제거와 유사하게, 추정된 음영(110)은 카탈로그 음영(118)을 추가할 시에 배경 제거기(114)가 가질 수 있는 성공의 근사를 반영할 수 있다.
일부 실시예들에서, 이동 디바이스(102)는 성공적 배경 제거의 가능성을 개선하는 방식으로 장면(101)을 준비하는 팁들을 제공할 수 있다. 예를 들어, 이동 디바이스(102)는 대체 배경 컬러들 및/또는 배경 타입들, 대체 조명 조건들, 대체 카메라 각도들 등 또는 그것의 임의의 조합을 제공할 수 있다. 일부 사례들에서, 팁들은 전경 객체(104)의 외관, 컬러, 및/또는 형상에 특정할 수 있다.
도 2는 배경 제거의 예시적 방법(200)의 흐름도이다. 일부 실시예들에서, 방법(200)은 이동 디바이스, 예컨대 도 1의 이동 디바이스(102)에 의해 수행될 수 있다.
방법(200)은 장면을 시각적으로 캡처함으로써 블록(202)에서 시작될 수 있다. 장면은 사용자가 온라인 마켓플레이스를 통한 판매를 위해 제공하도록 의도하는 객체 또는 객체들과 같은, 전경을 포함할 수 있다. 부가적으로, 장면은 전경 객체 또는 객체들이 위치되는 환경과 같은, 배경을 포함할 수 있다. 예로서, 장면, 전경 객체, 및 배경은 도 1의 장면(101), 전경 객체(104), 및 배경(106)과 각각 부합할 수 있다. 장면을 시각적으로 캡처하는 것은 카메라가 활성화된 채로 장면에 카메라를 겨누는 것을 포함할 수 있다. 예를 들어, 장면을 캡처하는 것은 사진을 찍기 위해 준비하는 것과 유사한 방식으로 장면에 활성 카메라를 겨누는 것을 포함할 수 있다. 대안적으로 또는 부가적으로, 장면을 시각적으로 캡처하는 것은 이동 디바이스에서 장면을 표현하는 이미지 데이터를 저장하는 것을 포함할 수 있다.
도 3은 간략한 예시적 캡처된 장면(300)을 예시하며, 이 캡처된 장면은 일반적으로 도 2의 방법(200)의 블록(202)의 캡처된 장면에 대응할 수 있다. 캡처된 장면(300)은 픽셀들의 하나 이상의 행으로 구성되는 경계 영역(302)을 포함할 수 있다. 장면(300)을 캡처하는 사용자는 일반적으로, 전체 전경 객체(104)가 장면 내에서 캡처되는 것을 보장하기 위해 캡처된 장면(300)의 경계 영역(302)에서 떨어진 전경 객체(104)를 갖는 장면을 캡처하려고 시도할 수 있다. 따라서, 예를 들어, 경계 영역(302) 내의 픽셀들은 배경(106)과 연관될 수 있다.
도 2를 참조하여, 방법(200)은 캡처된 장면의 경계에서 컬러들의 컬러 히스토그램을 발생시킴으로써 블록(204)에서 계속될 수 있다. 캡처된 장면의 경계는 일반적으로 도 3의 캡처된 장면(300)의 경계 영역(302)의 컬러들에 대응할 수 있다. 일부 실시예들에서, 블록(204)의 일부 또는 전부는 그래픽 처리 유닛(GPU), 예컨대 도 1의 GPU(122), 또는 다른 단일 명령어, 다중 데이터(single instruction, multiple data)(SIMD) 프로세서에 의해 수행될 수 있다.
컬러 히스토그램은 캡처된 장면의 가장 바깥쪽 에지들을 따라 위치되거나 가장 바깥쪽 에지들에 상대적으로 가까운 픽셀들의 하나 이상의 라인(예를 들어, 행들 및/또는 열들)에 대해 발생될 수 있다. 캡처된 장면의 경계는 전경 객체의 일부를 포함할 가능성이 상대적으로 없을 수 있고, 따라서 배경과 주로 연관되는 컬러들을 포함할 수 있다. 컬러 히스토그램을 발생시킬 시에 고려되는 경계 픽셀들의 수는 거의 100,000 픽셀과 비슷할 수 있다. 일부 실시예들에서, 고려되는 경계 픽셀들의 수는 100,000 이상 또는 100,000 미만일 수 있다.
일부 실시예들에서, 컬러 히스토그램은 CIE L*a*b*(CIELAB) 컬러 공간에서 발생될 수 있다. 따라서, 예를 들어, 컬러 히스토그램을 위해 사용되는 픽셀들은 픽셀들이 상이한 컬러 공간, 예컨대 적색, 녹색, 및 청색(RGB) 컬러 모델과 연관되면 CIELAB 컬러 공간으로 변환될 수 있다.
일부 실시예들에서, 컬러 히스토그램은 버킷들의 3차원 어레이를 포함할 수 있다. 예를 들어, 컬러 히스토그램은 명도(L*) 차원, 녹색-자홍색(a*) 차원, 및 청색-황색(b*) 차원에서의 버킷들의 어레이를 포함할 수 있다. 예를 들어, 컬러 히스토그램은 L*에 대한 버킷 값들의 3개의 범위와 연관되는 a* 및 b* 차원들에서의 32x32 어레이들을 갖는 버킷들의 3x32x32 어레이를 포함할 수 있다. 따라서, 예를 들어, 버킷들의 32x32 어레이(예를 들어, 각각의 버킷은 a* 및 b* 차원들에서의 6.25x6.25 범위에 걸칠 수 있음)는 L*의 낮은 범위(예컨대 0 ≤ L* < 33), L*의 중간 범위(예컨대 33 ≤ L* < 66), 및 L*의 높은 범위(예컨대 66 ≤ L* ≤ 100) 각각과 연관될 수 있다. 대안적으로, 버킷들의 상이한 크기들, 버킷들의 상이한 수들, 및/또는 버킷들의 상이한 범위들이 사용될 수 있다.
예로서, 고려되는 경계 픽셀들 각각의 컬러는 3072 버킷 중 하나로 분류될 수 있다. 따라서, 예를 들어, 3x32x32 어레이가 사용되는 경우, 컬러 히스토그램은 3072 근사 컬러 중 하나를 갖는 픽셀들의 카운트를 제공할 수 있다.
도 4는 CIELAB 컬러 공간에서의 간략한 예시적 히스토그램(400)을 예시하며, 이 히스토그램은 일반적으로 도 2의 블록(204)의 히스토그램에 대응할 수 있다. 히스토그램(400)은 버킷들(408)의 3x10x10 어레이로 분할되는 L* 402, a* 404, 및 b* 406 컬러 공간을 포함할 수 있다. 3x10x10 어레이가 명료성을 위해 도시되더라도, 히스토그램(400)의 컬러 공간은 컬러 공간의 비교적 더 작은 부분을 각각 커버하는, 더 작은 버킷들(408)로 유사하게 분할될 수 있다. 예를 들어, 히스토그램(400)은 버킷들(408)의 3x32x32 어레이 또는 버킷들의 일부 다른 크기 어레이를 포함할 수 있다. 예시적 버킷 값들(410)은 각각의 버킷(408)과 연관되는 컬러 공간 내에 위치되는 컬러를 갖는 픽셀들의 카운트들을 표현할 수 있다.
도 2를 참조하여, 방법(200)은 고려된 경계 픽셀들의 지배적 컬러들을 식별함으로써 블록(206)으로 계속될 수 있다. 일부 실시예들에서, 블록(206)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 다른 단일 명령어, 다중 데이터(SIMD) 프로세서, CPU, 예컨대 도 1의 CPU(121), 또는 다른 프로세서에 의해 수행될 수 있다. 예를 들어, 블록(204)이 GPU에 의해 수행되는 경우, 블록(206)은 동작들의 파이프라이닝을 촉진하기 위해 GPU에 의해 수행될 수 있다. 이러한 및 다른 블록들에 대해, GPU 작업으로부터 CPU 작업으로의 전이는 CPU 작업들이 시작되기 전에 CPU가 그것의 작업들을 끝내기 위해 GPU를 대기하도록 명령받음에 따라, 시간 및/또는 처리 자원들에 관해 상대적으로 비용이 많이 들 수 있다. 일부 실시예들에서, GPU 작업과 CPU 작업 사이의 전이들의 수는 특히 전이의 비용이 전이에 의해 실현되는 비용 절약보다 더 클 수 있는 경우, 감소될 수 있다.
일부 실시예들에서, 히스토그램 내의 가장 큰 버킷이 식별될 수 있다. 부가적으로, 임계 값 위의 값을 갖는 가장 큰 버킷에 이웃하는 버킷들이 또한 식별될 수 있다. 일부 실시예들에서, 식별된 버킷들은 삭감되거나 다른 방법으로 무시될 수 있고 임계 값 위에서 가장 큰 버킷들, 및 잠재적으로 이웃 버킷들을 식별하는 단계들은 고려된 픽셀들의 임계 수가 고려되었을 때까지 반복될 수 있다. 예를 들어, 버킷들은 고려된 픽셀들의 99%가 고려될 때까지 식별되고 삭감(zero out)될 수 있다.
따라서, 예를 들어, 배경 컬러들은 대략 식별될 수 있다. 대략 식별된 배경 컬러들은 임계 값 위의 식별된 버킷들 및/또는 이웃 버킷들을 포함할 수 있다.
도 4를 참조하여, 방법(200)의 블록(206)은 예로서, 99의 값과 연관되는 버킷을 식별할 수 있고 버킷의 값을 삭감할 수 있다. 부가적으로, 88, 87, 86, 83, 81, 79, 71, 68, 및 58의 값들과 연관되는 버킷들은 또한 임계 값이 57 이하이면 삭감될 수 있다.
도 2를 참조하여, 방법(200)은 대략 식별된 배경 컬러들의 클러스터 중심들을 식별함으로써 블록(208)으로 계속될 수 있다. 일부 실시예들에서, 블록(208)의 일부 또는 전부는 CPU, 예컨대 도 1의 CPU(121), 또는 다른 프로세서에 의해 수행될 수 있다.
일부 실시예들에서, 클러스터 중심들은 3차원 클러스터 분석을 수행함으로써 식별될 수 있다. 블록(206)의 히스토그램 평가는 다수의 버킷을 포함하는 상대적으로 유사한 배경 컬러들의 하나 이상의 그룹을 식별할 수 있다. 클러스터 분석은 상대적으로 유사한 배경 컬러들의 그룹들 각각의 클러스터 중심을 식별하기 위해 사용될 수 있다. 일부 실시예들에서, 클러스터 중심들은 k-평균 클러스터 분석의 단일 반복을 통해 식별될 수 있다. 클러스터 중심들을 식별할 시에, 실제 클러스터들을 식별하는 것은 불필요할 수 있다. 따라서, 예를 들어, 클러스터를 식별하는 단계들은 비슷한 클러스터의 중심을 발견하기 위해 무시될 수 있다.
예로서, 캡처된 이미지의 배경 내의 지배적 컬러들에 거의 대응할 수 있는 1 내지 4 클러스터 중심이 식별될 수 있다. 대안적으로, 5 이상의 클러스터 중심들이 식별될 수 있다. 식별되는 클러스터 중심들의 수는 캡처된 이미지의 구성에 적어도 부분적으로 의존할 수 있다. 예를 들어, 캡처된 이미지가 배경 내의 단일의 상대적 단색을 포함하면, 하나의 클러스터 중심들이 식별될 수 있다. 대안적으로, 캡처된 이미지가 다수의 컬러들 및/또는 패턴들을 포함하면, 하나보다 많은 클러스터 중심이 식별될 수 있다.
방법(200)은 픽셀 맵을 발생시킴으로써 블록(210)에서 계속될 수 있다. 픽셀 맵은 블록(208)의 식별된 클러스터 중심들에 부분적으로 기초할 수 있다. 일부 실시예들에서, 블록(210)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다.
픽셀 맵의 각각의 픽셀의 밝기는 캡처된 이미지에서의 픽셀의 컬러와 가장 가까운 클러스터 중심 사이의 컬러 공간 유닛들에서의 거리에 기초할 수 있다. 따라서, 예를 들어, 식별된 클러스터 중심에 상대적으로 가까운 컬러들을 갖는 캡처된 이미지의 픽셀들은 픽셀 맵에서 상대적으로 거의 흑색일 수 있다. 더욱이, 예를 들어, 식별된 컬러 중심에서 상대적으로 떨어진 컬러들을 갖는 캡처된 이미지의 픽셀들은 픽셀 맵에서 상대적으로 밝을 수 있다.
따라서, 예를 들어, 픽셀 맵은 캡처된 장면의 상이한 부분들의 "비배경" 품질들과 연관되는 텍스처를 표현할 수 있다. 예로서, 캡처된 장면이 단일 배경 컬러를 포함하는 경우, 픽셀 맵은 컬러 공간에서, 각각의 픽셀의 컬러가 배경 컬러에 얼마나 가까운지를 표시할 수 있다.
임의로, 블록(210)은 일부 음영 제거를 용이하게 할 수 있다. 예를 들어, 일부 실시예들에서, 밝기 차이들은 캡처된 장면의 픽셀들의 컬러와 클러스터 중심 사이의 거리들을 결정할 시에 픽셀들의 컬러가 클러스터 중심과 유사한 채도를 갖지만, 클러스터 중심보다 더 어두울 때 무시될 수 있다. 다르게 말하면, 식별되는 각각의 배경 컬러에 대해, 캡처된 장면의 픽셀이 배경 컬러와 유사한 채도를 갖고 배경 컬러보다 더 어두우면, 픽셀은 음영인 것으로 가정될 수 있고 픽셀의 상대적 어둠은 배경 컬러로부터 그것의 거리를 결정할 시에 무시될 수 있다. 따라서, 예를 들어, 거리는 제로이거나 제로에 가까울 수 있어, 픽셀 맵 상에 흑색 또는 거의 흑색 픽셀을 초래한다.
도 5는 간략한 예시적 픽셀 맵(500)을 예시하며, 이 픽셀 맵은 일반적으로 도 2의 방법(200)의 블록(210)의 픽셀 맵에 대응할 수 있다. 픽셀 맵(500)은 도 3의 캡처된 장면(300)의 배경(106)과 연관되는 어두운 영역(502)을 포함할 수 있다. 부가적으로, 픽셀 맵(500)은 도 3의 캡처된 장면(300)의 전경 객체(104)와 연관되는 밝은 영역(504)을 포함할 수 있다. 어두운 영역(502)의 피처들의 컬러 차이들은 캡처된 장면(300)의 배경(106) 내의 컬러 차이들에 비해 억제될 수 있다. 더욱이, 밝은 영역(504)의 피처들의 컬러 차이는 또한 캡처된 장면(300)의 전경 객체(104) 내의 컬러 차이들에 비해 억제될 수 있다.
도 2를 참조하여, 방법(200)은 픽셀 맵에 기초하여 에지 맵을 생성함으로써 블록(212)에서 계속될 수 있다. 일부 실시예들에서, 블록(212)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다.
에지 맵은 블록(210)에서 생성되는 픽셀 맵 상에 에지 검출을 수행함으로써 생성될 수 있다. 일부 실시예들에서, 블록(212)은 블록(210)에서 생성되는 픽셀 맵 상에 소벨(Sobel) 에지 검출 필터를 실행하는 단계를 포함할 수 있다. 에지 맵은 배경 컬러와 비배경 컬러 사이의 전이들을 강조하기 위해 바이어싱될 수 있다. 예를 들어, 2개의 배경 컬러 사이의 전이는 배경 컬러들 둘 다가 픽셀 맵에서 상대적으로 어두울 수 있음에 따라, 밝게 나타나지 않을 수 있다. 따라서, 예를 들어, 에지 검출은 상대적으로 낮은 응답을 나타낼 수 있다. 더욱이, 상이한 비배경 컬러들 사이의 에지 검출은 픽셀들이 픽셀 맵에서 상대적으로 밝을 수 있음에 따라, 억제될 수 있다. 배경 컬러와 비배경 컬러 사이의 전이의 에지 검출은 배경이 상대적으로 어두울 수 있고 배경이 상대적으로 밝을 수 있음에 따라, 억제되지 않을 수 있고 그리고/또는 향상될 수 있다.
임의로, 방법(200)은 블록(212)에서 기인하는 픽셀 맵 또는 블록(214)에서 기인하는 에지 맵 상에 콘볼루션 연산을 수행함으로써 에지 리파이닝 단계(edge-refining step)로 계속될 수 있다. 콘볼루션 연산은 목적지 픽셀 상에 센터링되는, 5x5 픽셀 커널과 같은, 픽셀 커널의 평균 및 표준 편차를 산출할 수 있다. 평균 및 표준 편차는 목적지 픽셀과 연관될 수 있다. 예를 들어, 평균 및 표준 편차 값들은 픽셀의 적색 및 녹색 컬러 채널들을 통해 목적지 픽셀과 연관될 수 있다. 따라서, 예를 들어, 배경 컬러와 연관되는 픽셀들에 의해 둘러싸여지는 배경 컬러와 밀접히 연관되지 않는 컬러를 갖는 단독 픽셀은 평균 및 표준 편차가 상대적으로 낮을 수 있음에 따라, 억제될 것이다. 표준 편차 값들을 이용하는 것은 전경 객체의 에지들 근방의 평균 값들을 통해 다른 방법으로 경험될 수 있는 억제 효과를 방해할 수 있다. 예로서, 에지 리파이닝 단계는 전경 객체의 내부에서 이미지 컬러화된 적색을 초래하고 전경 객체의 외부 에지에서 컬러화된 녹색을 초래할 수 있다. 에지 리파이닝 단계는 특히 에지들이 약간 흐릴 때, 에지 검출 실패들에 덜 민감할 수 있다. 일부 실시예들에서, 에지 리파이닝 단계의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다.
임의로, 방법(200)은 대안적으로, 블록(212)에서 생성되는 에지 맵 상에 에지 시닝(edge-thinning)을 수행함으로써 에지 시닝 단계로 계속될 수 있다. 일부 실시예들에서, 에지 시닝 단계의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다.
에지 시닝은 상대적으로 더 날카로운 에지들을 생성하기 위해 상대적으로 흐릿한 에지들을 식별하는 것 및 결과들을 리파인하는 것을 포함할 수 있다. 일부 실시예들에서, 에지 시닝은 다수의 픽셀에 걸치는 에지를 파인딩하는 것 및 결과들을 가장 큰 응답을 나타내는 픽셀로 병합하는 것을 포함할 수 있다. 예로서, 픽셀들의 라인은 에지 맵의 에지들과 연관되는 이하의 값들을 포함할 수 있다.
0 0 0 1 35 17 5 2 0
에지 시닝은 가장 높은 값, "35" 픽셀을 실제 에지와 연관되는 것으로 선언하는 것을 포함할 수 있고 픽셀들의 라인에 대한 에지 값들은 이하의 값들로 조정될 수 있다.
0 0 0 0 60 0 0 0 0
예를 들어, 가장 높은 값, "35" 픽셀을 둘러싸는 픽셀들의 값들은 60(예를 들어, 35 + 17 + 5 + 2 + 1)의 새로운 값에 도달하기 위해 가장 높은 값 픽셀의 값에 추가되고 제로화될 수 있다. 대안적으로, 주위 픽셀들의 모든 것보다 더 적은 값들이 가장 높은 값 픽셀에 추가될 수 있다. 예를 들어, 가장 높은 값 픽셀은 53(예를 들어, 1 + 35 + 17)까지 증가될 수 있고 다른 픽셀들의 모두는 제로화될 수 있거나 가장 높은 값 픽셀의 값에 추가되는 픽셀들만이 제로화될 수 있다.
일부 실시예들에서, 픽셀 값들의 도함수들은 에지 시닝 프로세스에서 산출되고 사용될 수 있다. 그러나, 계산 자원 예산들은 상기 설명된 것과 같은, 더 직접적인 에지 시닝의 사용을 조성할 수 있다.
임의로, 방법(200)은 대안적으로 또는 부가적으로, 위조 에지 억제를 수행함으로써 에지 억제 단계로 계속될 수 있다. 일부 실시예들에서, 에지 억제 단계의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다.
위조 에지 억제는 픽셀 맵 내의 분리된 "범프들" 주위에 형성되는 에지들을 거부하는 역할을 부분적으로 할 수 있다. 예로서, 픽셀들의 라인은 에지 맵의 에지들과 연관되는 이하의 값들을 포함할 수 있다.
0 0 -3 -18 25 1 0 0
양의 값들은 픽셀 맵에서 좌측에 대한 큰 수들을 표시할 수 있고, 음의 수들은 픽셀 맵에서 우측에 대한 큰 수들을 표시할 수 있다. 다르게 말하면, 비제로 값들은 픽셀이 에지인 것으로 나타나는 것을 표시할 수 있으며, 음의 값들은 에지의 전경 측면이 우측에 나타나는 것을 표시하고 양의 값들은 에지의 전경 측면이 좌측에 나타나는 것을 표시한다. 상기 제공되는 픽셀들의 예시적 라인에서, 4 픽셀 폭 객체가 나타난다. 실제로, 그러한 객체는 전경 객체에 속할 가능성이 없다. 대신에, 객체는 종종 먼지 한 점(speck of dust), 배경의 2개의 크게 상이하게 컬러화된 영역 사이의 전이, 또는 일부 다른 바람직하지 않은 인공물일 수 있다. 따라서, 예를 들어, 라인 위 및 아래의 픽셀 값들은 에지가 1 픽셀 폭 라인, 코너 등일 수 있는지를 결정하기 위해 고려될 수 있고, 에지가 위조로 나타나면, 예를 들어 전경 객체에 속하지 않으면, 값들은 제로로 변경될 수 있고 그리고/또는 에지는 다른 방법으로 억제될 수 있다.
에지 리파이닝 단계, 에지 시닝 단계, 및/또는 에지 억제 단계는 그 단계 또는 단계들을 거쳤던 것보다 더 좋은 충실도로 에지들을 설명하는 에지 맵을 생성할 수 있다.
도 6은 간략한 예시적 에지 맵(600)을 예시하며, 이 에지 맵은 일반적으로, 에지 리파이닝 단계, 에지 시닝 단계, 및 에지 억제 단계 중 하나 이상이 수행되었는지에 따라, 블록(212), 에지 리파이닝 단계, 에지 시닝 단계, 또는 에지 억제 단계에서 기인하는 에지 맵에 대응할 수 있다. 에지 맵(600)은 매핑된 에지(602)를 포함할 수 있다. 일부 실시예들에서, 에지 맵(600)은 픽셀 맵(500)을 오버레이할 수 있고 그리고/또는 픽셀 맵(500) 및 매핑된 에지(602)의 합성을 포함할 수 있다.
도 2를 참조하여, 일부 실시예들에서, 방법(200)은 전경 에지를 정의함으로써 블록(214)으로 계속될 수 있다. 일부 실시예들에서, 블록(214)의 일부 또는 전부는 CPU, 예컨대 도 1의 CPU(121), 또는 다른 프로세서에 의해 수행될 수 있다.
전경 에지는 에지 시닝 단계 및 에지 억제 단계 중 하나가 수행되었거나, 이 단계들 중 어느 것도 수행되지 않았거나, 이 단계들 둘 다 수행되었는지에 따라, 블록(212), 에지 시닝 단계, 또는 에지 억제 단계에서 기인하는 에지 맵에 기초하여 정의될 수 있다. 일부 실시예들에서, 전경 에지는 에지 맵의 각각의 라인을 고려하고, 2개의 가장 큰 에지 응답 값을 결정하고, 그들을 전경의 우측 에지 및 좌측 에지 또는 상단 에지 및 하단 에지로 정의함으로써, 적어도 부분적으로 정의될 수 있다.
일부 실시예들에서, 전경 에지는 이력 필터를 통해 정의될 수 있으며, 그것은 다중 픽셀 윈드백 피처를 포함할 수 있다. 임의로, 이력 필터 및/또는 다른 에지 파인딩 필터들(edge-finding filters)은 블록(212)으로부터의 밝기 값들에 적어도 부분적으로 기초하여 임계 값들을 적용할 수 있다. 예를 들어, 방법(200)은 에지 밝기 값들을 고려할 수 있고 다양한 잠재적 임계치들보다 더 밟은 픽셀의 수에 관한 정보를 발생시킬 수 있으며, 그것은 전경 에지 필터들에 대한 상부 임계치들, 하부 임계치들, 및/또는 다른 임계치들을 정의하기 위해 사용될 수 있다.
도 7은 전경 에지(702)를 포함하는 예시적 전경 에지 맵(700)을 예시하며, 이 전경 에지는 일반적으로 블록(214)에서 기인하는 전경 에지에 대응할 수 있다. 일부 실시예들에서, 전경 에지 맵(600)은 픽셀 맵(500) 및/또는 에지 맵(602)을 오버레이할 수 있다. 대안적으로, 전경 에지 맵(600)은 픽셀 맵(500), 매핑된 에지(602), 및/또는 전경 에지(702)의 합성을 포함할 수 있다.
도 2를 참조하여, 일부 실시예들에서, 방법(200)은 전경 객체 영역을 정의함으로써 블록(216)으로 계속될 수 있다. 전경 객체 영역은 블록(214)에서 정의되는 전경 에지에 기초할 수 있다. 일부 실시예들에서, 블록(216)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 또는 다른 SIMD 프로세서에 의해 수행될 수 있다. 전경 객체 영역은 블록(214)에서 정의되는 전경 에지에 의해 포함되는 영역으로 정의될 수 있다.
도 8은 전경 객체 영역(802)을 포함하는 전경 영역 맵(800)을 예시하며, 이 전경 객체 영역은 블록(216)에서 기인하는 전경 객체 영역에 대응할 수 있다.
도 2를 참조하여, 일부 실시예들에서, 방법(200)은 전경 객체를 디스플레이함으로써 블록(218)으로 계속될 수 있다. 일부 실시예들에서, 블록(218)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 및 디스플레이, 예컨대 도 1의 디스플레이(103)에 의해 수행될 수 있다.
전경 객체를 디스플레이하는 것은 블록(216)에서 정의되는 전경 객체 영역에 기초할 수 있다. 전경 객체 영역과 연관되는 캡처된 장면의 픽셀들은 디스플레이에 전달될 수 있다.
일부 실시예들에서, 전경 객체 영역과 연관되지 않는 캡처된 장면의 픽셀들은 디스플레이되지 않을 수 있다. 예를 들어, 전경 객체와 연관되지 않는 캡처된 장면의 픽셀들은 백색 픽셀들, 또는 픽셀들의 일부 다른 컬러 및/또는 패턴으로 디스플레이될 수 있다. 대안적으로 또는 부가적으로, 전경 객체와 연관되지 않는 캡처된 장면의 픽셀들은 스튜디오 블랭크 이미지와 같은, 다른 이미지로부터의 픽셀들로 교체될 수 있다. 스튜디오 블랭크 이미지들은 전경 객체 없이 캡처되는 제품 배경의 고품질 이미지들을 포함할 수 있다.
임의로, 전경 객체와 연관되지 않는 픽셀들의 일부는 전경 객체가 카탈로그 음영으로서 본원에 설명되는, 전경 전체의 이미지 아래에 위치되는 디스플레이된 배경보다 더 어두운 컬러를 갖는 형상을 포함하는 것으로 나타나도록 디스플레이될 수 있다. 일부 실시예들에서, 카탈로그 음영들은 온라인 마켓플레이스 등을 통해 제공되는 상이한 제품들 사이에서 유사하게 균형이 잡힌, 형상화된, 및/또는 컬러화된 음영들을 장려할 수 있다.
도 9는 전경 객체(104), 교체 배경(902), 및 카탈로그 음영(904)의 예시적 디스플레이(900)를 예시하며, 이 디스플레이는 블록(218) 및 카탈로그 음영을 추가하는 단계에서 기인하는 디스플레이에 대응할 수 있다.
도 10은 배경 제거의 다른 예시적 방법(1000)의 흐름도이다. 일부 실시예들에서, 방법(1000)은 이동 디바이스, 예컨대 도 1의 이동 디바이스(102)에 의해 수행될 수 있다. 방법(1000)은 블록들(202 내지 212)을 포함할 수 있으며, 이 블록들은 일반적으로 도 2의 블록들(202 내지 212)에 대응할 수 있다.
일부 실시예들에서, 방법(1000)은 에지 맵에 기초하여 다각형 맵을 정의함으로써 블록(212)에서 블록(1002)까지 계속될 수 있다. 일부 실시예들에서, 블록(1002)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122) 또는 CPU, 예컨대 도 1의 CPU(121), 또는 다른 프로세서에 의해 수행될 수 있다. 다각형 맵은 전경 객체의 바운드들을 설명하는 다각형 구조를 포함할 수 있다. 다르게 말하면, 다각형 맵은 전경 객체의 비슷한 외부 에지로 식별되는 픽셀들의 집합을 전경 객체의 경계을 정확하게 설명하는 폐다각형으로 바꾸려고 시도할 수 있다. 따라서, 예를 들어, 다각형 맵은 전경 객체 영역을 설명할 수 있으며, 전경 객체 영역은 다수의 별개 영역을 포함할 수 있다. 일부 실시예들에서, 다각형 맵은 이용가능 윤곽 파인딩 알고리즘들에 기초하여 발생될 수 있다.
일부 실시예들에서, 방법(200)은 배경 제거의 성공을 평가함으로써 블록(1004)으로 계속될 수 있다. 예를 들어, 전경 객체는, 배경 제거가 캡처된 이미지의 임계 범위 내의 크기를 갖는 전경 객체를 초래했는지를 결정하기 위해 분석될 수 있다. 예를 들어, 전경 객체는 캡처된 이미지의 5% 내지 80%, 또는 캡처된 이미지의 일부 다른 부분을 채우는지를 결정하기 위해 분석될 수 있다. 전경 객체의 상대 크기가 임계 범위 외부에 있으면, 배경 제거는 성공하지 않은 것으로 생각될 수 있다. 대안적으로 또는 부가적으로, 전경 객체는 캡처된 이미지에 비해 거의 센터링되는지를 결정하기 위해 분석될 수 있다. 전경 객체가 임계 마진 내에 센터링되지 않으면, 배경 제거는 성공하지 않은 것으로 생각될 수 있다. 대안적으로 또는 부가적으로, 전경 객체는 캡처된 이미지의 나머지와 시각적으로 별개로 나타나는지를 결정하기 위해 분석될 수 있다. 전경 객체가 일부 임계 마진만큼 캡처된 이미지의 나머지와 시각적으로 별개가 아닌 것으로 결정되면, 배경 제거는 성공하지 않은 것으로 생각될 수 있다. 일부 실시예들에서, 전경 객체의 크기 및/또는 중심을 결정하는 것은 블록(1002)에서 기인하는 픽셀 맵의 다각형 맵에 적어도 부분적으로 기초할 수 있다.
일부 실시예들에서, 방법(1000)은 전경 객체를 디스플레이함으로써 블록(1006)으로 계속될 수 있다. 일부 실시예들에서, 블록(1006)의 일부 또는 전부는 GPU, 예컨대 도 1의 GPU(122), 및 디스플레이, 예컨대 도 1의 디스플레이(103)에 의해 수행될 수 있다.
전경 객체를 디스플레이하는 것은 블록(1002)에서 정의되는 다각형 맵의 영역에 대응하는 전경 객체 영역에 기초할 수 있다. 전경 객체 영역과 연관되는 캡처된 장면의 픽셀들은 디스플레이에 전달될 수 있다.
일부 실시예들에서, 전경 객체 영역과 연관되지 않는 캡처된 장면의 픽셀들은 디스플레이되지 않을 수 있다. 예를 들어, 전경 객체와 연관되지 않는 캡처된 장면의 픽셀들은 백색 픽셀들, 또는 픽셀들의 일부 다른 컬러 및/또는 패턴으로 디스플레이될 수 있다. 대안적으로 또는 부가적으로, 전경 객체와 연관되지 않는 캡처된 장면의 픽셀들은 스튜디오 블랭크 이미지와 같은, 다른 이미지로부터의 픽셀들로 교체될 수 있다. 스튜디오 블랭크 이미지들은 전경 객체 없이 캡처되는 제품 배경의 고품질 이미지들을 포함할 수 있다.
임의로, 카탈로그 음영은 전경 객체 밑에 포함될 수 있다.
일부 실시예들에서, 도 2의 방법(200) 및/또는 도 10의 방법(1000)의 블록들의 일부 또는 전부는 디스플레이에서 배경 제거의 15 프레임/초(fps) 프리뷰를 제공하기 위해 반복될 수 있다. 대안적으로, 방법(200) 및/또는 방법(1000)은 프리뷰를 15 fps 초과 또는 15 fps 미만으로 제공하기 위해 반복될 수 있다. 일부 실시예들에서, 연관된 프리뷰의 fps는 하드웨어 능력들, 예컨대 방법(200) 및/또는 방법(1000)을 수행하는 이동 디바이스의 CPU 및/또는 GPU로부터 이용가능한 처리 자원들에 적어도 부분적으로 기초할 수 있다.
본원에 설명되는 실시예들은 아래에 더 상세히 논의되는 바와 같이, 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈들을 포함하는 특수 목적 또는 일반 목적 컴퓨터의 사용을 포함할 수 있다.
본원에 설명되는 실시예들은 저장되는 컴퓨터 실행가능 명령어들 또는 데이터 구조들을 지니거나 갖는 컴퓨터 판독가능 매체들을 사용하여 구현될 수 있다. 그러한 컴퓨터 판독가능 매체들은 일반 목적 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 컴퓨터 실행가능 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 지니거나 저장하기 위해 사용될 수 있고 일반 목적 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 랜덤 액세스 메모리(random-access memory)(RAM), 판독 전용 메모리(read-only memory)(ROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(electrically erasable programmable read-only memory)(EEPROM), 콤팩트 디스 판독 전용 메모리(compact disc read-only memory)(CD-ROM) 또는 다른 광 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 임의의 다른 저장 매체를 포함하는 유형의 컴퓨터 판독가능 저장 매체들을 포함할 수 있다. 상기의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함될 수 있다.
컴퓨터 실행가능 명령어들은 예를 들어, 일반 목적 컴퓨터, 특수 목적 컴퓨터, 또는 특수 목적 처리 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하는 명령어들 및 데이터를 포함한다. 발명 대상이 구조 피처들 및/또는 방법 액트들에 구체적인 언어로 설명되었더라도, 첨부된 청구항들에서 정의되는 발명 대상이 상기 설명된 구체적 피처들 또는 액트들에 반드시 제한되는 것은 아니라는 점이 이해되어야 한다. 오히려, 상기 설명된 구체적 피처들 및 액트들은 청구항들을 구현하는 예시적 형태들로 개시된다.
본원에 사용되는 바와 같이, 용어 "모듈" 또는 "컴포넌트"는 컴퓨팅 시스템 상에 실행하는 소프트웨어 객체들 또는 루틴들을 언급할 수 있다. 본원에 설명되는 상이한 컴포넌트들, 모듈들, 엔진들, 및 서비스들은 컴퓨팅 시스템 상에 실행하는 객체들 또는 프로세스들(예를 들어, 개별 스레드들)로 구현될 수 있다. 본원에 설명되는 시스템 및 방법들이 소프트웨어로 구현되는 것이 바람직하더라도, 하드웨어에서의 구현들 또는 소프트웨어 및 하드웨어의 조합이 또한 가능하고 생각된다. 이러한 설명에서, "컴퓨팅 엔티티"는 본원에서 사전에 정의된 바와 같은 임의의 컴퓨팅 시스템, 또는 컴퓨팅 시스템 상에 실행하는 임의의 모듈 또는 모듈들의 조합일 수 있다.
본 발명은 그것의 사상 또는 본질적 특성들로부터 벗어나는 것 없이 다른 구체적 형태들로 구체화될 수 있다. 설명된 실시예들은 모든 점들에서만 예시적인 것으로 간주되고 제한적인 것으로 간주되지 않아야 한다. 따라서, 발명의 범위는 이전 설명에 의한 것보다는 오히려 첨부된 청구항들에 의해 표시된다. 청구항들의 균등의 의미 및 범위 내에 있는 모든 변경들은 그들의 범위 내에 수용되어야 한다.

Claims (20)

  1. 캡처된 장면의 일부를 디스플레이하는 방법으로서,
    이동 디바이스에서 카메라가 활성화된 채로 장면을 시각적으로 실시간 반복 캡처하는 단계;
    상기 캡처된 장면의 전경 객체와 연관되는 상기 캡처된 장면의 영역을 식별하는 단계; 및
    상기 이동 디바이스에서, 디스플레이된 장면을 실시간으로 디스플레이하는 단계
    를 포함하며, 상기 디스플레이된 장면은,
    상기 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 상기 영역과 연관되는 캡처된 이미지의 전경 부분, 및
    상기 캡처된 장면의 전경 객체와 연관되는 것으로 식별되는 상기 영역과 연관되지 않는 상기 캡처된 이미지의 배경 부분과 상이한 배경
    을 포함하고,
    상기 이동 디바이스에서의 상기 디스플레이된 장면은 개별 배경 제거 프로세스의 예상된 결과를 증명하는(demonstrate) 방법.
  2. 제1항에 있어서, 상기 디스플레이된 장면은 적어도 15 프레임/초(fps)의 속도로 리프레시되는 방법.
  3. 제1항에 있어서, 상기 개별 배경 제거 프로세스는 온라인 마켓플레이스와 연관되는 배경 제거기에 의해 수행되는 방법.
  4. 제1항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 캡처된 장면의 경계에 위치되는 컬러들의 컬러 히스토그램을 발생시키는 단계를 포함하는 방법.
  5. 제4항에 있어서, 상기 컬러 히스토그램은 CIE L*a*b*(CIELAB) 컬러 공간에서의 버킷들의 3차원 어레이를 포함하는 방법.
  6. 제1항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 캡처된 장면의 경계의 지배적 컬러들을 식별하는 단계를 포함하는 방법.
  7. 제6항에 있어서, 상기 캡처된 장면의 지배적 컬러들을 식별하는 단계는 상기 캡처된 장면의 지배적 컬러들과 연관되는 컬러 히스토그램의 버킷들을 식별하는 단계를 포함하는 방법.
  8. 제1항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 캡처된 장면의 경계의 지배적 컬러들의 클러스터 중심들을 식별하는 단계를 포함하는 방법.
  9. 제8항에 있어서, 상기 클러스터 중심들은 상기 캡처된 장면의 지배적 컬러들과 연관되는 것으로 식별되는 컬러 히스토그램의 버킷들에 적어도 부분적으로 기초하는 방법.
  10. 제1항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 캡처된 장면의 픽셀 맵을 발생시키는 단계를 포함하며, 상기 픽셀 맵의 각각의 픽셀은 상기 캡처된 장면의 연관된 픽셀의 픽셀 컬러와 상기 캡처된 장면의 경계의 지배적 컬러들의 클러스터 중심 사이의 컬러 공간 거리에 적어도 부분적으로 기초한 컬러 값을 갖는 방법.
  11. 제10항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 픽셀 맵의 에지 맵을 발생시키는 단계를 추가로 포함하는 방법.
  12. 제11항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 에지 맵에 적어도 부분적으로 기초하여 다각형 맵을 정의하는 단계를 추가로 포함하는 방법.
  13. 제12항에 있어서, 상기 캡처된 장면을 처리하는 단계는 상기 다각형 맵에 적어도 부분적으로 기초하여 배경 제거의 성공을 평가하는 단계를 추가로 포함하는 방법.
  14. 제1항에 있어서, 상기 디스플레이된 장면을 디스플레이하는 단계는 카탈로그 음영(catalog shadow)을 디스플레이하는 단계를 추가로 포함하는 방법.
  15. 개별 배경 제거 프로세스의 예상된 결과를 증명하기 위해 이동 디바이스에서 캡처된 장면의 전경 부분을 정의하고 디스플레이하는 방법으로서,
    이동 디바이스에서 카메라가 활성화된 채로 장면을 시각적으로 실시간 반복 캡처하는 단계;
    상기 캡처된 장면의 경계에서 픽셀들의 컬러들의 컬러 히스토그램을 발생시키는 단계;
    상기 컬러 히스토그램을 통해 상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들을 식별하는 단계;
    상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들의 클러스터들의 하나 이상의 클러스터 중심을 식별하는 단계;
    상기 캡처된 장면의 연관된 픽셀의 컬러와 가장 가까운 클러스터 중심 사이의 컬러 공간 거리에 적어도 부분적으로 기초하여 픽셀 맵의 픽셀들 각각의 컬러를 기초로 하는 상기 지배적 컬러들의 픽셀 맵을 발생시키는 단계;
    상기 픽셀 맵에 기초하여 에지 맵을 발생시키는 단계;
    상기 에지 맵에 적어도 부분적으로 기초하여 전경 영역을 정의하는 단계; 및
    상기 이동 디바이스에서, 디스플레이된 장면을 실시간으로 디스플레이하는 단계
    를 포함하며, 상기 디스플레이된 장면은,
    상기 캡처된 장면의 전경과 연관되는 것으로 식별되는 영역과 연관되는 캡처된 이미지의 전경 부분, 및
    상기 캡처된 장면의 전경과 연관되는 것으로 식별되는 상기 영역과 연관되지 않는 상기 캡처된 이미지의 배경 부분과 상이한 배경
    을 포함하고,
    상기 이동 디바이스에서의 상기 디스플레이된 장면은 개별 배경 제거 프로세스의 예상된 결과를 증명하는 방법.
  16. 제15항에 있어서, 상기 컬러 히스토그램은 복수의 버킷들로 분할되는 3차원 히스토그램을 포함하는 CIE L*a*b*(CIELAB) 컬러 공간을 통해 수행되는 방법.
  17. 제16항에 있어서, 상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들을 식별하는 단계는,
    상기 히스토그램의 가장 큰 버킷과 연관되는 컬러를 식별하는 단계;
    상기 식별된 버킷을 제로화하는 단계; 및
    상기 캡처된 장면의 경계에서의 상기 픽셀들의 임계 부분의 컬러들이 식별되었을 때까지 상기 가장 큰 버킷과 연관되는 상기 컬러를 식별하는 단계 및 상기 식별된 버킷을 제로화하는 단계를 반복하는 단계
    를 포함하는 방법.
  18. 제16항에 있어서, 상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들을 식별하는 단계는,
    상기 히스토그램의 가장 큰 버킷과 연관되는 컬러를 식별하는 단계;
    임계 값을 갖고 상기 가장 큰 버킷에 이웃하는 하나 이상의 버킷과 연관되는 하나 이상의 컬러를 식별하는 단계;
    상기 식별된 버킷들을 제로화하는 단계; 및
    상기 캡처된 장면의 경계에서의 상기 픽셀들의 임계 부분의 컬러들이 식별되었을 때까지 상기 가장 큰 버킷과 연관되는 상기 컬러를 식별하는 단계 및 상기 식별된 버킷을 제로화하는 단계를 반복하는 단계
    를 포함하는 방법.
  19. 이동 디바이스로서,
    활성화된 채로 장면을 시각적으로 실시간 반복 캡처하도록 구성되는 카메라;
    중앙 처리 유닛(CPU) 및 그래픽 처리 유닛(GPU)을 포함하는 복수의 프로세서;
    동작들을 수행하기 위해 상기 복수의 프로세서 중 하나 이상에 의해 실행가능한 컴퓨터 명령어들을 저장하는 비일시적 컴퓨터 저장 매체 - 상기 동작들은,
    상기 캡처된 장면의 경계에서 픽셀들의 컬러들의 컬러 히스토그램을 발생시키는 동작;
    상기 컬러 히스토그램을 통해 상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들을 식별하는 동작;
    상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들의 클러스터들의 하나 이상의 클러스터 중심을 식별하는 동작;
    상기 캡처된 장면의 연관된 픽셀의 컬러와 가장 가까운 클러스터 중심 사이의 컬러 공간 거리에 적어도 부분적으로 기초하여 픽셀 맵의 픽셀들 각각의 컬러를 기초로 하는 상기 지배적 컬러들의 픽셀 맵을 발생시키는 동작;
    상기 픽셀 맵에 기초하여 에지 맵을 발생시키는 동작; 및
    상기 에지 맵에 적어도 부분적으로 기초하여 전경 영역을 정의하는 동작
    을 포함함 -; 및
    디스플레이된 장면을 실시간으로 디스플레이하도록 구성되는 디스플레이
    를 포함하며, 상기 디스플레이된 장면은,
    상기 캡처된 장면의 전경과 연관되는 것으로 식별되는 영역과 연관되는 캡처된 이미지의 전경 부분, 및
    상기 캡처된 장면의 전경과 연관되는 것으로 식별되는 상기 영역과 연관되지 않는 상기 캡처된 이미지의 배경 부분과 상이한 배경
    을 포함하고,
    상기 이동 디바이스에서의 상기 디스플레이된 장면은 개별 배경 제거 프로세스의 예상된 결과를 증명하는 이동 디바이스.
  20. 제19항에 있어서,
    상기 컬러 히스토그램을 발생시키는 동작은 상기 GPU에서 수행되고;
    상기 캡처된 장면의 경계에서 상기 픽셀들의 지배적 컬러들을 식별하는 동작은 상기 GPU에서 수행되고;
    상기 하나 이상의 클러스터 중심을 식별하는 동작은 상기 CPU에서 수행되고;
    상기 픽셀 맵을 발생시키는 동작은 상기 GPU에서 수행되고;
    상기 에지 맵을 발생시키는 동작은 상기 GPU에서 수행되는 이동 디바이스.
KR1020187018281A 2015-12-30 2016-12-19 배경 제거 KR102084343B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/985,108 US20170193644A1 (en) 2015-12-30 2015-12-30 Background removal
US14/985,108 2015-12-30
PCT/US2016/067585 WO2017116808A1 (en) 2015-12-30 2016-12-19 Background removal

Publications (2)

Publication Number Publication Date
KR20180088862A KR20180088862A (ko) 2018-08-07
KR102084343B1 true KR102084343B1 (ko) 2020-03-03

Family

ID=59225280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187018281A KR102084343B1 (ko) 2015-12-30 2016-12-19 배경 제거

Country Status (5)

Country Link
US (1) US20170193644A1 (ko)
EP (1) EP3398042A4 (ko)
KR (1) KR102084343B1 (ko)
CN (2) CN108431751B (ko)
WO (1) WO2017116808A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728510B2 (en) * 2018-04-04 2020-07-28 Motorola Mobility Llc Dynamic chroma key for video background replacement
CN109308704B (zh) * 2018-08-02 2024-01-16 平安科技（深圳）有限公司 背景剔除方法、装置、计算机设备及存储介质
CN111107261A (zh) * 2018-10-25 2020-05-05 华勤通讯技术有限公司 照片生成方法和设备
JP7175795B2 (ja) * 2019-02-22 2022-11-21 キヤノンメディカルシステムズ株式会社 Ｘ線画像処理装置、ｘ線診断装置、およびｘ線画像処理プログラム
CN110267009B (zh) * 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及存储介质
US20220070388A1 (en) * 2020-09-02 2022-03-03 Shopify Inc. Methods and devices for capturing an item image
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120259738A1 (en) * 2011-04-07 2012-10-11 Ebay Inc. Item model based on descriptor and images
US20130004066A1 (en) * 2011-07-03 2013-01-03 Butler David G Determining a background color of a document
US20130083999A1 (en) * 2011-09-30 2013-04-04 Anurag Bhardwaj Extraction of image feature data from images
US20130336523A1 (en) * 2012-06-18 2013-12-19 Ebay Inc. Normalized images for item listings

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0887769B1 (en) * 1997-06-05 2002-03-13 Agfa-Gevaert Method of segmenting a radiation image into direct exposure area and diagnostically relevant area
US6353674B1 (en) * 1997-06-05 2002-03-05 Agfa-Gevaert Method of segmenting a radiation image into direct exposure area and diagnostically relevant area
US5900953A (en) * 1997-06-17 1999-05-04 At&T Corp Method and apparatus for extracting a foreground image and a background image from a color document image
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US6912313B2 (en) * 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
US20050027647A1 (en) * 2003-07-29 2005-02-03 Mikhail Bershteyn Method for prepayment of mortgage held at below market interest rate
TWI376930B (en) * 2006-09-04 2012-11-11 Via Tech Inc Scenario simulation system and method for a multimedia device
JP4311425B2 (ja) * 2006-09-07 2009-08-12 日立工機株式会社 電池パック、充電器、及び電動工具
KR100800660B1 (ko) * 2006-09-21 2008-02-01 삼성전자주식회사 파노라마 영상 촬영 장치 및 방법
US8117089B2 (en) * 2007-02-13 2012-02-14 Claudia Juliana Minsky System for segmentation by product category of product images within a shopping cart
US20090252429A1 (en) * 2008-04-03 2009-10-08 Dan Prochazka System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing
DE102009002075A1 (de) * 2009-04-01 2010-10-07 Wacker Chemie Ag Verfahren zur Herstellung von Kohlenwasserstoffoxysiliciumverbindungen
US8824806B1 (en) * 2010-03-02 2014-09-02 Amazon Technologies, Inc. Sequential digital image panning
US8744420B2 (en) * 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
DE102010018203A1 (de) * 2010-04-26 2011-10-27 Schaeffler Technologies Gmbh & Co. Kg Druckspeicheranordnung für ein Nockenwellenverstellsystem
US8514071B2 (en) * 2010-07-28 2013-08-20 Versus Technology, Inc. Real-time method and system for locating a mobile object or person in a tracking environment
US9024997B2 (en) * 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
KR20120069331A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 영상의 전경과 배경을 분리하는 방법
US8505359B2 (en) * 2011-07-01 2013-08-13 Maximum Controls, L.L.C. System and method for determining a gate position
CN102394461B (zh) * 2011-07-13 2013-10-09 台达电子企业管理（上海）有限公司 防电磁干扰插座的制造方法及防电磁干扰的插座
CN102289543B (zh) * 2011-07-13 2013-01-02 浙江纺织服装职业技术学院 基于遗传—模糊聚类算法的织锦纹样分色方法
CN102751309B (zh) * 2012-04-06 2015-01-14 信利工业(汕尾)有限公司 一种集成nfc天线的有机电致发光显示器
US20130335509A1 (en) * 2012-06-18 2013-12-19 Mobile Video Date, Inc. Methods, systems, and articles of manufacture for online video dating
US8982179B2 (en) * 2012-06-20 2015-03-17 At&T Intellectual Property I, Lp Apparatus and method for modification of telecommunication video content
US20140001687A1 (en) * 2012-06-29 2014-01-02 Honeywell International Inc. Annular isolator with secondary features
GB201217721D0 (en) * 2012-10-03 2012-11-14 Holition Ltd Video image processing
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
CN104134219A (zh) * 2014-08-12 2014-11-05 吉林大学 基于直方图的彩色图像分割算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120259738A1 (en) * 2011-04-07 2012-10-11 Ebay Inc. Item model based on descriptor and images
US20130004066A1 (en) * 2011-07-03 2013-01-03 Butler David G Determining a background color of a document
US20130083999A1 (en) * 2011-09-30 2013-04-04 Anurag Bhardwaj Extraction of image feature data from images
US20130336523A1 (en) * 2012-06-18 2013-12-19 Ebay Inc. Normalized images for item listings

Also Published As

Publication number Publication date
EP3398042A4 (en) 2019-10-09
KR20180088862A (ko) 2018-08-07
WO2017116808A1 (en) 2017-07-06
CN115576471A (zh) 2023-01-06
CN108431751B (zh) 2022-11-08
EP3398042A1 (en) 2018-11-07
CN108431751A (zh) 2018-08-21
US20170193644A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
KR102084343B1 (ko) 배경 제거
US9773302B2 (en) Three-dimensional object model tagging
Park et al. Single image dehazing with image entropy and information fidelity
Yu et al. Fast single image fog removal using edge-preserving smoothing
US8594451B2 (en) Edge mapping incorporating panchromatic pixels
US7844127B2 (en) Edge mapping using panchromatic pixels
US9418473B2 (en) Relightable texture for use in rendering an image
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8693783B2 (en) Processing method for image interpolation
US20180103243A1 (en) Method and A System for Generating Depth Information Associated with an Image
Hou et al. Underwater image dehazing and denoising via curvature variation regularization
JP2007241424A (ja) 画像処理装置および画像処理方法
CN113808054A (zh) 用于对眼底图像的视盘区域进行修复的方法和相关产品
JP6375138B2 (ja) パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
EP4090006A2 (en) Image signal processing based on virtual superimposition
JP2009010636A (ja) 適応ヒストグラム等化方法及び適応ヒストグラム等化装置
JP5822739B2 (ja) 画像処理装置、方法、及びプログラム
AU2011200830B2 (en) Method, apparatus and system for modifying quality of an image
US20190220987A1 (en) Efficient Guided Filter for Depth Refinement
CN105450909B (zh) 一种信息处理方法及电子设备
US11688046B2 (en) Selective image signal processing
CN104346599A (zh) 一种色彩边缘的检测方法及图像处理设备
JP2008147714A (ja) 画像処理装置およびその方法
TWI559042B (zh) 區塊式數位重對焦系統及其方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant