KR20210073570A - 이미지 처리 방법 및 장치, 및 디바이스 - Google Patents

이미지 처리 방법 및 장치, 및 디바이스 Download PDF

Info

Publication number
KR20210073570A
KR20210073570A KR1020217014609A KR20217014609A KR20210073570A KR 20210073570 A KR20210073570 A KR 20210073570A KR 1020217014609 A KR1020217014609 A KR 1020217014609A KR 20217014609 A KR20217014609 A KR 20217014609A KR 20210073570 A KR20210073570 A KR 20210073570A
Authority
KR
South Korea
Prior art keywords
image
area
masks
mask
background
Prior art date
Application number
KR1020217014609A
Other languages
English (en)
Inventor
위 리
페이룽 마
티정 왕
슈제 황
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210073570A publication Critical patent/KR20210073570A/ko

Links

Images

Classifications

    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 처리 방법을 제공한다. 타겟 영역 및 배경 영역은 이미지에 대해 마스크 세그먼트화를 수행함으로써 이미지에서 결정된다. 상이한 컬러 처리 모드들이 타겟 영역 및 배경 영역에 적용되어, 타겟 영역의 휘도가 배경 영역의 휘도보다 크거나, 타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크고, 타겟 영역에 대응하는 주요 객체가 더 두드러지게 강조된다. 이것은 단말 사용자가 촬영 또는 비디오 촬영 동안 영화 특수 효과를 가질 수 있게 하고, 사용자의 촬영 경험을 개선시킨다. 또한, 본 발명은 비디오 콘텐츠의 컬러 변화가 더 매끄럽고 더 자연스럽도록 플리커 제거 방법을 추가로 제공한다.

Description

이미지 처리 방법 및 장치, 및 디바이스
본 발명은 단말 기술 분야에 관한 것으로, 특히, 이미지 처리 방법 및 장치, 및 디바이스에 관한 것이다.
촬영은 사람 또는 객체의 이미지를 기록하기 위해 카메라 또는 비디오 레코더를 사용하는 것이다. 야간 장면 촬영, 비 장면 촬영, 건물 촬영, 및 초상 촬영과 같은, 상이한 장면들에 대한 상이한 촬영 스킬들이 있다. 영화 예술을 위한 동적 촬영은 또한 촬영의 타입이지만, 특정 원리를 준수할 필요가 있다. 과학 및 기술의 진보에 따라, 촬영이 더 간단해지고 더 대중화되었다.
네트워크 대역폭의 증가 및 단말 처리 능력의 강화에 따라, 비디오 및 이미지 촬영 및 공유가 더 편리해지고, 비디오 소비는 모든 사람들에게 새로운 생활 방법이 되었다. 비디오들은 네트워크 상에서 트래픽-집약적 서비스가 빠르게 되고, 다음 몇 년 내에 전체 트래픽의 80% 내지 90%를 차지할 것으로 기대된다.
일상 생활에서, 촬영은 사람들이 스스로를 보여주고 사물들의 아름다움을 찾는 주요 방법이 되었다. 사람들은 더 흥미로운 스타일로 촬영을 수행하기를 원한다. 예를 들어, 촬영 동안, 이미지들 또는 비디오들의 특수 효과 처리가 완료되어, "보이는대로 얻음(what you see is what you get)"의 촬영 경험을 구현한다. 따라서, 비전문가에 대해, 더 새로운 이미지 처리 기술들이 단말에 통합될 필요가 있다.
현재, 단말의 비디오 기록 기능은 단조롭다. 현재, 일부 개인화된 효과들이 결여된 종래의 비디오 촬영만이 제공될 수 있다.
본 발명은 이미지 처리 방법을 제공한다. 이미지에 대해 마스크(템플릿) 세그먼트화를 수행함으로써 이미지에서 타겟 영역 및 배경 영역이 결정된다. 상이한 컬러 처리 모드들이 타겟 영역 및 배경 영역에 적용되어, 타겟 영역의 휘도가 배경 영역의 휘도보다 크거나, 타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크고, 타겟 영역에 대응하는 주요 객체가 더 두드러지게 강조된다. 이것은 단말 사용자가 촬영 또는 비디오 촬영 동안 영화 특수 효과를 가질 수 있게 하고, 사용자의 촬영 경험을 개선시킨다.
본 발명의 실시예들에서 제공되는 구체적인 기술적 해결책들은 다음과 같다.
제1 양태에 따르면, 본 발명의 실시예는 이미지 처리 방법을 제공한다. 이 방법은 비디오 기록 프로세스에 적용되고, 방법은 다음을 포함한다: N개의 이미지를 획득하는 단계; 및 N개의 이미지 각각에 대해 단계 1 및 단계 2를 수행하여 타겟 비디오를 획득하는 단계:
단계 1: 이미지에서의 객체의 카테고리에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계- 배경 영역은 타겟 영역 이외의 이미지의 영역임 -; 및
단계 2: 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득하는 단계- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -.
제2 양태에 따르면, 본 발명의 실시예는 이미지 처리 장치를 제공한다. 장치는 비디오 촬영 프로세스에 적용되고, 장치는 다음을 포함한다: N개의 이미지를 획득하도록 구성된 촬영 모듈; 이미지에서의 객체의 카테고리에 기초하여 N개의 이미지 각각에서 타겟 영역 및 배경 영역을 결정하도록 구성된 결정 모듈- 배경 영역은 타겟 영역 이외의 이미지의 영역임 -; 및 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득하도록 구성된 컬러 처리 모듈- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -.
제3 양태에 따르면, 본 발명의 실시예는 이미지 처리 방법을 제공한다. 방법은 촬영 프로세스에 적용되고, 방법은 다음을 포함한다:
이미지를 획득하는 단계; 이미지에서의 객체의 카테고리에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계- 배경 영역은 타겟 영역 이외의 이미지의 영역임 -; 및 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득하는 단계- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -.
제4 양태에 따르면, 본 발명의 실시예는 이미지 처리 장치를 제공한다. 장치는 다음을 포함한다:
이미지를 획득하도록 구성된 촬영 모듈; 이미지에서의 객체의 카테고리에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하도록 구성된 결정 모듈- 배경 영역은 타겟 영역 이외의 이미지의 영역임 -; 및 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득하도록 구성된 컬러 처리 모듈- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -.
제1 양태, 제2 양태, 제3 양태, 또는 제4 양태에 따르면, 가능한 설계에서, 이미지에서의 객체의 카테고리에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하는 것은 다음을 포함한다: 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 것- k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 주요 객체 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 배경 마스크에 대응하는 영역을 배경 영역으로서 결정하는 것;
k가 2보다 크고 k개의 마스크 내의 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, k0개의 주요 객체 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것- k0은 k보다 작은 음이 아닌 정수임 -;
k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 k개의 마스크 내에 있는 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것;
k가 2보다 큰 경우, 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 k개의 마스크로부터 타겟 마스크를 결정하는 것; 타겟 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것; 또는
k가 2보다 큰 경우, 사용자의 선택 명령에 따라 k개의 마스크로부터 타겟 마스크를 결정하는 것; 및 타겟 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것. 방법은 결정 모듈에 의해 구체적으로 수행될 수 있다.
제1 양태, 제2 양태, 제3 양태 또는 제4 양태에 따르면, 가능한 설계에서, 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하는 것은 다음을 포함하지만 이에 한정되지 않는다:
타겟 영역의 컬러를 유지하고, 배경 영역에 대해 흑백 처리를 수행하는 것;
타겟 영역의 컬러를 유지하고, 배경 영역에 대해 다크닝 처리를 수행하는 것;
타겟 영역의 컬러를 유지하고, 배경 영역에 블러링 처리를 수행하는 것;
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 흑백 처리를 수행하는 것;
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 다크닝(darkening) 처리를 수행하는 것; 또는
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 블러링 처리를 수행하는 것.
또한, 배경 영역을 처리하는 방식은 다크-톤(dark-tone) 필터 방식, 예를 들어, 레트로 필터 방식 또는 필름 필터 방식을 추가로 포함할 수 있다. 방법은 구체적으로 컬러 처리 모듈에 의해 수행된다.
제1 양태, 제2 양태, 제3 양태, 또는 제4 양태에 따르면, 가능한 설계에서, 객체의 카테고리는 사람, 동물, 식물, 미리 설정된 객체, 또는 배경 중 적어도 하나를 포함한다.
더 구체적으로, 전술한 가능한 기술적 구현들에서, 프로세서는 알고리즘 구현 및/또는 신호 획득과 같은 대응하는 처리를 수행하기 위해 메모리 내의 프로그램 및 명령어를 호출할 수 있다.
제5 양태에 따르면, 본 발명의 실시예는 이미지 처리 방법을 제공한다. 방법은 비디오 기록 프로세스에 적용되고, 방법은 구체적으로 다음을 포함한다: 각각의 획득된 이미지에 포함된 객체의 카테고리를 결정하는 단계; 현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 크지 않는 경우, 이미지에서의 객체의 카테고리에 기초하여 현재 이미지에서의 타겟 영역 및 배경 영역을 결정하는 단계- 배경 영역은 타겟 영역 이외의 현재 이미지의 영역임 -; 타겟 영역 및 배경 영역을 각각 제1 컬러 처리 모드 및 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하는 단계- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -; 또는 현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰 경우, 현재 이미지를 제1 컬러 처리 모드 또는 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하는 단계.
제6 양태에 따르면, 본 발명의 실시예는 이미지 처리 장치를 제공한다. 이미지 처리 장치는 비디오 기록 프로세스에서 사용되고, 장치는 구체적으로 다음을 포함한다: 이미지를 획득하도록 구성된 촬영 모듈; 각각의 획득된 이미지에 포함된 객체의 카테고리를 결정하도록 구성된 결정 모듈; 현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 크지 않는 경우, 이미지에서의 객체의 카테고리에 기초하여 현재 이미지에서 타겟 영역 및 배경 영역을 결정하도록 결정 모듈을 제어하고- 배경 영역은 타겟 영역 이외의 현재 이미지의 영역임 -; 및 타겟 영역 및 배경 영역을 각각 제1 컬러 처리 모드 및 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하도록 컬러 처리 모듈을 제어하거나- 타겟 이미지에서의 타겟 영역의 크로미넌스는 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도는 타겟 이미지에서의 배경 영역의 휘도보다 큼 -; 또는 현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰 경우, 현재 이미지를 제1 컬러 처리 모드 또는 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하도록 플리커 제거 모듈을 제어하도록 구성된 판단 모듈.
현재 비디오 이미지는 순간에 기록되고 있는 이미지로서 이해될 수 있다는 것을 이해해야 한다. 본 명세서에서의 순간은 일부 시나리오들에서 일반적인 순간으로서 이해될 수 있거나, 일부 시나리오들에서 특정 순간, 예를 들어, 가장 최근의 순간 또는 사용자가 관심을 갖는 순간으로서 이해될 수 있다.
제5 양태 또는 제6 양태에 따르면, 가능한 설계에서, 이미지에서의 객체의 카테고리에 기초하여 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 것은 다음을 포함한다: 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 것- k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 주요 객체 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 배경 마스크에 대응하는 영역을 배경 영역으로서 결정하는 것;
k가 2보다 크고 k개의 마스크 내의 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, k0개의 주요 객체 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것- k0은 k보다 작은 음이 아닌 정수임 -;
k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 k개의 마스크 내에 있는 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것;
k가 2보다 큰 경우, 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 k개의 마스크로부터 타겟 마스크를 결정하는 것; 타겟 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것; 또는
k가 2보다 큰 경우, 사용자의 선택 명령에 따라 k개의 마스크로부터 타겟 마스크를 결정하는 것; 및 타겟 마스크에 대응하는 이미지 영역을 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 배경 영역으로서 결정하는 것. 방법은 결정 모듈에 의해 구체적으로 수행될 수 있다.
제5 양태 또는 제6 양태에 따르면, 가능한 설계에서, 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하는 것은 다음을 포함하지만 이에 한정되지 않는다:
타겟 영역의 컬러를 유지하고, 배경 영역에 대해 흑백 처리를 수행하는 것;
타겟 영역의 컬러를 유지하고, 배경 영역에 대해 다크닝 처리를 수행하는 것;
타겟 영역의 컬러를 유지하고, 배경 영역에 블러링 처리를 수행하는 것;
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 흑백 처리를 수행하는 것;
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 다크닝(darkening) 처리를 수행하는 것; 또는
타겟 영역의 컬러를 강화시키고, 배경 영역에 대해 블러링 처리를 수행하는 것.
또한, 배경 영역을 처리하는 방식은 다크-톤(dark-tone) 필터 방식, 예를 들어, 레트로 필터 방식 또는 필름 필터 방식을 추가로 포함할 수 있다. 방법은 구체적으로 컬러 처리 모듈에 의해 수행된다.
제5 양태 또는 제6 양태에 따르면, 가능한 설계에서, 객체의 카테고리는 사람, 동물, 식물, 미리 설정된 객체, 또는 배경 중 적어도 하나를 포함한다.
더 구체적으로, 전술한 가능한 기술적 구현들에서, 프로세서는 알고리즘 구현 및 신호 획득과 같은 대응하는 처리를 수행하기 위해 메모리 내의 프로그램 및 명령어를 호출할 수 있다.
제7 양태에 따르면, 본 발명의 실시예는 카메라, 메모리, 프로세서, 및 버스를 포함하는 단말 디바이스를 제공한다. 카메라, 메모리, 및 프로세서는 버스를 통해 접속된다. 카메라는 이미지를 캡처하도록 구성되고, 메모리는 컴퓨터 프로그램 및 명령어를 저장하도록 구성된다. 프로세서는 메모리에 저장되는 컴퓨터 프로그램, 명령어, 및 캡처된 이미지를 호출하도록 구성되고, 단말 디바이스가 전술한 가능한 설계 방법들 중 어느 하나를 수행할 수 있게 하도록 추가로 구체적으로 구성된다.
제7 양태에 따르면, 가능한 설계에서, 단말 디바이스는 안테나 시스템을 추가로 포함한다. 안테나 시스템은 프로세서의 제어 하에 무선 통신 신호를 수신/전송하여, 모바일 통신 네트워크와의 무선 통신을 구현한다. 모바일 통신 네트워크는 GSM 네트워크, CDMA 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, FDMA 네트워크, TDMA 네트워크, PDC 네트워크, TACS 네트워크, AMPS 네트워크, WCDMA 네트워크, TDSCDMA 네트워크, Wi-Fi 네트워크, 및 LTE 네트워크 중 하나 이상을 포함한다.
전술한 가능한 설계들에서의 기술적 해결책들은 무리하지 않고 조합될 수 있다.
종래의 기술에서, 비디오 또는 이미지가 촬영될 때, 임의의 이미지에서의 개체들 또는 컬러들의 구별 없이는 특수 효과가 충분히 풍부하지 않다. 본 발명에 따르면, 이미지에서의 상이한 영역들이 컬러들을 사용함으로써 구별될 수 있어서, 사진 또는 비디오의 특수 효과가 강화되고, 이미지에서의 주요 객체 및 타겟이 더 강조될 수 있다. 이러한 방식으로, 주요 역할들이 더 두드러진다.
도 1은 본 발명의 실시예에 따른 단말의 구조의 개략도이다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 마스크 식별자의 예를 도시한다.
도 4는 본 발명의 실시예에 따른 마스크 식별자의 다른 예를 도시한다.
도 5는 본 발명의 실시예에 따른 타겟 마스크를 결정하는 것의 개략도이다.
도 6은 본 발명의 실시예에 따른 타겟 마스크를 결정하는 것의 다른 개략도이다.
도 7은 본 발명의 실시예에 따른 타겟 마스크를 결정하는 것의 다른 개략도이다.
도 8은 본 발명의 실시예에 따른 타겟 마스크를 결정하는 것의 다른 개략도이다.
도 9는 본 발명의 실시예에 따른 이미지 처리 장치의 개략도이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 다른 개략도이다.
이하에서는 본 발명의 실시예들의 첨부 도면들을 참조하여 본 발명의 실시예들의 기술적 해결책들을 분명하고 완전히 설명한다. 명확히, 설명된 실시예들은 본 발명의 실시예들 전부가 아니라 단지 일부이다. 창조적인 노력 없이 본 발명의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 획득되는 모든 다른 실시예들은 본 발명의 보호 범위 내에 속해야 한다.
본 발명의 실시예들에서, 단말은 비디오 촬영 및/또는 데이터 접속성을 사용자에게 제공하는 디바이스, 무선 접속 기능을 갖는 핸드헬드 디바이스, 또는 무선 모뎀에 접속되는 다른 처리 디바이스, 예를 들어, 디지털 카메라, 단일 렌즈 반사 카메라, 모바일 폰(또는 "셀룰러" 폰으로 지칭됨), 또는 스마트폰일 수 있다. 단말은 휴대용, 포켓 크기, 핸드헬드, 또는 웨어러블 디바이스(예를 들어, 스마트워치), 태블릿 컴퓨터, 개인용 컴퓨터(PC), PDA(Personal Digital Assistant), 차량내 컴퓨터, 드론, 항공 디바이스 등일 수 있다.
도 1은 단말(100)의 선택적인 하드웨어 구조의 개략도이다.
도 1에 도시된 바와 같이, 단말(100)은 무선 주파수 유닛(110), 메모리(120), 입력 유닛(130), 디스플레이 유닛(140), 카메라(150), 오디오 회로(160)(스피커(161) 및 마이크로폰(162)을 포함함), 프로세서(170), 외부 인터페이스(180), 및 전원(190)과 같은 컴포넌트들을 포함할 수 있다. 본 기술분야의 통상의 기술자는 도 1이 단지 지능형 단말 또는 다기능 디바이스의 예이고, 지능형 단말 또는 다기능 디바이스에 대한 제한을 구성하지 않는다는 것을 이해할 수 있다. 지능형 단말 또는 다기능 디바이스는 도면에 도시된 것들보다 많거나 적은 컴포넌트들을 포함하거나, 일부 컴포넌트들을 조합하거나, 상이한 컴포넌트들을 포함할 수 있다. 예를 들어, 지능형 단말 또는 다기능 디바이스는 적어도 메모리(120), 프로세서(170), 및 카메라(150)를 포함한다.
카메라(150)는 이미지 또는 비디오를 캡처하도록 구성되고, 애플리케이션 프로그램으로부터의 명령어에 따라 트리거되고 시작되어, 촬영 기능 또는 비디오 촬영 기능을 구현할 수 있다. 카메라는 이미징 렌즈, 광 필터, 및 이미지 센서와 같은 컴포넌트들을 포함할 수 있다. 객체에 의해 방출되거나 반사된 광선들은 이미징 렌즈에 들어가고, 광 필터를 통과하고, 최종적으로 이미지 센서 상에 수렴한다. 이미징 렌즈는 촬영 화각에서 모든 객체들(촬영될 시나리오, 촬영될 객체들, 타겟 시나리오, 또는 타겟 객체들이라고도 지칭될 수 있고, 사용자가 촬영할 것으로 기대하는 시나리오 이미지라고도 이해될 수 있음)에 의해 방출되거나 반사된 광을 이미지로 수렴하도록 주로 구성된다. 광 필터는 주로 광선들 내의 중복 광파(예를 들어, 가시광 이외의 광파, 예를 들어, 적외선)를 필터링 아웃(filter out)하도록 구성된다. 이미지 센서는 주로 수신된 광 신호에 대해 광-전기 변환을 수행하고, 광 신호를 전기 신호로 변환하고, 전기 신호를 후속 처리를 위해 프로세서(170)에 입력하도록 구성된다. 카메라는 단말 디바이스의 전방에 위치될 수 있거나, 단말 디바이스의 후방에 위치될 수 있다. 카메라들의 특정 수량 및 특정 배열 방식은 설계자 또는 벤더 정책의 요건에 기초하여 융통성 있게 결정될 수 있다. 이는 이 출원에서 제한되지 않는다.
입력 유닛(130)은 입력된 숫자 또는 문자 정보를 수신하고, 다기능 장치의 사용자 설정들 및 기능 제어에 관련된 키 신호 입력을 생성하도록 구성될 수 있다. 구체적으로, 입력 유닛(130)은 터치스크린(131) 및/또는 다른 입력 디바이스(132)를 포함할 수 있다. 터치스크린(131)은 터치스크린 상의 또는 터치스크린 근처의 사용자의 터치 조작(예를 들어, 임의의 적절한 객체, 예를 들어, 손가락, 관절, 또는 스타일러스를 사용하여 터치스크린 상의 또는 터치스크린 근처의 사용자에 의해 수행되는 조작)을 수집하고, 미리 설정된 프로그램에 기초하여 대응하는 접속 장치를 구동할 수 있다. 터치스크린은 터치스크린 상의 사용자의 터치 액션을 검출하고, 터치 액션을 터치 신호로 변환하고, 터치 신호를 프로세서(170)에 전송할 수 있고, 프로세서(170)에 의해 전송된 커맨드를 수신하고 실행할 수 있다. 터치 신호는 적어도 접촉 좌표 정보를 포함한다. 터치스크린(131)은 단말(100)과 사용자 사이에 입력 인터페이스 및 출력 인터페이스를 제공할 수 있다. 또한, 터치스크린은 저항성 타입, 용량성 타입, 적외선 타입, 및 표면 탄성파 타입과 같은 다양한 타입들로 구현될 수 있다. 터치스크린(131) 외에, 입력 유닛(130)은 다른 입력 디바이스를 추가로 포함할 수 있다. 구체적으로, 다른 입력 디바이스(132)는 물리적 키보드, 기능 키(예를 들어, 볼륨 제어 키 또는 온/오프 키(133)), 트랙볼, 마우스, 조이스틱 등 중 하나 이상을 포함할 수 있지만, 이들로 제한되지 않는다.
디스플레이 유닛(140)은 사용자에 의해 입력된 정보 또는 사용자에 대해 제공된 정보, 단말(100)의 다양한 메뉴들, 상호작용 인터페이스, 파일, 및/또는 임의의 멀티미디어 파일을 재생하도록 구성될 수 있다. 본 발명의 이 실시예에서, 디스플레이 유닛은 카메라(150)를 사용하여 단말에 의해 획득된 이미지/비디오를 디스플레이하도록 추가로 구성된다. 이미지/비디오는 일부 촬영 모드들에서의 미리보기 이미지/비디오, 촬영된 초기 이미지/비디오, 및 촬영이 수행된 후에 특정 알고리즘 처리가 수행되는 타겟 이미지/비디오를 포함할 수 있다.
또한, 터치스크린(131)은 표시 패널(141)을 커버할 수 있다. 터치스크린(131) 상의 또는 터치스크린(131) 근처의 터치 조작을 검출한 후에, 터치스크린(131)은 터치 조작을 프로세서(170)에 전달하여 터치 이벤트의 타입을 결정한다. 이어서, 프로세서(170)는 터치 이벤트의 타입에 기초하여 디스플레이 패널(141) 상에 대응하는 시각적 출력을 제공한다. 이 실시예에서, 터치스크린 및 디스플레이 유닛은 단말(100)의 입력, 출력, 및 디스플레이 기능들을 구현하기 위해 하나의 컴포넌트로 통합될 수 있다. 설명의 편의상, 본 발명의 이 실시예에서, 터치 디스플레이 스크린은 터치스크린 및 디스플레이 유닛의 기능 세트를 나타낸다. 일부 실시예들에서, 터치스크린 및 디스플레이 유닛은 대안적으로 2개의 독립적인 컴포넌트로서 사용될 수 있다.
메모리(120)는 명령어 및 데이터를 저장하도록 구성될 수 있다. 메모리(120)는 주로 명령어 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 데이터 저장 영역은 멀티미디어 파일 및 텍스트와 같은 데이터를 저장할 수 있다. 명령어 저장 영역은 운영 체제, 애플리케이션, 및 적어도 하나의 기능, 그것의 서브세트, 또는 그것의 확장 세트에 의해 요구되는 명령어와 같은 소프트웨어 유닛들을 저장할 수 있다. 메모리(120)는 비휘발성 랜덤 액세스 메모리를 추가로 포함할 수 있고, 컴퓨팅 처리 디바이스에서 하드웨어, 소프트웨어, 및 데이터 리소스들을 관리하고 소프트웨어 및 애플리케이션에 대한 제어를 지원하는 것을 포함하는 기능들을 프로세서(170)에 제공할 수 있다. 메모리(120)는 멀티미디어 파일을 저장하고, 실행 프로그램 및 애플리케이션을 저장하도록 추가로 구성된다.
프로세서(170)는 단말(100)의 제어 센터이고, 다양한 인터페이스들 및 라인들을 통해 전체 단말의 다양한 부분들에 접속된다. 프로세서(170)는 단말(100)의 다양한 기능들을 수행하고, 메모리(120)에 저장된 명령어를 실행 또는 실행하고 메모리(120)에 저장된 데이터를 호출함으로써 데이터를 처리하여, 단말에 대한 전체 제어를 수행한다. 선택적으로, 프로세서(170)는 하나 이상의 처리 유닛을 포함할 수 있다. 바람직하게는, 프로세서(170)는 애플리케이션 프로세서 및 모뎀 프로세서와 통합될 수 있다. 애플리케이션 프로세서는 운영 체제, 사용자 인터페이스, 애플리케이션 프로그램 등을 주로 처리한다. 모뎀 프로세서는 무선 통신을 주로 처리한다. 모뎀 프로세서는 대안적으로 프로세서(170)로 통합되지 않을 수 있다는 점이 이해될 수 있다. 일부 실시예들에서, 프로세서 및 메모리는 대안적으로 단일 칩 상에 구현될 수 있다. 일부 실시예들에서, 프로세서 및 메모리는 독립적인 칩들 상에 각각 구현될 수 있다. 프로세서(170)는, 대응하는 동작 제어 신호를 생성하고, 동작 제어 신호를 컴퓨팅 처리 디바이스에서의 대응하는 컴포넌트에 전송하고, 소프트웨어에서의 데이터를 판독 및 처리하도록, 특히 메모리(120)에서의 데이터 및 프로그램을 판독 및 처리하도록 추가로 구성될 수 있어, 프로세서(170)에서의 기능 모듈들이 대응하는 기능들을 수행하여, 명령어들에 의해 요구되는 바와 같은 액션들을 수행하도록 대응하는 컴포넌트들을 제어한다.
무선 주파수 유닛(110)은 호출 프로세스 동안 정보를 수신 및 전송하거나 신호를 수신 및 전송하도록 구성될 수 있다. 예를 들어, 무선 주파수 유닛(110)은 기지국으로부터 다운링크 정보를 수신한 다음, 다운링크 정보를 처리를 위해 프로세서(170)에 전달하고, 관련된 업링크 데이터를 기지국에 전송한다. 일반적으로, 무선 주파수 유닛은 안테나, 적어도 하나의 증폭기, 트랜시버, 커플러, 저잡음 증폭기(Low Noise Amplifier, LNA), 듀플렉서 등을 포함하지만 이들로 제한되지 않는다. 또한, 무선 주파수 유닛(110)은 무선 통신을 통해 네트워크 디바이스 및 다른 디바이스와 추가로 통신할 수 있다. 무선 통신은 모바일 통신을 위한 글로벌 시스템(Global System for Mobile Communications, GSM), 일반 패킷 무선 서비스(General Packet Radio Service, GPRS), 코드 분할 다중 액세스(Code Division Multiple Access, CDMA), 광대역 코드 분할 다중 액세스(Wideband Code Division Multiple Access, WCDMA), 롱 텀 에볼루션(Long Term Evolution, LTE), 이메일, 단문 메시지 서비스(Short Message Service, SMS) 등을 포함하지만 이에 제한되지 않는 임의의 통신 표준 또는 프로토콜을 사용할 수 있다.
오디오 회로(160), 스피커(161) 및 마이크로폰(162)은 사용자와 단말(100) 사이에 오디오 인터페이스를 제공할 수 있다. 오디오 회로(160)는 수신된 오디오 데이터로부터 변환된 전기 신호를 스피커(161)에 송신할 수 있고, 스피커(161)는 전기 신호를 출력을 위한 사운드 신호로 변환한다. 또한, 마이크로폰(162)은 사운드 신호를 수집하도록 구성되고, 수집된 사운드 신호를 전기 신호로 추가로 변환할 수 있다. 오디오 회로(160)는 전기 신호를 수신하고, 전기 신호를 오디오 데이터로 변환하고, 오디오 데이터를 처리를 위해 프로세서(170)에 출력한 다음, 처리된 오디오 데이터를, 예를 들어, 무선 주파수 유닛(110)을 통해 다른 단말에 전송하거나, 처리된 오디오 데이터를 추가 처리를 위해 메모리(120)에 출력한다. 오디오 회로는 또한 오디오 회로와 헤드셋 사이에 접속 인터페이스를 제공하도록 구성된 헤드셋 잭(163)을 포함할 수 있다. 스피커들 및 마이크로폰들의 특정 수량들 및 특정 배열 방식들은 설계자 또는 벤더 정책의 요건에 기초하여 융통성 있게 결정될 수 있다. 이는 이 출원에서 제한되지 않는다.
단말(100)은 각각의 컴포넌트에 전력을 공급하는 전원(190)(예를 들어, 배터리)을 추가로 포함한다. 바람직하게는, 전원은 전력 관리 시스템을 사용하여 프로세서(170)에 논리적으로 접속되어, 전력 관리 시스템을 사용함으로써 충전, 방전, 및 전력 소비 관리와 같은 기능들을 구현할 수 있다.
단말(100)은 외부 인터페이스(180)를 추가로 포함한다. 외부 인터페이스는 표준 마이크로-USB 포트일 수 있거나, 멀티-핀 커넥터일 수 있다. 외부 인터페이스는 단말(100)을 통신을 위한 다른 장치에 접속하도록 구성될 수 있거나, 또는 충전기에 접속하여 단말(100)을 충전하도록 구성될 수 있다.
도시되지는 않았지만, 단말(100)은 플래시 라이트, 무선 충실도(wireless fidelity, Wi-Fi) 모듈, 블루투스 모듈, 상이한 기능들을 갖는 센서들 등을 추가로 포함할 수 있다. 세부 사항들은 본 명세서에서 설명되지 않는다. 후술하는 방법들 중 일부 또는 전부는 도 1에 도시된 단말에 적용될 수 있다.
본 발명은 촬영 기능(촬영 기능 또는 비디오 촬영 기능 중 적어도 하나를 포함함)을 갖는 단말 디바이스에 적용될 수 있고, 구현된 제품은 지능형 단말, 예를 들어, 카메라가 설치되는 제품, 예를 들어, 모바일 폰, 태블릿, DV, 비디오 카메라, 카메라, 휴대용 컴퓨터, 노트북 컴퓨터, 지능형 로봇, 텔레비전, 보안 보호 시스템, 또는 드론의 형태일 수 있다. 구체적으로, 본 발명의 기능 모듈들은 관련 디바이스의 DSP 칩 상에 배치될 수 있고, 구체적으로 DSP 칩 내의 애플리케이션 프로그램 또는 소프트웨어일 수 있다. 본 발명에서, 기능 모듈들은 소프트웨어 설치 또는 업그레이드 및 하드웨어 호출 및 협력을 통해 이미지 처리 기능을 제공하기 위해 단말 디바이스 상에 배치된다.
본 발명은 이미지 또는 비디오가 단말 디바이스를 사용하여 촬영되는 시나리오에 주로 적용된다. 사람들은 비디오 촬영에 대한 점점 더 높은 요건들을 갖고, 촬영 동안 비디오들의 특수 효과 처리를 완료할 것으로 기대하여, "보이는대로 얻음(what you see is what you get)"의 비디오 촬영 경험을 구현한다. 본 발명에 따르면, 주요 객체 세그먼트화가 이미지 또는 비디오에 대해 수행될 수 있고, 상이한 영역들의 컬러들이 조정되어, 이미지의 실시간 특수 효과를 구현할 수 있다.
세부 사항들에 대해서는, 도 2를 참조한다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다. 방법은 이미지 또는 비디오를 촬영하는 프로세스에서 수행될 수 있다. 이하에서는 예들을 사용하여 본 발명을 설명한다.
예 1: 이미지 촬영(촬영 모드)
이 예에서, 특정 구현 프로세스에서, 단말은 촬영 모드를 구성할 수 있다. 촬영 모드에서, 방법은 다음의 단계들을 포함할 수 있다.
단계 21: 이미지를 획득한다(이는 또한 사진 또는 캡처로서 이해될 수 있음).
구체적으로, 사용자가 사진을 찍을 때, 대응하는 미리보기 스트림이 또한 스크린 상에 디스플레이된다. 미리보기 이미지는 일반적으로 미리보기 스트림 내의 하나의 이미지를 지칭할 수 있다. 사용자가 셔터를 태핑(tap)할 때, 촬영된 이미지가 획득된다. 촬영된 이미지의 크기는, 예를 들어, 1920x1080이지만, 이것으로 제한되지 않는다.
단계 22: 촬영된 이미지에서의(장면 시맨틱으로서 이해될 수 있는) 콘텐츠에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정한다. 더 구체적으로, 타겟 영역 및 배경 영역은 이미지에서의 객체의 카테고리에 기초하여 이미지에서 결정될 수 있다. 배경 영역은 타겟 영역 이외의 이미지의 영역이다. 타겟 영역은 이미지에서의 타겟 객체 또는 타겟 바디, 즉, 사용자가 이미지 내에서 강조할 것으로 기대하는 객체에 대응하고, 사용자의 상호작용 선택 또는 시스템 설정에 관련될 수 있다. 구체적으로, 단계 22는 S221 내지 S224를 포함할 수 있다.
S221: 이미지를 전처리한다.
원래 크기의 촬영된 이미지는 다운샘플링되고 더 작은 해상도의 이미지로 변환된다. 작은 이미지에 기초하여 계산이 수행될 때 계산량이 감소될 수 있다. 특정 구현 프로세스에서, 원래의 크기(예를 들어, m0 x n0)는 m x n의 크기로 다운샘플링될 수 있다. m 및 n의 값들의 더 작은 값들은 후속 계산량이 작아진다는 것을 표시한다. 그러나, m 및 n의 값들이 과도하게 작은 경우, 픽셀 해상도는 후속하여 감소한다. 실험들은 m 및 n의 적절한 값 범위들이 [128, 512], 보다 구체적으로는 [256, 300]임을 보여주었다. 또한, m 및 n은 동일하거나 동일하지 않을 수 있다. 예를 들어, 1920x1080의 이미지가 256x256으로 다운샘플링될 수 있다.
S222: 다운샘플링된 m x n 이미지를 신경망에 입력하여 시맨틱 세그먼트화를 수행하여 이미지 마스크(Mask)를 결정한다.
시맨틱 세그먼트화는 이미지에서의 객체에 대해 수행되는 픽셀-레벨 세그먼트화를 지칭하고, 객체의 카테고리는 각각의 픽셀에 대해 마킹된다. 표시된 객체 카테고리가 없는 영역은 "배경"으로 마킹된다.
구체적으로, 시맨틱 세그먼트화는 CNN(Convolutional Neural Network)에 기초한 딥 러닝 알고리즘을 사용할 수 있다. CNN 기반 네트워크 모델은 다음과 같이 구체적으로 설명된다:
(1) m1 x n1 이미지, m2 x n2 이미지, ..., 및 mz x nz 이미지를 획득하기 위해 m x n 이미지에 대해 다운샘플링 및 컨볼루션이 수행되고, m1 x n1 특징 맵, m2 x n2 특징 맵, ..., 및 mz x nz 특징 맵, 즉 멀티-스케일 시맨틱 특징들을 획득하기 위해 이미지 시맨틱 특징들이 레이어별로 추출되며, 여기서 m1, m2, ..., 및 mz는 배수 관계(multiple relationship)에 있고 m 미만이며, n1, n2, ..., nz는 배수 관계에 있고 n 미만이다. 예를 들어, m = 2m1 = 4m2 =, ..., =2z x mz이고, n = 2n1 = 4n2 =, ..., =2z x nz이다. z의 값 및 배수 관계는 알고리즘 성능 및 설계 요건에 기초하여 결정될 수 있다.
(2) m1 x n1 특징 맵, m2 x n2 특징 맵, ..., 및 mz x nz 특징 맵에 대해 컨볼루션 및 업샘플링이 수행되어, 멀티-스케일 시맨틱 특징들을 융합시킨다.
위에서 언급된 컨볼루션, 다운샘플링, 및 업샘플링 방법들은 산업계에 잘 알려진 기술들을 사용할 수 있고, 본 발명에서 제한되고 열거되지 않는다.
(3) 이미지에서 식별될 필요가 있는 객체 카테고리가 결정되고, 각각의 픽셀에 대한 각각의 객체 카테고리의 스코어가 계산되고, 최고 스코어를 갖는 객체 카테고리(줄여서 카테고리일 수 있음)가 픽셀의 분류 결과로서 사용되고, 마스크 그래프, 즉 마스크가 최종적으로 획득된다.
예를 들어, 단말이 k개의 객체 카테고리(예를 들어, 사람, 동물, 식물, 다른 미리 설정된 객체, 또는 배경 중 적어도 하나)를 식별할 수 있는 경우, k개의 이미지가 획득될 수 있다. 이미지에서의 각각의 픽셀은 객체 카테고리에 속하는 스코어를 획득한다. 더 높은 스코어는 픽셀이 객체 카테고리에 속할 더 높은 확률을 표시한다.
임의의 픽셀의 객체 카테고리가 결정되면, 픽셀이 식별될 수 있다. 예를 들어, 1은 사람을 표시하기 위해 사용되고, 2는 차량을 표시하기 위해 사용되고, 3은 동물을 표시하기 위해 사용되고, 4는 식물을 표시하기 위해 사용되고, 0은 배경을 표시하기 위해 사용된다. 이것은 단지 예일 뿐이며, 어떠한 제한도 구성하지 않는다. 사용자는 설계 요건에 기초하여 카테고리들의 수량, 카테고리들, 및 식별 방법을 랜덤하게 설계할 수 있다. 구체적인 예가 도 3에 도시될 수 있다. 차량이 위치되는 모든 픽셀 영역들은 신경망에 의해 차량으로서 분류되고, 1로서 식별된다. 주변 배경 부분에서의 모든 픽셀 영역들은 신경망에 의해 배경으로서 분류되고, 0으로서 식별된다. 다른 예로서, 신경망에 의해 출력된 마스크에서, 동일한 카테고리의 객체들의 영역들은 동일한 라벨을 갖는다. 예를 들어, 배경의 라벨은 0이고, 고양이의 라벨은 1이고, 스케이트보드의 라벨은 2이다. 도 4에 도시된 마스크에서, 동일한 컬러는 동일한 객체 카테고리의 라벨들을 표현하기 위해 추가로 사용될 수 있다. 예를 들어, 사람, 말, 및 배경은 상이한 컬러들을 사용하여 각각 식별된다.
마스크는 시맨틱 세그먼트화 알고리즘의 결과이다. 이미지에서, 객체들의 카테고리에 속하는 모든 픽셀들은 컬러 또는 식별자로서 라벨링되고, 배경은 또한 컬러 또는 식별자로서 라벨링된다. 처리 후에 획득된 이미지는 마스크로서 지칭되어, 세그먼트화 결과가 직관적으로 디스플레이된다.
이미지의 콘텐츠는 주요 객체 및 배경을 포함할 수 있다. 설명의 편의상, 대응적으로, 이미지 마스크는 주요 객체 마스크 및 배경 마스크를 포함할 수 있다. 주요 객체 마스크는 사용자가 이미지 또는 촬영된 이미지에서 강조할 것으로 기대하는 개체, 예를 들어, 사람, 동물, 식물, 또는 특정 객체(컵, 테이블, 의류, 장식...)를 포함하는, 세그먼트화 방법을 사용하여 식별된 주요 객체에 대응할 수 있다. 배경 마스크는 이미지 내에 있고 주요 객체 마스크로서 식별되지 않은 다른 영역에 대응한다. 이미지 마스크는 전체 이미지에 대응한다. 주요 객체 마스크의 식별 능력은 신경망의 성능과 관련된다. 예를 들어, 일부 신경망들은 사람과 배경만을 식별할 수 있다. 일부 신경망들은 사람, 차량, 및 배경을 식별할 수 있다. 일부 신경망들은 차량과 배경만을 식별할 수 있다. 일부 신경망들은 사람, 동물, 및 배경을 식별할 수 있다. 일부 신경망들은 동물 및 배경만을 식별할 수 있다. 일부 신경망들은 동물, 식물, 배경...을 식별할 수 있다.
이미지는 대안적으로 주요 객체만을 포함할 수 있거나, 배경만을 포함할 수 있다는 것을 이해해야 한다. 이미지가 주요 객체만을 포함할 때, 주요 객체는 또한 배경으로서 식별될 수 있다. 이미지에서의 주요 객체 및 배경에 관한 이러한 설정들은 설계자에 의해 융통성 있게 설계되고 결정될 수 있다.
많은 양의 세그먼트화 훈련 데이터가 딥(deep) 신경망의 훈련을 위해 사용될 필요가 있고, 훈련 데이터 세트는 세그먼트화 객체 카테고리들, 입력 이미지들, 및 마스크 그래프들을 포함하는 많은 수량의 이미지들을 포함한다. 훈련 데이터 세트는 세그먼트화 객체의 다양한 전형적인 애플리케이션 시나리오들을 커버할 수 있고, 다양한 데이터를 갖는다. 훈련 데이터 세트 내의 입력 이미지들 및 마스크 그래프들은 네트워크를 훈련하여, 우수한 네트워크 파라미터를 획득하는데, 즉 사용자에 의해 충족되는 세그먼테이션 성능을 획득하기 위해 사용된다. 획득된 네트워크 파라미터는 신경망의 최종 사용된 계산 파라미터로서 사용된다.
S223: 마스크들에 기초하여 타겟 마스크를 결정한다.
상이한 이미지들 및 상이한 능력들을 갖는 신경망들에 대해, 다양한 마스크들이 획득될 수 있다. 단말은 마스크들 내에 있고 가장 강조되고 두드러지게 디스플레이될 필요가 있는 객체에 대응하는 마스크를 추가로 결정할 수 있다. 즉, 타겟 마스크가 결정될 필요가 있다. 타겟 마스크를 결정하는 것은 다음의 몇몇 방식들을 포함하지만 이에 제한되지 않는다.
방식 1: 마스크가 단지 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 주요 객체 마스크는 타겟 마스크로서 결정된다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 주요 객체 마스크에 대응하는 이미지 영역은 타겟 영역으로서 결정되고, 배경 마스크에 대응하는 영역은 배경 영역으로서 결정된다.
도 5에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크 A1 및 배경 마스크만을 포함한다. 이 경우, A1은 타겟 마스크로서 결정될 수 있다.
방식 2: 마스크가 복수의 주요 객체 마스크 및 배경 마스크를 포함할 때, 임의의 주요 객체 마스크에 포함된 픽셀 수량이 특정 임계값보다 큰 경우, 주요 객체 마스크는 타겟 주요 객체로서 결정되거나; 또는, 임의의 주요 객체 마스크에 포함된 픽셀 수량이 특정 임계값보다 작은 경우, 주요 객체 마스크는 재마킹되고, 또한 배경으로서 마킹된다. 주요 객체 마스크에 포함된 픽셀 수량은 이미지에서의 개체의 영역에 포함된 픽셀 수량일 수 있다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k가 2보다 크고 k개의 마스크 내의 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, k0개의 주요 객체 마스크에 대응하는 이미지 영역은 타겟 영역으로서 결정되고, 나머지 마스크에 대응하는 이미지 영역은 배경 영역으로서 결정되며, 여기서 k0은 k보다 작은 음이 아닌 정수이다.
도 6에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크 A1, 주요 객체 마스크 A2, 및 배경 마스크를 포함한다. A1에 포함된 픽셀 수량이 미리 설정된 임계값보다 크고 A2에 포함된 픽셀 수량이 미리 설정된 임계값보다 크지 않는 경우, A1은 타겟 마스크로서 결정되고, 주요 객체 마스크 A2는 배경 마스크로서 재마킹된다. 재마킹된 마스크가 도 5에 도시될 수 있다. A1에 포함되는 픽셀 수량이 미리 설정된 임계값보다 크고 A2에 포함되는 픽셀 수량이 또한 미리 설정된 임계값보다 큰 경우, A1 및 A2 둘 다가 타겟 마스크로서 결정된다. A1에 포함된 픽셀 수량도 A2에 포함된 픽셀 수량도 미리 설정된 임계값보다 크지 않는 경우, A1 및 A2는 배경 마스크들로서 재식별된다. 즉, 이미지는 주요 객체 마스크를 포함하지 않는다.
특정 구현 프로세스에서, A1 및 A2는 동일한 객체 카테고리 또는 상이한 객체 카테고리들일 수 있다는 것을 이해해야 한다.
방식 3: 마스크가 복수의 주요 객체 마스크 및 배경 마스크를 포함할 때, 최대 픽셀 수량을 포함하는 주요 객체 마스크가 타겟 마스크로서 선택되고, 다른 주요 객체 마스크들도 배경 마스크로서 재마킹된다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 k개의 마스크에 있는 주요 객체 마스크에 대응하는 이미지 영역이 타겟 영역으로서 결정되고, 나머지 마스크들에 대응하는 이미지 영역이 배경 영역으로서 결정된다.
도 6에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크 A1, 주요 객체 마스크 A2, 및 배경 마스크를 포함한다. 최대 픽셀 수량을 포함하는 A1이 타겟 마스크로서 결정되고, 주요 객체 마스크 A2는 배경 마스크로서 재마킹된다. 재마킹된 마스크는 도 5에 도시될 수 있다.
특정 구현 프로세스에서, A1 및 A2는 동일한 객체 카테고리 또는 상이한 객체 카테고리들일 수 있다는 것을 이해해야 한다.
방식 4: 마스크가 복수의 주요 객체 마스크 및 배경 마스크를 포함하고, 복수의 주요 객체 마스크가 복수의 객체 카테고리를 포함할 때, 타겟 마스크는 객체 카테고리들의 우선순위들에 기초하여 결정된다. 예를 들어, 사람 마스크의 우선순위가 차량 마스크의 우선순위보다 높은 경우, 사람 마스크는 타겟 마스크이고, 차량 마스크는 배경으로서 재마킹될 수 있다. 예를 들어, 사람 마스크의 우선 순위가 동물 마스크의 우선 순위보다 높고 식물 마스크의 우선 순위보다 높고, 시스템에 의해 설정된 우선 순위가 우선 순위들이 식물 마스크의 우선 순위보다 높은 모든 마스크들이 주요 객체 마스크들인 것인 경우, 사람 마스크와 동물 마스크는 둘 다 타겟 마스크들이고, 식물 마스크는 배경으로서 재마킹될 수 있다. 하나 이상의 개체가 동일한 객체 카테고리 마스크에 속한다는 것을 이해해야 한다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k가 2보다 큰 경우, 타겟 마스크는 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 k개의 마스크로부터 결정된다. 타겟 마스크에 대응하는 이미지 영역이 타겟 영역으로서 결정되고, 나머지 마스크에 대응하는 이미지 영역이 배경 영역으로서 결정된다.
도 7에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크 A1, 주요 객체 마스크 B1, 및 배경 마스크를 포함한다. A1 및 B1은 상이한 객체 카테고리들이고, A1의 우선순위는 B1의 우선순위보다 높다. 시스템이 우선순위가 B1의 우선순위보다 높거나 같은 임의의 주요 객체 마스크가 타겟 마스크로서 사용될 수 있는 것으로 설정하는 경우, A1과 B1 둘 다는 타겟 마스크들이다. 시스템이 우선순위가 B1보다 높은 주요 객체 마스크가 타겟 마스크로서 사용될 수 있는 것으로 설정하는 경우, A1은 타겟 마스크로서 결정되고, B1은 배경 마스크로서 재마킹된다.
방식 5: 마스크가 복수의 주요 객체 마스크 및 배경 마스크를 포함하는 경우, 타겟 마스크는 사용자에 의해 입력된 선택 조작에 따라 결정될 수 있다. 입력 모드는 스크린 터칭 및 음성과 같은 선택 명령들을 포함하지만 이에 제한되지 않는다. 사용자에 의해 선택된 개체에 대응하는 주요 객체 마스크는 타겟 마스크이다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k가 2보다 큰 경우, 타겟 마스크는 사용자의 선택 명령에 따라 k개의 마스크로부터 결정된다. 타겟 마스크에 대응하는 이미지 영역이 타겟 영역으로서 결정되고, 나머지 마스크들에 대응하는 이미지 영역이 배경 영역으로서 결정된다.
도 7에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크 A1, 주요 객체 마스크 B1, 및 배경 마스크를 포함한다. 사용자가 촬영 프로세스에서 터치스크린 상의 A1에 대응하는 개체를 태핑하는 경우, A1은 타겟 마스크로서 결정되고, B1은 배경 마스크로서 재마킹된다. 사용자가 촬영 프로세스에서, 터치스크린 상의 B1에 대응하는 개체를 태핑하는 경우, B1은 타겟 마스크로서 결정되고, A1은 배경 마스크로서 재마킹된다.
방식 6: 마스크가 복수의 주요 객체 마스크 및 배경 마스크를 포함하고, 복수의 주요 객체 마스크가 복수의 객체 카테고리를 포함하는 경우, 사용자에 의해 입력된 선택 조작에 기초하여 타겟 마스크가 결정될 수 있다. 입력 모드는 스크린 터칭 및 음성과 같은 선택 명령들을 포함하지만 이에 제한되지 않는다. 사용자에 의해 선택된 개체에 대응하는 객체 카테고리의 모든 주요 객체 마스크들은 타겟 마스크들이다.
구체적으로, k개의 마스크를 획득하기 위해 이미지에 대해 시맨틱 세그먼트화가 수행된다고 가정한다. k개의 마스크는 상이한 객체 카테고리들에 대응한다. k가 2보다 큰 경우, 타겟 마스크는 사용자의 선택 명령에 따라 k개의 마스크로부터 결정된다. 타겟 마스크에 대응하는 이미지 영역이 타겟 영역으로서 결정되고, 나머지 마스크에 대응하는 이미지 영역이 배경 영역으로서 결정된다.
도 8에 도시된 바와 같이, 신경망에 의해 출력된 이미지의 마스크들은 주요 객체 마스크들 A1, A2, B1, 및 B2 및 배경 마스크를 포함한다. A1 및 A2는 동일한 객체 카테고리이고, B1 및 B2는 동일한 객체 카테고리이다. 사용자가, 촬영 프로세스에서, 터치스크린 상의 A1에 대응하는 개체를 태핑하는 경우, 동일한 객체 카테고리의 것인 A1 및 A2는 타겟 마스크들로서 결정되고, B1 및 B2는 배경 마스크들로서 재마킹된다. 사용자가 촬영 프로세스에서 터치스크린 상의 B2에 대응하는 개체를 태핑하는 경우, 동일한 객체 카테고리의 B1 및 B2는 타겟 마스크들로서 결정되고, A1 및 A2는 배경 마스크들로서 재마킹된다.
전술한 특정 구현들 또는 실시예들은 단지 예들이고 제한들을 구성해서는 안 된다는 것을 이해해야 한다. 전술한 특정 구현들 또는 실시예들은 논리를 위반하지 않고 자유롭게 조합될 수 있다. 따라서, 마스크 세그먼트화가 이미지에 대해 수행된 후에, 하나 이상의 타겟 마스크가 획득될 수 있다. 이러한 타겟 마스크들은 하나 이상의 객체 카테고리의 것일 수 있고, 타겟 마스크들의 각각의 객체 카테고리는 하나 이상의 개체를 추가로 포함할 수 있다. 표시된 결과는 단말 시스템에서 설정되고 타겟 마스크 및 사용자의 입력을 결정하기 위한 규칙과 관련된다. 일부 시나리오들에서, 이미지는 대안적으로 배경 마스크만을 포함할 수 있다.
s224: 원본 이미지에서 타겟 영역 및 배경 영역을 결정한다.
마스크로부터 촬영된 이미지의 원래 크기가 샘플링되고, 마스크 내의 타겟 마스크 및 배경 마스크도 업샘플링된다. 업샘플링된 타겟 마스크의 것이고 원래 이미지에 대응하는 모든 픽셀들에 의해 구성되는 영역은 타겟 영역이고, 업샘플링된 배경 마스크의 것이고 원래 이미지에 대응하는 모든 픽셀들에 의해 구성되는 영역은 배경 영역이다.
단계 23: 이미지에서의 타겟 영역 및 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득한다. 상이한 컬러 처리 모드들이 처리를 위해 사용되어, 타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크거나 타겟 영역의 휘도가 배경 영역의 휘도보다 크다. 즉, 타겟 이미지에서의 타겟 영역의 크로미넌스가 타겟 이미지에서의 배경 영역의 크로미넌스보다 크거나, 타겟 이미지에서의 타겟 영역의 휘도가 타겟 이미지에서의 배경 영역의 휘도보다 크다.
구체적으로, 제1 컬러 처리 모드 및 제2 컬러 처리 모드가 이미지에서의 타겟 영역 및 배경 영역에 대해 각각 사용된다. 제1 컬러 처리 모드 및 제2 컬러 처리 모드는 다음의 방식들을 포함하지만 이에 한정되지 않는다.
방식 1: 제1 컬러 처리 모드는 컬러를 유지하는 것이고, 제2 컬러 처리 모드는 필터를 사용하는 것, 예를 들어, 배경 영역의 컬러를 흑백으로 변환하는 것이다. 전형적인 필터들은 흑백 필터, 다크닝 필터, 레트로 필터, 필름 필터, 블러링 필터, 보케(bokeh) 필터 등 중 임의의 것을 추가로 포함한다.
예를 들어, 흑백 필터는 흑백 필터의 효과를 구현하기 위해 각각의 픽셀 값을 그레이스케일 값에 매핑하는 것이다. 다른 예를 들면, 다크닝 필터는 각각의 픽셀 값의 휘도를 다크닝하여 특별한 다크닝 효과를 달성하는 것이다.
방식 2: 제1 컬러 처리 모드는 제1 필터 방식이고, 제2 컬러 처리 모드는 제2 필터 방식이고, 제1 필터 방식은 제2 필터 방식과 상이하다. 동일한 이미지에 대해, 제1 필터 방식으로 획득된 이미지의 크로미넌스는 제2 필터 방식으로 획득된 이미지의 크로미넌스보다 크다.
방식 3: 제1 컬러 처리 모드는 제3 필터 방식이고, 제2 컬러 처리 모드는 제4 필터 방식이고, 제3 필터 방식은 제4 필터 방식과 상이하다. 동일한 이미지에 대해, 제3 필터 방식으로 획득된 이미지의 휘도는 제4 필터 방식으로 획득된 이미지의 휘도보다 크다.
컬러는 휘도 및 크로미넌스 둘 다에 의해 표현된다는 것을 이해해야 한다. 크로미넌스는 휘도를 포함하지 않는 컬러의 속성이고, 컬러의 톤 및 채도를 반영하고, 휘도는 컬러의 밝기를 지칭한다. 따라서, 컬러 처리는 휘도 처리 및/또는 크로미넌스 처리를 포함한다.
구체적으로, 필터는 크로미넌스, 휘도, 및 색조를 조정하는 것을 포함할 수 있고, 중첩된 텍스처 등을 추가로 포함할 수 있다. 컬러 시스템은, 컬러 시스템이 더 두껍거나 더 밝아지거나, 톤이 변경되고, 다른 컬러 시스템이 변경되지 않고 유지되도록, 크로미넌스 및 색조를 조정함으로써 타겟팅된 방식으로 조정될 수 있다. 필터는 또한 픽셀-대-픽셀 매핑으로서 이해될 수 있다. 입력 이미지의 픽셀 값은 미리 설정된 매핑 테이블을 사용하여 타겟 픽셀의 픽셀 값에 매핑되어, 특수 효과를 달성한다. 필터는 미리 설정된 파라미터 마스크일 수 있다는 것을 이해해야 한다. 이러한 컬러 관련 파라미터들은 산업계에 잘 알려진 필터 마스크 내의 파라미터들일 수 있거나, 사용자에 의해 독립적으로 설계된 파라미터들일 수 있다.
보충으로서, 단계 23 후에, 방법은 단계 23에서 처리된 이미지를 저장하는 단계 24를 추가로 포함한다.
본 발명에 따르면, 촬영 프로세스에서, 단말은 이미지 콘텐츠에 기초하여 타겟 개체 및 배경을 결정하고, 타겟 개체 및 배경에 대해 상이한 컬러 처리를 수행할 수 있어, 사용자에 의해 촬영된 이미지에서의 주요 객체가 더 두드러질 수 있고, 촬영된 이미지는 필름과 같다.
예 2: 비디오 촬영(비디오 기록 모드)
구체적으로, 본 발명에서, 비디오 기록을 위한 이미지 처리 방법은 촬영을 위한 이미지 처리 방법과 유사하고, 차이는 촬영에서 처리된 객체가 하나의 이미지인 반면, 비디오 기록에서 처리된 객체가 연속적인 비디오 프레임들, 즉 복수의 연속적인 이미지라는 점에 있다. 비디오 기록에서 처리되는 객체는 완전한 비디오일 수 있거나, 완전한 비디오에서의 세그먼트, 또는 시간 기간 범위 내의 사용자 정의(user-defined) 비디오 클립일 수 있다. 비디오 또는 비디오 클립 내의 각각의 이미지의 처리 절차에 대해서는, 예 1의 처리 방법을 참조한다.
구체적으로, 비디오 촬영을 위한 이미지 처리 방법은 다음의 단계들을 포함할 수 있다.
단계 31: N개의 촬영된 이미지를 획득하며, 여기서 N은 양의 정수이고; 각각의 이미지에 대해 단계들 32 및 33의 동작들을 수행하며, 여기서 N개의 이미지는 인접한 비디오 프레임들일 수 있고, N개의 이미지의 합은 비디오로서 이해될 수 있다. 대안적으로, N개의 이미지는 인접하지 않을 수 있다.
단계 32의 선택적 구현은 단계 22의 것과 동일할 수 있다.
단계 33의 선택적 구현은 단계 23의 것과 동일할 수 있다.
보충으로서, 비디오가 연속적인 이미지들을 포함하기 때문에, 개체를 결정하는 방식은 또한 시간 시퀀스와 관련된다. 따라서, 단계 23에 더하여, 단계 33에서 더 많은 구현들이 있을 수 있다. 선택적으로, S223에서 주요 객체를 결정하는 임의의 방식은 지연을 가질 수 있다. 예를 들어, 제L1 프레임에서 사람 및 배경이 결정되고, 픽셀 마킹 및 마스크 비교를 통해 이미지의 제(L1+1) 프레임으로부터 이미지의 제(L1+L0) 프레임까지, 이러한 이미지들 내의 사람이 주요 객체이고, 이러한 이미지들 내의 사람에 대응하는 영역이 타겟 영역 0이라고 여전히 결정될 수 있다. 주요 객체 및 배경은 각각의 프레임에 대해 결정될 필요가 없다. 매번 주요 객체가 결정되는 순간이 사용자에 의해 정의될 수 있거나, 주요 객체가 주기적으로, 예를 들어, 2초마다 또는 10초마다 결정될 수 있지만, 이들로 제한되지 않는다. 매번 주요 객체를 결정하는 방식은 S223에서의 6개의 방식을 포함하지만 이에 제한되지 않는다.
단계 34: 컬러 처리가 수행되는 N개의 이미지로 구성된 비디오를 저장한다.
본 발명에 따르면, 사용자가 비디오를 기록하는 프로세스에서, 단말은 비디오 콘텐츠에 기초하여 타겟 개체 및 배경을 결정하고, 타겟 개체 및 배경에 대해 상이한 컬러 처리를 수행할 수 있어서, 사용자에 의해 촬영된 비디오의 주요 객체가 더 두드러질 수 있고, 촬영된 비디오가 영화만큼 멋지고, 사용자 경험이 개선된다.
예 3: 비디오 촬영(비디오 기록 모드)
본 발명에서, 비디오 기록을 위한 이미지 처리 방법은 촬영을 위한 이미지 처리 방법과 유사하고, 차이는 촬영에서 처리된 객체가 하나의 이미지인 반면, 비디오 기록에서 처리된 객체가 연속적인 비디오 프레임들, 즉 복수의 연속적인 이미지라는 점에 있다. 따라서, 각각의 이미지의 처리 절차에 대해서는, 예 1의 처리 방법을 참조한다. 일부 복잡한 비디오 촬영 시나리오들에서, 이미지에서의 일부 영역들이 부정확하게 검출될 수 있다. 동일한 영역이 인접한 프레임들에서 타겟 또는 배경으로서 개별적으로 마킹되면, 동일한 영역은 전술한 예시적인 컬러 처리 방법에 따라 상이한 컬러들로 처리되고, 인접한 프레임들에서 동일한 영역의 컬러들의 변화들은 감각 플리커를 야기한다. 따라서, 처리 동안 플리커가 결정되고 제거될 필요가 있다. 플리커는 객체 카테고리 결정 에러로서 이해될 수 있다.
비디오 플리커들을 결정하는 방법에서, 옵티컬 플로우(optical flow)에 기초하여 이전 프레임의 마스크를 처리하여 옵티컬 플로우-기반 마스크를 획득할 수 있고, 옵티컬 플로우-기반 마스크와 현재 프레임의 마스크 사이의 차이가 비교된다. 일치도 또는 유사도가 특정한 비율을 초과하는 경우, 플리커가 발생하지 않는 것으로 결정된다. 일치도 또는 유사도가 특정 비율을 초과하지 않는 경우, 플리커가 발생한 것으로 결정된다. 또한, 플리커 결정은 연속적인 프로세스라는 것을 이해해야 한다. 선택적으로, 플리커가 존재하는지를 결정하기 위한 특정 방법은 다음과 같다:
(1) 먼저, 인접 프레임들의 옵티컬 플로우가 계산되고, 옵티컬 플로우는 인접 프레임들(제(t-1) 프레임 및 제t 프레임) 내의 픽셀들 사이의 변위 관계를 표시한다.
(2) 제(t-1) 프레임의 마스크가 획득되고, 제t 프레임의 옵티컬 플로우 마스크 F는 제(t-1) 프레임의 마스크 및 제(t-1) 프레임과 제t 프레임의 옵티컬 플로우 정보에 기초하여 계산되고, 옵티컬 플로우 마스크는 옵티컬 플로우에 기초한 계산을 통해 획득된다.
(3) 제t 프레임의 마스크 S가 획득된다.
(4) 옵티컬 플로우 마스크 F의 주요 객체의 픽셀 세트 SF가 카운트되고, 마스크 S에서의 주요 객체의 픽셀 세트 SS가 카운트된다. SF 및 SS의 합집합(union) 세트 및 교집합(intersection) 세트에서의 픽셀 수량들은 각각 Nu 및 Ni이다. (Nu-Ni)/Nu가 특정 임계값보다 클 때, 인접한 프레임들 제(t-1)과 제t의 마스크들 사이에 비교적 큰 차이가 있다고 간주되고, 제(t-1) 프레임과 제t 프레임 사이에 플리커가 발생한다고 결정되거나, 플리커가 제t 프레임에서 발생한다고 이해될 수 있다. 비교적 큰 차이는 동일한 객체가 상이한 객체 카테고리들로서 잘못 판단될 수 있다는 것을 표시한다. 예를 들어, 프레임 제(t-1) 및 프레임 제t 내의 동일한 개체가 개별적으로 사람 및 원숭이로서 결정된다.
선택적으로, 현재 이미지의 제1 N0개(2보다 큰 양의 정수)의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰 경우, 플리커 예외 처리가 현재 프레임에 대해 수행될 필요가 있다고 결정될 수 있다. 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 크지 않다고 결정되는 경우, 플리커 예외 처리가 현재 프레임에 대해 수행될 필요가 없다고 결정될 수 있다.
선택적으로, 예를 들어, 미리 결정된 이력적 인접 프레임 수량 또는 미리 설정된 이력적 프레임 수량에 대해, 플리커가 프레임들의 절반보다 많이 발생한다고 결정되는 경우(예를 들어, 플리커가 현재 비디오 프레임의 제1 5개의 인접 프레임 내의 3개의 비디오 프레임에서 발생한다고 결정되는 경우), 플리커 예외 처리가 현재 프레임에 대해 수행될 필요가 있다고 결정될 수 있다. 플리커가 프레임들의 절반보다 적게 발생한다고 결정되는 경우(예를 들어, 플리커가 현재 비디오 프레임의 처음 5개의 인접한 프레임 중 하나에서 발생한다고 결정되는 경우), 플리커 예외 처리가 현재 프레임에 대해 수행될 필요가 없다고 결정될 수 있다.
현재 비디오 이미지는 순간에 기록되고 있는 이미지로서 이해될 수 있다는 것을 이해해야 한다. 본 명세서에서의 순간은 일부 시나리오들에서 일반적인 순간으로서 이해될 수 있거나, 일부 시나리오들에서 특정 순간, 예를 들어, 가장 최근의 순간 또는 사용자가 관심을 갖는 순간으로서 이해될 수 있다.
구체적으로, 이 예에서의 비디오 촬영을 위한 이미지 처리 방법은 다음의 단계들을 포함할 수 있다.
단계 41: N개의 촬영된 이미지를 획득하며- 여기서 N은 양의 정수임 -; 각각의 이미지에 대해 단계들 32 및 33의 동작들을 수행한다- N개의 이미지는 인접한 비디오 프레임들일 수 있고, N개의 이미지의 합은 비디오로서 이해될 수 있거나; 또는 N개의 이미지는 인접하지 않을 수 있음 -.
단계 42: 현재 프레임(현재 이미지)의 제1 N0개의 프레임에서 플리커가 발생하는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰지를 결정한다. 여기서, N0 및 임계값은 사용자에 의해 설정될 수 있다. 예를 들어, N0은 이력적 비디오 프레임 샘플들의 선택된 수량이고, 임계값은 N0의 1/2, 2/3 등일 수 있다. 이것은 단지 예일 뿐이고 제한되지 않는다.
결정 결과가 미리 설정된 임계값보다 크지 않는 경우, 단계들 42 및 43의 동작들은 현재 촬영된 또는 캡처된 이미지에 대해 수행된다.
단계 43의 선택적 구현은 단계 32의 것과 동일할 수 있다.
단계 44의 선택적 구현은 단계 33의 것과 동일할 수 있다.
결정 결과가 미리 설정된 임계값보다 큰 경우, 단계 44의 동작이 현재 촬영되거나 캡처된 이미지에 대해 수행된다.
단계 45: 동일한 컬러 처리 방법을 사용하여 현재 프레임의 모든 이미지 영역들을 처리하여 타겟 이미지를 획득한다. 동일한 컬러 처리 방법은 이전 프레임에서의 배경 영역의 컬러 처리 방법과 동일할 수 있거나, 이전 프레임에서의 타겟 영역의 컬러 처리 방법과 동일할 수 있거나, 이전 프레임에서의 전체 이미지의 컬러 처리 방법과 동일할 수 있다. 예를 들어, 단계 33(23)에서 배경 영역에 대한 것과 동일한 컬러 처리 방법이 전체 이미지에 대해 사용될 수 있다. 대안적으로, 단계 33(23)에서 타겟 영역에 대한 것과 동일한 컬러 처리 방법이 전체 이미지에 대해 사용될 수 있다. 예를 들어, 전체 이미지가 색채가 풍부하게 유지되거나, 전체 이미지가 흑백이거나, 제1 또는 제2 컬러 처리 모드(예 1에서의 컬러 처리 모드들을 포함하지만 이에 한정되지 않음)가 전체 이미지에 대해 사용된다.
이 경우, 현재 프레임에 대해, 단계 22에서의 것과 유사한 마스크 세그먼트화 절차가 존재할 수 있거나 생략될 수 있다. 이것은 이 예에서 제한되지 않는다.
단계 45 후에, 컬러 처리가 수행되는 N개의 이미지로 구성된 비디오를 저장하는 단계 46이 수행된다. N은 양의 정수이다.
본 발명에 따르면, 사용자가 비디오를 기록하는 프로세스에서, 단말은 비디오 콘텐츠에 기초하여 타겟 개체 및 배경을 결정하고, 타겟 개체 및 배경에 대해 상이한 컬러 처리를 수행할 수 있어서, 사용자에 의해 촬영된 비디오의 주요 객체가 더 두드러질 수 있고, 촬영된 비디오가 영화만큼 멋지고, 사용자 경험이 개선된다.
예 4: 비디오 촬영(비디오 기록 모드)
일부 애플리케이션 시나리오들에서, 사용자에 의해 촬영된 이미지의 콘텐츠는 보통 변한다. 따라서, 이미지의 주요 객체는 일반적으로 변한다. 사용자는 또한 비디오 스타일을 독립적으로 제어하기 위해, 상이한 이미지들에서 주요 객체의 컬러 처리 모드를 자유롭게 선택할 것으로 기대한다.
비디오 촬영 프로세스에서의 이미지 처리 방법은 다음의 단계들을 포함할 수 있다.
단계 51: 단말은 비디오 프레임을 획득한다.
단계 52: 단말은 비디오로부터 획득된 임의의 비디오 프레임 내의 주요 객체 영역 및 배경 영역을 결정한다.
단계 53: 단말은 주요 객체 영역에 대해 임의의 시간에 임의의 컬러 처리 모드를 사용하고, 배경 영역에 대해 임의의 시간에 임의의 컬러 처리 모드를 사용한다. 그러나, 임의의 이미지에 대해, 컬러 처리 후의 주요 객체 영역의 휘도 또는 크로미넌스가 컬러 처리 후의 배경 영역의 휘도 또는 크로미넌스보다 큰 것이 보장될 필요가 있다. 대안적으로, 임의의 이미지에 대해, 주요 객체 영역에 사용되는 컬러 처리 모드에서 획득된 이미지의 크로미넌스 또는 휘도는 배경 영역에 사용되는 컬러 처리 모드에서 획득된 이미지의 크로미넌스 또는 휘도보다 크다.
예 5: 비디오 촬영(비디오 기록 모드)
일부 애플리케이션 시나리오들에서, 사용자에 의해 촬영된 이미지의 콘텐츠는 보통 변한다. 따라서, 이미지의 주요 객체는 일반적으로 변한다. 사용자는 또한 비디오 스타일을 독립적으로 제어하기 위해, 상이한 이미지들에서 주요 객체의 컬러 처리 모드를 자유롭게 선택할 것으로 기대한다. 특히, 컬러는 시간 기간에 의해 변화된다.
비디오 촬영 프로세스에서의 이미지 처리 방법은 다음의 단계들을 포함할 수 있다.
단계 61: 제1 시간 기간에서 N1개의 이미지를 캡처하고 제2 시간 기간에서 N2개의 이미지를 캡처하며, 여기서 제1 시간 기간 및 제2 시간 기간은 인접한 시간 기간들이고, N1과 N2 둘 다는 양의 정수들이고, 제1 시간 기간 및 제2 시간 기간은 사용자가 육안으로 이미지 변화를 식별할 수 있는 지속기간일 수 있고, N1 및 N2는 비디오 기록 동안 시간 기간들의 지속기간 및 프레임 레이트들에 의해 결정된다. 이것은 본 발명에 한정되지 않는다.
단계 62: N1개의 이미지 각각에서 제1 타겟 영역 및 제1 배경 영역을 결정하고- 제1 배경 영역은 제1 타겟 영역 이외의 이미지의 영역이고, N1개의 이미지 각각에서 제1 타겟 영역은 제1 객체(적어도 하나의 객체를 포함할 수 있음)에 대응함 -; N2개의 이미지 각각에서 제2 타겟 영역 및 제2 배경 영역을 결정한다- 제2 배경 영역은 제2 타겟 영역 이외의 이미지의 영역이고, N2개의 이미지 각각에서 제2 타겟 영역은 제2 객체(적어도 하나의 객체를 포함할 수 있음)에 대응함 -.
단계 63: 제1 타겟 영역을 제1 컬러 처리 모드로 처리하고, 제1 배경 영역을 제2 컬러 처리 모드로 처리하고, 제2 타겟 영역을 제3 컬러 처리 모드로 처리하고, 제2 배경 영역을 제4 컬러 처리 모드로 처리하여, 타겟 비디오를 획득한다- 타겟 비디오에서, 제1 타겟 영역의 크로미넌스는 제1 배경 영역의 크로미넌스보다 크거나, 제1 타겟 영역의 휘도는 제1 배경 영역의 휘도보다 크고; 제2 타겟 영역의 크로미넌스는 제2 배경 영역의 크로미넌스보다 크거나, 제2 타겟 영역의 휘도는 제2 배경 영역의 휘도보다 큼 -.
예 6: 비디오 촬영(비디오 기록 모드)
일부 애플리케이션 시나리오들에서, 사용자에 의해 촬영된 이미지의 콘텐츠는 보통 변한다. 따라서, 이미지의 주요 객체는 일반적으로 변한다. 사용자는 또한 사용자가 상이한 이미지들에서 강조할 것으로 기대하는 타겟 주요 객체를 자유롭게 선택할 것으로 기대한다. 예를 들어, 제1 객체에 대응하는 이미지 영역은 제1 시간 기간에 타겟 영역으로서 결정되고, 제2 객체에 대응하는 이미지 영역은 제2 시간 기간에 타겟 영역으로서 결정되고, 제1 객체 및 제2 객체는 상이한 객체들, 개체들, 또는 객체 카테고리들이다.
이 시나리오에서, 비디오 촬영 프로세스에서의 이미지 처리 방법은 다음의 단계들을 포함할 수 있다.
단계 71의 선택적 구현은 단계 61의 것과 동일할 수 있다.
단계 72: 이미지 콘텐츠에 기초하여 N1개의 이미지 중 어느 하나에서 제1 타겟 영역 및 제1 배경 영역을 결정하고, 이미지 콘텐츠에 기초하여 N2개의 이미지 중 어느 하나에서 제2 타겟 영역 및 제2 배경 영역을 결정한다- 제2 타겟 영역에 대응하는 객체 또는 객체 카테고리는 제1 타겟 영역에 대응하는 객체 또는 객체 카테고리와 상이하여, 시스템 및 사용자는 이미지의 타겟 주요 객체 및 타겟 영역을 독립적으로 선택할 수 있음 -. 이미지는 주요 객체 및 배경을 포함하고, 이에 대응하여, 이미지는 타겟 영역 및 배경 영역을 포함한다.
예를 들어, 제1 객체는 사람이고, 제2 객체는 동물이다. 예를 들어, 제1 객체는 사람 A이고, 제2 객체는 사람 B이다. 예를 들어, 제1 객체는 두 사람이고, 제2 객체는 개와 2마리의 고양이이다. 식별되지 않은 나머지 영역은 배경으로 마킹된다.
이 방법에서, 이미지 마스크는 S221 및 S222에서의 전술한 방법들을 사용하여 결정될 수 있다. 그러나, 후속 방법은 각각의 이미지에 대해 마스크 내의 타겟 객체를 결정하는 것에 한정되지 않는다.
선택적으로, 이미지 마스크에서, 사용자는 제1 객체 및 제2 객체를 자유롭게 입력할 수 있고, 제1 객체 및 제2 객체는 사용자에 의해 입력된 선택 명령에 따라 결정된다. 예를 들어, 사용자가 개체를 선택하는 경우, 시스템은 사용자에 의해 입력된 명령에 대응하는 픽셀을 식별하고, 사용자에 의해 선택된 마스크의 특정(/일부) 개체(/개체들)(/는 적어도 하나의 개체일 수 있음) 또는 특정(/일부) 객체 카테고리(/카테고리들)(/는 적어도 하나의 객체 카테고리일 수 있음)를 추가로 식별하고, 특정(/일부) 개체(/개체들) 또는 특정(/일부) 객체 카테고리(/객체 카테고리들)에서의 모든 개체들을 제1 객체로서 추가로 결정하고, 제1 객체 또는 제1 객체에 대응하는 이미지 영역을 제1 타겟 영역으로서 결정한다. 이 상황은 일정 시간 기간 동안 유지될 수 있다. 즉, 후속하는 수개의 프레임에서, 제1 객체에 대응하는 마스크에 대응하는 영역은 사용자가 다음 순간에 다른 개체를 선택할 때까지 제1 타겟 영역이고, 새로운 개체에 대응하는 영역은 전술한 방법과 유사한 방법에 따라 제2 타겟 영역으로서 결정된다. 이미지에서, 제1 타겟 영역 또는 제2 타겟 영역 이외의 이미지 영역이 배경 영역이다. 구체적으로, 제1 시간 기간에서 제1 객체에 대응하는 마스크에 대응하는 영역은 제1 타겟 영역이고, 제2 시간 기간에서 제2 객체에 대응하는 마스크에 대응하는 영역은 제2 타겟 영역이다.
선택적으로, 이미지 마스크에서, 시스템은 미리 설정된 시간 간격에 기초하여(예를 들어, 그러나 1초 또는 2초로 제한되지 않음) 또는 미리 설정된 프레임 수량에 기초하여(예를 들어, 그러나 50 프레임 또는 100 프레임으로 제한되지 않음) 이미지 마스크에서 시간 기간 내에 이미지의 타겟 마스크를 결정할 수 있다. 예를 들어, 제101 프레임에서 제1 타겟 마스크가 결정되고, 제1 타겟 마스크와 동일한 객체 카테고리 또는 개체를 갖는 마스크가 제201 프레임에서 제2 타겟 마스크가 결정될 때까지 다음의 102 프레임 내지 200 프레임 각각에 대한 제1 타겟 마스크로서 사용된다. 다음의 202 프레임 내지 200 프레임 각각에 대해, 제2 타겟 마스크와 동일한 객체 카테고리 또는 개체를 갖는 마스크가 제2 타겟 마스크로서 사용된다. 전술한 예의 숫자들은 사용자 또는 시스템에 의해 미리 정의될 수 있다는 것을 이해해야 한다.
제1 타겟 마스크 및 제2 타겟 마스크를 결정하는 방법에 대해서는, 단계 S223에서의 6개의 방식 중 어느 하나를 참조하지만, 이에 제한되는 것은 아니다. 따라서, 제1 타겟 마스크 및 제2 타겟 마스크는 동일한 객체 카테고리 또는 동일한 개체일 수 있거나, 상이한 객체 카테고리들 또는 상이한 개체들일 수 있다. 이것은 네트워크의 식별 능력, 장면 이미지 변경, 또는 사용자 입력 커맨드에 관련된다.
구체적으로, 타겟 마스크는 순간에 결정되고, 이러한 타입의 마스크 또는 이러한 개체의 마스크는 일정 시간 기간 동안 연속적으로 사용된다.
또한, s224에서의 방법에 따라 제1 타겟 영역, 제1 배경 영역, 제2 타겟 영역 및 제2 배경 영역이 추가로 결정된다.
단계 73의 선택적 구현은 단계 63의 것과 동일할 수 있다.
또한, 이 예는 시간 기간에 따라 변할 수 있기 때문에, 컬러 처리 방법들의 복수의 조합이 있을 수 있다.
예를 들어, 제1 컬러 처리 모드는 제3 컬러 처리 모드와 동일하고, 제2 컬러 처리 모드는 제4 컬러 처리 모드와 동일하다. 이 컬러 처리 모드는 양호한 일관성을 갖는다.
예를 들어, 제1 컬러 처리 모드는 제3 컬러 처리 모드와 동일하고, 제2 컬러 처리 모드는 제4 컬러 처리 모드와 상이하다. 이 컬러 처리 모드에서, 타겟 주요 객체의 컬러들은 일관되고, 배경 컬러들은 변하여, 전체 시각 효과가 더 눈부시게 된다.
예를 들어, 제1 컬러 처리 모드는 제3 컬러 처리 모드와 상이하고, 제2 컬러 처리 모드는 제4 컬러 처리 모드와 동일하다. 이 컬러 처리 모드에서, 배경 컬러들은 일관되고, 타겟 주요 객체의 컬러들은 변경되어, 타겟 주요 객체가 더 두드러진다.
예를 들어, 제1 컬러 처리 모드는 제3 컬러 처리 모드와 상이하고, 제2 컬러 처리 모드는 제4 컬러 처리 모드와 상이하다. 이 컬러 처리 모드에서, 더 많은 컬러 변환 방식들이 제공될 수 있고, 상이한 시나리오들의 요건들에 기초하여 더 많은 컬러 협력이 제공될 수 있다.
제1 컬러 처리 모드 또는 제3 컬러 처리 모드는 필터, 예를 들어, 컬러 유지 또는 컬러 강화를 포함한다. 제2 컬러 처리 모드 또는 제4 컬러 처리 모드는 흑백 필터, 다크닝 필터, 레트로 필터, 필름 필터, 블러링 필터 및 보케 필터와 같은 필터들을 포함한다.
구체적으로, 동일한 이미지의 타겟 영역 및 배경 영역에 대한 컬러 처리 방법들에 대해서는 단계 23을 참조한다. N2개의 이미지에 대해, 제3 컬러 처리 모드 및 제4 컬러 처리 모드는 각각 제1 컬러 처리 모드 및 제2 컬러 처리 모드와 유사하다.
전술한 해결책들에 따르면, 일부 시나리오들에서, 사용자는 상이한 배경들을 강조하기 위해, 상이한 이미지들에서 배경의 컬러 처리 모드를 자유롭게 선택할 수 있다. 일부 시나리오들에서, 사용자는 상이한 이미지들에서 주요 객체의 컬러 처리 모드를 자유롭게 선택하여, 상이한 정도들 또는 형태들로 주요 객체를 강조할 수 있다.
본 발명의 상이한 예들에서, 동일한 라벨에 의해 표시되는 신호들은 상이한 소스들을 가질 수 있거나 상이한 방식들로 획득될 수 있다는 것을 이해해야 한다. 이것은 제한을 구성하지 않는다. 또한, 상이한 예들의 단계 참조들에서, "단계 xx와 동일"은 2개의 단계의 신호 처리 논리가 유사하다는 것에 더 초점을 맞춘다. 이것은 2개의 단계의 입력 및 출력 둘 다가 완전히 동일할 필요가 있다는 것 및 2개의 방법 절차가 완전히 동등하다는 것으로 제한되지 않는다. 본 기술분야의 통상의 기술자들에 의해 야기될 수 있는 적절한 인용들 및 변형들은 본 발명의 보호 범위 내에 속할 것이다.
본 발명은 이미지 처리 방법을 제공한다. 타겟 영역 및 배경 영역은 이미지에 대해 마스크 세그먼트화를 수행함으로써 이미지에서 결정된다. 상이한 컬러 처리 모드들이 타겟 영역 및 배경 영역에 적용되어, 타겟 영역의 휘도가 배경 영역의 휘도보다 크거나, 타겟의 크로미넌스가 배경 영역의 크로미넌스보다 크고, 타겟 영역에 대응하는 주요 객체가 더 두드러지게 강조된다. 이것은 영화 특수 효과를 구현한다.
전술한 실시예에서 제공된 이미지 처리 방법에 기초하여, 본 발명의 실시예는 이미지 처리 장치(900)를 제공한다. 장치는 복수의 단말 디바이스에서 사용될 수 있고, 단말(100)의 임의의 구현 형태로 될 수 있는데, 예를 들어, 비디오 촬영 기능을 갖는 단말일 수 있다. 도 9를 참조하면, 장치는 다음을 포함한다:
촬영 또는 비디오 촬영일 수 있는 이미지를 획득하도록 구성된 촬영 모듈(901)- 모듈은 전술한 예에서의 단계 21, 단계 31, 단계 51, 단계 61 또는 단계 71에서의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 이미지를 캡처하도록 카메라를 제어하기 위해 메모리에서 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -;
이미지 콘텐츠에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하도록 구성된 결정 모듈(902)- 모듈은 전술한 예에서의 단계 22, 단계 32, 단계 52, 단계 62, 또는 단계 72에서의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 대응하는 알고리즘을 구현하기 위해 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -; 및
타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크거나, 타겟 영역의 휘도가 배경 영역의 휘도보다 크도록, 이미지에서의 타겟 영역 및 배경 영역에 대해 상이한 컬러 처리 모드들을 사용하여 타겟 이미지 또는 타겟 비디오를 획득하도록 구성된 컬러 처리 모듈(903)- 모듈은 전술한 예에서의 단계 23, 단계 33, 단계 53, 단계 63 또는 단계 73의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 특정 알고리즘을 사용하여 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -.
또한, 장치는 컬러 처리가 수행되는 이미지 또는 비디오를 저장하도록 구성된 저장 모듈(904)을 추가로 포함할 수 있다.
전술한 특정 방법 예들, 실시예들에서의 기술적 특징들의 해설들 및 설명들, 및 복수의 구현 형태의 확장들은 또한 장치에서의 방법 실행에 적용가능하고, 세부 사항들은 장치 실시예들에서 설명되지 않는다.
본 발명은 이미지 처리 장치를 제공한다. 이미지에 대해 마스크 세그먼트화가 수행되어, 이미지에서의 타겟 영역 및 배경 영역이 이미지 콘텐츠에 기초하여 결정된다. 상이한 컬러 처리 모드들이 타겟 영역 및 배경 영역에 적용되어, 타겟 영역의 휘도가 배경 영역의 휘도보다 크거나, 타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크고, 타겟 영역에 대응하는 주요 객체가 더 두드러지게 강조된다. 이것은 영화 특수 효과를 달성한다.
전술한 실시예에서 제공된 이미지 처리 방법에 기초하여, 본 발명의 실시예는 이미지 처리 장치(1000)를 추가로 제공한다. 장치는 복수의 단말 디바이스에서 사용될 수 있고, 단말(100)의 임의의 구현 형태로 될 수 있는데, 예를 들어, 비디오 촬영 기능을 갖는 단말일 수 있다. 도 10을 참조하면, 장치는 다음을 포함한다:
촬영 또는 비디오 촬영일 수 있는 이미지를 획득하도록 구성된 촬영 모듈(1001)- 모듈은 전술한 예에서의 단계 21, 단계 31, 단계 51, 단계 61 또는 단계 71에서의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 이미지를 캡처하도록 카메라를 제어하기 위해 메모리에서 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -;
현재 프레임의 제1 N0개의 프레임에서의 플리커 프레임 수량이 미리 설정된 임계값보다 큰지를 결정하고; 결정 결과가 플리커 프레임 수량이 미리 설정된 임계값보다 크지 않다는 것인 경우, 관련 기능들을 수행하도록 결정 모듈(1003) 및 컬러 처리 모듈(1004)을 계속 트리거링하거나; 또는 결정 결과가 플리커 프레임 수량이 미리 설정된 임계값보다 크다는 것인 경우, 관련 기능을 수행하도록 플리커 제거 모듈(1005)을 계속 트리거링하도록 구성된 판단 모듈(1002); - 그리고 모듈(1002)은 전술한 예에서의 단계 42의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 대응하는 알고리즘을 구현하기 위해 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -;
판단 모듈(1002)이 현재 프레임의 제1 N0개의 프레임에서의 플리커 프레임 수량이 미리 설정된 임계값보다 크지 않다고 결정할 때, 이미지 콘텐츠에 기초하여 이미지에서 타겟 영역 및 배경 영역을 결정하도록 구성된 결정 모듈(1003)- 모듈은 전술한 예에서의 단계 22, 단계 32, 단계 43, 단계 52, 단계 62, 또는 단계 72에서의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 대응하는 알고리즘을 구현하기 위해 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -;
타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크거나, 타겟 영역의 휘도가 배경 영역의 휘도보다 크도록, 이미지에서의 타겟 영역 및 배경 영역에 대해 상이한 컬러 처리 모드들을 사용하도록 구성된 컬러 처리 모듈(1004)- 모듈은 전술한 예에서의 단계 23, 단계 33, 단계 44, 단계 53, 단계 63 또는 단계 73의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 특정 알고리즘을 사용하여 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -; 및
판단 모듈(1002)이 현재 프레임의 제1 N0개의 프레임에서의 플리커 프레임 수량이 미리 설정된 임계값보다 크다고 결정할 때, 현재 프레임의 모든 이미지 영역들에 대해 동일한 컬러 처리 방법을 사용하도록 구성된 플리커 제거 모듈(1005)- 동일한 컬러 처리 방법은 이전 프레임에서의 배경 영역의 컬러 처리 방법과 동일할 수 있거나, 이전 프레임에서의 타겟 영역의 컬러 처리 방법과 동일할 수 있음 -; - 그리고 모듈은 전술한 예에서의 단계 45의 방법 및 이 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되고, 모듈은 특정 알고리즘을 사용하여 메모리 내의 대응하는 프로그램 명령어를 호출함으로써 프로세서에 의해 구현될 수 있음 -.
또한, 장치(1000)는 컬러 처리가 수행되는 이미지 또는 비디오를 저장하도록 구성된 저장 모듈(1006)을 추가로 포함할 수 있다.
전술한 특정 방법 예들, 실시예들에서의 기술적 특징들의 해설들 및 설명들, 및 복수의 구현 형태의 확장들은 또한 장치에서의 방법 실행에 적용가능하고, 세부 사항들은 장치 실시예들에서 설명되지 않는다.
본 발명은 이미지 처리 장치를 제공한다. 이미지에 대해 마스크 세그먼트화가 수행되어, 이미지에서의 타겟 영역 및 배경 영역이 이미지 콘텐츠에 기초하여 결정된다. 상이한 컬러 처리 모드들이 타겟 영역 및 배경 영역에 적용되어, 타겟 영역의 휘도가 배경 영역의 휘도보다 크거나, 타겟 영역의 크로미넌스가 배경 영역의 크로미넌스보다 크고, 타겟 영역에 대응하는 주요 객체가 더 두드러지게 강조된다. 이것은 영화 특수 효과를 구현한다.
전술한 장치에서의 모듈들로의 분할은 단지 논리적 기능 분할이라는 점이 이해되어야 한다. 실제 구현에서, 모듈들의 일부 또는 전부는 하나의 물리적 엔티티에 통합되거나, 또는 물리적으로 분리될 수 있다. 예를 들어, 전술한 모듈들 각각은 별개의 프로세서 요소일 수 있거나, 단말의 칩 상에 통합될 수 있거나, 프로그램 코드의 형태로 제어기의 저장 요소에 저장될 수 있다. 프로세서의 프로세서 요소는 전술한 모듈들 각각의 기능을 호출하고 실행한다. 또한, 모듈들은 통합될 수 있거나 독립적으로 구현될 수 있다. 여기서 프로세서 요소는 집적 회로 칩일 수 있고 신호 처리 능력을 갖는다. 구현 프로세스에서, 전술한 방법들 또는 전술한 모듈들에서의 단계들은 프로세서 요소 내의 하드웨어 집적 논리 회로를 사용하여, 또는 소프트웨어 형태의 명령어들을 사용하여 구현될 수 있다. 프로세서 요소는 범용 프로세서, 예를 들어, 중앙 처리 유닛(영문: central processing unit, 줄여서 CPU)일 수 있거나, 전술한 방법들을 구현하도록 구성된 하나 이상의 집적 회로, 예를 들어, 하나 이상의 주문형 집적 회로(영문: application-specific integrated circuit, 줄여서 ASIC), 또는 하나 이상의 마이크로프로세서(영문: digital signal processor, 줄여서 DSP), 또는 하나 이상의 필드 프로그램가능 게이트 어레이(영문: field-programmable gate array, 줄여서 FPGA)일 수 있다.
본 발명의 명세서, 청구항들, 및 첨부 도면들에서, 용어들 "제1", "제2" 등은 유사한 객체들을 구별하도록 의도되지만, 반드시 특정 순서 또는 시퀀스를 표시하는 것은 아니라는 점이 이해되어야 한다. 그러한 방식으로 칭해지는 데이터는 본 명세서에서 설명되는 본 발명의 실시예들이 본 명세서에서 예시되거나 설명되는 순서와 다른 순서들로 구현될 수 있도록 적절한 상황에서 교환가능하다는 점이 이해되어야 한다. 또한, 용어들 "포함하다"("include", "contain") 및 임의의 다른 변형들은 비-배타적인 포함을 커버하는 것을 의미하고, 예를 들어, 단계들 또는 모듈들의 리스트를 포함하는 프로세스, 방법, 시스템, 제품, 또는 디바이스는 반드시 명시적으로 열거된 단계들 또는 모듈들로 제한되는 것은 아니지만, 명시적으로 열거되지 않거나 이러한 프로세스, 방법, 제품, 또는 디바이스에 고유한 다른 단계들 또는 모듈들을 포함할 수 있다.
본 기술분야의 통상의 기술자는 본 발명의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 점을 이해해야 한다. 따라서, 본 발명은 하드웨어 전용 실시예들, 소프트웨어 전용 실시예들, 또는 소프트웨어와 하드웨어의 조합을 갖는 실시예들의 형태를 사용할 수 있다. 또한, 본 발명은 컴퓨터 사용가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체(디스크 메모리, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지는 않음) 상에 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 발명은 본 발명의 실시예들에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도들 및/또는 블록도들을 참조하여 설명된다. 컴퓨터 프로그램 명령어들은 흐름도들 및/또는 블록도들 내의 각각의 프로세스 및/또는 각각의 블록 및 흐름도들 및/또는 블록도들 내의 프로세스 및/또는 블록의 조합을 구현하기 위해 사용될 수 있다는 것을 이해해야 한다. 이 컴퓨터 프로그램 명령어들은 머신을 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 내장형 프로세서 또는 다른 프로그램가능 데이터 처리 디바이스의 프로세서에 제공될 수 있어, 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령어들이 흐름도들에서의 하나 이상의 프로세스에서 및/또는 블록도들에서의 하나 이상의 블록에서 특정 기능을 구현하기 위한 장치를 생성하게 한다.
이러한 컴퓨터 프로그램 명령어들은, 컴퓨터 또는 임의의 다른 프로그램가능 데이터 처리 디바이스에게 구체적 방식으로 작동하라고 명령할 수 있는 컴퓨터 판독가능 메모리에 저장될 수 있어, 컴퓨터 판독가능 메모리에 저장된 명령어들이 명령어 장치를 포함하는 아티팩트(artifact)를 생성한다. 명령어 장치는 흐름도들 내의 하나 이상의 프로세스 및/또는 블록도들 내의 하나 이상의 블록의 특정 기능을 구현한다.
이러한 컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그램 가능 데이터 처리 디바이스 상에 대안적으로 로딩될 수 있어서, 일련의 동작들 및 단계들이 컴퓨터 또는 다른 프로그램 가능 디바이스 상에 수행되고, 그렇게 함으로써 컴퓨터로 구현된 처리(computer-implemented processing)를 생성한다. 따라서, 컴퓨터 또는 다른 프로그램가능 디바이스 상에서 실행되는 명령어들은 흐름도들 내의 하나 이상의 프로세스 및/또는 블록도들 내의 하나 이상의 블록에서의 특정 기능을 구현하는 단계들을 제공한다.
본 발명의 일부 실시예들이 기술되었지만, 본 기술분야의 통상의 기술자들은 그들이 기본적 발명의 개념을 배우고 나면 이러한 실시예들에 대한 변경들 및 수정들을 행할 수 있다. 그러므로, 첨부된 청구 범위는 열거된 실시예들 및 본 발명의 범위 내에 드는 모든 변경들 및 수정들을 포함하는 것으로 해석되도록 의도된다. 명백히, 본 기술분야의 통상의 기술자는 본 발명의 실시예들의 사상 및 범위를 벗어나지 않고 본 발명의 실시예들에 대한 다양한 수정들 및 변형들을 행할 수 있다. 본 발명은 이러한 수정들 및 변형들이 다음의 청구범위 및 그와 동등한 기술들에 의해 정의된 보호 범위 내에 속하는 한 이들을 포함하도록 의도된다.

Claims (28)

  1. 이미지 처리 방법으로서,
    N개의 이미지를 획득하는 단계- N은 양의 정수이고, 상기 N개의 이미지는 비디오를 구성함 -; 및
    상기 N개의 이미지 각각에 대해 단계 1 및 단계 2를 수행하여 타겟 비디오를 획득하는 단계:
    단계 1: 상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계- 상기 배경 영역은 상기 타겟 영역 이외의 상기 이미지의 영역임 -; 및
    단계 2: 상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
    k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 상기 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 상기 배경 마스크에 대응하는 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크들을 포함함 -; 및
    k가 2보다 크고, 상기 k개의 마스크 중 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, 상기 k0개의 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계- k0은 k보다 작은 음이 아닌 정수임 -를 포함하는 방법.
  4. 제1항에 있어서,
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크들을 포함함 -; 및
    k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 상기 k개의 마스크 내에 있는 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
    k가 2보다 큰 경우, 상기 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 상기 k개의 마스크로부터 타겟 마스크를 결정하는 단계; 및
    상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
    k가 2보다 큰 경우, 사용자의 선택 명령에 따라 상기 k개의 마스크로부터 타겟 마스크를 결정하는 단계; 및
    상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하는 단계는:
    상기 타겟 영역의 컬러를 유지하고, 상기 배경 영역에 대해 흑백 처리를 수행하는 단계를 포함하는 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하는 단계는:
    상기 타겟 영역의 컬러를 유지하고, 상기 배경 영역에 대해 다크닝(darkening) 처리를 수행하는 단계를 포함하는 방법.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하는 단계는:
    상기 타겟 영역의 컬러를 유지하고, 상기 배경 영역에 대해 블러링 처리를 수행하는 단계를 포함하는 방법.
  10. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 객체의 상기 카테고리는 사람, 동물, 식물, 미리 설정된 객체, 또는 배경 중 적어도 하나를 포함하는 방법.
  11. 이미지 처리 방법으로서,
    이미지를 획득하는 단계;
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계- 상기 배경 영역은 상기 타겟 영역 이외의 상기 이미지의 영역임 -; 및
    상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하여 타겟 이미지를 획득하는 단계를 포함하는 방법.
  12. 이미지 처리 방법으로서,
    N개의 이미지를 획득하는 단계- N은 양의 정수이고, 상기 N개의 이미지는 비디오를 구성함 -;
    각각의 획득된 이미지에 포함된 객체의 카테고리를 결정하는 단계; 및
    현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 크지 않는 경우, 상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계- 상기 배경 영역은 상기 타겟 영역 이외의 상기 현재 이미지의 영역임 -; 및
    상기 타겟 영역 및 상기 배경 영역을 각각 제1 컬러 처리 모드 및 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하는 단계- 상기 제1 컬러 처리 모드는 상기 제2 컬러 처리 모드와 상이함 -; 또는
    현재 이미지의 상기 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰 경우, 상기 현재 이미지를 상기 제1 컬러 처리 모드 또는 상기 제2 컬러 처리 모드로 처리하여, 타겟 이미지를 획득하는 단계- 상기 현재 이미지는 상기 N개의 이미지 중 하나임 -를 포함하는 방법.
  13. 제12항에 있어서,
    상기 제1 컬러 처리 모드는 컬러 유지를 포함하고, 상기 제2 컬러 처리 모드는 흑백 처리, 다크닝 처리 또는 블러링 처리를 포함하는 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 객체의 상기 카테고리는 사람, 동물, 식물, 미리 설정된 객체, 또는 배경 중 적어도 하나를 포함하는 방법.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
    k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 상기 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 상기 배경 마스크에 대응하는 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  16. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크들을 포함함 -; 및
    k가 2보다 크고, 상기 k개의 마스크 중 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, 상기 k0개의 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계- k0은 k보다 작은 음이 아닌 정수임 -를 포함하는 방법.
  17. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크들을 포함함 -; 및
    k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 상기 k개의 마스크 내에 있는 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  18. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서 타겟 영역 및 배경 영역을 결정하는 단계는:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하는 단계- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응함 -; 및
    k가 2보다 큰 경우, 상기 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 상기 k개의 마스크로부터 타겟 마스크를 결정하는 단계; 및
    상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하는 단계를 포함하는 방법.
  19. 이미지 처리 장치로서,
    N개의 이미지를 획득하도록 구성된 촬영 모듈- N은 양의 정수이고, 상기 N개의 이미지는 비디오를 구성함 -;
    상기 이미지에서의 객체의 카테고리에 기초하여 상기 N개의 이미지 각각에서 타겟 영역 및 배경 영역을 결정하도록 구성된 결정 모듈- 상기 배경 영역은 상기 타겟 영역 이외의 상기 이미지의 영역임 -; 및
    상기 타겟 영역 및 상기 배경 영역을 상이한 컬러 처리 모드들로 처리하도록 구성된 컬러 처리 모듈을 포함하는 장치.
  20. 제19항에 있어서,
    상기 결정 모듈은 구체적으로:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하고- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크들을 포함함 -; 및
    k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 상기 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 상기 배경 마스크에 대응하는 영역을 상기 배경 영역으로서 결정하고;
    k가 2보다 크고, 상기 k개의 마스크 중 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, 상기 k0개의 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하고- k0은 k보다 작은 음이 아닌 정수임 -;
    k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 상기 k개의 마스크 내에 있는 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하고;
    k가 2보다 큰 경우, 상기 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 상기 k개의 마스크로부터 타겟 마스크를 결정하고; 상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하거나; 또는
    k가 2보다 큰 경우, 사용자의 선택 명령에 따라 상기 k개의 마스크로부터 타겟 마스크를 결정하고;
    상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하도록 구성되는 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 컬러 처리 모듈은 구체적으로:
    상기 타겟 영역의 컬러를 유지하고, 상기 배경 영역에 대해 흑백 처리, 다크닝 처리 또는 블러링 처리를 수행하도록 구성되는 장치.
  22. 이미지 처리 장치로서,
    N개의 이미지를 획득하도록 구성된 촬영 모듈- N은 양의 정수이고, 상기 N개의 이미지는 비디오를 구성함 -;
    각각의 획득된 이미지에 포함된 객체의 카테고리를 결정하도록 구성된 결정 모듈; 및
    현재 이미지의 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 크지 않는 경우, 상기 이미지에서의 상기 객체의 상기 카테고리에 기초하여 상기 현재 이미지에서의 타겟 영역 및 배경 영역을 결정하도록 상기 결정 모듈을 제어하고- 상기 배경 영역은 상기 타겟 영역 이외의 상기 현재 이미지의 영역임 -; 상기 타겟 영역 및 상기 배경 영역을 각각 제1 컬러 처리 모드 및 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하도록 컬러 처리 모듈을 제어하거나- 상기 제1 컬러 처리 모드는 상기 제2 컬러 처리 모드와 상이함 -; 또는
    현재 이미지의 상기 제1 N0개의 이미지에서, 상이한 객체 카테고리들로서 결정된 동일한 객체를 갖는 인접 이미지들의 그룹들의 수량이 미리 설정된 임계값보다 큰 경우, 상기 현재 이미지를 상기 제1 컬러 처리 모드 또는 상기 제2 컬러 처리 모드로 처리하여 타겟 이미지를 획득하도록 플리커 제거 모듈을 제어하도록 구성된 판단 모듈- 상기 현재 이미지는 상기 N개의 이미지 중 하나임 -을 포함하는 장치.
  23. 제22항에 있어서,
    상기 결정 모듈은 추가로 구체적으로:
    상기 이미지에 대해 시맨틱 세그먼트화를 수행하여 k개의 마스크를 획득하고- 상기 k개의 마스크는 상이한 객체 카테고리들에 대응하고, 상기 k개의 마스크는 배경 마스크 및 주요 객체 마스크를 포함함 -; 및
    k=2이고 2개의 마스크가 하나의 주요 객체 마스크 및 하나의 배경 마스크를 포함하는 경우, 상기 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 상기 배경 마스크에 대응하는 영역을 상기 배경 영역으로서 결정하고;
    k가 2보다 크고, 상기 k개의 마스크 중 k0개의 주요 객체 마스크에 포함된 픽셀 수량이 미리 설정된 임계값보다 큰 경우, 상기 k0개의 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하고- k0은 k보다 작은 음이 아닌 정수임 -;
    k가 2보다 큰 경우, 가장 많은 픽셀 수량을 포함하고 상기 k개의 마스크 내에 있는 주요 객체 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하고;
    k가 2보다 큰 경우, 상기 객체 카테고리들의 미리 설정된 우선순위들에 기초하여 상기 k개의 마스크로부터 타겟 마스크를 결정하고; 상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하거나; 또는
    k가 2보다 큰 경우, 사용자의 선택 명령에 따라 상기 k개의 마스크로부터 타겟 마스크를 결정하고;
    상기 타겟 마스크에 대응하는 이미지 영역을 상기 타겟 영역으로서 결정하고, 나머지 마스크들에 대응하는 이미지 영역을 상기 배경 영역으로서 결정하도록 구성되는 장치.
  24. 제22항 또는 제23항에 있어서,
    상기 컬러 처리 모듈은 구체적으로:
    상기 타겟 영역의 컬러를 유지하고, 상기 배경 영역에 대해 흑백 처리, 다크닝 처리 또는 블러링 처리를 수행하도록 구성되는 장치.
  25. 단말 디바이스로서,
    상기 단말 디바이스는 카메라, 메모리, 프로세서, 및 버스를 포함하고; 상기 카메라, 상기 메모리, 및 상기 프로세서는 상기 버스를 통해 접속되고;
    상기 카메라는 이미지를 캡처하도록 구성되고;
    상기 메모리는 컴퓨터 프로그램 및 명령어를 저장하도록 구성되고;
    상기 프로세서는 상기 메모리에 저장되는 상기 컴퓨터 프로그램, 상기 명령어, 및 상기 캡처된 이미지를 호출하여, 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 단말 디바이스.
  26. 제25항에 있어서,
    상기 단말 디바이스는 안테나 시스템을 추가로 포함하고, 상기 안테나 시스템은 상기 프로세서의 제어 하에 무선 통신 신호를 수신/전송하여, 모바일 통신 네트워크와의 무선 통신을 구현하고, 상기 모바일 통신 네트워크는 GSM 네트워크, CDMA 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, FDMA 네트워크, TDMA 네트워크, PDC 네트워크, TACS 네트워크, AMPS 네트워크, WCDMA 네트워크, TDSCDMA 네트워크, Wi-Fi 네트워크, 및 LTE 네트워크 중 하나 이상을 포함하는 단말 디바이스.
  27. 단말 디바이스로서,
    상기 단말 디바이스는 카메라, 메모리, 프로세서, 및 버스를 포함하고; 상기 카메라, 상기 메모리, 및 상기 프로세서는 상기 버스를 통해 접속되고;
    상기 카메라는 이미지를 캡처하도록 구성되고;
    상기 메모리는 컴퓨터 프로그램 및 명령어를 저장하도록 구성되고;
    상기 프로세서는 상기 메모리에 저장되는 상기 컴퓨터 프로그램, 상기 명령어, 및 상기 캡처된 이미지를 호출하여, 제12항 내지 제18항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 단말 디바이스.
  28. 제27항에 있어서,
    상기 단말 디바이스는 안테나 시스템을 추가로 포함하고, 상기 안테나 시스템은 상기 프로세서의 제어 하에 무선 통신 신호를 수신/전송하여, 모바일 통신 네트워크와의 무선 통신을 구현하고, 상기 모바일 통신 네트워크는 GSM 네트워크, CDMA 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, FDMA 네트워크, TDMA 네트워크, PDC 네트워크, TACS 네트워크, AMPS 네트워크, WCDMA 네트워크, TDSCDMA 네트워크, Wi-Fi 네트워크, 및 LTE 네트워크 중 하나 이상을 포함하는 단말 디바이스.
KR1020217014609A 2018-10-15 2019-06-18 이미지 처리 방법 및 장치, 및 디바이스 KR20210073570A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811199216.XA CN109961453B (zh) 2018-10-15 2018-10-15 一种图像处理方法、装置与设备
CN201811199216.X 2018-10-15
PCT/CN2019/091700 WO2020078026A1 (zh) 2018-10-15 2019-06-18 一种图像处理方法、装置与设备

Publications (1)

Publication Number Publication Date
KR20210073570A true KR20210073570A (ko) 2021-06-18

Family

ID=67023235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217014609A KR20210073570A (ko) 2018-10-15 2019-06-18 이미지 처리 방법 및 장치, 및 디바이스

Country Status (9)

Country Link
US (1) US12079974B2 (ko)
EP (1) EP3859672A4 (ko)
JP (1) JP7266672B2 (ko)
KR (1) KR20210073570A (ko)
CN (4) CN113298845A (ko)
AU (1) AU2019363031A1 (ko)
BR (1) BR112021007087A2 (ko)
MX (1) MX2021004309A (ko)
WO (1) WO2020078026A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717865B (zh) * 2019-09-02 2022-07-29 苏宁云计算有限公司 图片检测方法及装置
CN113111684B (zh) * 2020-01-10 2024-05-21 字节跳动有限公司 神经网络模型的训练方法、装置和图像处理系统
CN113313788B (zh) * 2020-02-26 2025-01-28 北京小米移动软件有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN113395441A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 图像留色方法及设备
CN111598902B (zh) * 2020-05-20 2023-05-30 抖音视界有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN112070656B (zh) * 2020-08-10 2023-08-25 上海明略人工智能(集团)有限公司 帧数据的修改方法及装置
CN113395599B (zh) * 2020-12-03 2024-07-23 腾讯科技（深圳）有限公司 一种视频处理方法、装置、电子设备及介质
CN112653920B (zh) 2020-12-18 2022-05-24 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN112581463B (zh) * 2020-12-25 2024-02-27 北京百度网讯科技有限公司 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN112861661B (zh) * 2021-01-22 2022-11-08 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN113067983B (zh) * 2021-03-29 2022-11-15 维沃移动通信（杭州）有限公司 视频处理方法、装置、电子设备和存储介质
CN113421275A (zh) * 2021-05-13 2021-09-21 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113284080A (zh) * 2021-06-17 2021-08-20 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及存储介质
CN115701129B (zh) * 2021-07-31 2024-09-10 荣耀终端有限公司 一种图像处理方法及电子设备
US11636683B2 (en) * 2021-09-14 2023-04-25 Black Sesame Technologies Inc. Precise object segmentation with multi-modal input for realtime video application
CN114372222A (zh) * 2022-01-10 2022-04-19 上海蒜芽信息科技有限公司 语义标签的页面色彩管理方法、系统、设备及存储介质
CN116074640B (zh) * 2023-02-17 2024-12-24 展讯通信（上海）有限公司 图像处理方法及相关装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL172480A (en) 2005-12-08 2011-11-30 Amir Zahavi Method for automatic detection and classification of objects and patterns in low resolution environments
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
CN101551853A (zh) * 2008-11-14 2009-10-07 重庆大学 复杂静态彩色背景下的人耳检测方法
RU2454043C2 (ru) 2009-12-30 2012-06-20 Юрий Алексеевич Громаков Способ передачи данных в системе сотовой связи и система для его реализации
KR101192163B1 (ko) 2010-11-19 2012-10-17 (주)넥스리얼 물체 단위의 배경 영상 분석을 통한 움직이는 물체의 검출 방법 및 장치
CN102298781B (zh) * 2011-08-16 2014-06-25 长沙中意电子科技有限公司 基于颜色和梯度特征的运动阴影检测方法
CN102622598B (zh) 2012-01-13 2014-07-09 西安电子科技大学 基于区域标记与灰度统计的sar图像目标检测方法
US9139133B2 (en) * 2012-05-31 2015-09-22 GM Global Technology Operations LLC Vehicle collision warning system and method
CN102779348B (zh) * 2012-06-20 2015-01-07 中国农业大学 无标识运动目标跟踪测量方法
CN109711304B (zh) * 2013-05-21 2022-06-14 深圳市腾讯计算机系统有限公司 一种人脸特征点定位方法及装置
AU2013206601A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Variable blend width compositing
CN104301596B (zh) * 2013-07-11 2018-09-25 炬芯（珠海）科技有限公司 一种视频处理方法及装置
CN104036490B (zh) * 2014-05-13 2017-03-29 重庆大学 适用于移动通信网络传输中的前景分割方法
US10121256B2 (en) * 2014-08-28 2018-11-06 Qualcomm Incorporated Temporal saliency map
CN104408743A (zh) 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN104751407B (zh) * 2015-03-11 2019-01-25 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
JP2017054311A (ja) 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
US9754351B2 (en) 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks
US10580140B2 (en) 2016-05-23 2020-03-03 Intel Corporation Method and system of real-time image segmentation for image processing
CN106407369A (zh) 2016-09-09 2017-02-15 华南理工大学 一种基于深度学习人脸识别的照片管理方法和系统
CN106529565B (zh) * 2016-09-23 2019-09-13 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
KR102359391B1 (ko) 2016-11-08 2022-02-04 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
JPWO2018096775A1 (ja) 2016-11-28 2019-10-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN106506962A (zh) * 2016-11-29 2017-03-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106846321B (zh) * 2016-12-08 2020-08-18 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于贝叶斯概率与神经网络的图像分割方法
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
CN106960195B (zh) * 2017-03-27 2020-04-03 深圳市和巨信息技术有限公司 一种基于深度学习的人群计数方法及装置
CN107133939A (zh) * 2017-04-24 2017-09-05 努比亚技术有限公司 一种照片合成方法、设备及计算机可读存储介质
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
CN107507214B (zh) * 2017-07-06 2020-09-11 北京华泰诺安探测技术有限公司 获取货物图像的方法和装置
CN107547775A (zh) * 2017-09-11 2018-01-05 郑州仁峰软件开发有限公司 多目标空间排列与虚拟背景、前景合成方法
CN107665482B (zh) * 2017-09-22 2021-07-23 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
WO2019066794A1 (en) * 2017-09-27 2019-04-04 Google Llc END-TO-END NETWORK MODEL FOR HIGH-RESOLUTION IMAGE SEGMENTATION
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
CN107909081B (zh) * 2017-10-27 2022-04-08 东南大学 一种深度学习中图像数据集的快速获取和快速标定方法
CN108010037B (zh) * 2017-11-29 2019-09-13 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN107958449A (zh) * 2017-12-13 2018-04-24 北京奇虎科技有限公司 一种图像合成方法及装置
CN108154465B (zh) * 2017-12-19 2022-03-01 北京小米移动软件有限公司 图像处理方法及装置
CN108206917B (zh) * 2017-12-29 2020-09-15 南京中兴新软件有限责任公司 图像处理的方法及装置、存储介质、电子装置
CN108305223B (zh) * 2018-01-09 2020-11-03 珠海格力电器股份有限公司 图像背景虚化处理方法及装置
CN108366203B (zh) 2018-03-01 2020-10-13 北京金山安全软件有限公司 一种构图方法、装置、电子设备及存储介质
CN108632607B (zh) 2018-05-09 2019-06-21 北京大学深圳研究生院 一种基于多角度自适应帧内预测的点云属性压缩方法

Also Published As

Publication number Publication date
US12079974B2 (en) 2024-09-03
CN112868050A (zh) 2021-05-28
BR112021007087A2 (pt) 2021-07-20
CN109961453A (zh) 2019-07-02
JP2022505086A (ja) 2022-01-14
JP7266672B2 (ja) 2023-04-28
WO2020078026A1 (zh) 2020-04-23
MX2021004309A (es) 2021-08-11
CN109961453B (zh) 2021-03-12
CN113163133A (zh) 2021-07-23
CN113298845A (zh) 2021-08-24
AU2019363031A1 (en) 2021-05-27
EP3859672A1 (en) 2021-08-04
EP3859672A4 (en) 2021-12-01
US20210233248A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
AU2019362347B2 (en) Image processing method and apparatus, and device
US12079974B2 (en) Image processing method and apparatus, and device
CN111641778B (zh) 一种拍摄方法、装置与设备
WO2020140986A1 (zh) 图像降噪方法、装置、存储介质及终端
EP4322027A2 (en) Systems and methods that leverage deep learning to selectively store audiovisual content
WO2020192692A1 (zh) 图像处理方法以及相关设备
US20190286887A1 (en) Image Processing Method, Electronic Device and Storage Medium
RU2794062C2 (ru) Устройство и способ обработки изображения и оборудование
RU2791810C2 (ru) Способ, аппаратура и устройство для обработки и изображения
US9135687B2 (en) Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored
CN118674646A (zh) 一种图像平滑处理方法、装置、电子设备、芯片及介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20210514

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210514

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220511

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20221124

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220511

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I