KR20210073568A

KR20210073568A - 이미지 처리 방법 및 장치, 및 디바이스

Info

Publication number: KR20210073568A
Application number: KR1020217014480A
Authority: KR
Inventors: 위 리; 페이롱 마; 티정 왕; 시우지에 황
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2018-10-15
Filing date: 2019-06-18
Publication date: 2021-06-18
Also published as: AU2019362347A1; CN109816663A; CN112840376A; JP7226851B2; CN113129312A; CN113112505A; EP3859670A4; CN109816663B; CN113129312B; WO2020078027A1; MX2021004295A; AU2019362347B2; BR112021007094A2; CN112840376B; CN113112505B; US12026863B2; US20210241432A1; EP3859670A1; JP2022505115A

Abstract

본 발명은 이미지 처리 방법을 제공한다. 이미지에 대해 마스크 세그멘테이션을 수행하여 이미지에서 목표 영역과 배경 영역을 결정한다. 목표 영역의 휘도가 배경 영역의 휘도보다 크거나 목표 영역의 색차가 배경 영역의 색차보다 크도록 목표 영역과 배경 영역에 서로 다른 색 처리 모드를 적용하며, 목표 영역에 대응하는 메인 객체는 더 두드러지게 하이라이트 된다. 이를 통해 단말 사용자는 촬영 또는 비디오 촬영 중에 영화 특수 효과를 가질 수 있으며 사용자의 촬영 경험을 향상시킨다. 또한, 본 발명은 비디오 콘텐츠의 메인 객체 변경 및 색 변경이 더 유연하고 자동화되고 휴먼-컴퓨터 상호작용이 강화되도록 기간에 의해 목표 영역을 결정하는 방법 및/또는 기간에 의해 색 처리 모드를 변경하는 방법을 제공한다.

Description

이미지 처리 방법 및 장치, 및 디바이스

본 발명은 단말 기술 분야에 관한 것이며, 특히 이미지 처리 방법 및 장치, 및 디바이스에 관한 것이다.

촬영은 카메라나 비디오 레코더를 사용하여 사람이나 객체의 이미지를 기록하는 것이다. 야경 촬영, 우천 촬영, 건물 촬영, 인물 촬영 등 다양한 장면에 따라 촬영 기술이 다르다. 영화 예술을 위한 다이내믹 촬영도 촬영의 한 유형이지만 특정 원칙을 준수해야 한다. 과학 기술의 발전으로 촬영이 더 간단하고 대중화되었다.

네트워크 대역폭이 증가하고 단말 처리 능력이 향상됨에 따라 비디오 및 이미지 촬영 및 공유가 더욱 편리해지고 비디오 소비는 모든 사람들의 새로운 삶의 방식이 되었다. 비디오는 빠르게 네트워크 상에서 트래픽 집약 서비스가 되며 향후 몇 년 동안 전체 트래픽의 80 내지 90%를 차지할 것으로 예상된다.

일상 생활에서 촬영은 사람들이 자신을 보여주고 사물의 아름다움을 찾는 주요 수단이 되었다. 사람들은 더 흥미로운 스타일로 촬영하고 싶어한다. 예를 들어, 촬영 중에 이미지나 비디오의 특수 효과 처리가 완료되어 "보는 것은 얻는 것"의 촬영 경험을 구현한다. 따라서 비전문가의 경우, 보다 새로운 이미지 처리 기술이 단말에 통합되어야 한다.

현재 단말의 영상 레코딩 기능은 단조롭다. 현재는 기존의 비디오 촬영만이 제공될 수 있으며 일부 개인 맞춤 효과가 부족하다.

본 발명은 이미지 처리 방법을 제공한다. 이미지에 대해 마스크(템플릿) 세그멘테이션을 수행함으로써 이미지에서 목표 영역과 배경 영역을 결정한다. 목표 영역의 휘도가 배경 영역의 휘도보다 크거나 목표 영역의 색차가 배경 영역의 색차보다 크도록 목표 영역과 배경 영역에 서로 다른 색 처리 모드가 적용되고, 목표 영역에 대응하는 메인 객체가 더 두드러지게 강조된다. 이를 통해 단말 사용자는 사진을 찍거나 또는 비디오 촬영 시 영화 특수 효과를 얻을 수 있으며, 사용자의 촬영 경험을 향상시킬 수 있다.

본 발명의 실시예에서 제공되는 구체적인 기술적 솔루션은 다음과 같다.

제1 관점에 따르면, 본 발명의 실시예는 이미지 처리 방법을 제공한다. 이 방법은 비디오 레코딩 프로세스에 적용되며, 방법은: 제1 기간에서 N1 개의 이미지를 캡처하는 단계; 제2 기간에 N2 개의 이미지를 캡처하는 단계 - 여기서 제1 기간과 제2 기간은 인접한 기간이고, N1 및 N2가 모두 양의 정수임 - ; 각각의 N1 개의 이미지로부터 제1 목표 영역 및 제1 배경 영역을 결정하는 단계 - 여기서 제1 배경 영역은 제1 목표 영역 이외의 이미지의 영역이고, N1 개의 이미지 각각의 제1 목표 영역은 제1 객체에 대응함 - ; N2 개의 이미지 각각으로부터 제2 목표 영역 및 제2 배경 영역을 결정하는 단계 - 여기서 제2 배경 영역은 제2 목표 영역 이외의 이미지 영역이고, N2 개의 이미지 각각의 제2 목표 영역은 제2 객체에 대응함 - ; 및 상기 제1 목표 영역을 제1 색 처리 모드에서 처리하고, 상기 제1 배경 영역을 제2 색 처리 모드에서 처리하고, 상기 제2 목표 영역을 제3 색 처리 모드에서 처리하고, 상기 제2 배경 영역을 제4 색 처리 모드에서 처리하여 목표 비디오를 획득하는 단계를 포함한다. 목표 비디오에서, 제1 목표 영역의 색차가 제1 배경 영역의 색차보다 크거나, 제1 목표 영역의 휘도가 제1 배경 영역의 휘도보다 크다. 또한, 제2 목표 영역의 색차가 제2 배경 영역의 색차보다 크거나, 제2 목표 영역의 휘도가 제2 배경 영역의 휘도보다 크다.

제2 관점에 따르면, 본 발명의 실시예는 이미지 처리 장치를 제공한다. 이 장치는 비디오 촬영 프로세스에 사용되며, 장치는: 제1 기간에 N1 개의 이미지를 캡처하고 제2 기간에 N2 개의 이미지를 캡처하도록 구성된 포토그래핑 모듈 - 여기서 제1 기간과 제2 기간은 인접 기간이고 N1과 N2는 모두 양의 정수 - ; N1 개의 이미지 각각으로부터 제1 목표 영역 및 제1 배경 영역을 결정하고 - 여기서 제1 배경 영역은 제1 목표 영역 이외의 이미지의 영역이고, 각각의 제1 목표 영역은 N1 개의 이미지는 제1 객체에 대응함 - ; N2 개의 이미지 각각으로부터 제2 목표 영역 및 제2 배경 영역을 결정하도록 구성된 결정 모듈 - 여기서 제2 배경 영역은 제2 목표 영역 이외의 이미지의 영역이고, N2 개의 이미지 각각의 제2 목표 영역은 제2 객체에 대응함 - ; 및 제1 색 처리 모드에서 제1 목표 영역을 처리하고, 제2 색 처리 모드에서 제1 배경 영역을 처리하고, 제3 색 처리 모드에서 제2 목표 영역을 처리하고, 제4 색 처리 모드에서 제2 배경 영역을 처리하여 목표 비디오를 획득하도록 구성된 색 처리 모듈을 포함한다. 목표 비디오에서, 제1 목표 영역의 색차가 제1 배경 영역의 색차보다 크거나, 제1 목표 영역의 휘도가 제1 배경 영역의 휘도보다 크다. 또한, 제2 목표 영역의 색차가 제2 배경 영역의 색차보다 크거나, 제2 목표 영역의 휘도가 제2 배경 영역의 휘도보다 크다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 객체 및 제2 객체는 동일한 객체이다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 객체 및 제2 객체는 상이한 객체이다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 객체 또는 제2 객체는 객체 카테고리(예를 들어, 사람, 동물 또는 식물)의 적어도 하나의 개체를 포함한다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 객체 및 제2 객체는 사용자의 선택 지시에 따라 결정된다.

구체적으로, 예를 들어, 사용자의 선택 지시에 따라 제1 기간의 제1 이미지로부터 제1 객체가 결정되고, 제1 기간의 모든 이미지에서 제1 객체가 목표 객체로 사용된다. 마찬가지로, 사용자의 선택 지시에 따라 제2 기간의 제1 이미지로부터 제2 객체가 결정되고, 제2 기간의 모든 이미지에서 제2 객체가 목표 객체로 사용된다. 테이션이 수행될 수 있다. k 개의 마스크는 서로 다른 객체 카테고리에 대응하고, 사용자가 입력한 선택 지시는 특정 마스크 또는 특정 마스크에 대응하고, 특정 마스크 또는 특정 마스크에 대응하는 객체가 목표 객체이다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 객체 및 제2 객체는 미리 설정된 시간 간격에서 두 이미지의 콘텐츠에 기초하여 단말에 의해 별도로 결정된다.

구체적으로, 예를 들어, 제1 객체는 제1 기간의 제1 이미지로부터 결정되고, 제1 객체는 제1 기간의 모든 이미지에서 목표 객체로 사용된다. 마찬가지로, 제2 객체는 제2 기간의 제1 이미지에서 결정되고, 제2 객체는 제2 기간의 모든 이미지에서 목표 객체로 사용된다. 제1 기간에 제1 이미지로부터 제1 객체가 결정되고, 제2 기간에 제1 이미지로부터 제2 객체가 결정되는 방식은 다음 방식 중 하나를 포함하나 이에 제한되지 않는다.

k 개의 마스크를 획득하기 위해 이미지에 대해 세만틱 세그멘테이션을 수행하는 단계 - 여기서 k 개의 마스크는 상이한 객체 카테고리에 대응함 - ;

k = 2이고 두 마스크가 하나의 객체 마스크와 하나의 배경 마스크를 포함하면, 객체 마스크에 대응하는 이미지 영역을 목표 영역으로 결정하고, 배경 마스크에 대응하는 영역을 배경 영역으로 결정하는 단계 - 여기서 객체 마스크에 대응하는 객체는 제1 객체 또는 제2 객체임 - ;

k가 2보다 크고 k 개의 마스크에서 k0 개의 객체 마스크에 포함된 픽셀의 수가 미리 설정된 임계 값보다 크면, k0 개의 객체 마스크에 대응하는 이미지 영역을 목표 영역으로 결정하고 나머지 마스크에 대응하는 이미지 영역은 배경 영역으로 을 결정하는 단계 - 여기서 객체 마스크에 대응하는 객체는 제1 객체 또는 제2 객체이고, k0은 k보다 작은 음이 아닌 정수임 - ;

k가 2보다 크면, 가장 많은 픽셀을 포함하고 k 개의 마스크에 있는 마스크에 대응하는 이미지 영역을 목표 영역으로 결정하고, 나머지 마스크에 대응하는 이미지 영역을 배경 영역으로 결정하는 단계 - 여기서 객체 마스크에 대응하는 객체는 제1 객체 또는 제2 객체임 - ;

k가 2보다 크면, 객체 카테고리의 미리 설정된 우선순위에 기초하여 k 개의 마스크로부터 목표 마스크를 결정하는 단계; 및 상기 목표 마스크에 대응하는 이미지 영역을 목표 영역으로 결정하고, 나머지 마스크에 대응하는 이미지 영역을 배경 영역으로 결정하는 단계 - 여기서 상기 객체 마스크에 대응하는 객체는 상기 제1 객체 또는 상기 제2 객체임 - ; 또는

k가 2보다 크면, 사용자의 선택 지시에 따라 k 개의 마스크로부터 목표 마스크를 결정하는 단계; 및 상기 목표 마스크에 대응하는 이미지 영역을 목표 영역으로 결정하고, 나머지 마스크에 대응하는 이미지 영역을 배경 영역으로 결정하는 단계 - 여기서 상기 객체 마스크에 대응하는 객체는 제1 객체 또는 제2 객체임 - 를 포함한다. 방법은 구체적으로 결정 모듈에 의해 수행될 수 있다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 색 처리 모드는 제3 색 처리 모드와 동일하고, 제2 색 처리 모드는 제4 색 처리 모드와 동일하다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 색 처리 모드는 제3 색 처리 모드와 동일하고, 제2 색 처리 모드는 제4 색 처리 모드와 다르다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 색 처리 모드는 제3 색 처리 모드와 다르고, 제2 색 처리 모드는 제4 색 처리 모드와 동일하다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 색 처리 모드는 제3 색 처리 모드와 다르고, 제2 색 처리 모드는 제4 색 처리 모드와 다르다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제1 색 처리 모드 또는 제3 색 처리 모드는 색 유지 또는 색 향상을 포함한다.

제1 관점 또는 제2 관점에 따르면, 가능한 설계에서, 제2 색 처리 모드 또는 제4 색 처리 모드는 흑백(black and white), 어둡게(darkening), 블러링(blurring) 또는 레트로(retro) 모드를 포함한다.

제3 관점에 따르면, 본 발명의 실시예는 카메라, 메모리, 프로세서 및 버스를 포함하는 단말 장치를 제공한다. 카메라, 메모리 및 프로세서는 버스를 통해 연결된다. 카메라는 이미지를 캡처하도록 구성되고 메모리는 컴퓨터 프로그램과 명령을 저장하도록 구성된다. 프로세서는 메모리에 저장된 컴퓨터 프로그램, 명령 및 캡처된 이미지를 호출하도록 구성되고, 더욱 구체적으로 단말 장치가 전술한 가능한 설계 방법 중 어느 하나를 수행할 수 있도록 구성된다.

제3 관점에 따르면, 가능한 설계에서, 단말 장치는 안테나 시스템을 더 포함한다. 안테나 시스템은 프로세서의 제어하에 무선 통신 신호를 수신 및 전송하여 이동 통신 네트워크와의 무선 통신을 구현한다. 이동 통신 네트워크는 GSM 네트워크, CDMA 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, FDMA 네트워크, TDMA 네트워크, PDC 네트워크, TACS 네트워크, AMPS 네트워크, WCDMA 네트워크, TDSCDMA 네트워크, Wi-Fi 네트워크 및 LTE 네트워크 중 하나 이상을 포함한다.

전술한 가능한 설계의 기술적 솔루션은 자연에 반하지 않고 결합될 수 있다.

종래의 기술에서는 비디오나 이미지를 촬영할 때 개인이나 이미지의 색을 구분하지 않고는 특수 효과가 충분하지 않다. 본 발명에 따르면, 색을 이용하여 이미지의 서로 다른 영역을 구분할 수 있어 사진이나 비디오의 특수 효과를 높이고, 이미지의 메인 객체와 목표를 더욱 강조할 수 있다. 이런 식으로 주요 역할이 더 두드러진다. 또한, 본 발명은 더 많은 색 변화 및 메인 객체 변화를 더 제공하여 사용자의 고착성을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 단말 구조의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 마스크 식별자의 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 마스크 식별자의 다른 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 목표 마스크를 결정하는 개략도이다.
도 6은 본 발명의 일 실시예에 따른 목표 마스크를 결정하는 또 다른 개략도이다.
도 7은 본 발명의 일 실시예에 따른 목표 마스크를 결정하는 또 다른 개략도이다.
도 8은 본 발명의 일 실시예에 따라 목표 마스크를 결정하는 또 다른 개략도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 처리 장치의 개략도이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 다른 개략도이다.

이하에서는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션을 명확하고 완전하게 설명한다. 확실히, 설명된 실시예는 본 발명의 모든 실시예가 아니라 일부일 뿐이다. 창의적인 노력없이 본 발명의 실시예에 기초하여 당업자가 획득한 다른 모든 실시예는 본 발명의 보호 범위 내에 속한다.

본 발명의 실시예에서, 단말은 사용자에게 비디오 촬영 및/또는 데이터 연결을 제공하는 장치, 무선 연결 기능이 있는 휴대용 장치 또는 무선 모뎀에 연결된 다른 처리 장치일 수 있다. 예를 들어, 디지털 카메라, 일안 반사식 카메라, 이동 전화(또는 "휴대폰"이라고 함) 또는 스마트 폰이 있다. 단말은 휴대용, 포켓 크기, 핸드헬드 또는 웨어러블 장치(예를 들어, 스마트 워치), 태블릿 컴퓨터, 개인용 컴퓨터(PC), 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 차량 내 컴퓨터, 드론, 공중 장치 등이 될 수 있다.

도 1은 단말(100)의 선택적 하드웨어 구조의 개략도이다.

도 1에 도시된 바와 같이, 단말(100)은 무선 주파수 유닛(110), 메모리(120), 입력 유닛(130), 디스플레이 유닛(140), 카메라(150), 오디오 회로(160)(스피커(161) 및 마이크(162) 포함), 프로세서(170), 외부 인터페이스(180), 및 전원(190)을 포함한다. 당업자는 도 1은 지능형 단말 또는 다기능 장치의 일례일 뿐이며, 지능형 단말 또는 다기능 장치에 대한 제한을 구성하지 않는다는 것을 이해할 수 있을 것이다. 지능형 단말 또는 다기능 장치는 그림에 표시된 것보다 더 많거나 적은 구성 요소를 포함하거나 일부 구성 요소를 결합하거나 다른 구성 요소를 포함할 수 있다. 예를 들어, 지능형 단말 또는 다기능 장치는 적어도 메모리(120), 프로세서(170) 및 카메라(150)를 포함한다.

카메라(150)는 이미지 또는 비디오를 촬영하도록 구성되며, 응용 프로그램의 지시에 따라 트리거 및 시작되어 촬영 기능 또는 비디오 촬영 기능을 구현할 수 있다. 카메라는 이미징 렌즈, 광 필터, 이미지 센서와 같은 구성 요소를 포함할 수 있다. 객체에서 방출되거나 반사된 광선은 이미징 렌즈로 들어가서 라이트 필터를 통과하고 마지막으로 이미지 센서로 수렴된다. 이미징 렌즈는 촬영 화각(photographing angle of view)에서 주로 모든 객체에 의해 방출되거나 반사되는 빛을 이미지로 수렴하도록 구성된다(이것은 또한 촬영될 시나리오(to-be-photographed scenario), 촬영될 객체(to-be-photographed objects), 목표 시나리오(target scenario) 또는 목표 객체(target objects)라고도 할 수 있다). 광 필터는 주로 광선에서 여분의 광파(예를 들어, 가시 광선 이외의 광파, 예를 들어 적외선)를 필터링하도록 구성된다. 이미지 센서는 주로: 수신된 광 신호에 대해 광-전기 변환을 수행하고, 광 신호를 전기 신호로 변환하고, 후속 처리를 위해 전기 신호를 프로세서(170)에 입력하도록 구성된다. 카메라는 단말 장치의 전면에 위치하거나 단말 장치의 후면에 위치할 수 있다. 카메라의 특정 수량 및 특정 배치 방식은 설계자의 요구 사항이나 벤더 정책에 따라 유연하게 결정될 수 있다. 이것은 본 출원에서 제한되지 않는다.

입력 유닛(130)은 입력된 숫자 또는 문자 정보를 수신하고, 복합기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성하도록 구성될 수 있다. 구체적으로, 입력 유닛(130)은 터치 스크린(131) 및/또는 다른 입력 장치(132)를 포함할 수 있다. 터치 스크린(131)은 터치 스크린(131) 위 또는 근처에서 사용자의 터치 조작(예를 들어, 사용자가 터치 스크린 또는 터치 스크린 근처에서 적절한 객체, 예를 들어, 사용자의 손가락, 관절, 스타일러스를 이용하여 수행한 조작)을 수집할 수 있고 미리 설정된 프로그램에 따라 해당 연결 장치를 구동한다. 터치 스크린은 터치 스크린에서 사용자의 터치 동작을 감지하고, 터치 동작을 터치 신호로 변환하고, 터치 신호를 프로세서(170)로 전송하고, 프로세서(170)에서 전송된 명령을 수신 및 실행할 수 있다. 터치 신호는 최소한의 연락처 좌표 정보를 포함한다. 터치 스크린(131)은 단말(100)과 사용자 사이에 입력 인터페이스 및 출력 인터페이스를 제공할 수 있다. 또한, 터치 스크린은 저항막 방식, 정전 용량 방식, 적외선 방식, 표면 탄성파 방식 등 다양한 형태로 구현될 수 있다. 터치 스크린(131) 이외에 입력 유닛(130)은 다른 입력 장치를 더 포함할 수 있다. 구체적으로, 다른 입력 장치(132)는 물리적 키보드, 기능 키(예를 들어, 볼륨 제어 키 또는 켜기/끄기 키(133)), 트랙볼, 마우스, 조이스틱 등 중 하나 이상을 포함할 수 있지만 이에 제한되지 않는다.

디스플레이 유닛(140)은 사용자가 입력한 정보 또는 사용자에게 제공되는 정보, 단말(100)의 각종 메뉴, 인터랙션 인터페이스, 파일 등을 표시하거나 멀티미디어 파일을 재생하도록 구성될 수 있다. 본 발명의 이 실시예에서, 디스플레이 유닛은 카메라(150)를 이용하여 단말에서 획득한 이미지/비디오를 표시하도록 더 구성된다. 이미지/비디오는 일부 촬영 모드에서의 프리뷰 이미지/비디오, 촬영된 초기 이미지, 및 촬영이 수행된 후 특정 알고리즘 처리가 수행되는 목표 이미지/비디오를 포함할 수 있다.

또한, 터치 스크린(131)은 디스플레이 패널(141)을 덮을 수 있다. 터치 스크린(131)에 대한 터치 동작을 감지한 후, 터치 스크린(131)은 터치 동작을 프로세서(170)로 전달하여 터치 이벤트의 종류를 결정한다. 그런 다음, 프로세서(170)는 터치 이벤트의 종류에 따라 디스플레이 패널(141)에 대응하는 시각적 출력을 제공한다. 본 실시예에서 터치 스크린과 디스플레이 유닛은 단말(100)의 입력, 출력 및 디스플레이 기능을 구현하기 위해 하나의 구성 요소로 통합될 수 있다. 설명의 편의를 위해, 본 발명의 이 실시예에서, 터치 디스플레이 스크린은 터치 스크린과 디스플레이 장치의 기능 세트를 나타낸다. 일부 실시예에서, 터치 스크린 및 디스플레이 유닛은 대안으로 2 개의 독립적인 구성 요소로서 사용될 수 있다.

메모리(120)는 명령어 및 데이터를 저장하도록 구성될 수 있다. 메모리(120)는 주로 명령어 저장 영역과 데이터 저장 영역을 포함할 수 있다. 데이터 저장 영역은 멀티미디어 파일, 텍스트 등의 데이터를 저장할 수 있다. 명령어 저장 영역은 운영 체제, 애플리케이션, 적어도 하나의 기능에 필요한 명령어, 그 서브세트 또는 그 확장 세트와 같은 소프트웨어 유닛을 저장할 수 있다. 메모리(120)는 비 휘발성 랜덤 액세스 메모리를 더 포함하고, 컴퓨팅 처리 장치에서 하드웨어, 소프트웨어 및 데이터 자원을 관리하고 소프트웨어 및 애플리케이션에 대한 제어를 지원하는 기능을 프로세서(170)에 제공할 수 있다. 메모리(120)는 멀티미디어 파일을 저장하고 실행 프로그램 및 애플리케이션을 저장하도록 더 구성된다.

프로세서(170)는 단말(100)의 제어 센터로서 다양한 인터페이스 및 라인을 통해 단말 전체의 다양한 부분과 연결된다. 프로세서(170)는 단말(100)의 다양한 기능을 수행하고, 메모리(120)에 저장된 명령어를 실행 또는 실행하고 메모리(120)에 저장된 데이터를 호출하여 데이터를 처리하여 단말에 대한 전반적인 제어를 수행한다. 선택적으로, 프로세서(170)는 하나 이상의 처리 유닛을 포함할 수 있다. 바람직하게는, 프로세서(170)는 애플리케이션 프로세서 및 모뎀 프로세서와 통합될 수 있다. 응용 프로세서는 주로 운영 체제, 사용자 인터페이스, 응용 프로그램 등을 처리한다. 모뎀 프로세서는 주로 무선 통신을 처리한다. 모뎀 프로세서는 대안으로 프로세서(170)에 통합되지 않을 수 있다는 것이 이해될 수 있다. 일부 실시예에서, 프로세서 및 메모리는 대안으로 단일 칩 상에 구현될 수 있다. 일부 실시예에서, 프로세서 및 메모리는 각각 독립적인 칩 상에 구현될 수 있다. 프로세서(170)는 또한 대응하는 동작 제어 신호를 생성하고, 동작 제어 신호를 컴퓨팅 처리 장치의 대응하는 구성 요소로 전송하고, 소프트웨어에서 데이터를 읽고 처리하며, 특히 데이터 및 프로그램을 읽고 처리하도록 구성될 수 있다. 메모리(120)는 프로세서(170)의 기능 모듈이 대응하는 기능을 수행하도록, 대응하는 구성 요소를 제어하여 명령에 의해 요구되는 동작을 수행하도록 한다.

무선 주파수 유닛(110)은 호 프로세스에서 정보를 수신 및 송신하거나 신호를 수신 및 송신하도록 구성될 수 있다. 예를 들어, 무선 주파수 유닛(110)은 기지국으로부터 다운 링크 정보를 수신하고, 처리를 위해 다운 링크 정보를 프로세서(170)로 전달하고, 관련된 업 링크 데이터를 기지국으로 전송한다. 일반적으로, 무선 주파수 유닛은 안테나, 적어도 하나의 증폭기, 송수신기, 커플러, 저잡음 증폭기(Low Noise Amplifier, LNA), 듀플렉서 등을 포함 하나 이에 제한되지 않는다. 또한, 무선 주파수 유닛(110)은 무선 통신을 통해 네트워크 장치 및 다른 장치와 더 통신할 수 있다. 무선 통신은 이동 통신을 위한 글로벌 시스템(Global System for Mobile Communications, GSM), 일반 패킷 무선 서비스(General Packet Radio Service, GPRS), 코드 분할 다중 액세스(Code Division Multiple Access, CDMA), 광대역 코드 분할 다중 접속(Wideband Code Division Multiple Access, WCDMA), 롱텀에볼루션(Long Term Evolution, LTE), 이메일, 단문 메시지 서비스(Short Message Service, SMS) 등을 포함하되 이에 국한되지 않는 모든 통신 표준 또는 프로토콜을 사용할 수 있다.

오디오 회로(160), 스피커(161) 및 마이크로폰(162)은 사용자와 단말(100) 사이에 오디오 인터페이스를 제공할 수 있다. 오디오 회로(160)는 수신된 오디오 데이터로부터 변환된 전기적 신호를 스피커(161)로 전송할 수 있으며, 스피커(161)는 전기 신호를 출력을 위한 사운드 신호로 변환한다. 또한, 마이크로폰(162)은 음향 신호를 수집하고 수집된 음향 신호를 전기적 신호로 더 변환할 수 있다. 오디오 회로(160)는 전기적 신호를 수신하여 전기적 신호를 오디오 데이터로 변환하고, 오디오 데이터를 처리를 위해 프로세서(170)로 출력한 다음, 처리된 오디오 데이터를 무선 주파수 유닛(110)을 통해 예를 들어 다른 단말로 전송하거나 출력한다. 추가 처리를 위해 메모리(120)에 오디오 데이터를 처리한다. 오디오 회로는 또한 오디오 회로와 헤드셋 사이의 연결 인터페이스를 제공하도록 구성된 헤드셋 잭(163)을 포함할 수 있다. 스피커 및 마이크의 특정 수량 및 특정 배치 방식은 설계자 또는 공급 업체 정책의 요구 사항에 따라 유연하게 결정될 수 있다. 이것은 본 출원에 제한되지 않는다.

단말(100)은 각 부품에 전원을 공급하는 전원(190)(예를 들어, 배터리)을 더 포함한다. 바람직하게는, 전력 공급 장치는 전력 관리 시스템을 이용하여 프로세서(170)와 논리적으로 연결되어 전력 관리 시스템을 이용하여 충전, 방전, 전력 소비 관리 등의 기능을 구현할 수 있다.

단말(100)은 외부 인터페이스(180)를 더 포함한다. 외부 인터페이스는 표준 마이크로 USB 포트일 수 있거나, 다중 핀 커넥터일 수 있다. 외부 인터페이스는 단말(100)와 다른 통신 장치를 연결하도록 구성될 수도 있고, 충전기에 연결하여 단말(100)을 충전하도록 구성될 수도 있다.

도시되지는 않았으나 단말(100)은 플래시 라이트, 무선 충실도(wireless fidelity, Wi-Fi) 모듈, 블루투스 모듈, 기능이 다른 센서 등을 더 포함할 수 있다. 자세한 내용은 여기에서 설명하지 않는다. 이하에서 설명하는 방법 중 일부 또는 전부가 도 1에 도시된 단말에 적용될 수 있다.

본 발명은 촬영 기능(촬영 기능 또는 비디오 촬영 기능 중 적어도 하나를 포함)을 갖는 단말 장치에 적용될 수 있으며, 구현된 제품은 지능형 단말 형태로 구현될 수 있다. 예를 들어 휴대 전화, 태블릿, DV, 비디오 카메라, 카메라, 휴대용 컴퓨터, 노트북 컴퓨터, 지능형 로봇, 텔레비전, 보안 보호 시스템 또는 드론과 같은 카메라가 설치된다. 구체적으로, 본 발명의 기능 모듈은 관련 장치의 DSP 칩에 배치될 수 있으며, 구체적으로 DSP 칩의 응용 프로그램 또는 소프트웨어일 수 있다. 본 발명에서는 소프트웨어 설치 또는 업그레이드, 하드웨어 호출 및 협력을 통한 이미지 처리 기능을 제공하기 위해 기능 모듈을 단말 장치에 배치한다.

본 발명은 주로 단말 장치를 이용하여 이미지 또는 비디오를 촬영하는 시나리오에 적용된다. 사람들은 비디오 촬영에 대한 요구 사항이 점점 더 높아지고 있으며, "당신이 보는 것은 당신이 얻는 것"의 비디오 촬영 경험을 구현하기 위해 사진을 찍는 동안 비디오의 특수 효과 처리를 완료하기를 기대한다. 본 발명에 따르면, 이미지 또는 비디오에 대해 메인 객체 세그멘테이션(main object segmentation)을 수행하고, 이미지의 실시간 특수 효과를 구현하기 위해 서로 다른 영역의 색을 조정할 수 있다.

다음은 실시예를 사용하여 본 발명을 설명한다.

실시예 1

자세한 내용은 도 2를 참조한다. 도 2는 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이다. 이 방법은 이미지를 촬영하는 과정에서 수행된다. 구체적인 구현 과정에서 단말은 촬영 모드를 설정할 수 있다. 촬영 모드에서 방법은 다음 단계를 포함할 수 있다.

단계 21: 이미지를 획득한다(이것은 또한 사진 또는 캡처로도 이해될 수 있다).

구체적으로, 사용자가 사진을 찍으면 해당 프리뷰 스트림도 화면에 표시된다. 미리보기 이미지는 일반적으로 미리보기 스트림에서 하나의 이미지를 참조할 수 있다. 사용자가 셔터를 두드리면 촬영된 이미지가 얻어진다. 촬영된 이미지의 크기는 예를 들어 1920 x 1080이지만 이에 국한되지 않는다.

단계 22: 촬영된 이미지의 콘텐츠(이것은 장면 세만틱스로 이해될 수 있다)에 기초하여 이미지의 목표 영역 및 배경 영역을 결정한다. 보다 구체적으로, 목표 영역 및 배경 영역은 이미지 내의 객체의 카테고리에 기초하여 이미지에서 결정될 수 있다. 배경 영역은 목표 영역 이외의 이미지 영역이다. 목표 영역은 이미지의 목표 객체, 즉 사용자가 이미지에서 하이라이트 하기를 기대하는 객체에 대응하며, 사용자의 대화형 선택 또는 시스템 설정과 관련될 수 있다. 구체적으로, 단계 22는 S221 내지 S224를 포함할 수 있다.

S221: 이미지를 전처리한다.

원본 크기의 촬영된 이미지는 다운샘플링되어 더 작은 해상도의 이미지로 변환된다. 작은 이미지를 기준으로 계산을 수행하면 계산량을 줄일 수 있다. 특정 구현 프로세스에서 원래 크기(예를 들어, m0 x n0)는 m x n 크기로 다운샘플링될 수 있다. m과 n의 값이 작을수록 후속 계산량이 적음을 나타낸다. 그러나 m과 n의 값이 너무 작으면 픽셀 해상도가 감소한다. 실험 결과 m과 n의 적절한 값 범위는 [128, 512]이고 보다 구체적으로는 [256, 300]이다. 또한 m과 n은 같거나 같지 않을 수 있다. 예를 들어 1920 x 1080의 이미지는 256 x 256으로 다운샘플링될 수 있다.

S222: 다운샘플링된 m x n 이미지를 신경망에 입력하여 세만틱 세그멘테이션을 수행하고 이미지 마스크(Mask)를 결정한다.

세만틱 세그멘테이션은 이미지 내의 객체에 대해 수행되는 픽셀 수준 세그멘테이션(pixel-level segmentation)을 의미하며, 객체의 카테고리는 각 픽셀에 대해 표시된다. 객체 카테고리가 표시되지 않은 영역은 "배경"으로 표시된다.

구체적으로, 시맨틱 분할은 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 딥 러닝 알고리즘을 사용할 수 있다. CNN 기반 네트워크 모델은 구체적으로 다음과 같이 설명된다:

(1) mxn 이미지에 대해 다운샘플링 및 컨볼루션을 수행하여 m1 x N1 개의 이미지, m2 x N2 개의 이미지, ... 및 mz x nz 이미지를 획득하고, 이미지 의미 특징을 레이어별로 추출하여 m1 x n1 특성 맵, m2 x n2 특성 맵, ... 및 mz x nz 특성 맵, 즉, 다중 스케일 시맨틱 특성을 얻으며, 여기서 m1, m2, ... 및 mz는 다중 관계에 있고 m 미만이며, n1, n2, ..., nz는 다중 관계에 있고 n 미만이다. 예를 들어, m = 2m1 = 4m2 =, ..., =

x mz 및 n = 2n1 = 4n2 =, ..., =

x nz이다. z의 값과 다중 관계는 알고리즘 성능 및 설계 요구 사항에 따라 결정될 수 있다.

(2) m1 x n1 특성 맵, m2 x n2 특성 맵, ... 및 mz x nz 특성 맵에 대해 컨볼루션 및 업샘플링을 수행하여 다중-스케일 시맨틱 특성을 융합한다.

위에서 언급 한 컨볼루션, 다운샘플링 및 업샘플링 방법은 업계에서 잘 알려진 기술을 사용할 수 있으며, 본 발명에 제한되지 않고 나열되어있다.

(3) 이미지에서 식별되어야 하는 객체 카테고리를 결정하고, 각 픽셀에 대한 각 객체 카테고리의 점수를 계산하고, 가장 높은 점수를 가진 객체 카테고리(줄여서 카테고리일 수 있음)를 픽셀의 분류 결과로 사용하며, 마스크 그래프, 즉 마스크가 최종적으로 얻어진다.

예를 들어, 단말이 k 개의 객체 카테고리(예를 들어, 사람, 동물, 식물, 다른 미리 설정된 객체 또는 배경 중 적어도 하나)를 식별할 수 있다면 k 개의 이미지를 얻을 수 있다. 이미지의 각 픽셀은 객체 카테고리에 속하는 점수를 얻는다. 점수가 높을수록 픽셀이 객체 카테고리에 속할 확률이 더 높다.

임의의 픽셀의 객체 카테고리가 결정되면, 픽셀이 식별될 수 있다. 예를 들어, 1은 사람을, 2는 차량을, 3은 동물을, 4는 식물을, 0은 배경을 나타낸다. 이것은 단지 예일 뿐이며 어떠한 제한도 구성하지 않는다. 사용자는 설계 요구 사항에 따라 카테고리 수량, 카테고리 및 식별 방법을 무작위로 설계할 수 있다. 구체적인 예가 도 3에 도시될 수 있다. 차량이 위치한 모든 픽셀 영역은 신경망에 의해 차량으로 분류되어 1로 식별된다. 주변 배경 부분의 모든 픽셀 영역은 신경망에 의해 배경으로 분류되고 0으로 식별된다. 다른 예를 들어, 신경망이 출력하는 마스크에서 동일한 범주의 객체 영역은 동일한 레이블을 갖는다. 예를 들어, 배경의 라벨은 0, 고양이의 라벨은 1, 스케이트 보드의 라벨은 2이다. 도 4에서, 동일한 객체 카테고리의 라벨을 나타내기 위해 동일한 색상이 더 사용될 수 있다. 예를 들어 사람, 말, 배경은 각각 다른 색을 사용하여 식별된다.

마스크는 시맨틱 분할 알고리즘의 결과이다. 이미지에서 객체 카테고리에 속하는 모든 픽셀은 색상 또는 식별자로 레이블이 지정되고 배경도 색상 또는 식별자로 레이블이 지정된다. 처리 후 얻은 이미지를 마스크라고 하여 세그멘테이션 결과를 직관적으로 표시한다.

이미지의 콘텐츠는 메인 객체와 배경을 포함할 수 있다. 설명의 편의를 위해 이미지 마스크는 메인 객체 마스크와 배경 마스크를 포함할 수 있다. 메인 객체 마스크는 사용자가 이미지에서 강조하고자 하는 개인 또는 촬영된 이미지(예를 들어, 사람, 동물, 식물 또는 특정 객체)을 포함하여 분할 방법을 사용하여 식별된 메인 객체(컵, 테이블, 옷, 장식, ...)에 대응할 수 있다. 배경 마스크는 이미지에 있고 메인 객체 마스크로 식별되지 않는 다른 영역에 대응한다. 이미지 마스크는 전체 이미지에 대응한다. 메인 객체 마스크의 식별 능력은 신경망의 성능과 관련이 있다. 예를 들어 일부 신경망은 사람과 배경만 식별할 수 있다. 일부 신경망은 사람, 차량 및 배경을 식별할 수 있다. 일부 신경망은 차량과 배경만 식별할 수 있다. 일부 신경망은 사람, 동물 및 배경을 식별할 수 있다. 일부 신경망은 동물과 배경만 식별할 수 있다. 일부 신경망은 동물, 식물, 배경을 식별할 수 있다.

이미지는 대안으로 메인 객체만을 포함할 수도 있고 배경만을 포함할 수도 있음을 이해해야 한다. 이미지에 메인 객체만 포함된 경우 메인 객체도 배경으로 식별될 수 있다. 메인 객체와 이미지의 배경에 대한 이러한 설정은 설계자가 유연하게 설계하고 결정할 수 있다.

심층 신경망의 학습을 위해서는 많은 양의 분할 학습 데이터가 필요하며 학습 데이터 세트에는 분할 객체 카테고리, 입력 이미지, 마스크 그래프 등 많은 이미지가 포함된다. 트레이닝 데이터 세트는 분할 객체의 다양한 일반적인 응용 시나리오를 포괄할 수 있으며 다양한 데이터를 포함한다. 트레이닝 데이터 세트의 입력 이미지와 마스크 그래프는 네트워크를 트레이닝하고, 우수한 네트워크 파라미터를 획득하기 위해, 다시 말해 사용자가 만족하는 세그멘테이션 성능을 얻는 데 사용된다. 획득한 네트워크 파라미터는 신경망의 최종 계산 파라미터로 사용된다.

S223: 마스크에 기초하여 목표 마스크를 결정한다.

이한 능력을 갖는 상이한 이미지 및 신경망에 대해, 다양한 마스크가 획득될 수 있다. 단말은 마스크 내에 있고 가장 강조되고 눈에 잘 띄게 표시되어야 하는 객체에 대응하는 마스크를 추가로 결정할 수 있다. 즉, 목표 마스크를 결정해야 한다. 목표 마스크를 결정하는 것은 다음 몇 가지 방식을 포함하지만 이에 제한되지는 않는다.

방식 1: 마스크가 하나의 메인 객체 마스크와 하나의 배경 마스크만을 포함하는 경우, 메인 객체 마스크가 목표 마스크로 결정된다.

구체적으로, k 개의 마스크를 획득하기 위해 영상에 대해 세만틱 세그멘테이션이 수행된다고 가정한다. k 개의 마스크는 서로 다른 객체 카테고리에 대응한다. k = 2이고 두 마스크가 하나의 객체 마스크와 하나의 배경 마스크를 포함하는 경우 객체 마스크에 대응하는 이미지 영역이 목표 영역으로 결정되고 배경 마스크에 대응하는 영역이 배경 영역으로 결정된다.

도 5에 도시된 바와 같이, 신경망에 의해 출력되는 이미지의 마스크는 메인 객체 마스크 A1과 배경 마스크만을 포함한다. 이 경우 A1이 목표 마스크로 결정될 수 있다.

방식 2: 마스크가 복수의 메인 객체 마스크와 배경 마스크를 포함하는 경우, 메인 객체 마스크에 포함된 픽셀 수가 특정 임계 값을 초과하면 메인 객체 마스크가 목표 메인 객체로 결정되거나; 또는 메인 객체 마스크에 포함된 픽셀 수가 특정 임계 값보다 적으면 메인 객체 마스크가 리마킹되고 배경으로도 표시된다. 메인 객체 마스크에 포함되는 픽셀의 수량은 이미지에서 개인의 영역에 포함된 픽셀의 수량일 수 있다.

구체적으로, k 개의 마스크를 획득하기 위해 영상에 대해 세만틱 세그멘테이션이 수행된다고 가정한다. k 개의 마스크는 서로 다른 객체 카테고리에 대응한다. k가 2보다 크고 k 개의 마스크에서 k0 개의 객체 마스크에 포함된 픽셀 수가 미리 설정된 임계 값보다 큰 경우 k0 개의 객체 마스크에 대응하는 이미지 영역이 목표 영역으로 결정되고 남은 마스크는 배경 영역으로 결정된다. 여기서 k0은 k보다 작은 음이 아닌 정수이다.

도 6에 도시된 바와 같이, 신경망이 출력하는 영상의 마스크는 메인 객체 마스크 A1, 메인 객체 마스크 A2 및 배경 마스크를 포함한다. A1에 포함된 픽셀 수가 미리 설정된 임계 값보다 많고 A2에 포함된 픽셀 수가 미리 설정된 임계 값보다 크지 않은 경우 A1이 목표 마스크로 결정되고 메인 객체 마스크 A2가 배경 마스크로 리마킹된다. 리마킹된 마스크가 도 5에 도시될 수 있다. A1에 포함된 픽셀의 양이 미리 설정된 임계 값보다 많고 A2에 포함된 픽셀의 양도 미리 설정된 임계 값보다 큰 경우, A1과 A2가 모두 목표 마스크로 결정된다. A1에 포함된 픽셀의 양이나 A2에 포함된 픽셀의 양이 미리 설정된 임계 값보다 크지 않으면 A1과 A2는 배경 마스크로 다시 식별된다. 다시 말해, 이미지에는 메인 객체 마스크가 포함되지 않는다.

특정 구현 프로세스에서 A1 및 A2는 동일한 객체 카테고리이거나 다른 객체 카테고리일 수 있음을 이해해야 한다

방식 3: 마스크가 복수의 메인 객체 마스크와 배경 마스크를 포함하는 경우, 가장 많은 양의 픽셀을 포함하는 메인 객체 마스크가 목표 마스크로 선택되고 다른 메인 객체 마스크도 배경 마스크로 리마킹된다.

구체적으로, k 개의 마스크를 획득하기 위해 영상에 대해 세만틱 세그멘테이션이 수행된다고 가정한다. k 개의 마스크는 서로 다른 객체 카테고리에 대응한다. k가 2보다 크면, 가장 많은 픽셀을 포함하고 k 개의 마스크에 있는 마스크에 대응하는 이미지 영역이 목표 영역으로 결정되고 나머지 마스크에 대응하는 이미지 영역이 배경 영역으로 결정된다.

도 6에 도시된 바와 같이, 신경망이 출력하는 영상의 마스크는 메인 객체 마스크 A1, 메인 객체 마스크 A2 및 배경 마스크를 포함한다. 가장 많은 픽셀을 포함하는 A1이 목표 마스크로 결정되고, 메인 객체 마스크 A2는 배경 마스크로 리마킹된다. 리마킹된 마스크는 도 5에 도시될 수 있다.

특정 구현 프로세스에서 A1 및 A2는 동일한 객체 카테고리이거나 다른 객체 카테고리일 수 있음을 이해해야 한다.

방식 4: 마스크가 복수의 메인 객체 마스크와 배경 마스크를 포함하고, 복수의 메인 객체 마스크가 복수의 객체 카테고리를 포함하는 경우, 목표 마스크는 객체 카테고리의 우선순위에 따라 결정된다. 예를 들어, 사람 마스크의 우선순위가 차량 마스크의 우선순위보다 높으면 사람 마스크가 목표 마스크이고 차량 마스크는 배경으로 리마킹될 수 있다. 예를 들어, 사람 마스크의 우선순위가 동물 마스크의 우선순위보다 높고 식물 마스크의 우선순위보다 높으면, 시스템에서 설정한 우선순위는 우선순위가 식물 마스크의 우선순위보다 높은 모든 마스크가 메인 객체 마스크라는 것이며, 사람 마스크와 동물 마스크는 모두 목표 마스크이며, 식물 마스크는 배경으로 리마킹될 수 있다. 한 명 이상의 개인이 동일한 객체 카테고리 마스크에 속한다는 것을 이해해야 한다.

구체적으로, k 개의 마스크를 획득하기 위해 영상에 대해 세만틱 세그멘테이션이 수행된다고 가정한다. k 개의 마스크는 서로 다른 객체 카테고리에 대응한다. k가 2보다 크면 목표 마스크는 객체 카테고리의 사전 설정 우선순위에 따라 k 마스크에서 결정된다. 목표 마스크에 대응하는 이미지 영역이 목표 영역으로 결정되고, 나머지 마스크에 대응하는 이미지 영역이 배경 영역으로 결정된다.

도 7에 도시된 바와 같이, 신경망이 출력하는 영상의 마스크는 메인 객체 마스크 A1, 메인 객체 마스크 B1 및 배경 마스크를 포함한다. A1과 B1은 서로 다른 객체 카테고리이며 A1의 우선순위는 B1의 우선순위보다 높다. 시스템에서 우선순위가 B1보다 높거나 같은 메인 객체 마스크를 목표 마스크로 사용할 수 있도록 설정하면 A1과 B1이 모두 목표 마스크가 된다. 시스템에서 우선순위가 B1보다 높은 메인 객체 마스크를 목표 마스크로 사용하도록 설정하면 A1이 목표 마스크로 결정되고 B1이 배경 마스크로 리마킹된다.

방법 5: 마스크가 복수의 메인 객체 마스크와 배경 마스크를 포함하는 경우, 목표 마스크는 사용자가 입력한 선택 동작에 따라 결정될 수 있다. 입력 모드에는 화면 터치 및 음성과 같은 선택 지침이 포함되지만 이에 국한되지 않는다. 사용자가 선택한 개인에 대응하는 메인 객체 마스크가 목표 마스크이다.

구체적으로, k 개의 마스크를 획득하기 위해 영상에 대해 세만틱 세그멘테이션이 수행된다고 가정한다. k 개의 마스크는 서로 다른 객체 카테고리에 대응한다. k가 2보다 크면 사용자의 선택 지시에 따라 k 개의 마스크로부터 목표 마스크가 결정된다. 목표 마스크에 대응하는 이미지 영역이 목표 영역으로 결정되고, 나머지 마스크에 대응하는 이미지 영역이 배경 영역으로 결정된다.

도 7에 도시된 바와 같이, 신경망에 의해 출력되는 영상의 마스크는 메인 객체 마스크 A1, 메인 객체 마스크 B1 및 배경 마스크를 포함한다. 사용자가 촬영 과정에서 터치 스크린에서 A1에 대응하는 개인을 탭하면 A1이 목표 마스크로 결정되고 B1이 배경 마스크로 리마킹된다. 사용자가 촬영 과정에서 터치 스크린에서 B1에 대응하는 개인을 탭하면 B1이 목표 마스크로 결정되고 A1이 배경 마스크로 리마킹된다.

방식 6: 마스크가 복수의 메인 객체 마스크와 배경 마스크를 포함하고, 복수의 메인 객체 마스크가 복수의 객체 카테고리를 포함하는 경우, 목표 마스크는 사용자가 입력한 선택 동작에 따라 결정될 수 있다. 입력 모드에는 화면 터치 및 음성과 같은 선택 지침이 포함되지만 이에 국한되지 않는다. 사용자가 선택한 개인에 대응하는 객체 카테고리의 모든 기본 개체 마스크는 목표 마스크이다.

도 8에 도시된 바와 같이, 신경망이 출력하는 영상의 마스크는 메인 객체 마스크 A1, A2, B1, B2와 배경 마스크를 포함한다. A1과 A2는 동일한 객체 카테고리에 속하고 B1과 B2는 동일한 객체 카테고리에 속한다. 사용자가 촬영 과정에서 터치 스크린에서 A1에 대응하는 개인을 탭하면 동일한 객체 카테고리에 속하는 A1과 A2를 목표 마스크로 결정하고 B1과 B2를 배경 마스크로 리마킹한다. 사용자가 촬영 과정에서 터치 스크린에서 B2에 대응하는 개인을 탭하면 동일한 객체 카테고리의 B1과 B2가 목표 마스크로 결정되고 A1과 A2가 배경 마스크로 리마킹된다.

전술한 특정 구현 또는 실시예는 단지 예일 뿐이며 제한을 구성해서는 안 된다는 것을 이해해야 한다. 전술한 특정 구현 또는 실시예는 논리를 위반하지 않고 자유롭게 결합될 수 있다. 따라서, 마스크 분할이 이미지에 대해 수행된 후, 하나 이상의 목표 마스크가 획득될 수 있다. 이들 목표 마스크는 하나 이상의 객체 카테고리일 수 있고, 목표 마스크의 각 객체 카테고리는 적어도 하나의 개별적인 것을 더 포함할 수 있다. 표시되는 결과는 단말 시스템에 설정된 규칙과 관련이 있으며, 이는 목표 마스크를 결정하고 사용자의 입력을 결정하기 위한 것이다. 일부 시나리오에서는 이미지가 배경 마스크만 포함할 수도 있다.

S224: 원본 이미지에서 목표 영역과 배경 영역을 결정한다.

촬영된 이미지의 원래 크기는 마스크로부터 샘플링되고, 마스크의 목표 마스크 및 배경 마스크도 업샘플링된다. 업샘플링된 목표 마스크이고 원본 이미지에 대응하는 모든 픽셀로 구성된 영역이 목표 영역이고, 업샘플링된 배경 마스크이고 원본 이미지에 대응하는 모든 픽셀로 구성된 영역이 배경 영역이다.

단계 23: 목표 이미지를 획득하기 위해 다른 색 처리 모드에서 이미지의 목표 영역 및 배경 영역을 처리한다. 목표 영역의 색차가 배경 영역의 색차보다 크거나 목표 영역의 휘도가 배경 영역의 휘도보다 크도록 서로 다른 색 처리 모드가 처리를 위해 사용된다. 다시 말해, 목표 이미지의 목표 영역의 색차가 목표 이미지의 배경 영역의 색차보다 크거나 목표 이미지의 목표 영역의 휘도가 목표 이미지의 배경 영역의 휘도보다 크다.

구체적으로, 제1 색 처리 모드 및 제2 색 처리 모드는 각각 이미지의 목표 영역 및 배경 영역에 사용된다. 제1 색 처리 모드 및 제2 색 처리 모드는 다음과 같은 방식을 포함하지만 이에 제한되지 않는다.

방식 1: 제1 색 처리 모드는 색을 유지하고, 제2 색 처리 모드는 예를 들어 배경 영역의 색을 흑백으로 변환하는 필터를 사용한다. 전형적인 필터는 흑백(black and white) 필터, 어둡게(darkening) 필터, 레트로(retro) 필터, 필름(film) 필터, 보케(bokeh) 필터, 및 블러링(blurring) 필터 등 중 임의의 것을 더 포함할 수 있다.

예를 들어, 흑백 필터는 흑백 필터의 효과를 구현하기 위해 각 픽셀 값을 계조 값으로 매핑하는 것이다. 다른 예를 들어, 어둡게 하기 필터는 특별한 어둡게 효과를 획득하기 위해 각 픽셀 값의 휘도를 어둡게 하는 것이다.

방식 2: 제1 색 처리 모드는 제1 필터 방식이고, 제2 색 처리 모드는 제2 필터 방식이고, 제1 필터 방식은 제2 필터 방식과 다르다. 동일한 이미지에 대해, 제1 필터 방식으로 획득된 이미지의 색차는 제2 필터 방식으로 획득된 이미지의 색차보다 크다.

방식 3: 제1 색 처리 모드는 제3 필터 방식이고, 제2 색 처리 모드는 제4 필터 방식이고, 제3 필터 방식은 제4 필터 방식과 다르다. 동일한 이미지에 대해, 제3 필터 방식으로 획득된 이미지의 휘도는 제4 필터 방식으로 획득된 이미지의 휘도보다 크다.

색상은 휘도와 색차로 표현된다는 것을 이해해야 한다. 색차는 휘도를 포함하지 않고 색상의 톤과 채도를 반영하는 색상의 속성이며, 휘도는 색상의 밝기를 나타낸다. 따라서 색 처리에는 휘도 처리 및/또는 색차 처리가 포함된다.

구체적으로, 필터는 색차, 휘도 및 색조를 조정하는 것을 포함할 수 있으며, 중첩된 텍스처 등을 더 포함할 수 있다. 색차와 색조를 조정하여 색상 시스템을 원하는 방식으로 조정할 수 있으므로 색상 시스템이 두껍거나 밝아지거나 톤이 변경되고 다른 색상 시스템이 변경되지 않는다. 필터는 또한 픽셀 대 픽셀 매핑으로 이해될 수 있다. 입력 이미지의 픽셀 값은 미리 설정된 매핑 테이블을 사용하여 대상 픽셀의 픽셀 값에 매핑되어 특별한 효과를 얻을 수 있다. 필터는 미리 설정된 파라미터 마스크일 수 있음을 이해해야 한다. 이러한 색상 관련 파라미터는 업계에서 잘 알려진 필터 마스크의 파라미터이거나 사용자가 독립적으로 설계한 파라미터일 수 있다.

보충적으로, 단계 23 이후에, 방법은 단계 23에서 처리된 이미지를 저장하는 단계 24를 더 포함한다.

본 발명에 따르면, 촬영 과정에서 단말은 이미지 내용에 기초하여 대상 개인과 배경을 결정하고 대상 개인과 배경에 대해 서로 다른 색 처리를 수행하여 이미지의 메인 객체가 사용자가 촬영한 사진이 더 눈에 띄고 촬영된 이미지는 필름과 같다.

실시예 2

구체적으로, 본 발명에서 비디오 레코딩을 위한 이미지 처리 방법은 촬영을 위한 이미지 처리 방법과 유사하며, 촬영에서 처리된 객체는 하나의 이미지이고, 비디오 레코딩에서 처리된 객체는 연속적인 비디오 프레임, 즉, 복수의 연속 이미지라는 차이점이 있다. 비디오 레코딩에서 처리되는 객체는 완전한 비디오이거나 완전한 비디오의 세그먼트이거나 기간 범위 내의 사용자 정의 비디오 클립일 수 있다. 비디오 또는 비디오 클립의 각 이미지 처리 절차에 대해서는 예 1의 처리 방법을 참조한다.

구체적으로, 비디오 촬영을 위한 이미지 처리 방법은 다음과 같은 단계를 포함할 수 있다.

단계 31: N 개의 촬영된 이미지를 획득하며, 여기서 N은 양의 정수이다. N 개의 이미지가 인접한 비디오 프레임일 수 있고, N 개의 이미지의 합이 비디오로 이해될 수 있는 각 이미지에 대해 단계 32 및 33의 동작을 수행한다. 대안으로, N 개의 이미지가 인접하지 않을 수 있다.

단계 32의 선택적 구현은 단계 22의 구현과 동일할 수 있다.

단계 33의 선택적 구현은 단계 23의 구현과 동일할 수 있다.

보충적으로, 비디오는 연속적인 이미지를 포함하기 때문에 개인을 결정하는 방식도 시간 순서와 관련이 있다. 따라서, 단계 23에 추가하여, 단계 33에서 더 많은 구현이 있을 수 있다. 선택적으로, S223에서 메인 객체를 결정하는 임의의 방식은 지연을 가질 수 있다. 예를 들어, L1 번째 프레임에서 사람과 배경이 결정되고, 픽셀 마킹 및 마스크 비교를 통해 이미지의 (L1 + 1) 번째 프레임부터 이미지의 (L1 + L0) 번째 프레임까지, 이 이미지의 인물이 메인 객체이고 이 이미지에서 인물에 대응하는 영역이 목표 영역 0임을 결정할 수 있다. 메인 객체와 배경은 각 프레임에 대해 결정될 필요가 없다. 메인 객체가 매번 결정되는 순간은 사용자에 의해 정의될 수 있거나, 메인 객체가 주기적으로, 예를 들어 2 초마다 또는 10 초마다 결정될 수 있다. 매번 메인 객체를 결정하는 방식은 S223의 6 가지 방식을 포함하지만 이에 제한되지 않는다.

단계 34: 색 처리가 수행되는 N 개의 이미지로 구성된 비디오를 저장한다.

본 발명에 따르면, 사용자가 비디오를 레코딩하는 과정에서 단말은 비디오 콘텐츠를 기반으로 대상 개인과 배경을 결정하고 대상 개인과 배경에 대해 서로 다른 색 처리를 수행할 수 있다. 사용자가 촬영한 비디오의 메인 객체가 더욱 눈에 띄고 촬영된 비디오가 영화만큼 멋지고 사용자 경험이 향상된다.

실시예 3

본 발명에서 비디오 레코딩을 위한 이미지 처리 방법은 촬영을 위한 이미지 처리 방법과 유사하며, 촬영에서 처리된 객체는 하나의 이미지이고, 비디오 레코딩에서 처리되는 객체는 연속적인 비디오 프레임, 즉 복수의 연속 이미지라는 차이점이 있다. 따라서 각 이미지의 처리 절차는 예제 1의 처리 방법을 참조한다. 일부 복잡한 비디오 촬영 시나리오에서는 이미지의 일부 영역이 잘못 감지될 수 있다. 인접한 프레임에서 동일한 영역을 대상 또는 배경으로 별도로 마킹하는 경우, 동일한 영역은 전술한 색 처리 방법에 따라 서로 다른 색상으로 처리되며, 인접한 프레임에서 동일한 영역의 색상 변경은 감각적 깜박임을 유발한다. 따라서 처리 중에 깜박임을 확인하고 제거해야 한다. 깜박임은 객체 카테고리 결정 오류로 이해될 수 있다.

비디오 예 결정하는 방법에서, 광 흐름 기반 마스크(optical flow-based mask)를 획득하기 위해 이전 프레임의 마스크를 광 흐름 기반으로 처리할 수 있으며, 광 흐름 기반 마스크와 현재 프레임의 마스크 간의 차이가 비교된다. 일치도(coincidence degree) 또는 유사도(similarity degree)가 특정 비율을 초과하면 플리커가 발생하지 않는 것으로 판정한다. 일치도 또는 유사도가 특정 비율을 초과하지 않는 경우 플리커가 발생한 것으로 판정한다. 또한 플리커 판정은 연속적인 과정임을 이해해야 한다. 선택적으로 깜박임이 있는지를 확인하는 구체적인 방법은 다음과 같다:

(1) 먼저, 인접 프레임의 광학 흐름이 계산되며, 여기서 광학 흐름은 인접 프레임(a(t-1) 번째 프레임과 t 번째 프레임)의 픽셀 간의 변위 관계를 나타낸다.

(2) (t-1) 번째 프레임의 마스크를 획득하고, (t-1) 번째 프레임의 마스크 및 (t-1) 번째 프레임과 t 번째 프레임의 광학 흐름 정보를 기초로 t 번째 프레임의 광학 플로우 마스크 F를 계산하며, 여기서 광학 흐름 마스크는 광학 흐름을 기반으로 한 계산을 통해 얻어진다.

(3) t 번째 프레임의 마스크 S가 획득된다.

(4) 광 플로우 마스크 F에 있어서의 메인 객체의 픽셀 세트 SF를 카운트하고, 마스크 S에 있어서의 메인 객체의 픽셀 세트 SS를 카운트한다. SF와 SS의 유니온 세트와 교차 세트의 픽셀 수량은 각각 Nu와 Ni이다. (Nu-Ni)/Nu가 특정 임계 값보다 크면 인접한 프레임 (t-1) 번째와 t 번째의 마스크 사이에 상대적으로 큰 차이가 있는 것으로 간주하고, (t-1) 번째 프레임과 t 번째 프레임 사이에 플리커가 발생한다고 판정하거나, 또는 t 번째 프레임에서 플리커가 발생하는 것을 이해할 수 있다. 상대적으로 큰 차이는 동일한 개체가 다른 객체 카테고리로 잘못 판정될 수 있음을 나타낸다. 예를 들어, (t-1) 번째 프레임과 t 번째 프레임의 동일한 개체는 사람과 원숭이로 별도로 결정된다.

선택적으로, 현재 이미지의 제1 N0(2보다 큰 양의 정수) 이미지에서, 서로 다른 객체 카테고리로 결정된 동일한 객체를 가진 인접 이미지 그룹의 수량이 미리 설정된 임계 값보다 큰 경우, 현재 프레임에서 깜박임 예외 처리를 수행해야 한다고 결정될 수 있다. 서로 다른 객체 카테고리로 결정된 동일한 객체를 갖는 인접 이미지 그룹의 수가 미리 설정된 임계 값보다 크지 않다고 판정되면 현재 프레임에 대해 플리커 예외 처리를 수행할 필요가 없다고 판정할 수 있다.

선택적으로, 예를 들어, 미리 정해진 수량의 히스토리 인접 프레임(historical adjacent frames) 또는 미리 정해진 수량의 히스토리 프레임(historical frames)에 대해, 프레임의 절반 이상에서 플리커가 발생하는 것으로 결정되면(예를 들어, 현재 비디오 프레임의 처음 5 개의 인접 프레임 중 3 개의 비디오 프레임에서 플리커가 발생하는 것으로 결정되면), 현재 프레임에 대해 플리커 예외 처리가 수행되어야 한다고 판정될 수 있다. 프레임의 절반 미만에서 플리커가 발생한 것으로 판정되면(예를 들어, 현재 비디오 프레임의 처음 5 개 인접 프레임 중 하나에서 플리커가 발생한 것으로 판정되면), 플리커 예외 처리가 현재 프레임에서 수행할 필요가 없는 것으로 판정할 수 있다.

현재 비디오 이미지는 현재 레코딩 중인 이미지로 이해될 수 있음을 이해해야 한다. 여기에서의 순간은 일부 시나리오에서는 일반적인 순간으로 이해될 수 있고, 일부 시나리오에서는 특정 순간, 예를 들어 사용자가 관심을 갖는 최신 순간 또는 순간으로 이해될 수 있다.

구체적으로, 이 예에서 비디오 촬영을 위한 이미지 처리 방법은 다음 단계를 포함할 수 있다.

단계 41: N은 양의 정수인 N 개의 촬영된 이미지를 획득하고; 각각의 이미지에 대해 단계 32 및 단계 33의 동작을 수행하고, 여기서 N 개의 이미지는 인접한 비디오 프레임일 수 있고, N 개의 이미지의 합은 비디오로 이해될 수 있거나; 또는 N 개의 이미지가 인접하지 않을 수 있다.

단계 42: 현재 프레임(현재 이미지)의 제1 N0 프레임에서 플리커가 발생하는 인접 이미지 그룹의 수가 미리 설정된 임계 값보다 큰지를 결정한다. 여기서, N0 및 임계 값은 사용자에 의해 설정될 수 있다. 예를 들어, N0는 선택된 양의 히스토리 비디오 프레임 샘플이고, 임계 값은 N0의 1/2, 2/3 등일 수 있다. 이것은 단지 예일 뿐이며 제한되지 않는다.

판정 결과가 미리 설정된 임계 값보다 크지 않은 경우, 현재 촬영되거나 촬영된 이미지에 대해 단계 42 및 단계 43의 동작이 수행된다.

단계 43의 선택적 구현은 단계 32의 구현과 동일할 수 있다.

단계 44의 선택적 구현은 단계 33의 구현과 동일할 수 있다.

판정 결과가 미리 설정된 임계 값보다 크면 현재 촬영되거나 촬영된 이미지에 대해 단계 44의 동작을 수행한다.

단계 45: 목표 이미지를 획득하기 위해 동일한 색 처리 방법을 사용하여 현재 프레임의 모든 이미지 영역을 처리한다. 동일한 색 처리 방법은 이전 프레임의 배경 영역의 색 처리 방법과 동일할 수 있거나, 이전 프레임의 목표 영역의 색 처리 방법과 동일할 수 있거나, 이전 프레임의 전체 이미지의 색 처리 방법과 동일할 수 있다. 예를 들어, 단계 33(23)에서 배경 영역에 대한 것과 동일한 색 처리 방법이 전체 이미지에 대해 사용될 수 있다. 대안으로, 단계 33(23)의 목표 영역과 동일한 색 처리 방법을 전체 이미지에 사용할 수 있다. 예를 들어, 전체 이미지가 컬러풀하게 유지되거나 전체 이미지가 흑백이거나, 제1 또는 제2 색 처리 모드(예 1의 색 처리 모드를 포함하나 이에 제한되지 않음)가 전체 이미지에 사용된다.

이 경우 현재 프레임에 대해서 단계 22와 유사한 마스크 세그멘테이션 절차가 존재하거나 생략될 수 있다. 이것은 이 예에서 제한되지 않는다.

단계 45 이후, 색 처리가 수행된 N 개의 이미지로 구성된 비디오를 저장하는 단계 46이 수행된다. N은 양의 정수이다.

본 발명에 따르면, 사용자가 비디오를 레코딩하는 과정에서 단말은 비디오 콘텐츠를 기반으로 대상 개인과 배경을 결정하고 대상 개인과 배경에 대해 서로 다른 색 처리를 수행할 수 있으므로, 사용자가 촬영한 비디오의 메인 객체가 더욱 눈에 띄고 촬영된 비디오가 영화만큼 멋지고 사용자 경험이 향상된다.

실시예 4

일부 애플리케이션 시나리오에서, 사용자가 촬영한 이미지의 콘텐츠는 일반적으로 변경된다. 따라서 이미지의 주요 개체는 일반적으로 변경된다. 사용자는 또한 비디오 스타일을 독립적으로 제어하기 위해 서로 다른 이미지에서 기본 개체의 색 처리 모드를 자유롭게 선택할 수 있기를 기대한다.

비디오 촬영 과정에서 이미지 처리 방법은 다음 단계를 포함할 수 있다.

단계 51: 단말이 비디오 프레임을 획득한다.

단계 52: 단말은 비디오로부터 획득된 임의의 비디오 프레임에서 메인 객체 영역 및 배경 영역을 결정한다.

단계 53: 단말은 메인 객체 영역에 대해 언제든지 임의의 색 처리 모드를 사용하고 배경 영역에 대해 임의의 색 처리 모드를 사용한다. 그러나 모든 이미지에 대해, 색 처리 후 메인 객체 영역의 휘도 또는 색차가 색 처리 후 배경 영역의 휘도 또는 색차보다 큰지 확인해야 한다. 대안으로, 임의의 이미지에 대해, 메인 객체 영역에 사용되는 색 처리 모드에서 획득된 이미지의 색차 또는 휘도가 배경 영역에 사용되는 색 처리 모드에서 획득된 이미지의 색차 또는 휘도보다 크다.

실시예 5

일부 애플리케이션 시나리오에서, 사용자가 촬영한 이미지의 콘텐츠는 일반적으로 변경된다. 따라서 이미지의 주요 개체는 일반적으로 변경된다. 사용자는 또한 비디오 스타일을 독립적으로 제어하기 위해 서로 다른 이미지에서 기본 개체의 색 처리 모드를 자유롭게 선택할 수 있기를 기대한다. 특히 시간에 따라 색상이 변한다.

단계 61: 제1 기간에 N1 개의 이미지를 캡처하고 제2 기간에 N2 개의 이미지를 캡처하며, 여기서 제1 기간과 제2 기간은 인접한 기간이고 N1과 N2는 모두 양의 정수이며, 제1 기간과 제2 기간은 사용자가 육안으로 영상 변화를 확인할 수 있는 시간이며, N1과 N2는 비디오 레코딩 중 프레임 속도와 시간 기간에 의해 결정된다. 이것은 본 발명에서 제한되지 않는다.

단계 62: N1 개의 이미지 각각에서 제1 목표 영역 및 제1 배경 영역을 결정하며 - 여기서 제1 배경 영역은 제1 목표 영역 이외의 이미지 영역이고, 각각의 제1 목표 영역은 N1 개의 이미지는 제1 객체(적어도 하나의 객체를 포함할 수 있음)에 대응함 - ; 그리고 N2 개의 이미지 각각에서 제2 목표 영역 및 제2 배경 영역을 결정하고, 여기서 제2 배경 영역은 제2 목표 영역 이외의 이미지의 영역이고, N2 개의 이미지 각각의 제2 목표 영역은 제2 객체(적어도 하나의 객체를 포함할 수 있음)에 대응한다.

단계 63: 제1 색 처리 모드에서 제1 목표 영역을 처리하고, 제2 색 처리 모드에서 제1 배경 영역을 처리하고, 제3 색 처리 모드에서 제2 목표 영역을 처리하고, 제4 색 처리 모드에서 제2 배경 영역을 처리하여 목표 비디오를 획득하며, 여기서 목표 비디오에서, 제1 목표 영역의 색차가 제1 배경 영역의 색차보다 크거나, 제1 목표 영역의 휘도가 제1 배경 영역의 휘도보다 크며; 제2 목표 영역의 색차가 제2 배경 영역의 색차보다 크거나, 제2 목표 영역의 휘도가 제2 배경 영역의 휘도보다 크다.

실시예 6

일부 애플리케이션 시나리오에서, 사용자가 촬영한 이미지의 콘텐츠는 일반적으로 변경된다. 따라서 이미지의 주요 개체는 일반적으로 변경된다. 사용자는 또한 사용자가 다른 이미지에서 강조 표시할 대상 메인 객체를 자유롭게 선택할 수 있기를 기대한다. 예를 들어, 제1 객체에 대응하는 이미지 영역이 제1 기간에 목표 영역으로 결정되고, 제2 객체에 대응하는 이미지 영역이 제2 기간에 목표 영역으로 결정되고, 제1 객체와 제2 객체가 개체는 다른 객체, 개체 또는 객체 카테고리이다.

이 시나리오에서, 비디오 촬영 과정에서의 이미지 처리 방법은 다음 단계를 포함할 수 있다.

단계 71의 선택적 구현은 단계 61의 구현과 동일할 수 있다.

단계 72: 이미지 콘텐츠에 기초하여 N1 개의 이미지 중 어느 하나에서 제1 목표 영역 및 제1 배경 영역을 결정하고, 이미지 콘텐츠에 기초하여 N2 개의 이미지 중 어느 하나에서 제2 목표 영역 및 제2 배경 영역을 결정하며 - 여기서, 제2 목표 영역에 대응하는 객체 또는 객체 카테고리는 제1 목표 영역에 대응하는 객체 또는 객체 카테고리와 다르므로, 시스템과 사용자가 독립적으로 대상 메인 객체와 영상의 목표 영역을 선택할 수 있다. 이미지는 메인 객체와 배경을 포함하며, 이에 대응하여 이미지는 목표 영역과 배경 영역을 포함한다.

예를 들어, 제1 객체는 사람이고 제2 객체는 동물이다. 예를 들어, 제1 개체는 사람 A이고 제2 개체는 사람 B이다. 예를 들어 제1 개체는 두 사람이고 제2 개체는 개와 고양이 두 마리이다. 식별되지 않은 나머지 영역은 배경으로 표시된다.

이 방법에서는 S221 및 S222에서 전술한 방법을 사용하여 이미지 마스크를 결정할 수 있다. 그렇지만, 후속 방법은 각 이미지에 대한 마스크에서 목표 객체를 결정하는 것으로 제한되지 않는다.

선택적으로, 이미지 마스크에서, 사용자는 제1 객체 및 제2 객체를 자유롭게 입력할 수 있으며, 제1 객체 및 제2 객체는 사용자가 입력한 선택 지시에 따라 결정된다. 예를 들어, 사용자가 개인을 선택하면 시스템은 사용자가 입력한 명령에 대응하는 픽셀을 식별하고, 사용자가 선택한 특정(/일부) 개체(/개체들)(/적어도 하나의 개체일 수 있음) 또는 특정(/일부) 객체 카테고리(/객체 카테고리)(/적어도 하나의 객체 카테고리일 수 있음)를 추가로 식별하고, 특정(/일부) 객체 카테고리(/객체 카테고리)의 특정(/일부) 객체(/개체) 또는 모든 개체를 제1 객체로 추가로 판정하고, 제1 객체 또는 제1 객체에 대응하는 이미지 영역을 제1 목표 영역으로 판정한다. 이 상황은 일정 기간 동안 유지될 수 있다. 다시 말해, 이후의 여러 프레임에서 사용자가 다음 순간에 다른 개인을 선택할 때까지 제1 객체에 대응하는 마스크에 대응하는 영역이 제1 목표 영역이고, 새로운 개인에 대응하는 영역이 상기 방법과 유사한 방법에 따라 제2 목표 영역으로 결정된다. 이미지에서 제1 목표 영역 또는 제2 목표 영역 이외의 영상 영역이 배경 영역이다. 구체적으로, 제1 기간에서 제1 객체에 대응하는 마스크에 대응하는 영역이 제1 목표 영역이고, 제2 기간에서 제2 객체에 대응하는 마스크에 대응하는 영역이 제2 목표 영역이다.

선택적으로, 이미지 마스크에서, 시스템은 미리 설정된 시간 간격(예를 들어, 1 초 또는 2 초이되 이에 제한되지 않음) 또는 미리 설정된 수량의 프레임(예를 들어, 50 프레임 또는 100 프레임이되 이에 제한되지 않음)에 기초하여 이미지 마스크의 시간 간격에 이미지의 목표 마스크를 결정할 수 있다. 예를 들어, 101 번째 프레임에서 제1 목표 마스크가 결정되고, 201번째 프레임에서 제2 목표 마스크가 결정될 때까지 201 번째 프레임에서 제1 목표 마스크와 동일한 객체 카테고리 또는 개인을 갖는 마스크가 다음 102 프레임에서 200 프레임까지의 각 프레임에 대한 제1 목표 마스크로 사용된다. 다음 202 프레임 내지 200 프레임 각각에 대해, 201 번째 프레임의 제2 목표 마스크와 동일한 객체 카테고리 또는 개체를 갖는 마스크가 제2 목표 마스크로 사용된다. 전술한 예의 번호는 사용자 또는 시스템에 의해 미리 정의될 수 있음을 이해해야 한다. 구체적으로, 목표 마스크는 순간적으로 결정되며, 이 유형의 마스크 또는 이 개인의 마스크는 일정 기간 동안 지속적으로 사용된다.

첫 번째로 순위가 매겨진 제1 목표 마스크와 첫 번째로 순위가 매겨진 제2 목표 마스크를 결정하는 방법에 대해서는, 단계 S223에서 6 가지 방식 중 어느 하나를 참조하되 이에 제한되지 않는다. 따라서, 제1 목표 마스크 및 제2 목표 마스크는 동일한 객체 카테고리 또는 동일한 개인일 수 있거나, 상이한 객체 카테고리 또는 상이한 개인일 수 있다. 이것은 네트워크의 식별 능력, 장면 이미지 변경 또는 사용자 입력 명령과 관련이 있다.

또한, S224의 방법에 따라 제1 목표 영역, 제1 배경 영역, 제2 목표 영역 및 제2 배경 영역을 더 결정한다. 이 예에서는 자세한 내용을 설명하지 않는다.

단계 73의 선택적 구현은 단계 63의 구현과 동일할 수 있다.

또한, 이 예는 시간에 따라 달라질 수 있기 때문에, 색 처리 방법의 조합이 복수일 수 있다.

예를 들어, 제1 색 처리 모드는 제3 색 처리 모드와 동일하고, 제2 색 처리 모드는 제4 색 처리 모드와 동일하다. 이 색 처리 모드는 일관성이 좋다.

예를 들어, 제1 색 처리 모드는 제3 색 처리 모드와 동일하고, 제2 색 처리 모드는 제4 색 처리 모드와 다르다. 이 색 처리 모드에서는 목표 메인 객체의 색상이 일관되고 배경 색상이 변경되어 전체적인 시각적 효과가 더욱 눈부시다.

예를 들어, 제1 색 처리 모드는 제3 색 처리 모드와 다르고, 제2 색 처리 모드는 제4 색 처리 모드와 동일하다. 이 색 처리 모드에서는 배경색이 일관되고 대상 메인 객체의 색상이 변경되어 대상 메인 객체가 더 두드러진다.

예를 들어, 제1 색 처리 모드는 제3 색 처리 모드와 다르고, 제2 색 처리 모드는 제4 색 처리 모드와 다르다. 이 색 처리 모드에서는 더 많은 색상 변환 방식을 제공할 수 있으며 다양한 시나리오의 요구 사항에 따라 더 많은 색상 협력을 제공할 수 있다.

제1 색 처리 모드 또는 제3 색 처리 모드는 예를 들어 색 유지 또는 색 향상과 같은 필터를 포함한다. 제2 색 처리 모드 또는 제4 색 처리 모드는 흑백 필터, 어둡게 필터, 레트로 필터, 필름 필터, 블러링 필터, 보케 필터와 같은 필터를 포함한다.

구체적으로, 동일한 이미지의 목표 영역 및 배경 영역에 대한 색 처리 방법은 단계 23을 참조한다. N2 개의 이미지의 경우, 제3 색 처리 모드 및 제4 색 처리 모드는 각각 제1 색 처리 모드 및 제2 색 처리 모드와 유사하다.

전술한 솔루션에 따르면, 일부 시나리오에서 사용자는 서로 다른 배경을 강조하기 위해 서로 다른 이미지에서 배경의 색 처리 모드를 자유롭게 선택할 수 있다. 일부 시나리오에서, 사용자는 다른 각도 또는 형태로 메인 객체를 강조하기 위해 다른 이미지에서 메인 객체의 색 처리 모드를 자유롭게 선택할 수 있다.

본 발명의 상이한 예에서, 동일한 라벨에 의해 표시된 신호는 상이한 소스를 가질 수 있거나 상이한 방식으로 획득될 수 있음을 이해해야 한다. 이것은 제한을 구성하지 않는다. 또한 다른 예의 단계 참조에서 "단계 xx와 동일"은 두 단계의 신호 처리 로직이 유사하다는 점에 더 중점을 둔다. 이것은 두 단계의 입력과 출력이 완전히 동일해야 하고 두 방법 절차가 완전히 동일해야 한다는 점에 국한되지 않는다. 당업자에 의해 야기될 수 있는 적절한 인용 및 변형은 본 발명의 보호 범위 내에 속한다.

본 발명은 이미지 처리 방법을 제공한다. 영상에 마스크 분할을 수행하여 영상에서 목표 영역과 배경 영역을 결정한다. 목표 영역과 배경 영역에 서로 다른 색 처리 모드가 적용되어 목표 영역의 휘도가 배경 영역의 휘도보다 크거나 목표 영역의 색차가 배경 영역 및 메인 객체의 색차보다 크도록 한다. 목표 영역에 대응하는 부분이 더 두드러지게 강조된다. 이것은 영화 특수 효과를 구현한다.

전술한 실시예에서 제공된 이미지 처리 방법에 기초하여, 본 발명의 실시예는 이미지 처리 장치(900)를 제공한다. 이 장치는 복수의 단말 장치에서 사용될 수 있으며, 단말(100), 예를 들어, 비디오 촬영 기능이 있는 단말의 임의의 구현 형태일 수 있다. 도 9를 참조하면, 장치는:

촬영 또는 비디오 촬영일 수 있는 이미지를 획득하도록 구성된 포토그래핑 모듈(901) - 여기서 상기 모듈은 전술한 예의 단계 21, 단계 31, 단계 51, 단계 61 또는 단계 71의 방법, 상기 방법과 동일할 수 있는 방법을 수행하도록 구체적으로 구성되어 있으며, 상기 모듈은 이미지를 캡처하기 위해 카메라를 제어하기 위해 메모리에서 대응하는 프로그램 명령을 호출함으로써 프로세서에 의해 구현될 수 있음 - ;

이미지 콘텐츠에 기초하여 이미지의 목표 영역 및 배경 영역을 결정하도록 구성된 결정 모듈(902) - 여기서 모듈은 구체적으로 전술한 예에서의 단계 22, 단계 32, 단계 52, 단계 62 또는 단계 72의 방법 및 방법과 동일할 수 있는 방법을 수행하도록 구성되고, 모듈은 해당 알고리즘을 구현하기 위해 메모리에서 해당 프로그램 명령을 호출함으로써 프로세서에 의해 구현될 수 있음 - ; 및

목표 영역의 색차가 배경 영역의 색차보다 크고 또는 목표 영역의 휘도가 배경 영역의 휘도보다 크도록 목표 이미지 또는 목표 비디오를 획득하기 위해 이미지의 목표 영역 및 배경 영역에 대해 상이한 색 처리 모드를 사용하도록 구성되어 있는 색 처리 모듈(903) - 여기서 모듈은 전술한 예의 단계 23, 단계 33, 단계 53, 63 단계 또는 단계 73의 방법 및 이 방법과 동일할 수 있는 방법을 수행하도록 특별히 구성되어 있으며, 모듈은 특정 알고리즘을 사용하여 메모리에서 해당 프로그램 명령을 호출하여 프로세서에 의해 구현될 수 있음 -

을 포함한다.

또한, 장치는 색 처리가 수행되는 이미지 또는 비디오를 저장하도록 구성된 저장 모듈(904)을 더 포함할 수 있다.

전술한 특정 방법 예, 실시예에서의 기술적 특징의 설명 및 설명, 및 복수의 구현 형태의 확장은 또한 장치에서의 방법 실행에 적용될 수 있으며, 자세한 내용은 장치 실시예에서 설명되지 않는다.

본 발명은 이미지 처리 장치를 제공한다. 영상에 대해 마스크 분할을 수행하여 영상 내용에 따라 영상의 목표 영역과 배경 영역을 결정한다. 목표 영역과 배경 영역에 서로 다른 색 처리 모드가 적용되어 목표 영역의 휘도가 배경 영역의 휘도보다 크거나 목표 영역의 색차가 배경 영역 및 메인 객체의 색차보다 크도록 한다. 목표 영역에 대응하는 부분이 더 두드러지게 강조된다. 이것은 영화 특수 효과를 얻는다.

전술한 실시예에서 제공된 이미지 처리 방법에 기초하여, 본 발명의 실시예는 이미지 처리 장치(1000)를 더 제공한다. 장치는 복수의 단말 장치에서 사용될 수 있으며, 단말(100), 예를 들어, 비디오 촬영 기능이 있는 단말의 임의의 구현 형태일 수 있다. 도 10을 참조하면, 장치는:

촬영 또는 비디오 촬영일 수 있는 이미지를 획득하도록 구성된 포토그래핑 모듈(1001) - 여기서 모듈은 전술한 예의 단계 21, 단계 31, 단계 51, 단계 61 또는 단계 71의 방법 및 상기 방법과 동일할 수 있는 방법을 수행하도록 구체적으로 구성되어 있으며, 상기 모듈은 이미지를 캡처하기 위해 카메라를 제어하기 위해 메모리에서 대응하는 프로그램 명령을 호출함으로써 프로세서에 의해 구현될 수 있음 - ;

판정 모듈(1002) - 현재 프레임의 처음 N0 개의 프레임에서 플리커링 프레임의 양이 미리 설정된 임계 값보다 큰지를 판정하고; 결정 결과가 플리커링 프레임의 양이 미리 설정된 임계 값보다 크지 않다는 것이면, 관련 기능을 수행하기 위해 결정 모듈(1003) 및 색 처리 모듈(1004)을 계속 트리거하거나; 또는 결정 결과가 플리커링 프레임의 양이 미리 설정된 임계 값보다 크다는 것이면, 플리커 제거 모듈(1005)을 계속 트리거하여 관련 기능을 수행하도록 구성되어 있으며; 모듈(1002)은 전술한 예의 단계 42의 방법 및 방법과 동등할 수 있는 방법을 수행하도록 구체적으로 구성되며, 모듈은 해당 알고리즘을 수행하기 위해 메모리에서 대응하는 프로그램 명령을 호출하여 프로세서에 의해 구현될 수 있음 - ;

결정 모듈(1003) - 판정 모듈(1002)이 현재 프레임의 제1 N0 프레임에서 깜박이는 프레임의 양이 미리 설정된 임계 값보다 크지 않다고 결정하면, 이미지 콘텐츠를 기반으로 이미지의 목표 영역 및 배경 영역을 결정하도록 구성되어 있으며, 여기서 모듈은 전술한 예의 단계 22, 단계 32, 단계 43, 단계 52, 단계 62 또는 단계 72의 방법 및 이 방법과 동일할 수 있는 방법을 수행하도록 구체적으로 구성되어 있으며, 모듈은 대응하는 알고리즘을 구현하기 위해 메모리에서 대응하는 프로그램 명령을 호출함으로써 프로세서에 의해 구현될 수 있음 - ;

목표 영역의 색차가 배경 영역의 색차보다 크거나 목표 영역의 휘도가 배경 영역의 휘도보다 크도록 이미지의 목표 영역과 배경 영역에 대해 서로 다른 색 처리 모드를 사용하도록 구성되어 있는 색 처리 모듈(1004) - 여기서 모듈은 전술한 예의 단계 23, 단계 33, 단계 44, 단계 53, 단계 63 또는 단계 73의 방법 및 그 방법과 동일할 수 있는 방법을 수행하도록 구체적으로 구성되어 있으며, 모듈은 특정 알고리즘을 사용하여 메모리에서 대응하는 프로그램 명령을 호출함으로써 프로세서에 의해 구현될 수 있음 - ; 및

플리커 제거 모듈(flicker elimination module)(1005) - 판정 모듈(1002)이 현재 프레임의 처음 N0 개 프레임에서 플리커링 프레임의 양이 미리 설정된 임계 값보다 크다고 결정하면 현재 프레임의 모든 이미지 영역에 대해 동일한 색 처리 방법을 사용하도록 구성되어 있으며, 여기서 동일한 색 처리 방법은 이전 프레임의 배경 영역의 색 처리 방법과 동일할 수 있거나, 이전 프레임의 목표 영역의 색 처리 방법과 동일할 수 있고, 모듈은 전술한 예의 단계 45의 방법 및 방법과 동일할 수 있는 방법을 수행하도록 구체적으로 구성되며, 모듈은 특정 알고리즘을 사용하여 메모리에서 해당 프로그램 명령을 호출하여 프로세서에 의해 구현될 수 있음 -

을 포함한다.

또한, 장치(1000)는 색 처리가 수행된 이미지 또는 비디오를 저장하도록 구성된 저장 모듈(1006)을 더 포함할 수 있다.

본 발명은 이미지 처리 장치를 제공한다. 이미지에 대해 마스크 세그멘테이션이 수행되므로 이미지 콘텐츠를 기반으로 이미지의 목표 영역과 배경 영역이 결정된다. 목표 영역과 배경 영역에 서로 다른 색 처리 모드가 적용되어 목표 영역의 휘도가 배경 영역의 휘도보다 크거나 목표 영역의 색차가 배경 영역의 색차보다 커지며, 목표 영역에 대응하는 메인 객체가 더 눈에 띄게 강조된다. 이것은 영화 특수 효과를 구현한다.

전술한 장치에서 모듈로의 분할은 단지 논리적 기능 분할이라는 것을 이해해야 한다. 실제 구현에서 모듈의 일부 또는 전부는 하나의 물리적 엔티티로 통합되거나 물리적으로 분리될 수 있다. 예를 들어, 전술한 모듈들 각각은 별도의 프로세서 요소일 수 있거나, 단말의 칩에 통합될 수 있거나, 프로그램 코드 형태로 컨트롤러의 저장 요소에 저장될 수 있다. 프로세서의 프로세서 요소는 전술한 각 모듈의 기능을 호출하고 실행한다. 또한 모듈은 통합되거나 독립적으로 구현될 수 있다. 본 명세서의 프로세서 요소는 집적 회로 칩일 수 있고 신호 처리 능력을 갖는다. 구현 프로세스에서, 전술한 방법 또는 전술한 모듈의 단계는 프로세서 요소의 하드웨어 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령을 사용하여 구현될 수 있다. 프로세서 요소는 범용 프로세서, 예를 들어 중앙 처리 장치(central processing unit, CPU로 약칭)일 수 있거나, 전술한 방법을 구현하도록 구성된 하나 이상의 집적 회로일 수 있으며, 예를 들어, 하나 이상의 주문형 집적 회로(application-specific integrated circuit, ASIC로 약칭), 하나 이상의 마이크로프로세서(digital signal processor, DSP로 약칭), 또는 하나 이상의 필드 프로그래밍 가능 게이트 어레이(field-programmable gate array, FPGA로 약칭)일 수 있다.

본 발명의 명세서, 청구 범위 및 첨부된 도면에서 "제1", "제2" 등의 용어는 유사한 대상을 구별하기 위한 것이지만 반드시 특정 순서 또는 시퀀스를 나타내는 것은 아님을 이해해야 한다. 그러한 방식으로 명명된 데이터는 적절한 상황에서 상호 교환될 수 있으므로, 여기에 설명된 실시예는 여기에 설명되거나 설명된 순서와 다른 순서로 구현될 수 있음을 이해해야 한다. 또한, 용어 "포함하다", "구비하다" 및 기타 변형은 비 배타적 포함을 포함하는 것을 의미한다. 예를 들어 단계 또는 모듈 목록을 포함하는 프로세스, 방법, 시스템, 제품 또는 장치가 반드시 필요한 것은 아니다. 명시적으로 나열된 단계 또는 모듈로 제한되지만 명시적으로 나열되지 않거나 그러한 프로세스, 방법, 제품 또는 장치에 고유하지 않은 다른 단계 또는 모듈을 포함할 수 있다.

당업자는 본 발명의 실시예가 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해해야 한다. 따라서, 본 발명은 하드웨어 온리 실시예, 소프트웨어 온리 실시예 또는 소프트웨어와 하드웨어가 결합된 실시예의 형태를 사용할 수 있다. 또한, 본 발명은 컴퓨터에서 사용할 수 있는 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용 가능 저장 매체(디스크 메모리, CD-ROM, 광학 메모리 등을 포함하지만 이에 제한되지 않음)에서 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.

본 발명은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 컴퓨터 프로그램 명령은 흐름도 및/또는 블록도의 각 프로세스 및/또는 각 블록과 흐름도 및/또는 블록도의 프로세스 및/또는 블록의 조합을 구현하는 데 사용될 수 있음을 이해해야 한다. 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터, 임베디드 프로세서 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 컴퓨터 또는 프로세서에 의해 실행될 수 있다. 다른 프로그램 가능한 데이터 처리 장치는 흐름도의 하나 이상의 프로세스 및/또는 블록도의 하나 이상의 블록에서 특정 기능을 구현하기 위한 장치를 생성한다.

이러한 컴퓨터 프로그램 명령은 특정 방식으로 작동하도록 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치에 지시할 수 있는 컴퓨터 판독 가능 메모리에 저장될 수 있으므로, 컴퓨터 판독 가능 메모리에 저장된 명령은 지시 장치를 포함하는 아티팩트를 생성한다. 명령 장치는 흐름도의 하나 이상의 프로세스 및/또는 블록도의 하나 이상의 블록에서 특정 기능을 구현한다.

이러한 컴퓨터 프로그램 명령은 대안으로 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치에 로드되어 일련의 작업 및 단계가 컴퓨터 또는 다른 프로그램 가능한 장치에서 수행되어 컴퓨터 구현 처리를 생성할 수 있다. 따라서, 컴퓨터 또는 다른 프로그램 가능 장치에서 실행되는 명령어는 흐름도의 하나 이상의 프로세스 및/또는 블록 다이어그램의 하나 이상의 블록에서 특정 기능을 구현하기 위한 단계를 제공한다.

본 발명의 일부 실시예가 설명되었지만, 당업자는 기본적인 발명 개념을 배우면 이들 실시예를 변경 및 수정할 수 있다. 따라서, 첨부된 청구 범위는 나열된 실시예 및 본 발명의 범위 내에 속하는 모든 변경 및 수정을 포함하는 것으로 해석되도록 의도된다. 당연히, 당업자는 본 발명의 실시예의 사상 및 범위를 벗어나지 않고 본 발명의 실시예에 대해 다양한 수정 및 변경을 할 수 있다. 본 발명은 다음의 청구 범위 및 그와 동등한 기술에 의해 정의된 보호 범위 내에 있는 경우 이러한 수정 및 변경을 포함하도록 의도된다.

Claims

이미지 처리 방법으로서, 상기 이미지 처리 방법은:
제1 기간에 N1 개의 이미지를 캡처하는 단계;
제2 기간에 N2 개의 이미지를 캡처하는 단계 - 상기 제1 기간 및 상기 제2 기간은 인접한 기간이고, N1 및 N2는 모두 양의 정수이고, 상기 N1 개의 이미지 및 상기 N2 개의 이미지는 비디오를 형성함 - ;
상기 N1 개의 이미지 각각으로부터 제1 목표 영역 및 제1 배경 영역을 결정하는 단계 - 상기 제1 배경 영역은 상기 제1 목표 영역 이외의 이미지의 영역이고, 상기 N1 개의 이미지 각각의 상기 제1 목표 영역은 제1 목표 객체에 대응함 - ;
상기 N2 개의 이미지 각각으로부터 제2 목표 영역 및 제2 배경 영역을 결정하는 단계 - 상기 제2 배경 영역은 제2 목표 영역 이외의 이미지의 영역이고, 상기 N2 개의 이미지 각각의 제2 목표 영역은 제2 목표 객체에 대응함 - ; 및
상기 제1 목표 영역을 제1 색 처리 모드에서 처리하고, 상기 제1 배경 영역을 제2 색 처리 모드에서 처리하고, 상기 제2 목표 영역을 제3 색 처리 모드에서 처리하고, 상기 제2 배경 영역을 제4 색 처리 모드에서 처리하여, 목표 비디오를 획득하는 단계 - 상기 제1 색 처리 모드 또는 상기 제3 색 처리 모드는 컬러 유지 또는 컬러 향상을 포함하고, 상기 제2 색 처리 모드 또는 상기 제4 색 처리 모드는 흑백, 어둡게, 블러링 또는 레트로 모드를 포함함 -
를 포함하는 이미지 처리 방법.
제1항에 있어서,
상기 제1 객체와 상기 제2 객체는 동일한 객체인, 이미지 처리 방법.
제1항에 있어서,
상기 제1 객체와 상기 제2 객체는 서로 다른 객체인, 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 동일하고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 동일한, 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 동일하고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 다른, 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 다르고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 동일한, 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 다르고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 다른, 이미지 처리 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 객체 또는 상기 제2 객체는 객체 카테고리(예를 들어, 사람, 동물 또는 식물)의 적어도 하나의 개체를 포함하는, 이미지 처리 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 객체와 상기 제2 객체는 사용자의 선택 지시에 따라 결정되는, 이미지 처리 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 객체와 상기 제2 객체는 미리 설정된 시간 간격으로 두 이미지의 콘텐츠에 기초하여 단말에 의해 별도로 결정되는, 이미지 처리 방법.
이미지 처리 장치로서, 상기 이미지 처리 장치는:
제1 기간에 N1 개의 이미지를 캡처하고, 제2 기간에 N2 개의 이미지를 캡처하도록 구성되어 있는 포토그래핑 모듈 - 상기 제1 기간 및 상기 제2 기간은 인접한 기간이고, N1 및 N2는 모두 양의 정수이고, 상기 N1 개의 이미지 및 상기 N2 개의 이미지는 비디오를 형성함 - ;
상기 N1 개의 이미지 각각으로부터 제1 목표 영역 및 제1 배경 영역을 결정하고 - 상기 제1 배경 영역은 상기 제1 목표 영역 이외의 이미지의 영역이고, 상기 N1 개의 이미지 각각의 상기 제1 목표 영역은 제1 목표 객체에 대응함 - ; 상기 N2 개의 이미지 각각으로부터 제2 목표 영역 및 제2 배경 영역을 결정하도록 구성되어 있는 결정 모듈 - 상기 제2 배경 영역은 제2 목표 영역 이외의 이미지의 영역이고, 상기 N2 개의 이미지 각각의 제2 목표 영역은 제2 목표 객체에 대응함 - ; 및
상기 제1 목표 영역을 제1 색 처리 모드에서 처리하고, 상기 제1 배경 영역을 제2 색 처리 모드에서 처리하고, 상기 제2 목표 영역을 제3 색 처리 모드에서 처리하고, 상기 제2 배경 영역을 제4 색 처리 모드에서 처리하여, 목표 비디오를 획득하도록 구성되어 있는 색 처리 모듈 - 상기 제1 색 처리 모드 또는 상기 제3 색 처리 모드는 컬러 유지 또는 컬러 향상을 포함하고, 상기 제2 색 처리 모드 또는 상기 제4 색 처리 모드는 흑백, 어둡게, 블러링 또는 레트로 모드를 포함함 -
을 포함하는 이미지 처리 장치.
제11항에 있어서,
상기 제1 객체와 상기 제2 객체는 동일한 객체인, 이미지 처리 장치.
제11항 또는 제12항에 있어서,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 동일하고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 동일하고,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 동일하고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 다르고,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 다르고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 동일하며,
상기 제1 색 처리 모드는 상기 제3 색 처리 모드와 다르고, 상기 제2 색 처리 모드는 상기 제4 색 처리 모드와 다른, 이미지 처리 장치.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 제1 객체 또는 상기 제2 객체는 객체 카테고리(예를 들어, 사람, 동물 또는 식물)의 적어도 하나의 개별적인 것을 포함하는, 이미지 처리 장치.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 제1 객체와 상기 제2 객체는 사용자의 선택 지시에 따라 결정되는, 이미지 처리 장치.
제11항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 객체와 상기 제2 객체는 미리 설정된 시간 간격으로 두 이미지의 콘텐츠에 기초하여 단말에 의해 별도로 결정되는, 이미지 처리 장치.
단말 장치로서,
상기 단말 장치는 카메라, 메모리, 프로세서 및 버스를 포함하고;
상기 카메라, 상기 메모리 및 상기 프로세서는 상기 버스를 통해 연결되고;
상기 카메라는 이미지를 캡처하도록 구성되고;
상기 메모리는 컴퓨터 프로그램 및 명령을 저장하도록 구성되며; 그리고
상기 프로세서는 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하기 위해 상기 메모리에 저장된 상기 컴퓨터 프로그램, 상기 명령 및 상기 캡처된 이미지를 호출하도록 구성되어 있는, 단말 장치.
제17항에 있어서,
상기 단말 장치는 안테나 시스템을 더 포함하고, 상기 안테나 시스템은 상기 프로세서의 제어하에 무선 통신 신호를 수신 및 전송하여 이동 통신 네트워크와의 무선 통신을 구현하며, 상기 이동 통신 네트워크는 다음: GSM 네트워크, CDMA 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, FDMA 네트워크, TDMA 네트워크, PDC 네트워크, TACS 네트워크, AMPS 네트워크, WCDMA 네트워크, TDSCDMA 네트워크, Wi- Fi 네트워크 및 LTE 네트워크 중 하나 이상을 포함하는, 단말 장치..
이미지 처리 방법으로서, 상기 이미지 처리 방법은:
비디오 촬영 시,
비디오 이미지에서 메인 객체를 결정하는 단계; 및
목표 비디오를 획득하기 위해 상기 비디오 이미지의 목표 영역과 배경 영역에 대해 서로 다른 색 처리를 수행하는 단계 - 상기 목표 영역은 상기 메인 객체에 대응하고, 상기 배경 영역은 목표 영역 이외의 비디오 이미지의 영역임 -
를 포함하는 이미지 처리 방법.
제19항에 있어서,
상기 비디오 이미지의 목표 영역과 배경 영역에 대해 서로 다른 색 처리를 수행하는 단계는:
상기 비디오 이미지의 상기 목표 영역의 색을 유지하고 상기 비디오 이미지의 상기 배경 영역에 대해 그레이스케일 처리를 수행하는, 이미지 처리 방법.
제19항 또는 제20항에 있어서,
상기 비디오 이미지의 목표 영역과 배경 영역에 대해 서로 다른 색 처리를 수행하는 단계는:
상기 비디오 이미지의 상기 목표 영역의 색을 유지하고 상기 비디오 이미지의 상기 배경 영역에 블러링 처리(blurring processing)를 수행하는, 이미지 처리 방법.
이미지 처리 장치로서, 상기 이미지 처리 장치는:
비디오를 촬영하도록 구성된 포토그래핑 모듈;
비디오 이미지에서 메인 객체를 결정하도록 구성된 결정 모듈; 및
목표 비디오를 획득하기 위해 상기 비디오 이미지의 목표 영역과 배경 영역에 대해 서로 다른 색 처리를 수행하도록 구성된 색 처리 모듈
을 포함하며,
상기 목표 영역은 상기 메인 객체에 대응하고, 상기 배경 영역은 목표 영역 이외의 비디오 이미지의 영역인, 이미지 처리 장치.
제22항에 있어서,
상기 색 처리 모듈은 구체적으로:
상기 비디오 이미지의 상기 목표 영역의 색을 유지하고 상기 비디오 이미지의 상기 배경 영역에 대해 그레이스케일 처리를 수행하도록 구성되어 있는, 이미지 처리 장치.
제22항 또는 제23항에 있어서,
상기 색 처리 모듈은 구체적으로:
상기 비디오 이미지의 상기 목표 영역의 색을 유지하고 상기 비디오 이미지의 상기 배경 영역에 블러링 처리(blurring processing)를 수행하도록 구성되어 있는, 이미지 처리 장치.
단말 장치로서,
상기 단말 장치는 카메라, 메모리, 프로세서 및 버스를 포함하고;
상기 카메라, 상기 메모리 및 상기 프로세서는 상기 버스를 통해 연결되고;
상기 카메라는 이미지를 캡처하도록 구성되고;
상기 메모리는 컴퓨터 프로그램 및 명령을 저장하도록 구성되며; 그리고
상기 프로세서는 제19항 내지 제21항 중 어느 한 항에 따른 방법을 수행하기 위해 상기 메모리에 저장된 상기 컴퓨터 프로그램, 상기 명령 및 상기 캡처된 이미지를 호출하도록 구성되어 있는, 단말 장치.