KR102306283B1

KR102306283B1 - Image processing method and device

Info

Publication number: KR102306283B1
Application number: KR1020207008874A
Authority: KR
Inventors: 딴 오우양; 궈휘 딴
Original assignee: 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date: 2017-11-30
Filing date: 2018-11-09
Publication date: 2021-09-29
Also published as: EP3499863B1; US20190164256A1; WO2019105206A1; US10825146B2; CN107948520A; JP2020533697A; JP6935587B2; EP3499863A1; KR20200041378A

Abstract

이미지 처리 방법은 다음 동작들을 포함한다. 메인 카메라로 촬영된 n개 프레임들의 제1이미지들을 획득하고, 보조 카메라로 촬영된 보조 이미지를 획득 한 후, 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어 프레임의 메인 이미지가 획득된다. 상기 메인 이미지의 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 추가로 계산된다. 따라서, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 블러링 처리가 수행되어, 요구된 제2이미지를 획득한다.The image processing method includes the following operations. After acquiring the first images of n frames photographed by the main camera and acquiring the auxiliary image photographed by the auxiliary camera, synthesis noise reduction is performed on the first images of the n frames to obtain the main image of the frame is obtained The depth information of the main image is further calculated according to the main image and the auxiliary image. Accordingly, blurring processing is performed on the main image according to the depth information of the main image to obtain a requested second image.

Description

Image processing method and device

본 발명은 이동 단말기들의 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치에 관한 것이다.The present invention relates to the technical field of mobile terminals, and more particularly to an image processing method and apparatus.

종래 기술에서, 이미지에 대한 배경 블러링 처리를 구현하기 위해, 더블(double) 카메라들이 각각 두 사진들을 획득하도록 채택될 수 있다. 상기 두 사진들 중 하나는 이미지 사진으로 판단되고, 상기 이미지화된 사진의 심도 정보는 다른 사진에 따라 계산되며, 블러링 처리는 그에 따라 상기 이미지화된 사진의 배경에 대해 수행된다.In the prior art, in order to implement background blurring processing for an image, double cameras may be employed to acquire two pictures respectively. One of the two pictures is determined as an image picture, the depth information of the imaged picture is calculated according to the other picture, and a blurring process is performed on the background of the imaged picture accordingly.

그러나, 종래 기술에서의 이러한 방식이 어두운 환경에서 채택될 때, 상기 이미지화된 사진의 이미징 효과가 열악하며, 또한, 상기 심도 정보는 그다지 정확하지 않기 때문에, 블러링 처리된 상기 이미지의 효과가 비교적 열악하다.However, when this method in the prior art is adopted in a dark environment, the imaging effect of the imaged picture is poor, and further, since the depth information is not very accurate, the effect of the blurred image is relatively poor. do.

제 1 측면에 따르면, 이미지 처리 방법이 개시된다. 상기 방법은 다음과 같은 동작들을 포함할 수 있다.According to a first aspect, an image processing method is disclosed. The method may include the following operations.

메인 카메라로 촬영된 n개 프레임의 제1이미지가 획득된다. 보조 이미지는 보조 카메라에 의해 획득되며, 여기서 n은 2 이상의 자연수일 수 있다. n개 프레임의 제1이미지들은 프레임의 기본 프레임 이미지를 포함할 수 있고, 보조 카메라로 촬영된 보조 이미지 및 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지는 동시에 촬영될 수 있다.A first image of n frames captured by the main camera is acquired. The auxiliary image is obtained by the auxiliary camera, where n may be a natural number of 2 or more. The first images of the n frames may include a basic frame image of the frame, and the auxiliary image photographed by the auxiliary camera and the basic frame image photographed by the main camera may be photographed simultaneously.

n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어, 프레임의 메인 이미지를 획득한다.Composite noise reduction is performed on the first images of n frames to obtain a main image of the frame.

상기 메인 이미지에 따라 형성된 이미지가 생성되고;an image formed according to the main image is generated;

상기 형성된 이미지의 심도 정보는 상기 보조 이미지에 따라 계산된다.The depth information of the formed image is calculated according to the auxiliary image.

상기 형성된 이미지의 상기 심도 정보에 따라 상기 형성된 이미지에 대해 블러링 처리가 수행되어 요구된 제2이미지를 획득한다.Blur processing is performed on the formed image according to the depth information of the formed image to obtain a requested second image.

제2측면에 따르면, 이미지 처리 장치가 개시된다. 상기 장치는 프로세서 및 명령어들을 저장하는 메모리를 포함할 수 있다. 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1측면에 따른 상기 방법을 수행하게 한다.According to a second aspect, an image processing apparatus is disclosed. The apparatus may include a processor and memory to store instructions. The instructions, when executed by a processor, cause the processor to perform the method according to the first aspect.

제3측면에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체가 개시되며, 프로그램은 프로세서에 의해 실행되어, 상기 제1측면에 따른 이미지 처리 방법을 구현할 수 있다.According to a third aspect, a non-transitory computer-readable storage medium is disclosed, and a program is executed by a processor to implement the image processing method according to the first aspect.

본 발명의 전술한 및/또는 추가적인 측면들 및 장점들은 상기 도면들과 조합하여 이하의 상기 실시 예들에 대한 설명으로부터 명백하고 쉽게 이해하게 될 것이다.
도 1은 본 발명의 일 실시 예에 따른 더블 카메라 기반 이미징 방법의 순서도를 도시한다.
도 2는 삼각 측량 레인징 원리의 개략도를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 더블 카메라 기반 다른 이미징 방법의 순서도를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조도를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 다른 이미지 처리 장치의 구조도를 도시한다.
도 6은 본 발명의 다른 실시 예에 따른 단말 기기의 구조도를 도시한다.
도 7은 일 실시 예에 따른 이미지 처리 회로의 개략도를 도시한다.The foregoing and/or additional aspects and advantages of the present invention will become apparent and readily understood from the following description of the above embodiments in combination with the above drawings.
1 is a flowchart of a double camera-based imaging method according to an embodiment of the present invention.
2 shows a schematic diagram of the triangulation ranging principle.
3 is a flowchart of another imaging method based on a double camera according to an embodiment of the present invention.
4 is a structural diagram of an image processing apparatus according to an embodiment of the present invention.
5 is a structural diagram of another image processing apparatus according to an embodiment of the present invention.
6 is a structural diagram of a terminal device according to another embodiment of the present invention.
7 shows a schematic diagram of an image processing circuit according to an embodiment.

이하, 본 발명의 실시 예들에 대하여 상세하게 설명한다. 본 실시 예들의 예시들이 상기 도면들에 도시되어 있고, 동일하거나 유사한 참조 부호는 항상 동일하거나 유사한 컴포넌트들 혹은 동일하거나 유사한 기능들을 가지는 컴포넌트들을 나타낸다. 상기 도면들을 참조하여 아래에 설명된 실시 예들은 예시적이고, 본 발명을 설명하기 위한 것이며, 본 발명에 대한 제한으로서 이해되어서는 안 된다.Hereinafter, embodiments of the present invention will be described in detail. Examples of the present embodiments are shown in the drawings, and the same or similar reference numerals always indicate the same or similar components or components having the same or similar functions. The embodiments described below with reference to the drawings are illustrative, are for explaining the present invention, and should not be construed as limitations on the present invention.

본 발명의 실시 예의 이미지 처리를 위한 방법 및 장치가 상기 도면들을 참조하여 아래에 설명될 것이다.A method and apparatus for image processing in an embodiment of the present invention will be described below with reference to the drawings.

상기 이미지 처리 방법은 더블 카메라들을 구비한 하드웨어 장치, 예를 들어 모바일 폰, 태블릿 컴퓨터, 개인 휴대용 정보 단말기 및 웨어러블 장치에 의해 실행될 수 있다. 상기 더블 카메라를 구비한 상기 하드웨어 장치는 촬영 모듈(shooting module)을 포함한다. 상기 촬영 모듈은 메인 카메라(main camera)와 보조 카메라(auxiliary camera)를 포함한다. 상기 메인 카메라 및 상기 보조 카메라에는 각각 독립적인 렌즈, 이미지 센서 및 보이스 코일 모터가 제공된다. 상기 더블 카메라들에서 상기 메인 카메라와 보조 카메라는 모두 카메라 커넥터와 연결되어, 상기 보이스 코일 모터들은 상기 카메라 커넥터에 의해 제공하는 전류 값에 따라 구동되고, 상기 메인 카메라와 상기 보조 카메라는 상기 보이스 코일 모터들에 의해 구동되어 상기 렌즈와 상기 이미지 센서 사이의 거리들을 조절하여 포커싱을 구현한다.The image processing method may be executed by a hardware device having double cameras, for example, a mobile phone, a tablet computer, a personal digital assistant, and a wearable device. The hardware device with the double camera includes a shooting module. The photographing module includes a main camera and an auxiliary camera. The main camera and the auxiliary camera are each provided with an independent lens, an image sensor, and a voice coil motor. In the double cameras, both the main camera and the auxiliary camera are connected to a camera connector, the voice coil motors are driven according to a current value provided by the camera connector, and the main camera and the auxiliary camera are the voice coil motors are driven to implement focusing by adjusting the distances between the lens and the image sensor.

가능한 적용 시나리오로서, 상기 보조 카메라의 해상도는 상기 메인 카메라의 해상도보다 낮다. 초점을 맞추는 동안, 상기 보조 카메라만 초점을 맞추기 위해 채택된다. 상기 보조 카메라의 선명한 초점 조종 동안, 상기 보조 카메라의 상기 모터의 제2구동 전류 값을 획득하고, 상기 메인 카메라와 상기 보조 카메라가 동일한 선명한 초점 거리를 가질 때, 상기 메인 카메라의 상기 모터의 제1구동 전류 값이 상기 제2구동 전류 값에 따라 추가로 판단되며, 상기 제1구동 전류 값이 채택되어 초점을 맞추기 위해 상기 메인 카메라를 구동한다. 상기 보조 카메라는 해상도가 비교적 낮고, 이미지 처리 속도가 비교적 높기 때문에, 초점 속도가 증가될 수 있고, 종래 기술에서 더블 카메라의 상대적으로 낮은 초점 속도의 기술적 문제가 해결된다.As a possible application scenario, the resolution of the secondary camera is lower than that of the main camera. During focusing, only the auxiliary camera is employed for focusing. During sharp focus steering of the auxiliary camera, obtain a second driving current value of the motor of the auxiliary camera, and when the main camera and the auxiliary camera have the same sharp focal length, the first of the motor of the main camera A driving current value is further determined according to the second driving current value, and the first driving current value is adopted to drive the main camera to focus. Since the auxiliary camera has a relatively low resolution and a relatively high image processing speed, the focus speed can be increased, and the technical problem of the relatively low focus speed of the double camera in the prior art is solved.

상기 더블 카메라의 특정 구현 프로세스에서, 상이한 카메라들이 선택되고, 상기 더블 카메라에서 상기 메인 카메라 및 보조 카메라로 결합되어 상이한 사용자 요건들을 충족시킬 수 있다.In the specific implementation process of the double camera, different cameras may be selected and combined from the double camera to the main camera and the auxiliary camera to meet different user requirements.

적용 시나리오에서, 비교적 빠른 초점 속도가 필요하다. 그래서, 상기 더블 카메라의 상기 메인 카메라는 구체적으로 일반 카메라이고, 상기 더블 카메라의 상기 보조 카메라는 구체적으로 더블 픽셀(Dual Pixel: PD) 카메라이다. 상기 PD 카메라의 상기 해상도는 상기 일반 카메라보다 낮다. 따라서, 더 높은 초점 속도가 달성된다.In the application scenario, a relatively fast focus speed is required. So, the main camera of the double camera is specifically a general camera, and the auxiliary camera of the double camera is specifically a Dual Pixel (PD) camera. The resolution of the PD camera is lower than that of the general camera. Thus, a higher focus speed is achieved.

상기 PD 카메라의 각 픽셀은 두 유닛들로 구성됨에 유의해야 한다. 상기 두 유닛들은 위상 초점 검출 포인트들(phase focusing detection points)로서 취해지고, 이미징을 위해 픽셀로 또한 결합될 수 있다. 따라서, 전자식 뷰 탐색(electronic view finding) 동안 초점 성능이 크게 향상된다. PD CMOS(Complementary Metal Oxide Semiconductor) 센서 카메라는 특히 CMOS를 센서로 채택한 PD 카메라이며, 원래 단일 렌즈 리플렉스 카메라에 사용된다.It should be noted that each pixel of the PD camera is composed of two units. The two units are taken as phase focusing detection points and can also be combined into a pixel for imaging. Thus, focus performance is greatly improved during electronic view finding. A PD CMOS (Complementary Metal Oxide Semiconductor) sensor camera is a PD camera that specifically adopts CMOS as a sensor, and is originally used in single-lens reflex cameras.

다른 적용 시나리오에서, 비교적 양호한 이미징 효과가 필요하다. 그래서, 광각 카메라(wide-angle camera)와 망원 카메라(telephoto camera)가 상기 더블 카메라들에 결합된다. 상기 메인 및 보조 카메라들은 촬영 요건에 따라 전환(switched)된다. 특히, 근거리 촬영(close shot)의 경우, 상기 광각 카메라가 상기 메인 카메라로 사용되고, 상기 망원 카메라가 상기 보조 카메라로 사용된다. 원거리 촬영(long shot)의 경우, 상기 망원 카메라가 상기 메인 카메라로 사용되고, 상기 광각 카메라가 상기 보조 카메라로 사용된다. 따라서, 광학 줌(optical zooming) 기능이 실현될 뿐만 아니라 이미징 품질(imaging quality) 및 후속 블러링(subsequent blurring) 효과가 보장된다.In other application scenarios, a relatively good imaging effect is required. Thus, a wide-angle camera and a telephoto camera are combined in the double cameras. The main and auxiliary cameras are switched according to shooting requirements. In particular, in the case of a close shot, the wide-angle camera is used as the main camera, and the telephoto camera is used as the auxiliary camera. In the case of a long shot, the telephoto camera is used as the main camera, and the wide-angle camera is used as the auxiliary camera. Accordingly, not only the optical zooming function is realized, but the imaging quality and the subsequent blurring effect are ensured.

상기 더블 카메라의 특정 선택을 위해 많은 다른 가능한 구현 방식들이 또한 채택될 수 있고, 상기 실시 예들에서는 상세히 설명하지 않을 것이다.Many other possible implementation manners may also be adopted for the specific selection of the double camera, which will not be described in detail in the above embodiments.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다.1 is a flowchart of an image processing method according to an embodiment of the present invention.

도 1을 참조하면, 상기 이미지 처리 방법은 다음 동작들을 포함한다.Referring to FIG. 1 , the image processing method includes the following operations.

(101)에서, n개 프레임들의 제1이미지들은 메인 카메라에 의해 획득되고, 보조 이미지는 보조 카메라에 의해 획득된다.At 101, the first images of n frames are acquired by the main camera, and the auxiliary image is acquired by the secondary camera.

n은 2 이상의 자연수인 경우, n개 프레임들의 제1이미지들은 프레임의 기본 프레임 이미지를 포함하고, 상기 보조 카메라로 촬영된 상기 보조 이미지와 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지가 동시에 촬영된다.When n is a natural number equal to or greater than 2, the first images of the n frames include a basic frame image of a frame, and the auxiliary image photographed by the auxiliary camera and the basic frame image photographed by the main camera are simultaneously photographed.

본 실시 예에서, 더블 카메라들의 상기 메인 카메라 및 보조 카메라는 주변 휘도에 따라 미리 판단될 수 있다.In this embodiment, the main camera and the auxiliary camera of the double cameras may be determined in advance according to ambient luminance.

구체적으로, 상기 주변 휘도가 임계 휘도보다 높지 않아 불충분한 조명의 경우, 상기 고-해상도 카메라가 상기 메인 카메라로서 촬영을 위해 채택될 때, 더 많은 노이즈가 발생하여 이미징 효과가 불량해질 수 있다. 따라서, 본 실시 예에서, 충분한 조명의 경우, 상기 고-ISO 카메라를 상기 메인 카메라로 채택하고, 상기 고-해상도 카메라를 상기 보조 카메라로 채택하여 사진을 촬영할 수 있어, 상기 이미지의 노이즈를 줄이고 상기 이미징 효과를 향상시킬 수 있다. 반대로, 상기 주변 휘도가 임계 휘도보다 높아 충분한 조명이 있는 경우, 상기 고-해상도 카메라의 해상도는 상대적으로 높고, 노이즈가 적은 비교적 선명한 이미지가 형성될 수 있어, 본 실시 예에서, 상기 고-해상도 카메라를 상기 메인 카메라로 채택하고, 상기 고-ISO 카메라를 상기 보조 카메라로 채택하여 상기 이미징 효과를 향상시킬 수 있다.Specifically, in the case of insufficient illumination because the ambient luminance is not higher than the threshold luminance, when the high-resolution camera is adopted for shooting as the main camera, more noise may be generated and the imaging effect may be poor. Therefore, in this embodiment, in case of sufficient illumination, it is possible to take pictures by adopting the high-ISO camera as the main camera and the high-resolution camera as the auxiliary camera, thereby reducing the noise of the image and the Imaging effect can be improved. Conversely, when the ambient luminance is higher than the threshold luminance and there is sufficient illumination, the resolution of the high-resolution camera is relatively high, and a relatively clear image with less noise can be formed, in this embodiment, the high-resolution camera may be adopted as the main camera, and the high-ISO camera may be employed as the auxiliary camera to improve the imaging effect.

상기 메인 카메라와 상기 보조 카메라가 판단된 후, 상기 메인 카메라와 상기 보조 카메라는 뷰들을 지속적으로 탐색하고, 상기 메인 카메라와 상기 보조 카메라에 의해 각각 촬영된 이미지들의 다중 프레임들을 획득하기 위해 동시에 촬영되도록 채택될 수 있고, 그래서 연속적으로 촬영되는 n개 프레임들의 샷 이미지들은 상기 메인 카메라로 촬영된 상기 다중 프레임들의 샷 이미지들 중에서 상기 n개 프레임들의 제1이미지들로서 선택될 수 있다. 예를 들면, 연속적으로 촬영된 n개 프레임들의 이미지들은 상기 n개 프레임들의 제1이미지들로 무작위로 선택될 수 있고, 또는 평균 해상도가 가장 높고 연속적으로 촬영되는 n개 프레임들의 샷 이미지들이 상기 n개 프레임들의 제1이미지들로 선택될 수 있다. 이에 대한 제한은 없다.After the main camera and the auxiliary camera are determined, the main camera and the auxiliary camera continuously search for views and are simultaneously photographed to obtain multiple frames of images respectively photographed by the main camera and the auxiliary camera. may be adopted, so that shot images of n frames taken continuously may be selected as first images of the n frames from among the shot images of the multiple frames shot with the main camera. For example, images of n frames taken consecutively may be randomly selected as the first images of the n frames, or shot images of n frames having the highest average resolution and successively taken are the n frames. can be selected as the first images of the dog frames. There are no restrictions on this.

제1이미지들의 상기 n개 프레임들이 획득된 후, 상기 n개 프레임들의 제1이미지들에서 기본 프레임 이미지가 판단될 수 있다. 가능한 구현 모드로서, 상기 이미징 효과를 향상시키기 위해, 상기 n개 프레임들의 제1이미지들에서 가장 높은 해상도의 상기 샷 이미지가 상기 기본 프레임 이미지로 판단될 수 있고, 그래서, 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지와 동시에 촬영된 프레임의 샷 이미지가 상기 보조 카메라로 촬영된 상기 다중 프레임들의 샷 이미지들로부터 상기 보조 이미지로서 선택된다. 상기 보조 카메라로 촬영된 상기 보조 이미지 및 상기 메인 카메라로 촬영된 상기 고-해상도 기본 프레임 이미지가 동시에 촬영되므로, 상기 대응하는 보조 이미지의 도움으로 피사계 심도를 계산하면, 심도 정보 계산 정확도가 향상될 수 있다.After the n frames of the first images are obtained, a basic frame image may be determined from the first images of the n frames. As a possible implementation mode, in order to improve the imaging effect, the shot image of the highest resolution in the first images of the n frames may be determined as the basic frame image, so that the shot image taken with the main camera A shot image of a frame photographed simultaneously with the basic frame image is selected as the auxiliary image from the shot images of the multiple frames photographed by the auxiliary camera. Since the auxiliary image photographed with the auxiliary camera and the high-resolution basic frame image photographed with the main camera are simultaneously photographed, calculating the depth of field with the help of the corresponding auxiliary image can improve the depth information calculation accuracy have.

(102)에서, 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어 프레임의 메인 이미지가 획득된다.In 102, synthesis noise reduction is performed on the first images of the n frames to obtain a main image of the frame.

본 실시 예에서, 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소를 수행하도록 노이즈 감소 알고리즘이 채택되어, 프레임의 메인 이미지를 획득할 수 있다. 여기서, 상기 노이즈 감소 알고리즘은 비 국부 평균 노이즈 감소 알고리즘(non local means noise reduction algorithm)일 수 있고, 다른 노이즈 감소 알고리즘일 수도 있으며, 이는 실시 예에서 제한되지 않을 것이다.In this embodiment, a noise reduction algorithm is adopted to perform synthesis noise reduction on the first images of the n frames, so that the main image of the frame may be obtained. Here, the noise reduction algorithm may be a non local means noise reduction algorithm or another noise reduction algorithm, which will not be limited in the embodiment.

멀티-프레임 통합 노이즈 감소 프로세스(multi-frame integrated noise reduction process)를 편리하고 명확하게 이해하기 위해, 멀티 프레임 통합 노이즈 감소에 대해 간략하게 소개한다.In order to conveniently and clearly understand the multi-frame integrated noise reduction process, we briefly introduce the multi-frame integrated noise reduction process.

주변 조명이 부족한 경우, 일반적으로 이동 단말기와 같은 이미징 기기는 ISO를 자동으로 개선하는 방식을 채택한다. 그러나 상기 ISO를 향상시키는 이와 같은 방식은 이미지에서 더 많은 노이즈를 발생시킨다. 멀티-프레임 통합 노이즈 감소 기능은 상기 이미지의 노이즈 포인트들을 줄이고, 고-ISO 조건에서 촬영된 상기 이미지의 품질을 향상시키기 위한 것이다. 원칙은 노이즈 포인트들이 무작위 순서로 배열된다는 선험적 지식에 있다. 특히, 다중 프레임들의 샷 이미지들이 연속적으로 촬영된 후, 동일한 위치에 나타나는 노이즈 포인트는 레드 노이즈 포인트일 수 있고, 또한 그린 노이즈 포인트 및 화이트 노이즈 포인트일 수 있으며, 심지어 노이즈 포인트가 없어도, 비교 및 스크리닝 조건이 있으며, 노이즈(즉, 노이즈 포인트들)인 픽셀들은 상기 다중 프레임들의 샷 이미지들에서 동일한 위치에 대응하는 각 픽셀의 값에 따라 스크리닝될 수 있다. 더욱이, 상기 노이즈 포인트들이 스크리닝된 후에, 노이즈 포인트 제거 효과를 달성하기 위해 추가 알고리즘에 따라 상기 노이즈 포인트에 대해 컬러 추측(color guessing) 및 픽셀 교체(pixel replacement) 처리가 추가로 수행될 수 있다. 이러한 프로세스에 의해, 이미지 품질 손실이 매우 낮은 정도로 노이즈를 감소시키는 효과가 달성될 수 있다.When the ambient light is insufficient, imaging devices such as mobile terminals generally adopt a method of automatically improving the ISO. However, this way of improving the ISO creates more noise in the image. The multi-frame integrated noise reduction function is to reduce noise points of the image and to improve the quality of the image taken in high-ISO conditions. The principle lies in the a priori knowledge that the noise points are arranged in a random order. In particular, after the shot images of multiple frames are successively taken, the noise point appearing at the same position may be a red noise point, and may also be a green noise point and a white noise point, even without a noise point, the comparison and screening conditions In this case, pixels that are noise (ie, noise points) may be screened according to the value of each pixel corresponding to the same position in the shot images of the multiple frames. Moreover, after the noise points are screened, color guessing and pixel replacement processing may be additionally performed on the noise points according to an additional algorithm to achieve a noise point removal effect. By this process, the effect of reducing noise to a very low degree of image quality loss can be achieved.

예를 들면, 비교적 편리한 멀티-프레임 통합 노이즈 감소 방법으로서, 다중 프레임의 샷 이미지들이 획득된 후, 상기 다중 프레임들의 샷 이미지들에서 동일한 위치에 대응하는 각 픽셀의 값이 판독될 수 있고, 이들 픽셀들의 가중 평균은 합성 이미지에서의 상기 위치에서 상기 픽셀의 값을 생성하도록 계산된다. 이러한 방식으로, 선명한 이미지가 획득될 수 있다.For example, as a relatively convenient multi-frame integrated noise reduction method, after shot images of multiple frames are acquired, the value of each pixel corresponding to the same position in the shot images of the multiple frames may be read, and these pixels A weighted average of the values is calculated to produce the value of the pixel at that location in the composite image. In this way, a clear image can be obtained.

상기 다중 프레임들의 샷 이미지들은 가장 선명한 이미지의 프레임을 포함하며, 기본 프레임으로 판단될 수 있다. 상기 기본 프레임의 경우, 가능한 구현 모드로서, 상기 기본 프레임의 가중치는 상기 다른 샷 이미지들의 가중치들보다 높을 수 있다. 즉, 다른 샷 이미지들을 참조하여 상기 기본 프레임 내의 노이즈 포인트들을 인식 및 제거하는 기능이 실질적으로 실현된다.The shot images of the multiple frames include the frame of the clearest image and may be determined as a basic frame. In the case of the basic frame, as a possible implementation mode, the weight of the basic frame may be higher than the weights of the other shot images. That is, the function of recognizing and removing noise points in the basic frame with reference to other shot images is substantially realized.

(103)에서, 상기 메인 이미지의 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 계산된다.In step 103, the depth information of the main image is calculated according to the main image and the auxiliary image.

특히, 상기 메인 카메라와 보조 카메라 사이에는 일정한 거리가 있고, 그 결과 두 카메라들의 시차(disparity)가 발생하므로, 상이한 카메라들로 촬영한 이미지들은 달라야 한다. 상기 메인 이미지는 상기 메인 카메라로 촬영된 상기 이미지들에 대해 합성 노이즈 감소에 의해 획득되고, 상기 보조 이미지는 상기 보조 카메라로 촬영되므로, 상기 메인 이미지와 상기 보조 이미지 사이에 소정 차이가 있을 수 있다. 삼각 측량 레인징 원리(triangulation ranging principle)에 따르면, 상기 메인 이미지와 상기 보조 이미지에서 동일한 피사체의 심도 정보, 즉, 상기 메인과 보조 카메라들이 위치하는 평면과 상기 피사체 사이의 거리가 계산될 수 있다.In particular, since there is a certain distance between the main camera and the auxiliary camera, and as a result, disparity between the two cameras occurs, images taken by different cameras should be different. Since the main image is obtained by synthetic noise reduction for the images photographed with the main camera, and the auxiliary image is photographed with the auxiliary camera, there may be a predetermined difference between the main image and the auxiliary image. According to the triangulation ranging principle, depth information of the same subject in the main image and the auxiliary image, that is, a distance between a plane in which the main and auxiliary cameras are located and a distance between the subject may be calculated.

상기 프로세스를 명확하게 설명하기 위해, 상기 삼각 측량 레인징 원칙이 아래에 간략하게 소개된다.In order to clearly explain the process, the triangulation ranging principle is briefly introduced below.

실제 시나리오에서, 사진 피사계 심도는 눈으로 해결될 때 주로 양안시(binocular vision)로 해결된다. 이것은 더블 카메라들로 상기 심도를 해결하는 원리와 동일하다. 본 실시 예에서, 상기 제2샷 이미지에 따라 상기 형성된 이미지의 상기 심도 정보를 계산하는 주요 방법은 삼각 측량 레인징 원리이다. 도 2는 삼각 측량 레인징 원리의 개략도이다.In real-world scenarios, photographic depth of field is mainly resolved with binocular vision when resolved with the eye. This is the same principle of solving the depth of field with double cameras. In this embodiment, a main method of calculating the depth information of the formed image according to the second shot image is a triangulation ranging principle. 2 is a schematic diagram of the triangulation ranging principle.

도 2에서, 이미징 피사체(imaging object), 상기 두 카메라들의 위치들(O_R 및 O_T) 및 상기 두 카메라들의 초점면(focal plane)이 실제 공간에 그려지고, 상기 초점면과 상기 두 카메라들이 위치한 상기 평면 사이의 거리는 f이며, 상기 두 카메라들은 상기 초점면의 위치에서 이미징을 수행하여 두 샷 이미지들(two shot images)을 획득한다.In FIG. 2 , an imaging object, the positions _OR and O _{T of} the two cameras and a focal plane of the two cameras are drawn in real space, and the focal plane and the two cameras are The distance between the positioned planes is f, and the two cameras perform imaging at the location of the focal plane to obtain two shot images.

P와 P '는 각각 상이한 샷 이미지들에서 동일한 피사체의 위치이고, P와 상기 대응하는 샷 이미지의 좌측-경계 사이의 거리는 X_R이며, P'와 상기 대응하는 샷 이미지의 좌측-경계 사이의 거리는 X_T이다. O_R과 O_T는 각각 두 카메라들이며, 두 카메라들은 거리(B)에서 동일한 평면에 있다.P and P' are the positions of the same subject in different shot images, respectively, the distance between P and the left-boundary of the corresponding shot image is X _R, and the distance between P' and the left-boundary of the corresponding shot image is is X _T. And O _R O _T is deulyimyeo each of the two cameras, two cameras are on the same plane in the distance (B).

상기 삼각 측량 레인징 원칙에 기초하여, 도 2에서 상기 피사체와 상기 두 카메라들이 위치하는 평면 사이의 거리(Z)에 대해 다음 관계가 존재한다:Based on the triangulation ranging principle, the following relationship exists for the distance Z between the subject and the plane on which the two cameras are located in FIG. 2 :

.

이러한 기준에 따라,

이 계산될 수 있고, 여기서 d는 상이한 샷 이미지들에서 동일한 피사체의 상기 위치들 사이의 거리 차이이다. B와 f는 고정 값들이므로, 상기 피사체의 상기 거리(Z)는 d에 따라 결정 수 있다.According to these criteria,

can be calculated, where d is the distance difference between the positions of the same subject in different shot images. Since B and f are fixed values, the distance Z of the subject may be determined according to d.

(S104)에서, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리가 수행되어, 요구된 타깃 이미지를 획득한다.In (S104), blurring processing is performed on the main image according to the depth information of the main image to obtain a requested target image.

구체적으로, 상기 메인 이미지의 상기 심도 정보가 계산된 후, 상기 메인 이미지에서 피사체의 상기 심도 정보에 따라 상기 피사체가 전경(foreground)인지 또는 배경(background)인지 판단할 수 있다. 일반적으로, 상기 심도 정보가 상기 피사체가 상기 메인 및 보조 카메라들이 위치한 상기 평면에 상대적으로 가깝고, 심도 값이 상대적으로 작음을 나타내는 경우, 상기 피사체가 전경인 것으로 판단될 수 있고, 그렇지 않으면 상기 피사체는 배경인 것으로 판단될 있다.Specifically, after the depth information of the main image is calculated, it may be determined whether the subject is a foreground or a background according to the depth information of the subject in the main image. In general, when the depth information indicates that the subject is relatively close to the plane on which the main and auxiliary cameras are located and the depth value is relatively small, it may be determined that the subject is a foreground, otherwise the subject is It can be considered as background.

상기 인식된 배경에 대해 블러링 처리를 수행하여, 상기 요구된 이미지를 획득할 수 있다. 상기 제2이미지에서, 상기 전경이 더 강조되고, 상기 배경이 흐려지며, 전경에 초점을 맞춘 이미징 효과가 나타난다.The requested image may be obtained by performing a blurring process on the recognized background. In the second image, the foreground is further emphasized, the background is blurred, and an imaging effect focused on the foreground appears.

본 실시 예의 상기 더블 카메라 기반 이미징 방법에 따르면, 상기 메인 카메라로 촬영된 상기 n개 프레임들의 제1이미지들이 획득되고, 상기 보조 카메라로 촬영된 보조 이미지가 획득된 후, 상기 프레임의 메인 이미지를 획득하기 위해 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되고, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 추가로 계산되어, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여 상기 요구된 제2이미지를 획득한다. 상기 프레임의 메인 이미지를 획득하기 위해 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어 상기 이미지의 노이즈가 감소되고, 상기 메인 이미지의 해상도는 상대적으로 높다. 또한, 상기 보조 카메라로 촬영된 상기 보조 이미지와 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지가 동시에 촬영되므로, 상기 대응하는 보조 이미지에 따라 상기 고-해상도 메인 이미지에 대해 후속 블러링 처리를 수행함으로써 한편에서 이미지화된 사진의 이미징 효과를 향상시키고, 다른 한편에서, 상기 심도 정보의 정확성을 향상시켜 비교적 양호한 이미지 처리 효과를 달성하고, 종래 기술에서 블러링 처리된 상기 이미지의 비교적 열악한 효과의 기술적 문제를 해결한다.According to the double-camera-based imaging method of this embodiment, first images of the n frames photographed by the main camera are obtained, and after the auxiliary image photographed by the auxiliary camera is obtained, the main image of the frame is obtained In order to do this, synthesis noise reduction is performed on the first images of the n frames, and the depth information of the main image is further calculated according to the main image and the auxiliary image, Accordingly, blurring is performed on the main image to obtain the requested second image. In order to obtain the main image of the frame, synthetic noise reduction is performed on the first images of n frames to reduce the noise of the image, and the resolution of the main image is relatively high. Further, since the auxiliary image photographed with the auxiliary camera and the basic frame image photographed with the main camera are photographed simultaneously, by performing subsequent blurring processing on the high-resolution main image according to the corresponding auxiliary image, while to improve the imaging effect of the imaged picture, on the other hand, improve the accuracy of the depth information to achieve a relatively good image processing effect, and solve the technical problem of the relatively poor effect of the blurred image in the prior art do.

이전 실시 예를 명확하게 설명하기 위해, 실시 예는 이미지 처리를 위한 다른 방법을 제공한다. 도 3은 본 발명의 일 실시 예에 따른 이미지 처리를 위한 다른 방법의 순서도를 도시한다.To clearly explain the previous embodiment, the embodiment provides another method for image processing. 3 is a flowchart of another method for image processing according to an embodiment of the present invention.

도 3을 참조하면, 상기 이미지 처리 방법은 다음 동작을 포함할 수 있다.Referring to FIG. 3 , the image processing method may include the following operations.

(301)에서, 더블 카메라들의 메인 카메라와 보조 카메라는 주변 휘도에 따라 판단된다.In 301, the main camera and the auxiliary camera of the double cameras are determined according to the ambient luminance.

구체적으로, 가능한 구현 형태로서, 상기 주변 휘도를 측정하기 위해 독립적인 측광 장치(photometer)가 채택될 수 있다.Specifically, as a possible implementation form, an independent photometer may be employed to measure the ambient luminance.

또 다른 가능한 구현 형태로서, 제1카메라 및 제2카메라에 의해 자동으로 조절되는 ISO 값들이 판독될 수 있고, 상기 주변 휘도는 상기 판독된 ISO 값들에 따라 판단된다. 일반적으로, 상기 제1카메라와 상기 제2카메라는 동일한 ISO 값을 채택해야 하므로, 상기 ISO 값을 채택함으로써 상기 대응하는 주변 휘도가 판단될 수 있다. 그러나, 상기 제1카메라의 상기 판독된 ISO 값과 상기 제2카메라의 ISO 값이 상이하면, 상기 대응하는 주변 휘도는 둘의 평균값에 따라 판단될 수 있다.As another possible implementation form, ISO values automatically adjusted by the first camera and the second camera may be read, and the ambient luminance is determined according to the read ISO values. In general, since the first camera and the second camera must adopt the same ISO value, the corresponding ambient luminance can be determined by adopting the ISO value. However, if the read ISO value of the first camera and the ISO value of the second camera are different, the corresponding ambient luminance may be determined according to an average value of the two.

ISO 값은 카메라의 ISO를 나타내도록 구성됨에 유의해야 한다. 일반적인 ISO 값들은 50, 100, 200, 400, 1,000 등을 포함한다. 주변 휘도에 따라 카메라가 자동으로 ISO 값일 수 있다. 따라서, 본 실시 예에서, 상기 주변 휘도는 상기 ISO 값들에 따라 역으로(reversely) 계산될 수 있다. 일반적으로, 충분한 조명 조건에서 상기 ISO 값은 50 또는 100이고, 불충분한 조명 조건에서 상기 ISO 값은 400 이상일 수 있다.It should be noted that the ISO value is constructed to represent the ISO of the camera. Common ISO values include 50, 100, 200, 400, 1,000, and so on. Depending on the ambient luminance, the camera may automatically set the ISO value. Accordingly, in this embodiment, the ambient luminance may be calculated reversely according to the ISO values. In general, in sufficient lighting conditions the ISO value is 50 or 100, in insufficient lighting conditions the ISO value may be 400 or more.

상기 더블 카메라들은 상기 제1카메라와 상기 제2카메라를 포함한다. 상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO는 상기 제1카메라의 ISO보다 높다. 예를 들면, 상기 제1카메라는 16MP 카메라일 수 있고, 상기 제2카메라는 8MP 카메라일 수 있다.The double cameras include the first camera and the second camera. The resolution of the first camera is higher than that of the second camera, and the ISO of the second camera is higher than the ISO of the first camera. For example, the first camera may be a 16MP camera, and the second camera may be an 8MP camera.

구체적으로, 상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라는 상기 메인 카메라로 판단되고, 상기 제2카메라는 상기 보조 카메라로 판단된다. 상기 주변 휘도가 상기 임계 휘도보다 높지 않으면, 상기 제2카메라는 메인 카메라로 판단되고, 상기 제1카메라는 상기 보조 카메라로 판단된다.Specifically, when the ambient luminance is higher than the threshold luminance, the first camera is determined as the main camera, and the second camera is determined as the auxiliary camera. If the ambient luminance is not higher than the threshold luminance, the second camera is determined as the main camera, and the first camera is determined as the auxiliary camera.

즉, 상기 주변 휘도가 상기 임계 휘도보다 높지 않을 때 불충분한 조명인 경우, 상기 고-해상도 카메라를 메인 카메라로 촬영할 때, 노이즈가 많아져서 이미징 효과가 열악해질 수 있기 때문이다. 따라서, 충분한 조명인 경우, 상기 고-ISO 카메라가 메인 카메라로서의 촬영에 채택될 수 있어, 상기 이미지에서 노이즈를 줄이고, 상기 이미징 효과를 향상시킨다.That is, if there is insufficient illumination when the ambient luminance is not higher than the threshold luminance, when the high-resolution camera is photographed as the main camera, noise may increase and the imaging effect may deteriorate. Therefore, in case of sufficient illumination, the high-ISO camera can be adopted for shooting as the main camera, reducing noise in the image and improving the imaging effect.

반대로 상기 주변 휘도가 상기 임계 휘도보다 높을 때 충분한 광이 있는 경우, 상기 고해상도 카메라의 상기 해상도가 비교적 높고, 노이즈가 적은 비교적 선명한 이미지가 형성될 수 있어서, 상기 고해상도 카메라가 상기 메인 카메라로서의 촬영에 채택될 수 있고, 상기 고-ISO 카메라는 상기 보조 카메라로서 채택되어, 비교적 정확한 심도 정보를 계산할 수 있다. 따라서, 상기 이미징 효과가 향상된다.Conversely, when there is sufficient light when the ambient luminance is higher than the threshold luminance, a relatively clear image with a relatively high resolution and low noise can be formed of the high-resolution camera, so that the high-resolution camera is adopted for shooting as the main camera and the high-ISO camera may be employed as the auxiliary camera to calculate relatively accurate depth information. Accordingly, the imaging effect is improved.

(302)에서, 상기 메인 카메라에 대응하는 합성된 프레임 수(n)는 상기 주변 휘도에 따라 판단되며, n은 상기 주변 휘도와 역 관계(negative relationship)를 형성하고, 2 내지 6의 범위의 값을 가진다.In 302, the number of synthesized frames n corresponding to the main camera is determined according to the ambient luminance, where n forms a negative relationship with the ambient luminance, and a value in the range of 2 to 6 have

상기 주변 휘도가 높고, 조명이 더 충분하면, 카메라의 이미징 효과가 더 우수하다는 것을 이해할 수 있다. 그래서, 상기 카메라로 촬영하면, 샷 이미지에서 노이즈가 적어지고 노이즈 저감 정밀도에 대한 요구가 낮아진다. 따라서, 합성 노이즈 감소 동안, 비교적 적은 수의 프레임들의 샷 이미지들이 채택될 수 있다. 반대로 주변 조도가 낮으면 상기 카메라의 이미징 효과가 떨어진다. 그래서, 상기 카메라로 촬영하면, 상기 샷 이미지에서 노이즈가 많아지고, 즉 상기 샷 이미지에 노이즈 포인트들이 많아져, 상기 노이즈 저감 정밀도에 대한 요구가 높아진다. 따라서, 합성 노이즈 감소 동안, 비교적 많은 수의 프레임들의 샷 이미지들이 채택될 수 있다.It can be understood that the higher the ambient luminance and the more sufficient illumination, the better the imaging effect of the camera. Therefore, when shooting with the camera, noise is reduced in the shot image and the demand for noise reduction precision is lowered. Therefore, during synthesis noise reduction, a relatively small number of frames of shot images can be adopted. Conversely, when the ambient illumination is low, the imaging effect of the camera is deteriorated. Therefore, when shooting with the camera, noise is increased in the shot image, that is, noise points are increased in the shot image, thereby increasing the demand for the precision of noise reduction. Thus, during synthesis noise reduction, shot images of a relatively large number of frames can be adopted.

따라서, 본 실시 예에서, 실제 적용 시, 상기 메인 카메라에 대응하는 상기 합성된 프레임 수(n)는 상기 이동 단말기의 상기 주변 휘도에 따라 판단될 수 있다.Accordingly, in the present embodiment, when actually applied, the number of synthesized frames n corresponding to the main camera may be determined according to the ambient luminance of the mobile terminal.

(303)에서, 촬영 조작의 검출에 응답하여, 상기 메인 카메라 및 상기 보조 카메라는 각각 다중 프레임들의 샷 이미지들을 획득하기 위해, 상기 메인 카메라 및 상기 보조 카메라가 동시에 촬영하도록 제어된다.In 303, in response to the detection of the shooting operation, the main camera and the auxiliary camera are controlled so that the main camera and the auxiliary camera shoot simultaneously, respectively, to obtain shot images of multiple frames.

구체적으로, 사용자는 상기 메인 카메라와 상기 보조 카메라가 각각 다중 프레임들의 샷 이미지들을 획득하기 위해 상기 메인 카메라와 상기 보조 카메라가 동시에 촬영할 수 있도록 촬영 버튼을 트리거할 수 있다.Specifically, the user may trigger the shooting button so that the main camera and the auxiliary camera can simultaneously photograph the main camera and the auxiliary camera in order to obtain shot images of multiple frames, respectively.

가능한 구현 모드로서, 상기 메인 카메라에 의해 획득된 사진만이 미리 보기될 수 있고, 상기 사용자는 만족스러운 미리 보기 이미지를 볼 때 상기 촬영 버튼을 클릭함으로써, 상기 메인 카메라 및 상기 보조 카메라를 제어하여, 다중 프레임들의 샷 이미지들을 각각 획득하도록 동시에 촬영한다.As a possible implementation mode, only the pictures acquired by the main camera can be previewed, and the user clicks the shooting button when viewing a satisfactory preview image, thereby controlling the main camera and the auxiliary camera, The shot images of multiple frames are taken at the same time to obtain each.

(304)에서, 상기 메인 카메라의 상기 다중 프레임들의 샷 이미지들로부터 연속적으로 촬영되는 n개 프레임들의 샷 이미지들은 n개 프레임들의 제1이미지들로 선택된다.In step 304, shot images of n frames continuously taken from the shot images of the multiple frames of the main camera are selected as first images of n frames.

구체적으로, 상기 메인 카메라로 촬영된 상기 다중 프레임들의 샷 이미지들이 판단된 후, 연속적으로 촬영되는 샷 이미지들의 상기 n개 프레임들은 상기 메인 카메라의 상기 다중 프레임들의 샷 이미지들 중에서 상기 n개 프레임의 제1이미지들로서 선택될 수 있다. 예를 들면, 연속적으로 촬영되는 n개 프레임들의 샷 이미지들은 n개 프레임들의 제1이미지들로 무작위로 선택될 수 있고, 또는 평균 해상도가 가장 높고, 연속적으로 촬영되는 n개 프레임들의 샷 이미지들이 상기 n개 프레임들의 제1이미지들로 선택될 수 있다. 이에 대한 제한은 없다.Specifically, after the shot images of the multiple frames captured by the main camera are determined, the n frames of the shot images continuously captured are the n frames of the shot images of the multiple frames of the main camera. 1 can be selected as images. For example, shot images of n frames taken continuously may be randomly selected as first images of n frames, or shot images of n frames shot continuously having the highest average resolution are the above images. The first images of n frames may be selected. There are no restrictions on this.

(305)에서, 상기 n개 프레임들의 제1이미지들에서 프레임의 기본 프레임 이미지는 n개 프레임들의 제1이미지들의 해상도들에 따라 판단된다.In 305, a basic frame image of a frame in the first images of the n frames is determined according to resolutions of the first images of the n frames.

구체적으로, 이미징 효과를 향상시키기 위해, 상기 n개 프레임들의 제1이미지들에서 가장 높은 해상도의 상기 샷 이미지가 상기 기본 프레임 이미지로 판단될 수 있다.Specifically, in order to improve the imaging effect, the shot image having the highest resolution among the first images of the n frames may be determined as the basic frame image.

(306)에서, 상기 기본 프레임 이미지와 동시에 촬영되는 프레임의 샷 이미지는 상기 보조 카메라의 상기 다중 프레임들의 샷 이미지들로부터 보조 이미지로서 선택된다.In 306, a shot image of a frame shot simultaneously with the primary frame image is selected as an auxiliary image from the shot images of the multiple frames of the auxiliary camera.

구체적으로, 상기 고-해상도를 가지는 상기 샷 이미지가 상기 기본 프레임 이미지로 선택된 후, 상기 기본 프레임 이미지와 동시에 촬영된 상기 프레임의 샷 이미지는 상기 보조 카메라의 상기 다중 프레임들의 샷 이미지들로부터 상기 보조 이미지로서 선택될 수 있다. 상기 보조 카메라로 촬영된 상기 보조 이미지와 기본 카메라로 촬영된 상기 고-해상도 기본 프레임 이미지가 동시에 촬영되므로, 상기 대응하는 보조 이미지의 도움으로 피사계 심도를 계산하면, 상기 심도 정보 계산 정확도가 향상될 수 있다.Specifically, after the shot image having the high-resolution is selected as the basic frame image, the shot image of the frame photographed simultaneously with the basic frame image is the auxiliary image from the shot images of the multiple frames of the auxiliary camera. can be selected as Since the auxiliary image photographed with the auxiliary camera and the high-resolution basic frame image photographed with the primary camera are simultaneously photographed, calculating the depth of field with the help of the corresponding auxiliary image can improve the depth information calculation accuracy have.

(307)에서, 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어, 프레임의 메인 이미지를 획득한다.In 307, synthesis noise reduction is performed on the first images of the n frames to obtain a main image of the frame.

(308)에서, 메인 이미지 해상도는 촬영 모드 및 상기 메인 카메라의 해상도에 따라 판단되며, 보조 이미지 해상도는 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 판단된다.In 308, the main image resolution is determined according to the photographing mode and the resolution of the main camera, and the auxiliary image resolution is determined according to the photographing mode and the resolution of the auxiliary camera.

특히, 상기 촬영 모드는 전체-길이 모드(full-length mode) 및 절반-길이 모드(half-length mode)를 포함할 수 있다. 상기 전체-길이 모드는 인물 사진 촬영 중에 전체-길이 인물 사진을 촬영해야 하는 시나리오에 적용된다. 상기 사용자가 상기 전체-길이 모드를 선택하면, 상기 사용자는 일반적으로 뷰 탐색 동안 파인더 프레임(finder frame)에서 전체 인물 사진을 찾을 수 있다.In particular, the photographing mode may include a full-length mode and a half-length mode. The full-length mode is applied to a scenario in which a full-length portrait needs to be taken during portrait photography. When the user selects the full-length mode, the user can typically find a full portrait picture in a finder frame during view navigation.

상기 절반-길이 모드는 인물 사진 촬영 중에 절반-길이 초상화를 촬영해야 하는 시나리오에 적용된다. 상기 절반-길이 인물 사진은 인물 사진의 일부이다. 예를 들면, 상기 절반-길이 인물 사진이 상기 헤드 및 상반신 부분을 포함하는 경우, 상기 사용자가 상기 절반-길이 모드를 선택하면, 상기 사용자는 일반적으로 뷰 탐색 동안 상기 파인더 프레임에서 상기 인물 사진의 상기 상반신만을 찾을 수 있다.The half-length mode is applied to a scenario in which a half-length portrait must be taken during portrait photography. The half-length portrait is part of the portrait. For example, if the half-length portrait includes the head and torso parts, if the user selects the half-length mode, the user will typically view the portrait of the portrait in the finder frame during view navigation. Only the upper body can be found.

가능한 구현 모드로서, 상기 사용자가 상기 제어를 통해 상기 촬영 모드를 선택할 수 있도록, 상기 이동 단말기의 촬영 미리 보기 인터페이스에 제어가 제공될 수 있다.As a possible implementation mode, a control may be provided in a shooting preview interface of the mobile terminal so that the user can select the shooting mode through the control.

상기 촬영 모드가 상기 전체-길이 모드인 경우, 상기 메인 카메라의 상기 해상도 및 상기 판단된 메인 카메라의 상기 해상도에 따른 상기 전체-길이 모드에 대응하는 조절 계수에 대해 곱셈 연산을 수행하여, 상기 메인 이미지 해상도를 획득하고; 및 상기 보조 카메라의 상기 해상도 및 상기 판단된 보조 카메라의 상기 해상도에 따른 상기 전체-길이 모드에 대응하는 상기 조절 계수에 대해 상기 곱셈 연산을 수행하여, 상기 보조 이미지 해상도를 획득한다.When the shooting mode is the full-length mode, a multiplication operation is performed on the adjustment coefficient corresponding to the full-length mode according to the resolution of the main camera and the determined resolution of the main camera, and the main image obtain a resolution; and performing the multiplication operation on the adjustment coefficient corresponding to the full-length mode according to the resolution of the auxiliary camera and the determined resolution of the auxiliary camera, to obtain the auxiliary image resolution.

본 명세서에서 언급된 상기 조절 계수는 이미지 해상도 조절 프로세스에서 조절된 해상도와 조절되지 않은 해상도 사이의 비례 관계를 나타내도록 구성된다. 여기서, 상기 조절 계수의 값은 1보다 큰 범위, 및 0 내지 1범위이다. 구체적으로, 상기 조절된 해상도가 상기 조절되지 않은 해상도보다 높으면 상기 조절 계수의 값이 1보다 크고, 상기 조절된 해상도가 상기 조절되지 않은 해상도보다 낮으면 상기 조절 계수의 값은 0내지 1이다.The adjustment factor referred to herein is configured to represent a proportional relationship between an adjusted resolution and an unadjusted resolution in an image resolution adjustment process. Here, the value of the adjustment coefficient is a range greater than 1, and a range of 0 to 1. Specifically, when the adjusted resolution is higher than the unadjusted resolution, the value of the adjustment coefficient is greater than 1, and when the adjusted resolution is lower than the unadjusted resolution, the value of the adjustment coefficient is 0 to 1.

상기 촬영 모드가 상기 절반-길이 모드인 경우, 상기 메인 카메라의 해상도 및 상기 판단된 메인 카메라의 상기 해상도에 따른 상기 절반-길이 모드에 대응하는 조절 계수에 대해 상기 곱셈 연산이 수행되어 메인 이미지 해상도를 획득하고; 및 상기 보조 카메라의 해상도 및 상기 판단된 보조 카메라의 해상도에 따른 상기 절반-길이 모드에 대응하는 상기 조절 계수에 대해 상기 곱셈 연산이 수행된다.When the photographing mode is the half-length mode, the multiplication operation is performed on the adjustment coefficient corresponding to the half-length mode according to the resolution of the main camera and the determined resolution of the main camera to obtain the main image resolution obtain; and the multiplication operation is performed on the adjustment coefficient corresponding to the half-length mode according to the resolution of the auxiliary camera and the determined resolution of the auxiliary camera.

상기 전체-길이 모드에 대응하는 상기 조절 계수는 상기 절반-길이 모드에 대응하는 조절 계수보다 높다는 것에 주의해야 한다.It should be noted that the adjustment coefficient corresponding to the full-length mode is higher than the adjustment coefficient corresponding to the half-length mode.

(309)에서, 상기 메인 이미지의 상기 해상도는 상기 메인 이미지 해상도에 따라 조절되고, 상기 보조 이미지의 상기 해상도는 상기 보조 이미지 해상도에 따라 조절된다.In step 309, the resolution of the main image is adjusted according to the resolution of the main image, and the resolution of the auxiliary image is adjusted according to the resolution of the auxiliary image.

구체적으로, 상기 촬영 모드에 대응하는 상기 조절 계수가 1 이하의 양수인 경우, 상기 메인 이미지에서 상기 메인 이미지 해상도와 일치하는 타깃 영역이 크롭되어 상기 해상도 조절 처리된 상기 메인 이미지를 획득하고, 상기 보조 이미지에서 상기 보조 이미지 해상도와 일치하는 타깃 영역이 크롭되어 상기 해상도 조절 처리된 상기 보조 이미지를 획득한다.Specifically, when the adjustment coefficient corresponding to the photographing mode is a positive number equal to or less than 1, a target area matching the resolution of the main image is cropped from the main image to obtain the resolution-adjusted main image, and the auxiliary image In , a target area matching the resolution of the auxiliary image is cropped to obtain the auxiliary image that has been subjected to the resolution adjustment process.

가능한 적용 시나리오에서, 상기 메인 카메라는 광각 카메라(wide-angle camera)이고, 상기 보조 카메라는 망원 카메라(telephoto camera)이다. 이와 대응하여, 상기 타깃 영역들은 상기 이미지들의 중심 영역들일 수 있다. 즉, 상기 광각 카메라의 주변 왜곡(peripheral distorted)이 존재하여, 이미징 효과가 좋지 않기 때문이다. 비교적 양호한 형태의 이미지를 획득하고, 상기 이미징 효과를 보장하기 위해, 상기 광각 카메라로 촬영된 상기 제1샷 이미지가 크롭되고, 상기 이미지의 상기 중심 영역이 보존되며, 주변 왜곡된 영역이 제거되어 상기 광각 카메라의 이미징 효과를 향상시킨다.In a possible application scenario, the main camera is a wide-angle camera and the secondary camera is a telephoto camera. Correspondingly, the target regions may be central regions of the images. That is, because peripheral distortion of the wide-angle camera exists, the imaging effect is not good. In order to obtain a relatively good shape image, and to ensure the imaging effect, the first shot image taken with the wide-angle camera is cropped, the central area of the image is preserved, and the peripheral distorted area is removed so that the Improve the imaging effect of wide-angle cameras.

상기 구체 설정된 타깃 영역 범위는 구체적으로 실제 적용 동안 상기 광각 카메라의 이미징 파라미터(예를 들어 해상도), 촬영 환경 등에 따라 당업자에 의해 설정될 수 있다.The specifically set target area range may be specifically set by those skilled in the art according to the imaging parameters (eg, resolution) of the wide-angle camera, the shooting environment, etc. during actual application.

가능한 구현 모드로서, 상기 설정된 타깃 영역 범위는 상기 광각 카메라의 상기 해상도, 주변 왜곡 정도 등에 따라 설정될 수 있다. 상기 광각 카메라의 광학 설계는 넓은 시야 조건에서 주변 왜곡을 불가피하게 만든다. 구체적으로, 근축 이미징(paraxial imaging)은 y'=f×tan(T)의 이미징 관계를 충족시키며, 여기서 y'는 상기 센서의 반경 방향 치수(radial dimension)이고, T는 시야(field of view)이며, f는 초점 거리(focal length)이다. 상기 센서의 반경 방향 치수(y')는 일정하므로, f가 감소될 때, 즉 짧은 초점 단부(short focus end)의 조건 하에서 T는 확실히 증가하여 광 각도(wide angle)가 달성될 수 있다. 하지만, 큰 시야(large-field-of-view) 조건 하에서 이미징 규칙이 근축 조건(paraxial condition)과 점차 일치하지 않고, y'=f×tan(T)를 충족시키는 상기 이미징 관계는 점차 y=f×T 규칙에 가깝게 되어, 큰 시야에서 음의 왜곡(negative distortion)을 초래한다. 이러한 왜곡은 상기 이미지 주변에서 더 강조된다. 전술한 왜곡 원리에 기초하여, 주변 왜곡 정도는 상기 시야의 크기와 어느 정도 관련됨을 알 수 있다. 그러므로, 상기 설정된 타깃 영역 범위는 상기 광각 카메라의 상기 시야 및 해상도 중 적어도 하나에 따라 판단될 수 있다.As a possible implementation mode, the set target area range may be set according to the resolution of the wide-angle camera, the degree of peripheral distortion, and the like. The optical design of the wide-angle camera makes peripheral distortion inevitable in wide field of view conditions. Specifically, paraxial imaging satisfies the imaging relationship of y'=f×tan(T), where y' is the radial dimension of the sensor, and T is the field of view. and f is the focal length. The radial dimension y' of the sensor is constant, so that when f is decreased, ie under the condition of a short focus end, T is definitely increased so that a wide angle can be achieved. However, under the large-field-of-view condition, the imaging rule gradually does not match the paraxial condition, and the imaging relation satisfying y'=f×tan(T) gradually becomes y=f close to the ×T rule, resulting in negative distortion in the large field of view. This distortion is more emphasized around the image. Based on the distortion principle described above, it can be seen that the degree of peripheral distortion is related to the size of the field of view to some extent. Therefore, the set target area range may be determined according to at least one of the field of view and the resolution of the wide-angle camera.

(310)에서, 상기 메인 이미지의 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 계산된다.In 310, the depth information of the main image is calculated according to the main image and the auxiliary image.

(311)에서, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리가 수행되어, 요구된 제2이미지를 획득한다.In step 311, blurring processing is performed on the main image according to the depth information of the main image to obtain a requested second image.

본 실시 예의 이미지 처리 방법에 따르면, 상기 메인 카메라로 촬영된 상기 n개 프레임들의 제1이미지들이 획득되고, 상기 보조 카메라로 촬영된 상기 보조 이미지들이 획득 된 후, 상기 프레임의 메인 이미지를 획득하기 위해 제1이미지들의 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되고, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 추가로 계산되어, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여 상기 요구된 제2이미지를 획득한다. 상기 프레임의 메인 이미지를 획득하기 위해, 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어, 상기 이미지에서 노이즈가 감소되고, 상기 메인 이미지의 해상도는 상대적으로 높다. 또한, 상기 보조 카메라로 촬영된 상기 보조 이미지와 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지가 동시에 촬영되므로, 상기 대응하는 보조 이미지에 따라 상기 고-해상도 메인 이미지에 대한 후속 블러링 처리를 수행함으로써 한편에서 이미지화된 사진의 이미징 효과를 향상시키고, 다른 한편에서, 상기 심도 정보의 정확성을 향상시켜 비교적 양호한 이미지 처리 효과를 달성하고, 종래 기술에서 블러링 처리된 상기 이미지의 비교적 열악한 효과의 기술적 문제점을 해결한다.According to the image processing method of this embodiment, first images of the n frames photographed by the main camera are obtained, and after the auxiliary images photographed by the auxiliary camera are obtained, to obtain a main image of the frame Composite noise reduction is performed on the first images of the n frames of first images, and the depth information of the main image is further calculated according to the main image and the auxiliary image, so that the depth of the main image The requested second image is obtained by performing blurring processing on the main image according to the information. In order to obtain the main image of the frame, synthetic noise reduction is performed on the first images of the n frames, so that noise in the image is reduced, and the resolution of the main image is relatively high. Further, since the auxiliary image photographed with the auxiliary camera and the basic frame image photographed with the main camera are photographed simultaneously, by performing subsequent blurring processing on the high-resolution main image according to the corresponding auxiliary image, while to improve the imaging effect of the imaged picture in, on the other hand, improve the accuracy of the depth information to achieve a relatively good image processing effect, and solve the technical problem of the relatively poor effect of the image blurred in the prior art do.

전술한 실시 예들을 구현하기 위해, 본 발명은 이미지 처리 장치를 추가로 개시한다.To implement the above-described embodiments, the present invention further discloses an image processing apparatus.

도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조도를 도시한다. 상기 이미지 처리 장치는 이동 단말기에 적용될 수 있다.4 is a structural diagram of an image processing apparatus according to an embodiment of the present invention. The image processing apparatus may be applied to a mobile terminal.

도 4를 참조하면, 상기 이미지 처리 장치는 획득 모듈(acquisition module)(410), 노이즈 감소 모듈(noise reduction module)(420), 계산 모듈(calculation module)(430) 및 처리 모듈(processing module)(440)을 포함한다.4 , the image processing apparatus includes an acquisition module 410, a noise reduction module 420, a calculation module 430, and a processing module ( 440).

상기 획득 모듈(410)은 메인 카메라로 촬영된 n개 프레임들의 제1이미지들을 획득하고, 보조 카메라로 촬영된 보조 이미지를 획득하도록 구성되며, n은 2 이상의 자연수이며, 상기 n개 프레임들의 제1이미지들은 프레임의 기본 프레임 이미지를 포함하고, 상기 보조 카메라로 촬영된 상기 보조 이미지 및 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지는 동시에 촬영된다.The acquiring module 410 is configured to acquire first images of n frames photographed by a main camera and acquire an auxiliary image photographed by an auxiliary camera, where n is a natural number equal to or greater than 2, and the first images of the n frames The images include a basic frame image of a frame, and the auxiliary image photographed by the auxiliary camera and the basic frame image photographed by the main camera are simultaneously photographed.

상기 노이즈 감소 모듈(420)은 프레임의 메인 이미지를 획득하기 위해 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소를 수행하도록 구성된다.The noise reduction module 420 is configured to perform synthesis noise reduction on the first images of the n frames to obtain a main image of the frame.

상기 계산 모듈(430)은 상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 심도 정보를 계산하도록 구성된다.The calculation module 430 is configured to calculate depth information of the main image according to the main image and the auxiliary image.

상기 처리 모듈(440)은 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여, 요구된 제2이미지를 획득하도록 구성된다.The processing module 440 is configured to perform blurring processing on the main image according to the depth information of the main image to obtain a requested second image.

또한, 가능한 구현 모드로서, 도 4를 근거로 하는 도 5를 참조하여, 상기 이미지 처리 장치는 판정 모듈(determination module)(450) 및 판독 모듈(reading module)(460)을 더 포함할 수 있다.Also, as a possible implementation mode, referring to FIG. 5 based on FIG. 4 , the image processing apparatus may further include a determination module 450 and a reading module 460 .

상기 판정 모듈(450)은, 주변 휘도에 따라 상기 더블 카메라의 상기 기본 카메라와 상기 보조 카메라를 판단하고, 상기 주변 휘도에 따라 상기 메인 카메라에 대응하는 합성된 프레임 수(n)를 판단하며; n은 상기 주변 휘도와 음의 관계(negative relationship)를 형성하고, 2 내지 6의 범위의 값을 갖는다.The determination module 450 is configured to determine the primary camera and the auxiliary camera of the double camera according to ambient luminance, and determine the combined number of frames n corresponding to the main camera according to the ambient luminance; n forms a negative relationship with the ambient luminance, and has a value in the range of 2 to 6.

상기 판독 모듈(460)은 상기 더블 카메라들의 상기 ISO 값들을 판독하고, 상기 더블 카메라들의 상기 판독 ISO 값들에 따라 상기 주변 휘도를 판단하도록 구성된다.The reading module 460 is configured to read the ISO values of the double cameras, and determine the ambient luminance according to the read ISO values of the double cameras.

본 실시 예에서, 상기 판정 모듈(450)은 구체적으로 상기 메인 카메라 및 상기 보조 카메라의 ISO 값들을 판독하고, 상기 메인 카메라 및 상기 보조 카메라의 상기 판독된 ISO 값들에 따라 상기 주변 휘도를 판단하도록 구성된다.In this embodiment, the determination module 450 is specifically configured to read the ISO values of the main camera and the auxiliary camera, and determine the ambient luminance according to the read ISO values of the main camera and the auxiliary camera do.

가능한 구현 모드에서, 상기 획득 모듈(410)은, 촬영 유닛(shooting unit)(411), 제1선택 유닛(first selection unit)(412), 제2선택 유닛(second selection unit)(413) 및 제3선택 유닛(third selection unit)(414)을 포함한다.In a possible implementation mode, the acquiring module 410 includes a shooting unit 411 , a first selection unit 412 , a second selection unit 413 , and a second selection unit 413 . and a third selection unit 414 .

상기 촬영 유닛(411)은, 촬영 조작의 검출에 응답하여, 상기 메인 카메라 및 보조 카메라가 각각 다중 프레임들의 샷 이미지들을 획득하도록 상기 메인 카메라 및 상기 보조 카메라를 동시에 촬영하도록 제어한다.The photographing unit 411 controls the main camera and the auxiliary camera to simultaneously photograph the main camera and the auxiliary camera so as to obtain shot images of multiple frames, respectively, in response to detection of the photographing operation.

상기 제1선택 유닛(412)은, 상기 메인 카메라의 상기 다중 프레임들의 샷 이미지들로부터 연속적으로 촬영되는 n개 프레임들의 샷 이미지들을 상기 n개 프레임들의 제1이미지들로서 선택하고, 상기 n개 프레임들이 제1이미지들의 해상도들에 따라 상기 n개 프레임들의 제1이미지들에서 상기 프레임의 기본 프레임 이미지를 판단하도록 구성된다.The first selection unit 412 selects, as the first images of the n frames, shot images of n frames continuously taken from the shot images of the multiple frames of the main camera, and the n frames are and determine a basic frame image of the frame from the first images of the n frames according to the resolutions of the first images.

상기 제2선택 유닛(413)은 상기 보조 카메라의 상기 다중 프레임들의 샷 이미지들로부터 상기 기본 프레임 이미지와 동시에 촬영되는 프레임의 샷 이미지를 상기 보조 이미지로서 선택하도록 구성된다.The second selection unit 413 is configured to select, as the auxiliary image, a shot image of a frame shot simultaneously with the basic frame image from the shot images of the multiple frames of the auxiliary camera.

상기 제3선택 유닛(414)은 상기 보조 카메라의 상기 다중 프레임들의 샷 이미지들로부터 상기 기본 프레임 이미지와 동시에 촬영되는 상기 프레임의 샷 이미지를 상기 보조 이미지로서 선택하도록 구성된다.The third selection unit 414 is configured to select, as the auxiliary image, a shot image of the frame that is shot simultaneously with the basic frame image from the shot images of the multiple frames of the auxiliary camera.

상기 이미지 처리 방법의 상기 실시 예에 대한 설명들 및 기술들은 또한 상기 실시 예의 상기 이미지 처리 장치에 적용되며, 여기에서 상세하게 설명되지 않을 것이다.The descriptions and techniques for the embodiment of the image processing method also apply to the image processing apparatus of the embodiment, and will not be described in detail herein.

본 실시 예의 상기 이미지 처리 장치에 따르면, 상기 메인 카메라로 촬영된 상기 n개 프레임들의 제1이미지들을 획득하고 상기 보조 카메라로 촬영된 상기 보조 이미지를 획득한 후, 상기 프레임의 메인 이미지를 획득하기 위해 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되고, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 추가로 계산되며, 이로써, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대한 블러링 처리를 수행하여 상기 요구된 제2이미지를 획득한다. 상기 메인 이미지의 상기 프레임을 획득하기 위해 상기 n개 프레임들의 제1이미지들에 대해 합성 노이즈 감소가 수행되어, 상기 이미지의 노이즈가 감소하고, 상기 메인 이미지의 해상도가 상대적으로 높다. 또한, 상기 보조 카메라로 촬영된 상기 보조 이미지와 상기 메인 카메라로 촬영된 상기 기본 프레임 이미지가 동시에 촬영되므로, 상기 대응하는 보조 이미지에 따라 상기 고-해상도 메인 이미지에 대한 후속 블러링 처리를 수행함으로써 한편에서 이미지화된 사진의 이미징 효과를 향상시키고, 다른 한편에서, 상기 심도 정보의 정확성을 향상시켜 비교적 양호한 이미지 처리 효과를 달성하고, 종래 기술에서 블러링 처리된 이미지의 비교적 열악한 효과의 기술적 문제점을 해결한다.According to the image processing apparatus of this embodiment, after obtaining the first images of the n frames photographed by the main camera and obtaining the auxiliary image photographed by the auxiliary camera, to obtain the main image of the frame Composite noise reduction is performed on the first images of the n frames, and the depth information of the main image is further calculated according to the main image and the auxiliary image, whereby the depth information of the main image is Accordingly, blurring processing is performed on the main image to obtain the requested second image. Composite noise reduction is performed on the first images of the n frames to obtain the frame of the main image, so that the noise of the image is reduced, and the resolution of the main image is relatively high. Further, since the auxiliary image photographed with the auxiliary camera and the basic frame image photographed with the main camera are photographed simultaneously, by performing subsequent blurring processing on the high-resolution main image according to the corresponding auxiliary image, while to improve the imaging effect of the imaged picture, on the other hand, improve the accuracy of the depth information to achieve a relatively good image processing effect, and solve the technical problem of the relatively poor effect of the blurred image in the prior art .

전술한 실시 예들을 구현하기 위해, 본 발명은 이동 단말기를 추가로 개시한다. 도 6은 본 발명의 다른 실시 예에 따른 단말 기기의 구조도이다. 도 6을 참조하면, 상기 단말 기기(1000)는 쉘(shell)(1100), 및 쉘(1100)에 위치한 메인 카메라(main camera)(1112), 보조 카메라(auxiliary camera)(1113), 메모리(memory)(1114) 및 프로세서(processor)(1115)를 포함한다.To implement the above-described embodiments, the present invention further discloses a mobile terminal. 6 is a structural diagram of a terminal device according to another embodiment of the present invention. Referring to FIG. 6 , the terminal device 1000 includes a shell 1100, and a main camera 1112, an auxiliary camera 1113, and a memory located in the shell 1100. memory) 1114 and a processor 1115 .

실행 가능한 프로그램 코드가 상기 메모리(1114)에 저장되고; 및 상기 프로세서(1115)는 상기 메모리(1114)에 저장된 상기 실행 가능한 프로그램 코드를 판독하여, 상기 실행 가능한 프로그램 코드에 대응하는 프로그램을 실행하여, 전술한 방법 실시 예의 이미지 처리 상기 방법을 구현한다.executable program code is stored in the memory 1114; and the processor 1115 reads the executable program code stored in the memory 1114 and executes a program corresponding to the executable program code to implement the image processing method of the above-described method embodiment.

전술한 실시 예들을 구현하기 위해, 본 발명은 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 추가로 개시하고, 상기 프로그램은 전술한 실시 예들에서의 이미지 처리 방법을 구현하기 위해 이동 단말기의 프로세서에 의해 실행된다.To implement the above-described embodiments, the present invention further discloses a computer-readable storage medium in which a computer program is stored, wherein the program is executed by the processor of the mobile terminal to implement the image processing method in the above-described embodiments. is executed

상기 이동 단말기는 이미지 처리 회로를 더 포함하고, 상기 이미지 처리 회로는 하드웨어 및/또는 소프트웨어 컴포넌트를 사용하여 구현될 수 있고, 상기 이미지 신호 처리(ISP) 파이프 라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 7은 일 실시 예에 따른 이미지 처리 회로(image processing circuit)의 개략도를 도시한다. 도 7을 참조하면, 본 발명의 실시 예와 관련된 이미지 처리 기술의 각 측면은 설명의 편의를 위해 단지 도시되어 있다.The mobile terminal further comprises image processing circuitry, which may be implemented using hardware and/or software components, and may include various processing units defining the image signal processing (ISP) pipeline. have. 7 shows a schematic diagram of an image processing circuit according to an embodiment. Referring to FIG. 7 , each aspect of an image processing technique related to an embodiment of the present invention is illustrated only for convenience of description.

도 7을 참조하면, 상기 이미지 처리 회로는 ISP 유닛(Image Signal Processing unit)(940) 및 제어 로직 유닛(control logic unit)(950)을 포함한다. 이미징 기기(910)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 유닛(940)에 의해 처리되고, 상기 ISP 유닛(940)은 상기 ISP 유닛 및/또는 이미징 기기(910)의 하나 이상의 제어 파라미터들을 판단하도록 구성 가능한 이미지 통계 정보를 캡처하기 위해 상기 이미지 데이터를 분석한다. 상기 이미징 기기(910)는 구체적으로 두 카메라들을 포함할 수 있고, 각각의 카메라는 하나 이상의 렌즈들(lenses)(912) 및 이미지 센서(sensor)(914)를 포함할 수 있다. 상기 이미지 센서(914)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있고, 상기 이미지 센서(914)는 상기 이미지 센서(914)의 각각의 이미징 픽셀에 의해 캡처된 광 강도(light intensity) 및 파장 정보(wavelength information)를 획득할 수 있고, 상기 ISP 유닛(940)에 대해 처리 가능한 원본 이미지 데이터 세트를 제공한다. 센서(920)는 상기 센서(920)의 인터페이스 유형에 기초하여 상기 ISP 유닛(940)에 대한 상기 원본 이미지 데이터를 제공할 수 있다. 상기 센서(920)의 인터페이스는 표준 모바일 이미징 아키텍처(Standard Mobile Imaging Architecture: SMIA) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스(serial or parallel camera interface) 또는 상기 인터페이스들의 조합을 채택할 수 있다.Referring to FIG. 7 , the image processing circuit includes an image signal processing unit (ISP) 940 and a control logic unit 950 . The image data captured by the imaging device 910 is first processed by the ISP unit 940 , the ISP unit 940 to determine one or more control parameters of the ISP unit and/or the imaging device 910 . Analyze the image data to capture configurable image statistical information. The imaging device 910 may specifically include two cameras, and each camera may include one or more lenses 912 and an image sensor 914 . The image sensor 914 may include an array of color filters (eg, Bayer filters), wherein the image sensor 914 is configured to include a light intensity captured by each imaging pixel of the image sensor 914 . intensity) and wavelength information, and provides a processable original image data set to the ISP unit 940 . The sensor 920 may provide the original image data to the ISP unit 940 based on the interface type of the sensor 920 . The interface of the sensor 920 may employ a Standard Mobile Imaging Architecture (SMIA) interface, another serial or parallel camera interface, or a combination of the interfaces.

상기 ISP 유닛(940)은 복수의 포맷들에 따라 픽셀 단위로 상기 원본 이미지 데이터를 처리한다. 예를 들면, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트의 비트 깊이(bit depth)를 가질 수 있다. 상기 ISP 유닛(940)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 조작들을 수행하고, 상기 이미지 데이터에 대한 상기 이미지 통계 정보(image statistical information)를 수집할 수 있으며, 상기 이미지 처리 조작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.The ISP unit 940 processes the original image data in units of pixels according to a plurality of formats. For example, each image pixel may have a bit depth of 8, 10, 12 or 14 bits. The ISP unit 940 may perform one or more image processing operations on the original image data, and collect the image statistical information on the image data, wherein the image processing operations are identical or different. It can be implemented depending on bit depth accuracy.

상기 ISP 유닛(940)은 이미지 메모리(930)로부터 상기 픽셀 데이터를 더 수신할 수 있다. 예를 들면, 상기 센서(920)의 상기 인터페이스는 상기 원본 픽셀 데이터를 상기 이미지 메모리(930)로 전송하고, 상기 이미지 메모리(930)의 상기 원본 픽셀 데이터는 처리를 위해 상기 ISP 유닛(940)에 제공된다. 상기 이미지 메모리(930)는 메모리 장치, 저장 기기 또는 전자 장치의 독립적인 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 특징을 포함할 수 있다.The ISP unit 940 may further receive the pixel data from the image memory 930 . For example, the interface of the sensor 920 sends the original pixel data to the image memory 930, and the original pixel data in the image memory 930 is sent to the ISP unit 940 for processing. is provided The image memory 930 may be a part of a memory device, a storage device, or an independent dedicated memory of an electronic device, and may include a DMA (Direct Memory Access) feature.

상기 센서(920)의 상기 인터페이스 또는 이미지 메모리(930)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(940)은 하나 이상의 이미지 처리 조작들, 예를 들어 시간-도메인 필터링(time-domain filtering)을 실행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 위해 상기 이미지 메모리(930)로 전송될 수 있다. 상기 ISP 유닛(940)은 상기 이미지 메모리(930)로부터 상기 처리된 데이터를 수신하고, 원본 도메인에서 이미지 데이터를 처리를 수행하고, 및 상기 처리된 데이터에 대해 RGB(Red, Green and Blue) 및 YCbCr 컬러 공간을 처리한다. 상기 처리된 이미지 데이터는 GPU(Graphics Processing Unit)에 의해 사용자가 뷰 및/또는 추가 처리를 위해 디스플레이(970)에 출력될 수 있다. 또한, 상기 ISP 유닛(940)의 출력은 상기 이미지 메모리(930)로 더 전송될 수 있고, 상기 디스플레이(970)는 상기 이미지 메모리(930)로부터 상기 이미지 데이터를 판독할 수 있다. 본 실시 예에서, 상기 이미지 메모리(930)는 하나 이상의 프레임 버퍼들(frame buffers)을 구현하도록 구성될 수 있다. 더욱이, 상기 ISP 유닛(940)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(coder/decoder)(960)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(970) 상에 디스플레이되기 전에 압축 해제된다. 상기 코더/디코더(960)는 CPU(Central Processing Unit) 또는 GPU 또는 코 프로세서(coprocessor)에 의해 구현될 수 있다.Upon receiving the original image data from the interface of the sensor 920 or from the image memory 930, the ISP unit 940 may perform one or more image processing operations, eg, time-domain filtering. ) can be executed. The processed image data may be transferred to the image memory 930 for further processing before display. The ISP unit 940 receives the processed data from the image memory 930, processes image data in an original domain, and performs RGB (Red, Green and Blue) and YCbCr on the processed data. Handle color space. The processed image data may be output to the display 970 for viewing and/or further processing by a user by a graphics processing unit (GPU). Also, the output of the ISP unit 940 may be further transmitted to the image memory 930 , and the display 970 may read the image data from the image memory 930 . In this embodiment, the image memory 930 may be configured to implement one or more frame buffers. Moreover, the output of the ISP unit 940 may be sent to a coder/decoder 960 for coding/decoding the image data. The coded image data may be stored and decompressed prior to being displayed on the display 970 . The coder/decoder 960 may be implemented by a central processing unit (CPU), a GPU, or a coprocessor.

상기 ISP 유닛(940)에 의해 판단된 상기 통계 정보는 상기 제어 로직 유닛(950)으로 전송될 수 있다. 예를 들면, 상기 통계 정보는 상기 이미지 센서(914)의 자동 노출, 자동 화이트 밸런스, 자동 초점, 섬광 검출, 블랙 레벨 보상, 상기 렌즈(912)의 그림자 보정 등의 통계 정보를 포함할 수 있다. 상기 제어 로직 유닛(950)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있고, 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 이미징 기기(910)의 상기 제어 파라미터 및 ISP 유닛의 상기 제어 파라미터를 판단할 수 있다. 예를 들면, 상기 제어 파라미터는, 상기 센서(920)에 대한 제어 파라미터(예를 들어, 이득 및 노출 제어를 위한 적분 시간), 카메라 섬광 제어 파라미터, 상기 렌즈(912)에 대한 제어 파라미터(예를 들어, 포커싱 또는 줌을 위한 초점 길이) 또는 이러한 파라미터들의 조합을 포함할 수 있다. 상기 ISP 유닛에 대한 상기 제어 파라미터는 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절을 위해 구성된 이득 레벨 및 컬러 보정 매트릭스 및 렌즈(912)에 대한 그림자 보정 파라미터를 포함할 수 있다.The statistical information determined by the ISP unit 940 may be transmitted to the control logic unit 950 . For example, the statistical information may include statistical information such as automatic exposure of the image sensor 914 , automatic white balance, automatic focus, glare detection, black level compensation, and shadow correction of the lens 912 . The control logic unit 950 may include a processor and/or a microcontroller executing one or more routines (eg, firmware), the one or more routines executing the imaging device 910 according to the received statistical data. ) and the control parameter of the ISP unit. For example, the control parameter may include a control parameter for the sensor 920 (eg, integral time for gain and exposure control), a camera flash control parameter, and a control parameter for the lens 912 (eg, for example, focal length for focusing or zooming) or a combination of these parameters. The control parameters for the ISP unit may include a gain level and color correction matrix configured for automatic white balance and color adjustment (eg, during RGB processing) and shadow correction parameters for the lens 912 .

본 명세서의 상기 설명들에서, "실시 예", "일부 실시 예", "예시", "구체 예시", "일부 예시"등의 용어를 참조하여 이루어진 설명들은, 상기 실시 예 또는 상기 예시와 조합하여 기술된 특정 특징들, 구조들, 재료들 또는 특성들은 본 발명의 적어도 하나의 실시 예 또는 예시에 포함된다는 것을 의미한다. 본 명세서에서, 이들 용어는 반드시 동일한 실시 예 또는 예시에 대해 개략적으로 표현되는 것은 아니다. 또한, 구체적으로 설명된 특징들, 구조들, 재료들 또는 특성들은 임의의 하나 이상의 실시 예들 또는 예시들에서 적절한 방식으로 결합될 수 있다. 또한, 당업자는 본 명세서에 기술된 상이한 실시 예들 또는 예시들 및 상이한 실시 예들 또는 예시들의 특징들을 충돌없이 통합하고 결합할 수 있다.In the above descriptions of this specification, descriptions made with reference to terms such as “embodiments”, “some embodiments”, “examples”, “specific examples”, and “some examples” are combined with the embodiments or the examples. means that the particular features, structures, materials or characteristics described are included in at least one embodiment or illustration of the invention. In this specification, these terms are not necessarily expressed schematically for the same embodiment or illustration. Further, the specifically described features, structures, materials, or characteristics may be combined in any suitable manner in any one or more embodiments or examples. In addition, those skilled in the art may incorporate and combine different embodiments or examples and features of different embodiments or examples described herein without conflict.

또한, "제1" 및 "제2" 라는 용어들은 단지 설명을 위해 채택된 것으로서, 상대적 중요성을 나타내거나 암시하거나 상기 지시된 기술적 특징들의 수를 암시적으로 나타내는 것으로 이해되어서는 안 된다. 따라서, "제1" 및 "제2"에 의해 정의된 특징은 그러한 특징 중 적어도 하나의 포함을 명시 적 또는 암시적으로 나타낼 수 있다. 본 발명의 상기 설명들에서, "다수"는 달리 명확하고 구체적으로 제한되지 않는 한, 적어도 둘 예를 들어 둘 및 셋을 의미한다.Also, the terms “first” and “second” are adopted for the purpose of description only, and should not be construed as indicating or implying a relative importance or implicitly indicating the number of technical features indicated above. Thus, a feature defined by “first” and “second” may expressly or implicitly indicate the inclusion of at least one of those features. In the above descriptions of the present invention, "many" means at least two, such as two and three, unless otherwise clearly and specifically limited.

상기 순서도들에서 또는 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법은 상기 프로세스의 특정 논리 기능들 또는 동작들을 실현하도록 구성된 하나 이상의 실행 가능한 명령어들의 코드들을 포함하는 모듈, 세그먼트 또는 파트를 나타내는 것으로 이해될 수 있고, 또한, 본 발명의 바람직한 구현 모드의 범위는 상기 관련된 기능에 따른 기본적으로 동시에 또는 반대 순서로 상기 기능들의 실행을 포함하여, 본 명세서에서 도시되거나 논의된 순서가 아닌 다른 구현을 포함한다. 이는 본 발명의 실시 예들의 당업자에 의해 이해되어야 한다.Any process or method described herein, in the flowcharts or otherwise, is intended to represent a module, segment, or part comprising codes of one or more executable instructions configured to realize the particular logical functions or operations of the process. As can be understood, furthermore, the scope of preferred implementation modes of the present invention include implementations other than the order shown or discussed herein, including the execution of the functions essentially concurrently or in a reverse order in accordance with the related functions. do. This should be understood by those skilled in the art of the embodiments of the present invention.

상기 순서도들에서 또는 다른 방법으로 본 명세서에 기술된 논리들 및/또는 동작들은, 예를 들어, 상기 논리 기능들을 실현하도록 구성된 실행 가능한 명령어들의 고정된 순서 목록으로서 간주될 수 있고, 명령어 실행 시스템, 장치 또는 기기가 명령어 실행 시스템, 장치 또는 기기(예를 들어, 컴퓨터 기반 시스템으로서, 상기 시스템은 명령어 실행 시스템, 장치 또는 기기로부터 명령어들을 읽고 상기 명령어들을 실행할 수 있는 프로세서 또는 다른 시스템을 포함함)와 함께 사용하거나 사용하기 위해 임의의 컴퓨터 판독 가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에 대해서, "컴퓨터 판독 가능 매체"는 명령어 실행 시스템, 장치 또는 기기가 사용할 프로그램 또는 상기 명령어 실행 시스템, 장치 또는 기기와 조합하여 사용할 목적의 프로그램을 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 예(비 제한 목록)는, 하나 이상의 전선을 가지는 전기 연결부(전자 장치), 휴대용 컴퓨터 디스크(자기 장치), 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM) (또는 플래시 메모리), 광섬유 장치, 및 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM)를 포함한다. 또한, 상기 컴퓨터 판독 가능 매체는 심지어 종이 또는 프로그램이 인쇄될 수 있는 다른 매체일 수 있고, 이는 예를 들어, 상기 컴퓨터 메모리에 저장할 목적으로 전자 방식으로 프로그램을 획득하기 위해 상기 종이 또는 상기 다른 매체는 광학적으로 스캔된 후 편집, 설명 또는 필요할 때 다른 적절한 방식으로 처리될 수 있기 때문이다.Logics and/or operations described herein, in the flowcharts or otherwise, may be considered, for example, as a fixed ordered list of executable instructions configured to implement the logical functions, including: an instruction execution system; An apparatus or apparatus comprises an instruction execution system, apparatus or apparatus (e.g., a computer-based system comprising a processor or other system capable of reading and executing instructions from the instruction execution system, apparatus or apparatus); It may be embodied specifically in any computer readable medium for use or use with it. For the purposes of this specification, a "computer-readable medium" means a program capable of containing, storing, communicating, propagating, or transmitting an instruction execution system, device or device for use in, or a program for use in combination with the instruction execution system, device or device. It can be any device. More specific examples (non-limiting list) of the computer readable medium include an electrical connection having one or more wires (electronic devices), portable computer disks (magnetic devices), random access memory (RAM), read only memory (ROM), Erasable read-only memory (EPROM) (or flash memory), fiber optic devices, and portable compact disk read-only memory (CD-ROM). Furthermore, the computer readable medium may even be paper or other medium on which a program can be printed, which may be, for example, on the paper or other medium to obtain a program electronically for storage in the computer memory. Because it can be optically scanned and then edited, described or processed in any other suitable way when needed.

본 발명의 각 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 구현될 수 있음을 이해해야 한다. 전술한 구현 모드에서, 다수의 동작들 또는 방법들은 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 구현되고, 적절한 명령어 실행 시스템에 의해 실행될 수 있다. 예를 들면, 상기 하드웨어로 구현하는 경우, 다른 구현 모드와 같이 당업계에 공지된 데이터 신호의 논리 기능을 실현하기 위한 논리 게이트 회로를 가지는 이산 논리 회로(discrete logic circuit), 적절한 조합 논리 게이트 회로를 가지는 어플리케이션-특정 집적 회로(application-specific integrated circuit), 프로그래머블 게이트 어레이(PGA), FPGA(Field Programmable Gate Array) 등의 기술 중 임의의 하나 또는 조합이 구현을 위해 채택될 수 있다.It should be understood that each part of the present invention may be implemented by hardware, software, firmware, or a combination thereof. In the implementation mode described above, a number of operations or methods may be implemented by software or firmware stored in a memory, and executed by a suitable instruction execution system. For example, when implemented in hardware, a discrete logic circuit having a logic gate circuit for realizing a logic function of a data signal known in the art, as in other implementation modes, an appropriate combinational logic gate circuit Any one or combination of technologies such as an application-specific integrated circuit, a programmable gate array (PGA), a field programmable gate array (FPGA), and the like may be employed for implementation.

당업자는 전술한 실시 예의 상기 방법에서 상기 동작들의 전부 또는 일부가 프로그램에 의해 지시된 관련 하드웨어를 통해 완료될 수 있음을 이해해야 하고, 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램이 실행될 때, 상기 방법 실시 예의 동작 중 하나 이상의 동작들이 포함된다.Those skilled in the art should understand that in the method of the above-described embodiment, all or part of the operations may be completed through related hardware indicated by a program, the program may be stored in a computer-readable storage medium, and the program When executed, one or more operations of the method embodiment are included.

또한, 본 발명의 각 실시 예에서의 각각의 기능 유닛은 처리 모듈에 통합될 수 있고, 각각의 유닛은 또한 물리적으로 독립적으로 존재할 수 있고, 둘 이상의 유닛들이 또한 하나의 모듈에 통합될 수 있다. 상기 통합 모듈은 하드웨어 형태로 구현될 수 있고, 소프트웨어 기능 모듈 형태로도 구현될 수 있다. 소프트웨어 기능 모듈의 형태로 구현되고, 독립적인 제품으로서 판매 또는 사용되는 경우, 상기 통합 모듈은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.In addition, each functional unit in each embodiment of the present invention may be integrated into a processing module, each unit may also exist physically independently, and two or more units may also be integrated into one module. The integrated module may be implemented in the form of hardware or may be implemented in the form of a software function module. When implemented in the form of a software function module and sold or used as an independent product, the integrated module may be stored in a computer-readable storage medium.

상기 저장 매체는 읽기 전용 메모리, 자기 디스크, 광 디스크 등일 수 있다. 본 발명의 실시 예는 위에서 예시되거나 설명되었다. 그러나, 전술한 실시 예들은 예시적인 것이며 본 발명에 대한 제한으로서 이해되어서는 안 되며, 당업자는 본 발명의 범위 내에서 상기 언급된 실시 예에 대한 변형, 수정, 대체, 전환을 행할 수 있음을 이해할 수 있다.The storage medium may be a read-only memory, a magnetic disk, an optical disk, or the like. Embodiments of the present invention have been illustrated or described above. However, it is to be understood that the above-described embodiments are illustrative and should not be construed as limitations on the present invention, and that those skilled in the art can make variations, modifications, substitutions, and variations on the above-mentioned embodiments within the scope of the present invention. can

Claims

Determining the main camera and the auxiliary camera from the two cameras according to the ambient luminance - The two cameras include a first camera and a second camera, and the resolution of the first camera is higher than the resolution of the second camera, , the light sensitivity (ISO) of the second camera is higher than that of the first camera; When the ambient luminance is higher than the threshold luminance, the first camera is determined as the main camera, the second camera is determined as the auxiliary camera, and when the ambient luminance is not higher than the threshold luminance, the second camera is selected determining the main camera and determining the first camera as the auxiliary camera;
Acquiring first images of n frames with the main camera, and obtaining a plurality of auxiliary images with the auxiliary camera - The plurality of auxiliary images and the first image are photographed simultaneously, n is a natural number equal to or greater than 2; The first images of the n frames include a basic frame image of a frame, and in the plurality of auxiliary images photographed by the auxiliary camera, an auxiliary image obtained by shooting simultaneously with the basic frame image photographed by the main camera select, wherein the basic frame image is the clearest frame image among the first images of the n frames;
obtaining a main image of a frame by performing synthesis noise reduction on the first images of the n frames;
calculating depth information of the main image according to the main image and the selected auxiliary image; and
performing blurring processing on the main image according to the depth information of the main image to obtain a requested second image;
It characterized in that it comprises, the image processing method.

The method of claim 1,
After the two cameras determine the main camera and the auxiliary camera according to the ambient luminance,
determining the number of composite frames n corresponding to the main camera according to the ambient luminance, where n forms a negative relationship with the ambient luminance and has a value in the range of 2 to 6, the environment when ? is lowered, the composite frame quantity is increased;
Further comprising a, image processing method.

The method of claim 1,
Before the operation of determining the main camera and the auxiliary camera in the double cameras according to the ambient luminance,
reading the ISO (International Standardization Organization) values of the two cameras; and
determining the ambient luminance according to the read ISO values of the two cameras;
Further comprising a, image processing method.

4. The method according to any one of claims 1 to 3,
After the operation of obtaining the main image of a frame by performing synthesis noise reduction on the first images of the n frames, and before the operation of calculating the depth information of the main image according to the main image and the auxiliary image,
The method is:
determining the main image resolution according to the photographing mode and the resolution of the main camera, and determining the auxiliary image resolution according to the photographing mode and the resolution of the auxiliary camera; and
adjusting the resolution of the main camera according to the resolution of the main image and adjusting the resolution of the auxiliary image according to the resolution of the auxiliary image;
Further comprising a, image processing method.

an acquisition module, configured to determine the main camera and the auxiliary camera from the two cameras according to ambient luminance, wherein the two cameras include a first camera and a second camera, the resolution of the first camera being higher than the resolution of the second camera high, and the light sensitivity of the second camera is higher than that of the first camera, and when the ambient luminance is higher than the threshold luminance, the first camera is determined as the main camera, and the second camera is determined as the auxiliary camera and when the ambient luminance is not higher than the threshold luminance, determining the second camera as the main camera and determining the first camera as the auxiliary camera;
an acquisition module, configured to acquire first images of n frames with the main camera and acquire a plurality of auxiliary images with the auxiliary camera, wherein the plurality of auxiliary images and the first image are photographed simultaneously, n is a natural number greater than or equal to 2 and the first images of the n frames include a basic frame image of a frame, and are photographed simultaneously with the basic frame image photographed by the main camera in the plurality of auxiliary images photographed by the auxiliary camera select the obtained auxiliary image, wherein the basic frame image is the clearest frame image among the first images of the n frames;
a noise reduction module, configured to perform synthesis noise reduction on the first images of the n frames to obtain a main image of a frame;
a calculation module, configured to calculate depth information of the main image according to the main image and the selected auxiliary image; and
a processing module configured to perform blurring processing on the main image according to the depth information of the main image to obtain a requested second image;
It characterized in that it comprises, the image processing device.

6. The method of claim 5,
A determination module, configured to determine the main camera and the auxiliary camera of the double cameras according to the ambient luminance, and to determine the combined number of frames n corresponding to the main camera according to the ambient luminance - n is the ambient luminance and forming an inverse relationship, having a value in the range of 2 to 6, and when the environment is lowered, the composite frame quantity is increased;
The image processing device, characterized in that it further comprises.

6. The method of claim 5,
a reading module configured to read ISO (International Standardization Organization) values of the two cameras and determine the ambient luminance according to the read ISO values of the two cameras;
The image processing device, characterized in that it further comprises.

Image processing apparatus comprising a processor and a memory storing instructions, when executed by the processor, the instructions cause the processor to perform the method according to any one of claims 1 to 4 .

A computer program is stored therein, the computer program being executed by a computer to implement the method according to any one of claims 1 to 4, a computer readable storage medium.

delete