KR20200031689A - 이미지 처리 방법, 장치 및 기기 - Google Patents

이미지 처리 방법, 장치 및 기기 Download PDF

Info

Publication number
KR20200031689A
KR20200031689A KR1020207005971A KR20207005971A KR20200031689A KR 20200031689 A KR20200031689 A KR 20200031689A KR 1020207005971 A KR1020207005971 A KR 1020207005971A KR 20207005971 A KR20207005971 A KR 20207005971A KR 20200031689 A KR20200031689 A KR 20200031689A
Authority
KR
South Korea
Prior art keywords
image
primary
images
depth information
camera
Prior art date
Application number
KR1020207005971A
Other languages
English (en)
Other versions
KR102279436B1 (ko
Inventor
딴 오우양
궈휘 딴
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200031689A publication Critical patent/KR20200031689A/ko
Application granted granted Critical
Publication of KR102279436B1 publication Critical patent/KR102279436B1/ko

Links

Images

Classifications

    • G06T5/002—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 처리 방법, 장치 및 기기가 제공된다. 상기 방법은, 1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하며; 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하고; 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 상기 타깃 1차 이미지를 생성하도록, 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위하여 제1스레드를 호출하고, 동시에 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻기 위해 제2스레드를 호출하며; 및 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행함을 포함한다. 따라서, 상기 깊이 정보의 계산 정확도 및 그 이미지 처리 효율을 향상시킨다.

Description

이미지 처리 방법, 장치 및 기기
설명된 실시 예는 상기 이미지 처리 기술의 기술 분야에 관한 것이며, 특히 이미지 처리 방법, 장치 및 기기에 관한 것이다.
단말 기기들을 위한 제조 기술의 발전으로, 많은 현재의 단말 기기들에 듀얼 카메라가 구비되어 있다. 일반적으로, 상기 듀얼 카메라는 사용자들의 다양한 요구를 충족시킬 목적으로, 상기 깊이 정보에 따라 연관된 이미지 처리 동작들을 수행하기 위하여, 깊이 정보를 획득하는데 널리 사용된다.
그러나, 종래 기술에서는, 상기 깊이 정보를 계산하기 위해 오랜 시간이 걸리므로, 상기 깊이 정보에 따라 상기 연관된 이미지 처리 동작들을 수행하는데 오랜 시간이 걸리고, 이미지 처리 효율이 낮다.
본 발명의 일 실시 예에 의해 해결될 기술적 과제는 이미지 처리 방법, 이미지 처리 장치 및 컴퓨터 기기를 제공하는 것이고, 이는 상기 깊이 정보의 계산 정확도 및 그 이미지 처리 효율을 향상시키기 위한 것이다.
본 발명의 일 실시 예에 따른 이미지 처리 방법은, 1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하며; 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하고; 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하여 타깃 1차 이미지를 생성하고, 동시에 제2스레드를 호출하여 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻고; 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행함을 포함한다.
본 발명의 다른 실시 예에 따른 이미지 처리 장치는, 1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하도록 구성된 촬영 모듈; 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하도록 구성된 제1획득 모듈; 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 타깃 1차 이미지를 생성하도록 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위하여 제1스레드를 호출하며, 동시에 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻기 위하여 제2스레드를 호출하도록 구성된 제2획득 모듈; 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행하도록 구성된 처리 모듈을 포함한다.
본 발명의 다른 실시 예에 따른 컴퓨터 기기는, 비 휘발성 스토리지 및 프로세서를 포함하고, 상기 스토리지는 상기 프로세서에 의해 호출되고 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 저장하며, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 호출되고 상기 프로세서에서 실행될 때, 전술한 바와 같은 방법이 구현된다.
본 발명의 실시 예에서 설명된 기술적 해결 수단을 보다 명확하게 하기 위해, 실시 예의 설명에 사용된 도면이 간략하게 설명될 것이다. 명백하게, 아래에 기술된 도면들은 단지 예시를 위한 것이며 제한적인 것은 아니다. 당업자는 본 발명의 작업을 수행하지 않고도 이들 도면에 기초하여 다른 도면을 획득할 수 있음을 이해해야 한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 삼각 측정의 원리를 도시한 개략도이다.
도 3은 본 발명의 일 실시 예에 따른 듀얼 카메라로 깊이 정보를 획득하기 위한 개략도이다.
도 4는 본 발명의 일 실시 예에 따른 장면에서 상기 이미지 처리 방법을 구현하기 위한 개략도이다.
도 5는 본 발명의 특정 실시 예에 따른 이미지 처리 방법의 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조를 도시한 개략도이다.
도 7은 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 구조를 도시한 개략도이다.
도 8은 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 구조를 도시한 개략도이다.
도 9는 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다.
도 10은 본 발명의 다른 실시 예에 따른 다른 이미지 처리 회로의 개략도이다.
본 발명의 다음의 실시 예들이 상세하게 설명될 것이며, 그 사례들은 첨부 도면에 도시되어 있으며, 동일하거나 유사한 참조 번호는 동일하거나 유사한 기능을 수행하는 동일하거나 유사한 요소 또는 요소를 나타내기 위해 전체에 걸쳐 사용되었다. 첨부 도면을 참조하여 아래에 설명된 실시 예는 단지 예시적인 것이며, 이는 본 발명을 제한하기보다는 예시적인 것으로 의도된다.
이하, 본 발명의 실시 예들에서 제공되는 이미지 처리 방법 및 이동 단말기에 대하여 도면을 참조하여 설명한다.
본 발명의 실시 예에서의 상기 이미지 처리 방법은 이동통신 단말기, 테이블 PC, 개인 휴대 정보 단말기(PDA), 웨어러블 장비 등과 같이 듀얼 카메라를 구비한 하드웨어 장치에 의해 구현될 수 있다. 상기 웨어러블 기기는 스마트 팔찌, 스마트 시계, 스마트 안경 등일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도이다. 도 1을 참조하면, 상기 방법은 다음 블록들을 포함한다.
블록(101)에서, 1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처한다.
본 발명의 실시 예에서, 상기 1차 카메라에 의해 캡처된 1차 이미지 및 상기 2차 카메라에 의해 캡처된 2차 이미지는 계산함으로써 상기 1차 이미지 및 상기 2차 이미지에서 동일한 오브젝트의 깊이 정보를 달성하기 위해 사용되며, 상기 1차 이미지는 최종 이미지화 된 실제 이미지에 대한 기본 이미지이다. 상기 1차 이미지 및 상기 2차 이미지에 따라 상기 깊이 정보를 계산할 때 상기 2차 이미지와 크게 다른 상기 1차 이미지에 의해 계산된 깊이 정보가 부정확하게 발생하거나 혹은 또는 상기 1차 이미지가 불분명하여 이미지 효과가 나쁜 최종 이미지 문제를 피하기 위하여, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하도록 제어되고, 동시에 상기 2차 카메라는 상기 복수의 2차 이미지를 캡처하도록 제어되며, 따라서, 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지로부터 최적의 이미지를 선택할 수 있어, 상기 깊이 정보의 정확성 및 상기 최종 이미징 효과를 향상시킨다. 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 촬영 지시 또는 동일한 촬영 동작에 따라 기 설정된 기간(가령, 1s) 동안 캡처될 수 있다. 또한, 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 주파수 하에서 캡처되므로, 상기 복수의 1차 이미지 중 어느 하나가 해당 2차 이미지와 공동 캡쳐되도록 하고, 상기 복수의 1차 이미지 중 어느 하나의 이미지 및 상기 해당 공동 캡처된 2차 이미지는 동일한 그룹에 속한다.
물론, 종래 기술에서, 상기 듀얼 카메라는 저조도 조건에서 나쁜 이미징 효과를 가진다. 고조도 조건에서, 상기 듀얼 카메라는 일반적으로 충분한 조명으로 인해 우수한 이미징 효과를 가진다. 상기 고조도 조건에서 캡처된 상기 1차 이미지와 상기 2차 이미지는 일반적으로 고화질이고, 따라서 상기 1차 카메라와 상기 2차 카메라는 1차 이미지와 2차 이미지만 동시에 캡처하도록 제어되며, 일반적으로 상기 깊이 정보를 높은 정확도로 계산하고 우수한 최종 이미징 효과를 얻을 수 있다. 따라서, 상기 전체 시스템의 상기 처리 압력을 감소시키기 위해, 본 발명은 저조도 조건에서만 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지를 캡처할 수 있다.
구체적으로, 본 발명의 일 실시 예에서, 상기 단말 기기에 배치된 포토 센서(photo sensor)에 의해 촬영 환경의 휘도를 검출하는 것과 같은 상기 촬영 환경의 휘도를 검출한다. 상기 그 휘도가 기 설정된 임계 값 미만인 것으로 검출할 때, 이는 상기 현재 환경의 휘도가 상기 단말 기기의 상기 이미징 효과에 영향을 줄 수 있음을 의미하고, 따라서, 상기 1차 카메라 및 상기 2차 카메라는 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지를 동시에 캡처하도록 제어된다.
상기 기 설정된 임계 값은 상기 환경의 휘도가 대량의 실험 데이터에 따라 상기 이미징 효과에 영향을 미치는지 여부를 판정하기 위한 기본 휘도 값일 수 있다. 상기 기 설정된 임계 값은 상기 단말 기기의 상기 이미징 하드웨어와 관련될 수 있고, 상기 이미징 하드웨어의 감광성이 우수할수록, 상기 기 설정된 임계 값은 낮다.
블록(102)에서, 상기 복수의 1차 이미지로부터 기준 1차 이미지를 선택하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 선택한다.
블록(103)에서, 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 타깃 1차 이미지를 생성하기 위해 상기 복수의 1차 이미지에 대해 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위해 제1스레드를 호출하고, 동시에 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 상기 깊이 정보를 획득하기 위해 제2스레드를 호출한다.
전술한 바와 같이, 상기 듀얼 카메라는 상기 1차 이미지와 상기 2차 이미지를 사용하여 상기 깊이 정보를 계산한다. 상기 듀얼 카메라에 의해 상기 깊이 정보를 획득하는 방법을 보다 명확하게 설명하기 위하여, 상기 듀얼 카메라에 의해 상기 깊이 정보를 획득하는 원리가 도면을 참조하여 설명 될 것이다.
눈은 스테레오 비전에 기초하여 상기 깊이 정보를 구별하는데, 이는 상기 깊이 정보를 구별하는 상기 듀얼 카메라의 원리와 동일하며, 주로 도 2에 도시된 바와 같은 삼각 측정(triangular measurement) 원리에 의해 달성된다. 도 2에서, 이미징 오브젝트(imaging object), 상기 듀얼 카메라의 위치들(OR 및 OT), 상기 듀얼 카메라의 초점면들(focus plane)이 실제 공간에 도시되어 있다. 상기 초점면들은 상기 듀얼 카메라가 각각 거리(f)로 위치하는 평면으로부터 떨어져 있고, 상기 듀얼 카메라는 상기 초점면에서 각각 2 개의 이미지를 캡처한다.
포인트(P)와 포인트(P')는 상이한 2개의 캡처된 이미지들에서 동일한 오브젝트의 위치이다. 상기 P 지점은 이미지의 가장 왼쪽 경계로부터 이격되고, 여기서 상기 포인트(P)는 거리(XR)에 위치하고; 및 상기 P' 지점은 다른 이미지의 가장 왼쪽으로부터 이격되고, 여기서 상기 포인트(P')는 거리(XT)에 위치한다. 포인트들(OR 및 OT)은 각각 2개의 카메라를 나타내며, 상기 2개의 카메라는 동일한 평면에 배치되고, 거리(B)로 서로 이격된다.
상기 삼각 측정의 원리에 따라, 도 2에 도시된 바와 같은 오브젝트는 상기 평면으로부터 이격되고, 상기 평면에서 상기 2개의 카메라는 거리(Z)에 위치한다; 및 상기 거리(Z)는 공식
Figure pct00001
을 충족한다.
따라서,
Figure pct00002
에서 d는 2개의 상이한 캡쳐된 이미지에서 동일한 오브젝트의 위치들 사이의 차이라는 결론을 내릴 수 있다. B, f는 상수 값(constant values)이므로, 상기 오브젝트의 거리(Z)는 차이(d)에 따라 결정될 수 있다.
다시 말해, 상기 깊이 정보는 공식
Figure pct00003
을 만족하는 삼각 측정에 의해 획득될 수 있고, 여기서 B는 상기 1차 카메라와 상기 2차 카메라 사이의 거리이고; f는 초점면과 상기 1차 카메라 및 상기 2차 카메라가 있는 평면 사이의 거리이며; Z는 오브젝트와 상기 1차 카메라와 상기 2차 카메라가 있는 평면 사이의 거리이며, 상기 깊이 정보를 나타내며, 상기 오브젝트는 제1포인트에서 상기 기준 1차 이미지로 이미지화되고, 상기 오브젝트는 또한 제2포인트에서 상기 기준 2차 이미지로 이미지화되며, XR과 XT 중 하나는 상기 기준 1차 이미지의 제1포인트와 가장 왼쪽 경계 사이의 거리이고, XR 및 XT 중 다른 하나는 상기 기준 2차 이미지의 제2포인트와 가장 왼쪽 경계 사이의 거리이며; 및 d는 거리(XR)과 거리(XT)의 차이이며, 상기 기준 1차 이미지의 제1포인트와 상기 기준 2차 이미지의 제2포인트 사이의 위치 차이를 나타내며, 양자 모두 동일한 오브젝트에 대응한다.
물론, 상기 1차 이미지의 상기 깊이 정보를 계산하기 위해 상기 삼각 측정 대신 다른 방법을 채택할 수 있다. 예를 들어, 상기 1차 카메라와 상기 2차 카메라가 동일한 장면을 촬영할 때, 상기 장면의 오브젝트와 상기 카메라 사이의 거리는 상기 1차 카메라와 상기 2차 카메라에 의해 이미지화 된 이미지들 사이의 변위 차이(displacement difference) 또는 자세 차이(posture difference)에 비례한다. 따라서, 본 발명의 일 실시 예에서, 상기 거리(Z)는 이러한 비율에 따라 달성될 수 있다.
즉, 본 발명의 일 실시 예에서, 오브젝트와 상기 1차 카메라와 상기 2차 카메라가 위치하는 평면 사이의 거리가 동일한 오브젝트에 대응하는 상기 기준 1차 이미지의 이미지 포인트들과 상기 기준 1차 2차 이미지 사이의 변위 차이 또는 자세 차이에 비례 계수에 비례하기 때문에, 상기 깊이 정보는 상기 비례 계수 및 변위 차이 또는 자세 차이에 따라 얻어진다.
예를 들어, 도 3을 참조하면, 상기 1차 카메라에 의해 캡처된 1차 이미지와 상기 2차 카메라에 의해 캡처된 2차 이미지는 시차 이미지(parallax image)로 나타나는 차이들이 있는 포인트들을 계산하는데 사용된다. 상기 시차 이미지는 2개 이미지에서 동일한 지점의 포인트 간 변위 차이를 보여준다. 상기 변위 차이는 상기 삼각 측량 위치에서 상기 거리(Z)에 비례하기 때문에, 상기 시차 이미지는 종종 상기 깊이 정보를 보여주기 위해 직접 이미지로 사용된다.
위에서, 상기 깊이 정보를 달성하기 위해 상기 듀얼 카메라를 사용하는 경우, 상이한 이미지들에서 동일한 오브젝트의 위치들을 획득할 필요가 있고, 따라서, 상기 깊이 정보를 달성하기 위해 상기 듀얼 카메라에 의해 캡처된 2개의 이미지가 더 근접할수록, 상기 깊이 정보를 달성하기 위한 효율 및 상기 깊이 정보의 정확성이 더 높다는 것을 알 수 있다.
본 발명의 실시 예에서, 1차 카메라와 2차 카메라는 상기 복수의 1차 이미지와 상기 복수의 2차 이미지를 동시에 캡처하기 때문에, 따라서, 동시에 공동 캡처된 1차 이미지 및 2차 이미지는 동일한 그룹에 속하고, 서로 근접하며, 상기 멀티 프레임 합성 노이즈 감소 처리를 수행하기 전에 소스 1차 이미지와 소스 2차 이미지가 상기 깊이 정보를 달성하기 위해 사용되어 정확한 깊이 정보를 달성한다는 것을 이해할 수 있다.
물론, 저조도 조건 등과 같은 열악한 환경에서 촬영할 때, 전술한 바와 같이 상기 복수의 1차 이미지 및 상기 복수의 2차 이미지의 노이즈가 심하고, 따라서, 이러한 장면에서, 상기 깊이 정보의 정확도를 더욱 향상시키기 위해 상기 복수의 2차 이미지에 대해 멀티-프레임 노이즈 감소를 수행하고, 상기 노이즈 감소 후의 2 차 이미지 및 1 차 이미지에 따라 상기 깊이 정보를 계산할 수 있다.
구체적으로, 기준 1차 이미지는 상기 복수의 1차 이미지로부터 선택되고, 기준 2차 이미지는 상기 복수의 1차 이미지로부터 선택되며, 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 이미지이다. 실제 응용에서, 상기 1차 카메라 및 상기 2차 카메라는 상기 실제 촬영 과정에서 동일한 주파수로 복수의 1차 이미지 및 2차 이미지를 캡처하고, 동시에 공동 캡처된 1차 이미지와 2차 이미지는 동일한 그룹에 있다는 점에 유의해야 한다. 예를 들면, 시간 순서에 따라, 상기 1차 카메라에 의해 캡처된 상기 복수의 1차 이미지는 1차 이미지(11), 1차 이미지(12), 등을 포함하고; 상기 2차 카메라에 의해 캡처된 상기 복수의 2차 이미지는 2차 이미지(21), 2차 이미지(22), 등을 포함하며; 상기 1차 이미지(11)와 상기 2차 이미지(21)는 동일한 그룹에 있고, 상기 1차 이미지(12)와 상기 2차 이미지(22)는 동일한 그룹에 있다. 상기 깊이 정보를 달성하기 위한 효율성 및 상기 깊이 정보의 정확성을 더 개선하기 위하여, 상기 기준 1차 이미지는 상기 복수의 1차 이미지들로부터 선택된 고화질의 1차 이미지일 수 있다. 또는, 많은 이미지를 캡처할 때, 고화질의 일부 1차 이미지와 일부 2차 이미지를 미리 선택할 수 있고, 그리고 선택 효율을 향상시키기 위해, 고화질을 가지는 상기 일부 1차 이미지 및 상기 일부 2차 이미지에서 기준 1차 이미지 및 해당 2차 이미지를 선택한다.
더 나아가, 상기 깊이 정보를 계산하는데 오랜 시간이 걸리므로, 멀티 스레드 기반 병렬 처리 메커니즘이 시작되므로, 상기 1차 이미지에 대해 멀티 프레임 합성 노이즈 감소 처리를 수행하여 오브젝트 1차 이미지를 생성하기 위해 제1스레드가 호출되고, 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 획득하기 위해 제2스레드가 동시에 호출된다. 따라서, 한편에서, 상기 복수의 1차 이미지는 상기 멀티 프레임 합성 노이즈 감소 처리에 의해 처리되어 깊이 정보를 계산하는 동안 타깃 1차 이미지를 획득할 수 있고, 따라서, 상기 깊이 정보를 획득한 후 상기 깊이 정보 및 상기 타깃 1차 이미지에 따라 블러링 처리를 직접 수행할 수 있다. 본 발명은 상기 깊이 정보를 먼저 획득한 후 상기 1차 이미지에 대해 상기 노이즈 감소를 수행하는 모드와 비교하여 상기 이미지 처리 효율을 크게 향상시킬 수 있다. 다른 한편에서, 상기 멀티 프레임 합성 노이즈 감소 처리를 통해 명확한 세부 사항으로 상기 타깃 1차 이미지를 얻을 수 있으며, 상기 이미지 품질이 높고 블러링 후의 상기 이미지 효과가 우수하다.
상기 멀티 프레임 합성 노이즈 감소 처리를 명확하게 이해하기 위해 저조도 장면에서 상기 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 설명한다.
상기 환경 조명이 열악한 경우, 상기 단말 장치와 같은 상기 이미징 기기는 일반적으로 그 감도를 자동 개선하는 모드를 사용하여 촬영하지만, 이러한 모드는 많은 노이즈 포인트를 가지는 이미지를 야기할 것이다. 상기 멀티 프레임 합성 노이즈 감소 처리는 이미지의 노이즈 포인트를 감소시켜 고감도 조건에서 촬영된 이미지 품질을 향상시키도록 구성된다. 상기 그 원리는 잘 알려진 노이즈 포인트가 순서대로 정렬되지 않는다는 것이다. 구체적으로, 복수의 이미지를 캡처한 후, 동일한 위치의 노이즈 포인트들은 레드 노이즈 포인트, 그린 노이즈 포인트 또는 화이트 노이즈 포인트일 수 있고; 특히 동일한 위치에는 노이즈 포인트가 없다. 그러므로, 상기 복수의 이미지의 동일한 위치에 있는 노이즈 포인트들은 서로 대응할 수 있는 상이한 픽셀 값을 갖지만, 실제 오브젝트를 디스플레이 하기 위한 상기 복수의 이미지의 동일한 위치에 있는 다른 픽셀 포인트는 실질적으로 동일한 픽셀 값을 갖기 때문에, 노이즈 포인트들에 속하는 픽셀 포인트들을 필터링하기 위한 비교 및 필터링 조건이 있고, 따라서, 멀티 프레임 합성 노이즈 감소 처리는 실제 오브젝트를 디스플레이 하기 위해 실제 픽셀 포인트들로부터 노이즈 포인트들을 필터링할 수 있다. 또한 상기 이미지들이 많을수록 실제 오브젝트를 디스플레이 하기 위해 상기 노이즈 포인트들과 실제 픽셀 포인트들의 값을 보다 정확하게 필터링하여 실제 값에 더 가깝고, 이로써 합성된 이미지가 더 선명해진다. 또한, 상기 노이즈 포인트들을 필터링 한 후, 상기 노이즈 포인트들을 제거하기 위한 컬러 스펙큘레이팅(color-speculating) 및 픽셀 교체(pixel-replacing) 처리를 수행하도록 알고리즘이 더 채택될 수 있다. 상기한 처리 후, 이미지 손실이 적으면 노이즈 감소 효과를 얻을 수 있다.
예를 들어, 간단한 멀티 프레임 합성 노이즈 감소 방법에서, 복수의 이미지를 캡처하고, 상기 복수의 이미지의 동일한 위치에 대응하는 픽셀 포인트들의 값을 판독하고, 사익 픽셀 포인트들의 가중 평균 값을 계산할 수 있고, 상기 합성 이미지의 동일한 위치에서 대응하는 픽셀 포인트의 값을 생성하도록 구성된다. 이러한 방식으로 뚜렷한 이미지를 얻을 수 있다.
블록(104)에서, 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행한다.
구체적으로, 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 블러링 처리를 수행하는 블록은 다음을 포함할 수 있으나, 이에 제한되는 것은 아니다.
하나의 가능한 모드(One possible mode):
상기 깊이 정보 및 초점 영역에 따라 전경 영역의 제1깊이 정보 및 상기 배경 영역의 제2깊이 정보를 획득하는 단계; 상기 제1깊이 정보 및 상기 제2깊이 정보에 따라 블러링 강도를 생성하는 단계; 상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행하는 단계를 포함한다. 따라서, 상기 상이한 깊이 정보에 따라 상이한 정도로 상기 블러링 처리를 수행할 수 있고, 따라서 상기 블러링 된 이미지가 보다 자연스럽고 계층적(hierarchical) 이다.
메인 오브젝트에 초점을 맞춘 후, 메인 오브젝트가 위치하는 초점 영역 전방 부분과 눈으로 선명하게 볼 수 있는 상기 초점 영역 후방 부분의 다른 부분을 포함하는 공간은 상기 깊이 정보라 불리는 깊이 범위에 있다. 상기 초점 영역의 전방 부분은 상기 전경 영역의 상기 제1깊이 정보에 대응하고, 상기 초점 영역의 후방 부분에 있는 다른 부분은 상기 배경 영역의 상기 제2깊이 정보에 대응한다는 것을 이해할 수 있을 것이다.
상이한 장면들에 따라, 상기 전경 모드의 상기 제1깊이 정보 및 상기 배경 영역의 상기 제2깊이 정보를 판단하기 위해 상이한 모드를 채택할 수 있으며, 이는 다음과 같이 도시된다:
제1모드(First Mode):
촬영 파라미터들을 획득하고, 카메라의 촬영 공식에 따라 상기 전경 영역의 상기 제1깊이 정보 및 상기 배경 영역의 상기 제2깊이 정보를 판단하는 단계를 포함한다.
본 예시적인 실시 예에서, 상기 1차 카메라의 획득된 촬영 파라미터들은 허용착란원(permissible circle of confusion)의 직경, 구경 값, 초점 길이(focal length), 초점 거리(focus distance) 등을 포함한다. 따라서 상기 제1깊이 정보는 다음 공식에 의해 계산될 수 있다. 상기 제1깊이 정보 = (상기 구경 값 * 상기 허용착란원 직경 * 상기 초점 거리의 제곱) / (상기 초점 길이의 제곱 + 상기 구경 값 * 상기 허용착란원 직경 * 상기 초점 거리); 상기 전경 영역은 상기 제1깊이 정보에 따라 이로부터 분리되고, 상기 제2깊이 정보는 다른 공식에 의해 계산될 수 있다: 상기 제2깊이 정보 = (상기 구경 값 * 상기 허용착란원 직경 * 상기 초점 거리의 제곱) / (상기 초점 길이의 제곱 - 상기 구경 값 * 상기 허용착란원 직경 * 상기 초점 거리).
제2모드(Second Mode):
상기 듀얼 카메라에 의해 촬영된 상기 현재 촬영되는 이미지들의 데이터에 따라, 상기 초점 영역을 제외한 이미지 영역들의 깊이 맵을 판단하는 단계, 및 상기 초점 영역의 전방에서 상기 전경 영역의 상기 제1깊이 정보 및 상기 초점 영역의 후방에서 상기 배경 영역의 상기 제2깊이 정보를 판단하는 단계를 포함한다.
구체적으로, 본 예시적인 실시 예에서, 상기 2개의 카메라가 서로 다른 위치에 있기 때문에 상기 촬영 타깃 오브젝트와 관련하여 상기 2개의 포스트 포지션널 카메라(postpositional cameras) 사이에 특정 각도차(angle difference)와 특정 거리차(distance difference)가 있고, 이로써 특정 위상차(phase difference)는 상기 2개 카메라에서 캡처한 프리뷰 이미지 데이터 사이에 있다.
예를 들면, 촬영 타깃 오브젝트의 포인트(A)에 대해, 상기 1차 카메라에 의해 캡처된 상기 프리뷰 이미지 데이터에서, 포인트(A)는 픽셀-포인트 좌표(30, 50)에 위치되고; 및 상기 2차 카메라에 의해 캡쳐된 상기 프리뷰 이미지 데이터에서, 포인트(A)는 픽셀 포인트 좌표(30, 48)에 위치하며; 이로써, 포인트(A)에 대응하는 상기 2개의 프리뷰 이미지 데이터에서 픽셀 포인트들의 위상차는 50-48 = 2이다.
본 예시적인 실시 예에서, 상기 듀얼 카메라의 실험 데이터 또는 파라미터들에 따라 깊이 정보와 위상차 사이의 관계를 미리 구축할 수 있고, 그리고 나서 상기 2개의 카메라에 의해 캡쳐된 상기 프리뷰 이미지의 각 이미지 포인트의 상기 프리뷰 이미지 데이터의 위상차에 따라 대응하는 깊이 정보를 검색함으로써, 상기 제1깊이 정보 및 상기 제2깊이 정보를 용이하게 획득한다.
상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행하는 블록은 상이한 모드에 의해 달성될 수 있고, 이는 다음과 같이 예시된다:
제1 예시(First Example):
상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도 및 상기 깊이 정보에 따라 각 픽셀의 블러링 계수를 획득하는 단계를 포함한다. 상기 블러링 계수는 상기 블러링 강도와 관련이 있다. 상기 블러링 계수가 클수록 상기 블러링 강도가 높다. 예를 들면, 상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도와 상기 각 픽셀의 깊이 정보를 곱하는 곱셈을 계산하여, 상기 각 픽셀의 블러링 계수를 획득할 수 있고, 그리고 나서 상기 각 픽셀의 블러링 계수에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행한다.
제2예시(Second Example):
상기 제2깊이 정보는 상기 초점 영역의 상기 깊이 정보로부터 더 멀어지고, 이는 상기 해당 배경 영역이 상기 초점 영역으로부터 더 멀어지고, 상기 초점 영역과 더 관련이 없어서, 상기 해당 블러링 강도가 더 크다는 것을 의미한다. 본 예시적인 실시 예에서, 그것은 상기 블러링 강도 그리고 상기 제2깊이 정보와 상기 초점 영역의 상기 깊이 정보 간의 차이 사이의 대응 관계를 미리 저장할 수 있다. 상기 해당 관계에서, 상기 제2깊이 정보와 상기 초점 영역의 상기 깊이 정보 사이의 차이가 클수록, 상기 해당 블러링 강도가 더 크다. 이로써, 상기 타깃 1차 이미지의 상기 배경 영역의 상기 제2깊이 정보와 상기 초점 영역의 상기 깊이 정보 사이의 차이를 획득할 수 있고, 그 차이에 따라 해당 블러킹 강도를 얻기 위해 상기 해당 관계를 찾아보고, 상기 블러링 강도에 따라 상기 해당 깊이 정보로 상기 배경 영역을 블러링 하도록 구성된다.
본 발명의 실시 예의 상기 이미지 처리 효과를 명확하게 설명하기 위해, 상세한 장면들 하의 일부 예는 다음과 같이 도시될 것이다.
제1장면(First Scene):
도 4를 참조하면, 촬영 지시를 얻은 후, 상기 1차 카메라 및 상기 2차 카메라는 4개의 1차 이미지 및 4개의 2차 이미지를 캡처하기 위해 동시에 촬영하도록 제어된다. 상기 4개의 1차 이미지는 촬영 순서에 따라 각각 11, 12, 13, 14로 넘버링 되고, 이와 유사하게, 상기 4개의 2차 이미지는 각각 21, 22, 23, 24로 넘버링 된다.
기준 1차 이미지(12)는 상기 1차 이미지로부터 선택되고, 동일한 그룹의 상기 기준 1차 이미지(12)와 공동 캡처된 기준 2차 이미지(22)는 상기 2차 이미지로부터 선택된다. 그리고 나서, 멀티 스레드 기반 병렬 처리 메커니즘이 시작되면, 제1스레드는 타깃 1차 이미지를 생성하기 위하여, 상기 1차 이미지들에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하도록 호출되고, 상기 기준 1차 이미지(12) 및 상기 기준 2차 이미지(22)에 따라 깊이 정보를 계산하기 위해 제2스레드가 호출된다. 따라서, 상기 1차 이미지에 대해 상기 노이즈 감소 처리를 수행하기 위해 400ms를 소비하고, 상기 깊이 정보를 얻기 위해 800ms를 소비하는 경우, 종래 기술은 상기 깊이 정보를 계산하고 상기 1차 이미지에 대해 상기 노이즈 감소 처리를 순차적으로 수행할 필요가 있으며, 전술한 프로세스를 완료하기 위해 1200ms가 필요하다. 그러나, 본 발명의 이미지 처리 방법은 전술한 처리를 완료하기 위해 800ms만 필요하므로, 이미지 처리 효율을 크게 향상시킨다. 또한, 본 발명에서, 상기 1차 카메라는 상기 복수의 1차 이미지를 캡처하고, 상기 복수의 1차 이미지에 대해 멀티 프레임 합성 노이즈 감소 처리를 수행하며, 따라서, 저조도 조건에서 저품질의 1차 이미지만을 처리함으로써 야기되는 나쁜 이미지 처리 효과의 문제를 피하고, 상기 이미지 처리 효과를 향상시킬 수 있다.
제2장면(Second Scene):
이러한 장면에서, 상기 현재 주변 휘도에 따라 상기 멀티 프레임 합성 노이즈 감소 처리를 채택할지 여부를 결정할 수 있다. 상기 멀티 프레임 합성 노이즈 감소 처리는 고조도 조건이 아닌 저조도 조건에서 수행될 수 있다. 구체적으로, 도 5를 참조하면, 상기 촬영 환경의 휘도가 기 설정된 임계 값 미만인 경우 상기 촬영 환경의 휘도를 검출할 수 있고, 현재 환경이 어둡다는 것을 의미하며, 상기 시스템은 상기 1차 카메라와 상기 2차 카메라를 제어하여 상기 복수의 1차 이미지와 상기 복수의 2차 이미지를 동시에 캡처하며, 이로써, 상기 1차 이미지 중 하나가 상기 기준 1차 이미지로서 선택되고, 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지가 그로부터 선택된다(가령, 상기 1차 이미지의 상기 제2프레임이 상기 기준 1차 이미지로 선택된 경우, 상기 2차 이미지의 상기 제2프레임도 상기 기준 1차 이미지로 선택할 것이다).
그런 다음 상기 멀티 스레드 기반 병렬 처리 메커니즘이 시작되고, 상기 제1스레드가 호출되어 상기 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하여 타깃 1차 이미지를 생성하고, 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 상기 깊이 정보를 계산하기 위해 동시에 제2스레드가 호출된다. 따라서, 상기 멀티 프레임 합성 노이즈 감소 처리와 상기 깊이 정보 계산이 동시에 수행될 수 있다. 또한, 상기 깊이 정보는 상기 멀티 프레임 합성 노이즈 감소 처리를 수행하기 전에 이미지에 의해 계산되며, 따라서, 상기 깊이 정보 계산의 정확성을 보장하고, 상기 획득된 깊이 정보 및 상기 타깃 1차 이미지에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대해 상기 블러링 처리를 수행한 후에 우수한 이미지 처리 효과를 달성할 수 있다.
요약하면, 본 발명의 실시 예의 상기 이미지 처리 방법은 상기 복수의 1차 이미지를 캡처하도록 1차 카메라를 제어하고, 동시에 상기 복수의 2차 이미지를 캡처하기 위해 상기 2차 카메라를 제어하고, 상기 복수의 1차 이미지로부터 기준 1차 이미지를 선택하고, 상기 복수의 2차 이미지로부터 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 선택하며, 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 상기 타깃 1차 이미지를 생성하기 위해 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위해 상기 제1스레드를 호출하고, 상기 기준 1차 이미지 및 상기 기준 1차 이미지에 따라 깊이 정보를 획득하기 위해 상기 제2스레드를 호출하며, 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행한다. 따라서, 상기 깊이 정보의 계산 정확도 및 상기 이미지 처리 효율을 향상시킨다.
상기 전술한 실시 예들을 달성하기 위해, 본 발명은 이미지 처리 장치를 더 제공한다. 도 6은 본 발명의 일 실시 예에 따른 영상 처리 장치의 개략적인 구조도이다. 도 6을 참조하면, 상기 이미지 처리 장치는 촬영 모듈(shooting module)(100), 제1획득 모듈(first obtaining module)(200), 제2획득 모듈(second obtaining module)(300) 및 처리 모듈(processing module)(400)을 포함한다.
상기 촬영 모듈(100)은 1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 2차 카메라를 동시에 제어하여 복수의 2차 이미지를 캡처하도록 구성된다.
본 발명의 일 실시 예에서, 도 6에 기초하고, 도 7을 참조하면, 상기 촬영 모듈(100)은 검출 유닛(detecting unit)(110) 및 촬영 유닛(shooting unit)(120)를 포함한다.
상기 검출 유닛(110)은 촬영 환경의 휘도를 검출하도록 구성된다.
상기 촬영 유닛(120)은 상기 복수의 1차 이미지를 캡처하도록 상기 1차 카메라를 제어하고, 상기 휘도가 기 설정된 임계 값 미만인 경우 상기 복수의 2차 이미지를 캡처하도록 동시에 상기 2차 카메라를 제어하도록 구성된다.
상기 제1획득 모듈(200)은 상기 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하도록 구성된다.
상기 제2획득 모듈(300)은 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 제1스레드를 호출하여 상기 1차 이미지들에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하여 타깃 1차 이미지를 생성하고, 동시에 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻기 위해 제2스레드를 호출하도록 구성된다.
상기 처리 모듈(400)은 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행하도록 구성된다.
본 발명의 일 실시 예에서, 상기 처리 모듈(400)은 획득 유닛(obtaining unit)(410), 생성 유닛(generating unit)(420) 및 처리 유닛(processing unit)(430)을 포함한다.
상기 획득 유닛(410)은 상기 깊이 정보 및 초점 영역에 따라 전경 영역의 제1깊이 정보 및 상기 배경 영역의 제2깊이 정보를 획득하도록 구성된다.
상기 생성 유닛(420)은 상기 제1깊이 정보 및 상기 제2깊이 정보에 따라 블러링 강도를 생성하도록 구성된다.
상기 처리 유닛(430)은 상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행하도록 구성된다.
상기 실시 예들에서의 방법들에 대한 상기 설명들은 또한 본 발명의 예시적인 실시 예의 장치에 적합하다는 점에 유의해야 한다. 그것들은 유사한 동작 원리를 가지므로 여기에서는 설명하지 않을 것이다.
상기 이미지 처리 장치의 모듈은 단지 예로서 도시되어 있다. 다른 실시 예에서, 상기 이미지 처리 장치는 상기 이미지 처리 장치의 기능의 전체 또는 일부를 완료하기 위해 전술한 모듈과 구별되는 다른 모듈로 분할될 수 있다.
요약하면, 본 발명의 실시 예의 상기 이미지 처리 장치는 상기 복수의 1차 이미지를 캡처하도록 1차 카메라를 제어하고, 동시에 상기 복수의 2차 이미지를 캡처하기 위해 상기 2차 카메라를 제어하고, 상기 복수의 1차 이미지로부터 기준 1차 이미지를 선택하고, 상기 복수의 2차 이미지로부터 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 선택하며, 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 상기 타깃 1차 이미지를 생성하기 위해 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위해 상기 제1스레드를 호출하고, 상기 기준 1차 이미지 및 상기 기준 1차 이미지에 따라 깊이 정보를 획득하기 위해 상기 제2스레드를 호출하며, 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행한다. 따라서, 상기 깊이 정보의 계산 정확도 및 상기 이미지 처리 효율을 향상시킨다.
일 실시 예에서, 본 발명은 컴퓨터 기기를 더 제공한다. 상기 컴퓨터 기기는 하드웨어 또는 소프트웨어 구성 요소에 의해 달성될 수 있는 이미지 처리 회로를 포함하고, ISP (Image Signal Processing) 파이프 라인들을 가지는 다양한 처리 유닛들을 포함한다. 도 9는 본 발명의 일 실시 예에 따른 이미지 처리 회로의 개략도이다. 도 9를 참조하면, 설명의 편의를 위해 본 발명의 실시 예에서 상기 이미지 처리 기술과 관련된 구성 요소만을 도시한다.
도 9를 참조하면, 상기 이미지 처리 회로는 ISP 프로세서(940) 및 로직 제어기(950)를 포함한다. 이미지 장비(910)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 프로세서(940)에 의해 처리된다. 상기 ISP 프로세서(940)는 상기 이미지 데이터를 분석하여 상기 이미지 장비(910)의 하나 이상의 제어 파라미터를 판단하도록 구성된 이미지 통계 정보를 캡처한다. 상기 이미지 장비(910)는 하나 이상의 렌즈(912) 및 이미지 센서(914)를 포함하는 카메라일 수 있다. 상기 이미지 센서(914)는 컬러 필터 어레이(가령, 베이어 필터(Bayer filter))를 포함할 수 있다. 상기 이미지 센서(914)는 상기 이미지 센서(914)의 각 이미지 픽셀에 의해 캡처된 조명 강도 및 파장 정보를 획득하고, 상기 ISP 프로세서(1040)에 의해 처리될 수 있는 원본 이미지 데이터를 제공할 수 있다. 센서(920)(가령, 자이로스코프)는 상기 센서(920)의 인터페이스 유형에 따라 상기 센서(920)에 의해 수집된 이미지 처리 파라미터들(가령, 떨림 방지 파라미터들)를 상기 ISP 프로세서(940)에 제공할 수 있다. 상기 센서(920)의 인터페이스는 SMIA (Standard Mobile Imaging Architecture) 인터페이스, 직렬 또는 병렬 카메라 인터페이스, 또는 상기 인터페이스들의 조합일 수 있다.
또한, 상기 이미지 센서(914)는 상기 원본 이미지 데이터를 상기 센서(920)로 전송할 수도 있고, 그리고 나서 상기 센서(920)는 상기 센서(920)의 인터페이스의 유형에 따라 상기 원본 이미지 데이터를 상기 ISP 프로세서(940)에 제공할 수 있고, 내지는 상기 센서(920)는 상기 원본 이미지 데이터를 이미지 스토리지(930)에 저장할 수 있다.
상기 ISP 프로세서(940)는 상기 원본 이미지 데이터를 다양한 포맷으로 픽셀 단위로 처리할 수 있다. 예를 들어, 각 이미지 픽셀은 8, 10, 12 또는 14비트의 비트 깊이를 가질 수 있고, 상기 ISP 프로세서(940)는 상기 원본 이미지 데이터에 대한 하나 이상의 이미지 처리 동작을 수행하고, 상기 이미지 데이터의 상기 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작들은 동일한 비트 깊이 또는 상이한 비트 깊이에 따라 수행될 수 있다.
상기 ISP 프로세서(940)는 상기 이미지 스토리지(930)로부터 픽셀 데이터를 더 수신할 수 있다. 예를 들어, 원본 픽셀 데이터는 상기 센서(920)의 상기 인터페이스를 통해 상기 이미지 스토리지(930)로 전송될 수 있고, 그리고 나서 상기 이미지 스토리지(930)에 저장된 상기 원본 픽셀 데이터는 처리를 위해 상기 ISP 프로세서(940)로 전송된다. 상기 이미지 스토리지(930)는 저장 기기의 일부이거나 저장 기기나 전자 기기의 독립적인 특수 스토리지일 수 있고, DMA (Direct Memory Access) 속성을 가질 수 있다.
상기 ISP 프로세서(940)는, 상기 이미지 센서(914)의 상기 인터페이스, 상기 센서(920) 또는 상기 이미지 스토리지(930)의 상기 인터페이스로부터 상기 원본 이미지 데이터를 수신할 때, 시간 도메인 필터링 동작(time domain filtering operation)과 같은 하나 이상의 이미지 처리 동작을 수행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 되기 전에 다른 처리들을 수행하기 위해 상기 이미지 스토리지(930)로 전송될 수 있다. 상기 ISP 프로세서(940)는 상기 이미지 스토리지(930)로부터 상기 처리된 데이터를 수신한 후, 상기 원시 도메인(primitive domain) 및 상기 처리된 데이터에 대한 RGB 및 YCbCr 컬러 공간의 이미지 처리 동작을 수행하고, 이로써 상기 ISP 프로세서(940)에 의해 처리된 상기 데이터는 시청자에 의해 시청되고 및/또는 그래픽 엔진 또는 GPU (Graphics Processing Unit)에 의해 더 처리되도록 디스플레이(970)로 전송될 수 있다. 또한, 상기 ISP 프로세서(940)의 상기 출력은 상기 이미지 스토리지(930)로 전송될 수 있고, 상기 디스플레이(970)는 상기 이미지 스토리지(930)로부터 상기 이미지 데이터를 판독할 수 있다. 예시적인 실시 예에서, 상기 이미지 스토리지(930)는 하나 이상의 프레임 버퍼를 포함하도록 구성될 수 있다. 또한, 상기 ISP 프로세서(940)의 상기 출력은 상기 이미지 데이터를 인코딩/디코딩 하기 위해 인코더/디코더(960)로 전송될 수 있다. 상기 인코딩 된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(970)에 디스플레이 하기 전에 디코딩 될 수 있다. 상기 인코더/디코더(960)는 CPU, GPU 또는 코프로세서(coprocessor)에 의해 달성될 수 있다.
상기 ISP 프로세서(940)에 의해 판단된 상기 통계 데이터는 상기 로직 제어기(950)로 전송될 수 있다. 예를 들어, 상기 통계 데이터는 자동 노출, 자동 화이트 밸런스, 자동 초점, 플리커 검출, 블랙 레벨 보상, 렌즈(912)의 그림자 보정 등과 관련된 상기 이미지 센서(914)의 통계 정보일 수 있다. 상기 로직 제어기(950)는 하나 이상의 스레드를 수행하기 위한 CPU 또는 마이크로 컨트롤러를 포함할 수 있고, 상기 하나 이상의 스레드는 상기 수신된 통계 데이터에 따라 상기 이미지 장비(910)의 제어 파라미터들 및 상기 ISP 프로세서(940)의 제어 파라미터들을 판단할 수 있다. 예를 들어, 상기 이미지 장비(910)의 제어 파라미터들(가령, 그레인, 노출 제어의 적분 시간, 떨림 방지 파라미터 등)은 상기 센서(920)의 제어 파라미터들, 상기 카메라의 플리커 제어 파라미터들, 상기 렌즈(912)의 제어 파라미터들(가령, 초점 또는 줌의 초점 길이), 또는 이들 파라미터의 조합을 포함할 수 있다. 상기 ISP 제어 파라미터는 자동 화이트 밸런스 및 컬러 조정을 위한 이득(가령, RGB 처리 기간에서), 컬러 보정 매트릭스 및 상기 렌즈(912)의 그림자 보정 파라미터를 포함할 수 있다.
다른 실시 예에서, 본 발명은 다른 이미지 처리 회로를 더 제공한다. 도 10은 본 발명의 다른 실시 예에 따른 다른 이미지 처리 회로의 개략도이다. 도 10을 참조하면, 상기 이미지 처리 회로는 제1ISP 프로세서(1030), 제2ISP프로세서(1040) 및 로직 제어기(1050)를 포함한다. 상기 제1ISP 프로세서(1030)는 제1카메라(1010)로부터 전송된 이미지를 처리하도록 구성되고, 상기 제2ISP 프로세서(1040)는 제2카메라(1020)로부터 전송된 이미지를 처리하도록 구성된다. 상기 제1카메라(1010) 및 상기 제2카메라(1020)는 도 1에 도시된 바와 같이, 상기 이미지 장비(910)로 사용되는 카메라와 유사할 수 있고, 그것의 각각은 하나 이상의 렌즈 및 이미지 센서를 포함한다. 예를 들어, 상기 제1카메라(1010)는 하나 이상의 제1렌즈(1011) 및 제1이미지 센서(1012)를 포함하고; 유사하게, 상기 제2카메라는 하나 이상의 제2렌즈(1021) 및 제2이미지 센서(1022)를 포함하며; 및 그 동작은 도 9에 도시된 바와 같이 상기 이미지 장비(910)로서 사용된 상기 카메라의 동작과 유사하며, 따라서 여기에서는 설명하지 않는다.
본 발명의 일 실시 예에서, 상기 제1카메라(1010) 및 상기 제2카메라(1020)의 성능 파라미터들(초점 길이, 구경 크기, 해상도 등)은 제한되지 않는다. 일부 실시 예에서, 상기 제1카메라(1010)는 망원 카메라 및 광각 카메라 중 하나일 수 있고, 상기 제2카메라(1020)는 상기 망원 카메라 및 상기 광각 카메라 중 하나일 수 있다. 상기 제1카메라(1010)와 상기 제2카메라(1020)는 모두 단말기의 동일 평면 상에 배치될 수 있으며, 예를 들어 상기 단말기의 후면 또는 전면에 동시에 배치될 수 있다. 상기 단말기 상에 배치된 상기 제1카메라(1010)와 상기 제2카메라(1020) 사이의 거리는 상기 단말기의 크기 또는 상기 촬영 효과 등에 의해 판단될 수 있다. 일부 실시 예에서, 상기 좌우의 카메라들(즉, 상기 제1카메라(1010) 및 상기 제2카메라(1020))로 캡처한 오버랩되는 정도가 높은 오브젝트를 만들려면, 그 사이의 거리가 10mm보다 크지 않은 것과 같이 상기 좌우 카메라를 더 가깝게 조립하는 것이 좋다.
상기 제1카메라(1010)에 의해 수집된 제1이미지는 상기 제1ISP 프로세서(1030)로 전송된다. 상기 제1이미지를 처리한 후, 상기 제1ISP 프로세서(1030)는 상기 제1이미지의 통계 데이터(가령, 이미지 휘도, 이미지 콘트라스트 값, 이미지 컬러 등)를 상기 로직 제어기(1050)에 전송할 수 있다. 상기 제어 제어부(1050)는 상기 통계 데이터에 따라 상기 제1카메라(1010)의 제어 파라미터들을 판단할 수 있으므로, 상기 제1카메라(1010)는 자동 초점, 자동 노출 등과 같은 관련 동작을 수행할 수 있다. 상기 제1ISP 프로세서(1010)에 의해 처리된 상기 제1이미지는 이미지 스토리지(1060)에 저장될 수 있다. 또한, 상기 제1프로세서(1030)는 처리를 위해 상기 이미지 스토리지(1060)에 저장된 이미지들을 판독할 수 있다. 또한, 상기 ISP 프로세서(1030)에 의해 처리된 상기 제1이미지는 디스플레이를 위해 디스플레이(1070)로 직접 전송될 수 있다. 또는, 상기 디스플레이(1070)는 디스플레이를 위하여 이미지 스토리지(1060)에 저장된 이미지를 판독할 수 있다.
상기 제2카메라(1020)는 상기 제1카메라와 유사한 처리 순서를 가진다. 상기 이미지 센서 및 상기 ISP 프로세서는 도 9에 도시된 바와 같이 전술한 이미지 센서 및 상기 ISP 프로세서와 유사한 기능 및 처리 순서를 가지고, 따라서 본 명세서에서는 설명하지 않을 것이다.
상기 제1ISP 프로세서(1030) 및 상기 제2ISP 프로세서(1040)는 단일 ISP 프로세서가 되도록 통합될 수 있으며, 이는 상기 제1이미지 센서(1012) 및 상기 제2이미지 센서(1022)로부터의 데이터를 각각 처리할 수 있음에 유의해야 한다.
또한, 상기 이미지 처리 회로는 도 1에 도시되지 않은 CPU 및 전원 공급 모듈을 더 포함할 수 있다. 상기 CPU는 상기 로직 제어기(1050), 상기 제1ISP 프로세서(1030), 상기 제2ISP 프로세서(1040), 상기 이미지 스토리지(1060) 및 상기 디스플레이(1070)에 연결되어 상기 전체 구조를 제어한다. 상기 전원 공급 모듈은 전술한 모듈들에 각각 전원을 공급하도록 구성된다.
다음은 도 1에 도시된 바와 같은 상기 이미지 처리 기술에 의해 달성되는 상기 이미지 처리 방법의 블록들을 설명할 것이고, 상기 블록들은, 복수의 1차 이미지를 캡처하도록 1차 카메라를 제어하고, 복수의 2차 이미지를 캡처하도록 2차 카메라를 동시에 제어하는 단계; 상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하는 단계; 멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 타깃 1차 이미지를 생성하기 위해 상기 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하기 위해 제1스레드를 호출하며, 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻기 위해 제2스레드를 동시에 호출하는 단계; 상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행하는 단계를 포함한다.
상기 실시 예들을 달성하기 위해, 본 발명은 메모리 매체에 저장된 명령어들이 프로세서에서 실행될 때, 상기 실시 예들의 이미지 처리 방법이 구현되는 비 휘발성 컴퓨터 판독 가능 메모리 매체를 더 제공한다.
본 명세서의 설명에서, 실시 예 또는 사례와 관련하여 "일 실시 예", "일부 실시 예", "사례", "구체 예"또는 "일부 예"라는 용어는 본 명세서의 실시 예 또는 사례에 포함되는 특정 특징, 구조, 재료 또는 특성에 의해 설명된다. 상기 용어의 개략적인 표현은 반드시 동일한 실시 예 또는 사례에 대한 것은 아니다. 또한, 상기 특정 특징들, 구조들, 상기 재료 또는 특성들은 적절한 방식으로 결합된 실시 예 또는 사례 중 임의의 하나 이상일 수 있다. 또한, 서로 일치하지 않는 경우, 당업자는 상이한 실시 예 또는 사례를 조합하거나 결합할 수 있다.
또한, "제1" 및 "제2"라는 용어는 설명의 목적으로만 사용되며, 상대적 중요성을 나타내거나 암시하거나 기술적 특징의 수를 암시적으로 나타내도록 해석되어서는 안 된다. 따라서, 특징 "제1" 및 "제2"를 정의하는 것은 특징 중 적어도 하나를 명시적으로 또는 암시적으로 포함할 수 있다. 본 발명의 설명에서, "복수"는 명확하게 구체적으로 정의되지 않는 한, 적어도 2, 예를 들어 2 또는 3을 의미한다.
순서도, 상이한 방식들로 기술된 임의의 처리들 또는 방법들은 특정 논리 기능들 또는 단계들을 구현하기 위한 실행 가능한 명령 코드의 유닛, 단편 또는 부분을 이해할 수 있다. 관련 기술 분야의 통상의 기술자라면, 본 발명의 실시 예는 기능을 수행하기 위해 실질적으로 동시 방식 또는 역순으로 구현될 수 있다는 것을 알아야 한다.
상기 순서도의 블록들에서 논리 단위들 및 동작들은 논리 기능들을 구현하기 위한 실행 가능 명령어들의 시퀀스 테이블로 정의된다. 상기 실행 가능한 명령어들의 시퀀스 테이블은 명령 실행 시스템, 장치 또는 기기(가령, 컴퓨터 기반 시스템, 프로세서를 가지는 시스템, 또는 명령 실행 시스템, 장치 또는 상기 명령어들에 액세스하여 상기 명령어들을 실행하는 장치)를 위한 임의의 컴퓨터 판독 가능 매체로 구현될 수 있다. 본 발명에서, "컴퓨터 판독 가능 매체"는 저장, 통신, 전파, 전송 프로그램 또는 조합을 포함할 수 있다. 상기 컴퓨터 판독 가능 매체는, 전기 유선 연결부(가령, 전자 기기들), 휴대용 컴퓨터 디스켓(가령, 자기 기기), 임의 접근 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(가령, EPROM 혹은 플래시 메모리), 광섬유 장치, 및 휴대용 컴팩트 디스크 읽기 전용 메모리(가령, CDROM) 중 적어도 하나를 포함한다. 또한, 상기 컴퓨터 판독 가능 매체는 그 위에 프로그램을 인쇄할 수 있는 종이 또는 적절한 매체일 수도 있다. 예를 들어, 상기 종이 또는 적절한 매체가 광학적으로 스캔 된다. 상기 종이 또는 적절한 매체 상의 프로그램은 컴파일 되고 해석된 방식을 사용하여 전자적으로 획득되며 컴퓨터 메모리에 저장된다.
본 발명의 일부는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 실현될 수 있음을 이해해야 한다. 전술한 실시 예들에서, 복수의 동작들 또는 방법들은 상기 메모리에 저장될 수 있고 적절한 명령 실행 시스템에서 구현된 소프트웨어 또는 펌웨어에 의해 실행될 수 있다. 상기 블록들 또는 방법들에서의 동작들이 예를 들어, 다른 실시 예에서와 같이 하드웨어로 구현될 수 있다면, 관련 기술에서 다음 기술 또는 이들의 조합 중 임의의 하나가 사용될 수 있다. 상기 기술들은 데이터 신호들 상에 논리 기능들을 구현하기 위한 논리 게이트 회로들의 개별 논리 회로, 적절한 조합 논리 게이트 회로들을 갖는 어플리케이션 특정 집적 회로, 프로그램 가능 게이트 어레이(PGA), 및 필드 프로그램 가능 게이트 어레이(FPGA)를 포함한다.
관련 기술 분야의 통상의 기술자는 상술된 실시 예에서의 동작들의 전부 또는 일부가 하드웨어에서 실행 가능한 프로그램 명령어들에 의해 구현될 수 있다는 것을 알아야 한다. 상기 프로그램 명령어들은 컴퓨터 판독 가능 매체에 저장되고, 상기 프로그램 명령어들은 상기 블록들에서의 동작들 중 적어도 하나에 대해 수행된다.
또한, 각각의 기능 유닛은 하나의 처리 유닛에 통합되거나 별도의 물리적 유닛일 수 있다. 예를 들어, 둘 이상의 유닛들이 단일 유닛에 통합되어 있다. 상기 통합 유닛은 하드웨어 또는 소프트웨어 유닛의 형태로 구현될 수 있다. 일 실시 예에서, 상기 통합 유닛이 독립 제품으로서 판매되거나 사용되는 소프트웨어 유닛의 형태로 구현될 때, 상기 통합 유닛은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 읽기 전용 메모리, 자기 디스크 또는 광 디스크 일 수 있다. 당업자에게 이해되는 바와 같이, 본 발명의 상기 바람직한 실시 예는 본 발명을 제한하기 보다는 예시적인 것이다. 이들은 다양한 수정을 포함하고 본 발명의 사상 및 범위 내에 유사한 배열이 포함되도록 의도되며, 그 범위는 모든 그러한 수정 및 유사한 구조를 포함하도록 가장 넓은 해석에 따라야 한다.

Claims (15)

1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하고(101);
상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하며(102);
멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 제1스레드를 호출하여 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하여 타깃 1차 이미지를 생성하고 동시에 제2스레드를 호출하여 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻고(103);
상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행함(104);
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 1 항에 있어서,
1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하는 상기 블록은:
촬영 환경의 휘도를 검출하고;
상기 휘도 검출이 기 설정된 임계 값 미만인 경우, 상기 1차 카메라를 제어하여 상기 복수의 1차 이미지를 캡처하고, 동시에 상기 2차 카메라를 제어하여 상기 복수의 2차 이미지를 캡처함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행하는 상기 블록은:
상기 깊이 정보 및 초점 영역에 따라 전경 영역의 제1깊이 정보 및 상기 배경 영역의 제2깊이 정보를 획득하고;
상기 제1깊이 정보 및 상기 제2깊이 정보에 따라 블러링 강도를 생성하며;
상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 3 항에 있어서,
상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행하는 상기 블록은:
상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도 및 깊이 정보에 따라 각 픽셀의 블러링 계수를 획득하고;
각 픽셀의 상기 블러링 계수에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대한 상기 블러링 처리를 수행함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 4 항에 있어서,
상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도 및 깊이 정보에 따라 각 픽셀의 블러링 계수를 획득하는 상기 블록은:
상기 타깃 1차 이미지의 상기 배경 영역에서 각 픽셀의 상기 블러링 강도에 상기 깊이 정보를 곱하는 곱셈을 계산하여, 상기 각 픽셀의 상기 블러링 계수를 획득함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 촬영 지시 또는 동일한 촬영 동작에 따라 기 설정된 기간 동안 캡처되는 것을 특징으로 하는, 이미지 처리 방법.
제 6 항에 있어서,
상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 주파수 하에서 캡처되어, 상기 복수의 1차 이미지 중 어느 하나의 이미지가 대응 2차 이미지와 동시에 공동 캡처되고, 상기 복수의 1차 이미지 중 상기 어느 하나의 이미지 및 상기 대응 공동 캡처된 2차 이미지는 동일한 그룹에 속하는 것을 특징으로 하는, 이미지 처리 방법.
제 1 항 내지 제 7 항에 있어서,
상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하는 상기 블록은:
상기 복수의 1차 이미지 및 상기 복수의 2차 이미지로부터 고화질을 가지는 일부 1차 이미지들 및 고화질을 가지는 일부 대응 2차 이미지들을 예비 선택하고;
고화질을 가지는 상기 일부 1차 이미지들로부터 상기 기준 1차 이미지를 선택하고, 고화질을 가지는 상기 일부 2차 이미지들로부터 상기 동일한 그룹에서 상기 기준 1차 이미지와 공동 캡처된 상기 대응 기준 2차 이미지를 선택함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 멀티 프레임 합성 노이즈 감소 처리는,
상기 복수의 1차 이미지의 동일한 위치에 대응하는 픽셀 포인트들의 값들을 판독하고;
상기 픽셀 포인트들의 가중 평균 값을 계산하며; 및
합성된 이미지의 상기 동일한 위치에서 대응 픽셀 포인트의 값을 생성함;
을 포함하는 것을 특징으로 하는, 이미지 처리 방법.
1차 카메라를 제어하여 복수의 1차 이미지를 캡처하고, 동시에 2차 카메라를 제어하여 복수의 2차 이미지를 캡처하도록 구성된 촬영 모듈(100);
상기 복수의 1차 이미지로부터 기준 1차 이미지를 획득하고, 상기 복수의 2차 이미지로부터 동일한 그룹에서 기준 1차 이미지와 공동 캡처된 기준 2차 이미지를 획득하도록 구성된 제1획득 모듈(200);
멀티 스레드 기반 병렬 처리 메커니즘을 시작하고, 제1스레드를 호출하여 상기 복수의 1차 이미지에 대한 멀티 프레임 합성 노이즈 감소 처리를 수행하여 타깃 1차 이미지를 생성하고, 동시에 제2스레드를 호출하여 상기 기준 1차 이미지 및 상기 기준 2차 이미지에 따라 깊이 정보를 얻도록 구성된 제2획득 모듈(300);
상기 깊이 정보에 따라 상기 타깃 1차 이미지의 배경 영역에 대해 블러링 처리를 수행하도록 구성된 처리 모듈(400);
을 포함하는 것을 특징으로 하는, 이미지 처리 장치.
제 10 항에 있어서,
상기 촬영 모듈(100)은,
촬영 환경의 휘도를 검출하도록 구성된 검출 유닛(110);
상기 휘도 검출이 기 설정된 임계 값 미만인 경우, 상기 1차 카메라를 제어하여 상기 복수의 1차 이미지를 캡처하고, 동시에 상기 2차 카메라를 제어하여 상기 복수의 2차 이미지를 캡처하도록 구성된 촬영 유닛(120);
을 포함하는 것을 특징으로 하는, 이미지 처리 장치.
제 10 항 또는 제 11 항에 있어서,
상기 처리 모듈(400)은,
상기 깊이 정보 및 초점 영역에 따라 전경 영역의 제1깊이 정보 및 상기 배경 영역의 제2깊이 정보를 획득하도록 구성된 획득 유닛(410);
상기 제1깊이 정보 및 상기 제2깊이 정보에 따라 블러링 강도를 생성하도록 구성된 생성 유닛(420);
상기 블러링 강도에 따라 상기 타깃 1차 이미지의 상기 배경 영역에 대해 상기 블러링 처리를 수행하도록 구성된 처리 유닛(430);
을 포함하는 것을 특징으로 하는, 이미지 처리 장치.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 촬영 지시 또는 동일한 촬영 동작에 따라 기 설정된 기간 동안 캡처되는 것을 특징으로 하는, 이미지 처리 장치.
제 13 항에 있어서,
상기 복수의 1차 이미지 및 상기 복수의 2차 이미지는 동일한 주파수로 캡처되어, 상기 복수의 1차 이미지 중 어느 하나의 이미지가 대응 2차 이미지와 공동 캡쳐되고, 상기 복수의 1차 이미지 중 상기 어느 하나의 이미지 및 상기 대응 공동 캡처된 2차 이미지는 동일한 그룹에 있는 것을 특징으로 하는, 이미지 처리 장치.
비 휘발성 스토리지 및 프로세서를 포함하고, 상기 스토리지는 상기 프로세서에 의해 호출되고 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 저장하며, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 호출되고 상기 프로세서에서 실행될 때, 제 1 항 내지 제 9 항 중 어느 한 항에 청구된 방법이 구현되는 컴퓨터 기기.
KR1020207005971A 2017-11-01 2018-08-29 이미지 처리 방법, 장치 및 기기 KR102279436B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711059105.4 2017-11-01
CN201711059105.4A CN108055452B (zh) 2017-11-01 2017-11-01 图像处理方法、装置及设备
PCT/CN2018/102964 WO2019085618A1 (en) 2017-11-01 2018-08-29 Image-processing method, apparatus and device

Publications (2)

Publication Number Publication Date
KR20200031689A true KR20200031689A (ko) 2020-03-24
KR102279436B1 KR102279436B1 (ko) 2021-07-21

Family

ID=62119854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005971A KR102279436B1 (ko) 2017-11-01 2018-08-29 이미지 처리 방법, 장치 및 기기

Country Status (6)

Country Link
US (1) US10878539B2 (ko)
EP (1) EP3480783B1 (ko)
JP (1) JP6911192B2 (ko)
KR (1) KR102279436B1 (ko)
CN (1) CN108055452B (ko)
WO (1) WO2019085618A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108282616B (zh) * 2018-01-31 2019-10-25 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN109803087B (zh) * 2018-12-17 2021-03-16 维沃移动通信有限公司 一种图像生成方法及终端设备
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
CN110324532B (zh) * 2019-07-05 2021-06-18 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN110661960B (zh) * 2019-10-30 2022-01-25 Oppo广东移动通信有限公司 摄像模组和电子设备
CN111091513B (zh) * 2019-12-18 2023-07-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN113095116B (zh) * 2019-12-23 2024-03-22 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN111526353A (zh) * 2020-04-27 2020-08-11 上海济丽信息技术有限公司 一种基于fpga的裸眼3d图像处理驱动电路及其算法
CN114095641A (zh) * 2020-07-21 2022-02-25 珠海格力电器股份有限公司 一种图像的显示方法和装置
CN112188059B (zh) * 2020-09-30 2022-07-15 深圳市商汤科技有限公司 可穿戴设备、智能引导方法及装置、引导系统
CN114727085A (zh) * 2021-01-05 2022-07-08 浙江舜宇智能光学技术有限公司 深度图像成像方法及其装置
CN113810597B (zh) * 2021-08-10 2022-12-13 杭州电子科技大学 一种基于半预测滤波的快速图像散景渲染方法
CN114095713A (zh) * 2021-11-23 2022-02-25 京东方科技集团股份有限公司 成像模组及其处理方法、系统、装置、介质
CN114125299B (zh) * 2021-11-26 2023-10-10 凌云光技术股份有限公司 一种工业相机及其控制方法
CN117671014B (zh) * 2024-02-02 2024-04-19 泰安大陆医疗器械有限公司 一种基于图像处理的机械臂定位抓取方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073167A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
KR20150107605A (ko) * 2014-03-14 2015-09-23 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 블러링 방법 및 장치, 그리고 전자 장치
US20170006277A1 (en) * 2013-08-07 2017-01-05 Google Inc. Devices And Methods For An Imaging System With A Dual Camera Architecture
JP2017516358A (ja) * 2014-05-15 2017-06-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
GR1004257B (el) * 2002-06-05 2003-06-09 Μεθοδος στερεοσκοπικης απεικονισης
KR101510098B1 (ko) * 2007-12-21 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
US20100079582A1 (en) 2008-10-01 2010-04-01 Dunsmore Clay A Method and System for Capturing and Using Automatic Focus Information
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
KR102002165B1 (ko) * 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
CN104639926B (zh) 2013-11-11 2018-05-11 聚晶半导体股份有限公司 根据深度信息处理图像的方法及装置
EP2996328A1 (en) 2014-09-12 2016-03-16 Thomson Licensing Image processing method and apparatus, and image capturing device
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
CN104778396B (zh) 2015-04-29 2019-01-29 惠州Tcl移动通信有限公司 一种基于环境筛选帧的眼纹识别解锁方法及系统
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105513007A (zh) 2015-12-11 2016-04-20 惠州Tcl移动通信有限公司 一种基于移动终端的拍照美颜方法、系统及移动终端
CN106921829A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN105450931B (zh) * 2015-12-30 2019-04-26 联想(北京)有限公司 一种基于阵列相机的成像方法、装置和电子设备
CN105979165B (zh) * 2016-06-02 2019-02-05 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106331491A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法及装置
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
CN107085825A (zh) 2017-05-27 2017-08-22 成都通甲优博科技有限责任公司 图像虚化方法、装置及电子设备
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN108024054B (zh) * 2017-11-01 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107948520A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN107835372A (zh) * 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN107959778B (zh) * 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073167A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
US20170006277A1 (en) * 2013-08-07 2017-01-05 Google Inc. Devices And Methods For An Imaging System With A Dual Camera Architecture
KR20150107605A (ko) * 2014-03-14 2015-09-23 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 블러링 방법 및 장치, 그리고 전자 장치
JP2017516358A (ja) * 2014-05-15 2017-06-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末

Also Published As

Publication number Publication date
JP6911192B2 (ja) 2021-07-28
EP3480783B1 (en) 2021-07-07
JP2020528622A (ja) 2020-09-24
WO2019085618A1 (en) 2019-05-09
KR102279436B1 (ko) 2021-07-21
CN108055452A (zh) 2018-05-18
CN108055452B (zh) 2020-09-18
US20190130532A1 (en) 2019-05-02
EP3480783A1 (en) 2019-05-08
US10878539B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN107948519B (zh) 图像处理方法、装置及设备
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
CN107977940B (zh) 背景虚化处理方法、装置及设备
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
KR102306283B1 (ko) 이미지 처리 방법 및 장치
CN108712608B (zh) 终端设备拍摄方法和装置
CN108024054B (zh) 图像处理方法、装置、设备及存储介质
CN108154514B (zh) 图像处理方法、装置及设备
WO2019109805A1 (zh) 图像处理方法和装置
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
CN108024057B (zh) 背景虚化处理方法、装置及设备
CN108156369B (zh) 图像处理方法和装置
CN108053438B (zh) 景深获取方法、装置及设备
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant