KR102649993B1 - 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기 - Google Patents

이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기 Download PDF

Info

Publication number
KR102649993B1
KR102649993B1 KR1020227014840A KR20227014840A KR102649993B1 KR 102649993 B1 KR102649993 B1 KR 102649993B1 KR 1020227014840 A KR1020227014840 A KR 1020227014840A KR 20227014840 A KR20227014840 A KR 20227014840A KR 102649993 B1 KR102649993 B1 KR 102649993B1
Authority
KR
South Korea
Prior art keywords
image
result
processing
area
matching
Prior art date
Application number
KR1020227014840A
Other languages
English (en)
Other versions
KR20220073824A (ko
Inventor
차오링 볜
옌칭 루
진 왕
Original Assignee
아크소프트 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아크소프트 코포레이션 리미티드 filed Critical 아크소프트 코포레이션 리미티드
Publication of KR20220073824A publication Critical patent/KR20220073824A/ko
Application granted granted Critical
Publication of KR102649993B1 publication Critical patent/KR102649993B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명은 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기를 공개한다. 여기서, 상기 이미지 처리 방법은, 제1 촬영 유닛을 통해 제1 이미지를 획득하는 단계; 제2 촬영 유닛을 통해 제2 이미지를 획득하는 단계; 상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 단계; 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계; 를 포함하며, 상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응된다. 적어도 두개의 서로 다른 시야를 가지는 촬영 유닛에 의해 획득한 이미지에 대해 융합 처리하여 이미지 품질을 최적화함으로써, 더 선명한 화질을 보여줄 수 있으며, 복수의 촬영 유닛에 기반하여 획득한 이미지 품질이 좋지 않은 기술적 문제를 해결할 수 있다.

Description

이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기
본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기에 관한 것이다. 본 발명은 2019년 9월 30일자로 출원하고, 출원번호가 201910943314.8이며, 발명의 명칭이 “이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기”인 중국 특허 출원의 우선권을 주장하며, 그 전부의 내용은 인용방식으로 본 발명에 참조로 결합된다.
최근에는 전자 기술이 계속 발전함에 따라 각종 전자제품 특히 TV, 휴대폰, 데스크 톱 컴퓨터, 노트북, 테블릿 PC, 개인용 디지털 단말기(PDA) 등 촬영 장치를 구비한 전자제품들이 각 생활 분야에 넓게 적용되고 있다. 이와 동시에, 사용자는 이러한 촬영 장치에 대한 요구도 계속 증가하고 있으며, 제품 제조업체들은 새로운 기능을 하나하나 개발하여 사용자의 요구를 만족시키고 있다.
2000년에 전세계에서 촬영 기능을 구비한 휴대폰이 최초로 출시된 이래, 촬영 기능은 휴대폰에 있어서 반드시 필요한 존재로 되었으며, 현재 고객들이 특별히 주목하고 있는 기능 중 하나로 되었다. 현재 출시되어 있는 듀얼 카메라 스마트 폰 또는 테블릿PC는 일반적으로 기기 정면과 후면에 각각 설치되거나 또는 모두 기기 후면에 설치되는 두개의 카메라를 구비한다. 흔히 보게 되는 듀얼 카메라는 기기에 광각 렌즈와 망원 렌즈가 있어, 사용자의 선택에 따라 근경과 원경의 선명한 화면을 보여줄 수 있는 것을 말한다.
휴대용 전자기기(예를 들면, 스마트 폰 또는 테블릿PC)의 사이즈와 중량의 제한으로, 더 좋은 촬영 효과를 얻기 위해, 다중 촬영 기능에 기반한 스마트 전자기기가 발전의 추세로 되고 있다. 하지만, 서로 다른 카메라를 사용하여 획득한 이미지를 처리하여 출력 이미지의 품질을 보다 높이는 것이 주목하고 있는 화제로 떠오르고 있다.
본 발명의 실시예는 복수의 촬영 유닛에 기반하여 획득한 이미지의 품질이 좋지 않은 과제를 적어도 해결하는 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기를 제공한다.
본 발명의 실시예의 일 측면에 따르면, 적어도 두개의 촬영 유닛을 구비하는 전자기기에 사용되는 이미지 처리 방법으로, 제1 촬영 유닛을 통해 제1 이미지를 획득하는 단계; 제2 촬영 유닛을 통해 제2 이미지를 획득하는 단계; 상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합(registration)하여 정합 결과를 획득하는 단계; 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계; 를 포함하며, 상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응되는 이미지 처리 방법을 제공한다.
선택적으로, 상기 이미지 처리 방법은, 화질 제고 기술을 이용하여 상기 제1 이미지 중의 제1 영역 이외의 영역인 제2 영역에 대해 처리를 진행하는 단계를 더 포함한다.
선택적으로, 상기 화질 제고 기술은 싱글 프레임 또는 다중 프레임에 기반하는 딥러닝 기술을 포함한다.
선택적으로, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛은 서로 다른 시야를 갖는다.
선택적으로, 상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 단계는, 상기 제1 영역과 상기 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 단계; 사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계; 상기 제1 결과 이미지와 상기 제2 결과 이미지에 대해 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 단계; 제1 정합 방법을 이용하여 상기 제1 확대 이미지와 상기 제2 확대 이미지에 대해 처리함으로써 상기 정합 결과를 획득하는 단계; 를 포함한다.
선택적으로, 상기 사전 설정된 방법은 고밀도 역방향 검색 광학 흐름법(Dense Inverse Search(DIS) optical flow method)이다.
선택적으로, 상기 사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는, 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 공액선 보정(epipolar line rectification) 및 매칭 계산(matching computation)을 진행하여 제1 처리 결과를 획득하는 단계; 상기 제1 처리 결과에 대해 제2차 처리를 진행하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계; 를 포함한다.
선택적으로, 상기 제1 처리 결과에 대해 제2차 처리를 진행하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는, 공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득한다.
선택적으로, 상기 공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는, 공액선 보정 역변환을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 제2 처리 결과를 획득하는 단계; 제2 정합 방법을 이용하여 상기 제2 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계; 를 포함한다.
선택적으로, 상기 공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는, 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 제3 처리 결과를 획득하는 단계; 상기 공액선 보정 역변환을 이용하여 상기 제3 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계; 를 포함한다.
선택적으로, 상기 제1 정합 방법은, 밀집 광학 흐름 계산법, 반 밀집 광학 흐름 계산법, 국소 정합 방법, 전역 정합 방법을 포함한다.
선택적으로, 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계는, 상기 정합 결과에 따라 상기 제1 영역과 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 단계; 상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 단계; 상기 차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 단계; 상기 비교 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 상기 융합 이미지를 획득하는 단계; 를 포함한다.
선택적으로, 상기 차이값이 상기 사전 설정된 임계값 이상인 경우, 비교 결과는 상기 제1 영역과 상기 제2 이미지 사이의 시차가 크거나 또는 차단 정도가 크거나 또는 시야에 움직이는 물체가 존재함을 의미하며, 상기 제1 영역과 상기 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행하지 않으며; 상기 차이값이 상기 사전 설정된 임계값보다 작을 경우, 비교 결과는 상기 제1 영역과 상기 제2 이미지 사이의 시차가 작고, 차단 정도가 작으며, 시야에 움직이는 물체가 존재하지 않음을 의미하며, 상기 제1 영역과 상기 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행한다.
본 발명의 실시예의 다른 일 측면에 따르면, 제1 이미지를 획득하는 제1 촬영 유닛; 제2 이미지를 획득하는 제2 촬영 유닛; 상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 정합 유닛; 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 융합 유닛; 을 포함하며, 상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응되는 이미지 처리 장치를 더 제공한다.
선택적으로, 상기 정합 유닛은, 상기 제1 영역과 상기 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 축소 유닛; 사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 제1 처리 유닛; 상기 제1 결과 이미지와 상기 제2 결과 이미지에 대해 상기 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 확대 유닛; 제1 정합 방법을 이용하여 상기 제1 확대 이미지와 상기 제2 확대 이미지에 대해 처리함으로써 상기 정합 결과를 획득하는 제1 정합 서브 유닛; 을 포함한다.
선택적으로, 상기 융합 유닛은, 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 결정 유닛; 상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 계산 유닛; 상기 차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 비교 유닛; 상기 비교 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 상기 융합 이미지를 획득하는 융합 서브 유닛; 을 포함한다.
본 발명의 실시예의 다른 일 측면에 따르면, 저장되어 있는 프로그램을 포함하는 저장 매체로서, 상기 프로그램은 실행 시, 저장 매체가 위치한 기기가 상술한 어느 한 항에 따른 이미지 처리 방법을 실행하도록 하는 저장 매체를 더 제공한다.
본 발명의 실시예의 다른 일 측면에 따르면, 프로세서; 및 상기 프로세서의 실행 가능한 명령어를 저장하는 메모리; 를 포함하며, 상기 프로세서는 상기 실행 가능한 명령어를 실행하여 상술한 어느 한 항에 따른 이미지 처리 방법을 실행하는 전자기기를 더 제공한다.
본 발명의 실시예에 따르면, 제1 촬영 유닛을 통해 제1 이미지를 획득하는 단계; 제2 촬영 유닛을 통해 제2 이미지를 획득하는 단계; 상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하되, 상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응되는 것인 단계; 상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계; 를 실행한다. 따라서, 적어도 두개의 서로 다른 시야를 가지는 촬영 유닛에 의해 획득한 이미지에 대해 융합 처리하여 이미지 품질을 최적화함으로써, 보다 선명한 화질을 보여줄 수 있으며, 복수의 촬영 유닛에 기반하여 획득한 이미지 품질이 좋지 않은 과제를 해결할 수 있다.
여기서 설명되는 도면은 본 발명에 대한 추가적인 이해를 제공하기 위한 것으로, 본 발명의 일부분으로 구성되며, 본 발명의 예시적인 실시예 및 그 설명은 본 발명을 해석하기 위한 것으로 본 발명에 대한 부정당한 한정 내용으로는 되지 않는다. 도면은 다음과 같다.
도1은 본 발명의 실시예에 따른 선택 가능한 이미지 처리 방법의 흐름도이다.
도2는 본 발명의 실시예에 따른 선택 가능한 이미지 정합 방법의 흐름도이다.
도3은 본 발명의 실시예에 따른 선택 가능한 이미지 융합 방법의 흐름도이다.
도4(a) 내지 도4(c)는 본 발명의 실시예에 따른 이미지 처리 방법을 적용한 테스트 결과를 보여주는 도면이다.
도5는 본 발명의 실시예에 따른 선택 가능한 이미지 처리 장치의 구조 블록도이다.
도6(a) 내지 도6(b)는 본 발명의 실시예에 따른 서로 다른 카메라 위치를 가진 전자기기를 각각 보여주는 도면이다.
이하, 당업자가 본 발명의 기술방안을 보다 잘 이해하도록 하기 위해, 본 발명의 실시예의 도면을 참조하면서 본 발명의 실시예의 기술방안에 대해 명확하고 완전하게 설명한다. 설명하는 실시예는 본 발명의 일부 실시예일뿐 전부의 실시예는 아닌 것은 자명한 것이다. 본 발명의 실시예에 기초하여 당업자가 창조성적인 노동이 없이 획득하는 모든 기타 실시예는 모두 본 발명의 보호범위에 속할 것이다.
설명해야 할 것은, 본 발명의 명세서, 특허청구범위 및 상기 도면 중의 용어 “제1”, “제2” 등은 유사한 대상을 구별하기 위한 것으로, 특정 순서 또는 선후 순서를 설명하는데 사용될 필요는 없다. 여기서 설명되는 본 발명의 실시예를 여기서 도시하거나 설명되는 순서 이외의 순서로 실시될 수 있도록, 상기와 같이 사용되는 순서는 적절한 상황에서 호환될 수 있다는 것을 이해해야 한다. 이외에도, 용어 “포함” 및 “구비” 및 이들의 임의의 변형은 비배타적인 포함을 커버하는 것을 의미한다. 예를 들면, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 기기는 명확하게 열거되는 단계 또는 유닛에만 한정될 필요가 없으며, 명확하게 열거되지 않거나 또는 상기 프로세스, 방법, 제품 또는 기기의 고유의 기타 단계 또는 유닛도 포함할 수 있다.
본 발명의 실시예는 복수의 촬영 유닛을 구비한 전자기기에 적용될 수 있으며, 전자기기는 스마트 폰, 테블릿PC, 전자책 단말기, 데스크톱 컴퓨터, 워크스테이션, 서버, 개인용 디지털 단말기(PDA), 휴대용 멀티미디어 플레이어(PMP), 의료기기, 카메라 또는 웨어러블 기기(예하면, 손목시계, 팔찌, 안경, 헤드 장치 등 액세서리 유형의 기기), 전자 의복, 신체 내장형 스킨 칩, 차량 탑재 전자 계측기 등을 포함할 수 있다.
아래, 본 발명의 실시예에 따른 선택 가능한 이미지 처리 방법의 흐름도를 설명한다. 설명해야 할 것은, 도면의 흐름도에서 보여주는 단계는 한 그룹의 컴퓨터 실행 가능한 명령어의 컴퓨터 시스템에서 실행될 수 있으며, 흐름도에서 논리 순서를 보여주었지만 어떠한 상황에서는 여기서의 순서와 다르게 보여주거나 또는 설명되는 단계를 실행할 수 있다.
도1을 참조하면, 본 발명의 실시예에 따른 선택 가능한 이미지 처리 방법의 흐름도를 보여준다. 도1에서 도시된 바와 같이, 상기 이미지 처리 방법은,
제1 촬영 유닛을 통해 제1 이미지를 획득하는 단계S10;
제2 촬영 유닛을 통해 제2 이미지를 획득하는 단계S12;
제1 이미지 중의 제1 영역과 제2 이미지를 정합하여 정합 결과를 얻되, 제1 영역과 제2 이미지는 동일한 시야 영역에 대응되는 것인 단계S14;
정합 결과에 따라 제1 영역과 제2 이미지에 대해 융합 처리함으로써 융합 이미지를 획득하는 단계S16; 를 포함한다.
선택적으로, 본 발명의 실시예에서는, 상기 이미지 처리 방법은 복수의 촬영 유닛을 구비한 전자기기에 의해 획득한 이미지를 처리하는데 사용할 수 있다. 여기서, 복수의 촬영 유닛은 전부 또는 부분적으로 서로 다른 시야를 가질 수 있으며, 전자기기의 서로 다른 위치에 각각 개별적으로 설치될 수 있거나 또는 전부 또는 부분적으로 하나의 촬영 블록 또는 복수의 촬영 블록으로 통합된 후, 내장형 또는 외부 연결의 방식으로 전자기기에 설치될 수 있다. 단계S10에서의 제1 촬영 유닛은 전자기기상의 하나의 렌즈 또는 카메라일 수 있고, 단계S12에서의 제2 촬영 유닛은 전자기기상의 다른 하나의 렌즈 또는 카메라일 수 있다. 여기서, 제1 촬영 유닛과 제2 촬영 유닛은 개별적으로 설치될 수 있고, 하나의 촬영 블록에 통합될 수도 있다. 제1 촬영 유닛과 제2 촬영 유닛은 서로 다른 시야를 가지며, 구체적으로, 제1 촬영 유닛의 시야는 제2 촬영 유닛의 시야보다 크다. 예를 들면, 제1 촬영 유닛은 광각 카메라일 수 있고, 제2 촬영 유닛은 망원 카메라일 수 있으며, 또 예를 들면, 제1 촬영 유닛은 초광각 카메라일 수 있고, 제2 촬영 유닛은 광각 카메라 등 일 수 있다.
본 발명의 실시예에서는, 상기 단계를 통해 적어도 두개의 서로 다른 시야를 가지는 촬영 유닛에 의해 획득한 이미지에 대해 융합 처리하여 이미지 품질을 최적화함으로써, 보다 선명한 화질을 보여줄 수 있다. 전자기기에 복수의 서로 다른 시야를 가지는 촬영 유닛 예를 들면, 초광각 카메라, 광각 카메라 및 망원 카메라를 포함할 경우 또는 초광각 카메라, 광각 카메라, 망원 카메라 및 초망원 카메라를 포함할 경우, 사용자가 사진을 촬영할 때 촬영 유닛을 합리적으로 선택 및 이용할 수 있으며, 화질이 가장 좋은 이미지를 스마트하게 합성할 수 있다.
본 발명의 다른 일 실시예에서는, 상기 이미지 처리 방법은, 화질 제고 기술을 이용하여 제1 이미지 중의 제1 영역 이외의 영역인 제2 영역에 대해 처리하는 단계S18을 더 포함할 수 있다. 선택적으로, 화질 제고 기술은 싱글 프레임 또는 다중 프레임에 기반하는 딥러닝 기술을 포함하며, 이는 해상력을 향상시키고 모호함을 제거하며 잡음을 제어하는 등 기술효과를 실현할 수 있다.
본 발명의 다른 일 실시예에서는, 상기 이미지 처리 방법은, 제1 이미지 또는 제2 이미지를 획득한 후, 제1 이미지 및 제2 이미지에 대해 처리하되, 제1 이미지 또는 제2 이미지의 자동 노출(AE) 정보, 자동 화이트 밸런스(AWB) 정보, 자동 초점(AF) 정보 등을 조절하여 제1 이미지 또는 제2 이미지의 색상, 휘도 등을 보정하는 것을 포함하는 단계S13을 더 포함할 수 있다.
이하, 단계S14에 대해 구체적인 설명을 한다. 도2를 참조하면, 본 발명의 실시예에 따른 선택 가능한 이미지 정합 방법의 흐름도를 보여준다.
본 발명의 실시예에서는, 제1 이미지 중의 제1 영역과 제2 이미지를 정합하여 정합 결과를 획득하는 단계S14는,
제1 영역과 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 단계S140;
사전 설정된 방법을 이용하여 제1 축소 이미지와 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계S142;
제1 결과 이미지와 제2 결과 이미지에 대해 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 단계S144;
제1 정합 방법을 이용하여 제1 확대 이미지와 제2 확대 이미지에 대해 처리함으로써 정합 결과를 획득하는 단계S146; 을 포함한다.
선택적으로, 본 발명의 일 실시예에서는, 소정의 배율은 예를 들면 2배, 3배 등으로 주로 성능 요구에 따라 맞춤 제작되며, 제1 영역과 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행함으로써, 전반적인 알고리즘 처리 시간을 최적화하며, 알고리즘 실행 성능을 가속화할 수 있다.
선택적으로, 본 발명의 일 실시예에서는, 사전 설정된 방법은 고밀도 역방향 검색 광학 흐름법(Dense Inverse Search(DIS) optical flow method)이며, 주로 블록 매칭, 희소 광학 흐름의 밀집화 및 변분 최적화를 포함하며, 희소 광학 흐름법과 밀집 광학 흐름법을 겸한 광학 흐름법이다.
선택적으로, 본 발명의 다른 일 실시예에서는, 사전 설정된 방법을 이용하여 제1 축소 이미지와 제2 축소 이미지에 대해 처리를 진행함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는, 제1 축소 이미지와 제2 축소 이미지에 대해 공액선(Epipolar Line) 보정 및 매칭 계산을 진행하여 제1 처리 결과를 획득하는 단계; 제1 처리 결과에 대해 제2차 처리를 진행하여 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계; 를 포함한다. 여기서, 공액선 보정은 제1 축소 이미지와 제2 축소 이미지 사이의 대응하는 픽셀 포인트를 동일 수평선상으로 보정하기 위한 것이며, 공액선 보정을 거친 후의 이미지 쌍에는 수평 방향의 시차만 존재하고, 수직 방향의 시차는 0이 된다(수직 방향의 시차만 존재하고, 수평 방향의 시차는 0일수도 있음). 따라서, 매칭 계산을 2차원에서 1차원으로 하강시켜 매칭 속도 및 정확도를 향상시킬 수 있다. 매칭 계산은 공액선 보정을 거친 후의 이미지 쌍 중 대응하는 픽셀 포인트의 오프셋을 계산하여, 오프셋에 따라 제1 축소 이미지 또는 제2 축소 이미지의 대응되는 픽셀 포인트를 조절함으로써, 이미지 쌍의 매칭을 실현할 수 있다.
공액선 보정을 거친 이미지 쌍이 제1 축소 이미지 및 제2 축소 이미지에 비해 기하학적인 변형이 발생하여, 제1 축소 이미지 및 제2 축소 이미지에 대응되는 시차 이미지를 획득하기 위해서는 제1 처리 결과에 대해 제2차 처리를 진행해야 한다. 본 발명의 일 실시예에서는, 제1 처리 결과에 대해 제2차 처리를 진행하여 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는, 공액선 보정 역변환 및 제2 정합 방법을 이용하여 제1 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계를 포함한다. 공액선 보정 역변환과 제2 정합 방법은 순서대로 진행할 수 있는데, 예를 들면, 일 실시예에서는, 우선 공액선 보정 역변환을 이용하여 제1 처리 결과에 대해 처리함으로써 제2 처리 결과를 획득하고, 그 다음 제2 정합 방법을 이용하여 제2 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득할 수 있다. 또 예를 들면, 다른 일 실시예에서는, 우선 제2 정합 방법을 이용하여 제1 처리 결과에 대해 처리를 진행함으로써, 제3 처리 결과를 획득하고, 그 다음 공액선 보정 역변환을 이용하여 제3 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득할 수 있다. 따라서, 공액선 보정 역변환 및 제2 정합 방법 처리를 거쳐 획득한 제1 결과 이미지 및 제2 결과 이미지와 제1 축소 이미지 및 제2 축소 이미지의 기하학적 형태가 일치하게 되고, 대응되는 픽셀 포인트가 동일한 동차 좌표를 갖게 할 수 있다.
선택적으로, 본 발명의 실시예에서는, 제1 정합 방법 또는 제2 정합 방법은 밀집 광학 흐름 계산법, 반 밀집 광학 흐름 계산법, 국소 정합 방법, 전역 정합 방법 등을 포함할 수 있다.
상기 단계를 통해, 대응되는 동일한 시야 영역의 제1 이미지 중의 제1 영역과 제2 이미지를 정합하여 정합 결과를 획득할 수 있다.
이하, 단계S16에 대해 구체적인 설명을 진행한다. 도3을 참조하면 본 발명의 실시예에 따른 선택 가능한 이미지 융합 방법의 흐름도를 보여준다.
본 발명의 실시예에서는, 정합 결과에 따라 제1 영역과 제2 이미지에 대해 융합 처리를 진행하는 단계S16은,
상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 단계S160;
제1 영역과 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 단계S162;
차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 단계S164;
비교 결과에 따라 제1 영역과 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계S166; 을 포함한다.
선택적으로, 본 발명의 실시예에서는, 차이값이 사전 설정된 임계값 이상인 경우, 비교 결과는 제1 영역과 제2 이미지 사이의 시차가 크거나 또는 차단 정도가 크거나 또는 시야에 움직이는 물체가 존재함을 의미하며, 제1 영역과 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행하지 않는다. 차이값이 사전 설정된 임계값보다 작을 경우, 비교 결과는 제1 영역과 제2 이미지 사이의 시차가 작고, 차단 정도가 작으며, 시야에 움직이는 물체가 존재하지 않음을 의미하며, 제1 영역과 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행할 수 있다. 본 발명의 일 실시예에서는, 사전 설정된 임계값은 기대하는 융합 결과에 근거하여 결정할 수 있으며, 사전 설정된 임계값이 클수록 융합 요구가 느슨하고, 제1 영역과 제2 이미지 중 융합되는 픽셀 포인트가 많으며, 사전 설정된 임계값이 작을 수록 융합 요구가 엄격하며, 제1 영역과 제2 이미지 중 융합되는 픽셀 포인트가 적을 수 있다.
선택적으로, 본 발명의 실시예에서는, 시차, 차단 정도는 제1 축소 이미지 및 제2 축소 이미지에 대해 공액선 보정 및 매칭 계산을 진행한 후 획득한 오차를 통해 표현된다. 시야에 움직이는 물체가 존재하는지는 제1 확대 이미지 및 제2 확대 이미지에 대응하는 픽셀 포인트의 오차로 표현된다.
도4(a) 내지 도4(c)는 본 발명 실시예에 따른 이미지 처리 방법을 적용한 테스트 결과를 도시한다. 도4(a)는 제1 촬영 유닛을 통해 획득한 제1 이미지를 보여주는데, 도4(a)에서, 네모 박스안의 영역은 제1 이미지 중의 제1 영역(42A)이며, 예를 들어 꿀 단지의 태그와 같이 타깃 물체가 작을 경우, 제1 촬영 유닛은 이에 대해 정확하게 포커싱할 수 없어 촬영 이미지가 모호하게 된다. 도4(a)의 오른쪽 아래에 도시된 태그 확대도(44A)에 도시된 바와 같이, 태그상의 글자체가 매우 모호하여 분별하기 어렵다. 도4(b)는 제2 촬영 유닛을 통해 획득한 제2 이미지를 보여주며, 제2 이미지(42B)와 제1 이미지 중의 제1 영역(42A)이 대응되며, 예를 들어 꿀 단지의 태그와 같이 타깃 물체가 작을 경우, 제2 촬영 유닛은 이에 대해 정확하게 포커싱하여 선명한 촬영 이미지를 획득할 수 있다. 도4(b)의 오른쪽 아래에 도시된 태그 확대도(44B)에 도시된 바와 같이, 태그상의 글자체는 선명하게 보인다. 도4(c)는 본 발명의 실시예에 따른 이미지 처리 방법을 적용하여 획득한 융합 이미지를 보여주며, 획득한 이미지 시야각의 크기가 변하지 않을 경우, 즉 융합도4(c)와 제1 이미지4(a)의 이미지 시야각이 동일할 경우, 제1 이미지의 제1 영역과 제2 이미지에 대해 융합한 후 융합 영역(42C)을 획득하며, 도4(c)의 오른쪽 아래에 도시된 태그 확대도(44C)에 도시된 바와 같이, 융합을 거친 후, 태그 상의 글자체는 여전히 선명하게 보인다.
도5를 참조하면, 본 발명 실시예의 선택 가능한 이미지 처리 장치의 구조 블록도를 보여준다. 도5에서 도시된 바와 같이, 이미지 처리 장치(5)는,
제1 이미지를 획득하는 제1 촬영 유닛(50);
제2 이미지를 획득하는 제2 촬영 유닛(52);
상기 제1 이미지 중의 제1 영역과 제2 이미지를 정합하여 정합 결과를 획득하되, 상기 제1 영역과 제2 이미지는 동일한 시야 영역에 대응되는 정합 유닛(54);
상기 정합 결과에 따라 상기 제1 영역과 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 융합 유닛(56); 을 포함한다.
선택적으로, 본 발명의 실시예에서는, 이미지 처리 장치는 화질 제고 기술을 이용하여 제1 이미지 중의 제1 영역 이외의 영역인 제2 영역에 대해 처리하는 화질 제고 유닛을 더 포함할 수 있다. 선택적으로, 화질 제고 기술은 싱글 프레임 또는 다중 프레임에 기반하는 딥러닝 기술을 포함하며, 이는 해상력을 향상시키고 모호함을 제거하며 잡음을 제어하는 등 기술효과를 실현할 수 있다.
본 발명의 다른 일 실시예에서는, 이미지 처리 장치는 제1 이미지 또는 제2 이미지를 획득한 후, 제1 이미지 또는 제2 이미지의 자동 노출(AE) 정보, 자동 화이트 밸런스(AWB) 정보, 자동 초점(AF) 정보 등을 조절하여 제1 이미지 또는 제2 이미지의 색상, 휘도 등을 보정하는 것을 포함하는 제1 이미지와 제2 이미지에 대한 처리를 진행하는 보정 유닛을 더 포함할 수 있다.
선택적으로, 본 발명의 실시예에서는, 정합 유닛(54)은,
제1 영역과 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 축소 유닛(540);
사전 설정된 방법을 이용하여 제1 축소 이미지와 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 제1 처리 유닛(542);
제1 결과 이미지와 제2 결과 이미지에 대해 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 확대 유닛(544);
제1 정합 방법을 이용하여 제1 확대 이미지와 제2 확대 이미지에 대해 처리함으로써 상기 정합 결과를 획득하는 제1 정합 서브 유닛(546); 을 포함할 수 있다.
선택적으로, 본 발명의 일 실시예에서는, 소정의 배율은 예를 들면 2배, 3배 등으로 주로 성능 요구에 따라 맞춤 제작되며, 제1 영역과 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행함으로써, 전반적인 알고리즘 처리 시간을 최적화하며, 알고리즘 실행 성능을 가속화할 수 있다.
선택적으로, 본 발명의 일 실시예에서는, 사전 설정된 방법은 고밀도 역방향 검색 광학 흐름법(Dense Inverse Search(DIS) optical flow method)이며, 주로 블록 매칭, 희소 광학 흐름의 밀집화 및 변분 최적화를 포함하며, 희소 광학 흐름법과 밀집 광학 흐름법을 겸한 광학 흐름법이다.
선택적으로, 본 발명의 다른 일 실시예에서는, 사전 설정된 방법을 이용하여 제1 축소 이미지와 제2 축소 이미지에 대해 처리를 진행함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는, 제1 축소 이미지와 제2 축소 이미지에 대해 공액선(Epipolar Line) 보정 및 매칭 계산을 진행하여 제1 처리 결과를 획득하는 단계; 제1 처리 결과에 대해 제2차 처리를 진행하여 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계; 를 포함한다. 여기서, 공액선 보정은 제1 축소 이미지와 제2 축소 이미지 사이의 대응하는 픽셀 포인트를 동일 수평선상으로 보정하기 위한 것이며, 공액선 보정을 거친 후의 이미지 쌍에는 수평 방향의 시차만 존재하고, 수직 방향의 시차는 0이 된다(수직 방향의 시차만 존재하고, 수평 방향의 시차는 0일수도 있음). 따라서, 매칭 계산을 2차원에서 1차원으로 하강시켜 매칭 속도 및 정확도를 향상시킬 수 있다. 매칭 계산은 공액선 보정을 거친 후의 이미지 쌍 중 대응하는 픽셀 포인트의 오프셋을 계산하여, 오프셋에 따라 제1 축소 이미지 또는 제2 축소 이미지의 대응되는 픽셀 포인트를 조절함으로써, 이미지 쌍의 매칭을 실현할 수 있다.
공액선 보정을 거친 이미지 쌍이 제1 축소 이미지 및 제2 축소 이미지에 비해 기하학적인 변형이 발생하여, 제1 축소 이미지 및 제2 축소 이미지에 대응되는 시차 이미지를 획득하기 위해서는 제1 처리 결과에 대해 제2차 처리를 진행해야 한다. 본 발명의 일 실시예에서는, 제1 처리 결과에 대해 제2차 처리를 진행하여 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는, 공액선 보정 역변환 및 제2 정합 방법을 이용하여 제1 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계를 포함한다. 공액선 보정 역변환과 제2 정합 방법은 순서대로 진행할 수 있는데, 예를 들면, 일 실시예에서는, 우선 공액선 보정 역변환을 이용하여 제1 처리 결과에 대해 처리함으로써 제2 처리 결과를 획득하고, 그 다음 제2 정합 방법을 이용하여 제2 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득할 수 있다. 또 예를 들면, 다른 일 실시예에서는, 우선 제2 정합 방법을 이용하여 제1 처리 결과에 대해 처리를 진행함으로써, 제3 처리 결과를 획득하고, 그 다음 공액선 보정 역변환을 이용하여 제3 처리 결과에 대해 처리를 진행함으로써, 제1 결과 이미지 및 제2 결과 이미지를 획득할 수 있다. 따라서, 공액선 보정 역변환 및 제2 정합 방법 처리를 거쳐 획득한 제1 결과 이미지 및 제2 결과 이미지와 제1 축소 이미지 및 제2 축소 이미지의 기하학적 형태가 일치하게 되고, 대응되는 픽셀 포인트가 동일한 동차 좌표를 갖게 할 수 있다.
선택적으로, 본 발명의 실시예에서는, 제1 정합 방법 또는 제2 정합 방법은 밀집 광학 흐름 계산법, 반 밀집 광학 흐름 계산법, 국소 정합 방법, 전역 정합 방법 등을 포함할 수 있다.
상기 단계를 통해, 대응되는 동일한 시야 영역의 제1 이미지 중의 제1 영역과 제2 이미지를 정합하여 정합 결과를 획득할 수 있다.
선택적으로, 본 발명의 실시예에서는, 융합 유닛(56)은,
정합 결과에 따라 상기 제1 영역과 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 결정 유닛(560);
제1 영역과 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 계산 유닛(562);
차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 비교 유닛(564);
비교 결과에 따라 제1 영역과 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 융합 서브 유닛(566); 을 포함할 수 있다.
선택적으로, 본 발명의 실시예에서는, 차이값이 사전 설정된 임계값 이상인 경우, 비교 결과는 제1 영역과 제2 이미지 사이의 시차가 크거나 또는 차단 정도가 크거나 또는 시야에 움직이는 물체가 존재함을 의미하며, 제1 영역과 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행하지 않는다. 차이값이 사전 설정된 임계값보다 작을 경우, 비교 결과는 제1 영역과 제2 이미지 사이의 시차가 작고, 차단 정도가 작으며, 시야에 움직이는 물체가 존재하지 않음을 의미하며, 제1 영역과 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행할 수 있다. 본 발명의 일 실시예에서는, 사전 설정된 임계값은 기대하는 융합 결과에 근거하여 결정할 수 있으며, 사전 설정된 임계값이 클수록 융합 요구가 느슨하고, 제1 영역과 제2 이미지 중 융합되는 픽셀 포인트가 많으며, 사전 설정된 임계값이 작을 수록 융합 요구가 엄격하며, 제1 영역과 제2 이미지 중 융합되는 픽셀 포인트가 적을 수 있다.
선택적으로, 본 발명의 실시예에서는, 시차, 차단 정도는 제1 축소 이미지 및 제2 축소 이미지에 대해 공액선 보정 및 매칭 계산을 진행한 후 획득한 오차를 통해 표현된다. 시야에 움직이는 물체가 존재하는지는 제1 확대 이미지 및 제2 확대 이미지에 대응하는 픽셀 포인트의 오차로 표현된다.
본 발명의 실시예는 복수의 촬영 유닛을 구비하는 전자기기에 적용될 수 있다. 도6(a) 내지 도6(c)를 참조하면 각각 본 발명의 실시예에 따른 서로 다른 카메라 위치를 갖는 전자기기를 도시하고 있다. 이로부터 알 수 있듯이, 복수의 촬영 유닛은 전자기기의 서로 다른 위치에 개별적으로 각각 설치될 수 있다. 여기서, 복수의 촬영 유닛은 서로 다른 시야를 갖는 적어도 두개의 촬영 유닛을 포함한다.
물론, 도6(a) 내지 도6(c)는 세개의 촬영 유닛을 구비한 전자기기의 예시일 뿐이다. 당업자는 전자기기의 복수의 촬영 유닛의 개수 및 위치는 수요에 따라 조정할 수 있고, 도6(a) 내지 도6(c)에 제시된 예시에 한정되지 않음을 알고 있다. 예를 들면, 복수의 촬영 유닛의 개수는 3개 이상일 수 있고, 일부 또는 전부가 서로 다른 시야를 가질 수 있으며, 전자기기의 서로 다른 위치에 각각 개별적으로 설치될 수 있거나 또는 일부 또는 전부가 하나의 촬영 모듈 또는 복수의 촬영 모듈에 통합된 후 내장형 또는 외부 연결의 방식으로 전자기기에 설치될 수 있다.
본 발명 실시예의 다른 일 측면에 따르면, 전자기기를 더 제공하며, 상기 전자기기는 프로세서 및 프로세서의 실행 가능한 명령어를 저장하는 메모리를 포함한다. 여기서, 프로세서는 실행 가능한 명령어를 실행하여 상술한 어는 한 이미지 처리 방법을 수행하도록 구성된다.
본 발명 실시예의 다른 일 측면에 따르면, 저장 매체를 더 제공하며, 상기 저장 매체는 저장된 프로그램을 포함한다, 여기서, 프로그램 실행 시 저장 매체가 위치한 기기를 제어하여 상술한 어는 한 이미지 처리 방법을 수행하게 한다.
상기 본 발명 실시예의 순번은 오로지 설명하기 위한 것이지, 실시예의 우열을 나타내기 위한 것은 아니다.
본 발명의 상기 실시예에서는, 각 실시예에 대한 설명에는 모두 중점이 있으며, 어느 한 실시예에 상세한 설명 부분이 없을 경우, 기타 실시예의 관련 설명 부분을 참조할 수 있다.
본 출원에서 제공되는 몇개의 실시예에서는, 개시된 기술내용은 기타 방식을 통해 실현될 수 있음을 이해해야 한다. 여기서, 상기 설명된 장치 실시예는 예시적인 것일 뿐이며, 예를 들면 상기 유닛의 구분 방식은 논리 기능적인 구분 방식일 수 있으며, 실제 실현시에는 다른 구분 방식이 있을 수 있다. 예를 들면, 복수의 유닛 또는 컴포넌트는 다른 한 시스템에 결합 또는 통합될 수 있으며, 또한 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 상기 보여주거나 토론된 상호간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스에 의해 실현될 수 있으며, 유닛 또는 모듈의 간접 커플링 또는 통신 연결은 전기적 또는 기타 형식일 수 있다.
상기 분리 부품으로 설명된 유닛은 물리적으로 분리된 것일 수 있고 그렇지 않을 수도 있다. 유닛으로 보여준 부품은 물리 유닛일 수 있고 아닐 수도 있다. 즉, 어느 한 곳에 위치할 수 있거나 또는 복수의 유닛에 분포할 수도 있다. 실제 수요에 따라 그중 일부 또는 전부 유닛을 선택하여 본 실시예 기술방안의 목적을 실현할 수 있다.
또한, 본 발명의 각 실시예 중의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 두개 또는 두개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형식으로 실현될 수 있으며, 소프트웨어 기능 유닛의 형식으로 실현될 수도 있다.
상기 통합된 유닛이 만약 소프트웨어 기능 유닛의 형식으로 실현되어 독립적인 제품으로 판매 또는 사용될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술방안 실질상 또는 종래의 기술에 공헌을 한 부분 또는 상기 기술방안의 전부 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있으며, 이는 여러개의 명령어를 포함하여 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전부 또는 일부 단계를 실행하도록 할 수 있다. 전술한 저장 매체는 USB, 읽기 전용 기억 장치(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 외장 하드, 디스크 또는 CD 등 각종 프로그램 코드를 저장할 수 있는 매체를 포함하되 이에 한정되지 않을 수 있다.
상기 설명된 부분은 본 발명의 바람직한 실시형태일 뿐이며, 당업자라면 본 발명의 원리를 벗어나지 않는 전제하에 여러가지 개선 및 윤색을 진행할 수 있으며, 이러한 개선 및 윤색도 본 발명의 보호범위로 간주해야 함을 유의해야 한다.

Claims (18)

  1. 적어도 두개의 촬영 유닛을 구비하는 전자기기에 사용되는 이미지 처리 방법으로,
    제1 촬영 유닛을 통해 제1 이미지를 획득하는 단계;
    제2 촬영 유닛을 통해 제2 이미지를 획득하는 단계;
    상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 단계; 및
    상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계; 를 포함하며,
    상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응되고,
    상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 단계는,
    상기 제1 영역과 상기 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 단계;
    사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계;
    상기 제1 결과 이미지와 상기 제2 결과 이미지에 대해 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 단계; 및
    제1 정합 방법을 이용하여 상기 제1 확대 이미지와 상기 제2 확대 이미지에 대해 처리함으로써 상기 정합 결과를 획득하는 단계; 를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    화질 제고 기술을 이용하여 상기 제1 이미지 중의 제1 영역 이외의 영역인 제2 영역에 대해 처리를 진행하는 단계를 더 포함하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 화질 제고 기술은 싱글 프레임 또는 다중 프레임에 기반하는 딥러닝 기술을 포함하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 제1 촬영 유닛과 상기 제2 촬영 유닛은 서로 다른 시야를 갖는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 사전 설정된 방법은 고밀도 역방향 검색 광학 흐름법(Dense Inverse Search optical flow method)인 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계는,
    상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 공액선 보정 및 매칭 계산을 진행하여 제1 처리 결과를 획득하는 단계; 및
    상기 제1 처리 결과에 대해 제2차 처리를 진행하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 제1 처리 결과에 대해 제2차 처리를 진행하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는,
    공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는,
    공액선 보정 역변환을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 제2 처리 결과를 획득하는 단계; 및
    제2 정합 방법을 이용하여 상기 제2 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법.
  9. 제7항에 있어서,
    상기 공액선 보정 역변환 및 제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 상기 제2 결과 이미지를 획득하는 단계는,
    제2 정합 방법을 이용하여 상기 제1 처리 결과에 대해 처리를 진행함으로써 제3 처리 결과를 획득하는 단계; 및
    상기 공액선 보정 역변환을 이용하여 상기 제3 처리 결과에 대해 처리를 진행함으로써 상기 제1 결과 이미지 및 제2 결과 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 제1 정합 방법은, 밀집 광학 흐름 계산법, 반 밀집 광학 흐름 계산법, 국소 정합 방법, 전역 정합 방법을 포함하는 이미지 처리 방법.
  11. 제1항에 있어서,
    상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 단계는,
    상기 정합 결과에 따라 상기 제1 영역과 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 단계;
    상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 단계;
    상기 차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 단계; 및
    상기 비교 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 상기 융합 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 차이값이 상기 사전 설정된 임계값 이상인 경우, 비교 결과는 상기 제1 영역과 상기 제2 이미지 사이의 시차가 크거나 또는 차단 정도가 크거나 또는 시야에 움직이는 물체가 존재함을 의미하며, 상기 제1 영역과 상기 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행하지 않으며; 상기 차이값이 상기 사전 설정된 임계값보다 작을 경우, 비교 결과는 상기 제1 영역과 상기 제2 이미지 사이의 시차가 작고, 차단 정도가 작으며, 시야에 움직이는 물체가 존재하지 않음을 의미하며, 상기 제1 영역과 상기 제2 이미지의 대응되는 픽셀 포인트에 대해 융합을 진행하는 이미지 처리 방법.
  13. 제1 이미지를 획득하는 제1 촬영 유닛;
    제2 이미지를 획득하는 제2 촬영 유닛;
    상기 제1 이미지 중의 제1 영역과 상기 제2 이미지를 정합하여 정합 결과를 획득하는 정합 유닛; 및
    상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 융합 이미지를 획득하는 융합 유닛; 을 포함하며,
    상기 제1 영역과 상기 제2 이미지는 동일한 시야 영역에 대응되고,
    상기 정합 유닛은,
    상기 제1 영역과 상기 제2 이미지에 대해 소정의 배율에 따라 축소 처리를 진행하여 제1 축소 이미지 및 제2 축소 이미지를 획득하는 축소 유닛;
    사전 설정된 방법을 이용하여 상기 제1 축소 이미지와 상기 제2 축소 이미지에 대해 처리함으로써 제1 결과 이미지 및 제2 결과 이미지를 획득하는 제1 처리 유닛;
    상기 제1 결과 이미지와 상기 제2 결과 이미지에 대해 상기 소정의 배율에 따라 확대 처리를 진행하여 제1 확대 이미지 및 제2 확대 이미지를 획득하는 확대 유닛; 및
    제1 정합 방법을 이용하여 상기 제1 확대 이미지와 상기 제2 확대 이미지에 대해 처리함으로써 상기 정합 결과를 획득하는 제1 정합 서브 유닛; 을 포함하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 융합 유닛은,
    상기 정합 결과에 따라 상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부를 결정하는 결정 유닛;
    상기 제1 영역과 상기 제2 이미지 사이의 시차, 차단 정도 또는 시야에 움직이는 물체가 존재하는지 여부 중 하나 또는 복수 개에 따라 차이값을 계산하는 계산 유닛;
    상기 차이값과 사전 설정된 임계값을 비교하여 비교 결과를 획득하는 비교 유닛; 및
    상기 비교 결과에 따라 상기 제1 영역과 상기 제2 이미지에 대해 융합 처리를 진행하여 상기 융합 이미지를 획득하는 융합 서브 유닛; 을 포함하는 이미지 처리 장치.
  15. 저장되어 있는 프로그램을 포함하는 저장 매체로서,
    상기 프로그램은 실행 시, 저장 매체가 위치한 기기가 제1항 내지 제12항 중 어느 한 항에 따른 이미지 처리 방법을 실행하도록 하는 저장 매체.
  16. 프로세서; 및
    상기 프로세서의 실행 가능한 명령어를 저장하는 메모리; 를 포함하며,
    상기 프로세서는 상기 실행 가능한 명령어를 실행하여 제1항 내지 제12항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 전자기기.
  17. 삭제
  18. 삭제
KR1020227014840A 2019-09-30 2020-09-24 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기 KR102649993B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910943314.8A CN112584034B (zh) 2019-09-30 2019-09-30 图像处理方法、图像处理装置及应用其的电子设备
CN201910943314.8 2019-09-30
PCT/CN2020/117520 WO2021063245A1 (zh) 2019-09-30 2020-09-24 图像处理方法、图像处理装置及应用其的电子设备

Publications (2)

Publication Number Publication Date
KR20220073824A KR20220073824A (ko) 2022-06-03
KR102649993B1 true KR102649993B1 (ko) 2024-03-20

Family

ID=75116530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014840A KR102649993B1 (ko) 2019-09-30 2020-09-24 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기

Country Status (5)

Country Link
US (1) US20220343520A1 (ko)
JP (1) JP7412545B2 (ko)
KR (1) KR102649993B1 (ko)
CN (1) CN112584034B (ko)
WO (1) WO2021063245A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570530B (zh) * 2021-06-10 2024-04-16 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备
CN113793272B (zh) * 2021-08-11 2024-01-26 东软医疗系统股份有限公司 图像降噪方法及装置、存储介质、终端
CN114979487A (zh) * 2022-05-27 2022-08-30 联想(北京)有限公司 图像处理方法、装置及电子设备和存储介质
CN115242947B (zh) * 2022-07-01 2023-08-08 浙江大学 一种头戴式高清伤口评估及记录系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
CN105828067A (zh) * 2016-04-19 2016-08-03 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
JP6816769B2 (ja) * 2016-07-22 2021-01-20 ソニー株式会社 画像処理装置と画像処理方法
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN107087107B (zh) * 2017-05-05 2019-11-29 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10645358B2 (en) * 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
WO2019167571A1 (ja) 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム

Also Published As

Publication number Publication date
CN112584034A (zh) 2021-03-30
KR20220073824A (ko) 2022-06-03
JP2022550191A (ja) 2022-11-30
JP7412545B2 (ja) 2024-01-12
US20220343520A1 (en) 2022-10-27
CN112584034B (zh) 2023-04-07
WO2021063245A1 (zh) 2021-04-08

Similar Documents

Publication Publication Date Title
KR102649993B1 (ko) 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기
US9870602B2 (en) Method and apparatus for fusing a first image and a second image
WO2018225967A1 (en) Device having cameras with different focal lengths and method of implementing cameras
US10755381B2 (en) Method and device for image stitching
US11490016B2 (en) Zooming method and electronic device using the same
US10706567B2 (en) Data processing method, apparatus, system and storage media
US10284817B2 (en) Device for and method of corneal imaging
WO2018019282A1 (zh) 双目全景图像获取方法，装置及存储介质
US8315443B2 (en) Viewpoint detector based on skin color area and face area
EP2328125A1 (en) Image splicing method and device
CN109767466B (zh) 画面渲染方法、装置、终端及对应的存储介质
US20180007285A1 (en) Image fusion method for multiple lenses and device thereof
CN109561257B (zh) 画面对焦方法、装置、终端及对应的存储介质
US9100563B2 (en) Apparatus, method and computer-readable medium imaging through at least one aperture of each pixel of display panel
WO2021136078A1 (zh) 图像处理方法、图像处理系统、计算机可读介质和电子设备
US10942567B2 (en) Gaze point compensation method and apparatus in display device, and display device
CN112930677B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN104363377A (zh) 对焦框的显示方法、装置及终端
CN112215880A (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN111210506A (zh) 一种三维还原方法、系统、终端设备和存储介质
CN106878598B (zh) 处理方法及电子设备
CN108780572A (zh) 图像校正的方法及装置
CN104754316A (zh) 一种3d成像方法、装置及成像系统
CN114786001A (zh) 3d图片拍摄方法和3d拍摄系统
KR20180065642A (ko) 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant