KR20220128800A - 파노라마 이미지 생성 장치 및 방법 - Google Patents

파노라마 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR20220128800A
KR20220128800A KR1020210033379A KR20210033379A KR20220128800A KR 20220128800 A KR20220128800 A KR 20220128800A KR 1020210033379 A KR1020210033379 A KR 1020210033379A KR 20210033379 A KR20210033379 A KR 20210033379A KR 20220128800 A KR20220128800 A KR 20220128800A
Authority
KR
South Korea
Prior art keywords
image
region
interest
images
hdr
Prior art date
Application number
KR1020210033379A
Other languages
English (en)
Inventor
송정용
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210033379A priority Critical patent/KR20220128800A/ko
Priority to US17/446,066 priority patent/US11843863B2/en
Priority to CN202111330553.XA priority patent/CN115082305A/zh
Publication of KR20220128800A publication Critical patent/KR20220128800A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 기술은 파노라마 이미지 생성 장치 및 방법에 관한 것으로, 파노라마 이미지 생성 장치는 복수의 이미지들을 외부로부터 수신하고, 상기 복수의 이미지들 각각의 관심 영역을 선정하여 관심 영역 이미지들을 출력하는 관심 영역 선정 블록; 상기 관심 영역 이미지들을 HDR(High Dynamic Range) 처리하기 위한 HDR 처리 블록; 및 상기 HDR 처리된 상기 관심 영역 이미지들을 스티칭하여 파노라마 이미지를 생성하기 위한 파노라마 이미지 생성 블록을 포함하며, 상기 HDR 처리 블록은 상기 파노라마 이미지를 상기 HDR 처리하여 최종 파노라마 이미지를 생성한다.

Description

파노라마 이미지 생성 장치 및 방법{Apparatus and method for generating panorama image}
본 발명은 파노라마 이미지 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 복수의 이미지를 하나의 이미지로 정합하여 파노라마 이미지를 생성하는 장치 및 방법에 관한 것이다.
통상의 촬상장치를 이용한 촬영시, 한장의 사진에 담을 수 있는 영상의 크기는 제한되어 있기 때문에, 여러 장의 정지영상을 각각 촬영하여 촬영된 정지영상들을 조합하여 넓은 영상을 생성하여야 할 경우가 발생한다. 이와 같은 촬영기법을 파노라마 영상 촬영이라 한다.
최근 디스플레이의 대형화와 단일 디스플레이를 여러 대 연결한 형태의 디스플레이 환경이 제공됨에 따라 파노라마 콘텐츠가 폭넓게 사용되고 있다. 파노라마 콘텐츠란 사용자에게 현장감 제공을 극대화하기 위한 넓은 화각의 고화질 콘텐츠를 일컫는다. 파노라마 콘텐츠는 상공에서 지상을 한 눈에 조망할 수 있는 항공 파노라마, 전자지도에 GPS 좌표를 적용하여 전국 지상공간에 대한 실사기반 정보를 제공하는 거리 파노라마, 관광명소, 숙박, 음식점 등 특정 장소의 정보를 고해상도로 보여주는 포인트 파노라마 등 실생활의 여러 부분에서 사용되고 있으며, 광고, 교육, 군사, 공연, 관광 등 다양한 타 산업 분야에 활용도가 높다.
본 발명의 실시 예는 복수의 이미지들의 정합면을 HDR(High Dynamic Range) 적용한 후 서로 관련성이 높은 지점을 정합 포인트로 하여 정합하는 파노라마 이미지 생성 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 파노라마 이미지 생성 장치는 복수의 이미지들을 외부로부터 수신하고, 상기 복수의 이미지들 각각의 관심 영역을 선정하여 관심 영역 이미지들을 출력하는 관심 영역 선정 블록; 상기 관심 영역 이미지들을 HDR(High Dynamic Range) 처리하기 위한 HDR 처리 블록; 및 상기 HDR 처리된 상기 관심 영역 이미지들을 스티칭하여 파노라마 이미지를 생성하기 위한 파노라마 이미지 생성 블록을 포함하며, 상기 HDR 처리 블록은 상기 파노라마 이미지를 상기 HDR 처리하여 최종 파노라마 이미지를 생성한다.
본 발명의 실시 예에 따른 파노라마 이미지 생성 방법은 제1 이미지 및 제2 이미지의 중복 영역을 제1 관심 영역 이미지 및 제2 관심 영역 이미지로 설정하는 단계; 상기 제1 관심 영역 이미지 및 상기 제2 관심 영역 이미지에 대해 HDR(High Dynamic Range) 처리하는 단계; 상기 HDR 처리된 상기 제1 관심 영역 이미지를 복수의 이미지 영역들로 분할하고, 상기 복수의 이미지 영역들 중 메인 이미지 영역과 상기 HDR 처리된 상기 제2 관심 영역 이미지를 매칭시켜 정합 포인트를 찾는 단계; 및 상기 정합 포인트를 기초로 하여 상기 제1 이미지 및 상기 제2 이미지를 스티칭하여 파노라마 이미지를 생성하는 단계를 포함한다.
본 기술에 따르면, HDR이 적용된 복수의 이미지들을 이용하여 파노라마 이미지 생성이 가능하며, 복수의 이미지들의 스티칭 동작 시 저압 성공률을 개선할 수 있으며, 파노라마 이미지 중 중첩 부위의 밝기 차이도 개선할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 파노라마 이미지 생성 블록의 일 실시 예를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 단계 S310을 설명하기 위한 도면이다.
도 5는 도 3의 단계 S320을 설명하기 위한 도면이다.
도 6은 도 3의 단계 S330을 설명하기 위한 도면이다.
도 7은 도 3의 단계 S340 및 단계 S350을 설명하기 위한 도면이다.
도 8은 도 3의 단계 S360을 설명하기 위한 도면이다.
도 9는 도 3의 단계 S370을 설명하기 위한 도면이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 파노라마 이미지 생성 장치(100)는 ROI 선정 블록(110), HDR 처리 블록(120) 및 파노라마 이미지 생성 블록(130)을 포함하여 구성될 수 있다.
ROI 선정 블록(110)은 외부로부터 복수의 이미지를 수신하고, 수신된 복수의 이미지 각각의 관심 영역(Region of Interest, ROI)을 선정하고 관심 영역 이미지를 출력한다. 예를 들어, ROI 선정 블록(110)은 제1 이미지(img1)를 수신하고, 제1 이미지(img1) 중 관심 영역을 선택하고 선택된 관심 영역에 대응하는 이미지를 제1 관심 영역 이미지(ROI1)로 출력한다. 또한, ROI 선정 블록(110)은 제2 이미지(img2)를 수신하고, 제2 이미지(img2) 중 관심 영역을 선택하고 선택된 관심 영역에 대응하는 이미지를 제2 관심 영역 이미지(ROI2)로 출력한다. ROI 선정 블록(110)은 제1 이미지(img1) 및 제2 이미지(img2) 중 서로 중첩되는 이미지 부분을 각각 제1 이미지(img1) 및 제2 이미지(img2)의 관심 영역으로 선정하여 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)로 출력한다.
HDR 처리 블록(120)은 ROI 선정 블록(110)으로부터 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)를 수신하고, 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2) 각각을 HDR(High Dynamic Range) 처리하여 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)를 생성한다.
HDR 처리는 인간의 눈의 능력(capacity)과 더 유사한 이미지에서 다양한 휘도를 제공하기 위하여, 이미지 또는 영상의 가장 밝은 곳부터 가장 어두운 곳까지 밝기의 범위를 확장시켜 이미지 또는 영상의 명암비(contrast ratio, 가장 밝은 부분과 가장 어두운 부분의 차이)를 높이는 것으로, 이미지 또는 영상에서 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만드는 기술을 의미한다.
또한, HDR 처리 블록(120)은 파노라마 이미지 생성 블록(130)으로부터 파노라마 이미지(Panorama_img)를 수신하고, 수신된 파노라마 이미지(Panorama_img)를 HDR 처리하여 최종 파노라마 이미지(F_Panorama_img)를 생성하여 출력한다.
파노라마 이미지 생성 블록(130)은 HDR 처리 블록(120)으로부터 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)를 수신하고, 수신된 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)에 기초하여 제1 이미지(img1) 및 제2 이미지(img2)를 스티칭(stitching)하기 위한 정합 좌표를 서치하고, 서치된 정합 좌표를 이용하여 제1 이미지(img1) 및 제2 이미지(img2)를 스티칭하여 파노라마 이미지(Panorama_img)를 생성한다.
상술한 바와 같이 본원 발명의 실시 예에 따른 파노라마 이미지 생성 장치(100)는 복수의 이미지들이 중첩되는 영역을 각 이미지들의 관심 영역으로 선정하고, 선정된 이미지들의 관심 영역을 1차 HDR 처리하여 파노라마 이미지를 생성하기 위한 정합 포인트를 용이하게 구할 수 있어 정합 성공률이 개선된다. 또한 복수의 이미지들을 정합하여 파노라마 이미지(Panorama_img)를 생성한 후 2차 HDR 처리함으로써 정합된 부분의 밝기 차이를 개선할 수 있다.
도 2는 도 1의 파노라마 이미지 생성 블록의 일 실시 예를 설명하기 위한 블록도이다.
도 2를 참조하면, 파노라마 이미지 생성 블록(130)은 이미지 분해 블록(131), 메인 이미지 영역 선정 블록(132), 이미지 매칭 블록(133), 정합 좌표 서치 블록(134), 및 이미지 스티칭 블록(135)을 포함하여 구성될 수 있다.
이미지 분해 블록(131)은 도 1의 HDR 처리 블록(120)으로부터 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)를 수신하고, 수신된 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2) 각각을 저주파 이미지와 고주파 이미지로 분해한다. 예를 들어, 이미지 분해 블록(131)은 제1 HDR 이미지(H_ROI1)에서 기준 주파수보다 높은 고주파수 영역의 이미지를 추출하여 제1 고주파 이미지(ROI1_HF)를 생성하고, 제2 HDR 이미지(H_ROI2)에서 기준 주파수보다 높은 고주파수 영역의 이미지를 추출하여 제2 고주파 이미지(ROI2_HF)를 생성할 수 있다. 예를 들어, 이미지 분해 블록(131)은 제1 HDR 이미지(H_ROI1)를 HPF(High Pass Filter) 처리하여 제1 고주파 이미지(ROI1_HF)를 생성하고, 제2 HDR 이미지(H_ROI2)를 HPF 처리하여 제2 고주파 이미지(ROI2_HF)를 생성할 수 있다.
메인 이미지 영역 선정 블록(132)은 이미지 분해 블록(131)으로부터 제1 고주파 이미지(ROI1_HF)를 수신하고, 제1 고주파 이미지(ROI1_HF)를 복수의 이미지 영역으로 분할한 후 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 하나의 이미지 영역을 메인 이미지 영역으로 선정한다. 예를 들어, 메인 이미지 영역 선정 블록(132)은 제1 고주파 이미지(ROI1_HF)를 동일한 사이즈를 갖는 복수의 이미지 영역으로 분할하고, 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 하나의 이미지 영역을 메인 이미지 영역으로 선정할 수 있으며, 각 이미지 영역의 디테일 정보량은 STD(standard deviation), MAD(mean of absolute difference), 또는 SAD(sum of absolute difference) 등의 방법을 이용하여 구할 수 있다. 선정된 제1 고주파 이미지(ROI1_HF)의 메인 이미지 영역은 메인 이미지(ROI1_MB)로 하여 출력될 수 있다.
이미지 매칭 블록(133)은 메인 이미지 영역 선정 블록(132)으로부터 수신된 제1 고주파 이미지(ROI1_HF)의 메인 이미지(ROI1_MB)와 이미지 분해 블록(131)으로부터 수신된 제2 고주파 이미지(ROI2_HF)를 매칭시켜 정합 포인트(Matching point)를 선정한다. 예를 들어, 이미지 매칭 블록(133)은 템플릿 매칭(template matching) 기법을 이용하여 메인 이미지(ROI1_MB)와 제2 고주파 이미지(ROI2_HF)를 매칭시켜 정합 포인트(Matching point)를 선정한다.
정합 좌표 서치 블록(134)은 이미지 매칭 블록(133)에 의해 선정된 정합 포인트(Matching point)를 기초로 하여 제1 관심 영역 이미지(ROI1)의 정합 좌표(ROI1_MP) 및 제2 관심 영역 이미지(ROI2)의 정합 좌표(ROI2_MP)를 각각 서치한다.
이미지 스티칭 블록(135)은 제1 관심 영역 이미지(ROI1)의 정합 좌표(ROI1_MP) 및 제2 관심 영역 이미지(ROI2)의 정합 좌표(ROI2_MP)를 이용하여 제1 이미지(img1)와 제2 이미지(img2)를 정합하여 파노라마 이미지(Panorama_img)를 생성한다. 예를 들어 이미지 스티칭 블록(135)은 이미지 데이터의 선형 조합을 형성하여 제1 이미지(img1)와 제2 이미지(img2)의 데이터가 중첩 이미지로 결합되는 블렌딩 단계를 수행할 수 있다. 블렌딩 단계는 사용자가 하나의 단일 이미지로 스티칭된 이미지를 경험할 수 있도록 이미지 사이를 더 부드럽게 전환하는 것이다.
도 3은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 단계 S310을 설명하기 위한 도면이다.
도 5는 도 3의 단계 S320을 설명하기 위한 도면이다.
도 6은 도 3의 단계 S330을 설명하기 위한 도면이다.
도 7은 도 3의 단계 S340 및 단계 S350을 설명하기 위한 도면이다.
도 8은 도 3의 단계 S360을 설명하기 위한 도면이다.
도 9는 도 3의 단계 S370을 설명하기 위한 도면이다.
도 1 내지 도 9를 참조하여본 발명의 일 실시 예에 따른 파노라마 이미지 생성 방법을 설명하면 다음과 같다.
본 발명의 실시 예에서는 제1 이미지(img1)와 제2 이미지(img1)를 정합하여 하나의 파노라마 이미지를 생성하는 방법을 설명하도록 한다.
단계 S310에서, 복수의 이미지들의 중복 영역을 관심 영역(ROI)으로 선정한다. 예를 들어, ROI 선정 블록(110)은 외부로부터 제1 이미지(img1) 및 제2 이미지(img2)를 수신하고, 제1 이미지(img1) 및 제2 이미지(img2) 중 서로 중첩되는 이미지 부분을 각각 제1 이미지(img1) 및 제2 이미지(img2)의 관심 영역으로 선정하여 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)로 출력한다.
단계 S320에서, 복수의 이미지들 각각의 관심 영역(ROI)에 대해 HDR 적용한다. 예를 들어, HDR 처리 블록(120)은 ROI 선정 블록(110)으로부터 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)를 수신하고, 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2) 각각을 HDR 처리하여 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)를 생성한다. HDR 처리 블록(120)은 톤 매핑 기법을 이용하여 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2) 각각을 HDR 처리할 수 있다. 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)에 대한 HDR 처리는 정합을 위한 용도이기 때문에 복수의 픽셀들의 휘도를 변경하는 커브를 의미하는 톤 매핑 커브(tone mapping curve, TMC)를 인위적으로 설정할 수 있다. 또한, HDR 처리 블록(120)은 다중 레이어 기반의 국부적 영역의 밝기 향상 기법인 CLAHE(Contrast limited adaptive histogram equalization) 방법을 사용하여 제1 관심 영역 이미지(ROI1) 및 제2 관심 영역 이미지(ROI2)에 대한 HDR 처리를 수행할 수 있다.
단계 S330에서, 각 관심 영역(ROI) 이미지를 저주파 이미지와 고주파 이미지로 분해한다. 예를 들어, 이미지 분해 블록(131)은 HDR 처리 블록(120)으로부터 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2)를 수신하고, 수신된 제1 HDR 이미지(H_ROI1) 및 제2 HDR 이미지(H_ROI2) 각각을 저주파 이미지와 고주파 이미지로 분해한다. 예를 들어, 이미지 분해 블록(131)은 제1 HDR 이미지(H_ROI1)에서 기준 주파수보다 높은 고주파수 영역의 이미지를 추출하여 제1 고주파 이미지(ROI1_HF)를 생성하고, 제2 HDR 이미지(H_ROI2)에서 기준 주파수보다 높은 고주파수 영역의 이미지를 추출하여 제2 고주파 이미지(ROI2_HF)를 생성할 수 있다. 예를 들어, 이미지 분해 블록(131)은 제1 HDR 이미지(H_ROI1)를 HPF(High Pass Filter) 처리하여 제1 고주파 이미지(ROI1_HF)를 생성하고, 제2 HDR 이미지(H_ROI2)를 HPF 처리하여 제2 고주파 이미지(ROI2_HF)를 생성할 수 있다.
단계 S340에서, 제1 관심 영역의 고주파 이미지를 복수의 이미지 영역으로 분할한다. 예를 들어, 메인 이미지 영역 선정 블록(132)은 이미지 분해 블록(131)으로부터 제1 고주파 이미지(ROI1_HF)를 수신하고, 제1 고주파 이미지(ROI1_HF)를 복수의 이미지 영역으로 분할한다.
단계 S350에서, 제1 고주파 이미지(ROI1_HF)의 복수의 이미지 영역들 중 메인 이미지 영역을 선택하고, 메인 이미지 영역과 제2 관심 영역 이미지의 고주파 이미지를 매칭하여 정합 포인트를 선정한다.
예를 들어, 메인 이미지 영역 선정 블록(132)은 제1 고주파 이미지(ROI1_HF)의 분할된 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 하나의 이미지 영역을 메인 이미지 영역으로 선정한다. 예를 들어, 메인 이미지 영역 선정 블록(132)은 제1 고주파 이미지(ROI1_HF)를 동일한 사이즈를 갖는 복수의 이미지 영역으로 분할하고, 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 하나의 이미지 영역을 메인 이미지 영역으로 선정할 수 있으며, 각 이미지 영역의 디테일 정보량은 STD(standard deviation), MAD(mean of absolute difference), 또는 SAD(sum of absolute difference) 등의 방법을 이용하여 구할 수 있다. 선정된 제1 고주파 이미지(ROI1_HF)의 메인 이미지 영역은 메인 이미지(ROI1_MB)로 하여 출력될 수 있다.
이미지 매칭 블록(133)은 메인 이미지 영역 선정 블록(132)으로부터 수신된 제1 고주파 이미지(ROI1_HF)의 메인 이미지(ROI1_MB)와 이미지 분해 블록(131)으로부터 수신된 제2 고주파 이미지(ROI2_HF)를 매칭시켜 정합 포인트(Matching point)를 선정한다. 예를 들어, 이미지 매칭 블록(133)은 템플릿 매칭(template matching) 기법을 이용하여 메인 이미지(ROI1_MB)와 제2 고주파 이미지(ROI2_HF)를 매칭시켜 정합 포인트(Matching point)를 선정한다. 템플릿 매칭시 메인 이미지(ROI1_MB)와 제2 고주파 이미지(ROI2_HF)의 연관성(Correlation)이 가장 높은 영역을 정합 포인트(Matching point)로 선정할 수 있다.
단계 S360에서, 정합 포인트를 기초로 하여 복수의 이미지들 각각의 정합 좌표를 찾고, 복수의 이미지들을 스티칭한다.
예를 들어, 정합 좌표 서치 블록(134)은 이미지 매칭 블록(133)에 의해 선정된 정합 포인트(Matching point)를 기초로 각 이미지의 상대 좌표 값을 구하고, 이에 따라 관심 영역 이미지(ROI1)의 정합 좌표(ROI1_MP) 및 제2 관심 영역 이미지(ROI2)의 정합 좌표(ROI2_MP)를 각각 서치한다.
이미지 스티칭 블록(135)은 제1 관심 영역 이미지(ROI1)의 정합 좌표(ROI1_MP) 및 제2 관심 영역 이미지(ROI2)의 정합 좌표(ROI2_MP)를 이용하여 제1 이미지(img1)와 제2 이미지(img2)를 정합하여 파노라마 이미지(Panorama_img)를 생성한다. 예를 들어 이미지 스티칭 블록(135)은 이미지 데이터의 선형 조합을 형성하여 제1 이미지(img1)와 제2 이미지(img2)의 데이터가 중첩 이미지로 결합되는 블렌딩 단계를 수행할 수 있다.
단계 S370에서, 정합된 파노라마 이미지에 대해 HDR을 적용한다. 예를 들어, HDR 처리 블록(120)은 파노라마 이미지 생성 블록(130)으로부터 파노라마 이미지(Panorama_img)를 수신하고, 수신된 파노라마 이미지(Panorama_img)를 HDR 처리하여 최종 파노라마 이미지(F_Panorama_img)를 생성하여 출력한다.
상술한 실시 예에서, 모든 단계는 선택적으로 수행의 대상이 되거나 생략의 대상이 될 수 있다. 또한 각 실시 예에서 단계들은 반드시 순서대로 일어날 필요는 없으며, 뒤바뀔 수 있다. 한편, 본 명세서와 도면에 개시된 본 명세서의 실시 예들은 본 명세서의 기술 내용을 쉽게 설명하고 본 명세서의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 즉 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 파노라마 이미지 생성 장치
110 : ROI 선정 블록
120 : HDR 처리 블록
130 : 파노라마 이미지 생성 블록
131 : 이미지 분해 블록
132 : 메인 이미지 영역 선정 블록
133 : 이미지 매칭 블록
134 : 정합 좌표 서치 블록
135 : 이미지 스티칭 블록

Claims (18)

  1. 복수의 이미지들을 외부로부터 수신하고, 상기 복수의 이미지들 각각의 관심 영역을 선정하여 관심 영역 이미지들을 출력하는 관심 영역 선정 블록;
    상기 관심 영역 이미지들을 HDR(High Dynamic Range) 처리하기 위한 HDR 처리 블록; 및
    상기 HDR 처리된 상기 관심 영역 이미지들을 스티칭하여 파노라마 이미지를 생성하기 위한 파노라마 이미지 생성 블록을 포함하며,
    상기 HDR 처리 블록은 상기 파노라마 이미지를 상기 HDR 처리하여 최종 파노라마 이미지를 생성하는 파노라마 이미지 생성 장치.
  2. 제 1 항에 있어서,
    상기 관심 영역 선정 블록은 상기 복수의 이미지들 중 서로 중첩되는 이미지 부분을 상기 관심 영역 이미지들로 선정하는 파노라마 이미지 생성 장치.
  3. 제 1 항에 있어서,
    상기 HDR 처리 블록은 톤 매핑 기법을 사용하여 상기 관심 영역 이미지들을 상기 HDR 처리하거나, CLAHE(Contrast limited adaptive histogram equalization) 방법을 사용하여 상기 관심 영역 이미지들을 상기 HDR 처리하는 파노라마 이미지 생성 장치.
  4. 제 1 항에 있어서,
    상기 파노라마 이미지 생성 블록은 상기 HDR 처리된 상기 관심 영역 이미지들 각각의 정합 좌표를 서치하고, 상기 서치된 정합 좌표를 이용하여 상기 복수의 이미지들을 서로 스티칭하여 상기 파노라마 이미지를 생성하는 파노라마 이미지 생성 장치.
  5. 제 4 항에 있어서,
    상기 파노라마 이미지 생성 블록은 상기 HDR 처리된 상기 관심 영역 이미지들 중 어느 하나의 관심 영역 이미지의 고주파 이미지를 복수의 이미지 영역으로 분할하고, 상기 복수의 이미지 영역 중 메인 이미지 영역을 선정하여 나머지 관심 영역 이미지의 고주파 이미지와 매핑하여 상기 정합 좌표를 서치하는 파노라마 이미지 생성 장치.
  6. 제 1 항에 있어서,
    상기 파노라마 이미지 생성 블록은 상기 HDR 처리된 상기 관심 영역 이미지들 각각의 고주파 이미지를 분해하는 이미지 분해 블록;
    상기 HDR 처리된 상기 관심 영역 이미지들 중 어느 하나의 고주파 이미지를 복수의 이미지 영역들로 분할하고, 상기 복수의 이미지 영역들 중 어느 하나를 메인 이미지 영역으로 선정하는 메인 이미지 영역 선정 블록;
    상기 메인 이미지 영역의 이미지와 상기 관심 영역 이미지들 중 나머지 고주파 이미지를 매칭시켜 정합 포인트를 선정하는 이미지 매칭 블록;
    상기 정합 포인트를 기초로 하여 상기 관심 영역 이미지들 각각의 정합 좌표를 서치하는 정합 좌표 서치 블록; 및
    상기 관심 영역 이미지들 각각의 정합 좌표에 기초하여 상기 복수의 이미지들을 스티칭하여 상기 파노라마 이미지를 생성하는 이미지 스티칭 블록을 포함하는 파노라마 이미지 생성 장치.
  7. 제 6 항에 있어서,
    상기 이미지 분해 블록은 상기 HDR 처리된 상기 관심 영역 이미지들 각각을 기준 주파수보다 낮은 고주파수 영역의 이미지를 추출하여 상기 관심 영역 이미지들 각각의 고주파 이미지를 생성하는 파노라마 이미지 생성 장치.
  8. 제 6 항에 있어서,
    상기 메인 이미지 영역 선정 블록은 상기 어느 하나의 고주파 이미지를 동일한 사이즈를 갖는 상기 복수의 이미지 영역들로 분할하고, 상기 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 어느 하나의 이미지 영역을 상기 메인 이미지 영역으로 선정하는 파노라마 이미지 생성 장치.
  9. 제 8 항에 있어서,
    상기 메인 이미지 영역 선정 블록은 STD(standard deviation), MAD(mean of absolute difference), 또는 SAD(sum of absolute difference)를 이용하여 상기 복수의 이미지 영역들의 디테일 정보량을 구하는 파노라마 이미지 생성 장치.
  10. 제 6 항에 있어서,
    상기 이미지 매칭 블록은 템플릿 매칭(template matching) 기법을 이용하여 상기 메인 이미지 영역의 이미지와 상기 나머지 고주파 이미지를 매칭시키는 파노라마 이미지 생성 장치.
  11. 제 6 항에 있어서,
    상기 이미지 스티칭 블록은 이미지 데이터의 선형 조합을 형성하여 상기 복수의 이미지들의 데이터가 중첩 이미지로 결합되는 블렌딩 단계를 수행하여 상기 파노라마 이미지를 생성하는 파노라마 이미지 생성 장치.
  12. 제1 이미지 및 제2 이미지의 중복 영역을 제1 관심 영역 이미지 및 제2 관심 영역 이미지로 설정하는 단계;
    상기 제1 관심 영역 이미지 및 상기 제2 관심 영역 이미지에 대해 HDR(High Dynamic Range) 처리하는 단계;
    상기 HDR 처리된 상기 제1 관심 영역 이미지를 복수의 이미지 영역들로 분할하고, 상기 복수의 이미지 영역들 중 메인 이미지 영역과 상기 HDR 처리된 상기 제2 관심 영역 이미지를 매칭시켜 정합 포인트를 찾는 단계; 및
    상기 정합 포인트를 기초로 하여 상기 제1 이미지 및 상기 제2 이미지를 스티칭하여 파노라마 이미지를 생성하는 단계를 포함하는 파노라마 이미지 생성 방법.
  13. 제 12 항에 있어서,
    상기 파노라마 이미지를 상기 HDR 처리하는 단계를 더 포함하는 파노라마 이미지 생성 방법.
  14. 제 12 항에 있어서,
    상기 제1 관심 영역 이미지 및 상기 제2 관심 영역 이미지에 대해 상기 HDR 처리하는 단계는 톤 매핑 기법을 사용하거나 CLAHE(Contrast limited adaptive histogram equalization) 방법을 사용하는 파노라마 이미지 생성 방법.
  15. 제 12 항에 있어서,
    상기 메인 이미지 영역은 상기 복수의 이미지 영역들 중 이미지 디테일 정보가 가장 많이 포함된 이미지 영역인 파노라마 이미지 생성 방법.
  16. 제 15 항에 있어서,
    상기 이미지 디테일 정보는 STD(standard deviation), MAD(mean of absolute difference), 또는 SAD(sum of absolute difference)을 이용하여 구하는 파노라마 이미지 생성 방법.
  17. 제 12 항에 있어서,
    상기 정합 포인트를 찾는 단계는 상기 HDR 처리된 상기 제1 관심 영역 이미지 및 상기 제2 관심 영역 이미지들의 고주파 이미지를 추출하는 단계;
    상기 제1 관심 영역 이미지의 상기 고주파 이미지를 상기 복수의 이미지 영역들로 분할하는 단계; 및
    상기 복수의 이미지 영역들 중 상기 메인 이미지 영역과 상기 제2 관심 영역 이미지의 상기 고주파 이미지를 매칭시켜 상기 정합 포인트를 선정하는 단계를 포함하는 파노라마 이미지 생성 방법.
  18. 제 12 항에 있어서,
    상기 파노라마 이미지를 생성하는 단계는 상기 정합 포인트에 기초하여 상기 제1 이미지 및 상기 제2 이미지 각각의 정합 좌표를 찾는 단계; 및
    상기 정합 좌표를 이용하여 상기 제1 이미지 및 상기 제2 이미지를 스티칭하는 단계를 포함하는 파노라마 이미지 생성 방법.
KR1020210033379A 2021-03-15 2021-03-15 파노라마 이미지 생성 장치 및 방법 KR20220128800A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210033379A KR20220128800A (ko) 2021-03-15 2021-03-15 파노라마 이미지 생성 장치 및 방법
US17/446,066 US11843863B2 (en) 2021-03-15 2021-08-26 Apparatus and method for generating panorama image
CN202111330553.XA CN115082305A (zh) 2021-03-15 2021-11-11 用于生成全景图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210033379A KR20220128800A (ko) 2021-03-15 2021-03-15 파노라마 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220128800A true KR20220128800A (ko) 2022-09-22

Family

ID=83194170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033379A KR20220128800A (ko) 2021-03-15 2021-03-15 파노라마 이미지 생성 장치 및 방법

Country Status (3)

Country Link
US (1) US11843863B2 (ko)
KR (1) KR20220128800A (ko)
CN (1) CN115082305A (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
KR101279576B1 (ko) 2011-06-15 2013-06-27 삼성테크윈 주식회사 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
JP5860304B2 (ja) * 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
US10473558B2 (en) * 2012-11-13 2019-11-12 Ues, Inc. Automated high speed metallographic system
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
EP2922288A1 (en) * 2014-03-18 2015-09-23 Thomson Licensing Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20180276800A1 (en) * 2017-03-23 2018-09-27 Gopro, Inc. Apparatus and methods for source dynamic range processing of panoramic content
US10681313B1 (en) * 2018-09-28 2020-06-09 Ambarella International Lp Home monitoring camera featuring intelligent personal audio assistant, smart zoom and face recognition features
WO2021108715A1 (en) * 2019-11-26 2021-06-03 Sail Sv Llc X-ray imaging system
US11100654B1 (en) * 2019-12-19 2021-08-24 Rdi Technologies, Inc. Detection of aliased peak frequencies in video recording

Also Published As

Publication number Publication date
US20220294984A1 (en) 2022-09-15
US11843863B2 (en) 2023-12-12
CN115082305A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US7983502B2 (en) Viewing wide angle images using dynamic tone mapping
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN109314753B (zh) 使用光流生成中间视图的方法和计算机可读存储介质
CN107301620B (zh) 基于相机阵列的全景成像方法
CN110378859B (zh) 一种新的高动态范围图像生成方法
WO2017140182A1 (zh) 一种图像合成方法及装置、存储介质
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
CN105850114A (zh) 用于图像的逆色调映射的方法
CN110211043A (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN106856000B (zh) 一种车载全景图像无缝拼接处理方法及系统
JP2010146264A (ja) 画像処理装置および方法、並びにプログラム
JP2010220184A (ja) 単一画像で高ダイナミックレンジをシミュレートする暗部露光補償方法及びそれを応用した画像処理装置
CN1930585A (zh) 建立深度图
KR102145220B1 (ko) 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치
CN105096278A (zh) 基于光照调整的图像增强方法和设备
Pardo et al. Visualization of high dynamic range images
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP4828479B2 (ja) 合成画像生成装置および合成画像生成プログラム
Qian et al. Fast color contrast enhancement method for color night vision
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
KR20220128800A (ko) 파노라마 이미지 생성 장치 및 방법
Lang et al. A real-time high dynamic range intensified complementary metal oxide semiconductor camera based on FPGA
Wang et al. Exposure fusion using a relative generative adversarial network
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis