KR102571528B1 - 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 - Google Patents
다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102571528B1 KR102571528B1 KR1020210167053A KR20210167053A KR102571528B1 KR 102571528 B1 KR102571528 B1 KR 102571528B1 KR 1020210167053 A KR1020210167053 A KR 1020210167053A KR 20210167053 A KR20210167053 A KR 20210167053A KR 102571528 B1 KR102571528 B1 KR 102571528B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- color correction
- super
- super pixels
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000001308 synthesis method Methods 0.000 claims abstract description 9
- 230000005484 gravity Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
본 개시는 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램에 관한 것으로, 본 개시의 실시 예에 따른 색 보정 방법은 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계, 상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계, 상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계, 상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계, 상기 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화하는 단계 및 상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 포함한다.
Description
본 개시는 영상 처리에 관한 것으로, 좀 더 상세하게는 다시점(Multi-view) 영상의 스티칭(stiching)을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램에 관한 것이다.
단일 카메라를 이용하여 획득되는 단일 시점 영상은 시야각의 한계로 인하여 한 번에 촬영할 수 있는 대상의 범위가 한정되어 있으며, 시야각을 넓히기 위하여 해상도의 손실이 발생할 수 있다. 따라서, 둘 이상의 다시점(Multi-view) 영상의 합성을 통하여 단일 시점 영상의 문제점을 해결하는 방안이 제안되었다. 다시점 영상의 합성은 보다 넓은 범위의 대상을 한 번에 촬영할 수 있다는 장점을 가진다. 이와 같은 다시점 영상의 합성은 최근 게임, 시뮬레이션과 같은 영상 기반 컨텐츠를 비롯하여 자율 주행을 위한 지도 생성과 같이 다양한 목적으로 널리 활용될 수 있다는 점에서 높은 활용 가치를 가진다.
그러나, 다시점 영상을 획득하는 과정에서 서로 다른 카메라로 촬영한 영상을 활용하기 때문에, 각 카메라 또는 센서의 특성 및 촬영 환경의 불일치로 인하여 다시점 영상 간의 색상 오차가 발생할 수 있다. 색상 오차는 다시점 영상을 단일한 영상으로 합성하는 과정에서 발생하는 색상 불일치 문제 및 영상 품질 저하 문제를 야기할 수 있다. 따라서, 색상 오차에 따른 문제점 발생을 방지하기 위하여 다시점 영상에 대한 색 보정 작업을 선 수행한 후, 영상 간을 합성을 수행할 필요가 있다.
다시점 영상 간의 색상 오차를 줄이기 위하여, 색상 통계 기반의 색 보정 방법 및 대응점 기반의 색 보정 방법이 제안되었다. 그러나, 색상 통계 기반의 색 보정 방법은 각 영상에 존재하는 색상의 양적 통계 만을 고려하여 영상 전체의 색상을 한번에 보정하기 때문에 영역에 따라 원치 않는 아티팩트(artifact)가 발생할 수 있다는 문제점을 가진다. 한편, 대응점 기반의 색 보정 방법은 검색된 대응점의 수와 정확도에 의존한 보정이 수행되므로 검색된 대응점의 수가 부족한 영역에 대해서는 색상 보정의 품질이 보장되지 않는다는 문제점을 가진다.
본 개시는 다시점 영상 간의 색상 오차를 최소하화하여 다시점 영상 스티칭을 수행하기 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램을 제공하기 위한 것이다.
본 개시의 실시 예에 따른 색 보정 방법은 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계, 상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계, 상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계, 상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계, 상기 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화하는 단계 및 상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 포함한다.
예로서, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계는 상기 제1 영상 내 제1 슈퍼 픽셀들로부터 제1 색상 히스토그램들을 추출하고, 상기 제3 영상 내 제2 슈퍼 픽셀들로부터 제2 색상 히스토그램들을 추출하는 단계를 포함하고, 상기 제2 색 보정 함수를 최적화하는 단계는 상기 제1 색상 히스토그램들 및 상기 제2 색상 히스토그램들에 기반하여 제2 색 보정 함수를 최적화하는 단계를 포함한다.
예로서, 상기 제1 색상 히스토그램들 및 상기 제2 색상 히스토그램들에 기반하여 제2 색 보정 함수를 최적화하는 단계는 제1 색상 히스토그램 및 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 제1 슈퍼 픽셀의 무게중심과 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여, 상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계를 확인하는 단계 및 상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계를 기초로, 상기 제1 영상과 상기 제3 영상에서 서로 대응되는 슈퍼 픽셀들의 색상 히스토그램들 간의 상기 IoU가 최소화되도록 상기 제2 색 보정 함수를 최적화하는 단계를 포함한다.
예로서, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계는 상기 제1 영상 및 상기 제2 영상 간의 특징점을 확인하는 단계 및 상기 특징점 간의 대응 관계 검색을 수행하여 상기 대응점을 확인하는 단계를 포함한다.
예로서, 상기 특징점을 확인하는 단계는 SIFT(Scale Invariant Feature Transform), ORB(Oriented and Rotated BRIEF), SURF(Speeded Up Robust Features) 및 Superpoint 방식 중 적어도 하나에 기반한다.
예로서, 상기 제1 색 보정 함수는 상기 대응점 간의 색상 오차를 최소화하도록 최적화된다.
예로서, 상기 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계는 SLIC(Simple Linear Iterative Clustering), Felzenszwalb 및 Quickshift 방식 중 적어도 하나에 기반한다.
본 개시의 실시 예에 따른 다시점 영상들의 합성을 위한 영상 처리 장치에 있어서, 상기 영상 처리 장치는 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상 간의 대응점에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 제1 보정부, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하고, 상기 복수의 슈퍼 픽셀들로부터 추출된 색상 히스토그램에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 제2 보정부 및 상기 제1 영상 및 상기 제4 영상에 기반하여 제5 영상을 생성하는 영상 합성부를 포함한다.
예로서, 상기 제1 보정부는 상기 제1 영상 및 상기 제2 영상을 수신하는 입력부, 상기 제1 영상 및 상기 제2 영상 간의 특징점을 확인하고, 상기 특징점에 기반하여 상기 제1 영상 및 상기 제2 영상 간의 대응 관계를 검색하는 제1 추출부, 상기 대응 관계에 기반하여 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 제2 추출부 및 상기 대응점에 기반하여 상기 제2 영상에 대한 제1 색 보정을 수행하여 상기 제3 영상을 생성하는 제1 변환부를 포함한다.
예로서, 상기 제2 보정부는 상기 제1 영상 및 상기 제3 영상의 중첩 영역을 추출하는 제3 추출부, 상기 제1 영상 및 상기 제3 영상 각각의 상기 중첩 영역을 상기 복수의 슈퍼 픽셀들로 분할하는 분할부, 상기 복수의 슈퍼 픽셀들 각각에 대하여 색상 히스토그램을 추출하는 제4 추출부 및 상기 색상 히스토그램에 기반하여 상기 제3 영상에 대한 제2 색 보정을 수행하여 상기 제4 영상을 생성하는 제2 변환부를 포함한다.
예로서, 상기 영상 처리 장치는 상기 제1 영상을 획득하는 제1 영상 센서 및 상기 제2 영상을 획득하는 제2 영상 센서를 더 포함한다.
예로서, 상기 영상 처리 장치는 상기 제5 영상을 출력하는 출력 장치를 더 포함한다.
본 개시의 실시 예에 따른 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상 합성을 위한 영상 합성 방법에 있어서, 상기 영상 합성 방법은 상기 제1 영상 및 상기 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계, 상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계, 상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계, 상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계, 상기 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화하는 단계, 상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계 및 상기 제1 영상 및 상기 제4 영상을 합성하는 단계를 포함한다.
본 개시의 실시 예에 따른 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 컴퓨터 명령은 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계, 상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계, 상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계, 상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계, 상기 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화하는 단계 및 상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 수행한다.
본 개시의 실시 예에 따른 하드웨어와 결합되어 색 보정 방법을 실행시키기 위하여 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 색 보정 방법은 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계, 상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계, 상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계, 상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계, 상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계, 상기 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화하는 단계 및 상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 포함한다.
본 개시에 따르면, 2단의 색 보정 과정을 통하여 다시점 영상 간의 색상 오차를 최소화할 수 있다.
본 개시에 따르면, 2단의 색 보정 과정을 거친 다시점 영상을 이용하여 영상 스티칭을 수행함으로써 합성 영상의 품질을 향상 시킬 수 있다.
도 1은 본 개시의 실시 예에 따른 영상 처리 장치를 나타내기 위한 블록도이다.
도 2는 도 1에 개시된 영상 처리 장치의 제1 보정부의 세부적인 구성을 나타내기 위한 블록도이다.
도 3은 도 1에 개시된 영상 처리 장치의 제2 보정부의 세부적인 구성을 나타내기 위한 블록도이다.
도 4는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제1 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제2 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 실시 예에 따른 다시점 영상 합성 방법을 설명하기 위한 순서도이다.
도 7은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서 제1 색 보정 방법을 설명하기 위한 순서도이다.
도 8은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서, 제2 색 보정 방법을 설명하기 위한 순서도이다.
도 2는 도 1에 개시된 영상 처리 장치의 제1 보정부의 세부적인 구성을 나타내기 위한 블록도이다.
도 3은 도 1에 개시된 영상 처리 장치의 제2 보정부의 세부적인 구성을 나타내기 위한 블록도이다.
도 4는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제1 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제2 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 실시 예에 따른 다시점 영상 합성 방법을 설명하기 위한 순서도이다.
도 7은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서 제1 색 보정 방법을 설명하기 위한 순서도이다.
도 8은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서, 제2 색 보정 방법을 설명하기 위한 순서도이다.
이하에서, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 용이하게 실시할 수 있을 정도로 본 개시의 실시 예들은 명확하고 상세하게 기재될 것이다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서 사용된 단수형은 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "제1 및/또는 제2" 등의 용어는 다양한 구성요소들을 설명하기 위하여 사용될 수 있으나, 이는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로만 사용될 뿐, 해당 용어로 지칭되는 구성요소를 한정하기 위한 것은 아니다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않는 한, 제1 구성요소는 제2 구성요소로 명명될 수 있으며, 제2 구성요소 또한 제1 구성요소로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서, 전문에 걸쳐 동일한 참조 부호는 동일한 구성요소를 지칭할 수 있다.
도 1은 본 개시의 실시 예에 따른 영상 처리 장치(10)를 나타내기 위한 블록도이다. 도 1을 참조하면, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 제1 색 보정부(110), 제2 색 보정부(120) 및 영상 합성부(130)를 포함할 수 있다.
제1 색 보정부(110)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)을 획득할 수 있다. 제1 영상(IMG_1) 및 제2 영상(IMG_2) 서로 다른 카메라 또는 이미지 센서로부터 획득된 영상일 수 있으며, 제1 영상(IMG_1) 및 제2 영상(IMG_2)의 시점(View point)은 상이할 수 있다. 실시 예에서, 제1 영상(IMG_1)은 원본 영상(Reference image)이고, 제2 영상(IMG_2)은 대상 영상(Target image)일 수 있다. 원본 영상이란, 영상 합성의 결과에서 중심이 되는 영상으로, 색 보정의 기준이 되는 영상을 의미하고, 대상 영상은 원본 영상과 유사한 색 정보를 가지도록 색 보정의 대상이 되는 이미지를 의미한다. 원본 영상 및 대상 영상은 사용자에 의하여 지정될 수 있다.
제1 색 보정부(110)는 제1 영상(IMG_1) 및 제2 영상(IMG_2) 간의 대응점에 기반하여 제2 영상(IMG_2)에 대한 제1 색 보정을 수행할 수 있다. 제2 영상(IMG_2)은 제1 색 보정을 통하여 제3 영상(IMG_3)으로 변환될 수 있다. 제1 색 보정부(110)는 제1 영상(IMG_1) 및 제3 영상(IMG_3)을 제2 보정부(120)에 제공할 수 있다. 제1 색 보정부(110)에서 수행되는 제1 색 보정 과정은 후술할 도 2 및 도 4를 참조하여 보다 상세히 설명할 것이다.
제2 색 보정부(110)는 제1 영상(IMG_1) 및 제3 영상(IMG_3)을 획득하고, 제1 영상(IMG_1) 및 제3 영상(IMG_3) 간의 색상 통계에 기반하여 제2 색 보정을 수행할 수 있다. 구체적으로, 제2 색 보정부(110)는 제1 영상 및 제3 영상의 중첩 영역을 슈퍼 픽셀로 분할하고, 슈퍼 픽셀 별로 추출된 색상 히스토그램에 기반하여 제3 영상(IMG_3)에 대한 제2 색 보정을 수행할 수 있다. 제3 영상(IMG_3)은 제2 색 보정을 통하여 제4 영상(IMG_4)으로 변환될 수 있다. 제2 색 보정부(120)는 제1 영상(IMG_1) 및 제4 영상(IMG_4)을 영상 합성부(130)에 제공할 수 있다. 제2 색 보정부(120)에서 수행되는 제2 색 보정 과정은 후술할 도 3 및 도 5를 참조하여 보다 상세히 설명할 것이다.
영상 합성부(130)는 제1 영상(IMG_1) 및 제4 영상(IMG_4)을 획득할 수 있다. 영상 합성부(130)는 제1 영상(IMG_1) 및 제4 영상(IMG_4)에 대한 스티칭(stitching) 작업을 수행할 수 있다. 스티칭 작업이란, 다수의 영상에 대한 공통 영역에 기반하여 다수의 영상을 하나의 큰 이미지로 합치는 작업을 의미한다. 영상 합성부(130)는 제1 영상(IMG_1) 및 제4 영상(IMG_4)에 대한 스티칭 작업을 통하여, 합성 이미지(IMG_SYN)를 생성할 수 있고, 생성된 합성 이미지(IMG_SYN)를 외부로 제공할 수 있다.
본 개시의 실시 예에 따른 영상 처리 장치(10)는 2단의 색 보정 과정을 통하여 원본 영상과 대상 영상간의 색상 오차를 최소화할 수 있다. 또한, 2단의 색 보정 과정을 거친 다시점 영상을 이용하여 영상 스티칭을 수행함으로써 합성 영상의 품질을 향상 시킬 수 있다. 한편, 도 1에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)에 입력되는 영상의 개수는 2개인 것으로 도시 되었으나, 이는 하나의 실시 예일 뿐 처리되는 영상의 개수를 제한하는 것은 아니다. 예로서, 하나의 원본 영상 및 2 이상의 대상 영상이 영상 처리 장치(10)에 입력될 수 있고, 영상 처리 장치(10)에 의하여 2 이상의 대상 영상에 대한 색 보정 작업이 수행될 수 있다.
또한, 도시되지 않았으나 본 개시의 실시 예에 따른 영상 처리 장치(10)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)을 획득하기 위한 카메라 또는 이미지 센서를 더 포함할 수 있다. 제1 영상(IMG_1) 및 제2 영상(IMG_2)을 획득하기 위한 카메라 또는 이미지 센서는 서로 독립적일 수 있으며, 제1 영상(IMG_1)을 획득하기 위한 제1 카메라 또는 제1 이미지 센서와 제2 영상(IMG_2)을 획득하기 위한 제2 카메라 또는 제2 이미지 센서는 서로 다른 시점에 기반하여 영상을 획득할 수 있다. 한편, 도시되지 않았으나, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 영상 합성부(130)로부터 최종적으로 생성된 합성 영상(IMG_SYN)을 표시하기 위한 출력 장치를 더 포함할 수 있다. 예로서, 출력 장치는 모니터, 핸드폰, 노트북, TV, PDA 등을 포함할 수 있다.
도 2는 도 1에 개시된 영상 처리 장치(10, 도 1 참조)의 제1 보정부(110)의 세부적인 구성을 나타내기 위한 블록도이다. 도 2를 참조하면, 제1 보정부(110)는 입력부(210), 제1 추출부(220), 제2 추출부(230) 및 제1 변환부(240)를 포함할 수 있다.
입력부(210)는 외부로부터 획득된 제1 영상(IMG_1) 및 제2 영상(IMG_2)을 수신할 수 있다. 입력부(210)는 제1 영상(IMG_1) 및 제2 영상(IMG_2) 중 어느 하나를 원본 영상으로 지정하고, 나머지 영상을 대상 영상으로 지정할 수 있다. 입력부(210)에 의한 원본 영상 및 대상 영상의 지정은 사용자의 설정에 의하여 제어될 수 있으며, 도시되지 않았으나, 입력부(210)는 사용자의 설정을 입력 받기 위한 사용자 인터페이스를 더 포함할 수 있다. 또한, 입력부(210)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)에 대한 정보를 포함하는 제1 데이터(D21)를 생성할 수 있다. 예로서, 제1 데이터(D21)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)에 대한 RGB 데이터를 포함할 수 있다. 입력부(210)는 생성된 제1 데이터(D21)를 제1 추출부(220)에 제공할 수 있다.
제1 추출부(220)는 제1 데이터(D21)를 획득하고, 제1 데이터(D21)를 기반으로 제1 영상(IMG_1) 및 제2 영상(IMG_2) 간의 특징점을 추출할 수 있다. 특징점은 각 영상에 포함되는 각 픽셀에 대한 주변의 정보를 조합하여 획득된 특성 벡터(feature vector)가 제1 임계 값을 초과하는 픽셀을 의미할 수 있다. 예로서, 특징점 추출은 SIFT(Scale Invariant Feature Transform), ORB(Oriented and Rotated BRIEF), SURF(Speeded Up Robust Features) 및 Superpoint 방식에 기반하여 수행될 수 있다. 제1 추출부(220)는 추출된 제1 영상(IMG_1) 및 제2 영상(IMG_2)에 대한 특징점 및 특성 벡터 정보를 포함하는 제2 데이터(D22)를 제 2 추출부(230)에 제공할 수 있다.
제2 추출부(230)는 제2 데이터(D22)를 획득하고, 제2 데이터(D22)를 기반으로 제1 영상(IMG_1) 및 제2 영상(IMG_2) 간의 대응 관계 검색을 수행하여 대응점을 확인할 수 있다. 제2 추출부(230)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)의 각 특징점에 대하여 특징 벡터 간 유사도를 판단하여 대응 관계 유무를 확인할 수 있다. 예로서, 제1 영상(IMG_1)의 제1 특징점 및 제2 영상(IMG_1)의 제1 특징점의 특징 벡터 간 유사도가 제2 임계 값을 초과하는 경우, 제2 추출부(230)는 제1 영상(IMG_1)의 제1 특징점 및 제2 영상(IMG_1)의 제1 특징점에 대한 대응 관계가 존재하는 것으로 확인할 수 있다. 제2 추출부(230)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)에 대한 대응 관계 검색을 통하여 제1 영상(IMG_1) 및 제2 영상(IMG_2) 간의 대응점을 확인할 수 있다. 제2 추출부(230)는 제1 영상(IMG_1) 및 제2 영상(IMG_2) 간의 대응점 정보를 포함하는 제3 데이터(D23)를 제1 변환부(240)에 제공할 수 있다.
제1 변환부(240)는 제3 데이터(D23)를 획득하고, 제3 데이터(D23)를 기반으로 제1 색보정 함수를 최적화할 수 있다. 제1 색보정 함수의 최적화는 제1 영상(IMG_1) 및 제2 영상(IMG_2)의 대응점 간의 색상 오차를 최소화하도록 이루어질 수 있다. 구체적으로, 제1 변환부(240)는 제1 영상(IMG_1) 및 제2 영상(IMG_2)의 색상 정보에 대하여 R(Red), G(Green), B(Blue) 각각의 2차원 점 플롯을 획득할 수 있으며, 3가지 색상 정보에 대한 점 플롯에 대한 커브 피팅(Curve fitting)을 수행하여 제2 영상(IMG_2)의 색 공간 상에서 제1 영상(IMG_1)의 색 공간으로의 매핑(mapping)을 취득할 수 있다. 제1 변환부(240)는 제1 색 보정 함수를 매핑 결과에 기반하여 최적화할 수 있으며, 최적화된 제1 색 보정 함수는 제2 영상(IMG_2)의 각 픽셀의 RGB 값을 입력 받을 수 있고, 제1 영상(IMG_1)과 유사한 색상 정보를 가지는 제2 영상(IMG_2)의 각 픽셀에 대한 새로운 RGB 값을 출력할 수 있다.
제1 변환부(240)는 최적화된 제1 색 보정 함수에 기반하여 제2 영상(IMG_2)에 대한 제1 색 보정 작업을 수행할 수 있다. 제2 영상(IMG_2)은 제1 색 보정 작업을 통하여 제3 영상(IMG_3)으로 변환될 수 있다. 제1 변환부(240)는 원본 영상으로 지정된 제1 영상(IMG_1) 및 대상 영상에 대하여 1차 색 보정 작업이 수행된 제3 영상(IMG_3)을 제2 보정부(120, 도 1 참조)에 제공할 수 있다.
도 3은 도 1에 개시된 영상 처리 장치(10, 도 1 참조)의 제2 보정부(120)의 세부적인 구성을 나타내기 위한 블록도이다. 도 3을 참조하면, 제2 보정부(120)는 제3 추출부(310), 분할부(320), 제4 추출부(330) 및 제2 변환부(340)를 포함할 수 있다.
제3 추출부(310)는 제1 보정부(110, 도 1 참조)로부터 제1 영상(IMG_1) 및 제3 영상(IMG_3)을 획득하고, 제1 영상(IMG_1) 및 제3 영상(IMG_3) 간의 중첩 영역을 추출할 수 있다. 구체적으로, 제1 영상(IMG_1) 및 제3 영상(IMG_3) 간의 중첩 영역은 아래 수학식 1을 이용하여 추출할 수 있다. 수학식 1에서, 는 원본 영상의 픽셀 위치 정보를 의미하는 것으로 실시 예에서 제1 영상(IMG_1)의 픽셀 위치 정보를 의미하며, 는 대상 영상의 픽셀 위치 정보를 의미하는 것으로 실시 예에서 제3 영상(IMG_3)의 픽셀 위치 정보를 의미하고, 는 원본 영상 및 대상 영상 간의 위치 정보를 모델링 하기 위한 호모그래피 행렬(Homography matrix)을 의미한다.
제1 보정부(110, 도 1 참조)에서 원본 영상 및 대상 영상 간의 대응 관계 검색이 수행되고, 이로부터 원본 영상 및 대상 영상의 픽셀 위치 정보를 획득 하였으므로, 이를 토대로 를 도출할 수 있다. 제3 추출부(310)는 제3 영상(IMG_3)에 포함되는 각각의 픽셀 위치에 대하여 를 적용하여 제1 영상(IMG_1)의 어느 위치에 매칭되는지를 확인하고, 해당 위치가 제1 영상(IMG_1) 내에 매칭되는 경우 해당 픽셀을 중첩 영역에 포함되는 것으로 정의할 수 있다. 한편, 해당 위치가 제1 영상(IMG_1) 내에 매칭되지 않는 경우 해당 픽셀을 중첩 영역이 아닌 것으로 정의할 수 있다. 제3 추출부(310)는 상술한 과정을 통하여 제1 영상(IMG_1) 및 제3 영상(IMG_3)에 대한 중첩 영역을 추출하고, 중첩 영역에 대한 정보를 포함하는 제4 데이터(D31)을 분할부(320)에 제공할 수 있다.
분할부(320)는 제1 영상(IMG_1)의 중첩 영역 및 제3 영상(IMG_3)의 중첩 영역을 각각 슈퍼 픽셀로 분할할 수 있다. 슈퍼 픽셀이란, 인접한 픽셀들 중 유사한 특성을 가지는 픽셀들의 클러스터(cluster)를 의미하며, 슈퍼 픽셀을 구분하는 특성 기준은 색상 또는 밝기 정보와 관련될 수 있다. 예로서, 분할부(320)에 의한 슈퍼 픽셀 분할은 SLIC(Simple Linear Iterative Clustering), Felzenszwalb 및 Quickshift 방식에 기반하여 수행될 수 있다. 분할부(320)는 제1 영상(IMG_1)의 중첩 영역 및 제3 영상(IMG_3)의 중첩 영역에 대한 분할 정보를 포함하는 제5 데이터(D32)를 제4 추출부(330)에 제공할 수 있다.
제4 추출부(330)는 제5 데이터(D32)를 획득하고, 제5 데이터(D32)를 이용하여 제1 영상(IMG_1)의 중첩 영역 및 제3 영상(IMG_3)의 중첩 영역에 대한 슈퍼 픽셀들 각각으로부터 색상 히스토그램을 추출할 수 있다. 색상 히스토그램이란, 해당 슈퍼 픽셀을 구성하는 픽셀의 색상 값에 대한 통계를 의미한다. 제4 추출부(330)는 추출된 슈퍼 픽셀 별 색상 히스토그램 정보를 포함하는 제6 데이터(D33)를 제2 변환부(340)에 제공할 수 있다.
제2 변환부(340)는 제6 데이터(D33)를 획득하고, 제6 데이터(D33)에 기반하여 제1 영상(IMG_1) 및 제3 영상(IMG_3) 간의 대응 관계를 검색할 수 있다. 제2 변환부(340)은 제1 영상(IMG_1)과 관련된 슈퍼 픽셀들 및 제3 영상(IMG_3)과 관련된 슈퍼 픽셀들 간의 거리에 기반하여 대응 관계 검색을 수행할 수 있으며, 대응 관계 검색을 위하여 고려되는 거리 정보는 아래 수학식 2를 통하여 도출될 수 있다.
수학식 2에서, 는 제1 영상(IMG_1)에 포함되는 슈퍼 픽셀 p와 제3 영상(IMG_3)에 포함되는 슈퍼 픽셀 q 간의 거리 정보를 의미하고, 는 제1 영상(IMG_1)에 포함되는 슈퍼 픽셀 p로부터 추출된 색상 히스토그램과 제3 영상(IMG_3)에 포함되는 슈퍼 픽셀 q로부터 추출된 색상 히스토그램 간의 IoU(Intersection over Union)을 의미한다. IoU란, 색상 히스토그램 간 전체 영역 대비 교차 영역의 넓이를 의미한다. 또한, 및 는 제1 영상(IMG_1)에 포함되는 슈퍼 픽셀 p 및 제3 영상(IMG_3)에 포함되는 슈퍼 픽셀 q의 무게 중심을 의미하며, 및 는 IoU와 무게 중심 간 스케일 조정을 위한 가중치로서, 사용자에 의하여 설정될 수 있다.
제2 변환부(340)는 수학식 2를 통하여 도출된 거리 정보에 기반하여 제2 색 보정 함수를 최적화할 수 있다. 제2 변환부(340)에 의한 제2 색 보정 함수의 최적화는 수학식 2로부터 도출된 거리 정보에 기반하여 이루어질 수 있으며, 제2 변환부(340)는 최소 거리 정보를 가지는 슈퍼 픽셀 쌍을 기준으로 제2 색 보정 함수를 최소화할 수 있다.
예를 들어, 제1 영상(IMG_1)의 중첩 영역이 5개의 슈퍼 픽셀들로 분할되고, 제3 영상(IMG_3)의 중첩 영역이 10개의 슈퍼 픽셀들로 분할된 경우, 제1 영상(IMG_1)의 중첩 영역은 제1 내지 제5 슈퍼 픽셀을 포함할 수 있으며, 제3 영상(IMG_3)의 중첩 영역은 제1 내지 제 10 슈퍼 픽셀을 포함할 수 있다. 제2 변환부(340)는 제3 영상(IMG_3)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대하여 제1 영상(IMG_1)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대한 거리 정보를 도출할 수 있다. 구체적으로, 제2 변환부(340)는 제3 영상(IMG_3)의 중첩 영역에 포함되는 제1 슈퍼 픽셀과 제1 영상(IMG_1)의 중첩 영역에 포함되는 제1 내지 제5 슈퍼 픽셀 간의 거리 정보를 도출할 수 있다.
제3 영상(IMG_3)의 중첩 영역에 포함되는 제1 슈퍼 픽셀과 제1 영상(IMG_1)의 중첩 영역에 포함되는 제1 내지 제5 슈퍼 픽셀 간의 거리 정보 중 제3 영상(IMG_3)의 중첩 영역에 포함되는 제1 슈퍼 픽셀과 제1 영상(IMG_1)의 중첩 영역에 포함되는 제3 슈퍼 픽셀 간의 거리가 최소인 경우, 제2 변환부(340)는 제3 영상(IMG_3)의 제1 슈퍼 픽셀으로부터 추출된 색상 히스토그램을 제1 영상(IMG_1)의 중첩 영역에 포함되는 제3 슈퍼 픽셀으로부터 추출된 색상 히스토그램을 기준으로 매칭되도록 제2 색 보정 함수를 최적화할 수 있다. 제2 변환부(340)는 최적화된 제2 색 보정 함수에 기반하여 제3 영상(IMG_3)의 제1 슈퍼 픽셀에 대한 제2 색 보정 작업을 수행할 수 있으며, 제3 영상(IMG_3)의 중첩 영역에 포함되는 제2 내지 제10 슈퍼 픽셀 각각에 대하여 제1 슈퍼 픽셀과 동일한 과정을 거쳐 제2 색 보정을 수행할 수 있다.
제2 변환부(340)는 제3 영상(IMG_3)에 포함된 모든 슈퍼 픽셀들에 대한 제2 색 보정 작업을 통하여 제3 영상(IMG_3)을 제4 영상(IMG_4)으로 변환할 수 있다. 제2 변환부(340)는 제1 영상(IMG_1) 및 제4 영상(IMG_4)을 영상 합성부(130, 도 1 참조)로 제공할 수 있다.
도 4는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제1 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다. 도 4에 도시된 제1 영상(IMG_1)의 경우, 본 개시의 실시 예에 따라 원본 영상으로 지정된 영상에 해당되며, 제2 영상(IMG_2)의 경우, 본 개시의 실시 예에 따라 대상 영상으로 지정된 영상에 해당된다. 도 4는 본 개시의 실시 예에 따른 영상 처리 장치(10, 도 1 참조)의 제1 보정부(110, 도 1 참조)에 포함되는 제1 추출부(220, 도 2 참조)에 의하여 수행되는 특징점 추출 과정을 도시한 것이며, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 도 4에 개시된 바와 같이 추출된 특징점에 기반하여 대응점을 확인하고, 대응점의 대응 관계 검색에 기반하여 제1 색 보정 함수를 최적화하고, 제2 영상(IMG_2)에 대한 제1 색 보정 작업을 수행하여 제2 영상(IMG_2)을 제3 영상(IMG_3)으로 변환할 수 있다.
도 5는 본 개시의 실시 예에 따른 색 보정 방법에 있어서, 제2 색 보정 작업을 수행하는 과정을 설명하기 위한 도면이다. 도 5에 도시된 제4 데이터(D31)의 경우, 본 개시의 실시 예에 따른 영상 처리 장치(10, 도 1 참조)의 제2 보정부(120, 도 1 참조)에 포함되는 제3 추출부(310, 도 3 참조)에 의하여 수행되는 중첩 영역 추출 과정을 도시한 것이며, 제1 영상에 대한 제5 데이터(D32_IMG_1) 및 제3 영상에 대한 제5 데이터(D32_IMG_3)의 경우, 본 개시의 실시 예에 따른 영상 처리 장치(10)의 제2 보정부(120)에 포함되는 분할부(320, 도 3 참조)에 의하여 중첩 영역이 슈퍼 픽셀들로 분할된 제1 영상(IMG_1, 도1 참조) 및 제3 영상(IMG_3, 도 1 참조)을 도시한다.
본 개시의 실시 예에 따른 영상 처리 장치(10)는 도 5에 개시된 바와 같이 중첩 영역을 추출하고, 중첩 영역에 대한 슈퍼 픽셀 분할 과정 및 각 슈퍼 픽셀에 대한 색상 히스토그램 추출 동작을 수행하고, 추출된 히스토그램 및 슈퍼 픽셀 간 거리 정보에 기반하여 제3 영상(IMG_3)에 포함되는 슈퍼 픽셀들 각각에 대한 제2 색 보정 작업을 수행하여 제3 영상(IMG_3)을 제4 영상(IMG_4)으로 변환할 수 있다.
도 6은 본 개시의 실시 예에 따른 다시점 영상 합성 방법을 설명하기 위한 순서도이다. 이하, 도 1 내지 도 5에서 상술한 내용과 중복되는 구성 및 동작에 대한 상세한 설명은 생략할 것이다.
S610 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10, 도 1 참조)는 대상 영상에 대한 제1 색 보정을 수행할 수 있다. 제1 색 보정은 원본 영상을 기준으로 원본 영상 및 대상 영상 간의 대응점에 기반하여 수행될 수 있으며, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 대상 영상에 대한 제1 색 보정을 통하여 제1 보정 영상을 획득할 수 있다. 제1 색 보정 방법은 후술할 도 7에서 보다 상세히 설명할 것이다.
S620 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 제1 보정 영상에 대한 제2 색 보정을 수행할 수 있다. 제2 색 보정은 원본 영상의 중첩 영역에 포함되는 슈퍼 픽셀들을 기준으로 원본 영상 및 제1 보정 영상의 중첩 영역에 포함되는 슈퍼 픽셀들로부터 추출된 색상 히스토그램에 기반하여 수행될 수 있으며, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 제1 보정 영상의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대한 제2 색 보정을 통하여 제2 보정 영상을 획득할 수 있다. 제2 색 보정 방법은 후술할 도 8에서 보다 상세히 설명할 것이다.
S630 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상과 S620 단계로부터 획득된 제2 보정 영상을 합성할 수 있다. 영상 처리 장치(10)는 합성 영상을 획득한 후 절차를 종료할 수 있다.
도 7은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서 제1 색 보정 방법을 설명하기 위한 순서도이다. 이하, 도 1 내지 도 6에서 상술한 내용과 중복되는 구성 및 동작에 대한 상세한 설명은 생략할 것이다.
S710 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10, 도 1 참조)는 외부로부터 원본 영상(제1 영상) 및 대상 영상(제2 영상)을 획득할 수 있다. 원본 영상(제1 영상)과 대상 영상(제2 영상)은 사용자에 의하여 지정될 수 있다.
S720 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상(제1 영상) 및 대상 영상(제2 영상) 간의 대응점을 추출할 수 있다. 원본 영상(제1 영상) 및 대상 영상(제2 영상) 간의 대응점은 원본 영상(제1 영상) 및 대상 영상(제2 영상)의 특징점에 기반하여 확인될 수 있다.
S730 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상(제1 영상) 및 대상 영상(제2 영상) 간의 대응점에 대하여 대응 관계 검색을 수행하고, 도출된 결과 값에 기반하여 제1 색 보정 함수를 최적화할 수 있다. 제1 색 보정 함수는 원본 영상(제1 영상) 및 대상 영상(제2 영상)의 대응점 간의 색상 오차를 최소화하도록 최적화될 수 있다.
S740 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 최적화된 제1 색 보정 함수에 기반하여 대상 영상(제2 영상)을 제1 보정 영상(제3 영상)으로 변환할 수 있다. 대상 영상(제2 영상)에 대한 색 보정은 상술한 수학식 1에 기초하여 이루어질 수 있다. 영상 처리 장치(10)는 원본 영상(제1 영상) 및 제1 보정 영상(제3 영상)을 제2 보정부(120, 도 1 참조)로 제공할 수 있다.
도 8은 본 개시의 실시 예에 따른 다시점 영상 합성 방법에 있어서, 제2 색 보정 방법을 설명하기 위한 순서도이다. 이하, 도 1 내지 도 7에서 상술한 내용과 중복되는 구성 및 동작에 대한 상세한 설명은 생략할 것이다.
S810 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10, 도 1 참조)는 원본 영상(제1 영상) 및 제1 보정 영상(제3 영상) 간의 중첩 영역을 확인할 수 있다. 원본 영상(제1 영상) 및 제1 보정 영상(제3 영상) 간의 중첩 영역은 원본 영상(제1 영상) 및 제1 보정 영상(제3 영상) 각각에 포함되는 픽셀 위치 정보에 기반하여 확인될 수 있다.
S820 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상(제1 영상) 및 제1 보정 영상(제3 영상)의 중첩 영역을 각각 복수의 슈퍼 픽셀들로 분할할 수 있다. 슈퍼 픽셀은 각 영상에 포함되는 인접한 픽셀들 중 유사한 픽셀 정보를 가지는 픽셀들의 클러스터를 의미하므로, 원본 영상(제1 영상)의 중첩 영역 및 제1 보정 영상(제3 영상)의 중첩 영역 각각에 포함되는 슈퍼 픽셀들의 개수는 상이할 수 있다.
S830 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상(제1 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 및 제1 보정 영상(제3 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각으로부터 색상 히스토그램을 추출할 수 있다. 색상 히스토그램이란, 해당 슈퍼 픽셀을 구성하는 픽셀들의 색상 값에 대한 통계를 의미한다.
S840 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 원본 영상(제1 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 및 제1 보정 영상(제3 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 간의 거리 정보 및 S830 단계에서 추출된 색상 히스토그램에 기반하여 제2 색 보정 함수를 최적화할 수 있다. 제2 색 보정 함수의 최적화는 제1 보정 영상(제3 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대하여 수행될 수 있다.
S850 단계에서, 본 개시의 실시 예에 따른 영상 처리 장치(10)는 제1 보정 영상(제3 영상)에 제2 색 보정 함수를 적용하여 제2 보정 영상(제4 영상)으로 변환할 수 있다. 영상 처리 장치(10)는 S840 단계에서 도출된 제1 보정 영상(제3 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대한 제2 색 보정 함수에 기반하여 제1 보정 영상(제3 영상)의 중첩 영역에 포함되는 슈퍼 픽셀들 각각에 대한 색 보정을 수행함으로써 제2 보정 영상(제4 영상)을 획득할 수 있다. 영상 처리 장치(10)는 원본 영상(제1 영상) 및 제2 보정 영상(제4 영상)을 영상 합성부(130, 도 1 참조)로 제공하고, 절차를 종료할 수 있다.
본 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 본 개시의 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 실시 예는 하나 이상의 마이크로프로세서의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
본 명세서에 개시된 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 개시의 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및 데이터 처리 중 적어도 하나를 위하여 종래 기술을 채용할 수 있다.“매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 명세서에 첨부된 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것이 가능하며, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능할 수 있다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
상술된 내용은 본 개시를 실시 하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시에는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의하여 정해져야 할 것이다.
10 : 영상 처리 장치
110 : 제1 보정부
120 : 제2 보정부
130 : 영상 합성부
110 : 제1 보정부
120 : 제2 보정부
130 : 영상 합성부
Claims (15)
- 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계;
상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계;
상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계;
상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계;
상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계;
상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계;
상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계;
상기 복수의 슈퍼 픽셀들 각각에 대응하는 색상 히스토그램을 기반으로 상기 제1 영상에 포함되는 제1 슈퍼 픽셀들과 상기 제3 영상에 포함되는 제2 슈퍼 픽셀들 간의 대응 관계를 확인하는 단계;
상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계에 기반하여 제2 색 보정 함수를 최적화하는 단계; 및
상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 포함하되,
상기 대응 관계는 제1 슈퍼 픽셀로부터 추출된 제1 색상 히스토그램 및 제2 슈퍼 픽셀로부터 추출된 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 상기 제1 슈퍼 픽셀의 무게중심과 상기 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여 확인되는 색 보정 방법. - 제1 항에 있어서,
상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계는 상기 제1 슈퍼 픽셀들로부터 제1 색상 히스토그램들을 추출하고, 상기 제2 슈퍼 픽셀들로부터 제2 색상 히스토그램들을 추출하는 단계를 포함하고,
상기 제2 색 보정 함수를 최적화하는 단계는 상기 제1 색상 히스토그램들 및 상기 제2 색상 히스토그램들에 기반하여 제2 색 보정 함수를 최적화하는 단계를 포함하는 색 보정 방법. - 제2 항에 있어서,
상기 제1 색상 히스토그램들 및 상기 제2 색상 히스토그램들에 기반하여 제2 색 보정 함수를 최적화하는 단계는 상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계를 기초로, 상기 제1 영상과 상기 제3 영상에서 서로 대응되는 슈퍼 픽셀들의 색상 히스토그램들 간의 상기 IoU가 최소화되도록 상기 제2 색 보정 함수를 최적화하는 단계를 포함하는 색 보정 방법. - 제1 항에 있어서,
상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계는:
상기 제1 영상 및 상기 제2 영상 간의 특징점을 확인하는 단계; 및
상기 특징점 간의 대응 관계 검색을 수행하여 상기 대응점을 확인하는 단계를 포함하는 색 보정 방법. - 제4 항에 있어서,
상기 특징점을 확인하는 단계는 SIFT(Scale Invariant Feature Transform), ORB(Oriented and Rotated BRIEF), SURF(Speeded Up Robust Features) 및 Superpoint 방식 중 적어도 하나에 기반하는 색 보정 방법. - 제1 항에 있어서,
상기 제1 색 보정 함수는 상기 대응점 간의 색상 오차를 최소화하도록 최적화되는 색 보정 방법. - 제1 항에 있어서,
상기 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계는 SLIC(Simple Linear Iterative Clustering), Felzenszwalb 및 Quickshift 방식 중 적어도 하나에 기반하는 색 보정 방법. - 다시점 영상들의 합성을 위한 영상 처리 장치에 있어서,
제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상 간의 대응점에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 제1 보정부;
상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하고, 상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하고, 상기 복수의 픽셀들 각각에 대응하는 색상 히스토그램을 기반으로 상기 제1 영상에 포함되는 제1 슈퍼 픽셀들과 상기 제3 영상에 포함되는 제2 슈퍼 픽셀들 간의 대응 관계를 확인하고, 상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 제2 보정부; 및
상기 제1 영상 및 상기 제4 영상에 기반하여 제5 영상을 생성하는 영상 합성부를 포함하되,
상기 대응 관계는 제1 슈퍼 픽셀로부터 추출된 제1 색상 히스토그램 및 제2 슈퍼 픽셀로부터 추출된 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 상기 제1 슈퍼 픽셀의 무게중심과 상기 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여 확인되는 영상 처리 장치. - 제8 항에 있어서,
상기 제1 보정부는:
상기 제1 영상 및 상기 제2 영상을 수신하는 입력부;
상기 제1 영상 및 상기 제2 영상 간의 특징점을 확인하고, 상기 특징점에 기반하여 상기 제1 영상 및 상기 제2 영상 간의 대응 관계를 검색하는 제1 추출부;
상기 대응 관계에 기반하여 상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 제2 추출부; 및
상기 대응점에 기반하여 상기 제2 영상에 대한 제1 색 보정을 수행하여 상기 제3 영상을 생성하는 제1 변환부를 포함하는 영상 처리 장치. - 제8 항에 있어서,
상기 제2 보정부는:
상기 제1 영상 및 상기 제3 영상의 중첩 영역을 확인하는 제3 추출부;
상기 제1 영상 및 상기 제3 영상 각각의 상기 중첩 영역을 상기 복수의 슈퍼 픽셀들로 분할하는 분할부;
상기 복수의 슈퍼 픽셀들 각각에 대하여 색상 히스토그램을 추출하는 제4 추출부; 및
상기 색상 히스토그램에 기반하여 상기 제3 영상에 대한 제2 색 보정을 수행하여 상기 제4 영상을 생성하는 제2 변환부를 포함하는 영상 처리 장치. - 제8 항에 있어서,
상기 제1 영상을 획득하는 제1 영상 센서; 및
상기 제2 영상을 획득하는 제2 영상 센서를 더 포함하는 영상 처리 장치. - 제8 항에 있어서,
상기 제5 영상을 출력하는 출력 장치를 더 포함하는 영상 처리 장치. - 제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상 합성을 위한 영상 합성 방법에 있어서,
상기 제1 영상 및 상기 제2 영상을 획득하는 단계;
상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계;
상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계;
상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계;
상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계;
상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계;
상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계;
상기 복수의 슈퍼 픽셀들 각각에 대응하는 색상 히스토그램을 기반으로 상기 제1 영상에 포함되는 제1 슈퍼 픽셀들과 상기 제3 영상에 포함되는 제2 슈퍼 픽셀들 간의 대응 관계를 확인하는 단계;
상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계에 기반하여 제2 색 보정 함수를 최적화하는 단계;
상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계; 및
상기 제1 영상 및 상기 제4 영상을 합성하는 단계를 포함하되,
상기 대응 관계는 제1 슈퍼 픽셀로부터 추출된 제1 색상 히스토그램 및 제2 슈퍼 픽셀로부터 추출된 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 상기 제1 슈퍼 픽셀의 무게중심과 상기 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여 확인되는 영상 합성 방법. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 컴퓨터 명령은:
제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계;
상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계;
상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계;
상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계;
상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계;
상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계;
상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계;
상기 복수의 슈퍼 픽셀들 각각에 대응하는 색상 히스토그램을 기반으로 상기 제1 영상에 포함되는 제1 슈퍼 픽셀들과 상기 제3 영상에 포함되는 제2 슈퍼 픽셀들 간의 대응 관계를 확인하는 단계;
상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계에 기반하여 제2 색 보정 함수를 최적화하는 단계; 및
상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 수행하되,
상기 대응 관계는 제1 슈퍼 픽셀로부터 추출된 제1 색상 히스토그램 및 제2 슈퍼 픽셀로부터 추출된 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 상기 제1 슈퍼 픽셀의 무게중심과 상기 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여 확인되는 저장 매체. - 하드웨어와 결합되어, 색 보정 방법을 실행시키기 위하여 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 색 보정 방법은:
제1 시점에 대응하는 제1 영상 및 제2 시점에 대응하는 제2 영상을 획득하는 단계;
상기 제1 영상 및 상기 제2 영상 간의 대응점을 확인하는 단계;
상기 대응점에 기반하여 제1 색 보정 함수를 최적화하는 단계;
상기 최적화된 제1 색 보정 함수에 기반하여 상기 제2 영상을 제3 영상으로 변환하는 단계;
상기 제1 영상 및 상기 제3 영상 간의 중첩 영역을 확인하는 단계;
상기 제1 영상 및 상기 제3 영상 각각의 중첩 영역을 복수의 슈퍼 픽셀들로 분할하는 단계;
상기 복수의 슈퍼 픽셀들로부터 색상 히스토그램을 추출하는 단계;
상기 복수의 슈퍼 픽셀들 각각에 대응하는 색상 히스토그램을 기반으로 상기 제1 영상에 포함되는 제1 슈퍼 픽셀들과 상기 제3 영상에 포함되는 제2 슈퍼 픽셀들 간의 대응 관계를 확인하는 단계;
상기 제1 슈퍼 픽셀들과 상기 제2 슈퍼 픽셀들 간의 대응 관계에 기반하여 제2 색 보정 함수를 최적화하는 단계; 및
상기 최적화된 제2 색 보정 함수에 기반하여 상기 제3 영상을 제4 영상으로 변환하는 단계를 포함하되,
상기 대응 관계는 제1 슈퍼 픽셀로부터 추출된 제1 색상 히스토그램 및 제2 슈퍼 픽셀로부터 추출된 제2 색상 히스토그램 간의 IoU(Intersection of Union) 및 상기 제1 슈퍼 픽셀의 무게중심과 상기 제2 슈퍼 픽셀의 무게중심 간의 거리에 기초하여 확인되는 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210167053A KR102571528B1 (ko) | 2021-11-29 | 2021-11-29 | 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210167053A KR102571528B1 (ko) | 2021-11-29 | 2021-11-29 | 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230079868A KR20230079868A (ko) | 2023-06-07 |
| KR102571528B1 true KR102571528B1 (ko) | 2023-08-28 |
Family
ID=86761809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210167053A KR102571528B1 (ko) | 2021-11-29 | 2021-11-29 | 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102571528B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000092306A (ja) * | 1998-09-10 | 2000-03-31 | Minolta Co Ltd | 画像合成方法及びこの方法を用いた画像合成装置 |
| JP2004139219A (ja) * | 2002-10-16 | 2004-05-13 | Seiko Instruments Inc | 画像処理方法および画像処理装置 |
| JP2012100360A (ja) * | 2012-02-21 | 2012-05-24 | Morpho Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2016105253A (ja) * | 2014-12-01 | 2016-06-09 | キヤノン株式会社 | 領域分割装置及び方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3859657A4 (en) * | 2018-09-25 | 2021-12-01 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
-
2021
- 2021-11-29 KR KR1020210167053A patent/KR102571528B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000092306A (ja) * | 1998-09-10 | 2000-03-31 | Minolta Co Ltd | 画像合成方法及びこの方法を用いた画像合成装置 |
| JP2004139219A (ja) * | 2002-10-16 | 2004-05-13 | Seiko Instruments Inc | 画像処理方法および画像処理装置 |
| JP2012100360A (ja) * | 2012-02-21 | 2012-05-24 | Morpho Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2016105253A (ja) * | 2014-12-01 | 2016-06-09 | キヤノン株式会社 | 領域分割装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230079868A (ko) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| US11475238B2 (en) | Keypoint unwarping for machine vision applications | |
| US20160286138A1 (en) | Apparatus and method for stitching panoramaic video | |
| US8189960B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
| WO2017210987A1 (en) | High resolution (hr) panorama generation without ghosting artifacts using multiple hr images mapped to a low-resolution 360-degree image | |
| WO2017076106A1 (zh) | 图像的拼接方法和装置 | |
| WO2015146230A1 (ja) | 映像表示装置および映像表示システム | |
| US10055815B2 (en) | Image processing apparatus, image processing system, imaging apparatus and image processing method | |
| US20150138312A1 (en) | Method and apparatus for a surround view camera system photometric alignment | |
| JP6020471B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| US20170006272A1 (en) | Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus | |
| US20120001902A1 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
| JP2015122110A (ja) | 高ダイナミック・レンジ画像の発生およびレンダリング | |
| JP2007226643A (ja) | 画像処理装置 | |
| US20100033584A1 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
| JP6840957B2 (ja) | 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体 | |
| WO2021056304A1 (zh) | 图像处理方法、装置、可移动平台及机器可读存储介质 | |
| KR20200045682A (ko) | Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 | |
| US8542312B2 (en) | Device having image reconstructing function, method, and storage medium | |
| JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
| KR102571528B1 (ko) | 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램 | |
| JP2017050857A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN116109484A (zh) | 前景信息保留的图像拼接方法、装置、设备及存储介质 | |
| KR102074072B1 (ko) | 듀얼 카메라가 장착된 이동형 디바이스를 이용한 포커스 콘텍스트 영상 처리 장치 및 그 방법 | |
| JP6600335B2 (ja) | 映像処理装置、映像処理方法および映像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |