KR20110131949A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110131949A
KR20110131949A KR1020100051658A KR20100051658A KR20110131949A KR 20110131949 A KR20110131949 A KR 20110131949A KR 1020100051658 A KR1020100051658 A KR 1020100051658A KR 20100051658 A KR20100051658 A KR 20100051658A KR 20110131949 A KR20110131949 A KR 20110131949A
Authority
KR
South Korea
Prior art keywords
images
overlap
similarity
image
image processing
Prior art date
Application number
KR1020100051658A
Other languages
English (en)
Inventor
윤국진
전영선
문영수
신용호
이시화
박민규
Original Assignee
삼성전자주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광주과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020100051658A priority Critical patent/KR20110131949A/ko
Priority to US13/047,342 priority patent/US20110293175A1/en
Publication of KR20110131949A publication Critical patent/KR20110131949A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

영상 처리 장치가 제공된다. 서로 다른 방향을 향해 촬영된 복수 개의 영상이 입력되는 경우, 영역 탐색부는 상기 복수 개의 영상 내의 오버랩 영역을 탐색하고, 아웃라이어 제거부는 상기 탐색된 오버랩 영역 내의 아웃라이어를 제거한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 영상의 칼라 톤을 보정하는 장치 및 방법에 연관된다.
최근 영상 처리 기술의 발달에 따라, 서로 다른 방향을 촬영하여 생성된 복수 개의 영상을 이용하여 파노라마 영상을 합성하는 기술이 구현되고 있다. 특히 최근에는 디지털 카메라에 파노라마 사진 합성 기능이 제공되어, 사용자들의 관심이 높아지고 있다.
그런데, 파노라마 영상으로 합성하기 위해 서로 다른 방향을 촬영하여 미리 생성된 복수 개의 영상들은, 카메라 설정이나 환경적 요인에 의해 화면 노출(exposure), 화이트 밸런스(white balance) 등에 차이가 나는 경우가 있어서, 칼라 톤(color tone) 보정이 요구될 수 있다.
칼라 톤 보정을 수행하지 않는 경우에는, 파노라마 영상 생성 후 영상 내의 칼라 톤이 이질적으로 보일 수 있기 때문에, 칼라 톤 보정이 요구되기도 한다.
이 경우, 파노라마 영상 생성을 위해 주어지는 복수 개의 영상 사이의 오버랩 영역(overlap region)에서, 한 장의 영상에는 다른 영상에는 없던 오브젝트(이하에서는, '아웃라이어(outlier)'라고 한다)가 포함될 수 있으며, 이러한 아웃라이어 때문에 칼라 톤 보정의 결과가 좋지 않을 수도 있다.
본 발명의 일측에 따르면, 복수 개의 영상 내의 오버랩 영역을 탐색하는 영역 탐색부, 및 상기 오버랩 영역 내의 아웃라이어를 제거하는 아웃라이어 제거부를 포함하는 영상 처리 장치가 제공된다.
상기 아웃라이어 제거부는, 상기 복수 개의 영상 내의 오버랩 영역 사이의 유사도를 계산하는 유사도 계산부, 및 상기 유사도가 제1 임계치 이하인 경우 상기 오버랩 영역을 복수 개로 분할하는 영역 분할부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 영역 분할부는, 상기 오버랩 영역을 복수 개로 분할하여 생성되는 서브 영역 중, 상기 복수 개의 영상 간의 유사도가 제1 임계치 미만인 적어도 하나의 서브 영역을 다시 복수 개로 분할한다.
그리고, 상기 유사도 계산부는, 상기 복수 개의 영상 내의 오버랩 영역 사이의 칼라 값을 비교 함으로써 상기 유사도를 계산할 수 있다.
한편, 상기 영역 탐색부는, 상기 복수 개의 영상의 각각으로부터 복수 개의 특징점을 추출하고, 상기 추출된 특징점 중 서로 대응하는 점들을 대응 쌍으로 결정하여 상기 오버랩 영역을 탐색할 수 있다.
본 발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 아웃라이어가 제거된 오버랩 영역을 이용하여 상기 복수 개의 영상 중 적어도 하나의 칼라 톤을 보정하는 칼라 톤 보정부를 더 포함한다.
이 경우, 상기 칼라 톤 보정부는, 상기 아웃라이어가 제거된 오버랩 영역에 포함된 점들 중 대응 쌍을 식별하여 상기 대응 쌍을 이루는 점들 사이의 선형 색상 변환 행렬을 계산하고, 상기 선형 색상 변환 행렬을 상기 복수 개의 영상 중 적어도 하나에 적용하여 상기 적어도 하나의 영상의 칼라 톤을 보정할 수 있다.
한편, 본 발명의 다른 일측에 따르면, 복수 개의 영상 내의 오버랩 영역을 탐색하는 단계, 및 상기 오버랩 영역 내의 아웃라이어를 제거하는 단계를 포함하는 영상 처리 방법이 제공된다.
이 경우, 상기 아웃라이어를 제거하는 단계는, 상기 복수 개의 영상 내의 오버랩 영역 사이의 유사도를 계산하는 단계, 및 상기 유사도가 제1 임계치 이하인 경우 상기 오버랩 영역을 복수 개로 분할하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 영상 처리 방법은, 상기 아웃라이어가 제거된 오버랩 영역을 이용하여 상기 복수 개의 영상 중 적어도 하나의 칼라 톤을 보정하는 단계를 더 포함한다.
또한, 본 발명의 일실시예에 따르면, 상기 영상 처리 방법은, 상기 칼라 톤 보정 후 상기 복수 개의 영상 중 적어도 일부를 합성하여 파노라마 영상을 합성하는 단계를 더 포함한다.
복수 개의 영상 사이의 칼라 톤을 보정하는 경우, 칼라 톤 보정의 품질이 향상된다.
파노라마 영상을 생성하는 영상 처리 과정에서, 입력 영상에 포함된 아웃라이어의 영향을 배제할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 제1 영상을 도시한다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 제2 영상을 도시한다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 제1 영상과 제2 영상 사이의 오버랩 영역을 탐색하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따라 탐색된 오버랩 영역에서 아웃라이어를 제거하여 인라이어 마스크를 생성하는 과정을 도시한다.
도 6은 본 발명의 일실시예에 따라 합성된 파노라마 영상을 도시한다.
도 7은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법에 따라, 오버랩 영역으로부터 아웃라이어를 제거하는 과정을 도시한다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법에 따라 칼라 톤을 보정하는 과정을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
영상 처리 장치(100)에는 복수 개의 영상이 입력된다.
본 발명의 일실시예에 따르면, 상기 복수 개의 영상은 서로 다른 방향을 촬영하여 생성된 영상들이다. 그러나, 이는 본 발명의 일실시예에 불과하므로, 영상 처리 장치(100)에 입력되어 처리되는 영상의 종류나 형태는 일부 실시예에 국한되어 해석되지 않는다.
복수 개의 영상이 입력되는 경우, 영역 탐색부(110)는 상기 복수 개의 입력 영상 내의 오버랩 영역(overlap region)을 탐색한다.
본 발명의 일실시예에 따르면, 영역 탐색부(110)는 복수 개의 영상의 각각으로부터 특징점(feature point)을 추출하고, 상기 특징점 중 서로 대응하는 대응점 쌍을 결정한다.
그리고, 이러한 대응점 쌍을 이용하여 복수 개의 영상 사이에 중복된 부분이 어느 부분인지 파악하고, 이렇게 중복된 부분을 오버랩 영역으로서 탐색한다.
이러한 과정을 통해 두 개 이상의 영상 사이에 오버랩 영역이 탐색된다.
이렇게 오버랩 영역이 탐색된 경우, 아웃라이어 제거부(120)는 복수 개의 영상 내에 중복된 영역들에 아웃라이어(outlier)를 제거한다.
여기서 아웃라이어는 탐색된 오버랩 영역 중 입력된 복수 개의 영상의 일부에만 있는 오브젝트의 적어도 일부 픽셀이다. 이러한 아웃라이어는 오버랩 영역의 칼라 값들을 이용한 칼라 톤 보정 등에 있어서 오류의 원인이 된다.
따라서, 본 발명의 일실시예에 따르면, 아웃라이어 제거부는 오버랩 영역 내에서 아웃라이어를 제거한다.
구체적으로, 입력 영상이 두 개인 실시예를 예시적으로 설명하면, 유사도 계산부(121)가 제1 영상 내의 오버랩 영역과 제2 영상 내의 오버랩 영역 사이의 유사도를 계산한다. 이 경우, 상기 유사도는 칼라 값 분포를 이용하여 구할 수 있다.
계산된 유사도가 제1 임계치 이하인 경우, 영역 분할부(122)는 오버랩 영역을 복수 개(이를 테면 두 개)의 서브 영역(또는 '자식 영역'이라고 할 수도 있다)으로 분할한다.
그리고, 유사도 계산부(121)는 분할된 복수 개의 서브 영역의 각각에 대해, 제1 영상 내의 해당 부분과 제2 영상 내의 해당 부분 사이의 유사도를 계산하고, 이를 제1 임계치와 비교한다.
만약 상기 분할된 복수 개의 서브 영역 중 제1 영상 내의 해당 부분과 제2 영상 내의 해당 부분 사이의 유사도가 제1 임계치 이하인 서브 영역이 있다면, 영역 분할부(122)는 이를 두 개 이상의 서브 영역으로 분할한다.
이러한 과정을 회귀적으로(recursively) 수행하여 어느 정도의 수행 이후에는 유사도가 제1 임계치를 초과하는 부분만이 더 이상 분할되지 않고 남는다. 결국 더 이상 분할되어 나가지 않는 부분들로 이루어진 인라이어 마스크(inlier mask) 가 남게 된다.
아웃라이어 제거부(120)의 동작은 도 2 내지 도 5를 참조하여 보다 상세히 후술한다.
그리고, 이렇게 아웃라이어 부분이 오버랩 영역으로부터 제거되면, 칼라 톤 보정부(130)가 남은 오버랩 영역의 칼라 값들을 이용하여 상기 복수 개의 입력 영상들 중 적어도 일부에 대한 칼라 톤 보정을 수행한다.
칼라 톤 보정에 대한 내용은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치(100)에 입력되는 예시적인 제1 영상(200)을 도시한다.
제1 영상(200)은 제1 방향을 향하여 촬영한 일정한 크기의 스틸 컷(still cut)이다. 이러한 한 장의 스틸 것은 시야각의 제한이 있어서, 촬영된 현장의 일부 방향만을 디스플레이 한다.
경우에 따라서는, 보다 넓은 시야각에 대한 영상을 한 장의 사진으로 담아내는 것이 요구될 수 있으나, 렌즈를 광각 타입으로 교체하는 것만으로는 여전히 시야각에 한계가 있다.
따라서, 서로 다른 방향을 향하여 촬영된 두 개 이상의 사진을 이용한 프로세싱에 의해 파노라마 사진을 합성할 수 있다. 이러한 파노라마 사진의 합성 과정을 블렌딩(blending)이라고도 한다.
그리고 이러한 파노라마 사진의 합성을 위한 영상 처리 방법은, 서로 다른 방향을 촬영한 복수 개의 입력 영상을 컴퓨터 등 카메라 이외의 시스템이나 장치에서 수행할 수도 있으나, 최근에는 디지털 카메라 내에 포함된 내부 기능에 의해 구현될 수도 있다.
제1 영상(200)과 동일한 곳에서 다른 방향을 향해 촬영한 영상이 도 3에 제시된다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치(100)에 입력되는 예시적인 제2 영상(300)을 도시한다.
자연스러운 파노라마 영상의 합성을 위해서는, 서로 다른 방향을 향해 촬영되는 두 개 이상의 영상 사이에 겹치는 부분인 오버랩 영역이 적어도 일부는 포함되어야 한다.
제2 영상(300)은 왼쪽의 일부가 제1 영상(200)의 오른쪽의 일부와 오버랩 된다.
그런데, 도시된 바와 같이, 제1 영상(200)과 제2 영상(300)은 동시에 촬영된 것이 아닐 수 있으므로, 오버랩 되는 영역 중 어느 한 쪽 영상에만 아웃라이어, 이를테면 움직이는 피사체(moving object)가 포함될 수 있다.
제2 영상의 예에서는 자전거를 타고 가는 움직이는 피사체(310)가 아웃라이어로서 포함되었다.
파노라마 영상의 합성 과정에서는, 제1 영상(200)과 제2 영상(300) 사이의 노출 정도, 화이트 밸런스 등 전체적인 칼라 톤의 차이가 있을 수 있어서 이를 보정하는 칼라 톤 보정이 요구될 수 있는데, 이 때 칼라 톤 보정에 있어서 상기 아웃라이어는 정확하지 않은 보정을 야기할 수 있다.
따라서, 본 발명의 일실시예에 따른 영상 처리 장치(100)는 칼라 톤 보정에 있어서, 아웃라이어에 의한 칼라 톤 보정의 부정확성을 줄인다.
이하에서는 제1 영상(200)과 제2 영상(300) 사이의 오버랩 영역을 탐색하고, 탐색된 오버랩 영역으로부터 아웃라이어를 제거한 다음 남아 있는 인라이어 마스크 부분의 칼라를 이용하여 전체 영상의 칼라 톤을 보정하는 과정을 보다 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 제1 영상(200)과 제2 영상(300) 사이의 오버랩 영역을 탐색하는 과정을 설명하기 위한 개념도이다.
영역 탐색부(110)는 특징점 추출 알고리즘을 이용하여 제1 영상(200)으로부터 추출된 특징점들(411, 412, 413 등)과, 제2 영상(300)으로부터 추출된 특징점들(421, 422, 423 등) 사이에 서로 대응하여 쌍을 이루는 대응 쌍들(이를 테면, 특징점 411과 특징점 421의 쌍, 특징점 412와 특징점 422의 쌍 등)을 식별한다.
이 경우, 추출된 특징점들 중, 대응 쌍을 이루지 않는 특징점(413), 특징점(423) 등을 제외시키는데, 이 때 본 발명의 일실시예에 따르면 RANSAC 알고리즘 등이 이용될 수도 있다.
이러한 과정을 통해 영역 탐색부(110)가 제1 영상(200) 내의 오버랩 영역(410), 및 제2 영상(300) 내의 오버랩 영역(420)을 탐색한다.
그런데, 도 2 및 도 3을 참조하여 상술한 바와 같이, 움직이는 피사체 등으로 인해 제1 영상(200)의 오버랩 영역(410)과 제2 영상(300)의 오버랩 영역(420)이 정확하게 일치하지 않고 아웃라이어가 포함되는 경우가 있다.
이 경우, 영상 처리 장치(100)의 아웃라이어 제거부(120)가 이러한 아웃라이어를 오버랩 영역(410 및/또는 420)으로부터 제외하고, 칼라 톤 보정부(130)는 아웃라이어가 제거된 나머지 영역(이를 본 명세서에서는 인라이어 마스크(inlier mask)라고도 한다)을 이용하여 칼라 톤 보정을 수행한다.
도 5는 본 발명의 일실시예에 따라 탐색된 오버랩 영역(420)에서 아웃라이어를 제거하여 인라이어 마스크를 생성하는 과정을 도시한다.
먼저, 영상 처리 장치(100)의 유사도 계산부(121)는 오버랩 영역(420) 전체와 오버랩 영역(410)의 유사도를 계산한다.
유사도 계산에는 칼라 분포가 고려될 수 있으며, 이를테면 칼라 시스템(color system)의 맵(map) 내에서의 칼라 분포도 또는 히스토그램 분포 등 다양한 방법에 의해 유사도가 계산될 수 있다.
이를 테면, 유사도 계산부(121)는 아래의 수학식에 의해 오버랩 영역(420) 전체와 오버랩 영역(410)의 유사도를 계산한다.
Figure pat00001
여기서 h(Cr, Cb) 및 g(Cr, Cb)는 각각 YCbCr 칼라 시스템에 의한 제1 영상(200)의 오버랩 영역(410) 및 제2 영상(300)의 오버랩 영역(420)의 칼라 값을 나타낸다.
상기 유사도 계산 식의 분모의 경우는 h(Cr, Cb)의 summation 또는 g(Cr, Cb)의 summation 중의 하나를 선택하게 되고, 분자의 경우는 둘 중 작은 값의 summation을 취하게 된다.
그러나, 이러한 수학식은 본 발명의 일실시예에 따른 유사도 계산부(121)의 동작에 이용될 수 있는 일 예에 불과하며, 얼마든지 다른 계산 알고리즘이나 수학식에 의해 대체될 수 있다.
이렇게 유사도 계산부(121)가 오버랩 영역(410)과 오버랩 영역(420) 전체의 유사도를 계산하면, 영역 분할부(122)는 계산된 유사도를 미리 지정된 제1 임계치와 비교한다. 상기 제1 임계치는 실시예에 따라 달리 설정될 수 있는 임의의 값이며, 이를테면 95%와 같은 설정 값이다.
만약 계산된 유사도가 상기 제1 임계치 이하인 경우, 영역 분할부(122)는 이를 복수 개의 서브 영역으로 분할한다. 본 실시예에서는 두 개의 서브 영역(510 및 520)으로 분할하는 예가 도시되었다.
그러면 유사도 계산부(121)는 이렇게 분할된 서브 영역(510 및 520) 각각에 대해 다시 제1 영상(200)의 오버랩 영역(410) 내의 동일한 부분과의 유사도를 계산한다.
그리고, 서브 영역(510)의 경우 제1 영상(200)의 오버랩 영역(410)의 동일 부분과의 유사도가 상기 제1 임계치를 초과하면, 영역 분할부(122)는 서브 영역(510)에 대해서는 더 이상 영역 분할을 수행하지 않고, 서브 영역(510)은 인라이어로 간주한다.
한편, 분할된 서브 영역(520)에 대해 계산된 유사도가 제1 임계치 이하이면, 서브 영역(520)을 다시 서브 영역으로 분할해 나아가는 식으로 회귀적인(recursive) 영역 분할이 수행된다.
본 발명의 일실시예에 따르면, 이러한 회귀적인 영역 분할과 유사도 계산 과정의 반복은 미리 설정된 소정의 이터래이션(iteration)을 거치면 중지될 수도 있다. 그러면 유사도가 상기 제1 임계치를 초과하는 것으로 계산되어 더 이상 영역 분할이 되지 않고 있는 부분이 인라이어로 판단되고 나머지 부분은 아웃라이어로서 제거될 수 있다.
그러나 본 발명의 다른 일실시예에 따르면, 계산된 유사도가 제2 임계치(이를 테면 5%) 이하인 경우에는 그 부분에 대해서도 더 이상의 영역 분할을 수행하지 않고 그 부분은 전체가 아웃 라이어인 것으로 생각하고 이를 제거할 수도 있다.
그 외에도 본 발명이 속하는 분야의 통상의 기술자라가 본 발명의 사상을 변경하지 않고 이룰 수 있는 또 다른 실시예들이 있을 수 있으며, 이러한 것들 또한 본 발명에서 제외되지 않는다.
그리하여, 아웃라이어 부분(530)이 제거된 나머지 인라이어 마스크가 결정되었다.
그러면, 칼라 톤 보정부(130)는 이러한 인라이어 마스크에 해당하는 부분의 칼라 값들에 대해서만, 제1 영상(200)과 제2 영상(300)에서의 칼라 값이 어떻게 다른지를 분석한다.
본 발명의 일실시예에 따르면, 이러한 분석은, 서로 짝을 이루는 특징점의 대응 쌍(본 명세서에서는 이를 '대응점'이라고도 한다)들 간의 선형 색상 변환 행렬(linear color transformation matrix)을 구하는 것이다.
이를 테면, 칼라 톤 보정부(130)가 계산한 선형 색상 변환 행렬이, 대응점들 중 제2 영상(300)에 속한 것들을 제1 영상(200)에 속한 것들로 변환하는 칼라 변환에 연관된다면, 칼라 톤 보정부(130)는 이 선형 색상 변환 행렬을 제2 영상(300) 전체 픽셀에 적용할 수 있다.
그러면, 제2 영상(300)의 전체 칼라 톤은 제1 영상(200)의 그것과 유사하게 보정된다.
한편, 칼라 톤 보정의 기준이 상기 인라이어 마스크인 점을 동일하게 적용하면서도 칼라 톤 보정은 다른 실시예에 의할 수도 있다. 이를테면, 종래의 히스토그램 매칭(histogram matching) 등의 방법이 사용될 수도 있다.
이렇게 칼라 톤 보정이 이루어지면, 영상 처리 장치(100)는 제1 영상(200)과 제2 영상(300)을 합성하여 파노라마 영상을 생성할 수 있다. 이 과정에서 오버랩 영역에 대해서는 제1 영상(200)의 오버랩 영역(410)의 영상을 사용할 수도 있고, 또는 제2 영상(300)의 오버랩 영역(420)을 사용할 수도 있다. 두 경우의 차이는 움직이는 피사체(310)가 결과에 포함되는지의 여부의 차이이다.
도 6은 본 발명의 일실시예에 따라 합성된 파노라마 영상(600)을 도시한다.
본 실시예에서 영상 처리 장치(100)는 오버랩 영역에 있어서 제1 영상(200)의 오버랩 영역(410)을 사용하여 블렌딩(blending)을 수행하였다.
이러한 영상 합성에 의한 파노라마 영상(600)의 합성에는 다양한 방법이 사용될 수 있으며, 본 발명이 일부 실시예에 의해 제한적으로 해석되는 것은 아니다.
도 7은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(S710)에서 영상 처리 장치(100)의 영역 탐색부(110)는 입력된 복수 개의 입력 영상 내의 오버랩 영역을 탐색한다.
이러한 오버랩 영역 탐색 과정의 구체적인 방법은 다양한 실시예에 의할 수 있으며, 본 발명의 일실시예에 따르면, 영역 탐색부(110)가 상기 복수 개의 영상의 각각으로부터 특징점(feature point)을 추출하고, 상기 특징점 중 서로 대응하는 대응점 쌍을 결정함으로써 복수 개의 영상 사이에 중복된 부분을 오버랩 영역으로서 탐색할 수 있다.
오버랩 영역 탐색에 대한 보다 상세한 내용은 도 1 내지 도 4를 참조하여 상술한 바와 같다.
그러면, 단계(S720)에서 영상 처리 장치(100)의 아웃라이어 제거부(120)가 아웃라이어를 제거하여 인라이어 마스크를 남긴다. 이러한 아웃라이어 제거 과정은 도 8을 참조하여 보다 상세히 후술한다.
그리고 아웃라이어가 제거되고 오버랩 영역에 인라이어 마스크만 남은 경우, 단계(S730)에서 영상 처리 장치(100)의 칼라 톤 보정부(130)는 인라이어 마스크의 칼라들을 이용한 칼라 톤 보정을 수행한다.
그러면 영상 처리 장치(100)는 영상 합성을 통해 단계(S740)에서 파노라마 영상을 합성한다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법에 따라, 오버랩 영역으로부터 아웃라이어를 제거하는 과정을 도시한다.
단계(S810)에서는 유사도 계산부(121)가 오버랩 영역 전체에 대한 유사도를 계산한다.
그리고, 단계(S820)에서 영역 분할부(122)는 계산된 유사도가 제1 임계치 이하인지의 여부를 판단하여, 만약 그렇다면 단계(S830)에서 영역 분할을 수행한다. 영역 분할 과정에 대해서는 도 5를 참조하여 상술한 바와 같다.
이러한 과정이 회귀적으로 반복되는 과정 또한 이미 상술하였다.
결국 단계(S840)에서 아웃라이어 제거부(120)는 인라이어 마스크를 결정하고, 단계(S730) 이하가 수행된다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법에 따라 칼라 톤을 보정하는 과정을 도시한다.
단계(S910)에서 칼라 톤 보정부(130)는 인라이어 마스크 내에 있는 대응점(특징 점의 대응 쌍)을 식별한다.
그러면 칼라 톤 보정부(130)는 단계(S920)에서 선형 색상 변환 행렬을 계산하고, 이를 영상 전체에 적용함으로써 전체 영상 칼라 톤 보정을 수행한다(S930).
이러한 과정은 도 5 내지 도 6을 참조하여 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 영역 탐색부
120: 아웃라이어 제거부
121: 유사도 계산부
122: 영역 분할부
130: 칼라톤 보정부

Claims (16)

  1. 복수 개의 영상 내의 오버랩 영역을 탐색하는 영역 탐색부; 및
    상기 오버랩 영역 내의 아웃라이어를 제거하는 아웃라이어 제거부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 아웃라이어 제거부는,
    상기 복수 개의 영상 내의 오버랩 영역 사이의 유사도를 계산하는 유사도 계산부; 및
    상기 유사도가 제1 임계치 이하인 경우 상기 오버랩 영역을 복수 개로 분할하는 영역 분할부
    를 포함하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 영역 분할부는,
    상기 오버랩 영역을 복수 개로 분할하여 생성되는 서브 영역 중, 상기 복수 개의 영상 간의 유사도가 제1 임계치 미만인 적어도 하나의 서브 영역을 다시 복수 개로 분할하는, 영상 처리 장치.
  4. 제2항에 있어서,
    상기 유사도 계산부는,
    상기 복수 개의 영상 내의 오버랩 영역 사이의 칼라 값을 비교 함으로써 상기 유사도를 계산하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 영역 탐색부는,
    상기 복수 개의 영상의 각각으로부터 복수 개의 특징점을 추출하고, 상기 추출된 특징점 중 서로 대응하는 점들을 대응 쌍으로 결정하여 상기 오버랩 영역을 탐색하는, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 아웃라이어가 제거된 오버랩 영역을 이용하여 상기 복수 개의 영상 중 적어도 하나의 칼라 톤을 보정하는 칼라 톤 보정부
    를 더 포함하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 칼라 톤 보정부는,
    상기 아웃라이어가 제거된 오버랩 영역에 포함된 점들 중 대응 쌍을 식별하여 상기 대응 쌍을 이루는 점들 사이의 선형 색상 변환 행렬을 계산하고, 상기 선형 색상 변환 행렬을 상기 복수 개의 영상 중 적어도 하나에 적용하여 상기 적어도 하나의 영상의 칼라 톤을 보정하는, 영상 처리 장치.
  8. 복수 개의 영상 내의 오버랩 영역을 탐색하는 단계; 및
    상기 오버랩 영역 내의 아웃라이어를 제거하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 아웃라이어를 제거하는 단계는,
    상기 복수 개의 영상 내의 오버랩 영역 사이의 유사도를 계산하는 단계; 및
    상기 유사도가 제1 임계치 이하인 경우 상기 오버랩 영역을 복수 개로 분할하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 오버랩 영역을 복수 개로 분할하는 단계는,
    상기 오버랩 영역을 복수 개로 분할하여 생성되는 서브 영역 중, 상기 복수 개의 영상 간의 유사도가 제1 임계치 미만인 적어도 하나의 서브 영역을 다시 복수 개로 분할하는, 영상 처리 방법.
  11. 제9항에 있어서,
    상기 유사도를 계산하는 단계는,
    상기 복수 개의 영상 내의 오버랩 영역 사이의 칼라 값을 비교 함으로써 상기 유사도를 계산하는, 영상 처리 방법.
  12. 제8항에 있어서,
    상기 오버랩 영역을 탐색하는 단계는,
    상기 복수 개의 영상의 각각으로부터 복수 개의 특징점을 추출하고, 상기 추출된 특징점 중 서로 대응하는 점들을 대응 쌍으로 결정하여 상기 오버랩 영역을 탐색하는, 영상 처리 방법.
  13. 제8항에 있어서,
    상기 아웃라이어가 제거된 오버랩 영역을 이용하여 상기 복수 개의 영상 중 적어도 하나의 칼라 톤을 보정하는 단계
    를 더 포함하는, 영상 처리 방법.
  14. 제13항에 있어서,
    상기 칼라 톤을 보정하는 단계는,
    상기 아웃라이어가 제거된 오버랩 영역에 포함된 점들 중 대응 쌍을 식별하여 상기 대응 쌍을 이루는 점들 사이의 선형 색상 변환 행렬을 계산하고, 상기 선형 색상 변환 행렬을 상기 복수 개의 영상 중 적어도 하나에 적용하여 상기 적어도 하나의 영상의 칼라 톤을 보정하는, 영상 처리 방법.
  15. 제13항에 있어서,
    상기 칼라 톤 보정 후 상기 복수 개의 영상 중 적어도 일부를 합성하여 파노라마 영상을 합성하는 단계
    를 더 포함하는, 영상 처리 방법.
  16. 제8항 내지 제15항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100051658A 2010-06-01 2010-06-01 영상 처리 장치 및 방법 KR20110131949A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100051658A KR20110131949A (ko) 2010-06-01 2010-06-01 영상 처리 장치 및 방법
US13/047,342 US20110293175A1 (en) 2010-06-01 2011-03-14 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100051658A KR20110131949A (ko) 2010-06-01 2010-06-01 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110131949A true KR20110131949A (ko) 2011-12-07

Family

ID=45022188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051658A KR20110131949A (ko) 2010-06-01 2010-06-01 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20110293175A1 (ko)
KR (1) KR20110131949A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160101762A (ko) * 2015-02-17 2016-08-26 서울과학기술대학교 산학협력단 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR20200064222A (ko) * 2018-11-28 2020-06-08 주식회사 큐램 리져널 와핑을 이용한 이미지 정합 방법 및 그 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202276B2 (en) * 2013-03-13 2015-12-01 Restoration Robotics, Inc. Methods and systems for hair transplantation using time constrained image processing
US20150185017A1 (en) * 2013-12-28 2015-07-02 Gregory L. Kreider Image-based geo-hunt
US9894298B1 (en) * 2014-09-26 2018-02-13 Amazon Technologies, Inc. Low light image processing
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
CN105430375B (zh) * 2015-11-11 2017-09-15 深圳进化动力数码科技有限公司 一种检测全景摄像机的拼接适用距离的方法和装置
GB2552238A (en) 2016-04-18 2018-01-17 Argon Design Ltd Blending images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714689B1 (en) * 1995-09-29 2004-03-30 Canon Kabushiki Kaisha Image synthesizing method
JP4146938B2 (ja) * 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
WO2006011255A1 (ja) * 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
EP1886484B1 (en) * 2005-05-30 2020-01-01 FUJIFILM Corporation Album creating apparatus, album creating method and program
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
JP4830023B2 (ja) * 2007-09-25 2011-12-07 富士通株式会社 画像合成装置及び方法
US8260006B1 (en) * 2008-03-14 2012-09-04 Google Inc. System and method of aligning images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160101762A (ko) * 2015-02-17 2016-08-26 서울과학기술대학교 산학협력단 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR20200064222A (ko) * 2018-11-28 2020-06-08 주식회사 큐램 리져널 와핑을 이용한 이미지 정합 방법 및 그 시스템

Also Published As

Publication number Publication date
US20110293175A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
KR20110131949A (ko) 영상 처리 장치 및 방법
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
KR101811718B1 (ko) 영상 처리 방법 및 장치
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
Hua et al. Similarity measure for image resizing using SIFT feature
WO2013190862A1 (ja) 画像処理装置及び画像処理方法
SE1000142A1 (sv) Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
US8416989B2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
JPWO2010084739A1 (ja) 映像識別子抽出装置
US20150319373A1 (en) Method and device to compose an image by eliminating one or more moving objects
JP4911191B2 (ja) 画像処理装置および画像処理プログラム
US8774519B2 (en) Landmark detection in digital images
US9305603B2 (en) Method and apparatus for indexing a video stream
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2013206015A (ja) 画像処理装置および方法、並びにプログラム
WO2013161111A1 (ja) 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム
US11798227B2 (en) Image processing apparatus and image processing method
KR101105675B1 (ko) 영상 데이터 인페인팅 방법 및 장치
JP2013150203A (ja) 画像処理プログラム、装置及び方法
KR102003671B1 (ko) 영상 처리 방법 및 장치
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치
KR101826463B1 (ko) 동영상의 시간 축을 동기화하기 위한 방법 및 장치
JP5248719B1 (ja) 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid