KR100866278B1 - 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

Abstract

본 발명은 파노라마 영상 생성 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체를 개시한다.

본 발명에 따른 파노라마 영상 생성 장치은, 파노라마 영상생성의 대상이 되는 복수 개 대상영상이 입력되는 입력부; 상기 입력된 대상영상의 에지영역에 대한 데이터인 에지 데이터를 산출하는 에지검출부; 상기 에지데이터 중 패턴 매칭의 기준이 되는 영역인 매칭영역을 산출하는 매칭영역산출부; 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하는 패턴매칭부; 및 상기 매칭된 패턴을 기준으로 상기 복수 개 대상영상을 파노라마 영상으로 생성하는 스티치부를 포함한다.

상기 본 발명에 의하면, 영상합성의 대상이 되는 대상 영상의 통계적 특성에 기초한 연산을 통하여 더욱 단순화된 과정과 작은 리소스를 통하여 이동단말기의 하드웨어 환경에 더욱 부합되는 간단하고 정확한 파노라마 영상 생성방법을 실현할 수 있다.

영상 합성, 파노라마, 패턴 매칭, 통계적 특성

Description

파노라마 영상 생성 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체{Apparatus and method for making a panorama image and Computer readable medium stored thereon computer executable instruction for performing the method}

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.

도 1은 본 발명의 바람직한 일 실시예에 의한 파노라마 영상 생성 장치를 도시한 블럭도,

도 2는 본 발명의 바람직한 일 실시예에 의한 파노라마 영상 생성 방법의 과정을 도시한 흐름도,

도 3은 본 발명의 일 실시예에 따른 입력 영상의 일부 및 상기 일부 영상의 에지 데이터를 도시한 도면,

도 4는 에지 데이터의 라인별 밝기 정보에 대한 통계적 평균값인 제1데이터를 도시한 도면,

도 5는 제1데이터 중 분산값을 기준으로 매칭영역이 산출되는 부분을 도시한 도면,

도 6은 본 발명에 의한 파노라마 영상 생성 장치의 바람직한 일 실시예에 따른 기준영상과 대비영상의 매칭조건을 도시한 도면,

도 7은 파노라마 영상의 매칭 기준이 되는 피크 데이터의 밝기 정보의 기준을 도시하는 도면,

도 8은 패턴 매칭의 기준이 되는 매칭영역을 나타내는 도면,

도 9는 패턴 매칭의 수행과정을 도시한 도면,

도 10는 특정 임계값 이상이 되는 매칭 포인트를 검색하는 과정을 도시한 도면,

도 11은 파노라마 영상 생성 시 각각의 영상에 부여되는 가중치의 곱셈연산을 도시한 도면,

도 12a 및 b는 본 발명에 따른 파노라마 영상 생성 장치 및 방법에 의한 파노라마 영상의 결과를 도시하고 있는 도면이다.

<도면의 주요 참조부호에 대한 설명>

100 : 파노라마 영상 생성 장치 120 : 입력부

130 : 매칭영역산출부 132 : 제1산출부

134 : 피크 산출부 136 : 제2산출부

140 : 패턴매칭부 142 : 매칭조건설정부

150 : 스티치부

본 발명은 영상 합성 기술을 이용하여 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로, 더욱 구체적으로는 파노라마 영상 생성의 대상이 되는 대상영상의 통계적 특성과 상기 통계적 특성에 기초한 대상영상의 특징포인트를 기초로 파노라마 영상을 생성하는 장치 및 방법에 관한 것이다.

SLR카메라에 의한 필림형 영상촬영의 고전적인 장치 및 방법에 의한 영상생성을 넘어 현대에서는 CCD, CMOS 등의 광학센서를 이용한 디지털 영상 이미지 생성이 일반화되어 가고 있다.

이러한 디지털 광학 장치에 의한 영상 촬영은 현대인의 문화 생활과 영역의 확대에 따라 그 이용이 더욱 확대되어 가고 있으며 다양한 보조적 촬영장치 및 디지털 영상의 처리장치 등에 대한 발전이 이에 따라 비약적인 발전을 거듭해 오고 있다.

필름형 영상장치 또는 디지털 영상장치 등은 기본적으로 렌즈, 조리개 및 셔트 등의 광학 장치를 통하여 유입된 광학정보를 필름에 현상하거나 상기 광학센서가 전기에너지로 변환하여 생성되게 되는데, 피사체를 대면하는 렌즈의 광각에 제한을 받을 수 밖에 없다.

용도에 따른 다양한 렌즈군이 개발되어 이러한 제한된 렌즈의 활용이 넓혀져 가고는 있으나, 렌즈의 물리적인 특성상 한계가 완전히 없어질 수는 없다.

일반적으로 파노라마 영상은 상기와 같은 물리적 한계에 따른 제약을 극복하 여, 디지털 영상을 활용하는 사용자의 증대하는 다양한 욕구를 충족하기 위한 하나의 방안으로 창안된 것으로서, 렌즈가 피사체를 담을 수 있는 영역을 카메라의 촬영기법, 카메라 렌즈의 초점의 변화 및 디지털 이미지 처리 등에 의하여 확장된 영상을 의미한다.

즉, 복수 개의 촬영된 영상을 가로 또는 세로 혹은 이의 조합으로 연결하여 하나의 넓고 큰 이미지를 형성할 수 있는데 이렇게 형성된 영상을 파노라마 영상으로 칭한다.

다각도에 존재하는 다수의 카메라에 의하여 촬영된 복수 개의 영상을 생성하는 방법이나 렌즈가 피사체를 향하는 각도를 영상장치 내에서 물리적으로 조정하여 각도 조정된 영상을 생성하여 파노라마 영상으로 합성하는 방법 등이 파노라마 영상 생성을 위하여 기존에 제안된 방법들이다.

상기와 같은 장치 또는 방법은 추가적인 장비가 요구되고, 사용자의 운용방법 등의 주관적인 요인에 많은 영향을 받을 뿐만 아니라, 근래의 단말기 휴대화 및 소형화 등과는 다소 이질적인 물리적인 방법이라고 할 수 있다.

또한, 복수 개의 영상을 디지털 이미지 처리에 의하여 접합하는 방식도 제시되고 있으나, 대부분 PC 상에 존재하는 특정 프로그램을 통하여 복잡하고 번거로운 과정을 거쳐야 하며, 복수 개의 영상을 매칭하는 방법 또한 방법 자체의 복잡성과 부정확성 등에 따라 쉽고 간단하게 형성하기가 용이하지 않다는 문제점이 존재한다.

즉, 현대인이 쉽게 휴대하는 영상장치 상에서 용이성과 간단성을 가지면서 정확한 파노라마 영상을 합성할 수 있는 방법에 대한 요구는 아직 충족되지 못하고 있다고 할 수 있다.

본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로 파노라마 영상의 대상이 되는 대상영상의 통계적 산출값을 기초로 한 영상특성을 통하여 용이하고 정확한 파노라마 영상 생성 장치 및 방법을 제공하는 데 목적이 있다.

또한, 상기와 같은 방법을 컴퓨터에서 구현하기 위하여 컴퓨터로 인식가능하고 실행되는 프로그램을 기록한 기록매체를 제공하는 데 목적이 있다.

본 발명에 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 구성의 조합에 의해 실현될 수 있다.

상기 목적을 달성하기 위한 본 발명에 의한 파노라마 영상 생성 장치은, 파노라마 영상생성의 대상이 되는 복수 개 대상영상이 입력되는 입력부; 상기 입력된 대상영상의 에지영역에 대한 데이터인 에지 데이터를 산출하는 에지검출부; 상기 에지데이터 중 패턴 매칭의 기준이 되는 영역인 매칭영역을 산출하는 매칭영역산출부; 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하는 패턴매칭부; 및 상기 매칭된 패턴을 기준으로 상기 복수 개 대상영상을 파노라마 영상으로 생성하는 스티치부를 포함한다.

상기 구성을 통하여 영상의 에지데이터와 상기 에지데이터에 기초한 패턴 매 칭영역을 통하여 정확한 파노라마 영상을 생성할 수 있는 장치를 실현할 수 있다.

상기 에지검출부는, 파노라마 영상생성이 이루어지는 영역인 상기 대상영상 각각의 20%이내 가장자리 영상데이터의 에지 데이터를 산출하도록 구성되는 것이 실제 접합되는 영역을 반영할 수 있음은 물론, 연산 속도를 향상시킬 수 있는 장치를 구현할 수 있다.

또한, 상기 매칭영역산출부는, 상기 에지데이터의 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 평균값인 제1데이터를 상기 에지데이터의 라인마다 산출하는 제1산출부; 상기 제1데이터 중 피크영역을 형성하는 피크 데이터를 산출하는 피크산출부; 및 상기 피크 데이터가 형성되는 라인을 이용하여 상기 매칭영역으로 산출하는 제2산출부를 포함하도록 구성되는 것이 바람직하다.

상기의 구성을 통하여 대상영상의 밝기정보에 따른 통계적 산출값을 통하여 더욱 영상의 특성에 부합되는 매칭장치를 실현할 수 있다.

상기 제2산출부는, 상기 피크 데이터 중 최대 피크 데이터에 해당하는 라인 영역을 상기 매칭영역으로 산출하거나, 상기 피크 데이터가 형성되는 라인 중 상기 피크 데이터를 중심으로 한 소정 영역의 제1데이터의 분산값이 최대가 되게 하는 소정 영역을 상기 매칭영역으로 산출하도록 구성될 수 있다.

더욱이, 상기 패턴매칭부는 상기 대상 영상 중 기준이 되는 영상인 기준영상의 위치를 고정하고, 기준영상 이외의 영상인 대비영상의 위치를 이동하여 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하되, 이동되는 위치에 따른 상기 복수개 영상 각각의 픽셀값의 명도정보의 합이 소정기준 이상이 되는 개수 가 가장 많은 상기 이동된 좌표를 기준으로 상기 대상영상의 패턴을 매칭하도록 구성되며, 상기 소정기준은, 상기 이용된 피크데이터에 해당하는 밝기정보의 80% 이상의 값으로 정해지는 것이 바람직하다.

상기의 구성은 대상영상의 패턴매칭 시 가장 정확한 매칭이 이루어질 수 있도록 영상의 특성을 반영할 수 있다.

아울러, 패턴매칭부는, 상기 대비영상의 위치 이동 영역의 크기에 대한 데이터, 상기 대비영상의 위치가 이동되는 단위 이동 간격에 대한 데이터, 상기 명도정보 합산의 대상이 되는 픽셀의 연산간격에 대한 데이터 중 선택된 하나 이상의 조건데이터를 설정받는 매칭조건설정부를 더 포함하고, 상기 매칭조건설정부에서 설정된 조건정보에 기초하여 상기 대상영상의 패턴을 매칭하도록 구성되는 것이 바람직하다.

상기 조건 정보를 통하여 합성에 필요한 연산의 속도, 정확성 등을 사용자 환경에 부합되도록 운용할 수 있는 장치를 구현할 수 있다.

한편, 상기 스티치부는 상기 패턴매칭에 의하여 상기 대상 영상이 겹쳐지는 부분의 픽셀과 상기 대상 영상 간의 이격된 거리에 따라 차등적으로 부여된 가중치를 대상 영상의 각각 픽셀의 영상정보에 곱셈연산을 수행한 결과값의 합을 상기 파노라마 영상의 영상정보를 생성하되, 상기 각각 부여된 가중치의 합이 1이 되도록 구성한다.

상기의 구성을 통하여 파노라마 영상으로 생성된 부분의 영상정보가 접합되는 복수 개의 영상과 자연스럽게 조화를 이룰 수 있는 파노라마 영상 생성장치를 구현할 수 있다.

한편, 본 발명의 또 다른 측면의 목적을 달성하기 위한 파노라마 영상 생성 방법은, 파노라마 영상생성의 대상이 되는 복수 개 대상영상이 입력되는 입력단계; 상기 입력된 대상영상의 에지영역에 대한 데이터인 에지 데이터를 산출하는 에지검출단계; 상기 에지데이터 중 패턴 매칭의 기준이 되는 영역인 매칭영역을 산출하는 매칭영역산출단계; 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하는 패턴매칭단계; 및 상기 매칭된 패턴을 기준으로 상기 복수 개 대상영상을 파노라마 영상으로 생성하는 스티치단계를 포함한다.

상기의 구성을 통하여 영상의 특성에 기초한 방법을 통하여 간단하면서도 정확한 파노라마 영상 생성 방법을 구현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명의 상세한 설명에 앞서 본 발명의 설명에 필요한 용어 및 정의 등에 관하여 서술하도록 한다.

통상적으로 영상처리의 기본이 되는 영상의 색상공간은 색상혼합의 관점, 인간의 시각 체계와의 유사성 등 색공간을 바라보는 관점에 따라 RGB, CMYK, HS계열, CIE, Y계열 등 다양한 공간으로 표현될 수 있으며, 이종의 형태로 표현된 색공간의 다른 색공간으로의 변환은 간단한 수학적 변환식에 의하여 변환될 수 있음은 당업자간에 자명하다고 할 수 있다.

또한, 입력영상은 복수개의 픽셀들의 합으로 표현되며, 상기 픽셀들은 해당 픽셀에 해당하는 영상정보(명도, 색상, 채도 등)를 가지게 된다. 통상적으로 상기 영상정보는 0에서 255단계로 단계적으로 구분되어 8bit의 정보로 나타내는 것이 일반적이나, 적용되는 환경에 따라 상기 영상정보는 10, 12bit 등 다양한 변형례가 가능함은 물론이다.

그러므로, 본 발명을 설명함에 있어 일 실시예로서 표현된 하나의 색공간 좌표계는 상기와 같은 관점에서 다른 색공간좌표에도 동일, 유사한 적용이 가능하며, 입력영상에서 하나의 픽셀이 가지는 영상정보의 bit 크기는 하나의 일실시예에 불과하다고 이해되어야 한다.

도 1은 본 발명의 바람직한 일 실시예에 의한 파노라마 영상 생성 장치를 도시한 블럭도이며, 도 2는 본 발명의 바람직한 일 실시예에 의한 파노라마 영상 생성 방법의 과정을 도시한 흐름도이다.

상기 도 1 및 도 2를 참조할 때, 본 발명에 따른 파노라마 영상 생성 장 치(100)은 입력부(110), 에지(edge)검출부(120), 매칭영역산출부(130), 패턴매칭부(140) 및 스티치부(150)를 포함한다.

상기 입력부(110)는 파노라마 영상생성의 대상이 되는 복수 개 대상영상이 입력된다(S210). 상기 입력되는 대상영상은 사용자 등으로부터 합성하고자 하는 입력되는 영상을 의미하며, 통상적으로 수평적 파노라마 영상 생성뿐만 아니라 수직적 또는 상기 수평 수직의 조합(2×2, 3×3 등)에 의한 파노라마 영상 생성의 대상이 되는 대상영상을 입력받을 수 있다.

이하에서는 수평 방향 파노라마 영상생성의 대상이 되는 2장의 대상영상을 일 실시예로 하여 본 발명을 상세히 설명하나, 본 발명의 기술내용이 발현되는 범위라면 상기 파노라마 영상 생성의 방향 또는 대상영상의 개수에 제한되지 않음은 자명하다고 이해되어야 한다.

다음으로 에지검출부(120)는 상기 입력된 대상영상의 에지영역에 대한 데이터인 에지 데이터를 산출한다(S220). 상기 에지데이터는 대상영상의 피사체의 실루엣 또는 외곽선, 윤곽선 또는 경계선 등에 대한 데이터를 의미하는 것으로 영상이 합성되는 경우 영상 내 피사체 내부의 위치보다는 상기 피사체의 경계되는 지점에 더욱 특징이 부각되므로 상기와 같이 에지 데이터를 산출한다.

상기 에지데이터를 산출하는 방법은 2차 미분 라플라시안에 의한 윤곽 추출도 가능하나 노이즈에 의한 바람직하지 않은 결과가 도출될 수도 있으므로 1차 미분 그레디언트(gradient)에 의한 방법을 이용하는 것이 더욱 바람직하다.

상기와 같은 방법 등의 경계선에 대한 데이터를 획득할 수 있는 당업자간에 변형가능한 다양한 예가 적용가능하며, 일 예로 로버트 마스크, 프리윗 마스트 및 소벨 마스크 등이 이용가능하며, 영상의 특성상 소벨 마스크, 특히 연산 속도 등과 연산효율의 관계에서 하기 표 1에서와 같은 3×3 소벨마스크를 이용하는 것이 더욱 바람직하다. 표 1에서 좌측 마스크가 수평 에지 필터, 우측 마스크가 수직 에지 필터에 해당한다.

본 발명의 일 실시예에 따른 입력 영상의 일부 및 상기 일부 영상의 에지 데이터를 도시한 도 3에서와 같이 도 3의 좌측 영상(a)이 입력영상에 해당하며, 우측 영상(b)이 입력영상의 3×3 소벨마스크를 통하여 에지데이터 산출된 영상데이터에 해당한다.

상기 도 3의 영상은 후술되는 바와 같이 접합이 예정되는 영상 부분에 대한 영상으로, 입력된 대상영상의 20%이내 가장자리 영상데이터의 에지 데이터에 해당한다.

상기와 같이 영상 접합이 예정되는 부분은 수평방향의 파노라마 영상의 경우, 제1영상의 우측과 상기 제1영상에 연결되는 제2영상의 좌측이 접합되는 것이 일반적이므로 상기와 같이 파노라마 영상의 일반적인 특성을 감안하여 상기와 같이 대상 영상 각각의 20%이내 가장자리 영상데이터를 연산하여 에지데이터를 산출함으로써, 실질적인 영상 접합의 영역을 반영하면서도 연산처리 효율을 향상시킬 수 있다.

파노라마 영상이 상하 입력영상을 대상으로 한다면, 상기 가장자리는 대상영상의 상하 가장자리가 될 것이며, 앞서 설명한 바와 같이 2×2 등이 결합된 파노라마 영상의 경우에는 상,하,좌,우 접합 부분에 대한 가장자리가 됨은 자명하다.

상기와 같이 에지데이터 산출 후, 매칭영역산출부(130)는 상기 에지데이터 중 패턴 매칭의 기준이 되는 영역인 매칭영역을 산출한다(S230). 즉, 상기 산출된 에지데이터 중에서 가장 두드러진 에지에 해당하는 영역을 매칭의 중심이 되는 매칭영역으로 산출한다. 상기와 같은 구성을 통하여 에지데이터 중에서 매칭영역을 선별함으로써 영상에서 특이성이 두드러진 부분을 중심으로 대상영상을 매칭할 수 있어 더욱 정확한 매칭작업을 수행할 수 있다.

구체적으로 상기 매칭영역산출부(130)는 제1산출부(132), 피크 산출부(134) 및 제2산출부(136)을 포함할 수 있다.

제1산출부(132)는 상기 에지데이터의 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 평균값인 제1데이터를 상기 에지데이터의 라인마다 산출한다(S232).

상기 픽셀의 밝기정보는 통상적으로 색공간으로 표현되는 영상정보 중 Y에 해당하므로 본 발명에서 상기 제1데이터는 Y profile로 명칭될 수 있다. 상기 제1데이터(Y profile)는 에지데이터의 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 평균값으로서, 대상영상이 320×240 크기를 가진다면, 240개의 라인으로 표현되는 각각의 통계적 평균값을 산출하게 된다.

도 4는 에지 데이터의 라인별 밝기 정보에 대한 통계적 평균값인 제1데이터를 도시한 도면으로서, 도 4는 첫번째 라인에서부터 마지막 라인까지 각각 라인의 밝기값의 통계적 산출값(평균값)을 좌표계로 표현한 것으로서, 도 4는 입력된 대상 영상의 라인별 밝기정보의 통계적 산출값을 회전시켜 직교 좌표계로 나타낸 도면으로서, 제1데이터값들로 이루어진 결과를, x축을 영상의 라인의 축(원점을 기준으로 상위 라인에서 하위라인으로 전개)으로 y축을 통계적 산출값(제1데이터)의 축으로 2차원적으로 나타내었으며 영상의 라인별 특성이 반영된 도면에 해당한다.

상기와 같이 제1데이터를 산출한 후, 상기 제1데이터 피크영역을 형성하는 피크 데이터를 피크산출부(134)가 산출한다(S234).

상기 피크 데이터는 앞서 설명한 바와 같이 에지데이터에서 가장 두드러진 영상적 특징을 나타내는 부분에 해당하므로 이를 중심으로 상기 대상영상을 매칭하는 경우 더욱 정밀한 매칭효율을 창출할 수 있게 된다.

상기 피크데이터에 해당하는 데이터의 산출은 인접한 라인의 제1데이터값들을 상호 비교하여, 값의 증감이 증대에서 감소로 변환되는 변곡점에 해당하는 점을 중심으로 판단된 결과값을 산출하여 얻을 수 있다.

최종적으로 본 발명의 제2산출부(136)는 상기 피크 데이터가 형성되는 라인을 이용하여 상기 매칭영역으로 산출한다(S236). 상기 피크 데이터가 형성되는 라인은 도 4의 정점이 원(A, B)으로 표현된 라인으로서 앞서 설명한 바와 같이 상기와 같은 라인을 이용하여 패턴 매칭의 기준이 되는 영역인 매칭영역으로 산출한다.

이 때, 상기 제2산출부(136)는 상기 피크 데이터 중 최대 피크 데이터에 해당하는 라인 영역을 상기 매칭영역으로 산출할 수 있다.

상기 도 4의 B로 표현된 부분인 최대 피크 데이터에 해당하며, 상기 피크 데이터에 해당하는 라인은 영상에서 가장 밝은 정보들로 이루어진 라인에 해당하므로 상기 영역을 매칭라인으로 형성함으로써 매칭 효율성을 극대화할 수 있다.

또한, 상기 제2산출부(136)는 상기 피크 데이터가 형성되는 라인 중 상기 피크 데이터를 중심으로 한 소정 영역의 제1데이터의 분산값이 최대가 되게 하는 소정 영역을 상기 매칭영역으로 산출하도록 구성될 수 있다.

상기 제1데이터 중 분산값을 기준으로 매칭영역이 산출되는 부분을 도시한 도 5와 같이 피크 데이터를 포함한 제1데이터에 해당하는 라인이 가지는 각각의 함수값들의 평균과 분산의 통계적 관점에서 판단하여 볼 때, 소정 영역의 분산값이 크다는 것은 매우 불규칙적 함수값의 분포를 나타내는 것이므로 상기 소정 영역은 타 영역과 대별되는 특성을 가진다는 것을 의미하며, 이러한 통계적 특성에 기초하여 매칭되는 영역을 선별함으로써 더욱 정밀한 영상 접합방법을 실현할 수 있게 된다.

즉, 상기 피크 데이터가 형성되는 라인 중 분산값이 최대가 되게 하는, 피크데이터(도 5의 A)를 포함하는 소정영역을 매칭의 기준이 되는 매칭영역(도5의 B)으로 산출하는 구성은 영상의 특성이 반영된 통계적 특이점을 매칭의 기준이 되는 매칭영역으로 산출함으로써 각각의 영상마다의 특이성을 매칭에 반영할 수 있어 더욱 정확한 매칭포인트가 될 수 있는 효과를 창출할 수 있다.

도 8은 패턴 매칭의 기준이 되는 매칭영역을 나타내는 도면으로서, 붉은 색으로 표현된 피크데이터를 기준으로 파란색으로 표현된 영역을 매칭영역으로 하고 있음을 나타내고 있다.

상기의 과정을 수행한 후, 상기 패턴매칭부(140)는 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭한다(S240). 앞서 설명한 과정에서 산출된 매칭영역을 중심으로 파노라마 생성의 대상이 되는 대상영상의 좌우, 또는 상하 및 상호 조합된 방향으로 실제 매칭작업을 수행하게 된다.

상기 패턴매칭부(140)가 수행하는 패턴매칭단계(S240)는 또한, 복수 개 대상영상의 위치를 이동시켜 매칭한다. 하나의 실시에를 설명하면, 상기 대상 영상 중 기준이 되는 영상인 기준영상의 위치를 고정하고, 기준영상 이외의 영상인 대비영상의 위치를 이동하여 상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하되, 이동되는 위치에 따른 상기 복수개 영상 각각의 픽셀값의 명도정보의 합이 소정기준 이상이 되는 개수가 가장 많은 상기 이동된 좌표를 기준으로 상기 대상영상의 패턴을 매칭하도록 구성될 수 있다.

상기 기준영상과 대비영상은 상대적인 개념으로 구분되어야 하며, 절대적 기준으로 분류될 수 없음은 자명하다. 상기 패턴매칭의 과정을 패턴 매칭의 수행과정을 도시한 도 9 및 특정 임계값 이상이 되는 매칭 포인트를 검색하는 과정을 도시한 도 10을 통하여 설명하면, 우선적으로 하나의 영상(기준영상)의 위치를 고정한다. 상기 도 9에서는 ROI 2(Region Of Interest)가 기준영상에 해당하며, 상기 ROI1이 대비영상이 된다.

상기와 같이 대비영상을 상,하,좌,우 이동하면서 패턴매칭을 수행하게 되는데, 이동되는 위치에 대한 좌표마다 대비영상과 기준영상의 밝기정보를 산출하고 산출된 밝기정보를 상기 좌표와 연계하여 저장한다.

즉, 복수 개 영상 각 픽셀값의 명도정보 합을 매 이동 시마다 산출하고, 그 산출된 합이 소정 기준 이상이 되는 개수를 카운팅한다. 이러한 카운팅 개수는 앞서 살펴본 바와 같이 이동된 위치마다 산출되게 되고, 상기 카운팅 개수가 가장 많은 이동 위치가 영상 간의 패턴이 가장 잘 매칭된 위치를 의미하게 된다. 즉, 상기 카운팅 개수가 가장 많은 이동 위치에 해당하는 좌표점을 기준으로 상기 대상 영상이 접합됨으로써 파노라마 영상이 생성되게 된다.

상기의 과정과 같은 해당 픽셀값의 명도정보의 합이 연산되는 과정을 도 10에서 도시하고 있으며, 도 10의 노란색 원은 상기 도 8에 도시되어 있는 노란색 원에 해당한다.

상기 소정기준은 밝기정보의 합의 개수를 판단하기 위한 기준에 해당하는 것으로서 장치, 영상 특성 등에 따라 다양한 변형례가 가능하며, 본 발명에서는 실제 실험예, 검출률 등을 기초로 상기 도 7에 도시된 바와 같이 매칭영역에 이용된 피크데이터(A)에 해당하는 밝기정보의 80%이상(B)에 해당되는 값이 가장 바람직하다.

또한, 상기 패턴매칭부(140)는 상기 대비영상의 위치 이동 영역의 크기에 대한 데이터, 상기 대비영상의 위치가 이동되는 단위 이동 간격에 대한 데이터, 상기 명도정보 합산의 대상이 되는 픽셀의 연산간격에 대한 데이터 중 선택된 하나 이상의 조건데이터를 설정받는 매칭조건설정부(142)를 더 포함하고, 상기 매칭조건설정부(142)에서 설정된 조건정보에 기초하여 상기 대상영상의 패턴을 매칭하도록 구성되는 것이 바람직하다. 이와 마찬가지로 상기 패턴매칭단계(S240)는 상기 매칭조건설정부(142)에 의한 매칭조건설정단계(242)를 더 포함하여 구성됨은 물론이다.

본 발명의 바람직한 일 실시예에 따른 기준영상과 대비영상의 매칭조건을 도시한 도 6에서와 같이 도 6의 (a)는 ROI1이 탐색되는 전체 영역(range)의 제한조건에 해당하며, 도 6의 (b)는 상기 명도정보 합산의 대상이 되는 픽셀의 연산간격에 대한 데이터, 즉, 상기 range를 탐색하면서 이동할 때 얼마만큼씩 이동할 것인가에 대한 데이터에 해당하며, 도 6의 (c)는 명도정보를 연산할 때 기준영상의 픽셀과 대비영상의 픽셀이 대비되는 간격을 의미한다.

대상 영상의 패턴을 매칭함에 있어 상기 도 6의 (a), (b) 및 (c)에 도시된 바와 같은 패턴 매칭을 위한 조건을 실시형태, 장치의 사양, 대상 영상의 해상도 등과 같은 시스템 환경을 충분히 반영하여 적절히 선택적으로 조합하여 적용함으로써, 상기 시스템 환경을 더욱 효과적으로 반영할 수 있다.

상기의 과정을 수행하여 패턴매칭 과정이 완료되면, 최종적으로 본 발명의 스티치부(150)는 복수 개 영상을 하나의 파노라마 영상으로 생성하게 된다(S250).

파노라마 영상을 생성하는 경우, 더욱 자연스러운 영상정보를 생성하기 위하여 상기 스티치부(150)는 상기 패턴매칭에 의하여 상기 대상 영상이 겹쳐지는 부분의 픽셀과 상기 대상 영상 간의 이격된 거리에 따라 차등적으로 부여된 가중치를 대상 영상의 각각 픽셀의 영상정보에 곱셈연산을 수행한 결과값의 합을 상기 파노라마 영상의 영상정보를 생성하되, 상기 각각 부여된 가중치의 합은 1이 되도록 구성하는 것이 바람직하다.

도 11에 도시된 바와 같이 대상이 되는 픽셀(x)이 각각의 영상(A,B)에서 이격된 거리(a, b)에 따라 차등적인 가중치를 상기 각각 영상의 픽셀이 가지는 영상정보에 연산하여 합산된 결과를 이용하여 파노라마 영상의 해당 픽셀의 영상정보로 생성함으로써, 더욱 복수개 영상이 자연스럽게 조화될 수 있도록 할 수 있다.

각각의 영상에 이격된 거리에 따른 가중치를 부여하는 구성만으로도 자연스러운 연결효과를 창출할 수 있으나, 가중치의 합이 1이 되지 않는 경우 영상정보의 값에 따라 표현될 수 있는 수치를 넘어설 수가 있게 되고 이러한 경우 또 다른 처리가 요구되므로 상기와 같이 가중치의 합이 1이 되도록 구성하는 것이 가장바람직하다.

구체적인 예를 들어, 오버랩되는 부분 중의 한 픽셀이 하나의 영상과 이격된 거리가 10이고 다른 영상과 이격된 거리가 40이라면, 각각의 이격된 거리에 따른 가중치를 부여하되, 거리비가 1:4 이므로 첫번째 영상 픽셀의 영상정보의 값에 0.2가중치를 곱하고, 두번째 영상 픽셀의 영상정보의 값에는 0.8의 가중치를 곱하여 합산된 값을 파노라마 영상의 대상 픽셀의 값으로 산출한다.

상기 영상정보는 앞서 설명한 바와 같이 명도정보에만 국한되는 것이 아니라 각각의 색공간으로 표현되는 다양한 영상정보 모두가 상기 가중치 연산의 대상이 될 수 있음은 당연하다.

또한, 겹쳐지지 않는 부분의 영상은 각각의 영상이 가지는 영상정보를 가지도록 구성됨은 물론이며, 오버랩되는 부분 이외의 위치에 해당하는 가장자리 영상은 절단되어 출력되도록 구성하는 것이 사용자 시각적 인지성의 차원에서 바람직하다.

도 12는 본 발명에 의한 파노라마 영상 생성 장치 및 방법에 의하여 생성된 결과 영상을 도시하고 있다.

상술한 본 발명에 따른 파노라마 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 파노라마 영상 생성 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상기 본 발명에 의한 파노람 영상 생성 장치 및 방법은 영상에 표현되어 있는 통계적 특성에 기반하여 영상 매칭 및 합성(stitch) 과정을 수행하므로 더욱 정확한 파노라마 영상을 생성할 수 있는 효과를 창출할 수 있다.

또한, 대상 영상의 모든 픽셀값을 참조하여 패턴을 매칭하는 방식이 아니라 대상 영상의 특징이 되는 통계적 산출값을 참조하여 매칭영역을 형성하고 이를 중심으로 영상을 접합생성하는 방식이므로 더욱 간단한 과정과 작은 리소스를 차지하게 되므로 이동단말기의 하드웨어 환경에 더욱 부합되는 파노라마 영상 생성방법을 실현할 수 있다.

더욱이, 사용자의 요구와 장치 사양 등에 따라 파노라마 영상 생성의 다양한 조건을 개별적으로 설정할 수 있도록 구성함으로써 더욱 사용자 친화적인 파노라마 영상 생성 방법을 실현할 수 있다.

Claims (21)

1. 파노라마 영상생성의 대상이 되는 복수 개 대상 영상이 입력되는 입력부;

   상기 입력된 대상영상의 에지 데이터를 산출하는 에지검출부;

   상기 에지데이터 중 패턴 매칭의 기준이 되는 매칭영역을 산출하는 매칭영역산출부;

   상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하는 패턴매칭부; 및

   상기 매칭된 패턴을 기준으로 상기 복수 개 대상영상을 파노라마 영상으로 생성하는 스티치부를 포함하는 파노라마 영상 생성 장치.
2. 제 1항에 있어서, 상기 에지검출부는,

   상기 대상 영상 각각의 20%이내 가장자리 에지 데이터를 산출하는 것을 특징으로 하는 파노라마 영상 생성 장치.
3. 제 1항에 있어서, 상기 에지검출부는,

   3×3 소벨 마스크를 이용하여 상기 에지 데이터를 산출하는 것을 특징으로 하는 파노라마 영상 생성 장치.
4. 제 1항에 있어서, 상기 매칭영역산출부는,

   상기 에지데이터의 한 라인에 해당하는 각 픽셀의 밝기정보에 대한 통계적 평균값인 제1데이터를 상기 에지데이터의 라인마다 산출하는 제1산출부;

   상기 제1데이터 중 피크 데이터를 산출하는 피크산출부; 및

   상기 피크 데이터가 산출된 라인을 기준으로 상기 매칭 영역을 산출하는 제2산출부를 포함하는 것을 특징으로 하는 파노라마 영상 생성 장치.
5. 제 4항에 있어서, 상기 제2산출부는,

   상기 피크 데이터 중 최대 피크 데이터에 해당하는 라인을 기준으로 상기 매칭영역을 산출하는 것을 특징으로 하는 파노라마 영상 생성 장치.
6. 제 4항에 있어서, 상기 제2산출부는,

   상기 피크 데이터가 형성되는 라인 중 상기 피크 데이터를 중심으로 한 소정 영역의 상기 제1데이터의 분산값이 최대가 되게 하는 영역을 상기 매칭 영역으로 산출하는 것을 특징으로 하는 파노라마 영상 생성 장치.
7. 제 1항에 있어서, 상기 패턴매칭부는,

   상기 복수 개 대상영상의 위치를 이동시켜 매칭하되, 이동되는 위치에 따른 상기 복수 개 영상의 각 픽셀의 명도정보의 합이 소정기준 이상이 되는 개수가 가장 많은 이동 좌표를 기준으로 상기 대상영상의 패턴을 매칭하는 것을 특징으로 하는 파노라마 영상 생성 장치.
8. 제 4항에 있어서, 상기 패턴매칭부는,

   상기 복수 개 대상영상의 위치를 이동시켜 매칭하되, 이동되는 위치에 따른 상기 복수 개 영상 각 픽셀의 명도정보의 합이 소정기준 이상이 되는 개수가 가장 많은 이동 좌표를 기준으로 상기 대상영상의 패턴을 매칭하되, 상기 소정기준은 상기 이용된 피크데이터에 해당하는 밝기정보의 80% 이상의 값으로 정해지는 것을 특징으로 하는 파노라마 영상 생성 장치.
9. 제 7항에 있어서, 패턴매칭부는,

   상기 대상영상의 위치 이동 영역의 크기에 대한 데이터, 상기 대상영상의 위치가 이동되는 단위 이동 간격에 대한 데이터, 상기 명도정보 합산의 대상이 되는 픽셀의 연산간격에 대한 데이터 중 선택된 하나 이상의 조건데이터를 설정받는 매칭조건설정부를 더 포함하고,

   상기 매칭조건설정부에서 설정된 조건정보에 기초하여 상기 대상영상의 패턴을 매칭하는 것을 특징으로 하는 파노라마 영상 생성 장치.
10. 제 1항에 있어서, 상기 스티치부는,

    상기 패턴매칭에 의하여 상기 대상 영상이 겹쳐지는 부분의 픽셀과 상기 대상 영상 간의 이격된 거리에 따라 차등적으로 부여된 가중치를 대상 영상의 각 픽셀의 영상정보에 적용하고 그 적용된 결과값의 합을 상기 파노라마 영상의 영상정보로 생성하되, 상기 각각 부여된 가중치의 합은 1인 것을 특징으로 하는 파노라마 영상 생성 장치.
11. 파노라마 영상생성의 대상이 되는 복수 개 대상 영상이 입력되는 입력단계;

    상기 입력된 대상영상의 에지 데이터를 산출하는 에지검출단계;

    상기 에지데이터 중 패턴 매칭의 기준이 되는 매칭영역을 산출하는 매칭영역산출단계;

    상기 매칭영역을 기준으로 상기 복수 개 대상영상의 패턴을 매칭하는 패턴매칭단계; 및

    상기 매칭된 패턴을 기준으로 상기 복수 개 대상영상을 파노라마 영상으로 생성하는 스티치단계를 포함하는 파노라마 영상 생성 방법.
12. 제 11항에 있어서, 상기 에지검출단계는,

    상기 대상 영상 각각의 20%이내 가장자리 에지 데이터를 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
13. 제 11항에 있어서, 상기 에지검출단계는,

    3×3 소벨 마스크를 이용하여 상기 에지 데이터를 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
14. 제 11항에 있어서, 상기 매칭영역산출단계는,

    상기 에지데이터의 한 라인에 해당하는 각 픽셀의 밝기정보에 대한 통계적 평균값인 제1데이터를 상기 에지데이터의 라인마다 산출하는 제1산출단계;

    상기 제1데이터 중 피크 데이터를 산출하는 피크산출단계; 및

    상기 피크 데이터가 산출된 라인을 기준으로 상기 매칭 영역을 산출하는 제2산출단계를 포함하는 것을 특징으로 하는 파노라마 영상 생성 방법.
15. 제 14항에 있어서, 상기 제2산출단계는,

    상기 피크 데이터 중 최대 피크 데이터에 해당하는 라인을 기준으로 상기 매칭영역을 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
16. 제 14항에 있어서, 상기 제2산출단계는,

    상기 피크 데이터가 형성되는 라인 중 상기 피크 데이터를 중심으로 한 소정 영역의 상기 제1데이터의 분산값이 최대가 되게 하는 영역을 상기 매칭 영역으로 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
17. 제 11항에 있어서, 상기 패턴매칭단계는,

    상기 복수 개 대상영상의 위치를 이동시켜 매칭하되, 이동되는 위치에 따른 상기 복수 개 영상의 각 픽셀의 명도정보의 합이 소정기준 이상이 되는 개수가 가장 많은 이동 좌표를 기준으로 상기 대상영상의 패턴을 매칭하는 것을 특징으로 하는 파노라마 영상 생성 방법.
18. 제 14항에 있어서, 상기 패턴매칭단계는,

    상기 복수 개 대상영상의 위치를 이동시켜 매칭하되, 이동되는 위치에 따른 상기 복수 개 영상의 각 픽셀의 명도정보의 합이 소정기준 이상이 되는 개수가 가장 많은 이동 좌표를 기준으로 상기 대상영상의 패턴을 매칭하되, 상기 소정기준은 상기 이용된 피크데이터에 해당하는 밝기정보의 80% 이상의 값으로 정해지는 것을 특징으로 하는 파노라마 영상 생성 방법.
19. 제 17항에 있어서, 패턴매칭단계는,

    상기 대상영상의 위치 이동 영역의 크기에 대한 데이터, 상기 대상영상의 위치가 이동되는 단위 이동 간격에 대한 데이터, 상기 명도정보 합산의 대상이 되는 픽셀의 연산간격에 대한 데이터 중 선택된 하나 이상의 조건데이터를 설정받는 매칭조건설정단계를 더 포함하고,

    상기 매칭조건설정단계에서 설정된 조건정보에 기초하여 상기 대상영상의 패턴을 매칭하는 것을 특징으로 하는 파노라마 영상 생성 방법.
20. 제 11항에 있어서, 상기 스티치단계는,

    상기 패턴매칭에 의하여 상기 대상 영상이 겹쳐지는 부분의 픽셀과 상기 대상 영상 간의 이격된 거리에 따라 차등적으로 부여된 가중치를 대상 영상의 각 픽셀의 영상정보에 적용하고 그 적용된 결과값의 합을 상기 파노라마 영상의 영상정보를 생성하되, 상기 각각 부여된 가중치의 합은 1인 것을 특징으로 하는 파노라마 영상 생성 방법.
21. 제 11항 내지 제 20항 중 어느 한 항에 따른 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체.

Images