KR101309574B1 - 파노라마 이미지 생성 방법 - Google Patents

Abstract

본 발명은 파노라마 이미지 합성에 관한 것으로, 특히 이동통신 단말기에 장착된 카메라나 디지털 카메라를 이용하여 촬영한 파노라마 사진을 모서리 부분의 색상에 대하여 케이민즈 클러스터링(K-means clustering) 기법을 이용하여 연속된 이미지를 패턴인식에 의해 연결하여 선명하고 연속적인 파노라마 이미지를 만들 수 있는 파노라마 이미지 생성 장치 및 방법에 관한 것이다.

본 발명은 연속된 두 개의 이미지 부분에서 겹쳐지는 두 모서리 부분의 색상에 대한 패턴인식을 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 일치되는 각도와 배경을 신속하고 자연스럽게 연장하여 파노라마 이미지를 얻을 수 있으며, 이러한 케이민즈 클러스터링(K-means clustering) 기법을 적용한 DSP를 카메라가 부착된 이동통신 단말기나 디지털 카메라, 캠코더, 카메라가 장착된 PDA 단말기나 위성 지상파 수신단말기 등에 장착하여 파노라마 이미지를 합성할 수 있는 파노라마 이미지 생성 장치 및 방법을 제공한다.

카메라, 캠코더, PDA 단말기, 케이민즈 클러스터링, 디지털 카메라.

Description

파노라마 이미지 생성 방법{ A method for panorama image synthesis}

도 1은 본 발명의 카메라 모듈을 장착한 이동통신 단말기의 개략적인 구성도,

도 2는 본 발명의 파노라마 이미지 생성 장치의 구성도,

도 3은 본 발명의 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 특징을 추출하는 개념도,

도 4는 본 발명의 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 파노라마 이미지를 생성하는 동작 순서도이다.

<도면의 주요부호에 대한 설명>

70 : 카메라 72 : DSP부

74 : 메모리 76 : 제어부

본 발명은 파노라마 이미지 합성에 관한 것으로, 특히 이동통신 단말기에 장착된 카메라나 디지털 카메라를 이용하여 촬영한 파노라마 사진을 모서리 부분의 색상에 대하여 케이민즈 클러스터링(K-means clustering) 기법을 이용하여 연속된 이미지를 패턴인식에 의해 연결하여 선명하고 연속적인 파노라마 이미지를 만들 수 있는 파노라마 이미지 생성 장치 및 방법에 관한 것이다.

일반적으로, 케이민즈 클러스터링(K-means clustering) 기법은 영상처리에서 사용되고 있는 기법으로, K-nearest neighbor 또는 K-NN 알고리즘이라고도 하며, 비교사 학습(unsupervised learning)에 의하여 색상차, 명암차를 인식하는 알고리즘이다. 현재 이미지 세그멘테이션(segmentation)을 케이민즈 클러스터링(K-means clustering) 기법을 사용하여 3차원으로 복원하는 기술을 지리정보시스템(Geographic Information System) 등에서도 사용하고 있다.

종래의 파노라마 사진은 한번의 촬영으로 원하는 화면을 촬영하지 못하는 경우에 여러번으로 카메라를 회전시키면서 촬영하여 얻은 사진을 합성한 것을 의미한다. 하지만 두 개의 이미지를 정합할 때 생기는 노이즈로 인해서 자연스러운 파노라마 이미지 생성을 어렵게 한다. 즉 두 개의 접합점이 잘 들어맞지 않아서 생기는 부자연스러움과 이미지 정보 손실 등 파노라마 기능이 가지고 있는 다양한 장점을 살리지 못하고 있다.

여러 장의 사진을 이용하여 하나의 파노라마 이미지로 이미지를 정합하는 것은 간단하지 않으며, 자연스러운 파노라마 이미지가 연결 부분에서 손실되어 파노 라마 이미지의 장점을 살리지 못하는 문제점이 발생된다.

또한, 선행 이미지 잔상과의 이어지는 이미지를 비교하기 매우 힘들며, 정합부분의 이미지 손실로 인한 정보가치가 손실될 수 있으며, 정교한 파노라마 이미지 생성이 불가능하며, 사용자가 임의로 설정하여 생성하기 때문에 많은 오류가 생길 수 있는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 케이민즈 클러스터링(K-means clustering) 기법을 이용하여 여러 장으로 이루어진 파노라마 사진을 합성하여 좀더 자연스러운 파노라마 이미지를 생성하는 파노라마 이미지 생성 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 연속된 두 개의 이미지 부분에서 겹쳐지는 두 모서리 부분의 색상에 대한 패턴인식을 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 일치되는 각도와 배경을 신속하고 자연스럽게 연장하여 파노라마 이미지를 얻을 수 있으며, 이러한 케이민즈 클러스터링(K-means clustering) 기법을 적용한 DSP를 카메라가 부착된 이동통신 단말기나 디지털 카메라, 캠코더, 카메라가 장착된 PDA 단말기나 위성 지상파 수신단말기 등에 장착하여 파노라마 이미지를 합성할 수 있는 파노라마 이미지 생성 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 파노라마 이미지 생성 장치는, 이미지를 촬영하는 카메라와, 상기 카메라에서 촬영된 상기 이미지를 수신하여 여러 장의 이미지를 케이민즈 클러스터링 기법을 적용하여 파노라마 이미지를 합성하는 DSP부와, 카메라와 상기 DSP부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 한다.

또한, 본 발명의 파노라마 이미지 생성 방법은 파노라마 이미지를 생성할 첫번째 이미지를 선택하여, 상기 이미지의 색상정보와 모양정보를 수군데의 모서리를 선택하여, 색상정보, 선택한 부분의 모양 등을 추출하여 평균값, 분산값 등을 구하여 데이터로 저장하는 1단계와, 데이터를 가지고 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터 등으로 분류하여 저장하는 2단계와, 1단계와 2단계를 두번째 이미지에 적용하여 데이터를 계산하는 3단계와, 케이민즈 클러스터링 기법을 적용하여 구하여진 데이터를 이용하여 서로간의 거리를 계산하고, 설정한 오차 범위 이내인지를 판단하는 4단계와, 오차범위 이내인 경우 화면으로 사용자에게 알려주고 상기 첫번째 이미지와 두번째 이미지의 유사한 부분을 합성하여 파노라마 이미지를 생성하는 5단계를 포함하는 것을 특징으로 한다.

또한, 4단계에서 상기 오차범위를 넘는 경우 사용자에게 화면으로 알려주며, 상기 사용자가 합성을 선택하는 경우 상기 첫번째 이미지와 두번째 이미지의 모서리 부분을 합쳐서 파노라마 이미지를 생성하는 6단계를 포함하는 것을 특징으로 한다.

또한, 5단계에서, 파노라마 이미지를 생성하고 추가할 이미지가 더 있는 경우 상기 파노라마 이미지를 상기 첫번째 이미지로 설정하는 7단계와, 추가할 상기 이미지에 대한 데이터를 상기 1, 2단계와 같은 방식으로 계산하는 8단계와, 케이민즈 클러스터링 기법을 적용하여 생성된 상기 파노라마 이미지와 추가할 이미지 사이의 거리를 계산하고 오차범위 이내인 경우 합성하여 새로운 파노라마 이미지를 생성하는 9단계를 포함하는 것을 특징으로 한다.

또한, 본 발명은 파노라마 이미지로 합성할 여러 장의 이미지에서 하나의 이미지의 모서리 부분의 수군데를 선택하여 상기 이미지의 색상정보와 모양정보를 계산하고 평균값, 분산값 등을 구하여 데이터로 저장하는 10단계와, 데이터를 가지고 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터 등으로 분류하여 저장하는 11단계와, 나머지 상기 이미지에 대하여 상기 1, 2단계를 적용하여 데이터를 계산하고, 모서리 부분이 유사한 이미지를 케이민즈 클러스터링 기법을 적용하여 유사한 오차범위를 가지는 이미지끼리 분류하는 12단계와, 유사한 오차 범위가 적은 순서대로 합성하여 파노라마 이미지를 생성하는 13단계를 포함하는 것을 특징으로 한다.

이하, 본 발명의 실시 예를 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 카메라 모듈을 장착한 이동통신 단말기의 개략적인 구성도이고, 도 2는 본 발명의 파노라마 이미지 생성 장치의 구성도이고, 도 3은 본 발명의 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 특징을 추출하는 개념도이고, 도 4는 본 발명의 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 파노라마 이미지를 생성하는 동작 순서도이다.

도 1의 CDMA 이동통신 단말기에는 안테나(50), RF부(52), 제어기(54), 메모 리(56), 카메라 모듈(58), 화면부(60), 코덱과 마이크 스피커(62)를 도시하고 있다.

안테나(50)는 이동통신 단말기의 이동통신 시스템으로 신호를 송신하고 수신 처리하며, RF부(52)는 안테나(50)로부터 송신되고 수신되는 신호를 분리하고 증폭하고, 주파수 변환 등을 처리한다.

제어기(54)는 송수신되는 신호의 전달을 위한 변조와 복조를 처리하고, 아날로그 디지털 변환기나 디지털 아날로그 변환기, 전압 제어분배, 프로토콜 처리 등의 이동통신 단말기의 전체 동작을 제어한다.

카메라 모듈(58)은 렌즈(lens), 플래시(flash)와 본 발명의 클러스터링(K-means clustering) 기법을 적용한 DSP부가 구비되어 사용자가 이동통신 단말기로 정지 영상이나 동영상, 파노라마 영상을 촬영할 수 있다.

코덱(codec)은 음악의 출력이나 통화시 음성을 송수신하고 출력하는 마이크, 스피커(62)와 연결되어 송수신되는 통화 음성과 MP3 파일을 코드/디코드하여 재생시키며, 메모리(56)는 메인 프로그램을 기록 저장하는 플래시(flash) 메모리와 콜프로세싱 데이터, 타이머 데이터를 기지국으로부터 수신하여 저장 제공하는 SRAM과 메일, 전화번호, 사용자의 단말기 번호정보를 저장 제공하는 EEPROM 등으로 구비된다.

RF부(52)는 송수신되는 주파수를 분리하여 안테나(50)로 송신하고 수신하는 듀플렉서와 이동통신 단말기의 송신신호를 증폭하여 출력시키는 파워앰프와 이동통신 단말기의 수신 신호를 증폭시키는 로우노이즈앰프와, 파워앰프와 로우노이즈 앰 프를 경유하여 송수신되는 고주파수를 처리 가능한 주파수로 조정한다.

본 발명에서 제어기(54)는 카메라 모듈(58)을 이용하여 파노라마 이미지를 생성하도록 이동통신 단말기를 제어한다.

또한, 본 발명은 이동통신 단말기뿐만 아니라, 디지털 카메라, 캠코더, 카메라가 장착된 PDA 단말기나 위성 지상파 수신단말기 등에서도 케이민즈 클러스터링(K-means clustering) 기법을 적용한 DSP부를 구비하여, 카메라로 촬영한 여러 장의 사진으로 파노라마 영상을 만들 수 있다.

도 2는 본 발명의 파노라마 이미지 생성 장치의 개략적인 구성도로, 카메라(70), DSP부(72)와, 제어부(76)와 메모리(74)를 도시하고 있다.

렌즈와 플래시, 카메라 구동부 등이 구비되어 파노라마 사진을 촬영하는 카메라(70)와, 카메라(70)에서 촬영한 이미지 정보를 수신하여 영상 정정 등의 이미지 프로세싱하고, 케이민즈 클러스터링(K-means clustering) 기법으로 파노라마 이미지를 생성하는 DSP부(72)와 사진의 촬영과 저장과 파노라마 이미지의 생성을 제어하는 제어부(76)와, 저장하는 메모리(74)로 구비된다.

본 발명은 파노라마 이미지 촬영 메뉴를 제공하여 큰 배경을 여러 장으로 촬영한 경우 하나의 큰 파노라마 이미지로 생성할 수 있도록 하며, 이미지의 손실 없이 우수한 파노라마 이미지를 생성한다.

도 3에는 겹쳐진 두 장의 파노라마 사진을 합성하기 위하여, 사진간의 유사성을 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 판단하는 개념을 도시한 예이다.

도 3에는 첫번째 사진(78)의 모서리 부근 4군데를 지정하여 해당 지점의 색상정보, 선택한 부분의 모양, 색깔 등을 추출하여 데이터로 저장한다. 추출된 데이터를 가지고 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터 등으로 분류하여 저장한다.

첫번째 사진에는 4군데를 지정하여 색상정보와 모양정보를 등을 클러스터링(K-means clustering) 기법을 적용하여 계산 저장한다.

이어지는 다음 사진(80)에도 상술한 방식으로 모서리 부근 4군데를 지정하여 해당 지점의 색상정보, 선택한 부분의 모양, 색깔 등을 추출하여 평균값, 분산값 등의 데이터로 저장한다. 추출된 데이터를 가지고 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터 등으로 분류하여 저장한다.

파노라마 이미지로 합성할 사진에 대한 모서리 4군데의 색상정보 데이터를 클러스터링(K-means clustering) 기법을 이용하여 비교하고, 결과치가 설정한 오차범위 이내를 나타내면 두 사진을 합성하여 하나의 파노라마 이미지를 생성한다.

사진이 여러 장 있는 경우 모든 사진에 대한 상술한 방식으로 해당 부분의 색상과 모양과 질감정보 등을 저장한다.

도 3에는 두장의 이미지(78,80)의 겹치는 부분에서 4군데를 선택하였으나, 이미지의 가자장리 여러 군데를 지정 선택하여 데이터를 구하여 합성하는 것도 가능하다.

또한, 예를 들어 가장자리 부분이 겹치지 않는 사진을 5장을 합성하는 경우 상술한 바와 같이, 이미지의 상하좌우 모서리 4군데 부분에 대한 색상, 모양정보를 계산하면, 5장의 사진이므로 최대 5종류의 해당 사진의 모서리 부분의 데이터가 얻어진다.

얻어진 데이터를 이용하여 서로간의 거리를 계산하여 오차범위 이내의 결과를 내는 사진끼리 합성을 하도록 하여 파노라마 이미지를 구한다. 클러스터링(clustering)이란 데이터의 특성이 유사한 것을 분류하여 모아 놓은 것이다.

도 4는 본 발명의 케이민즈 클러스터링(K-means clustering) 기법을 적용하여 파노라마 이미지를 생성하는 동작 순서도이다.

본 발명은 클러스터링(K-means clustering) 기법을 적용한 DSP부가 구비된 이동통신 단말기, 디지털 카메라, PDA, 캠코더, 위성 지상파 수신단말기 등에도 적용할 수 있다.

먼저, 파노라마 이미지를 생성할 첫번째 이미지를 선택하여, 이미지의 색상정보와 모양정보를 구할 4군데의 모서리를 선택하여, 색상정보, 선택한 부분의 모양, 색깔 등을 추출하여 평균값, 분산값 등을 구하여 데이터로 저장한다.

추출된 데이터를 가지고 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터 등으로 분류하여 저장한다(S82~S88).

다음으로, 두번째 이미지에 대하여 상술한 단계인 S70~S76를 처리하여 데이터를 계산한다(S90).

위와 같은 방식으로 얻어진 데이터를 이용하여 클러스터링(K-means clustering) 기법을 적용하여 서로간의 거리를 계산하고, 설정한 오차 범위 이내인지를 판단한다(S92~S94).

서로간의 거리는 위의 식에서 계산하는 것으로, 거리가 가까워서 에러범위 이내인 경우에 해당 이미지를 서로 연결시킨다.

두개의 이미지의 4군데 모서리 부분에서 계산하여 얻은 데이터를 이용하여 거리를 계산한 결과 오차 이내인 경우에는 해당 이미지는 연속적인 이미지로 판단하고, 사용자에게 화면으로 보여주며, 두 이미지에 대한 적정한 접합점을 선택하여 파노라마 이미지를 합성한다(S96).

한편, 파노라마 이미지로 합성할 사진이 여러 장인 경우 상술한 단계에서 얻은 두 이미지를 합성한 파노라마 이미지를 첫번째 이미지로 하고, 이어지는 이미지에 대하여도 상술한 단계인 S82~S88을 반복 처리하여 데이터를 계산하고, 다시 거리를 계산하고, 오차범위 이내를 나타내는 경우에는 연속적인 이미지로 판단하여 다시 합성을 한다.

오차범위를 넘어서는 경우에는 사용자에게 알려주고 해당 이미지는 합성하지 않는 것으로 하지만, 사용자가 합성할 것으로 선택하는 경우에는 해당 이미지들을 합성하여 파노라마 이미지를 생성한다.

상술한 바와 같이, 본 발명은 클러스터링(K-means clustering) 기법을 이용한 DSP를 이용하여, 이동통신 단말기, 디지털 카메라, 캠코더, PDA, 위성 지상파 수신단말기에서 촬영한 여러 장의 파노라마 사진을 하나로 합성하여 얻을 수 있다.

본 발명은 이미지에 대한 패턴을 인식할 수 있는 알고리즘과 DSP(Digital Signal Processing) 기술이 필요하며 저장된 이미지와 새로 생성된 이미지를 센서를 통하여 자연스런 파노라마 이미지를 만들 수 있도록 한다.

본 발명은 케이민즈 클러스터링(K-means clustering) 기법을 적용한 DSP부를 구비하여 여러 장으로 이루어진 파노라마 사진을 합성하여 자연스러운 파노라마 이미지를 생성하다.

본 발명은 연속된 두 개의 이미지 부분에서 겹쳐지는 두 모서리 부분의 색상에 대한 패턴인식을 케이민즈 클러스터링(K-means clustering) 기법을 적용하므로, 일치되는 각도와 배경을 신속하고 자연스럽게 연장하여 파노라마 이미지를 얻을 수 있다.

지금까지 본 발명의 구성 및 동작에 대해 상세하게 설명하였다. 본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 다양한 변형을 가할 수 있다.

상술한 본 발명은 이동통신 단말기, 카메라, 캠코더, 카메라가 장착된 PDA 단말기나 위성 지상파 수신단말기에도 적용할 수 있다.

상술한 바와 같이, 본 발명은 다른 보조 장치를 부착하지 않고도 자연스러운 파노라마 이미지를 생성하며, 신속한 시간 내에 연속되는 이미지의 각도와 위치를 파악할 수 있으며, 이미지의 손실을 최소화할 수 있는 효과가 있다.

Claims (6)

1. 삭제
2. 파노라마 이미지를 생성할 첫번째 이미지를 선택하여, 상기 이미지의 모서리 부분 4군데를 지정하여 해당 지점의 색상정보와 모양정보를 추출하여 평균값, 분산값을 구하여 데이터로 저장하는 1단계와;

   상기 데이터를 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터로 분류하여 저장하는 2단계와;

   상기 1단계와 2단계를 두번째 이미지에 적용하는 3단계와;

   상기 첫번째 이미지와 두번째 이미지 데이터를 케이민즈 클러스터링 기법을 적용하여 비교하고, 서로간의 거리가 설정한 오차 범위 이내인지를 판단하는 4단계와;

   상기 판단결과 오차범위 이내인 경우 화면으로 사용자에게 알려주고 상기 첫번째 이미지와 두번째 이미지를 합성하여 파노라마 이미지를 생성하는 5단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
3. 제 2항에 있어서,

   상기 4단계에서 상기 오차범위를 넘는 경우 사용자에게 화면으로 알려주며, 상기 사용자가 합성을 선택하는 경우 상기 첫번째 이미지와 두번째 이미지를 합성하여 파노라마 이미지를 생성하는 6단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
4. 제 2항에 있어서,

   상기 5단계에서 생성된 파노라마 이미지에 추가할 이미지가 더 있는 경우 상기 생성된 파노라마 이미지를 첫번째 이미지로 다시 설정하는 7단계와;

   상기 1단계와 2단계를 상기 생성된 파노라마 이미지 및 상기 추가할 이미지에 적용하는 8단계와;

   상기 생성된 파노라마 이미지와 상기 추가할 이미지 데이터를 케이민즈 클러스터링 기법을 적용하여 비교하고, 서로간의 거리가 설정한 오차범위 이내인 경우 합성하여 새로운 파노라마 이미지를 생성하는 9단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
5. 파노라마 이미지로 합성할 복수의 이미지 중에서 하나의 이미지의 모서리 부분 4군데를 선택하여 상기 이미지의 색상정보와 모양정보를 계산하고 평균값, 분산 값을 구하여 데이터로 저장하는 10단계와;

   상기 데이터를 질감(texture), 그레이 레벨(grey level), 칼라(color) 데이터로 분류하여 저장하는 11단계와;

   나머지 상기 이미지에 대하여 상기 10단계 및 상기 11단계를 적용하여 데이터를 계산하고, 이미지를 케이민즈 클러스터링 기법으로 비교하여, 설정한 오차범위를 가지는 이미지끼리 분류하는 12단계와;

   상기 설정한 오차 범위가 적은 순서대로 이미지를 합성하여 파노라마 이미지를 생성하는 13단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
6. 제2항 내지 제5항 중 어느 한 항에 있어서,

   상기 파노라마 이미지는 케이민즈 클러스터링 기법을 적용한 DSP가 구비된 이동통신 단말기, 카메라, 캠코더, 카메라가 장착된 PDA 단말기 및 위성 지상파 수신단말기 중 어느 하나에서 합성되는 것을 특징으로 하는 파노라마 이미지 생성 방법.

Images