KR20100095382A

KR20100095382A - 화상형성장치 및 이미지 모자이크 생성 방법

Info

Publication number: KR20100095382A
Application number: KR1020100014685A
Authority: KR
Inventors: 예카테리나 브이. 톨스타야
Original assignee: 삼성전자주식회사
Priority date: 2009-02-20
Filing date: 2010-02-18
Publication date: 2010-08-30
Also published as: RU2009105834A; EP2221764B1; ATE534097T1; RU2421814C2; KR101627194B1; US20100246976A1; US8831382B2; EP2221764A1

Abstract

화상형성장치가 개시된다. 화상형성장치는, 복수 개의 이미지를 입력받는 입력부, 입력된 이미지를 판독하여 스캐닝된 화상을 생성하는 화상 판독부 및, 스캐닝된 화상을 분석하여 특징점을 추출하고, 복수 개의 이미지를 페어 단위(pair-wise)로 그룹핑하여 특징점을 매칭시키고, 매칭 결과에 기초하여 하나의 최종 이미지를 생성하는 제어부를 포함한다. 이에 따라 효율적인 블렌딩(blending)을 제공하고, 이미지의 등록 및 블렌딩에 있어서 속도를 개선할 수 있게 된다.

Description

화상형성장치 및 이미지 모자이크 생성 방법{Image forming apparatus and method for creating image mosaics thereof }

본 발명은 화상형성장치 및 이미지 모자이크 생성 방법에 관한 것으로서, 보다 구체적으로는, 회전/변환(rotation/translation) 파라미터를 이용하여 이미지 모자이크를 생성하는 화상형성장치 및 이미지 모자이크 생성 방법에 관한 것이다.

일반적으로, 모자이크 이미지는 이미지 모자이크를 생성하기 위해 수 개의 오버랩되는 이미지 프레임을 스티칭(stitching)시키는 방식으로 적어도 하나 이상의 차원을 확장된 이미지를 말한다. 그 결과, 모자이크 이미지는 일반적으로 종래의 이미지 캡쳐 장치(스캐너 또는 MPF)가 하나의 이미지 프레임에서 캡쳐할 수 있는 사이즈보다 크다.

많은 종래의 기술들은 상기의 모자이크 이미지를 생성하는 것으로 발전해 왔다. 초기 스티칭 방식은 일반적으로 이미지간의 겹침을 인식하기 위하여 사용자의 입력을 필요로 했다. 그러나, 최근의 스티칭 방식은 랜덤 이차원 공간을 임의의 순서로 주어진 이미지들을 커버하는 자동화된 이미지 정렬 방식을 제공한다. 혹은 당업자에게 잘 알려진 방식으로서, 평판 캡쳐 장치를 통해 얻어진 이미지 집합을 수집하고 오버랩 영역의 정렬, 합성, 블렌딩 등의 포스트프로세싱 작업을 수행하여 모자이크 이미지를 생성한 후, 선택적으로 사각의 영역 또는 프레임으로 절단하여 최종 이미지 모자이크를 생성하는 방식이 존재한다.

특징점에 기반을 둔, 많은 이미지 정렬 방법이 문헌에 제안되어 왔다. 그 중, 패치 강도(intensity patches) 간의 상관관계에 기반을 둔 방법이 존재한다. 이러한 방법들은 입력 이미지들의 크기 및 회전에 대해 불변하지 않는다. 더욱이 다양한 형태의 불변량(이미지 패치 특징), 예를 들어 Hu's and Flusser 불변량 등을 이용하는 방법이 제안되었다.

하지만, 불변량 특징에 기반을 둔 가장 신뢰할 만한 방법은 Lowe's method로, Scale Invariant Feature Transform[1]([Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision 2: 1150-1157])에 기반을 둔다. 이러한 변환들은 기하학적으로 닮음 변환 및 강도의 아핀(affine) 변화에 대해 불변하다.

미국특허 6097418에 개시된 발명은 복수의 이미지 소스를 이용하여, 형성된 이미지에서 아티팩트(artifact)를 제거한다. 이미지의 가시적인 접합선(seam)은 각각의 이미지 소스에서 생성된 스캔 라인간의 스티칭 포인트를 랜덤화하면서 제거된다. 랜덤화는 부가적으로 스티칭 포인트를 스캔 라인의 데이터 정보, 인접 스캔 라인, 및 다른 기준들에 의해 재편하는(relocating) 방식을 적용하여 최적화가 가능하다.

본 발명은 열에 의한 에러, 스피너 동기화에 의한 에러, 기계적 부정합, 및 복수개의 화상 장치의 사용에서 기인하는 다른 요소들에 의한 인-스캔(in-scan) 및 크로스-스캔(cross-scan)의 에러를 보정한다. 한 쌍의 삼각 개구(opening)를 가진 마스크로 구성되는 광검출 시스템은 인-스캔 및 크로스-스캔 에러의 측정을 가능하게 한다.

미국 특허 7271822는 프린터 안에서 수개의 이미지를 스티칭하여 하나의 접합선이 없는 합성의 이미지로 형성시키는 방법 및 장치에 대해서 설명한다. 하나 이상의 스캐너 어셈블리 및 다양한 이미지 스티칭 방법을 가지는 수개의 레이저 소스 및 수개의 스캔 렌즈의 사용으로 하나의 레이저 소스 및 하나의 스캔 렌즈를 이용하는 종래의 프린터를 넘는 이익을 제공하는 방식으로, 접합선이 없는 이미지 스티칭을 달성하게 된다. 상기의 이익은 예를 들면, 넓은 이미지 포맷, 작은 광학적 점 크기, 절감된 비용, 및 축소된 전체적 프린터의 크기 등을 포함한다.

미국 특허 7006111에서는, 제1 해상도 레벨에서 적어도 두 개의 디지털 이미지가 어디에서 오버랩되는지를 식별하도록 제안된다. 적어도 두 개의 디지털 이미지가 오버랩된 영역은 제1 해상도 레벨보다 높은 제2 해상도 레벨에서 오버랩 영역이 어디에서 오버랩되는지 식별한다. 오버랩된 영역이 제2 단계 해상도 레벨에서 겹쳐지는 부분이 식별된다.

러시아 특허 2008114642에서는, 큰 크기의 포스터를 전체 스캔하기 위하여, 부분적으로 스캔된 포스터를 자동으로 스티칭하는 방법이 제안되어있다.

새로운 방법은, 소스 이미지의 성질을 고려한 검증 절차를 사용하고, 발견된 특징의 개수에 따라 아웃라이어(outliers) 제거한다. 상기 방법은 적응적인 블렌딩 절차를 사용한다.

러시아 특허 2008139434에서는, 배경 파노라마(landscope panaroma)의 전체 모습을 얻기 위하여, 부분적으로 등록된 파노라마들을 자동적으로 스티칭하는 방법이 제안되어있다.

새로운 방법은, 사각 격자 상의 시작 포인트의 위치를 고려한 검증 절차를 사용한다. 이는 사영의 왜곡(projective distortions)이 존재하는 경우에, 시각적으로 더욱 매력적인 결과를 얻는 방법을 가능하게 한다.

미국 특허 6754379, 미국 특허 6359617(양자는 Apple Computer), [4](Y. Xiong and K. Turkowski. "Registration, Calibration, and Blending in Creating High Quality Panoramas". 4th IEEE Workshop on Applications of Computer Vision. October, 1998.)에서는, 사영의 등록 및 캘리브레이션(calibration)을 통하여 직선의 이미지를 3차원에서 정렬하는 방법이 개시되어있다. 첫번째로, 기울기(gradient)에 기반을 둔 최적화 및 상관관계에 기반을 둔 선형 탐색을 사용하여 이미지들이 사영 등록된다. 두 번째 단계에서는 모든 이미지의 내부 및 외부의 파라미터들이 포괄적인 최적화를 사용하여 캘리브레이트된다. 이것은 모든 오버랩 영역의 전체적 이미지 차이를 최소화한다. 세번째 단계에서는 이미지들이 grassfire변환으로 발생된 블렌딩 마스크를 이용하는 라플라시안-피라미드에 기반을 둔 방법을 사용하여 블렌딩된다. 이는 이미지간의 부드러운 전환(transition)을 제공하고, 시차(parallax) 또는 불완전한 페어-와이즈(pair-wise) 등록으로부터 기인하는 오정렬(misalignment)된 작은 잔여물들을 제거한다.

상술한 봐아 같이 다양한 이미지 모자이크를 구성하기 위한 다양한 소프트웨어 프로그램들이 제안되었음에도 불구하고, 이러한 소프트웨어제품들에 의해 극복되지 않은 문제점들이 존재한다. 이러한 문제점들은 이미지 모자이크를 생성하기 위한 부적절한 블렌딩(blending) 및 이미지의 등록 및 블렌딩에 있어서 느린 속도 등을 포함한다.

본 발명은 상술한 문제점을 해결하기 위한 것으로 본 발명의 목적은 회전/변환(rotation/translation) 파라미터를 이용하여 이미지 모자이크를 생성하는 화상형성장치 및 이미지 모자이크 생성 방법을 제공함에 있다.

본 발명의 일 실시 예에 따른 이미지 모자이크 생성 방법은 입력 이미지를 분석하여 매칭 포인트 디스크립터(descriptor)를 추출하는 단계, 페어 단위(pair-wise)로 디스크립터를 매칭하는 단계, 최종 이미지로 디스크립터를 매칭하고, 회전/변환(rotation/translation) 파라미터를 복원하는 단계 및 상기 복원된 회전/변환 파라미터를 이용하여 하나씩 차례로 이미지 블렌딩을 실시하는 단계를 포함한다.

또한, 계산 속도를 향상시키기 위해 저 해상도 이미지 카피를 생성하는 단계를 더 포함할 수 있다.

또한, 상기 매칭 포인트 디스크립터는 스케일 및 회전에 대해 불변할 수 있다.

또한, 상기 페어 단위(pair-wise) 디스크립터를 매칭하는 단계는 적어도 하나의 이미지 쌍에 대해 매칭된 포인트의 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성할 수 있다.

또한, 최종 이미지에 관련된 적어도 하나의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 포인트 디스크립터를 최종 이미지 프레임으로 매칭시키는 단계를 더 포함할 수 있다.

또한, 최종 이미지 생성을 위하여 블렌딩 마스크를 생성하여 처리할 수 있다.

또한, 적어도 두 개의 이미지에 대한 오버랩 영역을 통하여 경계를 도출하는 단계를 더 포함하며, 상기 도출된 경계는 오버랩 영역 내부의 픽셀 차이의 최소 비용 경로를 구성할 수 있다.

여기서, 상기 기설정된 이미지 순서는 쌍 단위(pair-wise) 매칭 결과를 갖는 테이블을 이용하여 복원될 수 있다.

또한, 본 발명의 일 실시 예에 따른 화상형성장치는, 복수 개의 이미지를 입력받는 입력부, 상기 입력된 이미지를 판독하여 스캐닝된 화상을 생성하는 화상 판독부 및, 상기 스캐닝된 화상을 분석하여 특징점을 추출하고, 상기 복수 개의 이미지를 페어 단위(pair-wise)로 그룹핑하여 상기 특징점을 매칭시키고, 상기 매칭 결과에 기초하여 하나의 최종 이미지를 생성하는 제어부를 포함한다.

또한, 상기 제어부는, 상기 추출된 특징점에 대한 디스크립터를 산출하고, 상기 복수 개의 이미지에 대하여 상기 디스크립터를 매칭시킬 수 있다.

또한, 상기 제어부는, 상기 디스크립터의 매칭 결과에 기초하여 회전/변환(rotation/translation) 파라미터를 복원하고, 복원된 파라미터를 이용하여 상기 하나의 최종 이미지를 생성할 수 있다.

또한, 상기 디스크립터는 스케일 및 회전에 대해 불변하는 특징을 갖을 수 있다.

또한, 상기 제어부는, 적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성할 수 있다.

또한, 상기 제어부는, 상기 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 디스크립터를 상기 적어도 하나의 최종 이미지 프레임으로 매칭시킬 수 있다.

여기서, 상기 기설정된 이미지 순서는 페어 단위 매칭 결과를 갖는 테이블을 이용하여 복원될 수 있다.

한편, 본 발명의 일 실시 예에 따른 이미지 모자이크 생성 방법은, 복수 개의 이미지를 입력받는 단계, 상기 입력된 이미지를 각각 판독하여 스캐닝된 화상을 생성하는 단계, 상기 스캐닝된 화상을 분석하여 특징점을 추출하는 단계, 상기 복수 개의 이미지를 페어 단위(pair-wise)로 그룹화하여 상기 특징점을 매칭시키는 단계 및 상기 매칭 결과에 기초하여 하나의 최종 이미지를 생성하는 단계를 포함한다.

또한, 상기 추출된 특징점에 대한 디스크립터를 산출하는 단계를 더 포함하며, 상기 특징점을 매칭하는 단계는, 상기 특징점에 대한 디스크립터를 매칭할 수 있다.

또한, 상기 디스크립터의 매칭 결과에 따라 회전/변환(rotation/translation) 파라미터를 복원하는 단계를 더 포함하며, 상기 최종 이미지를 생성하는 단계는, 상기 복원된 파라미터를 이용하여 상기 하나의 최종 이미지를 생성할 수 있다.

또한, 상기 적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성하는 단계를 더 포함할 수 있다.

또한, 상기 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 디스크립터를 하나의 최종 이미지 프레임으로 매칭시키는 단계를 더 포함할 수 있다.

이에 따라 이러한 이미지 모자이크를 생성하기 위한 부적절한 블렌딩(blending)을 향상시키고, 이미지의 등록 및 블렌딩에 있어서 속도를 개선할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 모자이크 이미지(스티칭 이미지)를 생성 방법을 설명하기 위한 흐름도이다.
도 3은 도 2에 도시된 디스크립터가 최종 이미지로 매칭되는 구성을 자세히 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 블렌딩될 다음 이미지의 반복적 선택 과정을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 이미지들이 기준 이미지에 블렌딩되는 구성을 자세히 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 화상형성장치의 구성을 나타내는 블럭도이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 모자이크 생성 방법을 설명하기 위한 흐름도이다.

이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 시스템의 구성을 나타내는 블록도이다.

도 1에 따르면 본 시스템은 처리부(110), 입력부(120), 저장부(130), 출력부(140), 표시부(150), 및 데이터 버스(160)를 포함한다.

도 1에 도시된 시스템(100)에서 저장부(130)에 저장된 프로그램 코드를 실행하는 처리부(processor)(110)에 의해 제어된다. 저장부(130)에는 소스 그레이 스케일 또는 컬러 사진이 저장된다. 이미지는 처리부(110)에 의해 프로세싱되어 표시부(104)로 전송된다. 또한, 정보 교환은 데이터버스(106)를 통하여 수행된다.

도 2는 본 발명의 일 실시 예에 따른 모자이크 이미지(스티칭 이미지)를 생성 방법을 설명하기 위한 흐름도이다.

구체적으로, 도 2는 부분적으로 오버랩된 이미지의 집합으로부터 모자이크 이미지(스티칭 이미지)를 생성하는 과정에 대해 도시한다. 도 2에 도시된 방법은 컬러 및 그레이스케일의 이미지에 대하여 적용이 가능하다.

도 2에 도시된 모자이크 이미지 생성 방법에 따르면, S201 단계에서는, 이미지가 분석되고, 미리 결정된 사이즈로 리샘플링(resampling)이 수행되고, 특징점(매칭포인트)이 도출된다.

또한, 모든 매칭포인트에 대하여 디스크립터(descriptor)가 계산된다. 이는 문헌에 기재된 다양한 방법에 의해 수행 가능하다. 예를 들어, Scale-Invariant Feature Transform (SIFT) [1]([Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision 2: 1150?1157].)을 이용한다.

이 후, S202 단계에서는, 입력 집합으로부터의 모든 이미지 쌍에 대해서 특징점이 매칭된다. 이어서, 정확하게 매칭된 복수의 포인트들이 테이블에 저장된다.

또한, S203 단계에서는, 모든 이미지의 특징점들이 최종이미지에 매칭되어(이 단계에 대한 상세한 설명은 후술한다.), 결과적으로 이미지 변환의 아핀모델(rotation/translation parameters)이 메모리에 저장될 수 있다.

이 후, 이미지는 하나씩 최종 이미지로 블렌딩된다(이 단계에 대한 상세한 설명은 후술한다.).

한편, S202 단계에서, 특징점이 입력 집합으로부터의 모든 이미지 쌍에 대해서 매칭된다. 여기서, 두 매칭 쌍의 원근 정도의 측정은 대응되는 디스크립터의 요소들의 차이 값의 제곱의 총합으로 결정한다.

모든 가능한 디스크립터 쌍에 대한 차이로 구분된 정방 행렬이 형성된다. 도한, 모든 라인에 대해서 최소값이 검출되어 표시된다.

또한, 모든 열(column)에 대해서, 최소값이 검출되어 표시된다. 표시된 부분이 만나는 쌍을 매칭쌍으로 추정한다. 이 후, 쌍들간의 회전/전환 파라미터가 복구되고, 아웃라이어들은 RANdom Sample Consensus(RANSAC)method의 적용에 의해 제거된다.

한편, RANSAC은 아웃라이어을 포함한 관측된 데이터 집합으로부터 수학적 모델의 파라미터를 예측하는 알고리즘이다. RANSAC은 반복적으로 원본 데이터 포인트의 랜덤한 부분집합을 선택한다.

RANSAC 모델은 소위 "예상된" 데이터를 생산하기 위해, 인라이어(inliers)인 상기의 포인트들에 맞추어 본다. 그리고 상기 "예상된" 데이터를 "측정된" 데이터와 비교한다.

여기서, 포인트가 잘 들어맞는다면, 그 포인트는 가상의 인라이어로 고려한다. 예측 모델과 비교하여 충분히 많은 포인트들이 가상의 인라이어로 분류되면, 모델의 품질은 적절한 양질이다. 이러한 절차는 고정 횟수만큼 반복되고, 매 절차마다 적은 수의 포인트들이 인라이어로 분류되어 거절된 모델 또는 대응되는 에러측정으로 보정된(refined) 모델 중 하나를 생산한다. 이 후, 가장 최근에 저장된 모델에 비해 에러가 적은 모델을 보정된 모델이라 한다.

도 3은 도 2에 도시된 디스크립터가 최종 이미지로 매칭되는 구성을 자세히 설명하기 위한 흐름도이다.

도 3에 따르면, S301 단계에서 첫번째(기준) 이미지가 선택된다(여기서, 선택에 대한 상세한 설명은 후술한다.). 이 후 다음의 절차가, 더 이상 처리되지 않은 이미지가 없을 때까지 수행된다.

이어서, 블렌딩될 다음 이미지가 선택된다(S302 단계).

또한, S303 단계에서는, 최종 이미지 상에서 다음 이미지의 대략적인 위치에 대한 바운딩 박스(bounding box)를 계산한다. 그리고, 매칭의 정확도를 높이기 위하여, 계산된 바운딩 박스의 범위 내에 속하는 매칭된 포인트만이 선택된다.

S304 단계에서는, 다음 이미지의 회전/변환(rotation/translation) 파라미터를 최종 이미지와 비교하여 계산하기 위하여 RANSAC 방법이 사용된다.

S305 단계에서는, 회전/변환 파라미터가 메모리에 저장된다. 여기서, 최종 이미지의 크기는 최종 이미지의 bounding box와 동일하게 수정되고, 단순하게 이미지에 매칭된다.

만일 더 이상의 처리되지 않은 이미지가 남아있지 않다면(S306 단계), 방법은 종료된다.

도 4는 본 발명의 일 실시 예에 따른 블렌딩될 다음 이미지의 반복적 선택 과정을 설명하기 위한 도면이다.

주어진 실시 예에서, 입력 이미지의 개수는 7이다.

7x7 테이블은 이미지 페어-와이즈 비교 과정 중 형성된다(테이블 1). 여기서, 테이블은 대칭이고, 숫자는 이미지 간의 매칭 포인트의 개수를 나타낸다.

첫 번째 열 및 첫 번째 행은 이미지 입력 인덱스(index)를 포함한다.

첫 번째(기준)이미지는 상기 테이블 열의 숫자의 합을 구한 후, 최댓값을 가지는 열을 선택하는 방식으로 선택된다(S301 단계). 이러한 이미지는 원상 그대로 상기 최종 이미지에 복사된다.

그리고 다음 이미지가 선택된다(S303 단계). 이러한 연유로, 테이블은 블렌딩 된/블렌딩 되지 않은 이미지 매칭 포인트 수로 구성된다(테이블 2,3,4,5,6,7 참고).

여기서, 테이블의 첫 번째 열은 블렌딩되지 않은 이미지의 입력 인덱스을 포함한다. 또한, 테이블의 첫 번째 행은 이미 블렌딩된 이미지의 입력 인덱스를 포함한다.

한편, 테이블의 최댓값이 선택되고, 다음 이미지의 인덱스가 최대 값이 발생한 행의 숫자와 같도록 설정된다. 설명을 위해 4개의 테이블이 표시되어 있으며, 이 경우 이미지 블렌딩의 순서는 6,4,2,1,5,2 이다.

도 5는 도 2에 도시된 이미지들이 기준 이미지에 블렌딩되는 구성을 자세히 설명하기 위한 흐름도이다.

우선, 기존의 계산된 이미지 크기를 이용하여 최종 이미지가 생성되고, 기준 이미지가 원상 그대로 최종이미지로 복사된다(S410 단계).

이어서, 다음 이미지가 S302 단계와 같은 방식으로 선택된다(S402 단계). 여기서, 선택된 이미지는 S305 단계에서 저장된 회전/변환 파라미터를 이용하여 와프(warp)된다(S403 단계). 그리고 오버랩 영역의 좌표가 계산된다.

또한, 오버랩 영역에 속하지 않는 픽셀은 상기의 최종 이미지로 복사된다(S404 단계). 이 후, S405 단계에서 블렌딩 마스크가 형성된다.

여기서, 블렌딩 마스크는 블랙, 그레이, 화이트의 세가지 색으로 구성된 이미지다. 블랙은 상기 최종 이미지 픽셀에 대응되고, 화이트는 다음 이미지에 대응되고, 그레이는 결정되지 않은 픽셀에 대응된다(도 6의 a 부분 참고).

오버랩 마스크의 에지 부근의 N 픽셀 영역은 오버랩 마스크의 에지에 대응되는 이미지 에지에 의해 블랙 또는 화이트를 가진다.

만일 최종 이미지의 에지가 오버랩되는 마스크의 에지와 만난다면, 색은 블랙이고, 블렌딩될 다음 이미지가 오버랩 마스크의 에지와 만난다면, 색은 화이트가 된다.

오버랩 마스크가 그레이색인 부분에서 최적의 접합선이 계산되고(S406 단계) 이는 픽셀의 차이를 따라 최소의 비용이 드는 경로이다.

도 6.패널 c는 적색으로 표시된 오버랩된 접합선의 가능한 이형들(variant)을 도시한다. 블렌딩 마스크가 업데이트된 후, 오버랩 마스크 최적의 접합선의 일면은 화이트고, 나머지는 블랙이다. 이러한 절차 후, 오버랩 마스크는 블랙과 화이트 두 가지 색만 가지게 된다(이것은, 도 6의 b부분에 표시되어 있다.)

S408 단계에서는 이미지가 종래 기술, 예를 들면 [3](http://enblend.sourceforge.net/)에 서술된 기술에 의해서 오버랩 영역 내부에서 블렌딩된다.

S409 단계에서는, 프로세싱되지 않은 이미지들이 남았는지에 대한 조건이 판별된다. 여기서, 조건이 긍정적이라면, 절차가 반복되고, 그렇지 않다면 종료된다.

도 7은 본 발명의 일 실시 예에 따른 화상형성장치의 구성을 나타내는 블럭도이다.

도 7에 따르면 화상형성장치(200)는 입력부(210), 저장부(220), 제어부(230), 화상판독부(240), 출력부(250), 통신 인터페이스부(260) 및 사용자 인터페이스부(110)를 포함한다.

화상형성장치(200)는 외부장치와 연결가능하고, 문서 데이터를 출력하는 기능을 하는 것으로, 프린터, 스캐너, 복사기, 팩시밀리와 프린터, 스캐너, 복사기, 팩시밀리 기능 중 적어도 둘 이상의 기능을 가지는 복합기 등과 같은 다양한 형태로 구현될 수 있다. 더욱 구체적으로는 스캐너의 경우 평판 스캐너, 슬라이드 스캐너 등으로 구현될 수 있다.

입력부(210)는 모자이크 이미지를 생성하기 위한 복수 개의 이미지를 입력받는 기능을 한다.

저장부(220)는 본 화상형성장치(200)의 동작에 필요한 프로그램 코드를 저장할 수 있다.

또한, 저장부(220)는 그레이 스케일 또는 컬러 사진 등을 저장할 수 있다.

또한, 저장부(220)는 통신 인터페이스부(250)에서 수신된 인쇄 잡을 임시로 저장할 수 있다.

여기서, 저장부(220)는 화상형성장치(200) 내의 저장매체 및 외부 저장매체, 예를 들어 USB 메모리를 포함한, Removable Disk, 호스트(Host)에 연결된 저장매체, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.

화상 판독부(230)는 이미지 센서를 이용하여 복수 개의 이미지를 판독하여 스캐닝된 화상을 생성하는 기능을 수행한다. 화상 판독부(230)는 구체적으로 스캔 동작을 수행하는 스캔부로 구현될 수 있다.

스캔부는 후술하는 제어부(240)의 제어에 따라 스캔동작을 수행하며, 이미지센서부(미도시), 모터부(미도시), 위치센서부(미도시), 및 스캔제어부(미도시)를 포함한다.

이미지센서부(미도시)는 이미지를 센싱하여 이미지에 대응되는 RGB화소값을 얻기 위한 CIS센서(미도시)를 포함하며, CIS센서를 통해 각 위치로부터 센싱한 RGB화소값을 후술 되는 스캔제어부(미도시)로 전송한다.

모터부(미도시)는 원고에 형성된 이미지에 대응되는 RGB화소값을 라인 단위로 센싱할 수 있도록 원고를 스캔진행방향으로 이송한다.

위치센서부(미도시)는 화상형성장치에 투입된 원고의 위치를 감지하여, 스캔제어부(미도시)에 전달한다. 스캔 제어부(미도시)는 후술되는 제어부(180)로부터 수신한 스캔명령에 따라, 스캔동작을 수행하도록 이미지센서부(미도시), 모터부(미도시), 및 위치센서부(미도시)를 제어한다. 즉, 스캔제어부(미도시)는 이미지센서부(미도시)를 통해 센싱한 RGB화소값을 조합하여, 양면 카드에 형성된 이미지에 대응되는 이미지데이터를 생성하도록 할 수 있다. 기타, 스캔 작업에 대한 설명은 생략하도록 한다.

제어부(240)는 기저장된 각종 프로그램에 따라서, 화상형성장치(200)의 각 구성요소의 동작을 제어하는 기능을 한다.

특히, 제어부(240)는 화상 판독부(230)에 의해 스캐닝된 복수 개의 화상을 처리하도록 제어하며, 처리된 이미지를 저장부(220)에 저장하거나, 출력부(250), 통신 인터페이스부(260), 사용자 인터페이스부(270)를 통해 전송할 수 있다.

구체적으로, 제어부(240)는 화상 판독부(230)에 의해 스캐닝된 복수 개의 화상을 분석하여 특징점을 추출하고, 복수 개의 화상을 페어 단위(pair-wise)로 그룹화하여 상기 특징점을 매칭시킬 수 있다. 또한, 매칭 결과에 기초하여 하나의 최종 이미지인 모자이크 이미지를 생성할 수 있다.

또한, 제어부(240)는 추출된 특징점에 대한 디스크립터를 산출하고, 상기 디스크립터를 매칭시킬 수 있다.

또한, 제어부(240)는 디스크립터의 매칭 결과에 따라 회전/변환(rotation/translation) 파라미터를 복원하고, 복원된 파라미터를 이용하여 상기 하나의 최종 이미지를 생성할 수 있다. 여기서, 디스크립터는 스케일 및 회전에 대해 불변하는 특징을 갖을 수 있다.

또한, 제어부(240)는 적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성할 수 있다.

또한, 제어부(240)는 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 디스크립터가 하나의 최종 이미지 프레임으로 매칭되도록 할 수 있다. 여기서, 기설정된 이미지 순서는 페어 단위 매칭 결과를 갖는 테이블을 이용하여 복원될 수 있다.

또한, 제어부(240)는 적어도 하나의 최종 이미지를 생성하는데 있어 블렌딩 마스크를 생성되어 처리할 수 있다.

또한, 제어부(240)는 오버랩 영역을 통하여 경계를 도출할 수 있다. 이 경우, 도출된 경계는 오버랩 영역 내부의 픽셀 차이의 최소 비용 경로를 구성할 수 있다.

출력부(250)는 제어부(240)에 의해 구축된 이미지를 출력하는 기능을 한다.

구체적으로, 출력부(250)는 제어부(240)의 제어에 따라 화상 판독부(220)에서 스캐닝된 데이터를 처리하여 데이터를 기록매체에 인쇄하여 출력하는 역할을 한다. 일 예로, 레이저 방식의 화상형성장치의 경우, OPC(미도시) 표면은 대전 유닛(미도시)에 의해 대전되고, 대전된 영역 상에는 LSU(미도시)에 의해 잠상(latent image)이 형성된다. 이러한 상태에서 현상 유닛(미도시)에 의해 현상이 이루어지면 잠상에 토너가 부착되어, 전사 유닛(미도시)에 의해 용지 측으로 전사된다. 전사된 토너는 정착 유닛(미도시)에 의해 용지에 정착된다. 하지만, 이는 일 실시 예에 불과하며, 본 화상형성장치가 잉크젯 방식에도 적용될 수 있음은 당업자에게 자명하다.

통신 인터페이스부(260)는 PC, 노트북 PC, PDA, 디지털 카메라 등의 단말장치(미도시)와 연결된다. 구체적으로, 통신 인터페이스부(260)는 화상형성장치(200)를 외부장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 단말장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트를 통하여 접속되는 형태도 가능하다. 그리고, 통신 인터페이스부(260)는 단말장치(미도시)를 통해 인쇄 잡에 대해서 입력받을 수 있으며, 해당 인쇄 잡에 대한 인쇄 동작 형태를 입력받을 수 있다.

사용자 인터페이스부(270)는 화상형성장치(200)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키들을 구비하며, 화상형성장치(200)에서 제공하는 각종 정보를 표시한다. 사용자 인터페이스부(270)는 터치 패드 등과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수도 있고, 마우스 및 모니터의 결합을 통한 장치로도 구현이 가능하다. 구체적으로 사용자는 사용자 인터페이스부(270)를 통해 이미지 모자이크를 생성하기 위한 사용자 명령을 입력할 수 있다.

한편, 화상형성장치(200)의 각 구성요소에 대한 구체적은 기능은 도 2 내지 7에 대한 설명 내용과 중복되므로 이에 대한 자세한 설명은 생략하도록 한다.

도 8은 본 발명의 일 실시 예에 따른 이미지 모자이크 생성 방법을 설명하기 위한 흐름도이다.

도 8에 도시된 이미지 모자이크 생성 방법에 따르면, 먼저 복수 개의 이미지를 입력받는다(S810).

이어서, 입력된 이미지를 각각 판독하여 스캐닝된 화상을 생성한다(S820).

또한, S820 단계에서 생성된 스캐닝된 화상을 분석하여 특징점을 추출한다(S830).

또한, 복수 개의 이미지를 페어 단위(pair-wise)로 그룹화하여 추출된 특징점을 매칭시킨다(S840).

이후, S840의 매칭 결과에 기초하여 하나의 최종 이미지를 생성한다(S850).

또한, S840 단계에서 추출된 특징점에 대한 디스크립터를 산출할 수 있으며, 상기 S840 단계에서 특징점에 대한 디스크립터를 매칭할 수 있다. 여기서, 디스크립터는 스케일 및 회전에 대해 불변하는 특징을 갖을 수 있다.

또한, 디스크립터의 매칭 결과에 따라 회전/변환(rotation/translation) 파라미터를 복원할 수 있으며,

S850 단계는, 복원된 파라미터를 이용하여 하나의 최종 이미지를 생성할 수 있다.

또한, 적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성할 수 있다.

여기서, 디스크립터는, 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 하나의 최종 이미지 프레임으로 매칭될 수 있다. 이 경우 기설정된 이미지 순서는 페어 단위 매칭 결과를 갖는 테이블을 이용하여 복원될 수 있다.

또한, 적어도 하나의 최종 이미지를 생성하는데 있어 블렌딩 마스크를 생성하여 처리할 수 있다.

또한, 적어도 하나의 최종 이미지를 생성하는데 있어 오버랩 영역을 통하여 경계를 도출하여 이용할 수 있다. 이 경우, 도출된 경계는 오버랩 영역 내부의 픽셀 차이의 최소 비용 경로를 구성할 수 있다.

한편, 이미지 모자이크 생성 방법에 대한 각 단계에 대한 구체적인 구성은 도 2 내지 7에 대한 설명 내용과 중복되므로 이에 대한 자세한 설명은 생략하도록 한다.

상술한 바와 같이 본 발명에 따르면 이러한 이미지 모자이크를 생성하기 위한 부적절한 블렌딩(blending)을 향상시키고, 이미지의 등록 및 블렌딩에 있어서 속도를 개선할 수 있게 된다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 이해되어서는 안 될 것이다.

110 : 처리부 120 : 입력부
130 : 저장부 140 : 출력부
150 : 표시부 160 : 데이타 버스
210: 입력부 220 : 저장부
230 : 화상 판독부 240 : 제어부
250 : 출력부 260 : 통신 인터페이스부
270 : 사용자 인터페이스부

Claims

이미지 모자이크 생성 방법에 있어서,
입력 이미지를 분석하여 매칭 포인트 디스크립터(descriptor)를 추출하는 단계;
페어 단위(pair-wise)로 디스크립터를 매칭하는 단계;
최종 이미지로 디스크립터를 매칭하고, 회전/변환(rotation/translation) 파라미터를 복원하는 단계; 및
상기 복원된 회전/변환 파라미터를 이용하여 하나씩 차례로 이미지 블렌딩을 실시하는 단계;를 포함하는 이미지 모자이크 생성 방법.
제1항에 있어서,
계산 속도를 향상시키기 위해 저 해상도 이미지 카피를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제1항에 있어서,
상기 매칭 포인트 디스크립터는 스케일 및 회전에 대해 불변하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제1항에 있어서,
상기 페어 단위(pair-wise) 디스크립터를 매칭하는 단계는
적어도 하나의 이미지 쌍에 대해 매칭된 포인트의 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제1항에 있어서,
최종 이미지에 관련된 적어도 하나의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 포인트 디스크립터를 최종 이미지 프레임으로 매칭시키는 단계;를 더 포함하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제1항에 있어서,
블렌딩 마스크를 생성하여 처리하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제1항에 있어서,
오버랩 영역을 통하여 경계를 도출하는 단계;를 더 포함하며,
상기 도출된 경계는 오버랩 영역 내부의 픽셀 차이의 최소 비용 경로를 구성하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제5항에 있어서,
상기 기설정된 이미지 순서는 쌍 단위(pair-wise) 매칭 결과를 갖는 테이블을 이용하여 복원되는 것을 특징으로 하는 이미지 모자이크 생성 방법.
복수 개의 이미지를 입력받는 입력부;
상기 입력된 이미지를 판독하여 스캐닝된 화상을 생성하는 화상 판독부; 및,
상기 스캐닝된 화상을 분석하여 특징점을 추출하고, 상기 복수 개의 이미지를 페어 단위(pair-wise)로 그룹핑하여 상기 특징점을 매칭시키고, 상기 매칭 결과에 기초하여 하나의 최종 이미지를 생성하는 제어부;를 포함하는 화상형성장치.
제9항에 있어서,
상기 제어부는,
상기 추출된 특징점에 대한 디스크립터를 산출하고, 상기 복수 개의 이미지에 대하여 상기 디스크립터를 매칭시키는 것을 특징으로 하는 화상형성장치.
제10항에 있어서,
상기 제어부는,
상기 디스크립터의 매칭 결과에 기초하여 회전/변환(rotation/translation) 파라미터를 복원하고, 복원된 파라미터를 이용하여 상기 하나의 최종 이미지를 생성하는 것을 특징으로 하는 화상형성장치.
제10항에 있어서,
상기 디스크립터는 스케일 및 회전에 대해 불변하는 것을 특징으로 하는 화상형성장치.
제10항에 있어서,
상기 제어부는,
적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성하는 것을 특징으로 하는 화상형성장치.
제10항에 있어서,
상기 제어부는,
상기 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 디스크립터를 상기 적어도 하나의 최종 이미지 프레임으로 매칭시키는 것을 특징으로 하는 화상형성장치.
제14항에 있어서,
상기 기설정된 이미지 순서는 페어 단위 매칭 결과를 갖는 테이블을 이용하여 복원되는 것을 특징으로 하는 화상형성장치.
복수 개의 이미지를 입력받는 단계;
상기 입력된 이미지를 각각 판독하여 스캐닝된 화상을 생성하는 단계;
상기 스캐닝된 화상을 분석하여 특징점을 추출하는 단계;
상기 복수 개의 이미지를 페어 단위(pair-wise)로 그룹화하여 상기 특징점을 매칭시키는 단계; 및
상기 매칭 결과에 기초하여 하나의 최종 이미지를 생성하는 단계;를 포함하는 이미지 모자이크 생성 방법.
제16항에 있어서,
상기 추출된 특징점에 대한 디스크립터를 산출하는 단계;를 더 포함하며,
상기 특징점을 매칭하는 단계는,
상기 특징점에 대한 디스크립터를 매칭하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제16항에 있어서,
상기 디스크립터의 매칭 결과에 따라 회전/변환(rotation/translation) 파라미터를 복원하는 단계;를 더 포함하며,
상기 최종 이미지를 생성하는 단계는,
상기 복원된 파라미터를 이용하여 상기 하나의 최종 이미지를 생성하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제17항에 있어서,
상기 디스크립터는 스케일 및 회전에 대해 불변하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제16항에 있어서,
상기 적어도 하나의 이미지 페어에 대해 매칭된 특징점 개수로 구성된 사각 대칭 테이블(square symmetric table)을 형성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제17항에 있어서,
상기 복수 개의 이미지에 대한 회전/변환 파라미터를 복원하기 위하여 기설정된 이미지 순서를 이용하여 상기 디스크립터를 하나의 최종 이미지 프레임으로 매칭시키는 단계;를 더 포함하는 것을 특징으로 하는 이미지 모자이크 생성 방법.
제21항에 있어서,
상기 기설정된 이미지 순서는 페어 단위 매칭 결과를 갖는 테이블을 이용하여 복원되는 것을 특징으로 하는 이미지 모자이크 생성 방법.