KR20150051087A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20150051087A
KR20150051087A KR1020130132538A KR20130132538A KR20150051087A KR 20150051087 A KR20150051087 A KR 20150051087A KR 1020130132538 A KR1020130132538 A KR 1020130132538A KR 20130132538 A KR20130132538 A KR 20130132538A KR 20150051087 A KR20150051087 A KR 20150051087A
Authority
KR
South Korea
Prior art keywords
image
images
boundary
calculating
brightness
Prior art date
Application number
KR1020130132538A
Other languages
English (en)
Other versions
KR102135961B1 (ko
Inventor
정호영
이상화
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130132538A priority Critical patent/KR102135961B1/ko
Publication of KR20150051087A publication Critical patent/KR20150051087A/ko
Application granted granted Critical
Publication of KR102135961B1 publication Critical patent/KR102135961B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Abstract

기재된 실시예는 문서를 촬영함으로써 획득된 복수의 영상을 합성할 수 있는 영상 처리 장치 및 영상 처리 방법에 관한 것으로서, 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득하는 단계, 획득된 영상을 워핑하는 단계, 워핑된 영상의 밝기를 조정하는 단계, 밝기가 조정된 영상을 정렬하는 단계, 및 정렬된 영상의 배경 부분으로부터 복수의 영상 사이의 경계를 산출하는 단계를 포함하는 영상 처리 방법이 제공될 수 있다.

Description

영상 처리 장치 및 영상 처리 방법{APPARATUS AND METHOD OF PROCESSING IMAGES}
기재된 실시예는 문서를 촬영함으로써 획득된 복수의 영상을 합성할 수 있는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
하나의 카메라를 이용하여 촬영할 수 있는 시야각은 고정되어 있다. 따라서, 상기 고정된 시야각보다 더 큰 시야각의 영상을 획득하기 위해서는 카메라를 이용하여 촬영된 복수의 영상이 합성될 수 있다.
구체적으로, 하나의 장면(scene)을 촬영한 복수의 영상이 하나의 곡면 또는 하나의 평면 위에 배치될 수 있다. 배치된 하나의 영상의 일부는 다른 영상의 일부와 서로 중첩될 수 있다. 상기 중첩된 부분을 이용하여 복수의 영상이 변환되고 정렬될 수 있다. 정렬된 복수의 영상은 서로 결합됨으로써 하나의 최종 영상이 획득될 수 있다.
사용자가 카메라를 이용하여 원거리의 장면을 촬영할 때, 일반적으로 사용자는 고정된 위치에서 카메라를 회전시켜 가면서 복수의 영상을 촬영할 수 있다. 따라서, 평면 위에 상기 복수의 영상을 배치함으로써 합성하는 방법보다 곡면 위에 상기 복수의 영상을 배치함으로써 합성하는 방법이 더 좋은 합성 결과를 제공할 수 있다.
곡면 위에 배치된 각각의 영상은 행렬을 이용하여 회전변환될 수 있다. 또한, 변환된 각각의 영상의 밝기 정보를 이용하여 영상 사이의 노출 차이가 보정될 수 있다. 또한, 복수의 영상 내에서 서로 중첩되는 부분이 특정한 알고리즘을 이용하여 블렌딩됨으로써 합성된 영상이 자연스럽게 보일 수 있다. 예를 들어, 상기 중첩되는 부분의 색상값은 복수의 영상에서의 각각의 색상값의 평균일 수 있다.
문서를 원거리에서 촬영한 경우, 문서에 포함된 문자들이 영상 내에서 식별되기 어려울 수 있다. 따라서, 문서에 포함된 문자들의 가독성을 높이기 위하여 사용자는 문서로부터 가까운 거리에서 문서를 촬영할 수 있다.
이렇게 촬영된 복수의 근거리 영상은 상기와 같은 회전변환이 수행되는 경우 왜곡이 발생될 수 있다. 또한, 근거리 영상은 원거리 영상에 비해 카메라의 흔들림에 의한 영향이 더 클 수 있다. 따라서, 촬영시의 카메라의 미세한 이동에 의해서도 영상의 시점(view point)이 달라질 수 있다. 또한, 복수의 영상 내에서 서로 중첩되는 부분을 상기와 같이 블렌딩하는 경우, 만약 상기 중첩되는 부분 내에 문자들이 포함되어 있다면, 상기 문자들이 합성된 영상 내에서 흐릿하게 나타날 수 있다.
기재된 실시예에 따르면 문서를 촬영함으로써 획득된 복수의 영상을 하나의 영상으로 합성할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공될 수 있다.
또한, 실시예에 따르면 문서를 촬영함으로써 획득된 복수의 영상을 합성하면서도 상기 문서에 포함된 문자들의 가독성을 유지시킬 수 있는 영상 처리 장치 및 영상 처리 방법이 제공될 수 있다.
실시예에 따른 영상 처리 방법은, 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득하는 단계, 상기 획득된 영상을 워핑하는 단계, 상기 워핑된 영상의 밝기를 조정하는 단계, 상기 밝기가 조정된 영상을 정렬하는 단계, 및 상기 정렬된 영상의 상기 배경 부분으로부터 상기 복수의 영상 사이의 경계를 산출하는 단계를 포함할 수 있다.
또한, 상기 획득된 각각의 영상의 일부는 적어도 하나의 다른 영상의 일부와 서로 중첩될 수 있다.
또한, 상기 복수의 영상을 획득하는 단계는, 제1영상을 획득하는 단계, 상기 제1영상의 각각의 코너 부분에 위치한 부분 영상을 이용하여 특징점을 추출하는 단계, 상기 특징점을 포함하는 영상블록을 생성하는 단계, 제2영상을 획득하는 단계, 및 상기 제2영상에서 상기 영상블록에 대응하는 부분을 검출하고, 상기 검출된 부분과 상기 영상블록 사이의 호모그래피를 산출하는 단계를 포함할 수 있다.
또한, 상기 획득된 영상을 워핑하는 단계는, 상기 획득된 각각의 영상을 호모그래피를 이용하여 변환하는 단계, 및 상기 변환된 각각의 영상을 하나의 기준 영상에 투영하는 단계를 포함할 수 있다.
또한, 상기 복수의 영상 사이의 경계를 산출하는 단계는, 상기 기준 영상 내에서 상기 복수의 영상이 서로 중첩된 중첩영역을 검출하는 단계, 상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출하는 단계를 포함할 수 있다.
또한, 상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출하는 단계는, 상기 복수의 영상에서 상기 중첩영역 내의 특정한 화소에 대응하는 화소들의 밝기의 차이를 산출하는 단계, 상기 특정한 화소의 밝기의 단조감소함수를 이용하여 가중치를 산출하는 단계, 및 상기 산출된 밝기의 차이 및 상기 산출된 가중치를 이용하여 상기 경계를 산출하는 단계를 포함할 수 있다.
또한, 상기 복수의 영상 사이의 경계를 산출하는 단계는, 동적계획법(dynamic programming)을 이용하여 상기 정렬된 영상의 상기 배경 부분으로부터 상기 경계를 산출하는 단계를 포함할 수 있다.
또한, 상기 동적계획법을 이용하여 상기 경계를 산출하는 단계는, 상기 복수의 영상에서 서로 대응하는 화소들의 밝기의 차이 및 가중치를 이용하여 상기 경계를 산출하는 단계를 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 복수의 영상 내에서 상기 산출된 경계에 대응하는 화소를 이용하여 블렌딩하는 단계를 더 포함할 수 있다.
실시예에 따른 영상 처리 장치는, 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득하는 영상 획득부, 상기 획득된 영상을 워핑하는 워핑부, 상기 워핑된 영상의 밝기를 조정하는 밝기 조정부, 상기 밝기가 조정된 영상을 정렬하는 정렬부, 및 상기 정렬된 영상의 상기 배경 부분으로부터 상기 복수의 영상 사이의 경계를 산출하는 경계 산출부를 포함할 수 있다.
또한, 상기 획득된 각각의 영상의 일부는 적어도 하나의 다른 영상의 일부와 서로 중첩될 수 있다.
또한, 상기 영상 획득부는 제1영상을 획득하고, 상기 영상 획득부는 상기 제1영상의 각각의 코너 부분에 위치한 부분 영상을 이용하여 특징점을 추출하고, 상기 영상 획득부는 상기 특징점을 포함하는 영상블록을 생성하고, 상기 영상 획득부는 제2영상을 획득하고, 상기 영상 획득부는 상기 제2영상에서 상기 영상블록에 대응하는 부분을 검출하고, 상기 영상 획득부는 상기 검출된 부분과 상기 영상블록 사이의 호모그래피를 산출할 수 있다.
또한, 상기 워핑부는 상기 획득된 각각의 영상을 호모그래피를 이용하여 변환하고, 상기 워핑부는 상기 변환된 각각의 영상을 하나의 기준 영상에 투영할 수 있다.
또한, 상기 경계 산출부는 상기 기준 영상 내에서 상기 복수의 영상이 서로 중첩된 중첩영역을 검출하고, 상기 경계 산출부는 상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출할 수 있다.
또한, 상기 경계 산출부는 상기 복수의 영상에서 상기 중첩영역 내의 특정한 화소에 대응하는 화소들의 밝기의 차이를 산출하고, 상기 경계 산출부는 상기 특정한 화소의 밝기의 단조감소함수를 이용하여 가중치를 산출하고, 상기 경계 산출부는 상기 산출된 밝기의 차이 및 상기 산출된 가중치를 이용하여 상기 경계를 산출할 수 있다.
또한, 상기 경계 산출부는 동적계획법(dynamic programming)을 이용하여 상기 정렬된 영상의 상기 배경 부분으로부터 상기 경계를 산출할 수 있다.
또한, 상기 경계 산출부는 상기 복수의 영상에서 서로 대응하는 화소들의 밝기의 차이 및 가중치를 이용하여 상기 경계를 산출할 수 있다.
또한, 상기 영상 처리 장치는, 상기 복수의 영상 내에서 상기 산출된 경계에 대응하는 화소를 이용하여 블렌딩하는 블렌딩부를 더 포함할 수 있다.
기재된 실시예에 따르면 문서를 촬영함으로써 획득된 복수의 영상이 하나의 영상으로 합성될 수 있다.
또한, 실시예에 따르면 문서를 촬영함으로써 획득된 복수의 영상을 이용하여 합성된 영상 내에서, 상기 문서에 포함된 문자들의 가독성이 유지될 수 있다.
도 1은 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 2는 영상 내에 포함된 특징점의 위치가 추적되는 방법을 설명하기 위한 참고도이다.
도 3은 실시예에 따라 카메라를 일방향으로 이동시키면서 3개의 영상을 획득하는 모습을 나타내는 도면이다.
도 4는 다른 실시예에 따라 카메라를 4개의 방향으로 이동시키면서 4개의 영상을 획득하는 모습을 나타내는 도면이다.
도 5는 영상의 밝기를 조정하는 단계가 수행되기 전의 영상을 나타내는 도면이다.
도 5는 영상의 밝기를 조정하는 단계가 수행된 후의 영상을 나타내는 도면이다.
도 7은 각각의 영상의 경계를 산출하는 단계를 설명하기 위한 참고도이다.
도 8은 각각의 영상의 경계를 산출하는 단계가 수행된 결과를 나타내는 도면이다.
도 9는 각각의 영상의 경계를 산출하는 단계가 수행된 다른 결과를 나타내는 도면이다.
도 10은 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 10을 참조하여 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다. 도 1을 참조하면, 실시예에 따른 영상 처리 방법에서는 먼저, 문자가 포함된 문서를 촬영함으로써 복수의 영상을 획득하는 단계(S100)가 수행될 수 있다. 사용자는 카메라를 이용하여 하드카피(hardcopy) 또는 소프트카피(softcopy) 문서를 촬영할 수 있다. 문서에 포함된 문자들의 가독성을 높이기 위하여 사용자는 문서로부터 가까운 거리에서 문서를 촬영할 수 있다.
사용자는 카메라를 적어도 하나의 방향으로 이동시키면서 복수의 영상을 촬영할 수 있다. 예를 들어, 사용자는 문서의 각 부분을 나누어 촬영할 수 있다. 이로써, 카메라는 복수의 영상을 획득할 수 있다. 촬영된 하나의 영상의 일부는 적어도 하나의 다른 영상의 일부와 서로 중첩될 수 있다.
사용자가 카메라를 하나의 방향으로 이동시키면서 복수의 영상을 촬영한다고 가정하기로 한다. 상기 영상은 문서로부터 가까운 거리에서 촬영되므로, 사용자가 카메라를 상기 방향으로부터 조금이라도 어긋나게 이동시키거나 카메라를 조금이라도 회전시킨 경우, 복수의 영상은 서로 정렬되지 않을 수 있다. 따라서, 사용자가 카메라를 이용하여 영상을 촬영할 때, 카메라에 포함된 표시 장치에는 사용자가 최대한 정렬된 영상을 촬영할 수 있도록 유저 인터페이스(user interface)가 표시될 수 있다.
예를 들어, 카메라는 유저 인터페이스를 표시하기 위하여 다음과 같은 연산을 수행할 수 있다. 먼저, 카메라는 촬영된 최초 영상으로부터 특징점을 추출할 수 있다. 카메라는 최초 영상의 각각의 코너 부분에 위치한 부분 영상을 이용하여 특징점을 추출할 수 있다. 또한, 카메라는 상기 추출된 특징점을 포함하는 영상블록을 생성할 수 있다.
카메라는 카메라의 이동을 광학적으로 추적할 수 있다. 카메라는 렌즈를 통해 입력되는 각각의 영상 프레임으로부터 상기 생성된 영상블록에 대응하는 부분의 위치를 검출할 수 있다. 카메라는 이전 영상 프레임에서 검출된 위치를 이용하여 현재 영상 프레임에서의 위치를 추정할 수 있다. 다시 말해서, 카메라가 현재 영상 프레임에서 위치를 검출할 때, 이전 영상 프레임에서의 위치에서부터 탐색을 시작할 수 있다. 카메라는 현재 영상 프레임에서 검출된 위치를 이용하여 현재 영상 프레임을 상기 최초 영상과 정렬할 수 있다.
이와 같이, 카메라는 카메라의 이동을 광학적으로 추적하고 있다가, 사용자가 촬영 버튼을 누르면, 현재 영상 프레임을 이용하여 상기 최초 영상의 다음 영상으로서 영상을 촬영할 수 있다. 또한, 카메라는 다음 영상을 촬영할 때, 이전에 촬영된 영상의 호모그래피(homography)를 이용하여 현재 영상 프레임을 워핑(warping)함으로써, 시점(view point)의 변화에 의한 영상의 왜곡을 감소시킬 수 있다.
또한, 카메라는 영상 피라미드를 이용하여 현재 영상 프레임에서 상기 영상블록에 대응하는 부분의 위치를 검출할 수 있다. 다시 말해서, 카메라는 저해상도의 영상에서부터 고해상도의 영상 순으로 상기 대응하는 부분을 탐색함으로써, 상기 영상블록의 크기에 관계없이 대응하는 부분의 위치가 검출될 수 있다.
카메라는 영상이 촬영될 때마다, 영상 피라미드를 생성할 수 있다. 또한, 카메라는 영상이 촬영될 때마다, 영상 내에서 특징점을 검출할 수 있다. 또한, 카메라는 영상이 촬영될 때마다, 영상의 호모그래피를 산출할 수 있다. 카메라의 이동의 추적이 수행될 때 이전 영상 프레임의 각각의 특징점을 포함하는 영상블록은 상기 호모그래피를 이용하여 기준 영상으로부터 워핑함으로써 추출될 수 있다. 또한, 현재 영상 프레임에서의 특징점이 탐색될 수 있다. 현재 영상 프레임에서의 특징점의 위치가 검출되면 상기 특징점의 위치를 이용하여 호모그래피가 갱신될 수 있다. 도 2는 저해상도의 영상에서부터 고해상도의 영상 순으로 특징점을 포함하는 영상블록이 탐색되는 과정을 나타내는 도면이다.
촬영된 각각의 영상에 포함된 영상블록은 정합될 수 있다. 영상블록은 조명의 변화에 의해 영상의 전체적인 밝기가 변화하더라도 NCC(Normalized Cross Correlation)를 이용함으로써 정합될 수 있다. 또한, NCC의 문턱값이 높은 경우, 유사도가 높은 지점만이 상기 특징점에 대응하는 것으로 판정될 수 있다. NCC는 다음의 수학식 1과 같이 정의될 수 있다.
Figure pat00001
영상블록의 정합은 영상 피라미드의 최상위 레벨의 영상, 다시 말해서, 가장 낮은 해상도의 영상에서부터 순차적으로 수행될 수 있다. 영상블록의 정합을 반복할 때에는, 갱신된 호모그래피를 이용하여 특징점이 탐색되고 영상블록이 추출될 수 있다. 이와 같이 영상 피라미드를 이용하여 순차적으로 정합이 수행됨으로써, 영상블록을 정합하는 데에 소요되는 시간이 단축될 수 있다.
또한, 이전에 촬영된 영상으로부터 검출된 특징점과 현재 촬영된 영상영상 프레임로부터 검출된 특징점 사이의 대응관계를 이용하여, 획득된 영상 사이의 변환을 나타내는 호모그래피가 추정될 수 있다. 호모그래피는 2차원 영상 사이의 변환을 표현하는 3 * 3의 크기의 행렬일 수 있다. 실시예에 따라 획득된 영상은 직선의 왜곡의 감소와 효과적인 정렬을 위해 평면에 투영될 수 있다. 호모그래피는 하나의 평면으로부터 다른 평면으로의 변환에 대응될 수 있다.
호모그래피는 2개의 영상 각각에 포함된 특징점의 좌표 사이의 관계를 이용하여 산출될 수 있다. 호모그래피는 다음의 수학식 2에 의해 산출될 수 있다. 호모그래피는 적어도 4개 이상의 특징점을 이용하여 산출될 수 있다.
Figure pat00002
특징점이 4개 이상인 경우 최소제곱법을 이용하여 호모그래피가 산출될 수 있다. 또한, 잘못 매칭된 특징점이 존재하는 경우 정확하지 않은 호모그래피가 산출될 수 있으므로, RANSAC(RANdom SAmple Consensus)을 이용하여 잘못 매칭된 특징점의 영향이 제거될 수 있다.
도 3은 실시예에 따라 카메라를 일방향으로 이동시키면서 3개의 영상을 획득하는 모습을 나타내는 도면이다. 도 3에서와 같이, 카메라를 포함하는 이동 단말기의 화면에는 2개의 사각형이 표시될 수 있다. 하나의 사각형 내에는 현재 영상 프레임이 표시될 수 있다. 또한, 나머지 사각형은 다음에 촬영될 영상의 위치를 나타내는 가이드 역할을 할 수 있다. 사용자는 가이드 사각형을 참조하여 이동 단말기를 이동시키면서 복수의 영상을 촬영할 수 있다.
또한, 도 4는 다른 실시예에 따라 카메라를 4개의 방향으로 이동시키면서 4개의 영상을 획득하는 모습을 나타내는 도면이다. 사용자가 큰 문서의 영상을 촬영하고자 하는 경우, 사용자는 카메라가 포함된 이동 단말기를 4개의 방향으로 이동시키면서 복수의 영상을 촬영할 수 있다. 이동 단말기의 화면에는 2개의 사각형이 표시될 수 있다. 하나의 사각형 내에는 현재 영상 프레임이 표시될 수 있다. 또한, 나머지 사각형은 다음에 촬영될 영상의 위치를 나타내는 가이드 역할을 할 수 있다. 사용자는 가이드 사각형을 참조하여 이동 단말기를 이동시키면서 복수의 영상을 촬영할 수 있다.
다시 도 1을 참조하면, 다음으로, 상기 획득된 영상을 워핑하는 단계(S110)가 수행될 수 있다. 영상을 워핑하는 단계(S110)에서는, 상기 추정된 호모그래피를 이용하여 각각의 획득된 영상이 하나의 기준 영상으로 투영될 수 있다. 상기 기준 영상은 획득된 영상 중에서 선택된 하나의 영상일 수 있다. 상기 기준 영상은 상기 투영으로 인한 왜곡을 최소화하기 위해서, 상기 순차적으로 획득된 영상 중에서 가운데 영상일 수 있다. 호모그래피를 이용한 영상의 워핑은 다음의 수학식 3에서와 같이, 변환하고자 하는 좌표 x에 호모그래피 H를 곱함으로써 수행될 수 있다.
Figure pat00003
다만, 워핑시에 발생되는 오류를 제거하기 위하여 역변환 방식으로 워핑이 수행될 수 있다. 다시 말해서, 수학식
Figure pat00004
을 이용하여 변환이 수행될 수 있다.
호모그래피는 순차적으로 획득된 2개의 영상을 이용하여 산출되므로, 상기 기준 영상으로부터 먼 영상이 워핑될 때에는, 상기 영상과 상기 기준 영상의 사이에 포함된 모든 영상에 대응하는 호모그래피가 누적적으로 곱해질 수 있다. 예를 들어, 제1영상이 기준 영상이고, 제1영상으로 투영되는 제2영상의 호모그래피를
Figure pat00005
라 하고, 제2영상으로 투영되는 제3영상의 호모그래피를
Figure pat00006
이라 가정하기로 한다. 제3영상에 상기 2개의 호모그래피를 곱한 (
Figure pat00007
Figure pat00008
)가 곱해짐으로써 제1영상에 투영될 수 있다. 이와 같이, 획득된 영상이 3개 이상인 경우, 호모그래피가 누적적으로 곱해짐으로써, 각각의 영상이 기준 영상에 워핑될 수 있다.
다음으로, 상기 워핑된 영상의 밝기를 조정하는 단계(S120)가 수행될 수 있다. 각각의 영상은 서로 다른 시점으로부터 촬영되었으므로 노출된 정도가 서로 다를 수 있다. 따라서, 서로 다른 2개 이상의 영상에 포함된 동일한 지점이라 하더라도, 상기 지점의 밝기 또는 색상은 서로 다를 수 있다. 따라서, 자연스러운 합성 결과를 위해서, 워핑된 영상의 밝기가 조정될 수 있다.
노출의 차이는 주로 영상의 밝기의 차이로 나타날 수 있다. 특히, 문서와 같이 배경의 색이 흰색인 경우에는 밝기의 차이가 명시적으로 나타날 수 있다.
먼저, 상기 기준 영상 내에서 상기 복수의 영상이 서로 중첩된 중첩영역으로부터, YCbCr 색공간에서의 Y값의 평균이 산출될 수 있다. 또한, 다음의 수학식 4에서와 같이, 각각의 영상 내의 중첩영역에서의 밝기의 평균의 비율이 산출될 수 있다. 수학식 4에서,
Figure pat00009
는 각각의 영상의 중첩영역에서의 밝기의 평균을 나타낼 수 있다. 또한,
Figure pat00010
는 기준 영상의 중첩영역에서의 밝기의 평균을 나타낼 수 있다.
Figure pat00011
상기와 같이 산출된 비율 및 다음의 수학식 5를 이용하여 각각의 영상의 Y값, Cb값 및 Cr값이 조정될 수 있다. 또한, 워핑된 영상의 밝기가 조정될 수 있다.
Figure pat00012
상기와 같이, 각각의 영상 사이의 밝기의 차이가 줄어들도록 밝기가 조정될 수 있다. 특히, 각각의 영상에 포함된 문서의 배경색이 서로 유사해지도록 밝기가 조정될 수 있다. 도 5는 영상의 밝기를 조정하는 단계(S120)가 수행되기 전의 영상을 나타내는 도면이다. 또한 도 6은 영상의 밝기를 조정하는 단계(S120)가 수행된 후의 영상을 나타내는 도면이다.
다시 도 1을 참조하면, 다음으로, 상기 밝기가 조정된 영상을 정렬하는 단계(S130)가 수행될 수 있다. 문서를 촬영함으로써 획득된 영상에 포함된 각각의 특징점 및 영상블록은 서로 유사할 수 있다. 따라서, 호모그래피를 이용하여 각각의 영상을 워핑하였더라도, 영상 사이의 정렬 상태가 미세하게 어긋날 수 있다.
각각의 영상에 포함된 중첩영역은 4개의 방향으로 평행 이동될 수 있다. 이로써 각각의 영상이 서로 정합되도록 영상이 정렬될 수 있다. 예를 들어, 다음의 수학식 6을 이용하여 영상이 정렬될 수 있다. 수학식 6에서
Figure pat00013
는 현재 영상의 좌표 (x, y)에서의 밝기값을 나타낼 수 있다. 또한,
Figure pat00014
는 기준 영상의 좌표 (x, y)에서의 밝기값을 나타낼 수 있다. 또한,
Figure pat00015
는 현재 영상의 좌표 (x, y)에서의 가중치를 나타낼 수 있다. 또한,
Figure pat00016
는 기준 영상의 좌표 (x, y)에서의 가중치를 나타낼 수 있다.
Figure pat00017
수학식 6에서, 가중치
Figure pat00018
또는 가중치
Figure pat00019
는 좌표 (x, y)에서의 밝기값이 더 작을수록 더 큰 값을 가질 수 있다. 또한, 가중치
Figure pat00020
또는 가중치
Figure pat00021
는 좌표 (x, y)에서의 밝기값이 더 클수록 더 작은 값을 가질 수 있다. 영상 내에서 문자에 대응하는 부분의 정렬은 중요하므로, 상기와 같이 어두운 밝기를 갖는 문자 부분은 더 큰 가중치를 가질 수 있다. 이로써, 문자에 대응하는 부분의 위치가 보다 효과적으로 정렬될 수 있다. 밝기 차이의 총 합은 특정한 범위(W) 내에서 서로 비교될 수 있다. 상기 비교 결과, 밝기 차이가 최소가 되는 위치로 2개의 영상이 정렬될 수 있다.
다음으로, 상기 정렬된 영상의 경계를 산출하는 단계(S140)가 수행될 수 있다. 추정된 변환 행렬을 이용하여 각각의 영상을 동일한 평면으로 최대한 정확하게 겹쳐지도록 투영하더라도 0.5 화소 수준의 정렬 오차가 존재할 수 있다. 또한, 영상 간의 노출 차이로 인하여 밝기나 색상이 서로 다를 수 있다.
이렇게 중첩된 부분의 화소값을 선형 결합하여 평균값으로 블렌딩 되는 경우, 블러링이 발생할 수 있다. 원거리의 풍경을 촬영함으로써 획득된 영상이 이용된 경우라면, 이러한 블러링이 합성된 영상의 품질에 크게 영향을 미치지 않을 수 있다. 그러나, 근거리의 문서를 촬영함으로써 획득된 영상이 이용된 경우, 문자에 대응하는 부분에서 블러링이 발생될 수 있다. 이로써, 합성된 영상 내에 포함된 문자의 가독성이 저하될 수 있다.
따라서, 정렬된 영상의 경계를 산출하는 단계(S140)에서는, 합성된 영상 내에서, 문서에 포함된 문자들의 가독성이 유지될 수 있도록 하는 적절한 경계가 산출될 수 있다. 상기 중첩된 영역 중에서, 문자가 아닌 배경에 대응하는 부분으로부터 경계가 산출될 수 있다. 또한, 상기 산출된 경계에서만 국소적으로 블렌딩이 수행됨으로써, 문자들이 가독성이 유지될 수 있다.
도 7은 각각의 영상의 경계를 산출하는 단계(S140)를 설명하기 위한 참고도이다. 실시예에 따르면, 동적계획법(dynamic programming)을 이용하여 최소의 목적값을 갖는 경계가 산출될 수 있다. 각각의 영상에서 서로 대응하는 화소들의 밝기값의 차이 및 가중치를 이용하여 경계가 단계적으로 산출될 수 있다.
영상의 경계는 좌우 영상 간의 경계 및 상하 영상 간의 경계를 포함할 수 있다. 좌우 영상 간의 경계 및 상하 영상 간의 경계는 방향만 서로 다를 뿐이고, 동일한 방법을 이용하여 산출될 수 있다. 이하에서는 좌우 영상 간의 경계를 산출하는 방법에 대하여 서술하기로 한다.
먼저, 호모그래피를 이용하여 제1영상 및 제2영상이 동일한 평면으로 워핑된 결과로부터 서로 중첩되는 영역이 검출될 수 있다. 다음으로, 상기 중첩영역에 포함된 각각의 화소의 제1영상에서의 밝기값과 상기 화소의 제2영상에서의 밝기값의 차이가 산출될 수 있다. 다른 실시예에 따르면, 상기 중첩영역에 포함된 각각의 화소의 제1영상에서의 색상값과 상기 화소의 제2영상에서의 색상값의 차이가 산출될 수 있다. 예를 들어, 다음의 수학식 7에서와 같이 밝기값의 차이(D)가 산출될 수 있다.
Figure pat00022
수학식 7에서,
Figure pat00023
는 제1영상에서 좌표 (x, y)에서의 밝기값을 나타낼 수 있다. 또한,
Figure pat00024
는 제2영상에서 좌표 (x, y)에서의 밝기값을 나타낼 수 있다. 또한, offset은 어두운 문자 부분에서는 가능하면 경계가 산출되지 않도록 하기 위한 오프셋 값으로서, 0 이상의 값으로 미리 정의될 수 있다.
또한, 다음의 수학식 8에서와 같이, 상기 산출된 밝기값의 차이에 가중치가 곱해짐으로써 화소의 에너지(E)가 산출될 수 있다.
Figure pat00025
일반적으로, 문자 부분은 어두운 색을 가질 수 있다. 문자 부분은 제1영상에서의 밝기값과 제2영상에서의 밝기값의 차이가 작을 수 있다. 반면에, 배경 부분은 밝은 색을 가질 수 있다. 배경 부분은 제1영상에서의 밝기값과 제2영상에서의 밝기값의 차이가 문자 부분에 비하여 클 수 있다. 그러나, 상기와 같이 밝기값의 차이에 오프셋 값이 더해지고 가중치가 적용됨으로써, 문자 부분에서는 경계의 산출이 최대한 억제될 수 있다.
또한, 영상 간의 노출 차이로 밝기가 크게 다른 경우에는 문서의 흰색 배경 부분의 밝기값이 크게 다를 수 있다. 따라서, 상기 수학식 8에서와 같이 밝기값의 차이(D)에 가중치를 곱함으로써, 배경 부분의 에너지(E)가 작아지도록 하고 문자 부분의 에너지가 커지도록 할 수 있다.
일반적으로, 배경 부분의 밝기값은 문자 부분의 밝기값 보다 크므로, 상기 가중치는 화소의 밝기값의 단조감소함수를 이용하여 산출될 수 있다. 다시 말해서, 밝기값이 더 큰 화소에 대응하는 가중치는 밝기값이 더 작은 화소에 대응하는 가중치에 비해 더 작을 수 있다.
다만, 영상이 정합된 후에 정렬 오류가 존재하는 경우를 대비하여, 제1영상의 화소의 밝기값 또는 제2영상의 화소의 밝기값 중에서 최소값을 이용하여 가중치가 산출될 수 있다. 이로써, 문자 부분이 상기 2개의 영상 중에서 어느 한 쪽에만 있는 경우라도, 문자 부분에 대해 산출된 에너지는 작아지지 않도록 할 수 있다. 다시 말해서, 상기 2개의 영상 모두에서 배경 부분에 해당하는 위치의 화소에 대해 산출된 에너지만이 상기 가중치에 의해 작아질 수 있다. 가중치는 예를 들어, 다음의 수학식 9를 이용하여 산출될 수 있다.
Figure pat00026
또한, 문자 부분에서는 경계의 산출이 최대한 억제되도록 하기 위해, 특정한 위치의 화소가 문자 부분에 해당하는지 또는 배경 부분에 해당하는지 여부를 판정하는 데에 이용되는 가중치가 적용될 수 있다. 다시 말해서, 다음의 수학식 10을 이용하여 위치 (x, y)의 화소의 에너지가 산출될 수 있다. 다음의 수학식 10에서 알파는 0 이상 1 이하의 값일 수 있다. 다시 말해서, 수학식 10의 2개의 항은 선형결합될 수 있다.
Figure pat00027
정렬된 영상의 경계를 산출하는 단계(S140)에서는, 상기와 같이 산출된 각각의 화소의 에너지를 이용하여 영상의 경계가 산출될 수 있다. 실시예에 따르면, 영상의 경계는 스캔라인의 수직 방향으로의 모든 경로 중에서, 상기 경로에 포함된 각각의 화소의 에너지의 합이 최소인 경로일 수 있다. 하나의 경로에 포함된 각각의 화소는 서로 인접할 수 있다.
문서의 왼쪽이 촬영된 영상과 문서의 오른쪽이 촬영된 영상 사이의 경계를 산출하는 경우, y축 방향으로의 모든 경로 중에서, 경로에 포함된 각각의 화소의 에너지의 합이 최소인 경로가 선택될 수 있다. 또한, 문서의 위쪽이 촬영된 영상과 문서의 아래쪽이 촬영된 영상 사이의 경계를 산출하는 경우, x축 방향으로의 모든 경로 중에서, 경로에 포함된 각각의 화소의 에너지의 합이 최소인 경로가 선택될 수 있다.
영상의 경계는 동적계획법(dynamic programming)을 이용하여 산출될 수 있다. 영상의 경계는 복수의 인접한 화소로써 이루어지므로, 특정한 화소에서부터 시작하여 인접한 화소들 중에서 적절한 화소를 순차적으로 선택해 나감으로써, 영상의 경계가 산출될 수 있다.
먼저, 영상의 경계에 포함될 최초의 화소가 선택될 수 있다. 중첩영역에서 최소의 에너지를 갖는 화소가 상기 최초의 화소로서 선택될 수 있다.
다음으로, 화소가 선택되고 나면, 상기 화소에 인접한 각각의 화소의 에너지가 서로 비교될 수 있다. 또한, 상기 인접한 화소 중에서 최소의 에너지를 갖는 화소가 선택될 수 있다. 또한, 상기의 과정이 반복될 수 있다.
문서의 왼쪽이 촬영된 영상과 문서의 오른쪽이 촬영된 영상 사이의 경계를 산출하는 경우인지 또는 문서의 위쪽이 촬영된 영상과 문서의 아래쪽이 촬영된 영상 사이의 경계를 산출하는 경우인지에 따라서, 상기 비교가 수행되는 화소의 범위가 달라질 수 있다.
이하에서는 문서의 왼쪽이 촬영된 영상과 문서의 오른쪽이 촬영된 영상 사이의 경계를 산출하는 경우를 가정하기로 한다. 따라서, 영상의 경계는 스캔라인의 수직 방향으로 연장될 수 있다. 다시 말해서, 영상의 경계는 위쪽으로부터 아래쪽으로 또는 아래쪽으로부터 위쪽으로 연장될 수 있다.
상기 비교가 수행되는 화소의 범위는 다음과 같을 수 있다. 선택된 화소가 포함된 스캔라인의 바로 이전 스캔라인 또는 바로 이후 스캔라인에 포함된 화소 중에서, 화소의 x 좌표값과 상기 선택된 화소의 x 좌표값의 차이가 1 이하인 화소들이 상기 범위에 포함될 수 있다. 다른 실시예에 따르면, 선택된 화소가 포함된 스캔라인의 바로 이전 스캔라인 또는 바로 이후 스캔라인에 포함된 화소 중에서, 화소의 x 좌표값과 상기 선택된 화소의 x 좌표값의 차이가 2 이하인 화소들이 상기 범위에 포함될 수 있다.
예를 들어, 선택된 화소의 좌표가 (p, q)라고 가정하는 경우, 선택된 화소가 포함된 스캔라인의 바로 이전 스캔라인에 포함된 화소 중에서, (p - 1, q - 1)의 화소, (p, q - 1)의 화소, 및 (p + 1, q - 1)가 상기 범위에 포함될 수 있다. 상기 3개의 화소의 에너지를 서로 비교하고, 상기 3개의 화소 중에서 최소의 에너지를 갖는 화소가 선택될 수 있다.
또한, 선택된 화소가 포함된 스캔라인의 바로 이후 스캔라인에 포함된 화소 중에서 (p - 1, q + 1)의 화소, (p, q + 1)의 화소, 및 (p + 1, q + 1)의 화소가 상기 범위에 포함될 수 있다. 상기 3개의 화소의 에너지를 서로 비교하고, 상기 3개의 화소 중에서 최소의 에너지를 갖는 화소가 선택될 수 있다.
도 7을 참조하면, 배열된 각각의 사각형은 화소를 나타내며, 사각형의 내부에 기재된 숫자는 사각형에 대응하는 화소의 에너지 값을 나타낼 수 있다. 최초의 화소로서 0의 에너지 값을 갖는 (5, 3)의 화소가 선택될 수 있다. 최초의 화소의 위쪽 스캔라인의 화소 중에서, (4, 2)의 화소, (5, 2)의 화소, 및 (6, 2)의 화소의 에너지 값이 서로 비교될 수 있다. (6, 2)의 화소의 에너지 값이 8로서 최소이므로, (6, 2)의 화소가 선택될 수 있다.
또한, (6, 2)의 화소의 위쪽 스캔라인의 화소 중에서, (5, 1)의 화소, (6, 1)의 화소, 및 (7, 1)의 화소의 에너지 값이 서로 비교될 수 있다. 이로써, (7, 1)의 화소가 선택될 수 있다.
또한, 최초의 화소의 아래쪽 스캔라인의 화소 중에서, (4, 4)의 화소, (5, 4)의 화소, 및 (6, 4)의 화소의 에너지 값이 서로 비교될 수 있다. (4, 4)의 화소의 에너지 값이 6으로서 최소이므로, (4, 4)의 화소가 선택될 수 있다.
또한, (4, 4)의 화소의 아래쪽 스캔라인의 화소 중에서, (3, 5)의 화소, (4, 5)의 화소, 및 (5, 5)의 화소의 에너지 값이 서로 비교될 수 있다. 이로써, (4, 5)의 화소가 선택될 수 있다.
중첩영역의 위쪽 가장자리에 포함된 화소 및 중첩영역의 아래쪽 가장자리에 포함된 화소가 선택될 때까지 상기와 같은 과정이 반복됨으로써, 경계가 산출될 수 있다.
또한, 다른 실시예에 따르면, 경계의 후보로서 적어도 둘 이상의 경로를 산출한 다음, 상기 경로 중에서 하나의 경로가 경계로서 선택될 수 있다. 먼저, 영상의 중첩영역은 특정한 크기의 서브영역으로 분할될 수 있다. 각각의 서브영역으로부터 하나씩 최초의 화소가 선택될 수 있다. 각각의 서브영역에서 최소의 에너지를 갖는 화소가 상기 최초의 화소로서 선택될 수 있다.
다음으로, 상술된 동적계획법을 이용하여, 각각의 최초의 화소로부터 연장된 경로가 산출될 수 있다. 이로써, 서브영역의 개수와 동일한 개수의 경로가 산출될 수 있다. 산출된 각각의 경로에 대해, 경로에 포함된 모든 화소의 에너지의 합이 산출될 수 있다. 또한, 산출된 합이 서로 비교될 수 있다. 상기 산출된 합 중에서 가장 작은 값을 갖는 합에 대응하는 경로가 상기 영상의 경계로서 선택될 수 있다.
이로써, 중첩영역 중에서 2개의 영상이 정확하게 정합된 부분으로부터 경계가 검출될 가능성이 정확하게 정합되지 않은 부분으로부터 검출될 가능성보다 높을 수 있다. 또한, 중첩영역 중에서 배경 부분으로부터 경계가 검출될 가능성이 문자 부분으로부터 검출될 가능성보다 높을 수 있다.
도 8은 영상의 경계를 산출하는 단계(S140)가 수행된 결과를 나타내는 도면이다. 또한, 도 9는 영상의 경계를 산출하는 단계(S140)가 수행된 다른 결과를 나타내는 도면이다. 도 8 또는 도 9에 나타난 바와 같이, 중첩영역 중에서 배경 부분으로부터 경계가 산출될 수 있다. 이로써, 영상에 포함된 문자들의 가독성이 유지될 수 있다
만약 문서에 포함된 문자들 사이의 간격이 촘촘하거나 문자 부분이 정확하게 정합되지 않은 경우, 경계에 포함된 적어도 일부의 화소는 문자 부분으로부터 선택될 수 있다. 그러나, 다양한 문서를 이용하여 테스트를 수행해 본 결과, 문자 부분으로부터 선택된 화소의 비율은 현저히 낮았다.
다시 도 1을 참조하면, 다음으로, 상기 산출된 경계의 화소를 이용하여 블렌딩하는 단계(S150)가 수행될 수 있다. 복수의 영상을 이용하여 블렌딩이 수행되는 경우, 블렌딩된 부분에서 블러링(blurring)이 발생될 수 있다. 따라서, 블러링된 부분을 감소시키고 문자의 가독성을 유지하기 위해, 상기 산출된 경계에 포함된 화소 및 상기 화소의 주변 화소만을 이용하여 블렌딩이 수행될 수 있다. 또한, 블렌딩이 수행됨으로써, 합성된 영상이 자연스럽게 보일 수 있다. 블렌딩은 선형 블렌딩 기술을 이용하여 수행될 수 있다.
도 10은 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 도 10을 참조하면, 영상 처리 장치(100)는 영상 획득부(110), 워핑부(120), 밝기 조정부(130), 정렬부(140), 경계 산출부(150), 및 블렌딩부(160)를 포함할 수 있다.
영상 획득부(110)는 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득할 수 있다. 영상 획득부(110)의 동작에 대하여는, 상기 복수의 영상을 획득하는 단계(S100)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
워핑부(120)는 상기 획득된 영상을 워핑할 수 있다. 워핑부(120)의 동작에 대하여는 상기 획득된 영상을 워핑하는 단계(S110)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
밝기 조정부(130)는 상기 워핑된 영상의 밝기를 조정할 수 있다. 밝기 조정부(130)의 동작에 대하여는 상기 워핑된 영상의 밝기를 조정하는 단계(S120)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
정렬부(140)는 상기 밝기가 조정된 영상을 정렬할 수 있다. 정렬부(140)의 동작에 대하여는 상기 밝기가 조정된 영상을 정렬하는 단계(S130)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
경계 산출부(150)는 상기 정렬된 영상의 상기 배경 부분으로부터 상기 복수의 영상 사이의 경계를 산출할 수 있다. 경계 산출부(150)의 동작에 대하여는 상기 정렬된 영상의 경계를 산출하는 단계(S140)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
블렌딩부(160)는 상기 복수의 영상 내에서 상기 산출된 경계에 대응하는 화소를 이용하여 블렌딩을 수행할 수 있다. 블렌딩부(160)의 동작에 대하여는 상기 산출된 경계의 화소를 이용하여 블렌딩하는 단계(S150)에 대응될 수 있으므로 여기에서는 자세한 설명을 생략하기로 한다.
이상에서 설명된 실시예에 따르면, 문서를 촬영함으로써 획득된 복수의 영상이 하나의 영상으로 합성될 수 있다. 또한, 문서를 촬영함으로써 획득된 복수의 영상을 이용하여 합성된 영상 내에서, 상기 문서에 포함된 문자들의 가독성이 유지될 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 영상 처리 장치
110: 영상 획득부
120: 워핑부
130: 밝기 조정부
140: 정렬부
150: 경계 산출부
160: 블렌딩부

Claims (18)

  1. 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득하는 단계;
    상기 획득된 영상을 워핑하는 단계;
    상기 워핑된 영상의 밝기를 조정하는 단계;
    상기 밝기가 조정된 영상을 정렬하는 단계; 및
    상기 정렬된 영상의 상기 배경 부분으로부터 상기 복수의 영상 사이의 경계를 산출하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 획득된 각각의 영상의 일부는 적어도 하나의 다른 영상의 일부와 서로 중첩되는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 복수의 영상을 획득하는 단계는,
    제1영상을 획득하는 단계;
    상기 제1영상의 각각의 코너 부분에 위치한 부분 영상을 이용하여 특징점을 추출하는 단계;
    상기 특징점을 포함하는 영상블록을 생성하는 단계;
    제2영상을 획득하는 단계; 및
    상기 제2영상에서 상기 영상블록에 대응하는 부분을 검출하고, 상기 검출된 부분과 상기 영상블록 사이의 호모그래피를 산출하는 단계
    를 포함하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 획득된 영상을 워핑하는 단계는,
    상기 획득된 각각의 영상을 호모그래피를 이용하여 변환하는 단계; 및
    상기 변환된 각각의 영상을 하나의 기준 영상에 투영하는 단계
    를 포함하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 복수의 영상 사이의 경계를 산출하는 단계는,
    상기 기준 영상 내에서 상기 복수의 영상이 서로 중첩된 중첩영역을 검출하는 단계;
    상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출하는 단계
    를 포함하는 영상 처리 방법.
  6. 제5항에 있어서,
    상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출하는 단계는,
    상기 복수의 영상에서 상기 중첩영역 내의 특정한 화소에 대응하는 화소들의 밝기의 차이를 산출하는 단계;
    상기 특정한 화소의 밝기의 단조감소함수를 이용하여 가중치를 산출하는 단계; 및
    상기 산출된 밝기의 차이 및 상기 산출된 가중치를 이용하여 상기 경계를 산출하는 단계
    를 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 복수의 영상 사이의 경계를 산출하는 단계는,
    동적계획법(dynamic programming)을 이용하여 상기 정렬된 영상의 상기 배경 부분으로부터 상기 경계를 산출하는 단계
    를 포함하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 동적계획법을 이용하여 상기 경계를 산출하는 단계는,
    상기 복수의 영상에서 서로 대응하는 화소들의 밝기의 차이 및 가중치를 이용하여 상기 경계를 산출하는 단계
    를 포함하는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 복수의 영상 내에서 상기 산출된 경계에 대응하는 화소를 이용하여 블렌딩하는 단계
    를 더 포함하는 영상 처리 방법.
  10. 문자 부분 및 배경 부분이 포함된 복수의 영상을 획득하는 영상 획득부;
    상기 획득된 영상을 워핑하는 워핑부;
    상기 워핑된 영상의 밝기를 조정하는 밝기 조정부;
    상기 밝기가 조정된 영상을 정렬하는 정렬부; 및
    상기 정렬된 영상의 상기 배경 부분으로부터 상기 복수의 영상 사이의 경계를 산출하는 경계 산출부
    를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 획득된 각각의 영상의 일부는 적어도 하나의 다른 영상의 일부와 서로 중첩되는 영상 처리 장치.
  12. 제10항에 있어서,
    상기 영상 획득부는 제1영상을 획득하고, 상기 영상 획득부는 상기 제1영상의 각각의 코너 부분에 위치한 부분 영상을 이용하여 특징점을 추출하고, 상기 영상 획득부는 상기 특징점을 포함하는 영상블록을 생성하고, 상기 영상 획득부는 제2영상을 획득하고, 상기 영상 획득부는 상기 제2영상에서 상기 영상블록에 대응하는 부분을 검출하고, 상기 영상 획득부는 상기 검출된 부분과 상기 영상블록 사이의 호모그래피를 산출하는 영상 처리 장치.
  13. 제10항에 있어서,
    상기 워핑부는 상기 획득된 각각의 영상을 호모그래피를 이용하여 변환하고, 상기 워핑부는 상기 변환된 각각의 영상을 하나의 기준 영상에 투영하는 영상 처리 장치.
  14. 제13항에 있어서,
    상기 경계 산출부는 상기 기준 영상 내에서 상기 복수의 영상이 서로 중첩된 중첩영역을 검출하고, 상기 경계 산출부는 상기 중첩영역 내의 상기 배경 부분으로부터 상기 경계를 산출하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 경계 산출부는 상기 복수의 영상에서 상기 중첩영역 내의 특정한 화소에 대응하는 화소들의 밝기의 차이를 산출하고, 상기 경계 산출부는 상기 특정한 화소의 밝기의 단조감소함수를 이용하여 가중치를 산출하고, 상기 경계 산출부는 상기 산출된 밝기의 차이 및 상기 산출된 가중치를 이용하여 상기 경계를 산출하는 영상 처리 장치.
  16. 제10항에 있어서,
    상기 경계 산출부는 동적계획법(dynamic programming)을 이용하여 상기 정렬된 영상의 상기 배경 부분으로부터 상기 경계를 산출하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 경계 산출부는 상기 복수의 영상에서 서로 대응하는 화소들의 밝기의 차이 및 가중치를 이용하여 상기 경계를 산출하는 영상 처리 장치.
  18. 제10항에 있어서,
    상기 복수의 영상 내에서 상기 산출된 경계에 대응하는 화소를 이용하여 블렌딩하는 블렌딩부
    를 더 포함하는 영상 처리 장치.
KR1020130132538A 2013-11-01 2013-11-01 영상 처리 장치 및 영상 처리 방법 KR102135961B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130132538A KR102135961B1 (ko) 2013-11-01 2013-11-01 영상 처리 장치 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130132538A KR102135961B1 (ko) 2013-11-01 2013-11-01 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20150051087A true KR20150051087A (ko) 2015-05-11
KR102135961B1 KR102135961B1 (ko) 2020-07-20

Family

ID=53388676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130132538A KR102135961B1 (ko) 2013-11-01 2013-11-01 영상 처리 장치 및 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102135961B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059723A (ko) * 2016-11-26 2018-06-05 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20230038432A (ko) * 2016-11-26 2023-03-20 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350465A (ja) * 2005-06-13 2006-12-28 Nec Corp 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2010273315A (ja) * 2009-05-19 2010-12-02 Shindorico Co Ltd スキャン機能を備えた画像形成装置及びこのスキャン方法
KR20110032402A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
KR20120063858A (ko) * 2010-12-08 2012-06-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
KR101245247B1 (ko) * 2012-08-30 2013-03-19 재단법인대구경북과학기술원 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350465A (ja) * 2005-06-13 2006-12-28 Nec Corp 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2010273315A (ja) * 2009-05-19 2010-12-02 Shindorico Co Ltd スキャン機能を備えた画像形成装置及びこのスキャン方法
KR20110032402A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
KR20120063858A (ko) * 2010-12-08 2012-06-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
KR101245247B1 (ko) * 2012-08-30 2013-03-19 재단법인대구경북과학기술원 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059723A (ko) * 2016-11-26 2018-06-05 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20230038432A (ko) * 2016-11-26 2023-03-20 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR102135961B1 (ko) 2020-07-20

Similar Documents

Publication Publication Date Title
JP5951367B2 (ja) 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
CN113365040B (zh) 投影校正方法、装置、存储介质和电子设备
US7760962B2 (en) Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
JP4341629B2 (ja) 撮像装置、画像処理方法及びプログラム
US7643701B2 (en) Imaging apparatus for correcting a distortion of an image
US8294748B2 (en) Panorama imaging using a blending map
US8472726B2 (en) Document comparison and analysis
JP4556813B2 (ja) 画像処理装置、及びプログラム
US20100149210A1 (en) Image capturing apparatus having subject cut-out function
US20160247288A1 (en) Image processing device
CN102484724A (zh) 投影图像区域检测装置
JP4781233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
CN104392416B (zh) 一种运动场景的视频拼接方法
US20110141224A1 (en) Panorama Imaging Using Lo-Res Images
US20110141225A1 (en) Panorama Imaging Based on Low-Res Images
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
WO2012068902A1 (zh) 提高文本图像清晰度的方法及系统
JP6426815B2 (ja) 画像処理装置および画像処理方法
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
KR102135961B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP4898655B2 (ja) 撮像装置及び画像合成プログラム
Hannuksela et al. Document image mosaicing with mobile phones
CN112997217A (zh) 从视频图像进行文档检测

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant