KR101903617B1 - 복수 개의 객체 이미지를 포함한 정적인 디지털 결합 이미지의 편집 방법 - Google Patents

Abstract

복수 개의 객체 이미지를 포함하는 결합 이미지의 편집 방법이 개시된다. 본 편집 방법은, 결합 이미지 내의 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형을 표시하는 단계, 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 선택된 객체 이미지와 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하는 단계, 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면, 선택된 객체 이미지를 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하는 단계, 및 분할 또는 병합에 따라 윤곽 직사각형의 표시를 갱신하는 단계를 포함한다.

Description

복수 개의 객체 이미지를 포함한 정적인 디지털 결합 이미지의 편집 방법 {Method for editing static digital combined images comprising images of multiple objects }

본 발명은 이미지 처리 방법에 관한 것으로서, 더욱 상세하게는 복수 개의 객체 이미지를 포함한 정적인 디지털 결합 이미지의 편집 방법에 관한 것이다.

최근에 다목적 장치(Multi-Function Device:MFD)의 인기가 급상승하고 있다. 스캐너나 프린터와 유사한 이와 같은 장치는 다수의 기능과 다양한 문제를 처리할 수 있는 집적화된 시스템을 구비한다. 예를 들어, MFD는 이미지의 불필요한 부분 다듬기(cropping) 및 정렬(alignment) 동작과 같은 스캔된 이미지에서 객체 이미지의 자동 축출 기능을 제공할 수 있다. 이러한 기능의 향상은 어렵지만, 복수 개의 객체 이미지를 포함하는 결합 이미지를 자동적으로 처리하는 기능이 크게 요구되고 있는 실정이다.

종래 기술은 결합 이미지들의 자동화 처리와 관련된 문제들의 해결을 목적으로 하는 다수의 장치들과 방법들을 포함하고 있다. 특히, 2008년 컴퓨터 및 로버트 비젼의 캐나다 컨퍼런스(CRV 2008)에서 Michael Guerzhoy 및 Hui Zhou가 작성한 논문에서 기술된 "작은 미리 보기 스캔 이미지에서 모르는 배경에 놓인 직사각형 객체들의 분할(Segmentation of Rectangular Objects Lying on an Unknown Background in a Small Preview Scan Image)"[1]이 한 방법으로 언급될 수 있다. 이 논문[1]은 사전에 알 수 없는 색상을 가지고 약하게 처리된 질감 배경에 놓인 직사각형 객체의 분할하는 방법을 개시한다. 이 방법은 직사각형 객체의 가장자리를 검출하는 발견적 해결 방법의 세트와 가장 그럴듯한 추정의 후속으로 선택된 이미지에 직사각형 객체의 존재에 관한 예비 가설을 생성하는 절차상에서 배경 색상의 대략적인 평가를 기반으로 한다. 논문[1]의 저자들은 설명된 솔루션은 매우 작은 크기의 미리 보기 이미지에서 사진, 계산서 또는 플라스틱 카드와 같은 중복되고 서로 인접한 객체를 발견할 수 있다고 주장한다. 그럼에도 불구하고, 설명된 솔루션의 응용 프로그램(application)은 객체와 배경 사이에 상당한 색깔 구별의 가정에 의해 제한된다.

2003년 IEEE 학술 보고서에서 C. Herley에의해 발표된 논문인 "스캔 이미지에서 복수 개의 직사각형 객체를 검출하고 분할하는 재귀 방법(Recursive method to detect and segment multiple rectangular objects in scanned images)"[2]은 예를 들어, 거친 테두리, 부드러운 코너, 등과 같이 다양한 왜곡을 포함할 수 있는 직사각형 객체의 식별 및 분할을 기반으로 한다. 상기 논문[2]의 저자는 일차원 투영(projection)의 구축에 의하여, 분할을 위한 효과적이고 안정적인 도구를 얻을 수 있다고 믿는다. 그리고, 논문[2]의 저자는 각 객체가 지속적으로 일관된 영역을 표시하고, 작업 목적이 일차원 투영에 기초하여 객체들을 다른 객체들로부터 분할하는 것에 있다는 가정에서 시작한다. 실제로, 대부분의 경우에서와 같이, 객체는 배경과 매우 약한 차이가 있으며, 그 결과 설명된 해결 방법의 사용은 객체가 공간적으로 쪼개진 분할 집합으로써 인식될 것으로 이끌어질 수 있다.

미국특허 제7,483,589호[3]에서 설명된 방법은 이미지에 존재하는 여러 문서의 위치 변화 및 정렬에 따라, 상기 문서의 자동 구성(framing)을 제공한다. 여기서, 평평하고(leveled) 순서가 부여된(ordered) 것으로 보이는 복사 계산서를 복사하는 방법의 가능한 응용 프로그램이 언급된다. 또한 객체 이미지들의 자동 분할을 위하여, 초기 이미지의 임계 처리와 형태학적 작업의 응용 프로그램이 함께 사용된다. 따라서 분할의 결과는 각 객체의 연결성에 의존한다. 각 객체의 연결성이 깨진 경우, 그것은 분할 결과의 왜곡으로 이어질 수 있다.

미국등록특허 제7,542,608[4]에서 설명된 방법은 이미지상의 객체들의 자동 구성(framing)을 제공하고, 객체들의 평면(planimetric) 라인들을 검출하는 단계, 이미지들을 분할하는 단계 및 이미지들을 병합하는 단계를 포함한다. 여기서 이미지들을 배경(background) 영역과 복수 개의 전경(foreground) 영역들로 분할하기 위하여, 일관성(coherent) 있는 구성 요소들을 찾는 알고리즘이 사용된다. 또한 전경 영역들을 병합하기 위하여, 전경 영역들 사이의 거리가 계산되고, 만약 거리가 기설정된 값보다 작으면, 영역들의 병합이 수행된다. 게다가, 상기 방법은 윤곽 크기의 평가를 기초로 더 작은 영역을 더 큰 영역과 병합하는 동시에 이러한 병합의 편의를 체크 하는 것을 제공한다. 만일 해당 객체의 너비(width)와 길이(length)가 미리 설정된 값을 초과하면 통합은 부적당한 것으로 간주된다. 그 크기가 대략적으로 알려진 객체의 분할을 가정할 때, 이와 같은 조건은 설명된 방법의 응용 프로그램을 제한한다.

상술한 바와 같이, 하나의 이미지에 표시된 복수 개의 객체 이미지의 분할에 대한 자동 방법의 개발과 관련된 많은 문제가 있다. 가장 복잡한 문제 중 하나는 처리 절차 중에 부분으로 분할될 수 있는, 밝은 또는 흰색의 객체 이미지 검출(detection)에 있다. 두 번째 복잡한 문제는 밀접하게 위치하는 객체 이미지의 분할(separation)에 있다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 객체 이미지의 추출(extraction)과 분할(separation)의 자동화 절차를 포함하는 결합 이미지의 편집 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지의 편집 방법은, 상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형을 표시하는 단계, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하는 단계, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하는 단계, 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 단계를 포함한다.

그리고, 상기 결합 이미지에서 상기 객체 이미지의 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계;를 더 포함하며, 상기 표시하는 단계는, 상기 결정된 상기 꼭지점의 좌표에 따라 상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형을 표시할 수 있다.

또한, 상기 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계는, 기설정된 해상도로 상기 결합 이미지를 스케일링하는 단계, 상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하는 단계, 상기 이진 이미지에서 전경(foreground)과 배경(background)의 영역을 검출하는 단계, 기설정된 카테고리에 따라 상기 영역을 분류하는 단계, 상기 분류 결과에 기초하여 상기 전경의 영역을 그룹으로 병합하는 단계 및 상기 병합된 각 그룹에 대한 상기 윤곽 직사각형의 상기 꼭지점의 좌표를 산출하는 단계를 포함할 수 있다.

그리고, 상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하는 단계는, 상기 스케일링된 결합 이미지에 감마 보정을 적용하는 단계, 상기 감마 보정이 적용된 이미지를 하프 톤(half-tone) 이미지로 변환하는 단계, 상기 하프 톤 이미지에서 에지를 검출하는 단계, 상기 하프 톤 이미지의 임계값 처리를 수행하는 단계, 상기 검출된 에지를 포함하는 하프 톤 이미지의 각각의 픽셀과 대응되는 상기 임계값 처리된 하프 톤 이미지들의 각각의 픽셀에 OR 논리 연산을 수행하여, 이진 이미지로 결합하는 단계, 상기 결합된 이진 이미지에서 영역의 크기가 기설정된 임계값을 초과하지 않는 영역을 삭제하는 단계 및 상기 결합된 이진 이미지에서 검출된 에지에 인접한 영역을 삭제하는 단계를 포함할 수 있다.

또한, 상기 기설정된 카테고리에 따라 상기 영역을 분류하는 단계는, 상기 검출된 전경 영역의 각 측면에 대한 직선 부분을 검출하는 단계, 상기 검출된 직선 부분의 파라미터를 추정하는 단계, 상기 검출된 직선 부분의 상호 배치를 산출하는 단계, 상기 산출된 상호 배치가 직사각형 형상에 해당하는 경우, 전경 영역을 직사각형 형상을 갖는 전경의 영역으로 분류하는 단계, 상기 산출된 상호 배치가 직선 형상에 해당하는 경우, 전경 영역을 직선 형상을 갖는 전경의 영역으로 분류하는 단계, 직사각형의 형상을 갖는 전경의 영역 사이의 거리가 기설정된 값을 초과하지 않는 경우, 상기 직사각형의 형상을 갖는 전경의 영역 사이에 위치한 배경의 일부를 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역으로 분류하는 단계 및 상기 분류에 따라 분류되지 않은 영역은 직사각형 형상이 아닌 형상을 갖는 전경의 영역으로 분류하는 단계를 포함할 수 있다.

그리고, 상기 분류 결과에 기초하여 상기 전경의 영역을 그룹으로 병합하는 단계는, 상기 직사각형 형상을 갖는 전경의 영역으로 분류된 전경 영역과 교차하는 다른 영역을 검출하기 위하여 직사각형 크기의 내림차순으로 교차 여부를 분석하는 단계, 상기 분석 결과, 상기 교차하는 다른 영역이 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역으로 분류된 영역이 아닌 경우, 교차되는 다른 영역을 직사각형 형상을 갖는 영역과 한 개의 그룹으로 병합하는 단계, 상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계, 상기 직사각형 형상을 갖는 영역으로 분류된 전경 영역과 상기 직선 형상을 갖는 영역으로 분류된 전경 영역과의 거리 차이 및 SKEW ANGLE 차이를 분석하는 단계, 상기 분석 결과, 상기 거리 차이 및 상기 SKEW ANGLE 차이가 기 설정된 값을 초과하지 않는 경우, 상기 직선 형상을 갖는 영역과 상기 직사각형 형상을 갖는 영역을 한 개의 그룹으로 병합하는 단계, 상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계, 직사각형 형상을 갖는 영역으로 분류된 전경 영역과의 거리가 기 설정된 값보다 작은 직사각형 형상이 아닌 형상을 갖는 전경의 영역이 검색되는 경우, 직사각형 형상이 아닌 형상을 갖는 전경의 영역과 직사각형 형상을 갖는 영역은 한 개의 그룹으로 병합하는 단계, 상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계, 직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역을 검색하는 단계, 상기 검색 결과 상기 직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역이 검색되고, 상기 영역의 크기가 기 설정된 값보다 큰 경우, 상기 영역에 대한 윤곽 직사각형의 꼭지점의 좌표를 산출하는 단계를 포함할 수 있다.

또한, 상기 기 설정된 제1 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며, 상기 기 설정된 제2 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시킬 수 있다.

그리고, 상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행될 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 GUI(Graphic User Interface)를 표시하는 디스플레이부, 상기 GUI에 대한 사용자 조작을 입력받는 사용자 인터페이스부, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하고 또는 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하며, 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 제어부를 포함하며, 상기 윤곽 직사각형은 상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 식별자일 수 있다.

또한, 상기 기 설정된 제1 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며, 상기 기 설정된 제2 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시키는 동작일 수 있다.

또한, 상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행될 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 화상형성장치는, 독취된 원고에 대응하는 복수 개의 객체 이미지를 포함하는 결합 이미지를 생성하는 스캔부, 상기 생성된 결합 이미지를 편집하는 위한 GUI(Graphic User Interface)를 표시하는 디스플레이부, 상기 GUI에 대한 사용자 조작을 입력받는 사용자 인터페이스부, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하고 또는 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하며, 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 제어부를 포함하며, 상기 윤곽 직사각형은 상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 식별자일 수 있다.

그리고, 상기 기 설정된 제1 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며, 상기 기 설정된 제2 동작은, 상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시키는 동작일 수 있다.

또한, 상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행될 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 장치에서 편집 방법을 수행하기 위한 프로그램 코드가 기록된 기록 매체에 있어서, 상기 편집 방법은, 상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형을 표시하는 단계; 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하는 단계, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하는 단계 및 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 단계를 포함한다.

상술한 본 발명의 다양한 실시 예에 따르면, GUI는 윤곽 직사각형의 꼭지점의 좌표를 자동으로 결정하는 방법을 제안한다. 이에 따르면 객체 이미지들의 추출을 자동으로 처리하는 장점을 갖으며, 사용자에 의해 빠른 속도와 최소한의 필요 동작을 제공하며, 또한 자동으로 처리된 결과를 수동으로 수정할 수 있는 유연성을 제공할 수 있다.

또한 본 발명의 다양한 실시 예에 따르면, 임의의 객체 이미지를 다수개의 부분으로 분할하거나 다수개의 객체의 이미지로 병합하는 반자동 방식을 제공할 수 있다.

또한 본 발명의 다양한 실시 예에 따르면, 분류의 결과에 따라 자동 분석의 우선 순위가 설정되므로 분할 품질을 향상시킬 수 있다.

또한 본 발명의 다양한 실시 예에 따르면, 직사각형 형상의 영역 사이에 위치한 배경 영역이 별도의 영역으로 분류되므로, 인접한 직사각형 객체들의 병합에 따른 오류를 방지할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지의 편집 방법을 구현한 그래픽 사용자 인터페이스를 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 윤곽 직사각형에 의해 표시된 객체 이미지의 식별을 위한 작업을 구현한 그래픽 사용자 인터페이스를 나타내는 도면,
도 3은 본 발명의 일 실시 예에 따른 윤곽 직사각형의 크기와 각도를 조정하는 작업을 설명하는 도면,
도 4는 본 발명의 일 실시 예에 따른 객체 이미지를 분할하고 여러 개의 객체 이미지를 병합하는 반자동 작업을 설명하는 도면,
도 5는 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 장치를 나타내는 블록도,
도 6은 본 발명의 일 실시 예에 따른 그래픽 사용자 인터페이스를 통해 객체이미지의 분할 및 병합 방법을 설명하기 위한 흐름도,
도 7은 본 발명의 일 실시 예에 따른 윤곽 직사각형의 좌표를 자동으로 결정하는 방법을 설명하기 위한 흐름도,
도 8은 본 발명의 일 실시 예에 따른 최초 결합 이미지를 이진 이미지로 변환하는 방법을 설명하기 위한 흐름도,
도 9는 본 발명의 일 실시 예에 따른 이진 이미지에서 영역을 분류하는 방법을 설명하는 흐름도,
도 10은 도 10은 본 발명의 일 실시 예에 따른 분류 결과를 나타내는 도면,
도 11은 본 발명의 일 실시 예에 따른 그룹에서 일관성 있는 영역을 병합하는 방법을 설명하는 흐름도,
도 12는 본 발명의 일 실시 예에 따른 그룹에서 일관성 있는 영역의 병합을 반복하는 방법을 설명하는 흐름도이다.

이하, 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지의 편집 방법을 구현한 그래픽 사용자 인터페이스를 나타내는 도면이다. 여기서 편집 방법을 구현하기 위한 그래픽 사용자 인터페이스는 화상형성장치 또는 사용자 단말 장치에 의해서 수행될 수 있다. 또한 결합 이미지는 바람직하게는 화상형성장치의 스캔부에 복수 개의 원고를 이격시켜 배치한 후, 스캔 동작을 통하여 생성된 스캔 이미지일 수 있다. 이 경우, 복수 개의 객체 이미지는 각각의 복수 개의 원고의 스캔에 따라 형성된 이미지일 수 있다. 다만 이에 한정되는 것은 아니고, 결합 이미지는 화상형성장치/사용자 단말 장치에 기저장된 편집 가능한 이미지 또는 화상형성장치/사용자 단말 장치와 연결된 외부기기로부터 전송된 편집 가능한 이미지일 수 있다.

객체 이미지는 사진, 메모, 도서 페이지, 비즈니스 카드, 수표, 등에 대한 이미지일 수 있다.

여기서 화상형성장치는 컴퓨터와 같은 단말장치에서 생성된 인쇄 데이터를 기록 용지에 인쇄하는 장치를 의미한다. 이러한 화상형성장치의 예로는 복사기, 프린터, 팩시밀리 또는 이들의 기능을 하나의 장치를 통해 복합적으로 구현하는 복합기(Multi Function Peripheral: MFP) 등을 들 수 있다.

또한 사용자 단말 장치는 개인용 컴퓨터, PDA(Personal Digital Assistant), 랩탑(Laptop), 노트북, 태블릿 컴퓨터, 휴대용 단말기(예를 들어, 모바일 단말 장치 등) 등 일 수 있다.

도 1을 참조하면, 결합 이미지를 편집하기 위한 그래픽 사용자 인터페이스(101)는 결합 이미지에 대한 미리 보기 영역(102), 자동적으로 식별되고 그 후에 사용자에 의해 수동적으로 편집되는 윤곽 직사각형(103), 결합 이미지에 포함된 객체 이미지(104), 옵션 파라미터를 설정하는 영역(105), 커서(110), 추출된 객체 이미지를 순차적으로 표시하는 영역(111)을 포함할 수 있다. 또한 옵션 파라미터를 설정하는 영역(105)은 입력 이미지의 타입을 설정하는 영역(106), 문서 크기를 설정하는 영역(107), 문서 입력 소스를 선택하기 위한 영역(108), 스캔 해상도를 선택하기 위한 영역(109)을 포함한다. 여기서 윤곽 직사각형(103)은 최초 결합 이미지에서 추출될 부분을 결정한다.

한편, 그래픽 사용자 인터페이스는 윤곽 직사각형(103)의 꼭지점의 자동 계산을 수행함에 있어서 발생 가능한 에러의 보정과 사용자 선호의 실현을 위해, 최초 결합 이미지에서 윤곽 직사각형(103)의 크기, skew 각도 및 위치의 조정을 수행할 수 있는 윤곽 직사각형(103) 편집의 작업을 위한 환경을 제공할 수 있다.

여기서 도 1의 그래픽 사용자 인터페이스는 그래픽 사용자 인터페이스 구성의 일 예를 도시한 것일 뿐이므로, 그래픽 사용자 인터페이스 구성 및 메뉴 구성은 다양한 형태로 변형될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 윤곽 직사각형에 의해 표시된 객체 이미지의 식별을 위한 작업을 구현한 그래픽 사용자 인터페이스를 나타내는 도면이다. 도 2를 참조하면, 결합 이미지에 대한 미리 보기 영역(201), 변형된 윤곽 직사각형(202), 커서(203)를 포함한다. 결합 이미지에 대한 미리 보기 영역(201)에서 커서(203)를 통하여 객체 이미지가 선택되면, 선택된 객체 이미지에 대응되는 윤곽 직사각형이 변형되어 변형된 윤곽 직사각형(202)로 표시된다. 여기서 변형된 윤곽 직사각형(202)은 커서(203)의 편집 과정(예를 들어, 선택된 객체 이미지를 다시 재선택하는 경우)을 통하여 다시 변형 전의 윤곽 직사각형으로 되돌아갈 수 있다.

또한 변형된 윤곽 직사각형은 그 크기, 각도 및 위치 등을 조정할 수 있다. 다만 이에 한정되는 것은 아니고, 구현 예에 따라서는, 윤곽 직사각형이 변형되지 않은 상태에서도 조정할 수 있도록 구현할 수 있다.

또한 여기서 그래픽 사용자 인터페이스의 구현을 위해 마우스, 키보드, 터치 스크린 등 사용자가 함께 공동 운영을 허용하는 다른 유사한 사용자 인터페이스 장치를 사용할 수 있다. 이 경우, 마우스를 통해 윤곽 직사각형을 변형하는 작업은 마우스 버튼을 누르거나 해제하는 것(클릭킹)에 의해 수행될 수 있다. 또한 터치 스크린이 사용되는 경우, 그래픽 사용자 인터페이스에서 커서는 표시되지 않을 수 있다.

도 3은 본 발명의 일 실시 예에 따른 윤곽 직사각형의 크기와 각도를 조정하는 작업을 설명하는 도면이다. 도 3을 참조하면, 윤곽 직사각형(301)의 조정은 커서(310)를 제어하는 사용자 인터페이스 장치의 상호 작용과 특수 라벨들에 의해 수행될 수 있다. 이러한 라벨은 일반적으로 윤곽 사각형들의 꼭지점(302) 및 윤곽 사각형의 양쪽 꼭지점의 중앙(303)에 배치될 수 있다. 여기서 라벨들은 윤곽 직사각형(301)에서 쉽게 구별되도록 표시하는 것이 바람직하다.

여기서 라벨들은 윤곽 직사각형(301) 편집 과정에서 두 가지 유형(크기 및 각도의 조정)의 작업 수행하는 데 사용될 수 있다. 또한 여기서 두 가지 유형 중 하나의 활성화 작업은 선택한 라벨과 커서(310) 사이의 거리에 따라 달라질 수 있다.

즉 도 3(a)와 같이, 커서(310)와 윤곽 직사각형의 꼭지점(302)에 있는 라벨사이의 거리가 기설정된 값 이하인 경우, 윤곽 직사각형(301)의 크기를 조정하는 모드가 활성화될 수 있다. 이 경우, 도 3(b)와 같이, 윤곽 직사각형의 꼭지점(302)에 있는 라벨들은 윤곽 직사각형(301)의 크기의 비례 변경을 수행할 수 있다.

또한 도 3(c)와 같이, 커서(310)와 윤곽 직사각형의 양쪽 꼭지점의 중앙(303)에 있는 라벨사이의 거리가 기설정된 값 이하인 경우, 윤곽 직사각형(301)의 크기를 조정하는 모드가 활성화될 수 있다. 이 경우, 도 3(d)와 같이, 윤곽 직사각형의 양쪽 꼭지점의 중앙(302)에 있는 라벨들은 윤곽 직사각형(301)의 크기의 한 방향으로 변경을 수행할 수 있다.

또한 도 3(e)와 같이, 커서(310)와 윤곽 직사각형의 꼭지점(302)에 있는 라벨사이의 거리가 기설정된 값을 초과하는 경우, 윤곽 직사각형(301)의 각도를 조정하는 모드가 활성화될 수 있다. 이 경우, 회전의 중심은 도 3(f)와 같이, 선택된 라벨의 대각선에 위치하는 윤곽 직사각형(301)의 왼쪽 상단 꼭지점에 할당될 수 있다. 다만, 이에 한정되는 것은 아니고 사용자의 선택에 따라, 사용자 인터페이스 장치를 통하여 회전 중심의 위치를 변경할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 객체 이미지를 분할하고 여러개의 객체이미지를 병합하는 반자동 작업을 설명하는 도면이다. 도 4를 참조하면, 두 개의 객체 이미지(401, 402)를 포함하는 한 개의 윤곽 직사각형을 각각의 객체 이미지를 포함하는 윤곽 직사각형으로 분할하는 작업(도 4(a),(b))과, 각각의 객체 이미지(405,406)를 포함하는 윤곽 직사각형을 병합하여 한 개의 윤곽 직사각형으로 병합하는 작업(도 4(c),(d))을 나타내고 있다.

여기서 분할 작업은 사용자 인터페이스 장치에 의해 "드래그" / "이동"의 행동에 대응하여 수행될 수 있다. 즉 분할 작업은 윤곽 직사각형의 내부 부분에서 시작되고 윤곽 직사각형이 점유하지 않은 이미지의 자유 위치에서 끝날 수 있다. 도 4(a)와 에서, 검은 색상의 커서(403)는 "끌기"의 동작의 시작 부분에 위치에 해당하며, 회색 색상의 커서(404)는 이 작업의 예측 가능한 최종 위치에 해당한다. 드래그가 완료되면, 도 4(a)와 같은 두 개의 객체 이미지(401, 402)를 포함하는 한 개의 윤곽 직사각형이 도 4(b)와 같이 각각의 객체 이미지를 포함하는 윤곽 직사각형으로 분할될 수 있다.

또한 병합 작업도 사용자 인터페이스 장치에 의해 "드래그" / "이동"의 행동에 대응하여 수행될 수 있다. 즉 병합 작업은 첫 번째 객체 이미지(406)의 윤곽 직사각형의 윤곽 직사각형의 내부 부분에서 시작하여 두 번째 객체 이미지(405)의 윤곽 직사각형의 내부 부분에서 종료될 수 있다. 도 4(c)에서, 검은 색상의 커서(407)는 "끌기"의 동작의 시작 부분에 위치에 해당하며, 회색 색상의 커서(408)는 이 작업의 예측 가능한 최종 위치에 해당한다. 드래그가 완료되면, 도 4(c)와 같은 각각의 객체 이미지(405, 406)를 포함하는 윤곽 직사각형이 도 4(d) 같은 한 개의 윤곽 직사각형으로 병합될 수 있다.

다만 이에 한정되는 것은 아니고, 구현 방법에 따라 다양한 방식으로 병합 및 분할을 수행할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 장치를 나타내는 블록도이다. 도 5를 참조하면, 장치(500)는 데이터 버스(501), 입력부(502), 사용자 인터페이스부(503), 디스플레이부(504), 저장부(505), 제어부(506)의 전부 또는 일부를 포함할 수 있다. 여기서 장치(500)는 사용자 단말 장치 또는 화상형성장치일 수 있다. 만약 장치(500)가 화상형성장치로 구현되는 경우, 입력부(502)는 원고를 독취하는 스캔부로 구현될 수 있고, 독취된 이미지를 인쇄하는 인쇄부(미도시)를 더 포함할 수 있다.

데이터 버스(501)는 각 모듈간의 데이터 전송을 수행하는 통로 역할을 수행한다.

입력부(502)는 복수 개의 객체 이미지를 포함하는 결합 이미지를 입력받을 수 있다. 만약, 장치(500)가 사용자 단말 장치로 구현되는 경우, 입력부(502)는 사용자 단말 장치에 연결된 화상형성장치로부터 스캔된 결합 이미지를 입력받을 수 있다. 이 경우 입력부(502)는 입력받은 스캔된 결합 이미지를 제어부(506)에 제공할 수 있다.

만약, 장치(500)가 화상형성장치로 구현되는 경우, 입력부(502)는 원고를 독취하는 스캔부로 구현될 수 있고, 이에 따라 스캔된 결합 이미지가 생성되면, 스캔부는 생성된 결합 이미지를 제어부(506)에 제공할 수 있다.

다만, 이에 한정되는 것은 아니고, 결합 이미지는 화상형성장치/사용자 단말 장치의 저장부(505) 기 저장되어 있을 수 있고, 이미지 화상형성장치/사용자 단말 장치와 연결된 외부기기를 통해서 제공될 수 있다.

사용자 인터페이스부(503)는 장치(500)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있도록 하는 기능을 한다. 특히 사용자는 사용자 인터페이스부(503)를 통하여 상술한 그래픽 사용자 인터페이스에 대한 조작을 수행할 수 있다.

여기서, 사용자 인터페이스부(503)는 터치패드 등과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수도 있고, 마우스, 키보드 등과 같은 입력 장치 및 CRT모니터, LCD모니터, LED등과 같은 표시장치를 결합하여 구현될 수도 있다.

디스플레이부(504)는 화면을 표시하는 기능을 수행한다. 특히 디스플레이부(504)는 상술한 그래픽 사용자 인터페이스를 표시할 수 있다.

여기서 디스플레이부(504)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명 디스플레이 중에서 적어도 하나로 구현될 수 있다.

저장부(505)는 장치(500)의 동작에 필요한 다양한 프로그램 및 데이터를 저장하는 기능을 수행한다.

여기서 저장부(120)는 여기서, 저장부(220)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드 등과 같은 내장된 형태의 저장소자는 물론, USB 메모리, CD-ROM 등과 같은 착탈가능한 형태의 저장소자로 구현될 수도 있다.

제어부(506)는 장치(500)의 전반적인 동작을 제어한다. 구체적으로 제어부(505)는 데이터 버스(501), 입력부(502), 사용자 인터페이스부(503), 디스플레이부(504), 저장부(505)의 전부 또는 일부를 제어할 수 있다.

특히 제어부(506)는 결합 이미지에 포함된 복수 개의 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 자동으로 결정할 수 있다. 구체적으로 제어부(506)는 도 7, 8, 9, 11와 같은 동작을 수행하도록 장치(500)를 제어함으로써 상술한 기능을 수행할 수 있다. 이에 대해서는 도 7, 8, 9, 11을 참조하여 후술하기로 한다.

또한 제어부(506)는 결정된 꼭지점의 좌표에 따라 복수 개의 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형을 표시하도록 디스플레이부(504)를 제어할 수 있다.

또한 제어부(506)는 사용자 인터페이스부(503)를 통해 선택된 객체 이미지에 기설정된 제1 동작이 수행되면, 제1 동작에 대한 응답으로 선택된 객체 이미지를 적어도 두 개의 객체 이미지로 분할할 수 있다.

여기서 제1 동작은 선택된 객체 이미지에서 시작되고, 선택된 객체 이미지에 대한 윤곽 직사각형이 점유하는 않은 영역에서 끝나는 드래그 및 드롭(drag and drop)동작일 수 있다.

또한 제어부(506)는 사용자 인터페이스부(503)를 통해 선택된 객체 이미지에 기설정된 제2 동작이 수행되면, 제2 동작에 대한 응답으로 선택된 객체 이미지를 다른 객체 이미지와 병합할 수 있다.

여기서 제2 동작은 선택된 객체 이미지에서 시작되고, 선택된 객체 이미지와 다른 객체 이미지에서 끝나는 드래그 및 드롭 동작일 수 있다.

또한 제어부(506)는 분할 및 병합 중 적어도 하나의 동작이 수행된 경우, 결합 이미지에서 객체 이미지를 결정하는 윤곽 직사각형의 꼭지점의 좌표를 업데이트할 수 있다.

또한 제어부(506)는 윤곽 직사각형의 업데이트된 꼭지점의 좌표에 따라 객체 이미지를 추출할 수 있다.

여기서 제어부(506)는 CPU, 제어프로그램이 저장된 롬, 입력데이터를 기억하거나 작업관련 기억영역으로 사용되는 램을 포함할 수 있다. 여기서 CPU, 롬, 램은 내부 버스를 통해 상호 연결될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 그래픽 사용자 인터페이스를 통해 객체이미지의 분할 및 병합 방법을 설명하기 위한 흐름도이다. 도 6을 참조하면 먼저 결합 이미지를 입력받는다(S601). 그리고 결합 이미지에 포함된 복수 개의 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 자동으로 결정한다(S602). 여기서 S602 단계는, 저장부(505)에 알고리즘에 따라 제어부(506)에 의해 수행될 수 있다.

그리고, 결정된 꼭지점의 좌표에 따라 결합 이미지상에 위치하는 윤곽 직사각형을 표시한다(S603). 여기서 윤곽 직사각형은 도 1에 도시된 그래픽 사용자 인터페이스와 같이 표시될 수 있다. 만약 S602 단계의 실행 결과로서 입력된 결합 이미지가 객체를 포함하지 않으면, 이 경우 다음 단계 S603은 그래픽 사용자 인터페이스에서 윤곽 직사각형을 표시하지 않는다. 다만 이 경우, 사용자의 추가 수정이 불가능한 것은 아니다.

그 후, 사용자 인터페이스부에 의한 선택 동작이 수행되면(S604:Y), 사용자의 선택 동작에 대응하는 객체 이미지를 선택한다(S605). 여기서 사용자의 선택 동작에 대한 응답은 도 2에 도시된 그래픽 사용자 인터페이스와 같이 표시될 수 있다.

그리고 선택된 객체 이미지가 사용자 인터페이스부에 의하여 드래그 되고(S606:Y), 제1 윤곽 직사각형에 포함된 객체 이미지가 사용자 인터페이스부에 의하여 제1 윤곽 직사각형이 점유하지 않은 결합 이미지의 자유 위치 이동된다면(S607:Y), 두 개의 객체 이미지를 포함하는 한 개의 윤곽 직사각형을 각각의 객체 이미지를 포함하는 윤곽 직사각형으로 분할한다(S608).

또한, 제1 윤곽 직사각형에 포함된 객체 이미지가 사용자 인터페이스부에 의하여 제2 윤곽 직사각형의 내부 부분으로 이동된다면(S609:Y), 각각의 객체 이미지를 포함하는 제1 윤곽 직사각형, 제2 윤곽 직사각형이 한 개의 윤곽 직사각형으로 병합된다(S610).

그리고 병합 또는 분할에 따라 형성된 새로운 윤곽 직사각형의 좌표를 업데이트한다(S611).

만약 S604, S606, S607, S609 단계가 수행되지 않으면, 사용자 인터페이스부에 의한 다른 동작이 수행되는지 판단한다(S612). 만약 사용자 인터페이스부에 의한 다른 동작이 수행되지 않으면(S612:N) 종료한다. 만약 사용자 인터페이스부에 의한 다른 동작이 수행되면(S612:Y), 다시 사용자 인터페이스부에 의한 선택 동작이 수행되는지 판단한다(S604).

도 7은 본 발명의 일 실시 예에 따른 윤곽 직사각형의 좌표를 자동으로 결정하는 방법(S602)을 설명하기 위한 흐름도이다. 도 7을 참조하면, 복수 개의 객체 이미지를 포함하는 결합 이미지가 입력되면, 먼저 기설정된 해상도로 최초의 결합 이미지를 스케일링한다(S701). 여기서 기 설정된 해상도는 75DPI일 수 있으나 이에 한정되는 것은 아니다. 만약, 해상도를 낮추는 스케일을 수행하는 경우, 제어부가 윤곽 직사각형의 좌표를 자동으로 결정하는 과정에서 처리하는 연산을 줄임으로써, 소요 시간을 감소시킬 수 있다.

그리고, 스케일링된 결합 이미지를 이진(binary) 이미지로 변환한다(S702). 이에 따라 스케일링된 결합 이미지의 전경(foreground)과 배경(background)에 해당하는 각 포인트가 이진 이미지로 변환될 수 있다.

그리고, 이진 이미지에서 전경(foreground)과 배경(background)의 영역을 검출한다(S703). 구체적으로 서로 인접한 이미지의 포인트들의 혼잡도를 마킹함으로써 이진 이미지에서 전경(foreground)과 배경(background)의 영역을 검출할 수 있다.

그리고, 기설정된 카테고리에 따라 전경과 배경의 영역을 라벨링하고 분류한다(S704). 구체적으로 서로 관련성이 있는 영역은 동일한 라벨로 라벨링되어 분류될 수 있다. 여기서 이러한 라벨링은 각각의 영역의 순서를 매기는 것을 목표로 한다.

그리고, 분류 결과에 기초하여 전경의 영역을 그룹으로 병합한다(S705). 구체적으로 분류 결과에 기초하여 서로 인접한 전경의 영역을 그룹으로 병합할 수 있다.

그리고, 병합된 각 그룹에 대한 윤곽 직사각형의 꼭지점의 좌표를 산출한다(S706).

도 8은 본 발명의 일 실시 예에 따른 최초 결합 이미지를 이진 이미지로 변환하는 방법(S702)을 설명하기 위한 흐름도이다. 도 8을 참조하면, 스케일링된 결합 이미지에 감마 보정을 적용한다(S801). 그리고 감마 보정이 적용된 이미지를 하프 톤(half-tone) 이미지로 변환한다(S802).

여기서 변환된 하프 톤 이미지에서 에지를 검출한다(S803). 구체적으로 Sobelja 필터링의 결과를 기 설정된 임계값과 비교함으로써, 변환된 하프 톤 이미지에서 에지를 검출할 수 있다.

또한 변환된 하프 톤 이미지를 임계값 처리한다(S804). 구체적으로 변환된 하프톤 이미지를 기 설정된 임계값과 비교함으로써 상기 처리를 수행할 수 있다.

그리고 S803 단계에 의하여 생성된 이진 이미지 각각의 픽셀과 서로 대응되는 S804 단계에 의하여 생성된 이진 이미지 각각의 픽셀을 OR 논리 연산을 통하여 결합한다(S805).

이러한 결합은 후속 단계인 영역의 검출에 차별적인 특징을 제공할 수 있다. 에지의 검출은 밝기에 따라 임계값 처리에 손실이 있을 수 있는 밝은 객체 이미지에 대해 필요한 단계이다. 또한 밝기에 따른 임계값 처리는 지속적인 영역을 생성할 수 있는 바, 구조를 갖춘 이미지가 파편으로 분할되는 것을 방지할 수 있다.

그리고 후속의 S806, S807 단계는 결합된 이진 이미지에 있는 노이즈를 줄이기 위해 적용될 수 있다.

그리고 결합된 이진 이미지에서 영역의 크기가 기설정된 임계값을 초과하지 않는 영역을 삭제한다(S806). 여기서 결합된 이진 이미지의 크기의 기설정된 임계값은 75 DPI의 해상도로 스케일링된 이미지에서 80 픽셀로 설정될 수 있으며, 다만 이에 한정되는 것은 아니다.

그리고 결합된 이진 이미지에서 검출된 에지에 인접한 영역을 삭제한다(S807). 여기서 S807 단계는 스캔된 객체의 경계의 그림자로 인한 분할 오류를 피하기 위한 단계이다. 이러한 그림자 효과는 스캐너의 커버를 불완전하게 닫는 경우 스캔 이미지에서 종종 발생한다. 따라서 단계 S807는 그림자를 검출하여 제거할 수 있다.

이러한 S806, S807 단계는 결합된 이진 이미지에 있는 노이즈를 줄이기 위해 적용될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 이진 이미지에서 영역을 분류하는 방법(S704)을 설명하는 흐름도이다. 여기서 영역은 4 가지로 분류될 수 있다. 구체적으로 직사각형 형상을 갖는 전경의 영역, 직선 형상을 갖는 전경의 영역, 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역 및 직사각형 형상이 아닌 형상을 갖는 전경의 영역으로 분류될 수 있다.

도 9를 참조하면, 먼저, 검출된 전경 영역의 각 측면(상단, 하단 왼쪽 및 오른쪽)에 대한 직선 부분을 검출하고, 그들의 파라미터를 추정한다(S901).

여기서 직선 부분의 검출은 다음과 같은 단계로 구성될 수 있다. 먼저 전경 영역에 대한 윤곽 직사각형을 산출한다. 그리고, 상기 윤곽 직사각형의 각 측면(상단, 하단 왼쪽 및 오른쪽)으로부터 전경 영역의 픽셀에 가장 가까운 거리를 산출한다. 여기서 영역의 가장 가까운 픽셀은 수평 또는 수직 방향을 따라 결정될 수 있다. 그리고 산출된 거리에 대한 배열(array)의 파생물을 산출한다. 그리고, 배열의 파생물 내에서 직선 구간을 선택하고 각 직선 구간에 대한 값을 계산한다. 그리고, 상기 직선 구간의 요약 길이(summary length) 값이 미리 설정된 값을 초과하면, 상기 직선 구간을 검출된 전경 영역의 각 측면(상단, 하단 왼쪽 및 오른쪽)에 대한 직선 부분을 검출하고, 그들의 파라미터를 계산한다. 다만, 직선 부분의 검출은 상술한 방법에 한정되는 것은 아니고, Hough transformation과 같은 다양한 방법을 적용하여 수행될 수 있다.

그리고, 검출된 직선 부분의 배열이 직사각형의 형상에 맞는지 판단한다(S902). 여기서 직사각형 형상은 최소한 두 직선 부분이 검출되고, 직선 부분의 교차선 사이의 각도는 약 90도이며, 타측 라인도 약 90도를 갖는 모양일 수 있다.

판단결과 검출된 직선 부분의 배열이 직사각형의 형상에 맞지 않으면(S902:N), 영역은 직사각형 형상이 아닌 형상을 갖는 전경의 영역으로 분류한다(S903).

검출된 직선 부분의 배열이 직사각형의 모양에 맞고(S902:Y), 영역의 직교하는 교차선의 차이가 기 설정된 값을 초과하는 경우(S904:Y), 현재 영역은 직선 형상을 갖는 전경의 영역으로 분류한다(S905). 예를 들어, 서로 교차하는 직선 부분의 제1 직선 부분과 제2 직선 부분의 길이 차이가 10배를 초과하는 경우, 현재 영역은 직선 형상을 갖는 전경의 영역으로 분류할 수 있다.

만약, S904를 만족하지 않으면(S904:N), 영역은 직사각형 형상을 갖는 전경의 영역으로 분류한다(S906).

그리고, 직사각형 형상을 갖는 전경의 영역의 측면에 네 개의 검출된 직선 부분을 갖으면(S907:Y), 검출된 직선 부분의 교점에서의 좌표를 산출한다(S908).

직사각형 형상을 갖는 전경의 영역의 측면에 네 개의 검출된 직선 부분을 갖지 않으면(S907:N), 프로젝션(projection)을 이용하여 좌표를 산출할 수 있다.

구체적으로 만약, 검출된 직선 부분 사이의 SKEW ANGLE이 프로젝션 프로파일과 유사하면(S909:Y), 상단 및 하단의 경계를 정하는 평균 SKEW ANGLE의 방향 프로젝션 및 왼쪽 및 오른쪽의 경계를 정하는 수직 방향 프로젝션을 이용하여 꼭지점의 좌표를 산출할 수 있다(S910).

만약, 검출된 직선 부분 사이의 SKEW ANGLE이 프로젝션 프로파일과 현저히 다르면(S909:N), 각 직선 구간에서 최소의 프로젝션 프로파일을 산출함으로써, 꼭지점의 좌표를 산출할 수 있다(S911).

그리고 직사각형 형상을 갖는 전경 영역과 다른 직사각형 형상을 갖는 전경 영역과의 거리가 기 설정된 거리보다 작은 경우(S912:Y), 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역을 별개의 영역으로 분류한다(S913). 이렇게 함으로써 전술한 S705단계에 따라 병합이 수행되는 경우, 인접하게 위치한 직사각형 형상을 갖는 전경 영역들의 병합 에러를 방지할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 분류 결과를 나타내는 도면이다. 도 10을 참조하면, 직선 형상을 갖는 전경 영역(1001,1002), 직사각형 형상을 갖는 전경 영역 (1004,1005), 직사각형 형상이 아닌 형상을 갖는 전경의 영역 (1003); 그리고 밀접하게 위치된 직사각형 형상을 갖는 전경 영역 사이에 위치하는 배경 영역(1006)을 포함한다.

도 11은 본 발명의 일 실시 예에 따른 서로 인접하는 영역을 그룹으로 병합하는 방법(S705)을 설명하는 흐름도이다. 도 11을 참조하면, 먼저, 직사각형 형상을 갖는 영역으로 분류된 전경 영역과 교차하는 다른 영역을 검출하기 위하여 직사각형의 크기의 내림차순으로 교차 여부를 분석한다(S1101).

분석 결과 상기 교차가 검출되면(S1102:Y), 교차되는 다른 영역을 직사각형 형상을 갖는 영역과 한 개의 그룹으로 병합하며, 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트한다(S1103).

여기서 윤곽 직사각형의 꼭지점 좌표의 업데이트는 다음 단계를 포함할 수 있다. 직사각형 형상을 갖는 영역으로 분류된 전경 영역과 직사각형 형상을 갖는 전경 영역 사이에 위치하는 배경 영역의 교차를 확인하는 단계; 교차하는 경우, 한 개의 그룹으로 병합을 취소하는 단계;를 포함할 수 있고, 이 경우 꼭지점의 좌표는 통합작업이 취소된 직사각형 형상을 갖는 영역의 꼭지점의 좌표일 수 있다.

여기서 S1101, S1102, S1103 단계는 모든 직사각형 형상을 갖는 전경 영역이 분석될 때까지 되풀이되어 반복될 수 있다.

그리고 직사각형 형상을 갖는 영역으로 분류된 전경 영역과 직선 형상을 갖는 영역으로 분류된 전경 영역과의 거리 차이 및 SKEW ANGLE 차이를 분석한다(S1104). 여기서 S1104 단계는 다음 단계들을 포함할 수 있다. 직선 형상을 갖는 전경의 영역으로 분류된 영역을 선택하는 단계; 선택된 영역과 가장 가까운 직사각형 형상을 갖는 영역 사이의 거리 차이를 산출하는 단계; 선택된 영역과 가장 가까운 직사각형 형상을 갖는 영역 사이의 SKEW ANGLE의 차이를 산출하는 단계를 포함할 수 있다.

분석 결과 상기 거리 차이 및 SKEW ANGLE 차이가 기 설정된 값을 초과하지 않는 경우(S1105:N), 직선 형상을 갖는 영역과 직사각형 형상을 갖는 영역은 한 개의 그룹으로 병합되며, 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트한다(S1106). 만약 S1105 단계가 만족되지 않으면(S1105:N), 한 개의 그룹으로의 병합은 취소될 수 있다.

여기서 S1104, S1105, S1106 단계는 모든 직선 형상을 갖는 전경 영역이 분석될 때까지 되풀이되어 반복될 수 있다.

또한 여기서 영역 사이의 거리 차이의 기 설정된 값은 1.5 인치이고, 영역에 대한 SKEW ANGLE 차이의 기 설정된 값은 1.15도 일 수 있다. 다만 이는 본 발명의 일 실시 예에 따른 수치일 뿐 이에 한정되는 것은 아니다.

그리고 직사각형 형상을 갖는 영역으로 분류된 전경 영역과의 거리가 기 설정된 값보다 작은 직사각형 형상이 아닌 형상을 갖는 전경의 영역을 검색한다(S1107).

검색 결과 상기 거리 차이가 기 설정된 값보다 작은 경우(S1108:Y), 직사각형 형상이 아닌 형상을 갖는 전경의 영역과 직사각형 형상을 갖는 영역은 한 개의 그룹으로 병합되며, 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트한다(S1109). 만약 S1108 단계가 만족되지 않으면(S1108:N), 한 개의 그룹으로의 병합은 취소될 수 있다.

여기서 S1107, S1108, S1109 단계는 모든 비 분류 영역이 분석될 때까지 되풀이되어 반복될 수 있다.

또한 여기서 영역 사이의 거리 차이는 0.33 인치일 수 있다. 다만 이는 본 발명의 일 실시 예에 따른 수치일 뿐 이에 한정되는 것은 아니다.

그리고 직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역을 검색한다(S1110).

검색 결과 상기 직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역이 검색되고, 상기 영역의 크기가 기 설정된 값보다 큰 경우(S1111:Y), 상기 영역에 대한 윤곽 직사각형의 꼭지점의 좌표를 산출한다(S1112).

도 12는 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 서로 인접하는 영역을 그룹으로 병합하는 방법을 설명하는 흐름도이다. 도 12와 같이 인접합 영역의 병합은 영역 1201에서 시작되고 윤곽 직사각형에 인접하거나 또는 교차하는 영역이 한 그룹에 병합될 때까지 계속될 수 있다.

한편, 상술한 본 발명의 일 실시 예에 따른 윤곽 직사각형을 위한 자동 생성 절차는 사용자의 개입을 요구하지 않는다. 그럼에도 불구하고, 사용자는 필요한 경우 자동으로 생성되는 결과에서 분할 또는 병합 동작(도 4. 4.1 및 4.2 참조)을 수행할 수 있다. 특히 결합 이미지의 영역을 분할하여 별개의 요소로 만드는 것을 다루는 단계는 다음 작업에 의해 수행될 수 있다.

선택된 객체의 윤곽 직사각형 내에 있는 영역을 선택한다. 만약 선택된 영역의 수가 한 개인 경우, 분할이 불가능한 것으로 간주되고 절차는 종료된다.

만약, 선택된 영역의 수가 두 개인 경우, 윤곽 직사각형의 꼭지점의 좌표는 산출되고 종료된다. 그렇지 않으면, 직사각형 객체로 분류되는 이들만을 고려하여 선택된 영역의 수를 판단한다.

만약, 선택된 영역의 수가 두 개를 초과하는 경우, 윤곽 직사각형의 꼭지점의 좌표는 가능한 교차에 무관하게 계산되고, 절차는 종료된다. 그렇지 않으면, 선택된 영역은 S705 단계에 따라 그룹으로 병합되고, 절차는 마지막에 종료되지만, 하나의 그룹으로 영역의 병합은 반복된다. 영역 및 그룹에 대한 결과로서, 직사각형 꼭대기의 좌표는 가능한 교차로와 무관하게 계산되며, 절차는 종료된다.

S608 단계에 따른 분할 절차가 실패한 경우, 원래 윤곽 직사각형은 변경되지 않고 남고, 분할 절차가 성공한 경우, 최소한 두 객체로, 원래의 직사각형은 생성된 윤곽 직사각형의 결합으로 대체된다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 편집 방법은, 프로그램 코드로 구현되어 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

이에 따라, 이러한 기록 매체가 연결되거나 탑재되는 장치에서 상술한 편집 방법이 실행될 수 있도록, 프로그램이 설치될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

500 : 사용자 단말 장치 501 : 데이터 버스
502 : 입력부 503 : 사용자 인터페이스부
504 : 디스플레이부 505 : 저장부
506 : 제어부

Claims (15)

1. 복수 개의 객체 이미지를 포함하는 결합 이미지의 편집 방법에 있어서,
   상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계;
   상기 결정된 상기 윤곽 직사각형의 꼭지점의 좌표에 따라 상기 윤곽 직사각형을 표시하는 단계;
   상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 상기 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하는 단계;
   상기 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하는 단계;
   상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 단계; 를 포함하고,
   상기 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계는,
   기설정된 해상도로 상기 결합 이미지를 스케일링 하는 단계;
   상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하는 단계; 및
   기설정된 카테고리에 따라 상기 이진(binary) 이미지의 분류 영역을 기준으로 결정된 그룹을 이용하여 상기 윤곽 직사각형의 꼭지점의 좌표를 산출하는 단계;를 포함하는 편집 방법.
2. 삭제
3. 제1항에 있어서,
   상기 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계는,
   상기 이진 이미지에서 전경(foreground)과 배경(background)의 영역을 검출하는 단계;
   기설정된 카테고리에 따라 상기 영역을 분류하는 단계; 및
   상기 분류 결과에 기초하여 상기 전경의 영역을 그룹으로 병합하는 단계;를 더 포함하는 편집 방법.
4. 제1항에 있어서,
   상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하는 단계는,
   상기 스케일링된 결합 이미지에 감마 보정을 적용하는 단계;
   상기 감마 보정이 적용된 이미지를 하프 톤(half-tone) 이미지로 변환하는 단계;
   상기 하프 톤 이미지에서 에지를 검출하는 단계;
   상기 하프 톤 이미지의 임계값 처리를 수행하는 단계;
   상기 검출된 에지를 포함하는 하프 톤 이미지의 각각의 픽셀과 대응되는 상기 임계값 처리된 하프 톤 이미지들의 각각의 픽셀에 OR 논리 연산을 수행하여, 이진 이미지로 결합하는 단계;
   상기 결합된 이진 이미지에서 영역의 크기가 기설정된 임계값을 초과하지 않는 영역을 삭제하는 단계; 및
   상기 결합된 이진 이미지에서 검출된 에지에 인접한 영역을 삭제하는 단계;를 포함하는 것을 특징으로 하는 편집 방법.
5. 제3항에 있어서,
   상기 기설정된 카테고리에 따라 상기 영역을 분류하는 단계는,
   상기 검출된 전경 영역의 각 측면에 대한 직선 부분을 검출하는 단계;
   상기 검출된 직선 부분의 파라미터를 추정하는 단계;
   상기 검출된 직선 부분의 상호 배치를 산출하는 단계;
   상기 산출된 상호 배치가 직사각형 형상에 해당하는 경우, 전경 영역을 직사각형 형상을 갖는 전경의 영역으로 분류하는 단계;
   상기 산출된 상호 배치가 직선 형상에 해당하는 경우, 전경 영역을 직선 형상을 갖는 전경의 영역으로 분류하는 단계;
   직사각형의 형상을 갖는 전경의 영역 사이의 거리가 기설정된 값을 초과하지 않는 경우, 상기 직사각형의 형상을 갖는 전경의 영역 사이에 위치한 배경의 일부를 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역으로 분류하는 단계; 및
   상기 분류에 따라 분류되지 않은 영역은 직사각형 형상이 아닌 형상을 갖는 전경의 영역으로 분류하는 단계;를 포함하는 것을 특징으로 하는 편집 방법.
6. 제5항에 있어서,
   상기 분류 결과에 기초하여 상기 전경의 영역을 그룹으로 병합하는 단계는,
   상기 직사각형 형상을 갖는 전경의 영역으로 분류된 전경 영역과 교차하는 다른 영역을 검출하기 위하여 직사각형 크기의 내림차순으로 교차 여부를 분석하는 단계;
   상기 분석 결과, 상기 교차하는 다른 영역이 직사각형 형상을 갖는 영역 사이에 위치하는 배경 영역으로 분류된 영역이 아닌 경우, 교차되는 다른 영역을 직사각형 형상을 갖는 영역과 한 개의 그룹으로 병합하는 단계;
   상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계;
   상기 직사각형 형상을 갖는 영역으로 분류된 전경 영역과 상기 직선 형상을 갖는 영역으로 분류된 전경 영역과의 거리 차이 및 SKEW ANGLE 차이를 분석하는 단계;
   상기 분석 결과, 상기 거리 차이 및 상기 SKEW ANGLE 차이가 기 설정된 값을 초과하지 않는 경우, 상기 직선 형상을 갖는 영역과 상기 직사각형 형상을 갖는 영역을 한 개의 그룹으로 병합하는 단계;
   상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계;
   직사각형 형상을 갖는 영역으로 분류된 전경 영역과의 거리가 기 설정된 값보다 작은 직사각형 형상이 아닌 형상을 갖는 전경의 영역이 검색되는 경우, 직사각형 형상이 아닌 형상을 갖는 전경의 영역과 직사각형 형상을 갖는 영역은 한 개의 그룹으로 병합하는 단계;
   상기 병합에 따라 윤곽 직사각형의 꼭지점의 좌표를 업데이트하는 단계;
   직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역을 검색하는 단계;
   상기 검색 결과 상기 직사각형 형상을 갖는 영역과 그룹핑 되지 않은 직사각형 형상이 아닌 형상을 갖는 전경의 영역이 검색되고, 상기 영역의 크기가 기 설정된 값보다 큰 경우, 상기 영역에 대한 윤곽 직사각형의 꼭지점의 좌표를 산출하는 단계;를 포함하는 것을 특징으로 하는 편집 방법.
7. 제1항에 있어서,
   상기 기 설정된 제1 동작은,
   상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며,
   상기 기 설정된 제2 동작은,
   상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시키는 동작인 것을 특징으로 하는 편집 방법.
8. 제7항에 있어서,
   상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행되는 것을 특징으로 하는 편집 방법.
9. 사용자 단말 장치에 있어서,
   복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 GUI(Graphic User Interface)를 표시하는 디스플레이부;
   상기 GUI에 대한 사용자 조작을 입력받는 사용자 인터페이스부;
   상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 결정하고, 상기 결정된 상기 윤곽 직사각형의 꼭지점의 좌표에 따라 상기 윤곽 직사각형을 표시하도록 상기 디스플레이부를 제어하고, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면 상기 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하고, 상기 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하고, 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시가 갱신되도록 상기 디스플레이부를 제어하는 제어부;를 포함하며,
   상기 제어부는,
   기설정된 해상도로 상기 결합 이미지를 스케일링 하고, 상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하며, 기설정된 카테고리에 따라 상기 이진(binary) 이미지의 분류 영역을 기준으로 결정된 그룹을 이용하여 상기 윤곽 직사각형의 꼭지점의 좌표를 산출하는 사용자 단말 장치.
10. 제9항에 있어서,
    상기 기 설정된 제1 동작은,
    상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며,
    상기 기 설정된 제2 동작은,
    상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시키는 동작인 것을 특징으로 하는 사용자 단말 장치.
11. 제10항에 있어서,
    상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행되는 것을 특징으로 하는 사용자 단말 장치.
12. 화상형성장치에 있어서,
    독취된 원고에 대응하는 복수 개의 객체 이미지를 포함하는 결합 이미지를 생성하는 스캔부;
    상기 생성된 결합 이미지를 편집하는 위한 GUI(Graphic User Interface)를 표시하는 디스플레이부;
    상기 GUI에 대한 사용자 조작을 입력받는 사용자 인터페이스부;
    상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 결정하고, 상기 결정된 상기 윤곽 직사각형의 꼭지점의 좌표에 따라 상기 윤곽 직사각형을 표시하도록 상기 디스플레이를 제어하고, 상기 윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면 상기 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하고, 상기 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하고, 상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신되도록 상기 디스플레이부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    기설정된 해상도로 상기 결합 이미지를 스케일링 하고, 상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하며, 기설정된 카테고리에 따라 상기 이진(binary) 이미지의 분류 영역을 기준으로 결정된 그룹을 이용하여 상기 윤곽 직사각형의 꼭지점의 좌표를 산출하는 화상형성장치
13. 제12항에 있어서,
    상기 기 설정된 제1 동작은,
    상기 선택된 객체 이미지를 포함하는 윤곽 직사각형이 점유하지 않는 상기 결합 이미지의 자유 위치로 상기 선택된 객체 이미지를 이동시키는 동작이며,
    상기 기 설정된 제2 동작은,
    상기 선택된 객체 이미지를 포함하는 윤곽 직사각형와 다른 윤곽 직사각형 내부로 이동시키는 동작인 것을 특징으로 하는 화상형성장치.
14. 제13항에 있어서,
    상기 이동시키는 동작은 드래그 및 드롭(drag and drop)동작에 의하여 수행되는 것을 특징으로 하는 화상형성장치.
15. 복수 개의 객체 이미지를 포함하는 결합 이미지를 편집하기 위한 장치에서 편집 방법을 수행하기 위한 프로그램 코드가 기록된 기록 매체에 있어서,
    상기 편집 방법은,
    상기 결합 이미지 내의 상기 객체 이미지에 대한 윤곽을 형성하는 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계;
    상기 결정된 상기 윤곽 직사각형의 꼭지점의 좌표에 따라 상기 윤곽 직사각형을 표시하는 단계;
    윤곽 직사각형 내에 위치한 객체 이미지 중 선택된 객체 이미지에 기 설정된 제1 동작이 수행되면, 상기 선택된 객체 이미지와 상기 윤곽 직사각형 내에 위치한 다른 객체 이미지를 분할하는 단계;
    상기 선택된 객체 이미지에 기 설정된 제2 동작이 수행되면, 상기 선택된 객체 이미지를 상기 윤곽 직사각형과 다른 윤곽 직사각형에 위치한 객체 이미지와 병합하는 단계; 및
    상기 분할 또는 병합에 따라 상기 윤곽 직사각형의 표시를 갱신하는 단계;를 포함하고,
    상기 윤곽 직사각형의 꼭지점의 좌표를 결정하는 단계는,
    기설정된 해상도로 상기 결합 이미지를 스케일링 하는 단계;
    상기 스케일링된 결합 이미지를 이진(binary) 이미지로 변환하는 단계; 및
    기설정된 카테고리에 따라 상기 이진(binary) 이미지의 분류 영역을 기준으로 결정된 그룹을 이용하여 상기 윤곽 직사각형의 꼭지점의 좌표를 산출하는 단계;를 포함하는 기록 매체.

Images