KR101968954B1 - 이미지 처리 방법 및 이를 이용한 장치 - Google Patents

이미지 처리 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR101968954B1
KR101968954B1 KR1020170119724A KR20170119724A KR101968954B1 KR 101968954 B1 KR101968954 B1 KR 101968954B1 KR 1020170119724 A KR1020170119724 A KR 1020170119724A KR 20170119724 A KR20170119724 A KR 20170119724A KR 101968954 B1 KR101968954 B1 KR 101968954B1
Authority
KR
South Korea
Prior art keywords
image
merged
area
merging
images
Prior art date
Application number
KR1020170119724A
Other languages
English (en)
Other versions
KR20190031813A (ko
Inventor
박지훈
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020170119724A priority Critical patent/KR101968954B1/ko
Publication of KR20190031813A publication Critical patent/KR20190031813A/ko
Application granted granted Critical
Publication of KR101968954B1 publication Critical patent/KR101968954B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

본 발명은 이미지 병렬 처리를 통한 객체 인식을 위해 복수의 이미지들을 병합하여 이미지를 처리하는 방법 및 그 장치에 대한 것으로서, 본 발명의 실시예에 따른 이미지 처리 방법은 상기 복수의 이미지를 수집하는 단계; 수집된 상기 복수의 이미지가 병합 영역의 공백 영역에 포함되도록 상기 복수의 이미지를 병합하되, 상기 공백 영역에 이미지가 포함되도록 병합할 수 없다면 상기 병합 영역을 확장하여 이미지를 병합함으로써 병합 영역을 형성하는 단계; 및 병합된 이미지들을 객체 추출부에 제공하는 단계; 를 포함할 수 있다.

Description

이미지 처리 방법 및 이를 이용한 장치{IMAGE PROCESS METHOD AND APPARATUS USING THEREOF}
본 발명은 이미지 처리 방법 및 이를 이용한 장치에 대한 것으로서, 보다 구체적으로는 객체 인식을 위해 복수의 이미지들을 병합하여 이미지를 처리하는 방법 및 그 장치에 대한 것이다.
객체 인식은 이미지로부터 추출하고자 하는 목표 객체의 영역을 인식하고, 해당 영역에 대한 정보를 추출하는 기술을 일컫는다. 특히, 인터넷의 발달과 문화 산업의 발달로 인해 다양한 이미지 콘텐츠가 제작되어 공유되고 있는 현실에서, 다양한 이미지들로부터 보다 빠른 속도로 목표 객체를 추출하기 위한 방법이 요구된다. 이에 수집된 이미지로부터 객체 인식을 위한 다양한 알고리즘이 제시되고 있다.
객체 인식 알고리즘은 그 특성상 반복되는 다량의 연산을 요구하고, 이러한 연산 처리를 위하여 그래픽 처리 장치(Graphic Process Unit, 이하 GPU)가 사용되고 있다. 객체 인식을 위해 필요한 연산을 처리하기 위해선 GPU에 객체 인식이 요구되는 이미지를 입력하거나 객체 인식이 수행된 결과가 GPU로부터 출력되는 과정이 요구된다. 이러한 과정은 객체 인식이 요구되는 이미지가 다수 일수록 빈번하게 발생하게 되므로 그에 따른 I/O 시간(Input/Output Time)이 증가하는 문제점이 있다.
상기한 문제점을 해결하기 위해 복수의 이미지를 하나로 병합하여 GPU로 전송하고, 병합된 이미지들로부터 복수의 객체를 인식하는 병렬 이미지 처리 방법이 제안될 수 있으나, 이러한 병렬 이미지 처리를 위해 복수의 이미지를 효과적으로 병합하기 위한 방법은 아직 제안되고 있지 않은 실정이다.
한국공개공보 10-2015-0080723
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 창안된 것으로, 객체 인식을 위해 전송되는 복수의 이미지를 하나로 병합시킴으로써 이미지 데이터 전송의 빈도를 줄이는 것을 목적으로 한다.
본 발명은 이미지 데이터의 전송 빈도 감소 및 이미지 병렬 처리를 통해 객체 인식의 속도를 향상 시키는 것을 다른 목적으로 한다.
본 발명은 복수의 이미지를 병합하여 병합 영역에 최대한의 이미지를 병합할 수 있도록 공백 영역을 최소화 하는 것을 또 다른 목적으로 한다.
본 발명은 복수의 이미지를 병합할 때, 병합 영역의 크기가 유동적으로 확장될 수 있도록 함으로써 다양한 형태를 갖는 복수의 이미지를 효율적으로 병합하는 것을 또 다른 목적으로 한다.
상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 이미지 처리 방법은 상기 복수의 이미지를 수집하는 단계; 수집된 상기 복수의 이미지가 병합 영역의 공백 영역에 포함되도록 상기 복수의 이미지를 병합하되, 상기 공백 영역에 이미지가 포함되도록 병합할 수 없다면 상기 병합 영역을 확장하여 이미지를 병합함으로써 병합 영역을 형성하는 단계; 및 병합된 이미지들을 객체 추출부에 제공하는 단계; 를 포함할 수 있다.
또한, 상기한 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 이미지 처리 장치는 복수의 이미지가 저장될 수 있는 메모리; 상기 복수의 이미지를 병합 영역에 병합하는 이미지 병합부; 및 상기 이미지 병합부로부터 상기 병합 영역에 병합된 이미지들을 제공받아 목표 객체를 검출하는 객체 추출부; 를 포함하고, 상기 이미지 병합부는 상기 복수의 이미지를 수집하고, 수집된 상기 복수의 이미지가 상기 병합 영역의 공백 영역에 포함되도록 상기 복수의 이미지를 병합하되, 상기 공백 영역에 이미지가 포함되도록 병합될 수 없다면 상기 병합 영역을 확장하여 이미지를 병합할 수 있다.
본 발명은 객체 인식을 위해 전송되는 복수의 이미지를 하나로 병합시킴으로써 이미지 데이터 전송의 빈도를 줄임으로써 I/O 시간을 절감하고, 객체 인식에 소요되는 시간을 줄일 수 있는 효과가 있다.
본 발명은 이미지 데이터의 전송 빈도 감소 및 이미지 병렬 처리를 통해 객체 인식의 속도를 향상 시킴으로써 객체 인식 알고리즘의 수행시간이 경감되는 효과가 있다.
본 발명은 복수의 이미지를 병합하여 병합 영역에 최대한의 이미지를 병합할 수 있도록 공백 영역을 최소화함으로써 병렬 이미지 처리에 낭비되는 자원을 최소화 시킬 수 있다.
본 발명은 복수의 이미지를 병합할 때, 병합 영역의 크기가 유동적으로 확장될 수 있도록 함으로써 다양한 형태를 갖는 복수의 이미지를 효율적으로 병합할 수 있는 효과가 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 도시하는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 이미지 처리 방법을 도시하는 순서도이다.
도 3은 도 2의 실시예에서 병합 영역을 형성하는 방법을 보다 상세하게 설명하기 위한 순서도이다.
도 4는 도 3의 실시예에서 이미지를 병합하는 방법을 보다 상세하게 설명하기 위한 순서도이다.
도 5 내지 도 9는 도 4의 실시예에서 병합 영역을 확장하는 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 또 다른 실시예에 따라 이미지를 확장하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 방법을 도시하는 순서도이다.
도 13 내지 도 15는 도 12의 실시예에서 이미지로부터 얼굴을 인식하기 위한 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하에서는, 본 발명에 따른 이미지 처리 방법 및 이를 이용한 장치 를 예시한 실시 형태들이 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 도시하는 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 이미지 처리 장치(10)는 이미지 병합부(11), 객체 추출부(12) 및 메모리(13)를 포함할 수 있다.
이미지 병합부(11)는 복수의 이미지를 병합 영역에 병합할 수 있다. 보다 상세하게, 이미지 병합부(11)는 컴퓨터 시스템의 프로세서에 대응되는 구성으로서, 복수의 이미지를 수집하고, 수집된 이미지를 병합할 수 있다. 이미지 병합부(11)에 의해 병합된 이미지는 객체 추출부(12)에 제공될 수 있다.
객체 추출부(12)는 병합된 이미지를 이미지 병합부(11)로부터 제공받아 목표 객체를 추출할 수 있다. 보다 상세하게 객체 추출부(12)는 컴퓨터 시스템의 GPU에 대응되는 구성으로서 객체 인식 알고리즘의 수행에 필요한 다양한 반복 연산들을 수행할 수 있다. 객체 추출부(12)는 이미지 처리 과정에서 발생하는 데이터의 임시적인 저장을 위해 내부에 별도의 그래픽 메모리(미도시)를 포함할 수 있다.
메모리(13)는 이미지 병합부(11)가 수집하는 복수의 이미지들이 저장되기 위한 저장 공간일 수 있다.
여기서 목표 객체는 사용자가 인식을 원하는 다양한 객체가 대상이 될 수 있다. 예를 들어, 인물이 포함된 이미지에서 얼굴을 목표 객체로 설정하여 얼굴을 인식할 수 있고, 특정한 사물을 목표 객체로 설정하여 인식할 수 도 있다.
목표 객체를 얼굴로 설정한 경우, 객체 추출부(12)는 병합된 이미지에 포함된 복수의 이미지들로부터 얼굴이 표시된 영역을 추출할 수 있다. 그리고 객체 추출부(12)는 얼굴 영역으로부터 특징부(Landmark)를 추출하고, 추출된 특징부를 이용하여 얼굴 영역에 포함된 얼굴의 포즈(Pose)를 인식할 수 있다.
도 1에 설명된 구성들을 참조하여, 이하 본 발명의 실시예에 따른 이미지 처리 방법을 설명하기로 한다.
도 2는 본 발명의 다른 실시예에 따른 이미지 처리 방법을 도시하는 순서도이다. 도 2를 참조하면, 본 발명에 따른 이미지 처리 방법은 이미지 수집 단계(S100), 병합 영역 형성 단계(S200) 및 병합된 이미지 제공 단계(S300)를 포함할 수 있다.
본 발명의 실시예에 따른 이미지 처리 방법은 상기한 이미지 병합부(11), 객체 추출부(12) 및 메모리(13)가 연결된 이미지 처리 장치(10)를 통해 수행될 수 있다. 메모리(13)에 저장된 복수의 이미지는 객체 인식 알고리즘의 수행을 위해 객체 추출부(12)로 전송되는데, 이를 위해 복수의 이미지를 준비하고 복수의 이미지를 객체 추출부(12)에 제공하는 과정에서 I/O 시간이 발생할 수 있다.
여기서 복수의 이미지는 사진이나 그림, 동영상의 한 프레임을 추출한 스틸 샷 등 다양한 2차원의 이미지 파일이 예시될 수 있으며, 이러한 이미지로부터 특정한 객체를 인식하기 위해 이미지 처리 장치의 메모리에 사전에 저장될 수 있다. 복수의 이미지는 다양한 가로 길이와 세로 길이를 가질 수 있다.
복수의 이미지를 개별로 객체 추출부(12)에 제공하는 경우, 각각의 이미지 데이터를 전송하는 과정에서 객체 추출부(12)에 접근해야 하므로 상기한 I/O 시간이 증가하게 된다. 따라서, 이미지 처리 장치(10)의 프로세서를 통해 이미지를 병합하고, 병합된 이미지를 객체 추출부(12)에 전송함으로써 전체 I/O 시간을 줄일 수 있다.
이미지 수집 단계(S100)는 이미지 병합의 대상이 될 복수의 이미지들을 수집하는 단계일 수 있다. 여기서 이미지 수집 단계(S100)는 사용자에 의해 사전에 설정된 수만큼 이미지들을 수집할 수 있다.
보다 상세하게, 이미지 수집 단계(S100)에서 수집되는 이미지의 수는 미리 설정될 수 있다. 사용자는 메모리(13)의 저장 공간과 객체 추출부(12)의 이미지 처리 능력을 고려하여 이미지 병합부(11)에서 수집되는 이미지의 수를 설정할 수 있다. 수집되는 이미지의 수를 늘린다면, 병합되는 이미지의 수가 늘어나게 되므로 전체 I/O 시간이 줄어들게 되는 효과가 있다. 이와 달리, 수집되는 이미지의 수를 줄인다면, 이후 객체 추출부(12)가 처리해야할 이미지의 양이 줄어들게 되어, 객체 인식 알고리즘이 수행되는 시간이 더 짧아지고, 이미지 처리에 대한 반응성이 더 향상되는 효과가 있다.
병합 영역 형성 단계(S200)는 수집된 복수의 이미지가 병합 영역의 공백 영역에 포함되도록 복수의 이미지를 병합하되, 공백 영역에 이미지가 포함되도록 병합할 수 없다면 병합 영역을 확장하여 이미지를 병합함으로써 병합 영역을 형성하는 단계일 수 있다.
여기서 병합 영역은 병합된 이미지가 위치하는 영역으로서, 본 발명에 따른 병합 영역은 병합 과정에 따라 그 크기가 확장될 수 있다. 공백 영역은 이미지를 병합하는 과정에서 발생하는 영역으로서, 병합 영역 내에서 이미지가 배치되지 않고 비어있는 영역일 수 있다. 병합 영역이 확장되더라도, 병합 영역은 직사각형의 형태를 유지해야 하므로, 선택된 이미지가 병합 영역에 포함될 수 있도록 병합 영역을 확장하는 과정에서 선택된 이미지가 병합된 영역을 제외한 영역에 아무런 이미지가 배치되지 않은 공백 영역이 발생할 수 있다.
병합 영역은 가로 길이와 세로 길이로 그 형태가 정의되는 직사각형의 모양을 가질 수 있다. 병합 영역이 확장되면 병합 영역의 가로 길이 및 세로 길이 중 적어도 어느 하나 이상이 증가할 수 있다. 그리고 이미지 병합 과정은 병합되는 이미지가 서로 중첩되지 않도록 수행될 수 있다.
병합 영역 형성 단계(S200)가 종료되면, 복수의 이미지가 병합 영역 내에서 서로 인접한 상태로 병합된 이미지가 생성될 수 있다.
병합된 이미지 제공 단계(S300)는 병합된 이미지를 객체 추출부(12)로 제공하는 단계일 수 있다. 이 때, 이미지 병합부(11)는 병합된 이미지에 대한 데이터로서, 어떠한 이미지가 어떤 위치에서 병합된 이미지에 포함되었는지에 대한 이미지 위치 정보를 같이 제공할 수 있다.
이미지 위치 정보는 병합된 이미지에 포함된 각각의 이미지에 대한 정보일 수 있다. 이미지 위치 정보는 해당 이미지의 식별 번호, 병합 영역의 특정 지점으로부터 떨어진 거리 또는 좌표값, 해당 이미지의 가로 길이와 세로 길이에 대한 정보를 포함할 수 있다. 여기서 병합 영역의 특정 지점은 병합 영역의 최상단의 최좌단 지점일 수 있다.
이미지 위치 정보는 이후, 객체 추출부(12)가 병합된 이미지에서 특정한 이미지를 선택하거나, 객체 인식 알고리즘이 수행된 후, 그 결과값과 매칭시키기 위하여 사용될 수 있다. 예를 들어, {1, 80, 100, 200, 300} 이라는 이미지 위치 정보는 "1번 이미지가 병합 영역의 최상단의 최좌단에서 우측으로 80, 아래로 100의 거리만큼 떨어진 위치에 배치되었으며, 가로 길이가 200, 세로 길이가 300이라는 것을 의미할 수 있다.
도 3은 1의 실시예에서 병합 영역을 형성하는 단계(S200)를 보다 상세하게 설명하기 위한 순서도이다.
도 3을 참조하면, 병합 영역을 형성하는 단계(S200)는 병합 영역 초기화 단계(S210), 이미지를 정렬 단계(S220), 이미지를 선택 단계(S230), 선택된 이미지가 병합 영역의 공백 영역에 병합될 수 있는지 판단하는 단계, 및 판단된 결과에 따라 선택된 이미지를 병합 영역의 공백 영역에 병합하거나 병합 영역을 확장 시킨 후 병합하는 이미지 병합 단계(S240)를 포함할 수 있다.
이미지 병합 단계(S240)에 앞서, 병합 영역 초기화 단계(S210)가 수행될 수 있다. 병합 영역 초기화 단계(S210)는 병합 영역의 가로 길이와 세로 길이에 대한 초기값을 설정하는 것으로서, 최초의 병합 영역은 가로 길이와 세로 길이가 모두 0으로 설정될 수 있다.
그리고 이미지 선택 단계(S230)에 앞서, 이미지 정렬 단계(S220)가 수행될 수 있다. 이미지 정렬 단계(S220)는 수집된 이미지들을 면적 순으로 정렬하는 단계일 수 있다. 여기서 면적은 이미지의 가로 길이와 세로 길이를 곱한 값으로 계산될 수 있다. 이미지 병합부(11)는 정렬 알고리즘을 이용하여 수집된 복수의 이미지를 면적순으로 정렬할 수 있다.
이미지 선택 단계(S230)는 복수의 이미지를 면적 순으로 선택하는 단계일 수 있다. 보다 구체적으로, 이미지 선택 단계(S230)에서 이미지 병합부(11)는 정렬된 이미지 중 제일 면적이 큰 이미지부터 병합하기 위하여 선택할 수 있다. 선택된 이미지는 이후의 단계에서 이미지 병합에 사용된다.
이미지 병합 단계(S240)는 선택된 이미지가 병합 영역의 상기 공백 영역에 병합될 수 있는 지 판단하고, 판단된 결과에 따라 선택된 이미지를 병합 영역의 공백 영역에 병합하거나 상기 병합 영역을 확장 시킨 후 병합하는 단계일 수 있다.
상기한 병합 영역 형성 단계(S200)는 병합 영역의 확장이 불가능하거나 수집된 이미지가 모두 병합되기 전 까지 반복될 수 있다. 즉, 수집된 복수의 이미지로부터 하나를 선택하고, 선택된 이미지를 병합하는 과정은 반복 수행될 수 있다.
여기서 병합 영역의 확장이 불가능하다는 것은 메모리(13) 또는 객체 추출부(12)에 포함된 그래픽 메모리가 한번에 처리할 수 있는 수준까지 병합 영역이 확장되어서 추가적인 병합 영역의 확장이 불가능한 경우를 의미할 수 있다. 확장되는 병합 영역의 최대치는 메모리(13) 또는 개체 추출부(12)에 포함된 그래픽 메모리의 메모리 용량에 따라 달라질 수 있다.
도 4는 도 3의 실시예에서 이미지 병합 단계(S240)를 보다 상세하게 설명하기 위한 순서도이다.
도 4를 참조하면, 이미지 병합 단계(S240)는 이미지 선택 단계(S230)에 이어서 수행될 수 있다. 이미지 병합 단계(S240)는 우선 선택된 이미지가 병합 영역의 공백 영역에 병합될 수 있는지 판단하는 단계(S240A)를 포함할 수 있다.
이미지 병합부(11)는 선택된 이미지의 가로 길이 또는 세로 길이가 공백 영역의 가로 길이 또는 세로 길이보다 큰 경우 선택된 이미지는 공백 영역에 병합되기에 충분하지 않은 것으로 판단할 수 있다.
이미지 병합부(11)는 공백 영역이 선택된 이미지가 포함될 수 있다고 판단하면, 해당 선택된 이미지를 공백 영역에 포함시키도록 이미지를 병합할 수 있다(S240B). 여기서 이미지 병합부(11)가 공백 영역에 선택된 이미지를 병합할 때, 한정된 공간에 최대한 많은 이미지를 병합할 수 있도록 하는 다양한 이미지 병합 알고리즘이 사용될 수 있다. 이미지 병합부(11)가 공백 영역에 이미지를 병합한다면 선택된 이미지에 대한 이미지 병합은 완료 된다(S240C).
공백 영역에 이미지를 병합하기 충분하지 않다면, 이미지 병합부(11)는 선택된 이미지의 가로 길이와 세로 길이를 비교할 수 있다(S240D). 이미지의 가로 길이가 세로 길이보다 크거나 같다면, 이미지 병합부(11)는 선택된 이미지의 가로 길이와 병합 영역의 가로 길이를 비교할 수 있다(S240E).
선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 크거나 같고, 선택된 이미지의 가로 길이가 병합 영역의 가로 길이 보다 크다면, 이미지 병합부(11)는 선택된 이미지가 병합 영역의 상면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수 있다(S240F).
선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 크거나 같고, 선택된 이미지의 가로 길이가 병합 영역의 가로 길이보다 작거나 같다면, 이미지 병합부(11)는 선택된 이미지가 병합 영역의 하면에 인접하여 배치될 수 있도록 병합 영역을 확장시킬 수 있다(S240G).
이미지의 가로 길이가 세로 길이보다 작으면, 이미지 병합부(11)는 선택된 이미지의 가로 길이와 병합 영역의 가로 길이를 비교할 수 있다(S240H).
선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 작고, 선택된 이미지의 세로 길이가 병합 영역의 세로 길이 보다 크다면, 이미지 병합부(11)는 선택된 이미지가 병합 영역의 좌면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수 있다(S240I).
선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 작고, 선택된 이미지의 세로 길이가 병합 영역의 세로 길이보다 작거나 같다면, 이미지 병합부(11)는 선택된 이미지가 병합 영역의 우면에 인접하여 배치될 수 있도록 병합 영역을 확장시킬 수 있다(S240J).
상기한 것과 같이 병합 영역을 확장하는 단계(S240D 내지 S240J)에서 상기한 병합 영역의 확장 방향은 예시적인 것이며 상기한 것과 다른 방향으로도 확장될 수 있다.
예를 들어, 선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 작고, 선택된 이미지의 가로 길이가 병합 영역의 가로 길이보다 큰 경우 이미지 병합부(11)는 선택된 이미지가 병합 영역의 하면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수도 있다. 이 때, 선택된 이미지의 가로 길이가 병합 영역의 가로 길이보다 작거나 같다면 이미지 병합부(11)는 선택된 이미지가 병합 영역의 상면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수 있다.
마찬가지로, 선택된 이미지의 가로 길이가 선택된 이미지의 세로 길이보다 크거나 같고, 선택된 이미지의 세로 길이가 병합 영역의 세로 길이보다 큰 경우 이미지 병합부(11)는 선택된 이미지가 병합 영역의 우면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수도 있다. 이 때, 선택된 이미지의 세로 길이가 병합 영역의 세로 길이보다 작거나 같다면 이미지 병합부(11)는 선택된 이미지가 병합 영역의 좌면에 인접하여 배치될 수 있도록 병합 영역을 확장 시킬 수 있다.
상기한 바와 같이 병합 영역이 확장되면, 확장된 공간에 이미지를 병합하여 이미지 병합 과정을 종료하기 전에, 이미지 병합부(11)는 선택된 이미지를 회전하여 이미지 병합을 다시 시도할 수 있다(S240K).
이미지 병합부(11)는 선택된 이미지의 가로 길이와 세로 길이에 따라 이미지 병합을 시도하고 상기한 과정들(S240D 내지 S240J)을 통해 병합 영역이 확장되는 경우 발생되는 공백 영역의 크기를 계산할 수 있다. 이후, 이미지 병합부(11)는 계산된 공백 영역의 크기를 저장하고, 선택된 이미지를 90도 회전 시킬 수 있다(S240L). 여기서 선택된 이미지는 시계 방향, 또는 반시계 방향으로 회전될 수 있다. 이후, 이미지 병합부(11)는 상기한 과정들(S240D 내지 S240J)을 회전된 이미지에 대해 다시 수행하고, 그 결과에 따라 확장되는 병합 영역에 의해 발생하는 공백 영역의 크기를 계산할 수 있다.
이미지 병합부(11)는 선택된 이미지를 회전시키기 전과 회전시킨 이후의 경우를 나누어 확장되는 병합 영역에 의해 발생하는 공백 영역의 크기를 비교하고, 그 공백 영역의 크기가 적은 경우를 선택할 수 있다(S240M).
선택된 이미지가 회전되어 병합될 때, 공백 영역의 크기가 더 적다면, 이미지 병합부(11)는 선택된 이미지를 회전시켜 병합할 수 있도록 병합 영역을 확장하고, 확장된 병합 영역에 회전된 선택 이미지를 병합 시킬 수 있다(S240N). 그리고, 이미지 병합부(11)는 해당 이미지의 이미지 위치 정보에 이미지의 회전 여부와 회전 방향에 대한 정보를 추가적으로 설정할 수 있다.
도 5 내지 도 9는 도 4의 실시예에서 병합 영역을 확장하는 단계(S240D 내지 S240J)를 설명하기 위한 도면이다.
도 5는 초기화된 병합 영역에 제1 이미지(i1)를 병합한 것을 설명하기 위한 도면이다. 최초의 병합 영역은 상기한 바와 같이 초기화되어 가로 길이와 세로 길이가 모두 0으로 설정될 수 있다. 이후, 이미지 병합부(11)에 수집된 복수의 이미지 중, 제일 처음 선택되어 병합 영역에 병합되는 제1 이미지(i1)가 병합 영역에 병합되기 위해선, 병합 영역의 크기를 제1 이미지(i1)의 크기에 맞추어 확장 시켜야 한다. 5를 참조하면, 병합 영역의 가로 길이(W1)가 제1 이미지의 가로 길이(i1w)와 같도록 확장되고, 병합 영역의 세로 길이(H1)가 제1 이미지의 세로 길이(i1h)와 같도록 확장된 것을 알 수 있다. 이후, 이미지 병합부(11)가 확장된 영역에 제1 이미지(i1)를 배치함으로써 제1 이미지(i1)에 대한 이미지 병합이 완료될 수 있다.
도 6은 제1 이미지(i1)의 병합 이후, 제2 이미지(i2)를 병합하는 것을 설명하기 위한 도면이다. 도 6을 참조하면, 제2 이미지(i2)는 가로 길이(i2w)가 세로 길이(i2h)보다 작고, 세로 길이(i2h)가 병합 영역의 세로 길이(H2) 보다 작으므로, 이미지 병합부(11)는 병합 영역의 우면에 제2 이미지(i2)가 병합될 수 있도록 병합 영역을 우측 방향으로 확장 시킨다.
이 때, 이미지 병합부(11)는 병합 영역의 가로 길이를 제2 이미지(i2)의 가로 길이(i2w)만큼 확장 시킴으로써 병합 영역의 확장으로 인해 발생하는 공백 영역(E)을 최소화 할 수 있다. 병합 영역이 확장된 이후, 제2 이미지(i2)가 확장된 병합 영역에 포함되도록 병합될 수 있으며, 이 때, 제2 이미지(i2)는 확장된 병합 영역의 상단에 배치 시킴으로써 공백 영역(E)이 병합 영역의 우측 하단에 생기도록 할 수 있다. 이미지 병합부(11)는 이미지의 병합시 일정한 방향을 따라 이미지를 병합시킴으로써, 공백 영역이 병합 영역 상에서 한쪽 방향으로 몰리도록 할 수 있다. 이러한 공백 영역의 몰림은 이후의 단계에서 추가적인 이미지를 병합할 때, 공백 영역을 보다 효율적으로 사용할 수 있게 하는 효과가 있다.
도 7은 제1 이미지(i1)의 병합 이후, 제2 이미지(i2)를 병합하는 것을 설명하기 위한 도면이다. 도 7은 도 6과 달리, 제2 이미지(i2)는 가로 길이(i2wr)가 세로 길이(i2hr)보다 크고, 가로 길이(i2wr)가 병합 영역의 가로 길이(W2r) 보다 작으므로, 이미지 병합부(11)는 병합 영역의 하면에 제2 이미지(i2)가 병합될 수 있도록 병합 영역을 하측 방향으로 확장 시킨다.
이 때, 이미지 병합부(11)는 병합 영역의 세로 길이를 제2 이미지(i2)의 세로 길이(i2hr)만큼 확장 시킴으로써 병합 영역의 확장으로 인해 발생하는 공백 영역(Er)을 최소화 할 수 있다. 병합 영역이 확장된 이후, 제2 이미지(i2)가 확장된 병합 영역에 포함되도록 병합될 수 있으며, 이 때, 제2 이미지(i2)는 확장된 병합 영역의 좌단에 배치 시킴으로써 공백 영역(Er)이 병합 영역의 우측 하단에 생기도록 할 수 있다.
또한, 도 7은 도 6의 제2 이미지(i2)에 대한 이미지 병합 과정에서 도 6의 제2 이미지(i2)가 회전된 상태로 병합된 것을 설명할 수 도 있다. 앞서 설명한 바와 같이, 이미지 병합시 선택된 이미지를 회전하기 전과 후로 나누어 발생하는 공백 영역을 비교할 수 있다.
도 6은 제2 이미지(i2)를 회전하기 전에 병합 시킨 경우로 이해될 수 있고, 도 7은 제2 이미지(i2)를 회전한 이후에 병합 시킨 경우로 이해될 수 있다. 따라서 도 6의 제2 이미지(i2)와 도 7의 제2 이미지(i2)는 동일한 면적을 가질 수 있고, 도 6의 제2 이미지(i2)의 가로 길이(i2w)는 도 7의 제2 이미지(i2)의 세로 길이(i2hr)와 같을 수 있으며, 도 6의 제2 이미지(i2)의 세로 길이(i2h)는 도 7의 제2 이미지(i2)의 가로 길이(i2wr)와 같을 수 있다.
이미지 병합부(11)는 제2 이미지(i2)를 제1 이미지(i1)에 병합할 때, 회전하기 전에 발생하는 공백 영역(E)과 회전한 이후 발생하는 공백 영역(Er)을 비교함으로써, 더 적은 공백 영역이 생기는 경우를 따라 이미지 병합을 수행할 수 있다.
이를 통하여 동일한 면적의 이미지를 병합하더라도, 발생하는 공백 영역을 줄일 수 있고, 공백 영역이 줄어들면 병합 영역의 크기도 그만큼 줄어들게 되므로, 추후 이미지 처리에 사용되는 자원의 소모를 줄일 수 있어, 이미지 처리의 속도가 빨라지는 효과가 있다.
도 8과 도 9는 상기한 도 6과 도 7과 달리, 제1 이미지(i1)에 병합되는 제2 이미지(i2)의 가로 길이가 제1 이미지(i1)의 가로 길이 보다 크거나, 제2 이미지(i2)의 세로 길이가 제1 이미지(i1)의 세로 길이보다 큰 경우의 이미지 병합 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 제2 이미지(i2)는 가로 길이(i2w)가 세로 길이(i2h)보다 작고, 세로 길이(i2h)가 병합 영역의 세로 길이(H2) 보다 크거나 같으므로, 이미지 병합부(11)는 병합 영역의 좌면에 제2 이미지(i2)가 병합될 수 있도록 병합 영역을 좌측 방향으로 확장 시킨다.
이 때, 이미지 병합부(11)는 병합 영역의 가로 길이를 제2 이미지(i2)의 가로 길이(i2w)만큼 확장 시키고, 병합 영역의 세로 길이를 제2 이미지(i2)의 세로 길이(i2h)에 맞추어 확장 시킴으로써, 병합 영역의 확장으로 인해 발생하는 공백 영역(E)을 최소화 할 수 있다. 병합 영역이 확장된 이후, 제2 이미지(i2)가 확장된 병합 영역에 포함되도록 병합됨으로써 공백 영역(E)이 병합 영역의 우측 하단에 생기도록 할 수 있다.
도 9는 제1 이미지(i1)의 병합 이후, 제2 이미지(i2)를 병합하는 것을 설명하기 위한 도면이다. 도 9는 도 8과 달리, 제2 이미지(i2)는 가로 길이(i2wr)가 세로 길이(i2hr)보다 크고, 가로 길이(i2hw)가 병합 영역의 가로 길이(W2r) 보다 크거나 같으므로, 이미지 병합부(11)는 병합 영역의 상면에 제2 이미지(i2)가 병합될 수 있도록 병합 영역을 상측 방향으로 확장 시킨다.
이 때, 이미지 병합부(11)는 병합 영역의 세로 길이를 제2 이미지(i2)의 세로 길이(i2hr)만큼 확장 시키고, 병합 영역의 가로 길이를 제2 이미지(i2)의 가로 길이(i2wr)에 맞추어 확장 시킴으로써 병합 영역의 확장으로 인해 발생하는 공백 영역(Er)을 최소화 할 수 있다. 병합 영역이 확장된 이후, 제2 이미지(i2)가 확장된 병합 영역에 포함되도록 병합됨으로써 공백 영역(Er)이 병합 영역의 우측 하단에 생기도록 할 수 있다.
또한, 도 9는 도 8의 제2 이미지(i2)에 대한 이미지 병합 과정에서 도 8의 제2 이미지(i2)가 회전된 상태로 병합된 것을 설명할 수 도 있다. 앞서 설명한 바와 같이, 이미지 병합시 선택된 이미지를 회전하기 전과 후로 나누어 발생하는 공백 영역을 비교할 수 있다.
도 8은 제2 이미지(i2)를 회전하기 전에 병합 시킨 경우로 이해될 수 있고, 도 9는 제2 이미지(i2)를 회전한 이후에 병합 시킨 경우로 이해될 수 있다. 따라서 도 8의 제2 이미지(i2)와 도 9의 제2 이미지(i2)는 동일한 면적을 가질 수 있고, 도 8의 제2 이미지(i2)의 가로 길이(i2w)는 도 9의 제2 이미지(i2)의 세로 길이(i2hr)와 같을 수 있으며, 도 8의 제2 이미지(i2)의 세로 길이(i2h)는 도 9의 제2 이미지(i2)의 가로 길이(i2wr)와 같을 수 있다.
이미지 병합부(11)는 제2 이미지(i2)를 제1 이미지(i1)에 병합할 때, 회전하기 전에 발생하는 공백 영역(E)과 회전한 이후 발생하는 공백 영역(Er)을 비교함으로써, 더 적은 공백 영역이 생기는 경우를 따라 이미지 병합을 수행할 수 있다.
도 10 및 도 11은 본 발명의 실시예에 따라 이미지를 확대하는 것을 설명하기 위한 도면이다.
이미지 병합부(11)는 병합된 이미지를 객체 추출부(12)에 제공하는 단계(S300)에 앞서, 병합 영역에 포함된 이미지 중 적어도 하나 이상을 확장하여 공백 영역을 줄일 수 있다.
보다 상세하게, 이미지 병합부(11)는 병합 영역 형성 단계(S200)를 통해 병합된 이미지를 생성하고, 병합된 이미지를 객체 추출부(12)에 제공하기 전에, 병합 영역에 포함된 이미지 중 적어도 하나 이상을 공백 영역의 범위 내에서 확장시킬 수 있다.
도 10은 앞선 도 8의 실시예에서 제2 이미지(i2) 이후, 제3 이미지(i3)가 병합된 것을 예시한 도면이다. 설명을 위하여, 도 10에서 이미지 병합부(11)에 수집된 이미지는 총 3개이고, 제3 이미지(i3)는 가로 길이(i3w)와 세로 길이(i3h)가 공백 영역(E)에 병합 영역의 확장없이 바로 병합될 수 있는 것을 가정하기로 한다.
이미지 병합부(11)는 제3 이미지(i3)까지 병합되면, 수집된 복수의 이미지가 모두 병합되었으므로, 병합 영역 형성 단계(S200)를 종료할 수 있다. 그리고, 병합된 이미지를 객체 추출부(12)에 제공하기에 앞서, 제3 이미지(i3)를 공백 영역(E) 안에서 확장시킬 수 있다.
이미지 병합부(11)는 확장시킬 이미지를 선택함에 있어서, 공백 영역(E)의 크기와 공백 영역(E)에 인접한 이미지들의 배치 상태를 고려할 수 있다.
도 11은 도 10의 제3 이미지(i3)가 공백 영역으로 확장된 것을 예시하여 설명하기 위한 도면이다. 도 11을 참조하면, 도 10의 제3 이미지(i3)가 확장된 것을 알 수 있다. 이 때, 확장되는 이미지는 병합 영역의 전체 가로 길이(W)와 세로 길이(H)의 내에서 확장됨이 바람직하다.
이미지 병합부(11)가 이미지를 확장시킬 때, 가로 길이와 세로 길이의 비율을 유치한 채로 확장시킬 수 있다. 따라서 확장된 이미지의 가로 길이(i3wa)와 세로 길이(i3ha)의 비율은 확장되기 전의 이미지의 가로 길이(i3w)와 세로 길이(i3h)의 비율과 같을 수 있다.
상기한 것과 같이 병합된 이미지가 객체 추출부(12)에 제공되기 전에 병합된 이미지 중 적어도 하나 이상의 이미지를 확장시킴으로써, 객체 추출부(12)가 객체 검출 알고리즘을 수행할 때 보다 큰 이미지를 통해 객체를 추출할 수 있도록 할 수 있다. 객체 추출부(12)는 더 큰 이미지에 대한 이미지 처리를 통해 객체를 추출함으로써 객체의 인식율을 보다 향상 시킬 수 있는 효과가 있다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 방법을 도시하는 순서도이다.
도 12의 설명에 있어서, 도 2와 중복되는 구성과 효과에 대한 설명은 생략하기로 한다. 도 12를 참조하면, 도 2와 달리 목표 객체 영역 추출 단계(S400)와 특징부 감지 및 포즈 인식 단계(S500)가 추가로 수행되는 것을 알 수 있다.
목표 객체 영역 추출 단계(S400)는 객체 추출부(12)가 병합 영역에 포함된 이미지들로부터 목표 객체가 포함된 영역을 추출하는 단계일 수 있다.
여기서 목표 객체는 상기한 바와 같이, 사용자가 인식을 원하는 다양한 객체가 대상이 될 수 있다. 예를 들어, 인물이 포함된 이미지에서 얼굴을 목표 객체로 설정하여 얼굴을 인식할 수 있고, 특정한 사물을 목표 객체로 설정하여 인식할 수 도 있다. 이하, 목표 객체는 사람의 얼굴이고, 객체 추출부(12)는 병합된 이미지로부터 얼굴 영역을 추출하기 위한 알고리즘을 수행하는 것으로 예시하여 설명하기로 한다.
객체 추출부(12)는 복수의 이미지에 포함된 복수의 얼굴 영역을 추출하기 위하여 병합된 이미지에 대한 병렬 이미지 처리를 수행할 수 있다. 즉, 객체 추출부(12)는 병합된 이미지 전체를 하나의 이미지로 인식하여 얼굴 영역을 검출할 수 있다.
특징부 감지 및 포즈 인식 단계(S500)는 객체 추출부(12)가 병합된 이미지에서 추출된 얼굴 영역으로부터 특징부(Landmark)를 추출하고, 추출된 특징부를 이용하여 얼굴 영역에 포함된 얼굴의 포즈(Pose)를 인식하는 단계일 수 있다.
여기서 특징부는 얼굴 영역에 표시되는 얼굴의 눈, 코 또는 입과 같이 이미지 처리를 위해 요구되는 얼굴 해부학적 특징에 대한 정보를 의미할 수 있다. 특징부는 고정된 상대 위치를 가지며, 얼굴 포즈에 따른 기하학적 관계의 변함이 적다.
또한, 포즈는 얼굴이 바라보는 방향이나 표정, 얼굴을 기울인 각도 등에 대한 정보를 의미할 수 있다.
객체 추출부(12)는 얼굴 영역으로부터 특징부를 추출하고, 포즈를 인식하기 위해 다양한 얼굴 인식 알고리즘을 사용할 수 있다.
도 13 내지 도 15는 도 12의 실시예에서 이미지로부터 목표 객체 영역을 추출하기 위한 방법을 설명하기 위한 도면이다.
상기한 바와 같이 객체 추출부(12)는 병합된 이미지에 대한 병렬 이미지 처리를 수행함으로써 병합된 이미지를 하나의 이미지로 인식하여 목표 객체 영역을 추출할 수 있다.
도 13은 이미지 병합부(11)에 의해 수집된 복수의 이미지들(20)을 예시하여 설명하기 위한 도면이다. 도 13을 참조하면, 수집된 각각의 이미지들(20)은 이미지의 일부 영역에 목표 객체를 포함하는 영역이 위치할 수 있다.
도 14는 이미지 병합부(11)에 의해 수집된 복수의 이미지들(20)이 병합되어 병합된 이미지(21)를 구성하고 있는 것을 설명하기 위한 도면이다. 병합된 이미지(21)는 병렬 이미지 처리를 통한 목표 객체 영역의 추출을 위해 객체 추출부(12)에 제공될 수 있다.
도 15는 객체 추출부(12)에 의해 병합된 이미지(21)에서 목표 객체 영역(22)이 추출된 것을 설명하기 위한 도면이다. 도 15를 참조하면, 객체 추출부(12)가 병합된 이미지(21)에서 각 이미지들의 목표 객체 영역(22)을 추출하여 해당 영역을 표시한 것을 알 수 있다. 추출된 목표 객체 영역(22)이 사람의 사진에서 얼굴 영역을 추출한 것이라면, 이후 특징부를 추출하고 포즈를 인식함으로써 각각의 이미지에서 얼굴을 인식할 수 있게 된다.
Hit Time Precision
제1 이미지 처리 방법 456 349ms 0.96
제2 이미지 처리 방법 451 158ms 0.97
제3 이미지 처리 방법 442 104ms 0.95
<표 1>은 종래에 사용되는 다른 이미지 처리 방법과 본 발명의 실시예에 따른 이미지 처리 방법을 비교하여 설명하기 위한 표이다. <표 1>에서 제1 이미지 처리 방법은 이미지 병합을 수행하지 않고 객체 인식을 수행하는 종래의 이미지 처리 방법을 의미할 수 있다. 제2 이미지 처리 방법은 본 발명의 실시예에 따라 이미지를 병합하고, 객체 인식을 수행하는 이미지 처리 방법을 의미할 수 있다. 제3 이미지 처리 방법은 본 발명의 실시예에 따라 이미지를 병합하고 객체 인식을 통해 이미지를 처리하되, 제2 이미지 처리 방법과 달리 변수를 변경하여 적용한 이미지 처리 방법을 의미할 수 있다.
<표 1>을 참조하면, 440~460 개 정도의 범위 내에서 유사한 개수(Hit)의 대상 이미지들에 대해 제1 내지 제3 이미지 처리 방법을 수행하는 경우 소요되는 시간(Time)과 정확도(Precision)를 알 수 있다. 객체 인식에 앞서 이미지 병합을 수행하는 본 발명의 실시예에 따른 제2 이미지 처리 방법이나 제3 이미지 처리 방법은 이미지 병합을 수행하지 않는 제1 이미지 처리 방법에 비해 보다 빠른 시간 내에 이미지 처리를 수행할 수 있다.
하지만, 본 발명의 실시예에 따른 제2 이미지 처리 방법이나 제3 이미지 처리 방법은 병합 영역에 발생하는 공백 영역을 최소화 함으로써 제1 이미지 처리 방법보다 효과적으로 이미지 병합을 수행할 수 있다. 또한, 제3 이미지 처리 방법은 이미지 처리에 사용되는 변수의 변경으로 인하여 제2 이미지 처리 방법보다 적은 시간이 소요되지만 정확도가 약간 내려간 것을 알 수 있다. 제2 이미지 처리 방법은 제1 이미지 처리 방법과 유사한 정확도(Precision)를 가지면서도, 보다 빠른 시간(Time) 내에 이미지 처리를 수행함을 알 수 있다. 또한, 제2 이미지 처리 방법에서 변수를 일부 수정한 제3 이미지 처리 방법을 통하여 보다 빠른 시간 내에 이미지 처리를 수행할 수 있음을 알 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 이미지 처리 장치 11: 이미지 병합부
12: 객체 추출부 13: 메모리

Claims (18)

  1. 이미지 병합부에 의한 복수의 이미지 처리 방법에 있어서,
    상기 복수의 이미지를 수집하는 단계;
    수집된 상기 복수의 이미지가 병합 영역의 공백 영역에 포함되도록 상기 복수의 이미지를 병합하되, 상기 공백 영역에 이미지가 포함되도록 병합할 수 없다면 상기 병합 영역을 확장하여 추가적인 공백 영역을 확보하고 이미지를 병합함으로써 병합 영역을 형성하는 단계; 및
    병합된 이미지들을 객체 추출부에 제공하는 단계; 를 포함하는 이미지 처리 방법.
  2. 제1 항에 있어서, 상기 복수의 이미지를 수집하는 단계는
    사전에 설정된 수만큼 이미지들을 수집하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제1 항에 있어서, 상기 병합 영역을 형성하는 단계는
    상기 병합 영역의 확장이 불가능하거나 상기 수집된 이미지를 모두 상기 병합 영역에 병합할 때까지 반복되는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1 항에 있어서, 상기 병합 영역을 형성하는 단계는
    상기 병합 영역 내에서 이미지 들이 서로 중첩되지 않도록 병합하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제1 항에 있어서, 상기 병합 영역을 형성하는 단계는
    수집된 상기 복수의 이미지 중 병합되지 않은 이미지를 선택하는 단계;
    선택된 이미지가 상기 병합 영역의 상기 공백 영역에 병합될 수 있는 지 판단하는 단계;
    판단된 결과에 따라 상기 선택된 이미지를 상기 병합 영역의 상기 공백 영역에 병합하거나 상기 병합 영역을 확장 시킨 후 병합하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5 항에 있어서, 상기 선택하는 단계에 앞서,
    상기 복수의 이미지를 면적 순으로 정렬하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제5 항에 있어서, 상기 선택하는 단계는
    상기 복수의 이미지에서 병합되지 않은 이미지 중 제일 면적이 큰 이미지를 선택하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제5 항에 있어서, 상기 병합하는 단계에 앞서,
    상기 병합 영역의 크기를 초기화 하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제5 항에 있어서, 상기 병합하는 단계는
    상기 선택된 이미지를 상기 병합 영역과 인접한 위치에 배치할 수 있도록 상기 병합 영역을 확장시키는 것을 특징으로 하는 이미지 처리 방법.
  10. 제9 항에 있어서, 상기 병합하는 단계는
    상기 선택된 이미지의 가로 길이와 세로 길이에 따라 상기 병합 영역을 확장 시킬 상기 인접한 위치를 결정하는 것을 특징으로 하는 이미지 처리 방법.
  11. 제5 항에 있어서, 상기 병합하는 단계는
    상기 병합 영역의 확장에 따라 발생하는 공백 영역이 최소화되도록 상기 이미지의 회전 여부를 결정하는 것을 특징으로 하는 이미지 처리 방법.
  12. 제1 항에 있어서, 상기 객체 추출부에 제공하는 단계에 앞서,
    상기 형성된 병합 영역에 포함된 이미지 중 적어도 하나 이상을 확장하여 상기 공백 영역을 줄이는 것을 특징으로 하는 이미지 처리 방법.
  13. 제1 항에 있어서, 상기 객체 추출부에 제공하는 단계는
    상기 병합 영역에 병합된 이미지들이 배치된 방법에 대한 이미지 위치 정보를 포함하여 제공되는 것을 특징으로 하는 이미지 처리 방법.
  14. 제1 항에 있어서,
    상기 객체 추출부가 상기 병합 영역에 포함된 상기 이미지들로부터 목표 객체가 포함된 영역을 추출하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  15. 제14 항에 있어서,
    상기 목표 객체는 상기 병합 영역에 포함된 상기 이미지들에 포함된 얼굴 영역이고,
    상기 목표 객체가 포함된 영역으로부터 상기 얼굴 영역의 특징부를 추출하고, 추출된 상기 얼굴 영역의 포즈를 인식하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  16. 복수의 이미지가 저장될 수 있는 메모리;
    상기 복수의 이미지를 병합 영역에 병합하는 이미지 병합부; 및
    상기 이미지 병합부로부터 상기 병합 영역에 병합된 이미지들을 제공받아 목표 객체를 검출하는 객체 추출부; 를 포함하고,
    상기 이미지 병합부는 상기 복수의 이미지를 수집하고,
    수집된 상기 복수의 이미지가 상기 병합 영역의 공백 영역에 포함되도록 상기 복수의 이미지를 병합하되, 상기 공백 영역에 이미지가 포함되도록 병합될 수 없다면 상기 병합 영역을 확장하여 추가적인 공백 영역을 확보하고 이미지를 병합하는 것을 특징으로 하는 이미지 처리 장치.
  17. 제16 항에 있어서, 상기 이미지 병합부는
    상기 병합 영역의 확장이 불가능하거나 상기 수집된 이미지를 모두 상기 병합 영역에 병합할 때까지 상기 병합 영역의 확장을 반복하는 것을 특징으로 하는 이미지 처리 장치.
  18. 제16 항에 있어서,
    상기 목표 객체는 상기 병합 영역에 포함된 상기 이미지들에 포함된 얼굴 영역이고,
    상기 객체 추출부는 상기 목표 객체가 포함된 영역으로부터 상기 얼굴 영역의 특징부를 추출하고, 추출된 상기 얼굴 영역의 포즈를 인식하는 것을 특징으로 하는 이미지 처리 장치.
KR1020170119724A 2017-09-18 2017-09-18 이미지 처리 방법 및 이를 이용한 장치 KR101968954B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119724A KR101968954B1 (ko) 2017-09-18 2017-09-18 이미지 처리 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119724A KR101968954B1 (ko) 2017-09-18 2017-09-18 이미지 처리 방법 및 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20190031813A KR20190031813A (ko) 2019-03-27
KR101968954B1 true KR101968954B1 (ko) 2019-04-16

Family

ID=65906694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119724A KR101968954B1 (ko) 2017-09-18 2017-09-18 이미지 처리 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR101968954B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033809A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 이동 단말기

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226699A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp 画像形成方法、画像形成装置および画像処理システム
JP2015097321A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 撮影装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727961B1 (ko) * 2005-07-29 2007-06-13 삼성전자주식회사 Ｎ-업 디스플레이 방법 및 장치, 그를 이용한 화상 형성장치
KR20150080723A (ko) 2014-01-02 2015-07-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226699A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp 画像形成方法、画像形成装置および画像処理システム
JP2015097321A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033809A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 이동 단말기

Also Published As

Publication number Publication date
KR20190031813A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
JP3833153B2 (ja) 画像処理方法及び装置
KR100762670B1 (ko) 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
JP4757001B2 (ja) 画像処理装置、画像処理方法
CN110390269A (zh) Pdf文档表格提取方法、装置、设备及计算机可读存储介质
US10311295B2 (en) Heuristic finger detection method based on depth image
CN107545223B (zh) 图像识别方法及电子设备
US8212815B2 (en) Drawing apparatus, drawing program, and drawing method
CN114529925B (zh) 一种全线表表格结构识别方法
US7480412B2 (en) Toboggan-based shape characterization
KR101968954B1 (ko) 이미지 처리 방법 및 이를 이용한 장치
KR101725501B1 (ko) 문자 인식 방법 및 장치
CN113378611A (zh) 活性检测方法和设备
US5877774A (en) Line symmetrical graphic arrangement device for creating line symmetrical graphics with respect to a symmetry axis
EP3955207A1 (en) Object detection device
US20010043732A1 (en) Irradiation field extracting method and apparatus and recording medium
JP2006133941A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP3524826B2 (ja) 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体
JP2005208740A (ja) 部分画像検索装置及び部分画像検索プログラム
KR101524074B1 (ko) 영상 처리 방법
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
KR20170067383A (ko) 영상에서의 신체 부위 검출 방법 및 그 장치
JPH05225394A (ja) 文字認識システムの候補文字分類方法
US20050017987A1 (en) Method and apparatus for merging meshes, and computer readable medium
GB2564715A (en) Systems and methods of forming virtual models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant