KR20070056522A - 이동단말기의 영상 자동 분류 장치 및 방법 - Google Patents

Abstract

본 발명은 이동단말기에 있어서, 특징정보를 이용하여 영상의 종류를 카테고리별로 자동으로 분류하는 장치 및 방법에 관한 것이다.

본 발명에 따른 이동 단말기의 영상 자동 분류 장치 및 그 방법은, 영상을 그 특징에 따라 카테고리별로 실시간 자동 분류 및 저장 처리하기 위하여; 사용자가 정의한 카테고리별 폴더를 할당하고, 각 카테고리에 해당하는 대표 영상을 선택하여 그 대표 영상의 특징정보를 추출 및 저장하거나 사전에 설정(embeded)된 특징정보를 갖고, 분류 대상이 되는 영상으로부터 추출한 특징정보를 카테고리 특징정보와 비교한 결과에 따라 해당 영상을 해당 카테고리(폴더)로 자동으로 분류하여 저장한다.

이동단말기, 특징정보, 영상 자동분

Description

이동단말기의 영상 자동 분류 장치 및 방법{Apparatus and method for automatic grouping of an image in mobile phone}

도 1은 본 발명에 따른 이동단말기의 구성도

도 2는 본 발명에 따른 특징정보를 생성하는 흐름도

도 3은 본 발명에 따른 특징정보를 추출하는 방법의 일실시예

도 4는 본 발명에 따른 특징정보를 추출하는 방법의 일실시예

도 5는 본 발명에 따른 이동단말기의 사진앨범을 분류하는 화면의 일실시예

도 6은 본 발명에 따른 사진앨범의 카테고리별로 구분한 일실시예

도 7은 본 발명에 따른 사진 자동 분류 방법의 전체 흐름도

<도면의 주요 부분에 대한 부호의 설명>

100 : 제어부 110 : 디스플레이부

120 : 키입력부 130 : 메모리부

140 : 베이스밴드 처리부 150 : RF 모듈

160 : 특징정보 추출부 170 : 카메라

본 발명은 이동 단말기의 영상 분류 장치 및 방법에 관한 것으로서,영상의 카테고리별로 영상을 자동으로 분류하는 장치 및 방법에 관한 것이다.

최근 들어, 이동단말기의 기술이 발전함에 따라 소형화되고 있으며, 통화자의 음성뿐만 아니라 비디오 영상을 송수신할 수 있는 기능이 지원됨에 따라 카메라가 내장된 이동 통신 단말기가 개발되어 생산 보급되고 있는 실정이다.

근래의 이동단말기의 사용이 증가하면서 점차 이동단말기에 부가되는 기능이 다양해지고 있다. 특히, 보다 많은 정보를 저장할 수 있도록 메모리의 크기가 급속도로 증가하고 있다. 또한 사용자에 의한 멀티미디어 생성이 가능하도록 카메라를 내장하여 사진 촬영 및 동영상 촬영이 가능한 이동단말기는 이미 일반화된지 오래이다.

카메라를 장착한 이동단말기의 사용이 빈번해지고 메모리의 용량이 증가함에 따라 이동단말기에 저장되는 사진의 수가 많아 지게 되었고, 따라서 이를 카테고리별로 나누어 저장하는 등의 보다 효율적인 관리가 필요하다.

그러나 저장용량이 커지고 사진촬영이 빈번해짐에 따라 사용자가 일일이 수작업으로 사진을 분류하는 것은 많은 시간이 소요되고 불편하다는 문제점이 있다.

본 발명은 이러한 불편한 점을 해결하기 위한 것으로 자동으로 영상 분류가 가능한 장치 및 방법을 제공하여 사용자의 편리성을 제공하기 위한 것이다.

본 발명은 영상 자동 분류 방법으로서, 영상의 특징정보를 추출하는 단계; 상기 추출된 특징정보에 따라 영상을 카테고리별로 분류하는 단계; 상기 분류된 영상을 동일 카테고리별로 저장하는 단계;를 포함하는 것을 특징으로 한다.

또한 본 발명에 의하면, 상기 영상의 특징정보는 카테고리를 대표하여 하나 또는 둘 이상으로 선택된 영상으로부터 추출하여 등록하거나, 사전에 설정(embeded)된 것임을 특징으로 한다.

또한 본 발명에 의하면, 상기 영상의 특징정보는 카테고리를 대표하여 선택된 영상의 일부분에 대하여 추출된 특징정보인 것을 특징으로 한다.

또한 본 발명에 의하면, 상기 영상 분류단계는, 카테고리를 대표하는 영상의 특징정보를 추출하여 등록하는 단계, 분류 대상이 되는 영상에 대하여 추출된 특징정보를 상기 등록된 카테고리별 특징정보와 비교한 결과에 따라 해당 영상을 카테고리별로 분류하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명에 의하면,상기 카테고리는 사용자에 의해서 정의된 폴더인 것을 특징으로 한다.

또한 본 발명은 이동단말기의 영상 자동 분류 장치로서, 이동 단말기에서 영상의 자동 분류를 위한 영상 카테고리별 특징정보를 저장하는 특징정보 저장부; 영상의 특징정보를 추출하는 특징정보 추출부; 상기 추출된 영상 특징정보를 카테고리별 특징정보와 비교하여 이를 분류 및 저장하는 제어부; 및, 상기 제어부에 의해서 분류된 영상들이 카테고리별로 자동 저장되는 영상 저장부; 를 포함하여 구성된 것을 특징으로 한다.

또한 본 발명에 의하면, 상기 영상 카테고리별 특징정보는 카테고리를 대표 하여 선택된 영상이나 그 영상의 일부분으로부터 추출되어 등록된 것이거나, 사전에 설정(embeded)된 것임을 특징으로 한다.

또한 본 발명에서 상기 자동 분류의 대상이 되는 질의 영상은 단말기 카메라로 촬영된 것이거나, 외부 기기로부터 저장된 것이거나 영상을 제공하는 서버로부터 다운받은 것일 수 있음을 특징으로 한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 기술한다.

도 1은 본 발명의 실시에 따른 이동단말기의 구성도를 나타낸 것이다.

본 발명의 따른 이동단말기는 제어부(100), 디스플레이부(110), 키입력부(120), 메모리부(130), 베이스밴드 처리부(140), RF모듈(150), 카메라(160), 특징정보 추출부(170)를 포함한다.

상기 제어부(100)는 본 발명에 따라 영상 자동 분류에 따른 해당 기능을 처리하고 이동단말기에서 사진 촬영 및 사진 자동 분류와 관계된 각 구성요소를 제어한다. 또한 제어부(100)는 메모리부(130)에 저장되어 있는 특징정보와 촬영을 통해 입력된 영상 또는 인터넷을 통해 내려받거나 외부기기로부터 받아 저장한 영상의 특징정보를 비교하여 카테고리별로 자동으로 분류하는 기능을 수행한다.

상기 디스플레이부(110)는 제어부(100)의 제어하에 키입력부(120)로부터 입력된 키입력 데이터에 대한 표시 데이터를 입력받아 표시하거나, 이동단말기의 동작 상태 및 다수의 정보를 아이콘 및 문자로 표시한다. 그리고 디스플레이부(110)는 제어부(100)의 제어에 따라 등록된 폴더 및 영상을 디스플레이한다.

상기 키입력부(120)는 숫자키들을 포함한 각종 키들을 구비하여 사용자에 의 해 입력되는 키입력 데이터를 제어부(100)에 제공한다. 즉, 키입력부(120)는 구비된 각 키의 입력에 따라 그 고유의 키입력 데이터를 출력하고, 키입력부(120)에서 출력되는 키입력 데이터는 제어부(100)에 인가되어 이러한 키입력 데이터가 어떠한 키 입력에 따른 키입력 데이터가 되는지가 검출되어, 그 결과에 따라 제어부(100)는 해당 동작을 수행한다.

상기 메모리부(130)는 상기 제어부와 연결되어 있고 이동 통신 단말기의 동작 제어 시 필요한 다수의 프로그램과 정보를 저장하기 위한 롬(ROM : Read Only Memory) 및 램(RAM : Random Access Memory) 등으로 이루어진다. 또한 본 발명의 실시 예에 따라 메모리부(130)에는 특징정보와 촬영된 영상 및 인터넷등에서 내려받은 영상이 저장된다. 상기의 특징정보는 단말기 제조시에 이미 알려진 인물, 풍경, 꽃등의 특징정보를 저장할 수도 있고, 사용자가 카테고리별로 대표영상을 등록시키고 등록된 영상에서 패턴인식을 통해 직접 특징정보를 추출할 수도 있다.

상기 메모리부(130)는 카테고리별 특징정보를 저장하는 특징정보저장부(131)와 상기 제어부에 의해 분류된 영상들이 저장되는 영상저장부(132)를 포함한다.

상기 RF모듈(150)은 안테나(ANT)를 통해 기지국과 RF신호를 송/수신하는데, 수신되는 RF신호를 IF(Intermediate Frequency)신호로 변환하여 상기 베이스밴드 처리부(140)로 출력하고 베이스밴드 처리부(140)로부터 입력하는 IF신호를 RF 신호로 변환하여 송신한다. 상기 베이스밴드 처리부(140)는 제어부(100)와 RF모듈(150)간의 인터페이스를 제공하는 BAA(Baseband Analog ASIC)로서, 제어부(100)로부터 인가되는 베이스밴드의 디지털신호를 아날로그 IF신호로 변환하여 RF모듈(150)에 인가하며, RF모듈(150)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털신호로 변환하여 제어부(100)에 인가한다.

상기 카메라(170)는 카메라폰 기능을 구현할 수 있도록 이동 통신 단말기에 설치된다. 이와 같은 상태에서 사용자로부터 사진 촬영 기능 키조작 입력이 들어온다면 이는 키입력부(120)를 통해 제어부(100)로 전송되며, 이에 대해 제어부(100)는 이동 통신 단말기의 카메라 촬영 기능을 제어한다

특징정보 추출부(160)는 사용자가 인물, 풍경, 꽃 등의 각 카테고리를 대표하는 영상을 선택하면 제어부의 신호에 따라 대표영상 및 분류하고자 하는 영상 -예를 들면 사진 촬영에 의한 사진이나 무선인터넷을 통해 내려받은 영상 등- 에 대하여 패턴 인식 알고리즘을 이용하여 특징정보를 생성한다. 상기에서 대표영상이란 카테고리 분류의 기준이 되는 영상을 말한다.

도 2는 특징정보의 생성과정을 나타낸 흐름도이다.

먼저 사용자는 분류하고 싶은 카테고리를 정의한다. 예를 들어, 인물, 풍경, 꽃 등과 같이 희망하는 카테고리에 해당하는 앨범 폴더를 생성한다.

사용자는 상기에서 정의한 카테고리에 해당하는 대표 사진을 각 폴더에 이동시키며 상기 사진에서 일정영역을 선택하여 이를 학습을 위한 관심 영역으로 등록한다. 예를 들어 인물사진의 경우 사진의 얼굴 부분을 선택하는 것이다. 또는, 사진 전체 영역을 학습을 위한 관심영역으로 선택하여 등록할 수도 있다.

상기의 등록된 영상을 이용하여 패턴인식(Pattern classification) 알고리즘을 통하여 특징정보(Feature Vector)를 추출한다. 특징정보 추출 과정을 설명한다

1. 이미지 전처리 과정

전처리 과정은 빛의 상태를 보정하기 위한 과정으로서, 이 과정은 다음의 수 학식1과 같이 표현될 수 있다. 식1은 최소-최대 정규화 (Min_max normalization) 방법을 표현한다. 최소-최대 정규화 방법은 원 영상을 새롭게 정의된 데이터 범위로 변형시켜주는 선형적인 변형(linear transformation)방법이다.

식1에서

과

은 입력 영상의 최소, 최대 밝기 값이며,

와

는 새로운 범위의 최소, 최대 밝기 값이다. 최소-최대 정규화를 위해, 본 발명에서는 영상의 밝기(luminance) 성분의 상위 약 8.5%를 기준백색(reference white) (226~256)으로 가정하고, 반대로 하위 약 8.5까지를 기준흑색(reference black) (0~30)으로 간주한다. 여기서 8.5%라는 수치는 실험을 통해 가장 좋은 성능을 보여준 값으로 정하였다. 결국, 입력영상의 최대, 최소 밝기 값에 상관없이 모든 영상이 31 ~ 225 범위의 밝기 값을 갖도록 할 수 있다. 하지만, 영상의 빛 성분의 평균값이 70 이하인 예외적인 상황에서는 적응성 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, 이하 CLAHE)를 사용한다.

기존의 히스토그램 평활화는 전체 영역에 대해서 평활화를 수행하지만 CLAHE 는 특정부분에 대해 부분적으로 히스토그램 평활화를 수행하므로, 본 발명과 같이 특정부분에 대한 특징정보가 필요한 경우 부분영역의 정보를 선명하게 할 수 있는 장점이 있다.

상기에서 설명한 방법외에도 전처리 과정은 다양한 방법이 적용 가능하다.

2. 학습과정

학습과정 또한 다양한 방법이 존재하지만 본 발명에서는 대표적인 방법은 비선형 적응성 부스팅(adaptive boosting) 알고리즘을 이용하였다.

도 3과 같이 특징정보가 존재하는 경우 결정선(Decision Line)으로 분류하게 되면 얼굴인 특징정보를 1개 놓치고, 얼굴이 아닌 특징정보가 얼굴이라고 분류되는 것이 3개가 발생한다. 이와 같은 방법을 선형 분류기(Linear Classifier)라고 할 수 있다.

이와 같은 경우에는 에러율이 매우 높으며, 이를 약한 분류기(Weak Classifier)라고도 한다.

상기와 같이 결정선이 한 개만 있을 경우에는 매우 약한 분류기가 되지만, 이러한 약한 분류기 여러 개를 합쳐서 조합하게 되면 강한 분류기(Strong Classifier)가 될 수 있다. 이러한 방법을 이용한 것이 비선형 적응성 부스팅 알고리즘의 기본 개념이다.

도 4는 비선형 적응성 부스팅을 이용한 강한 분류기의 개념을 나타낸 것이다. 결정선 1, 2, 3을 결합함으로써 얼굴이 아닌 특징정보가 얼굴 특징정보로 인식되는 것을 방지할 수 있다. 즉, 결정선을 다양하게 적용하고 이들을 결합함으로써 에러가 없는 강한 분류기로 작동할 수 있다.

상기의 대표 사진은 1장 이상으로 N개(N은 '2'이상의 유한개)의 사진이 될 수도 있다. N이 증가함에 따라 특징정보의 정확성이 높아진다.

본 발명에서 상기의 특징정보는 상기와 같이 사용자가 대표사진을 등록하고 학습과정을 통해 생성할 수도 있지만 이미 알려진 얼굴, 풍경, 꽃 등의 특징정보를 메모리에 미리 저장하여 둘 수도 있다. 또한 반복되는 재학습에 의해서 특징정보의 신뢰도를 높일 수도 있다.

도 5는 본 발명의 실시에 따른 이동단말기의 사진앨범을 분류하는 화면이다.

도 6은 본 발명의 실시에 따른 각 카테고리별로 구분한 일 실시예이다. 사용자는 각 카테고리별로 특징이 될 수 있는 부분을 선택하여 대표영상으로 입력할 수 있다.

도 7은 본 발명의 실시에 따른 전체 흐름도이다.

사용자가 이동단말기를 이용하여 사진촬영을 하면(S10) 자동 분류 모드인지 여부를 확인한다(S20). 상기 단계에서 자동 분류 모드가 아니라고 판단되면 카테고리가 정의되지 않은 일반 앨범에 저장한다(S21).

상기 단계에서 자동 분류 모드라고 판단되면 분류하고자 하는 영상의 특징 벡터를 생성한다(S30). 상기 특징정보 생성방법은 상기에서 설명된 바와 같이 다양한 방법이 사용될 수 있다.

상기 단계에서 생성된 영상의 특징정보와 카테고리별로 저장되어 있는 특징 정보를 비교한다(S40). 동일성 여부를 판단하여(S50), 동일한 종류의 특징정보가 있으면 해당 카테고리에 해당하는 폴더에 저장하고(S60), 동일한 종류의 특징정보가 없으면 일반 앨범에 저장한다(S51). 동일성 여부 판단시에 비교되는 특징정보가 100% 일치하는 경우는 거의 없으므로 특정% 이상 일치하면 동일한 것으로 간주한다. 기준이 되는 특정 %는 사용자가 설정하거나 단말기 제조시에 설정할 수 있다. 일반적으로 대략 80~90% 정도 이상 일치하면 동일하다고 볼 수 있다.

이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.

본 발명에 따른 이동단말기의 영상 자동분류 방법 및 장치에 의하면 사용자가 일일이 영상을 종류별로 분류하지 않더라고 자동으로 영상을 분류할 수 있어 앨범관리를 보다 손쉽고 효율적으로 할 수 있다.

Claims (7)

1. 영상의 특징정보를 추출하는 단계;

   상기 추출된 특징정보에 따라 영상을 카테고리별로 분류하는 단계;

   상기 분류된 영상을 동일 카테고리별로 저장하는 단계;를 포함하는 것을 특징으로 하는 이동단말기의 영상 자동 분류 방법.
2. 제 1항에 있어서, 상기 영상의 특징정보는 카테고리를 대표하여 하나 또는 둘 이상으로 선택된 영상으로부터 추출하여 등록하거나, 사전에 설정(embeded)된 것임을 특징으로 하는 이동단말기의 영상 자동 분류 방법.
3. 제 1 항에 있어서, 상기 영상의 특징정보는 카테고리를 대표하여 선택된 영상의 일부분에 대하여 추출된 특징정보인 것을 특징으로 하는 이동 단말기의 영상 자동 분류 방법.
4. 제 1 항에 있어서, 상기 영상 분류단계는, 카테고리를 대표하는 영상의 특징정보를 추출하여 등록하는 단계, 분류 대상이 되는 영상에 대하여 추출된 특징정보를 상기 등록된 카테고리별 특징정보와 비교한 결과에 따라 해당 영상을 카테고리별로 분류하는 단계를 포함하는 것을 특징으로 하는 이동 단말기의 영상 자동 분류 방법.
5. 제 1 항에 있어서, 상기 카테고리는 사용자에 의해서 정의된 폴더인 것을 특징으로 하는 이동 단말기의 영상 자동 분류 방법.
6. 이동 단말기에서 영상의 자동 분류를 위한 영상 카테고리별 특징정보를 저장하는 특징정보 저장부; 영상의 특징정보를 추출하는 특징정보 추출부; 상기 추출된 영상 특징정보를 카테고리별 특징정보와 비교하여 이를 분류 및 저장하는 제어부; 및, 상기 제어부에 의해서 분류된 영상들이 카테고리별로 자동 저장되는 영상 저장부; 를 포함하여 구성된 것을 특징으로 하는 이동 단말기의 영상 분류 장치.
7. 제 6 항에 있어서, 상기 영상 카테고리별 특징정보는 카테고리를 대표하여 선택된 영상이나 그 영상의 일부분으로부터 추출되어 등록된 것이거나, 사전에 설정(embeded)된 것임을 특징으로 하는 이동 단말기의 영상 분류 장치.

Images