KR101195939B1

KR101195939B1 - 움직임 궤적을 이용한 객체 인식 프로그램이 저장된 기록매체 및 객체 인식 장치

Info

Publication number: KR101195939B1
Application number: KR1020100136473A
Authority: KR
Inventors: 이귀상
Original assignee: 전남대학교산학협력단
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2012-10-29
Also published as: WO2012091276A1; KR20120074591A

Abstract

본 발명은 디지털 카메라가 장착된 모바일 단말의 움직임 센서를 이용하여 모바일 단말의 움직임 궤적을 추적하고, 촬영된 영상 내의 움직임 궤적을 이용하여 텍스트 등의 객체를 인식하는 프로그램이 저장된 기록매체 및 객체 인식 장치에 관한 것이다.

Description

움직임 궤적을 이용한 객체 인식 프로그램이 저장된 기록매체 및 객체 인식 장치{recoding media saving program for detecting object in digital image by using motion trace and apparatus therefor}

모바일 단말은 그 휴대의 편리함으로 인해 현대인들에게 필수에 가까운 소지품으로 인식되고 있으며 발전해가는 모바일 단말의 차세대 개발 이슈는 '사용자 중심의 인터페이스' 라 할 수 있다.

현재의 모바일 단말은 그 입력 방식으로 키패드 기반의 인터페이스가 주류를 이루고 있지만 제한된 키 개수와 배치 방식으로 인해 보다 자유로운 활용은 어려운 실정이므로 새로운 입력 인터페이스의 개발이 다각적으로 모색되고 있다.

한편 최근에는 텍스트의 입력을 위해 디지털 카메라를 기반으로 하는 텍스트 인식 및 해석 도구의 개발도 활발히 이루어지고 있으며, 하나의 예로 명함인식이나 문자 인식, 언어 번역기 등의 애플리케이션을 들 수 있다. 또한 웹 검색에 있어서도 향후에는 단순한 텍스트 검색 이외에 영상 기반의 콘텐츠 검색이 더 자주 사용될 것으로 예상된다.

사용자가 어떤 상품이나 얼굴 등의 영상과 관련된 정보를 웹에서 검색하고자 할 경우 관련 영상으로부터 특정 부분을 추출하여 검색의 키워드로 입력해야 할 것이다. 이를 위해서는 디지털 영상으로부터 텍스트나 일부의 영상 객체를 추출하는 기술이 반드시 필요하지만 정지 영상에서 특수한 형태로 포함되어 있는 텍스트나 일부의 영상 객체를 분리해 내는 것은 매우 어려운 과제라 알려져 있다.

예를 들어 평균 수준의 조명 아래서 촬영된 문서 영상으로부터 직선 형태의 일 단어를 검출하는 기술은 비교적 구현이 용이하지만 조명이 변화된 채로 촬영된 영상이나 카메라의 광각의 제한으로 기하학적으로 왜곡되어 촬영된 영상에 포함되어 있는 텍스트를 검출하는 기술, 곡면 등과 같이 비선형으로 배열된 텍스트를 포함하는 영상이나 복수의 단어가 배열된 문장을 포함하는 영상에서 텍스트를 검출하는 기술, 파노라마 형식의 자연 영상으로부터 텍스트를 검출하는 기술을 구현하는 것은 매우 어려우며, 그 구현을 위해서는 영상으로부터 텍스트의 위치 정보와 배열 정보를 추출하는 기술이 핵심적으로 요구된다.

본 발명이 해결하려는 과제는 모바일 단말에 내장된 움직임 센서를 이용하여 모바일 단말의 움직임 궤적을 추적하고, 모바일 단말의 카메라를 통해 촬영된 영상에서 움직임 궤적으로 특정된 영역의 위치 정보와 배열 정보를 추출하여 텍스트를 인식하거나 부분 영상 객체를 분할하는 방법, 그 방법을 구현한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체 및 객체 인식 장치를 제공하는 것이다.

위의 과제를 해결하기 위해 본 발명은, 움직임 센서의 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 움직임 궤적 추적모듈을 포함하는 움직임 궤적 추적 장치를 일 실시예로 제안한다.

여기서, 상기 움직임 궤적 추적모듈은, 상기 디지털 카메라를 통해 촬영된 영상에 대하여 지역적인 움직임(local motion)을 분석하는 지역 움직임 분석모듈과, 상기 분석된 지역 움직임을 이용하여 영상의 전역 움직임(global motion)을 분석하고, 상기 분석된 전역 움직임으로부터 아웃라이어(outlier)를 제거하여 인접하는 영상 프레임 간의 움직임 벡터를 생성하는 전역 움직임 분석모듈 및 상기 생성된 움직임 벡터들을 통합하여 전체적인 움직임 궤적을 생성하고, 생성된 움직임 궤적에 상기 움직임 센서의 감지 데이터를 반영하는 움직임 궤적 생성모듈을 포함할 수 있다.

본 발명은 위의 과제를 해결하기 위해, 움직임 센서로 모바일 단말의 움직임을 감지하여 감지 데이터를 생성하는 단계 및 상기 생성된 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 단계를 포함하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 다른 일 실시예로 제안한다.

본 발명에 의하면 모바일 단말을 복잡하게 조작하거나 별도의 프로그램을 이용하여 후처리할 필요 없이 모바일 단말의 직관적인 움직임만으로 영상의 일부 영역을 특정할 수 있으므로 판독하기 어려운 형태의 이미지로부터 텍스트나 일부 영상 객체의 위치 정보나 배열 정보를 손쉽게 획득할 수 있다. 또한 이와 같이 획득한 위치 정보 및 배열 정보를 이용하여 텍스트 인식 및 영상 분할의 정확도와 처리 성능을 한층 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 모바일 단말의 구성을 도시한 블록도이다.
도 2는 움직임 궤적 추적모듈(30)의 구성을 도시한 블록도이고, 도 3은 움직임 궤적 추적모듈(30)의 동작 과정을 단계별로 도시한 순서도이다.
도 4는 텍스트 추출모듈(40)의 구성을 도시한 블록도이고, 도 5는 텍스트 추출모듈(40)의 동작 과정을 단계별로 도시한 순서도이다.
도 6은 다중 단어로 구성된 텍스트에 움직임 궤적을 표시한 경우의 화면예를 도시한 것이다.
도 7 및 도 8은 텍스트의 정확한 인식을 위해 배열정보가 필요한 대표적인 경우들에 대한 화면예이다.
도 9는 객체분할모듈(50)의 구성을 도시한 블록도이고, 도 10은 객체분할모듈(50)의 동작 과정을 단계별로 도시한 순서도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예들을 상세히 설명한다. 도면에서, 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하며 명세서 전체를 통하여 동일한 부분에 대해서는 동일한 도면 부호를 사용한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

명세서 전체에서 '기록매체'라 함은 비휘발성의 메모리를 통칭하는 것으로서 데이터 CD, USB 메모리, 메모리 스틱, 메모리 카드 등의 포터블 메모리(portable memory)와, 하드 디스크, 플로피 디스크, 정적 메모리(static memory, SRAM) 등의 넌 포터블 메모리(non-portable memory)를 포함한다.

텍스트의 위치 및 배열정보 없이 영상으로부터 텍스트를 추출할 경우 색상이나 조명 등에 의한 왜곡으로 인해 추출의 정확도는 매우 낮아진다. 특히 다중 단어의 스캔이나 곡면 형태 도는 비선형으로 배열된 텍스트의 경우에는 정확한 위치정보나 배열정보 없이는 정확한 텍스트 추출이 매우 어렵다.

객체 분할에 있어서도 객체의 위치정보는 비록 대략적인 정보라 하더라도 정확한 객체 분할에 결정적인 역할을 담당하며, 그러한 위치정보 없이는 객체 분할의 성공률은 매우 낮아진다.

본 발명의 실시예들은 모바일 단말에 장착된 디지털 카메라와 움직임센서를 이용하여 모바일 단말의 움직임 궤적을 정확하게 파악하고, 파악된 움직임 궤적으로부터 텍스트의 위치정보 및/또는 배열정보를 추출하거나 일부 영상 객체의 위치정보를 추출하여 텍스트 검출(detection) 알고리즘 또는 영역 분할(segmentation) 알고리즘에 추가로 제공함으로써 텍스트 인식률 및 객체 분할의 정확도를 향상시킨다.

이하, 본 발명의 실시예들을 첨부된 도면을 참고로 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 모바일 단말의 구성을 도시한 블록도이다. 도 1의 모바일 단말(100)은 움직임 센서(10), 디지털 카메라(20), 움직임 궤적 추적모듈(30)을 포함하며, 선택적으로 텍스트 추출모듈(40) 및/또는 객체분할모듈(50) 중 적어도 하나를 더 포함할 수 있다.

모바일 단말(100)은 디지털 카메라(20)가 장착된 셀룰러 폰(Cellular Phone), PDA(Personal Digital Assistant), 스마트 폰(smart phone), PC 폰(PC phone), 네비게이션, PMP(Personal Multimedia Player), 노트북 컴퓨터(Notebook PC) 등과 같이 특정 위치에 고정되어 있지 않고 소지 가능한 단말을 통칭한다.

움직임 센서(10)는 각속도 및 각도의 움직임을 감지하는 소자이다. 움직임 센서(10)로 진동형 자이로(Vibrating Gyro), HRG(Hemispherical Resonating Gyro) 등의 기계식 자이로 센서가 사용되거나, RLG(Ring Laser Gyro), FOG(Fiber Optics Gyro) 등의 광학식 자이로 센서가 사용될 수 있다.

움직임 궤적 추적모듈(30)은 모바일 단말(100)에 장착된 움직임 센서(10)의 감지 데이터와, 디지털 카메라(20)에 의해 촬영된 영상의 변화를 이용하여 모바일 단말(100)의 움직임 궤적을 추적하고, 추적된 궤적을 영상 화면에 출력한다.

텍스트 추출모듈(40)은 모바일 단말(100)의 움직임 궤적을 이용하여 영상으로부터 텍스트를 추출한다.

객체분할모듈(50)은 모바일 단말(100)의 움직임 궤적을 이용하여 영상에 대한 객체 분할을 수행한다. 움직임 궤적은 영상 분할 알고리즘에 영상 분할을 위한 시드(seed)를 제공하거나 영상 객체의 대략적인 윤곽선을 제공한다.

이하, 움직임 궤적 추적모듈(30), 텍스트 추출모듈(40), 객체분할모듈(50)의 구체적인 구성 및 역할에 대해 상세히 설명한다.

먼저, 움직임 궤적 추적모듈(30)에 대해 살펴보면 다음과 같다.

도 2는 움직임 궤적 추적모듈(30)의 구성을 도시한 블록도이고, 도 3은 움직임 궤적 추적모듈(30)의 동작 과정을 단계별로 도시한 순서도이다. 움직임 궤적 추적모듈(30)의 동작 과정은 본 발명의 일 실시예인 움직임 궤적 추적 방법과 동일한 것으로 해석될 수 있다.

도 2에서 보듯, 움직임 궤적 추적모듈(30)은 지역 움직임 분석모듈(31), 전역 움직임 분석모듈(32) 및 움직임 궤적 생성모듈(33)을 포함하여 이루어진다.

S10 단계에서, 지역 움직임 분석모듈(31)은 디지털 카메라(20)를 통해 촬영된 영상에 대하여 지역적인 움직임(local motion)을 분석한다. 구체적으로, 지역 움직임 분석모듈(31)은 촬영된 영상의 일부를 특징적인 블록으로 설정한다. 이와 같은 특징적 블록을 형상 블록(feature block)이라 하며 하나의 영상 안에서 복수의 형상 블록이 설정될 수 있다. 그리고, 상기 설정된 형상 블록들에 대하여 블록 움직임 추정(block motion estimation)을 수행함으로써 영상의 지역 움직임을 분석한다.

S11 단계에서, 전역 움직임 분석모듈(32)은 상기 분석된 지역 움직임을 이용하여 영상의 전역 움직임(global motion)을 분석한다. 전역 움직임은 기본적으로 영상의 변형(translation), 회전(rotation), 크기 변화(scaling) 등으로 구분될 수 있다.

S13 단계에서, 전역 움직임 분석모듈(32)은 상기 분석된 전역 움직임으로부터 아웃라이어(outlier)를 제거한다. 전역 움직임을 구성하는 움직임 벡터들 중의 일부는 움직이는 물체나 기타 잡음에 의한 것이므로 분석하고자 하는 영상(이를테면 영상 안의 정적인 배경)의 움직임과는 무관하다. 따라서, 전역 움직임 분석모듈(32)은 분석 대상 영상의 움직임과는 무관한 움직임 벡터들을 아웃라이어(outliers)로 간주하고 시간적 및/또는 공간적인 관점에서 제거(rejection)한다.

S14 단계에서, 움직임 궤적 생성모듈(33)은 전역 움직임 분석모듈(32)에 의해 인접하는 영상 프레임 간의 움직임 벡터가 생성되면, 생성된 움직임 벡터들을 통합하여 전체적인 움직임 궤적을 생성한다. 움직임 궤적은 영상 시퀀스(sequence) 중에서 최초의 영상에 표시되어야 하므로 상기 생성된 움직임 궤적은 첫 번째 영상 프레임에 맵핑되어야 한다. 이를 위해 움직임 궤적 생성모듈(33)은 각 영상 프레임에 대하여 움직임 벡터를 역순으로 맵핑함으로써 전체적인 움직임 궤적이 첫 번째 영상 프레임에 선 형태로 표시되도록 한다.

한편, 움직임 궤적은 모바일 단말 사용자의 손떨림 등에 의해 선형(또는 선형에 가까운)으로 표현되지 못하고 불규칙한 비선형(이를테면 톱니 모양이나 계단 모양 등)으로 표현되기도 한다. 이를 보정하기 위해, 움직임 궤적 생성모듈(33)은 S15 단계를 통해 불규칙하게 나타나는 움직임 궤적에 소정의 평활화 알고리즘을 추가로 적용할 수 있다.

S16 단계에서, 움직임 궤적 생성모듈(33)은 상기 생성된 움직임 궤적에 움직임 센서(10)의 감지 정보를 더하여 움직임 궤적의 정확도를 높인다.

다음으로, 텍스트 추출모듈(40)에 대해 상세히 설명한다.

도 4는 텍스트 추출모듈(40)의 구성을 도시한 블록도이고, 도 5는 텍스트 추출모듈(40)의 동작 과정을 단계별로 도시한 순서도이다. 텍스트 추출모듈(40)의 동작 과정은 본 발명의 일 실시예인 움직임 궤적을 이용한 텍스트 추출방법과 동일한 것으로 해석될 수 있다.

텍스트 추출모듈(40)은 촬영 영상에서 텍스트를 추출하기 위해 문서영상 처리, 자연영상 처리 및 동영상 처리 중 적어도 하나를 수행한다.

문서영상 처리는 주로 스캔 문서의 영상에서 텍스트 객체를 분할하고 분할된 텍스트 객체로부터 텍스트를 인식하는 프로세스를 포함한다. 문서영상 처리를 위해 인쇄체, 필기체 또는 고문서체의 인식 프로세스, 텍스트의 라인 검출프로세스, 조명 변화에 강인한 이진화(binarization) 프로세스 및 텍스트의 보정(rectification) 프로세스 중 적어도 하나가 더 수행될 수 있다.

자연영상은 문서영상에 비해 텍스트의 폰트, 크기, 색상 등이 다양하고 그림자(shade)나 반사(reflection) 등의 조명에 의한 영상 왜곡이 심하므로 텍스트의 인식 및 위치 검출이 용이하지 않다. 따라서, 자연영상 처리를 위해 조명에 의한 왜곡 영상의 보정 프로세스, 카메라의 광각에 의해 기하학적으로 왜곡된 영상의 보정 프로세스, 색상 보정 프로세스 중 적어도 하나가 더 수행될 수 있다.

동영상 처리에는 동영상에 포함된 캡션을 텍스트로 인식하기 위한 프로세스가 포함될 수 있으며, 이에 관한 상세한 기술 정보는 D. Crandall, S. Antani, and R. Kasturi, "Extraction of special effects caption text events from digital video," International Journal of Document Analysis and Recognition 5, no. 2-3, pp.138-157, 2005.에 기재되어 있다.

이하, 텍스트 추출모듈(40)이 수행하는 구체적인 영상 처리 절차를 살펴보면 다음과 같다.

도 4에서 보듯, 텍스트 추출모듈(40)은 궤적분할모듈(41), 영역결정모듈(42) 및 강인화모듈(43)을 포함한다.

S21 단계에서, 궤적분할모듈(41)은 움직임 궤적을 추적하기 시작한 최초의 텍스트 영상에서 움직임 궤적이 미리 설정한 범위를 벗어나는 경우 움직임 궤적을 소정의 영상 시퀀스 단위로 분할한다.

다시 말해, 텍스트가 다중 단어 또는 문장으로 구성되어 있어서 텍스트 배열을 따라 카메라를 장거리로 이동시킨 경우, 최종 영상은 최초 영상과 상당 부분 달라질 수 있다. 도 6은 이와 같이 다중 단어로 구성된 텍스트에 움직임 궤적을 표시한 경우의 화면예를 도시하고 있다. 이 경우, 움직임 궤적을 최초 영상에 적용하더라도 그 움직임 궤적은 최초 영상의 범위를 벗어나므로 움직임 궤적을 적절한 영상 시퀀스 단위로 분할할 필요가 있다. 즉, 동영상을 구성하는 전체 프레임의 시퀀스는 일정한 단위로 분리되어야 텍스트 요소들을 정확히 검출할 수 있는 것이다. 궤적분할모듈(41)은 초기 텍스트 영상에서 움직임 궤적이 미리 설정한 범위를 벗어나는 것으로 판단되면 움직임 궤적을 소정의 영상 시퀀스 단위로 분할한다.

S22 단계에서, 영역결정모듈(42)은 움직임 궤적을 바탕으로 텍스트의 배열정보를 알아낸다. 도 7은 텍스트의 정확한 인식을 위해 배열정보가 필요한 대표적인 경우에 대한 화면예이고, 도 8은 원형으로 배열된 텍스트에 대하여 움직임 궤적을 추적하는 모습을 도시한 개념도이다. 도 7 및 도 8에서 보듯, 원형으로 배열된 텍스트의 밑단에는 모바일 단말의 이동으로 인해 추적된 움직임 궤적이 표시됨을 확인할 수 있다.

영역결정모듈(42)은 움직임 궤적과 가장 근거리에 위치하는 텍스트를 검출하여 텍스트의 범위를 찾는데, 잘못된 텍스트의 검출을 방지하기 위해 텍스트 요소는 일정하고 연속적인 위치에 배열되는 것이 바람직하다. 여기서, 텍스트 요소란 텍스트를 구성하는 각 문자 또는 문자가 밀집된 단어를 가리킨다.

영역결정모듈(42)은 텍스트 요소의 검출을 위해 에지 성분을 활용할 수 있다. 즉, 영역결정모듈(42)은 에지 성분이 밀집된 영역을 텍스트 후보 영역으로 설정하고, 후보 영역에서 움직임 궤적에 의한 배열정보와 일치하는 성분을 찾는다. 그리고 상기 찾아낸 텍스트 요소에 대하여 경계 박스(bounding box)를 설정한다.

S23 단계에서, 강인화모듈(43)은 텍스트의 색상이나 조명의 변화에 강인한 텍스트 인식률을 보장하기 위해 텍스트의 분할(segmentation) 및 이진화(binarization)를 수행한다.

강인화모듈(43)은 영역결정모듈(42)에 의해 설정된 경계 박스 안의 텍스트를 이진화한다. 구체적으로, 강인화모듈(43)은 먼저 색상 클러스터링(clustering)에 의해 스트록(strok) 부분을 분할하되, 조명 변화 및 텍스트의 색상을 고려하여 스트록 분할을 완성한다. 색상 분할을 위해 텍스트의 색상을 배경색과 대비하여 색상 요소들을 컬러 양자화(colour quantization)할 수 있다.

본 발명에서는, 영역결정모듈(42)에 의해 텍스트 요소가 검출되었으므로 각 텍스트 요소의 경계 박스에는 비교적 단순한 형태의 전경(foreground)과 배경(background)이 존재한다. 따라서, 텍스트의 분할(segmentation) 및 이진화(binarization)를 보다 효과적으로 수행할 수 있다.

도 5에는 도시되지 않았지만, 텍스트 추출모듈(40)은 강인화모듈(43)에 의해 변환된 최종 영상 정보로부터 텍스트를 추출하여 문자로 제공하는 단계를 더 수행할 수 있다.

마지막으로, 객체분할모듈(50)에 대해 상세히 설명한다.

도 9는 객체분할모듈(50)의 구성을 도시한 블록도이고, 도 10은 객체분할모듈(50)의 동작 과정을 단계별로 도시한 순서도이다. 객체분할모듈(50)의 동작 과정은 본 발명의 일 실시예인 움직임 궤적을 이용한 객체 분할 방법과 동일한 것으로 해석될 수 있다.

도 9에서, 객체분할모듈(50)은 영상분할모듈(51) 및 특징추출모듈(52)을 포함하여 이루어진다.

영상분할기법은 픽셀(pixel) 기반의 분할기법과 영역 기반의 분할기법으로 구분할 수 있다. 영역 기반의 분할기법에는 분할병합법(split and merge), 영역 성장법(region growing), 경계 완화법(boundary relaxation), 유역법(watershed), 그래프 절단법(graph cut), 능동 윤곽법(active contour)이 포함된다. 이하, 본 발명의 일 실시예로 분할병합법(split and merge)을 사용하는 영상 객체 분할 방법을 설명하지만 전술한 다른 종류의 영상분할기법이 대신 사용될 수 있음은 자명하다.

S31 단계에서, 영상분할모듈(51)은 영상의 색상과 텍스쳐를 기반으로 하여 영상의 각 부분을 동질 영역(homogeneous region)으로 분할한다. 이를 위해 영상분할모듈(51)은 의미 천이(mean-shift)나 성장 알고리즘(growing algorithm)과 같은 클러스터링 기법을 사용할 수 있다. 또한 영상분할모듈(51)은 영상으로부터 분할할 객체의 크기와 범위에 따라 상기 동질 영역의 분할 크기(scale)를 동적으로 조절할 수 있다.

S32 단계에서, 특징추출모듈(52)은 움직임 궤적을 고려하여 영상 객체의 특징을 추출한다. 그리고, S33 단계에서, 추출된 영상 객체의 특징들을 토대로 우성 형상(dominant feature)을 추출하여, 최종적인 객체 분할에 활용한다(S34).

일례로, 특징추출모듈(52)은 검출된 서로 다른 형상 세그먼트(feature segment) 별로 그 차이를 측정하여 서로 다른 형상들이 객체의 내부에 어느 정도 존재하는지를 파악한다. 모바일 단말(100)을 들고 있는 사용자의 손떨림 특성이나 모바일 단말(100)의 움직임의 불안정성으로 인해 움직임 궤적은 객체의 전경(foreground) 뿐만 아니라 배경(background)까지 지정할 가능성이 있다. 이러한 사유로 인해 객체 윤곽의 중심으로부터 외곽으로 갈수록 객체의 전경일 확률이 낮아진다. 특징추출모듈(52)은 이러한 원리를 이용하여 객체 윤곽의 중심을 객체 전경의 중심으로 간주하여 형상을 분석하되, 윤곽의 외부로부터 객체 외부의 형상을 추출하고 추출한 외부 형상을 작은 영역으로 나누어 영상 영역들을 분류한다.

도 11 및 도 12는 영상으로부터 일정 영역의 객체를 분할하기 위해 모바일 단말의 움직임 궤적을 추적하는 모습을 도시한 개념도이다. 구체적으로, 도 11는 텍스트의 한 글자를 분할하기 위해 박스 형태의 움직임 궤적을 형성한 경우를 도시하고 있고, 도 12는 자동차를 주변 배경으로부터 분할하기 위해 타원 형태의 움직임 궤적을 형성한 경우를 도시하고 있다.

이상에서 본 발명의 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

또한 본 출원에서 사용한 용어는 단지 특정 실시예를 설명하기 위해 사용된 것으로서 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

Claims

삭제
움직임 센서의 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 움직임 궤적 추적모듈
을 포함하고,
상기 움직임 궤적 추적모듈은,
상기 디지털 카메라를 통해 촬영된 영상에 대하여 지역적인 움직임(local motion)을 분석하는 지역 움직임 분석모듈;
상기 분석된 지역 움직임을 이용하여 영상의 전역 움직임(global motion)을 분석하고, 상기 분석된 전역 움직임으로부터 아웃라이어(outlier)를 제거하여 인접하는 영상 프레임 간의 움직임 벡터를 생성하는 전역 움직임 분석모듈; 및
상기 생성된 움직임 벡터들을 통합하여 전체적인 움직임 궤적을 생성하고, 생성된 움직임 궤적에 상기 움직임 센서의 감지 데이터를 반영하는 움직임 궤적 생성모듈
을 포함하는 움직임 궤적 추적 장치.
제2항에 있어서, 상기 움직임 궤적 생성모듈은,
각 영상 프레임에 대하여 움직임 벡터를 역순으로 맵핑함으로써 전체적인 움직임 궤적이 첫 번째 영상 프레임에 선 형태로 표시되도록 하는 것을 특징으로 하는 움직임 궤적 추적 장치.
제3항에 있어서, 상기 움직임 궤적 생성모듈은,
상기 선 형태로 표시되는 움직임 궤적이 비선형적인 불규칙한 형상으로 표시될 경우, 상기 움직임 벡터에 소정의 평활화 알고리즘을 더 적용하는 것을 특징으로 하는 움직임 궤적 추적 장치.
움직임 센서의 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 움직임 궤적 추적모듈; 및
상기 모바일 단말의 움직임 궤적을 이용하여 영상으로부터 텍스트를 추출하는 텍스트 추출모듈
을 포함하는 움직임 궤적 추적 장치.
제5항에 있어서, 상기 텍스트 추출모듈은,
상기 모바일 단말의 움직임 궤적을 추적하기 시작한 최초의 영상에서 움직임 궤적이 미리 설정한 범위를 벗어나는 경우 움직임 궤적을 소정의 영상 시퀀스 단위로 분할하는 궤적분할모듈;
상기 모바일 단말의 움직임 궤적을 이용하여 상기 영상에 포함된 텍스트의 배열정보를 알아내고, 상기 배열정보를 이용하여 상기 텍스트의 경계 박스를 설정하는 영역결정모듈; 및
상기 영상에 포함된 텍스트에 대하여 분할(segmentation) 및 이진화(binarization) 중 적어도 하나를 수행하는 강인화모듈
을 포함하는 것을 특징으로 하는 움직임 궤적 추적 장치.
움직임 센서의 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 움직임 궤적 추적모듈; 및
상기 모바일 단말의 움직임 궤적을 이용하여 영상에 대한 객체 분할을 수행하는 객체분할모듈
을 포함하는 움직임 궤적 추적 장치.
제7항에 있어서, 상기 객체분할모듈은,
영상의 색상과 텍스쳐를 기반으로 하여 상기 영상의 각 부분을 동질 영역(homogeneous region)으로 분할하는 영상분할모듈; 및
상기 모바일 단말의 움직임 궤적을 고려하여 상기 분할된 영상 객체들의 특징을 추출하고, 상기 추출된 영상 객체의 특징들을 토대로 우성 형상(dominant feature)을 추출하는 특징추출모듈
을 포함하는 것을 특징으로 하는 움직임 궤적 추적 장치.
삭제
움직임 센서로 모바일 단말의 움직임을 감지하여 감지 데이터를 생성하는 단계; 및
상기 생성된 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 단계
를 포함하고,
상기 움직임 궤적 추적 단계는,
상기 디지털 카메라를 통해 촬영된 영상에 대하여 지역적인 움직임(local motion)을 분석하는 단계;
상기 분석된 지역 움직임을 이용하여 영상의 전역 움직임(global motion)을 분석하는 단계;
상기 분석된 전역 움직임으로부터 아웃라이어(outlier)를 제거하여 인접하는 영상 프레임 간의 움직임 벡터를 생성하는 단계;
상기 생성된 움직임 벡터들을 통합하여 전체적인 움직임 궤적을 생성하는 단계; 및
상기 생성된 움직임 궤적에 상기 움직임 센서의 감지 데이터를 반영하는 단계
을 포함하는 것을 특징으로 하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
제10항에 있어서, 상기 움직임 궤적 추적 단계는,
각 영상 프레임에 대하여 움직임 벡터를 역순으로 맵핑함으로써 전체적인 움직임 궤적이 첫 번째 영상 프레임에 선 형태로 표시되도록 단계를 더 포함하는 것을 특징으로 하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
제11항에 있어서, 상기 움직임 궤적 추적 단계는,
상기 선 형태로 표시되는 움직임 궤적이 비선형적인 불규칙한 형상으로 표시될 경우, 상기 움직임 벡터에 소정의 평활화 알고리즘을 적용하는 단계를 더 포함하는 것을 특징으로 하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
움직임 센서로 모바일 단말의 움직임을 감지하여 감지 데이터를 생성하는 단계;
상기 생성된 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 단계; 및
상기 모바일 단말의 움직임 궤적을 이용하여 영상으로부터 텍스트를 추출하는 단계
를 포함하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
제13항에 있어서, 상기 텍스트 추출 단계는,
상기 모바일 단말의 움직임 궤적을 추적하기 시작한 최초의 영상에서 움직임 궤적이 미리 설정한 범위를 벗어나는 경우 움직임 궤적을 소정의 영상 시퀀스 단위로 분할하는 단계;
상기 모바일 단말의 움직임 궤적을 이용하여 상기 영상에 포함된 텍스트의 배열정보를 알아내고, 상기 배열정보를 이용하여 상기 텍스트의 경계 박스를 설정하는 단계; 및
상기 영상에 포함된 텍스트에 대하여 분할(segmentation) 및 이진화(binarization) 중 적어도 하나를 수행하는 단계
를 포함하는 것을 특징으로 하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
움직임 센서로 모바일 단말의 움직임을 감지하여 감지 데이터를 생성하는 단계;
상기 생성된 감지 데이터와, 디지털 카메라에 의해 촬영된 영상의 변화를 이용하여 모바일 단말의 움직임 궤적을 추적하는 단계; 및
상기 모바일 단말의 움직임 궤적을 이용하여 영상에 대한 객체 분할을 수행하는 단계
를 포함하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
제15항에 있어서, 상기 객체분할단계는,
영상의 색상과 텍스쳐를 기반으로 하여 상기 영상의 각 부분을 동질 영역(homogeneous region)으로 분할하는 단계; 및
상기 모바일 단말의 움직임 궤적을 고려하여 상기 분할된 영상 객체들의 특징을 추출하고, 상기 추출된 영상 객체의 특징들을 토대로 우성 형상(dominant feature)을 추출하는 단계
를 포함하는 것을 특징으로 하는 움직임 궤적 추적 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.