KR20040071369A - 디지탈 영상자료 검색 시스템 - Google Patents

Abstract

[발명품의 기술분야]

본 발명은 내용인식 기술을 기반으로 하여, 디지털 영상물에 대한 검색을 수행하는 디지털 영상자료 검색 시스템에 관한 것이다.

[발명품의 목적]

본 발명에 따르면, 사용자가 디지털 영상물에서 내용인식 기술에 기반하여 자신이 원하는 부분을 찾아내는 방법에는 세 가지가 있다. 첫째는 이미지로 질의하여 유사한 이미지가 담긴 부분을 찾는 방법이며, 둘째는 음성정보로 질의하여, 유사한 음성정보가 감긴 부분을 찾는 방법이다. 세 번째는 텍스트 정보로 질의하여 유사한 텍스트 정보가 결부되어 있는 장면을 찾는 방법이다. 본 발명은 이 세 가지 기능을 모두 지원하는 내용인식 기반 디지털 동영상 검색 시스템이다.

[발명품의 기술구성]

이미지에 기반한 검색은 동영상을 인덱싱하여 중요하게 장면 변환이 일어나는 장면들의 이미지를 별도로 추출하는 키프레임 추출 과정이 있으며, 이렇게 추출된 프레임 이미지들의 내용 정보를 다시 이진수 정보로 변환하여 저장하는 과정, 그리고 사용자가 이미지로 질의를 던지면, 이미지 정보가 이진수로 변환되어 이미 저장된 이진수 정보들과 그 값을 비교하여 유사한 것들부터 순서적으로 나열해 내는 기능을 제공한다.

음성인식에 기반한 검색은, 사전에 선정된 핵심어들을 오디오 라이브러리로구축하여 핵심어 사전을 형성하는 과정, 동영상에 포함된 오디오를 Wave 파일로 변환시킨 후 핵심어 인식 기술을 이용하여 핵심어와 타임 값을 검출하여 별도의 데이터베이스에 저장하는 과정, 사용자가 키보드로 입력한 질의어를 Wave 파일로 변환시켜 음성정보 데이터베이스에 저장된 값들과 비교하여 유사도에 따라 나열해 주는 기능을 제공한다.

텍스트에 기반한 검색은 동영상에 원래 입력된 텍스트 정보가 있어서 상기 입력된 텍스트 정보와 일치하는 질의 내용을 찾아내어 주거나, 아니면 관리자가 텍스트 정보를 수동으로 입력하여 해당 프레임에 정보를 부여하여, 이렇게 부여된 텍스트 정보와 질의어가 일치하는 경우 해당 프레임을 찾아내 주는 방법 등 두 가지가 있다.

[발명의 효과]

본 발명의 효과는 방송분야의 디지털 아카이브 시스템 구축에 활용될 수 있으며, 각종 정부기관의 동영상 자료 관리 및 검색 시스템 구축에 활용될 수 있다. 또한 회사의 동영상 자료 관리 및 검색 시스템 구축에 활용될 수 있다.

Description

디지탈 영상자료 검색 시스템{Digital Image Data Search System}

내용인식 기반 디지털 동영상 검색 기술은 본질적으로 이미지 패턴검색 기술 및 음성인식 기술 그리고 텍스트 검색 기술 등 세 가지 기술에 기반하고 있다.

이 분야 종래의 기술 수준은 이미지 패턴검색의 경우 국내 ETRI를 비롯하여 대학 연구소 등에서 활발하게 연구되고 있으나 전반적인 기술 수준은 아직은 세계 수준에 달하지는 못한 것으로 알려져 있다. 동영상 및 이미지의 여러 팩터(factor) 중 일부 요소에 제한되어 있으며 얼굴인식 등 부분적인 기술력만 개발된 것으로 파악된다. 국내에서 내용 기반 검색 기술이 적용된 대표적인 사례는 특허청의 <상표/의장 검색 시스템>으로 당사에서 개발하여 납품했다. 동영상의 키프레임 추출 기술 역시 국내 대학 연구소 등을 중심으로 연구되고 있으나 아직은 상용화 단계에 달하지는 못하고 알고리즘의 연구에 머물고 있는 상황이다.

음성인식 기술 분야는 KAIST를 비롯한 대학 연구소에서 원천 기술이 다수 개발되었으나 아직은 세계적 수준에 달하고 있지는 못하다. 해외에서는 영어 인식 기술이 있으나, 영어와 한국어의 차이로 인해 국내에 도입되기 어려운 실정이다. 국내에는 KAIST 연구소 출신들이 만든 보이스피아, SL2, 보이스웨어 등이 있으며, 현재 음성인식 기술은 음성ARS 시스템 등에 활용되고 있다. 그러나 이 기술이 디지털 동영상의 내용인식에는 전혀 활용되지 못하고 있다.

텍스트 인식의 경우 지식공작소, 야후 코리아 등 몇몇 인터넷 검색을 주로하는 기업에서 연구되고 있으며, 자연어 검색, 유사어 검색 등 연구가 활발하게 진행되고 있다. 디지털 동영상 검색 분야의 텍스트 검색 기술은 서구에서 Convera사나 Virage사 등 중요한 디지털 아카이브 회사에서 개발시킨 기술로, 주로 미국에서 의무화되어 있는, 영상물에 대한 자막 정보의 자막 인식 기술 중심으로 개발되어 있다. 국내에서는 동영상의 경우 아직 활발한 진전이 없는 분야이다.

다양한 지식 자산들 가운데 영상물의 경우 아날로그 방식의 제작과 보관/배포가 일반적인 상태에서 최근 들어 급속하게 디지털화가 이루어지고 있는 상황이다. 즉 방송의 디지털화, DVD에 의한 VHS 테이프의 대체, 디지털캠코더의 보급, 보안감시시장의 디지털화 등을 그 사례로 들 수 있다.

디지털 영상물은 자기디스크, 자기테이프, 광디스크 등에 보관될 수 있으며 다양한 스토리지에 저장된 디지털 영상물의 효율적 활용을 위해서는 방대한 분량의 영상물에서 원하는 장면에 대한 손쉽고 빠른 검색이 필수적이다. 디지털 방송으로의 전환과 함께 디지털 영상물에 대한 검색 수요가 필수적으로 생겨날 수밖에 없으며, 국내에는 올해부터 시범적으로 디지털 방송이 개시되고 향후 5년간에 걸쳐 급속하게 전환될 전망이다. 방송 산업 외에도 여타 기업/기관/행정부처에서의 디지털 이미지 및 영상물 형태의 지식자산이 급속도로 증가하고 있으며 이에 대한 효율적 저장 및 관리/검색 솔루션이 필수적으로 요구되고 있다.

기존의 지식자산 관리시스템(KMS)의 경우 주로 텍스트 기반의 도큐먼트 문서의 관리 기능에 초점이 맞추어져 있었는 바, 기업/기관/행정부처 등의 점증하는 영상물 및 이미지 관리/검색 기능을 포함하고 있는 본 발명품이 출시된다면 기존 지식자산관리시스템과 연동하여 기업지식포털 등의 하위 구성 요소로 구축될 수 있을 것으로 예측된다

현재 국내 영상물들의 디지털 자료화 수준은 아날로그 매체의 디지털 자료화 및 이에 색인을 붙여 데이터베이스화시키는 수준이다. 즉 디지털 영상물을 검색하는 방법은 영상물의 이름, 혹은 작성자 등의 간략한 키워드가 영상물에 결부되어 키워드를 모니터에서 입력하면, 해당 영상물이 플레이 되는 수준이다. 즉 영상물의 내용을 분석하여, 내용에 기반한 상세 검색은 되지 않는 실정이다.

본 발명은 영상물의 내용을 이미지, 음성, 텍스트 등 3가지 분야에서 검색하여, 더 세밀한 검색을 실시하는 것이 목적이다.

도면1)은 본 발명에 따른 동영상의 키프레임 추출 화면 사례.

도면2)는 본 발명에 따른 추출된 키프레임 이미지들을 대상으로 하는 질의 창.

도면3)은 본 발명에 따른 질의 창에 입력된 이미지 정보를 프레임 추출된 이미지 정보들을 대상으로 패턴검색하여 얻은 결과물.

도면4)는 본 발명에 따른 다양한 파일의 오디오 값을 WAVE 파일 형태로 변형시킨 모습.

도면5)는 본 발명에 따른 음성인식과 관련된 순서도

도면6)은 본 발명에 따른 동영상에 텍스트 정보를 입력시키고 이를 해당 프레임에 동기화 시키는 과정

도면7)은 본 발명에 따른 동영상에 결합된 캡션 정보의 검색 결과

도면8)은 본 발명의 결과물로서 다양한 방법으로 단일 동영상을 검색해내는 방법을 서술한 도면.

이미지 패턴검색 기술

본 발명품이 대상으로 삼는 디지털 파일은 MPEG1, MPEG2, MPEG4 파일이다. 이들 파일들에 대하여 본 발명은 동영상 키프레임 검출을 하게 된다. 키프레임이란 동영상의 변화 과정에서 중요한 이미지 변환이 발생한 순간의 프레임을 의미한다. 본 발명은 동영상의 화면을 자동 분석하여, 이런 변환이 일어난 순간을 포착해내며 해당 프레임의 이미지를 JPEG 혹은 BMP 등 사전에 관리자가 지정하는 각종 이미지 파일로 변환시킨다. 이들 변환된 이미지 파일은 별도의 서버에 저장된다.

이들 이미지 파일들은 자동 혹은 수동으로 이미지패턴 검색을 위한 인덱싱 과정을 거치며, 이 과정에서 이진수 정보로 총 여섯 가지 기준에서 벡터화가 진행된다. 그 여섯 가지 정보란, 색깔, 형태, 질감, 크기, 배경, 윤곽선 등이며, 이들 여섯 가지 척도로 추출된 정보들이 이진수로 변환되어 각각 데이터베이스에 저장된다.

본 발명의 바람직한 실시 예에 따르면 사용자는 기존 이미지 데이터베이스에서 선별된 이미지 한 개를 선택하여 질의를 던질 수 있다. 또한 기존 이미지 데이터베이스가 아니라 할지라도 별도의 이미지를 선택하여 업로드하여 질의를 던질 수 있다. 이 경우 업로드된 이미지는 상기 여섯 가지 정보로 분리되어 이진수로 변화되는 과정을 겪는다.

본 발명은 도합 여섯 개의 검색 지표들을 각각 스케일을 정하여 검색 요소로 사용된다. 검색 스케일은 첫째, 검색요소로 사용하지 않음(0)부터 검색 요소로 가장 많이 사용함(5)까지 도합 여섯 개의 기준을 사용자가 선택하게끔 하였다. 결국 여섯 개의 특징 벡터를 대상으로 각각 여섯 개의 스케일을 사용자가 선택할 수 있어서, 총 6! = 640가지 기준에 의거하여 이미지 패턴 검색을 실시하도록 하였다.

이상의 이미지 패턴 검색의 질의 선택에 의하여 질의를 던지면, 질의 이미지가 지니는 벡터화 된 이진수의 값과 데이터베이스 상에서 가장 유사한 값을 지니는 이미지가 검출되어 나온다.

본 발명을 도면으로 상세하게 설명하면, (도면 1)를 동영상을 대상으로 키프레임 이미지들을 추출하는 과정이다. 도면의 상단에 동영상(1)이 플레이되고 있고, 하단에는 동영상의 키프레임 이미지(2)들이 검출되고 있다. 이상의 키프레임 이미지(2)들은 인덱싱 과정을 거쳐 이진수로 분해되어 저장되며, 이미지 검색을 실시하는 대상으로 변환된다.

(도면 2)는 질의를 던지는 검색창으로서, 검색창은 도합 여섯 개의 검색 지표들을 각각 스케일을 정하여 검색 요소로 사용된다. 검색 스케일은 첫째, 검색 요소로 사용하지 않음(3)부터 검색 요소로 가장 많이 사용함(4)까지 도합 여섯 개의 기준을 사용자가 선택하게끔 하였다. 이 같은 검색을 통하여 도합 640가지 다른 조합으로 질의를 던질 수 있다.

(도면 3)은 상기 검색 결과 검출된 이미지 배열이다. 기 입력된 데이터베이스로부터 유사도에 따라서 가장 유사한 것부터 벡분율로 유사도가 표시되어 검출되었다.

음성 인식 기술

음성 인식 기술은 크게 라이브러리 생성 프로세스, 인덱싱 프로세스 그리고 검색 프로세스로 구분된다.

라이브러리 생성 프로세스는 해당 동영상과 긴밀도가 높은 어휘들의 라이브러리를 사전에 정하여 기본 음성을 라이브러리 값으로 정하는 프로세스이다. 이를테면 MBC 뉴스에서 뉴스 앵커가 가장 빈번하게 사용하는 어휘들 중심으로 라이브러리를 구성하는 과정이며, 실제로 MBC 뉴스 앵커의 목소리를 발성 기준으로 하여 라이브러리를 구성한다. ＜북한＞, ＜김대중＞, ＜통일＞ 등 앵커의 표준적인 목소리를 WAVE 파일(도면4)로 변형시켜 입력하여 라이브러리를 생성한다. 스포츠의 경우는 앵커가 사용하는 용어들 가운데 스포츠 관련 어휘들, 이를테면 ＜골인＞, ＜프리킥＞, ＜헤딩＞ 등과 같은 표준적인 어휘들로 라이브러리를 구성한다. 드라마의 경우도 드라마에서 빈번하게 사용되는 어휘들로 라이브러리를 구성한다. 현재 기술로 약 1만개 이내의 어휘일 경우 바람직한 검색값을 도출해낼 수 있지만, 향후 라이브러리의 구성 어휘는 더욱 증대하리라 본다.

인덱싱 프로세스는 검색 대상이 되는 동영상물을 인덱싱하는 과정을 지칭한다. 라이브러리 파일에 저장된 어휘들과 웨이브 파형의 유사도를 비교하여 검출하는 방법으로 이 과정에서 여러 가지 기술들이 적용된다. 첫째는 오디오 추출 기능이다. 이 기능은 MPEG1, MPEG2, MPEG4 등 다양한 파일 포맷에서 오디오 부분을 추출해내는 기능이다. 둘째는 추출된 오디오에서 배경음이나 잡음 등을 제거해내는 음성 필터링 기능이다. 셋째는 필터링된 음성 부분을 의미 있는 단위로 자르는 음성 파싱 기능이다. 이렇게 파싱된 값을 가지고서 지정된 라이브러리 음성 데이터값과 비교하는 음성 분석 기능이 그 다음이다. 마지막으로 분석된 결과값을 저장하는 기능이 있다. 이 과정에서 인덱싱된 음성값을 토대로 하여, 해당 프레임의 프레임 번호를 저장한다.

검색방법은 클라이언트에서 음성을 기반으로 하여 동영상의 내용을 검색하기 위하여 키워드를 입력한다. (옵션 값으로 시간, 사용할 라이브러리, 검색 대상이 될 동영상들을 지정할 수 있다.) 그러면 본 발명품은 음성 인덱싱 정보를 이용하여 키워드로 입력된 단어에 해당하는 음성정보가 들어 있는 프레임들을 추출하여 표시해 준다. 사용자는 추출된 프레임을 플레이 해 볼 수도 있고, 서지 정보나 별도의 정보를 입력할 수도 있다.

핵심어 검출 방식의 음성인식 기술을 활용하여 동영상에 포함된 음성에서 사전에 라이브러리로 구축된 핵심어와 타임코드를 검출하고 검출된 핵심어와 타임코드를 메타데이터로 구축한다. 라이브러리 생성, 라이브러리 삭제, 라이브러리 내용 수정 및 편집이 가능해야 하고 텍스트 입력으로 라이브러리 생성이 가능해야 한다.텍스트 인식 기술

텍스트 인식 기술은 텍스트의 입력 방법에 따라 수동입력과 자동입력 등 2가지 과정으로 나뉜다.

텍스트 정보의 수동입력은 도면6)처럼 본 발명의 별도 메뉴인 서지정보의 입력창(5)에 해당 프레임의 관련 정보를 입력시키는 과정이다. 이렇게 서지정보를 입력시키면서 동시에 서지정보와 동기화 시키길 원하는 프레임 정보(6)를 같이 지정한다. 그러면 추후 키워드 입력시 해당 키워드가 지정된 해당 프레임을 곧바로 추출해 내는 기능을 한다.

동영상 파일에 동기화 되어 있는 캡션정보의 경우, 그 정보의 파일 변환이 가능하며, 서지 정보 검색의 대상이 된다. 도면7)은 동영상에 동기화된 캡션정보를 검색하는 과정을 의미한다. 사용자가 키워드로 캡션정보에 있는 단어(7)를 입력할 경우, 동영상 가운데 해당 부분을 곧바로 찾아주는 기능을 의미한다.

메타데이터 레이어의 중층적 구성

이상의 세 가지 내용인식 기술로 다양한 방식의 동영상 검색이 가능해진다. 이를테면 대우자동차 선전광고 동영상을 사례로 들자.(도면8)

동영상 클립 제목을 [대우자동차 광고]라고 초기에 입력시킨다. 또한 광고에 대하여 이미지 인덱싱을 하여 장면 가운데 자동차가 달리는 화면과 여성의 얼굴 화면이 각각 다른 이진수 정보로 저장되어 각각이 이미지 패턴검색의 대상으로 활용될 수 있다. 음성 분석을 통하여 핵심어들로 [고속도로], [석양], [드라이브] 같은 단어들이 아나운서가 발음하여, 등록되어 저장되며, 해당 키워드를 음성인식으로추출하고자 할 때 입력시키면 된다. 또한 사용자가 수동으로 단어들을 미리 입력시켜 놓을 경우 텍스트 검색식으로 동영상의 해당 프레임이 검출된다. 이처럼 상기 저장 및 검색 방법에 의하여 중층적인 메타데이터들을 구성할 수 있다.

최종 결과물은 디지털 영상물 아카이브 시스템의 기본 기능을 충족하면서도 동영상에 포함된 음성을 이용하여 동영상을 검색할 수 있다는 점에서 기존의 아날로그 영상물 뉴스, 다큐멘터리 등의 분야의 검색 활용도가 대단히 높힐 수 있다. 향후 디지털 방송의 영상 표준이 MPEG2가 기본이 되고 음향의 경우 5채널로 분리 녹음된다는 점에 착안하여 보면 영상물 검색의 획기적 방법이 될 수 있다는 점에서 독창적이고 혁신성이 대단히 높다고 볼 수 있다.

최종 결과물은 이미지패턴 정보, 키프레임 정보, 텍스트 정보, 사용자 입력 서지 정보, 음성검출 정보 등을 일련의 중층적 레이어로 구성하여 메타데이터화고 있으며, 멀티미디어 콘텐츠의 배포 및 재활용의 극대화를 기하고 있다는 점에서 독창적이고 혁신성이 높다고 볼 수 있다.

Claims (3)

1. 디지털 동영상(MPEG1, MPEG2, MPEG4 파일)에 있어서 중요한 프레임 변화를 인식하고 이를 키프레임으로 추출해내는 기술 및 추출된 프레임을 JPEG, TIFF, BMP 등 각종 이미지 파일로 자동 변환시키는 기술, 이처럼 획득된 이미지 파일들을 대상으로 인덱싱을 수행하여 이미지를 이진수의 함수 파일을 생성하여 데이터베이스화하는 기술, 및 질의 이미지를 역시 이진수의 함수 파일로 변환시키는 기술, 그리고 이 이진수를 데이터베이스에 저장된 이진수들과 비교하여 이 가운데 유사도가 높은 것들을 검출해내는 기술.
2. 아나운서 혹은 동영상 화자의 음성들 가운데 핵심어들을 선별하여 이를 표준적인 WAVE 파일로 변환시켜 입력시켜 핵심어 사전을 형성하는 기능. 디지털 동영상(MPEG1, MPEG2, MPEG4 파일)에 있어서 오디오 파일을 추출해내고, 추출된 오디오 파일들을 대상으로 WAVE파일로 변환시키는 기술. 변환된 WAVE 파일의 음성들 가운데 배경음 및 기타 잡음을 추출해 내고, 핵심어가 포함된 어휘들을 중심으로 검출해내는 기능. 그리고 이들 핵심어가 포함된 음성 영역을 의미 있는 단어로 구분해내는 파싱 기능. 이렇게 추출된 음성들 가운데, 별도로 구축된 음성 라이브러리 안에 있는 핵심어들과 비교하여, 그 값이 유사한 음성들을 추출하여 내는 기술. 핵심어와 동기화된 프레임 정보를 인식하여 해당 핵심어와 함께 데이터베이스화하는 기술.
3. 동영상에 결부된 디지털 캡션 정보를 텍스트 검색이 가능한 ( )파일 형태로 변환시켜 검색이 가능하도록 하는 기능.