KR101031100B1 - 영상 검색엔진 - Google Patents

Abstract

본 발명은 영상 검색엔진에 관한 것으로서, 보다 상세하게는 이미지의 표준화와 데이터의 수치화를 통해 검색의 정확성과 신뢰성 및 검색속도를 향상시킨 영상 검색엔진에 관한 것이다.
본 발명에 따른 영상 검색엔진은 영상 프레임을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈; 상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈; 상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈;을 포함하여 이루어진다.

Description

영상 검색엔진{Serch engine of images}

본 발명은 영상 검색엔진에 관한 것으로서, 보다 상세하게는 영상 내 이미지의 표준화와, 표준화된 이미지 데이터의 수치화를 통해 영상 검색의 정확성과 신뢰성 및 검색속도를 향상시킨 영상 검색엔진에 관한 것이다.

일반적으로 영상 검색엔진은 수많은 영상들 속에서 필요한 영상을 검색하여 추출하는데 사용된다.

다시 말해서, 연속된 정지영상들로 이루어진 동영상에서 객체(사람이나 사물 등)가 출몰하여 이미지의 변화가 발생한 정지영상을 검색하여 추출하거나, 수많은 영상(개별적인 정지영상과 동영상을 포함)들 중에서 특정한 객체가 포함되어 있는 영상을 검색하여 추출하는데 영상 검색엔진이 사용된다.

이러한 영상 검색엔진은

카메라가 특정 지역을 촬영 녹화하는 경우에 촬영 영역에 물체가 출몰하여 이미지의 변화가 발생한 시기의 영상만이 녹화 저장되도록 하여 메모리의 효율을 높이거나,

동영상을 모니터링하는 경우에 특정 인물이나 특정 물체가 촬영된 부분의 영상만을 추출하여 모니터링 시간을 단축시키는데 유용하게 활용된다.

영상 검색엔진은 검색의 기준이 되는 기준영상과 검색 대상이 되는 대상영상을 상호 비교하여 두 영상의 유사도를 판단함으로써 필요한 대상영상을 검색 추출하게 된다.

종래기술의 영상 검색엔진의 검색기법은 등록특허 제0452097호 "영상데이터의 변화값 추출을 이용한 영상데이터 저장방법"이나, 등록특허 제0873445호 "영상차이 인식 시스템 및 영상 시스템을 이용한 영상차이 인식방법" 등에서 보는 바와 같이

기준영상과 대상영상의 영상 프레임을 n*m의 픽셀 단위로 나누고, 기준영상의 영상 프레임과 대상영상의 영상 프레임에서 동일 위치의 두 픽셀의 밝기(즉, 그레이 스케일) 또는 색상을 상호 비교하여 영상 프레임의 전체 픽셀 중 동일한 픽셀의 개수로 유사도를 검색하는 방법을 주로 사용한다.

종래기술의 검색엔진은 기준영상과 대상영상에서 동일위치 두 픽셀의 밝기나 색상을 직접 비교하는 방식으로 비교 시간이 오래 소요되는 문제가 있다.

또한, 종래기술의 검색엔진은 기준영상과 대상영상의 배경 이미지가 동일함을 전제로 하고 있다. 즉, 대상영상에 새로운 물체가 출몰했는지 여부를 검색하는 것을 주된 목적으로 하고 있다.

다시 말해, 종래기술은 카메라가 엘리베이터 안이나, 주차장 등에서 고정된 위치에서 고정된 앵글과 초점 등의 조건으로 촬영한 동영상의 영상 프레임들 중에서 기준영상과 대상영상을 선택하여 상호 비교 검색을 하게 되므로,

기준영상과 대상영상은 초점과 해상도 등이 동일할 뿐만 아니라 배경 이미지는 위치, 색상, 크기 등도 동일하고, 단지 영상에 새롭게 나타난 객체 이미지의 유무만이 다를 뿐이다.

따라서 종래기술에서는 기준영상과 대상영상에 동일한 검색객체 이미지가 존재하더라도, 기준영상과 대상영상의 검색객체 이미지의 크기가 다르거나, 색상이 다르거나, 위치가 다르거나, 색상이 다른 경우, 배경 이미지가 다른 경우 등에서는

검색엔진의 비교 결과 기준영상과 대상영상의 유사도 낮게 나오게 되어, 실제적으로 영상에서 객체의 출몰이 없어 이미지의 변화가 없음에서 영상의 이미지 변화가 있는 것으로 판단하여 대상영상을 추출하거나, 대상영상에 찾고자하는 객체가 포함되어 있음에도 유사도가 낮게 나온 결과 대상영상에 객체가 포함되어 있지 않은 것으로 판단하여 대상영상을 추출해내지 못하는 문제가 발생한다.

본 발명은 위와 같이 종래기술에 따른 영상 검색엔진의 문제점을 해결하기 위해 안출된 발명으로서, 기준영상에 포함된 이미지와 대상영상에 포함된 이미지 간의 비교 시간을 단축시키고, 비교 결과의 정확의 정확성을 높인 영상 검색엔진을 제공함을 목적으로 한다.

특히, 연속된 정지영상들로 구성되는 동영상을 검색할 때에는 검색에 참여할만한 의미가 있는 정지영상들만을 우선적으로 추출하여 비교 대상이 되는 대상영상의 수를 최소화하여 검색 속도가 높고,

기준영상과 대상영상의 배경 이미지가 다르고, 기준영상과 대상영상에서 검색 객체 이미지의 위치, 크기 등이 서로 다르더라도 신뢰성 있게 검색 가능한 영상 검색엔진을 제공함을 목적으로 한다.

그리고 동영상은 보통 초당 30 프레임(정지영상) 정도로 구성되어 있어서, 1분의 영상을 검색하려고 해도 1800(30*60) 개의 프레임을 검색해야 하기 때문에 검색해야할 대상 이미지가 너무 많기 때문에 검색 속도가 현저히 떨어지는 것이 일반적이나, 본 발명의 영상 검색엔진을 이용하면, 기준영상과 대상영상의 상호 비교 시간이 단축될 뿐만 아니라고, 동영상을 구성하는 전체 정지영상들 중에서 이미지의 변화가 있는 정지영상들만을 우선 추출한 후에, 다시 영상 검색엔진을 이용하여 추출된 정지영상들을 대상영상으로 하여 찾고자 하는 객체가 포함되어 있는 정지영상들만을 추출하게 되면 검색 시간을 획기적으로 단축시킬 수 있다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 영상 검색엔진은

영상을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈;

상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈;

상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈;을 포함하여 이루어진다.

그리고 상기 이미지 데이터 변환모듈은

표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 초기 인덱스영상을 취득하는 데이터 변환부와,

상기 초기 인덱스영상에서 각 픽셀의 수치 데이터를 바탕으로 검색객체에 해당하지 않는 영역의 행과 열을 제거하여 조정 인덱스영상을 취득하는 행열제거부를 포함하여 이루어지는 것을 특징으로 하고,

상기 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고,

선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고,

다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로,

표준영상에서 특정 객체에 대한 영역을 추출하는 객체 영역추출모듈;을 더 포함하는 것을 특징으로 하고,

상기 이미지 표준화모듈에서 취득한 표준영상으로서 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득하는 투명화모듈;을 더 포함하는 것을 특징으로 한다.

위와 같은 구성을 갖는 본 발명에 따른 영상 검색엔진은 영상 내 이미지의 표준화 및 수치화 처리를 통해 인덱스영상(즉, 인덱스 데이터)을 생성 취득하고, 취득한 기준영상과 대상영상의 수치화된 인덱스 데이터 간의 비교를 통해 대상영상을 검색 추출하게 되므로 이미지 검색 속도와 검색 정확성이 탁월하다.

또한, 동영상을 검색할 때에는 먼저 연속된 정지영상들 중에서 대상영상으로서 의미 있는 정지영상들만을 검색 추출함으로써 기준영상과 비교 대상이 되는 대상영상의 수를 줄여 검색 속도를 한 차원 높이고, 영상 내의 객체들을 분리 추출하여 객체별로 대상영상 또는 기준영상을 만들거나, 영상에서 배경 이미지를 투명화 처리하여 대상영상 또는 기준영상을 만들어 비교 검색하여 검색의 정확성을 한 차원 높인 영상 검색엔진으로서, 산업발전에 매우 유용한 발명이다.

도 1 은 본 발명에 따른 영상 검색엔진의 블록 구성도.
도 2 는 표준화 처리를 통해 표준영상을 생성취득하는 방법을 설명하기 위한 도면.
도 3 a,b 는 각각 초기 인덱스영상을 생성 취득하는 방법과, 조정 인덱스영상을 생성 취득하는 방법을 설명하기 위한 도면.
도 4 는 전체 표준영상에서 특정 객체에 대한 영역을 추출하여 객체 표준영상을 생성 취득하는 방법을 설명하기 위한 도면.
도 5 는 기준영상에 대하여 대상영상을 투명화처리하여 투명처리영상을 생성 취득하고, 투명처리영상에서 객체 표준용상을 생성 취득하는 방법을 설명하기 위한 도면.
도 6 은 기준영상과 대상영상의 영상 프레임에서 비교 대상이되는 기준영상과 대상영상의 표준영상들에 대한 일례를 도시한 도면.

이하, 도1 내지 도6을 참조하여 본 발명에 따른 영상 검색엔진에 대하여 상세히 설명한다.

참고로, 영상에는 정지영상과, 정지영상들이 연속되어 구성되는 동영상이 있는데, 본 발명에 따른 영상 검색엔진을 통한 검색의 대상이 되는 영상은 CCTV가 촬영한 동영상뿐만 아니라, 디지털 카메라가 촬영한 동영상이나 정지영상, 다양한 형식의 코덱으로 저장된 동영상 또는 정지영상, 사진이나 영화 등을 파일화한 정지영상 또는 동영상 등을 포함한다.

즉, 파일화되어 메모리에 저장될 수 있는 영상들은 모두 본 발명의 검색엔진을 통한 비교 검색의 기준영상과 대상영상이 될 수 있다.

그리고 영상 검색엔진에서 상호 비교가 되는 두 영상 중 기준이 되는 영상을 '기준영상'이라 하고, 대상이 되는 영상을 '대상영상'이라고 칭한다.

그리고 이하에서 '영상'은 통상 동영상을 구성하는 연속된 정지영상들 중 어느 하나를 의미하나, 정지영상이 아닌 동영상을 의미할 수도 있고, 연속된 정지영상들 중 어느 한 정지영상이 아닌 개별적인 정지영상일 수도 있다.

도1에서 보는 바와 같이 본 발명에 따른 영상 검색엔진은 메모리(20), 마이컴(10), 이미지 표준화모듈(30), 이미지 데이터 변환모듈(40), 이미지 비교모듈(70), 객체 영역추출모듈(50), 투명화모듈(60)을 포함하여 이루어진다.

상기 메모리(20)에는 검색하고자하는 영상 프레임들이 저장되고, 각 모듈(30,40,50,60)에서 취득되는 표준영상, 인덱스영상, 객체별 영상, 투명처리영상 등이 저장된다.

상기 마이컴(10)은 상기 메모리(20)와 모듈들(30,40,50,60,70)을 연결하고 검색엔진을 전체적으로 제어한다.

그리고 상기 마이컴(10)에는 사용자의 조작을 위해 키보드나 마우스와 같은 입력수단(80)과, 조작 내용과 영상을 디스플레이하는 모니터(90)가 연결된다.

상기 이미지 표준화모듈(30)은 메모리(20)에 저장되어 있는 영상 프레임들을 표준화하여 표준영상을 생성 취득하고, 이를 상기 메모리(20)에 저장시킨다.

여기서, 표준화는 기준영상과 대상영상을 상호 비교 검색하기 위해 크기, 해상도 등의 여러 이미지 요소를 일치시키는(즉, 표준화하는) 것을 의미한다.

그리고 표준화는 하나의 정지영상 전체에 대한 표준화와, 정지영상에 포함되어 있는 각각의 객체에 대한 표준화가 있다.

상기 이미지 표준화모듈(30)은

영상 프레임을 n×m 크기의 픽셀 단위로 재구성하는 픽셀구성부(31)와,

재구성된 영상 프레임의 각 픽셀을 대표 색상으로 일원화하여 표준영상을 생성 취득하는 색상부여부(33)를 포함하여 이루어진다.

상기 이미지 표준화모듈(30)에서 표준화되는 영상 프레임은 아무런 가공이 되지 않은 초기의 영상 프레임뿐만 아니라, 상기 객체 영역추출모듈(50)에서 추출된 특정 객체에 대한 객체 표준영상을 포함할 수 있다.

정지영상에서 특정 객체에 대하여 추출한 객체 표준영상을 다시 표준화하는 것은 비교되는 객체 표준영상 간의 크기를 맞추기 위함이다.

상기 픽셀구성부(31)가 재구성하는 영상 프레임의 전체 픽셀수는 영상 프레임의 크기에 따라 적절히 선택할 것이다. 픽셀의 수가 많으면 보다 정확한 비교가 가능할 것이나, 그만큼 더 많은 비교 시간을 요구하게 된다.

상기 색상부여부(33)는 각 픽셀을 대표 색으로 일원화한다. 즉, 해당 픽셀의 색상이 여러 가지 혼재되어 있을 때에는 가장 많은 영역을 차지하고 있는 색상으로 일원화 한다.

경우에 따라서는 여러 가지 색상의 비율이 동일할 수도 있는데, 이때에는 색상에 우선순위를 부여하거나 주변 픽셀에 유사한 색상이 대표 색상이 되도록 한다.

그리고 상기 색상부여부(33)는 각 픽셀을 컬러의 대표 색상으로 일원화하고, 또한 각 픽셀을 흰색계열과 검은색계열의 두 가지 색 중 어느 하나로 일원화한다.

즉, 픽셀 단위로 재구성된 영상 프레임에 포함되어 있는 각 객체의 이미지들을 음영처리하여 음영 표준영상을 생성 취득한다.

음영 표준영상은 각 픽셀이 흰색계열 또는 검은색계열로 표시되므로, 추후에 기준영상과 대상영상으로 비교시에 색상을 제외한 각 이미지의 전체적인 모양의 유사도를 판단하는데 활용된다.

도2에는 상기 이미지 표준화모듈(30)에서 생성 취득되는 표준영상의 일례가 도시되어 있다.

상기 이미지 데이터 변환모듈(40)은 표준영상 각 픽셀의 색상 데이터를 수치 데이터로 변환하여, 기준영상과 대상영상의 비교 시에 비교 시간을 단축시킨다.

즉, 영상 프레임의 이미지 데이터를 그대로 비교 처리하거나 다른 변형 후 비교 처리할 경우 많은 제약과 처리 시간을 요하게 되므로, 각 픽셀의 색상 데이터를 상호 비교가 가장 효율적이고 신속한 수치 데이터로 변환하는 것이다.

그리고 이미지 데이터 변환모듈(40)이 영상의 이미지 데이터를 수치 데이터로 변환하여 인덱스 영상을 생성 취득할 때에는 변환된 인덱스 영상에 대한 추가 적인 정보들도 별도로 인덱싱 처리하여 매칭되도록 취득하는 것이 바람직하다.

매칭되어 취득되는 정보에는 전체 동영상에서의 플레이 위치, 동영상의 전체 플레이 시간, 영상의 종류, 코덱 종류 등이 있을 수 있다.

상기 이미지 데이터 변환모듈(40)이 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 생성 취득되는 영상이 인덱스영상이다.

상기 이미지 데이터 변환모듈(40)은 데이터 변환부(41)와, 행열제거부(43)를 포함하여 이루어진다.

상기 데이터 변환부(41)는 표준영상 각 픽셀의 색상을 약속된 수치 데이터로 변환하여 초기 인덱스영상을 생성 취득한다.

예를 들어, 흰색에서 검정색까지 유사한 순으로 색을 배치하여 수치를 부여하면 빨간색은 1, 노란색은 2, 파란색은 3, 흰색은 0, 검정색은 4, 녹색은 5로 변환될 수 있고, 도3a에는 이러한 기준으로 표준영상을 초기 인덱스영상으로 변환한 일례가 도시되어 있다.

위의 색상과 숫자의 변환 일례는 이해를 쉽도록 하기 위한 일례로서, 또한 숫자가 다르면 색상도 다름을 의미하고 있을 뿐이다.

표준영상의 각 픽셀이 갖는 색상은 몇 가지 색상으로 한정되지 않고, 색상 간에도 유사한 정도가 있다.

따라서 각 픽셀의 색상을 수치 데이터로 변환할 때, 수치 데이터의 다름이 색상의 다름을 의미하면서 동시에 그 다름의 정도까지 표현할 수 있는 것이 바람직하다.

이에 본 발명에서는 각 색상을 수치로 표현함에 있어 색의 3원색의 비율로서 표현하였다.

모든 색상은 색의 3원색인 빨강(보다 정확하게는 자홍 ; Magenta), 파랑(보다 정확하게는 청록 ; Cyan), 노랑(Yellow)의 혼합으로 구현될 수 있다.

각 원색의 비중을 100(0~99)으로 하고, 각 원색의 순서를 빨강, 파랑, 노랑 순으로 하는 경우에, 색상을 수치 데이터려 변환한 숫자 990000은 빨강, 009900은 파랑, 000099는 노랑, 999999는 검정색, 000000은 흰색을 의미한다.

상기 행열제거부(43)는 비교 대상이 되는 기준영상과 대상영상에서 검색 대상이 되는 검색객체의 위치가 달라 비교 결과인 유사도가 차이 나는 것을 방지하기 위해 초기 인덱스영상에서 검색객체에 해당하지 않는 영역을 제거하여 조정 인덱스영상을 생성 취득한다.

도3b는 도3a에 도시된 검색객체(숫자 4와 5로 표시되는 픽셀들)가 위치를 달리하는 두 초기 인덱스영상에서 검색객체에 해당하지 않은 영역의 행과 열의 픽셀들을 제거하여 동일한 조정 인덱스영상을 생성 취득하는 일례를 도시하고 있다.

도3b에서 왼쪽에 있는 두 초기 인덱스영상을 보면 검색객체의 수치 데이터가 동일하나 위치가 상이하다. 그래서 두 초기 인덱스영상을 비교하면 동일 픽셋의 수치가 상이하여 유사도가 낮게 나온다. 그러나 두 초기 인덱스영상을 조정 인덱스영상으로 변환하면 중앙에 도시된 것과 같이 동일하게 되어 유사도가 높게(일치하게) 나온다.

행열제거부(43)는 초기 인덱스영상에서 검색객체에 해당하는 수치(도면에서는 4와 5)가 하나도 없는 행과 열은 당연히 제거하고, 행과 열에서 검색객체에 해당하는 수치가 있긴 하나 수치가 있는 픽셀의 수가 그 행과 열의 전체 픽셀 수와 비교하여 현저히 적을 때는 그 행과 열을 제거할 수 있다.

상기 객체 영역추출모듈(50)은 표준영상 전체에 포함되어 있는 이미지를 객체별로 분리한다.

상기 이미지 표준화모듈(30)에서 영상 프레임을 표준화한 표준 영상을 전체 표준영상이라 하고, 상기 객체 영역추출모듈(50)에서 추출된 각 객체에 대한 표준영상을 객체 표준영상이라고 정의할 수 있다.

상기 객체 영역 추출모듈은 상기 전체 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고, 선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고, 다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로, 전체 표준영상에서 특정 객체에 대한 영역을 추출하여 객체 표준영상을 생성 취득한다.

도4에는 전체 표준영상에서 객체 표준영상을 추출하는 방법이 개략적으로 도시되어 있다.

일반적으로 1행 1열에서 행의 방향이나 열의 방향으로 순차적으로 진행하여 각 픽셀이 기준 픽셀 또는 구성 픽셀에 해당되는지를 선택하게 된다.

1행 1열에서 진행을 하다 보면 어느 한 픽셀이 특정 객체에 해당하는 기준 픽셀로 선택된다. 기준 픽셀이 되는지 여부는 해당 픽셀의 색상으로 결정된다.

기준 픽셀이 선택되면 기준 픽셀의 인접 주변 8개의 픽셀들이 특정 객체에 해당하는지 여부를 판단하여 구성 픽셀을 선택하고, 다시 선택된 주변 구성 픽셀을 기준 픽셀로 하여 다시 주변의 구성 픽셀을 선택한다. 구성 픽셀의 선택 여부는 기준 픽셀의 색상과 비교하여 결정된다.

일반적으로 전체 표준영상에는 다수개의 객체가 추출될 것인데, 구성 픽셀의 수가 일정 개수 이상인 객체에 대하여만 객체 표준영상으로 추출한다. 일정 개수 이하의 객체는 영상 오류일 가능성도 있고, 유사도 판단에 미치는 영향이 적어 무시해도 무방하다.

전체 표준영상에서 다수의 개체를 추출한 후에는 상기 행렬제거부와 같은 방식으로 각 객체에 대하여 해당하지 않는 행과 열을 제거하여 객체별 객체 표준영상을 추출한다.

그리고 객체 표준영상은 도면과 같이 외부에 배치되는 구성 픽셀이 속하는 행과 열을 연결하여 사각형 형상의 표준영상이 되도록 하고, 외부 픽셀의 내부에 배치되지만 구성 픽셀이 아닌 픽셀도 객체 표준영상을 구성하는 픽셀로 추출한다.

또한, 상기 객체 영역추출모듈(50)은 각 픽셀에 대표 색상이 부여되어 있는 전체 표준영상으로부터 객체 표준영상을 추출하는 것을 설명하였지만,

각 픽셀에 수치 데이터가 부여된 전체 인덱스영상으로부터 객체 인덱스영상을 추출할 수도 있다.

그 방식은 표준영상을 이용하는 방식과 동일하고, 다만 색상 데이터가 수치 데이터로 바뀌었을 뿐이다.

상기 투명화모듈(60)은 비교대상이 되는 기준영상과 대상영상의 배경 이미지가 동일한 경우에, 대상영상에서 동일한 배경 이미지를 투명화 처리하여 객체의 추출과 유사도 판단이 간편하도록 한다.

상기 투명화모듈(60)은 상기 이미지 표준화모듈(30)에서 취득한 표준영상들 중에서 기준 표준영상과 대상 표준영상을 선택하고, 선택된 두 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득한다.

도5에는 대상 표준영상을 투명화처리하여 생성 취득한 투명처리영상과, 투명처리영상에서 추출한 객체 표준영상의 일례가 도시되어 있다.

참고로, 투명화모듈(60) 역시 객체 영역추출모듈(50) 처럼 표준영상뿐만 아니라 인덱스영상을 이용하여 투명처리영상을 생성 취득할 수 있다.

상기 이미지 비교모듈(70)은 각 픽셀이 수치 데이터로 변환된 인덱스 영상들 중에서 어느 하나를 기준영상으로 선택하고, 또 다른 하나를 대상영상으로 선택한 후에, 선택된 두 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 기준영상과 대상영상의 유사도를 판단한다.

예를 들면, 인덱스영상이 각 픽셀의 색상을 3원색의 혼합으로 하여 표시한 수치 데이터인 경우에,

기준영상과 대상영상의 각 픽셀에서 수치 데이터를 추출하고,

기준영상과 대상영상의 동일위치의 픽셀(즉, 매치되는 픽셀)에서 각 원색(빨강, 파랑, 노랑)에 대한 수치데이터의 차이 값을 계산하고, 해당 픽셀의 3원색 수치 데이터의 차이 평균을 구하여 해당 픽셀의 유사도를 계산하고,

모든 픽셀에 대하여 유사도를 계산한 후에, 이들의 평균으로 기준영상과 대상영상 전체에 대한 유사도를 판단한다.

도6은 외쪽의 기준영상에 해당하는 영상 프레임과, 오른쪽의 대상영상에 해당하는 영상 프레임을 각각 표준화 처리, 음영처리 및 객체별 영역추출하여, 중앙의 비교 대상이 되는 기준영상과 대상영상의 일례를 표준영상의 형태로 도시한 것이다.

비교 대상이 되는 기준영상과 대상영상에는 중앙 좌우에 도시된 바와 같이, 대표 색상으로 표준화 처리된 맨 위의 전체 표준영상과, 음영으로 표준화 처리된 위에서 두번째의 전체 표준영상과, 그 아래의 객체별로 영역을 추출한 객체 표준영상들로서 대표 색상으로 표현한 것과 음영으로 표준화 처리된 것이 있다.

각 객체별 객체 표준영상들은 상호 간에 픽셀들이 일대일로 매칭 되도록 행과 열이 재조정 된다. 다시 말해 각 객체에 대한 영역을 추출한 후에는 표준화처리를 통해 추출된 영역을 픽셀 단위로 재구성 및 재구성된 각 픽셀의 색상을 일원화하는 과정을 거친다.

이상에서는 본 발명에 따른 영상 검색엔진을 구성하는 각 구성요소들의 기능과 역할 및 이들의 관계에 대하여 설명하였다.

이하에서는 위와 같은 구성을 갖는 본 발명의 영상 검색엔진을 이용하여 필요한 대상영상을 검색하는 과정(알고리즘)에 대해 간략히 설명한다.

검색대상은 CCTV가 촬영한 동영상으로 가정한다.

동영상에서 검색하고자하는 객체가 특정되지 아니한 상태에서는 검색에 참여할 의미가 있는 정지영상들만 추출하여 비교 대상이 되는 대상영상의 수를 최소화함으로써 검색 속도를 높이는 것이 바람직하다. 검색에 참여할 의미가 있는 정지영상들은 영상 내 이미지의 변화가 있는 정지영상들이 된다.

검색에 참여할 의미가 있는 정지영상들을 추출하기 위해서는, 우선 검색요원이 동영상을 구성하는 정지영상들 중 어느 하나를 기준영상으로 설정을 한다.

동영상에서 어느 한 정지영상이 기준영상으로 설정되면, 검색엔진은 나머지 정지영상들을 자동으로 대상영상으로 설정한 후에, 기준영상과 대상영상으로부터 표준영상과 인덱스영상을 생성한 후에 기준영상의 인덱스영상과 대상영상의 인덱스영상을 상호 비교하여 이미지의 변화가 있는 대상영상들을 검색 추출한다. 그리고 대상영상을 추출할 때에는 해당 대상영상의 동영상에서의 위치, 영상종류, 코덱 등에 관한 부가 정보도 함께 추출하는 것이 바람직하다.

참고로, 동영상에서 기준영상은 어느 한 정지영상(일반적으로 동영상에서 첫 번째 정지영상)이 계속적으로 기준영상이 될 수도 있지만, 비교 대상이 되었던 대상영상이 다음번 대상영상에 대하여 기준영상이 되는 방식으로 기준영상이 순차적으로 바뀔 수도 있다.

위의 과정을 통해 의미지의 변화가 있는 대상영상들이 추출되면, 검색요원은 추출된 대상영상들을 확인을 하게 되고, 확인하는 과정에서 용의자나 용의차량 등이 확인되면, 해당 용의자 또는 용의차량만을 검색 객체로 특정하여 기준영상을 새롭게 설정하여, 검색엔진을 다시 가동시킨다. 이때 특정 객체로서의 용의자 또는 용의차량의 설정은 객체 영역추출모듈이 하나의 전체 정지영상에서 해당 특정 객체를 추출하여 설정하게 된다.

객체가 특정되어 기준영상이 새롭게 설정되면, 검색엔진은 위의 과정을 통해 추출된 대상영상들과 기준영상을 상호 비교하여 두 영상(기준영상과 대상영상)의 유사도가 기준치 이상이 대상영상들만을 다시 추출하게 된다.

이때 객체 영역추출모듈을 이용하여 대상영상 포함된 객체들을 객체별로 추출하고, 추출된 각 객체에 대해 별도의 대상영상을 만들어 기준영상과 비교함으로써, 기준영상의 특정 객체에 대한 이미지와 대상영상의 특정 객체에 대한 이미지 상호 비교의 정확도를 높이게 된다.

그리고 새롭게 추출되어 설정되는 기준영상과 대상영상에서 각 객체별로 추출하여 만든 대상영상은 검색엔진을 통해 인덱스영상으로 생성 취득된 후 상호 비교된다.

위에서는 하나의 동영상에서 검색하고자하는 특정 객체를 선택 결정하여, 기준영상으로 설정하고 특정 객체가 포함되어 있는 대상영상들을 검색 추출하는 것을 설명하였으나, 특정 객체가 다른 동영상이나 정지영상에서 추출되어 기준영상으로 설정될 수도 있다.

기준영상이 다른 정지영상이나 동영상에서 추출되어 설정되는 때에는 기준영상의 특정 객체와 대상영상의 특정 객체의 색상, 크기, 형상 등이 다를 수 있어 검색의 정확성이 떨어질 수 있다.

이러한 때에는 다른 영상에서 추출한 기준영상의 특정 객체와 같은 종류의 객체가 포함되어 있는 해당 동영상의 대상영상들을 먼저 검색 추출하고, 검색요원이 추출된 대상영상들을 확인하여 기준영상과 동일한 특정 객체가 포함된 대상영상을 선택하여 기준영상으로 새롭게 설정한 후에, 다시 검색엔진을 가동하여 위와 같은 먼저 추출된 대상영상들 중에서 특정 객체가 포함된 대상영상들을 검색 추출할 수 있다.

그리고 기준영상과 대상영상의 이미지를 상호 비교할 때에는 배경 이미지를 투명화 처리하여 비교 대상을 명확히 하고, 비교 시간을 단축하고, 비교 결과의 정확성을 높일 수 있다.

이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 구성을 갖는 영상 검색엔진에 대해 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.

10 : 마이컴 20 : 메모리
30 : 이미지 표준화모듈 40 : 이미지 데이터 변환모듈
50 : 객체 영역추출모듈 60 : 투명화모듈
70 : 이미지 비교모듈 80 : 입력수단

Claims (4)

1. 영상 프레임을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈;
   상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈;
   상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈;
   
   상기 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고,
   선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고,
   다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로,
   표준영상에서 특정 객체에 대한 영역을 추출하는 객체 영역추출모듈;
   
   상기 이미지 표준화모듈에서 취득한 표준영상으로서 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득하는 투명화모듈;을 포함하여 이루어지고,
   
   상기 이미지 데이터 변환모듈은
   표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 초기 인덱스영상을 취득하는 데이터 변환부와,
   상기 초기 인덱스영상에서 각 픽셀의 수치 데이터를 바탕으로 검색객체에 해당하지 않는 영역의 행과 열을 제거하여 조정 인덱스영상을 취득하는 행열제거부를 포함하여 이루어지는 것을 특징으로 하는 영상 검색엔진.
2. 삭제
3. 삭제
4. 삭제

Images