KR100508569B1 - 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 - Google Patents

이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 Download PDF

Info

Publication number
KR100508569B1
KR100508569B1 KR10-2002-0034258A KR20020034258A KR100508569B1 KR 100508569 B1 KR100508569 B1 KR 100508569B1 KR 20020034258 A KR20020034258 A KR 20020034258A KR 100508569 B1 KR100508569 B1 KR 100508569B1
Authority
KR
South Korea
Prior art keywords
frame
function
descriptor
image
shape
Prior art date
Application number
KR10-2002-0034258A
Other languages
English (en)
Other versions
KR20020096998A (ko
Inventor
김회율
최민석
공영민
Original Assignee
김회율
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김회율 filed Critical 김회율
Publication of KR20020096998A publication Critical patent/KR20020096998A/ko
Application granted granted Critical
Publication of KR100508569B1 publication Critical patent/KR100508569B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하고자 하는 기술적 과제
본 발명은 객체의 움직임을 표현하는 비디오 데이터를 연속된 이미지 프레임 즉 이미지 시퀀스로 포착하고, 각 이미지 시퀀스에 포함된 객체를 중첩시켜 모양 기술자(shape descriptor) 계수를 이용함으로써 객체의 일부분만이 움직이는 이미지 시퀀스 데이터 또는 적은 수의 프레임에서 객체가 움직이는 경로가 작고 객체의 부분적인 모양 변화가 많은 이미지 시퀀스 데이터의 경우에도 식별이 가능한 모양 변화 기술자(shape variation descriptor) 추출 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결 방법의 요지
본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하는 제1단계; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계; 상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계를 포함함.
4. 발명의 중요한 용도
본 발명은 멀티미디어 데이터 검색 등에 이용됨

Description

이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법{Method of Extracting Shape Variation Descriptor for Retrieving Image Sequence}
본 발명은 이미지 시퀀스(image sequence) 즉 비디오 데이터 검색에 관한 것으로, 보다 상세하게는 내용 기반 이미지 시퀀스 데이터 검색을 위해 이미지 시퀀스 데이터로부터 모양 변화 기술자(shape variation descriptor)를 추출하는 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.
최근 인터넷과 멀티미디어의 발전에 따라 멀티미디어 데이터의 양이 기하급수적으로 증가하고 있으며, 이에 따라 멀티미디어 데이터의 효율적인 관리/검색의 필요성이 대두되고 있다.
그러나 멀티미디어 데이터는 데이터 용량이 상당히 크고 이미지, 비디오, 오디오, 텍스트 등 다양한 타입의 정보가 혼합되어 있다는 특징 때문에 사용자가 멀티미디어 데이터베이스로부터 직접 멀티미디어 데이터를 검색한다는 것은 사실상 불가능하다.
따라서 멀티미디어 데이터를 효율적으로 검색하고 관리하는 기술이 요구되는데, 이러한 기술의 핵심 중 하나는 멀티미디어 색인 기술로서 멀티미디어 정보를 대표하는 색인 정보를 추출하여 검색 및 탐색에 이용하는 것이다.
즉, 멀티미디어 데이터베이스를 구축할 때 각 멀티미디어 데이터가 갖는 고유의 특징을 표현하는 기술자(descriptor)를 추출하는 전처리 과정; 및 사용자가 질의하는 멀티미디어 데이터의 기술자와 멀티미디어 데이터베이스에 구축되어 있는 데이터의 기술자간의 유사도 측정 과정을 통해 사용자가 원하는 특정의 멀티미디어 데이터를 검색할 수 있게 된다.
이와 같이 멀티미디어 데이터 검색의 필요성에 따라 국제 표준화 기구(International Organization for Standardization, ISO)/국제 전기 표준 회의(International Electrotechnical Commission, IEC) 합동 기술 위원회(Joint Technical Committee 1)(ISO/IEC JTC1)에서는 MPEG-7과 관련하여 내용 기반 멀티미디어 데이터 검색(Content Based Multimedia Retrieval) 기술에 대한 표준을 제정하고 있다.
현재, 멀티미디어 데이터를 기술하기 위한 특징량으로 모양(shape), 색상(color), 질감(texture), 움직임(motion) 정보 등을 사용하고 있다.
한편 비디오 데이터 검색에 있어서는 움직임 정보가 중요한 특징량으로서, 비디오 데이터 검색이란 비디오 데이터를 구성하는 시퀀스가 표현하는 객체의 움직임 특징을 기술하는 움직임 기술자(motion descriptor)를 추출한 뒤, 사용자가 입력한 질의 비디오데이터와 데이터베이스에서 저장되어있는 비디오 데이터의 움직임 기술자간의 유사도를 측정함으로써 유사한 비디오 데이터를 검색하는 방법이다.
여기서, 움직임 기술자는 카메라의 움직임을 기술하는 카메라 움직임(camera motion), 객체가 움직인 경로를 기술하는 움직임 경로(motion trajectory), 이미지 전체의 움직임을 기술하는 파라미터 움직임(parametric motion), 이미지 움직임의 활동성을 정량적으로 표현하는 움직임 활동(motion activity) 등 여러 가지가 있는데 움직임 기술자를 이용한 비디오 검색 방법의 효율은 기술자가 비디오의 특징을 얼마나 잘 기술할 수 있느냐에 따라 좌우된다.
종래의 움직임 기술자로서는 움직임 경로 기술자(motion trajectory descriptor)가 주로 사용되고 있으며, 움직임 경로 기술자는 움직이는 객체의 시공간적인 경로(trajectory)를 기술한다. 움직임 경로 기술자는 크게 전역 움직임(global motion) 과 객체 움직임(object motion)으로 나뉘어진다. 전역 움직임은 카메라의 움직임, 즉 카메라가 어떻게 이동하였는지를 나타내고 , 객체 움직임(object motion)이란 사용자의 관심 대상인 물체 즉 객체의 움직임을 나타낸다.
전역 움직임은 해당 객체를 둘러싸는 최소한의 사각형의 중심점을 가지고 움직임을 기술한다. 여기서 객체의 위치, 속도, 가속도 등의 정보를 이용하여 움직이는 물체에서 무게중심의 x 방향의 경로는 다음의 수학식1과 같은 값으로 표현된다.
마찬가지로 y 방향과 z 방향은 다음의 수학식2와 같다.
즉 전역 움직임은 객체가 어느 두 지점을 얼마의 속도로 이동하는가에 대한 정도를 특징량으로 나타내고 있다.
일반적인 두 움직임 경로 객체의 거리는 다음의 수학식3과 같이 표현된다.
그러나 상기된 종래의 움직임 경로 기술자(motion trajectory descriptor)를 이용한 내용기반 비디오 검색 방법은 전역 움직임에 대해서만을 특징량으로 하여 객체 움직임에 대한 정보 없이 객체의 이동 경로(trajectory)만을 기술하고 있기 때문에, 상이한 모양을 갖거나 상이한 객체 움직임을 갖는 객체의 동일한 이동 경로에 대해서 동일한 특징량을 나타내어 다음과 같은 한계를 갖는다.
첫째, 사용자의 인지적 특성을 정확하게 반영하지 못하고, 객체 움직임 즉 시간에 따른 객체 모양의 변화를 기술할 수 없어 객체가 다르기 때문에 사용자가 다르다고 느끼는 비디오 데이터에 대해서도 전역 움직임에 대한 특징량이 유사하면 유사한 비디오 데이터로 잘못 검색하는 문제가 있다. 즉 움직임 경로 기술자(motion trajectory descriptor)는 객체의 모양정보 없이 객체의 움직임 궤적만 기술하고 있기 때문에, 다른 모양을 갖는 객체의 동일한 움직임 궤적에 대해서 동일한 특징량을 나타낸다. 예를 들어 동물이 걸어가는 것과 사람이 걸어가는 것은 인간의 인지적 관점에서는 서로 다른 움직임이지만 움직임 경로 기술자(motion trajectory descriptor)는 동일한 특징량으로 표현하게 되는 문제가 있는 것이다.
둘째, 동일한 객체일지라도 객체의 움직임이 다르기 때문에 상이한 이미지 시퀀스 데이터임에도 불구하고 전역 움직임에 대한 특징량이 유사한 경우에 움직임 경로 기술자(motion trajectory descriptor)는 상이한 객체의 움직임을 구별할 수 없다는 문제가 있다.
따라서, 본 발명은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 객체의 움직임을 표현하는 비디오 데이터를 연속된 이미지 프레임 즉 이미지 시퀀스로 포착하고, 각 이미지 시퀀스에 포함된 객체를 중첩시켜 모양 기술자(shape descriptor) 계수를 이용함으로써 객체의 일부분만이 움직이는 이미지 시퀀스 데이터 또는 적은 수의 프레임에서 객체가 움직이는 경로가 작고 객체의 부분적인 모양 변화가 많은 이미지 시퀀스 데이터의 경우에도 식별이 가능한 모양 변화 기술자(shape variation descriptor) 추출 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하는 제1단계; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계; 상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계를 포함하여 이루어진 것을 특징으로 한다. 또한, 본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임을 소정 주기 T로 나눈 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1단계; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계; 상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계를 포함하여 이루어진 것을 특징으로 한다. 또한, 본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임 중에서 객체의 움직임의 변화가 큰 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1단계; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계; 상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하는 제1기능; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능; 상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.또한, 본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임을 소정 주기 T로 나눈 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1기능; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능; 상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.또한, 본 발명은 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에, 이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임 중에서 객체의 움직임의 변화가 큰 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1기능; 상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능; 상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능; 상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및 상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 모양 변화 기술자(Shape Variation Descriptor)는 객체의 이진화 이미지 집합(collection of binary image of objects)에서 모양의 변화를 기술한다. 이진화 이미지 집합은 비디오로부터 분할된 순차적인 이미지 셋을 포함한다. 상기 기술자의 주요 기능은 유사한 모양 이미지 집합을 검색하는 것이며 각 집합의 프레임 수 또는 순서를 불문한다. 프레임이 연속적인 경우, 기술자는 객체 움직임에 따른 유사한 모양 변화의 관점에서 비디오 세그먼트의 프레임 셋에 의해 표현되는 모양 시퀀스의 검색에 이용된다.
본 발명에 따르면 모양 변화 기술자(Shape Variation Descriptor)로서 StaticShapeVariation 및 DynamicShapeVariation이 개시된다.
본 발명의 일실시예에 따르면, 사용자가 선정한 비디오 클립을 연속된 이미지 프레임 즉 이미지 시퀀스로 포착하여 당해 비디오 클립으로부터 프레임 셋이 생성된다. 바람직하게는 선정한 이미지 프레임들로부터 소정의 기준에 따라 몇 프레임씩 건너뛰면서 프레임 셋의 원소가 재선정되어 일련의 이미지 시퀀스들로 재구성되는 서브 샘플링(subsampling) 과정이 더 포함될 수도 있다.
생성된 프레임 셋을 구성하는 각 프레임마다 이진화가 수행되어 각 프레임에 포함되어 있는 객체 정보가 배경 정보로부터 분리된다. 이진화 이미지에서 분리된 객체의 무게중심이 소정의 포인트로 정렬된 후, 모든 프레임이 중첩되면서 각 프레임의 모든 픽셀에 할당되어 있는 값이 누적된다. 누적된 픽셀값이 소정 범위, 예를 들어 [0,255] 또는 [0,1]의 그레이레벨로 정규화됨에 따라 모양 변화 맵(Shape Variation Map, SVM)이 생성된다.
본 발명의 일실시예에 따른 SVM에는 개개의 프레임 시퀀스에 포함된 이미지들이 중첩된 정보가 포함되어 있기 때문에 객체의 움직임 정보 및 모양 정보가 모두 포함되어 있다.
영역기반 모양기술자(region based shape descriptor)를 포함하는 모양 기술자 추출 방법에 의해 SVM으로부터 이미지 시퀀스의 모양 변화(shape variation)에 대한 특징량인 StaticShapeVariation이 추출되면 추출된 특징량으로 비디오 데이터 베이스 내에서 유사도를 계산하여 사용자가 원하는 이미지 시퀀스 데이터를 검색할 수 있게 된다.
본 발명의 일실시예에 따른 SVM은 객체의 중심 부분에 중첩도가 가장 높게 나타나며, 이는 SVM으로부터 특징량을 추출함에 있어서 객체의 움직임이 있는 부분보다 움직임이 없는 부분에 가중치가 더 높다는 것을 의미한다. 본 발명의 다른 실시예에서는 객체의 움직임이 있는 부분이 보다 더 높은 가중치를 가질 수 있도록 하여 객체의 움직임을 정확하게 포착한다.
본 발명의 다른 실시예에 따르면, 앞서 설명된 본 발명의 일실시예에 따라 생성된 SVM에 대해서 배경을 제외한 객체가 반전됨으로써 역 모양 변화 맵(Negative Shape Variation Map, NSVM)이 생성된다.
본 발명의 다른 실시예에 따른 NSVM에는 개개의 프레임 시퀀스에 포함된 이미지들이 중첩된 정보가 포함되어 있기 때문에 객체의 움직임 정보 및 모양 정보가 모두 포함되어 있다.
영역기반 모양기술자(region based shape descriptor)를 포함하는 모양 기술자 추출 방법에 의해 NSVM으로부터 이미지 시퀀스의 모양 변화(shape variation)에 대한 특징량인 DynamicShapeVariation이 추출되면 추출된 특징량으로 비디오 데이터 베이스 내에서 유사도를 계산하여 사용자가 원하는 이미지 시퀀스 데이터를 검색할 수 있게 된다.
본 발명의 또 다른 실시예에 따르면, 상기 StaticShapeVariation 및 DynamicShapeVariation에 소정의 가중치를 부여한 후 연산되는 산술 평균값을 당해 이미지 시퀀스의 새로운 특징량으로 하고 추출된 특징량으로 비디오 데이터 베이스 내에서 유사도를 계산하여 사용자가 원하는 이미지 시퀀스 데이터를 검색할 수 있게 된다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도1은 본 발명의 일실시예에 따른 모양 변화 기술자(StaticShapeVariation) 추출 과정을 나타내는 흐름도이다. 도1에 도시된 StaticShapeVariation 추출 과정은 이미지 시퀀스 데이터베이스를 구축하는 과정 및 질의 이미지 시퀀스 데이터와 유사한 이미지 시퀀스 데이터를 검색하는 과정에서 전처리 과정으로서 필요하다.
도면에 도시된 바와 같이 본 발명의 일실시예에 따른 StaticShapeVariation 추출 과정은 이미지 시퀀스 데이터로부터 기술자 추출을 위한 프레임 선정 과정(S101)으로부터 시작된다.
도2는 도1의 프레임 선정 과정(S101)을 나타내는 세부 흐름도로서 도면에 도시된 바와 같이 구간이 지정된 이미지 시퀀스 즉 비디오 클립(S201)에 대해 서브 샘플링(S203)을 수행한다. 서브 샘플링 단계(S203)에서는 비디오 클립에서 특정 객체의 움직임이 존재하는 연속된 N개의 프레임 를 추출하여 프레임 셋 S를 다음과 같이 생성한다.
다음으로 상기 프레임 셋 S에 대해서 소정의 주기 T 즉 T개의 프레임만큼 건너뛰면서 이미지 프레임 을 선정하여 다시 M개의 이미지 프레임으로 구성된 프레임 셋 S'를 구성한다.
한편, 상기 프레임 셋 S'을 구성하기 위한 주기 T는 프레임 셋 S를 구성하는 프레임의 개수 N에 따라 임의로 조절될 수 있음은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 즉 후술되는 객체 중첩 단계(S107)에서 그레이 이미지 인터폴레이션(interpolation) 단계(S403)를 고려한 프레임 개수 M이 되도록 T가 선정된다. 따라서 N이 크지 않은 경우에는 T=1(N = M, S = S')이 될 수 있다.
또한 상기 프레임 셋 S를 구성하는 과정에서 추출된 프레임 개수 N은 특정 객체의 움직임이 존재하는 연속된 프레임을 추출하는 과정에서 생성되었으나 이는 비디오 클립의 프레임 개수에 따라 임의로 조절될 수 있음은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 즉 통상의 경우 비디오 데이터는 초당 30 프레임으로 구성되는 반면 애니메이션 GIF와 같은 이미지 시퀀스 데이터의 경우 보다 적은 프레임 수로 구성될 수 있으며 이 경우 비디오 클립의 전체 프레임으로 구성된 프레임 셋 S가 될 수도 있다. 따라서 프레임 셋 S의 구성 프레임은 특정 객체의 움직임이 존재하는 연속된 프레임에 한정되지 않는 것으로 이해되어야 한다. 상기된 바와 같이 본 발명에 따르면 이미지 시퀀스의 프레임 수를 정규화하기 때문에 후술되는 이미지 시퀀스 검색 과정에서 프레임 수가 상이한 이미지 시퀀스, 예를 들어 슬로우 모션 이미지 시퀀스와 정상 속도의 모션 이미지 시퀀스에 대한 비교가 가능하다.
프레임 선정 단계(S101) 이후에는 선정된 각각의 프레임에서 배경을 제거하고 움직임의 주체인 객체만을 추출하는 객체 추출 단계(S103)가 수행된다.
도3은 도1의 객체 추출 단계(S103)를 나타내는 흐름도이다. 각 프레임 에 포함되어 있는 배경 정보 및 객체 정보를 분리하여 객체를 배경으로부터 추출하는 단계(S301)는 이미 공지된 기술로서 자세한 설명은 생략한다.
다음으로, 배경으로부터 추출된 객체에 대해서 이미지 이진화(binarization) 단계(S303)를 수행한다. 이진화(binarization) 단계(S303) 수행 결과 프레임 셋 S'에 대응하는 이진화 이미지 프레임 셋이 생성된다.
본 발명의 일실시예에 따른 이진화(binarization) 단계(S303)는 후술되는 바와 같이 이미지 전체 픽셀의 정보를 사용하는 모양 기술자(Shape Descriptor) 추출을 위한 전처리 단계이다.
객체가 어떻게 구성되어 있는지에 따라 객체의 모양은 하나 또는 복수의 영역으로 구성되며 본 발명에서는 객체 움직임(Object Motion)에 대한 특징량을 나타내는 기술자로서 이미지 영역의 픽셀(pixel) 데이터를 기초로 이미지의 모양(Shape) 정보를 사용하는 모양 기술자(Shape Descriptor)가 이용될 수 있다.
즉 본 발명의 일실시예에 따른 StaticShapeVariation 추출 방법에서는 이진화 이미지 프레임 셋에 포함된 모든 이진화 이미지의 각 픽셀에 할당된 값 를 중첩시킴으로써 SVM을 생성시키고 상기 SVM에 대해 모양 기술자 추출 방법을 적용한다.
여기서 는 프레임 에 대응하는 객체의 이진화 이미지의 픽셀 좌표에 할당된 값을 나타내는 것으로 x, y 좌표는 이진화 이미지의 픽셀 좌표를 나타내고 있다. 객체는 컬러/흑백 이미지 여부에 불구하고 이진화 단계(S303)를 거쳐 객체의 윤곽 내부에 대응하는 픽셀 좌표 는 1, 윤곽 외부에 대응하는 픽셀 좌표 는 0인 이진화 이미지 프레임 셋이 생성된다.
객체 추출 단계(S103) 이후에는 객체의 중심을 프레임의 중심으로 이동시키는 객체 중심 이동 단계(S105)가 수행된다. 이진화 이미지 프레임 셋을 구성하는 각 프레임에 대해서 이진화 이미지로 표현되어 있는 객체의 중심을 소정의 포인트로 정렬시키는 이유는 이미지 시퀀스 데이터 검색 과정에서 프레임에 포함된 객체의 위치 정보에 무관하게 객체의 특징량을 추출하기 위함이다.
객체 중심 이동 단계(S105) 이후에는 이진화 이미지 프레임 셋의 모든 프레임을 하나의 프레임에 중첩시키는 객체 중첩 단계(S107)가 수행되어 SVM을 생성시킨다. 즉 SVM은 이진화 이미지 프레임 셋의 각 프레임을 구성하는 픽셀에 할당된 값이 중첩된 픽셀로 구성되는 하나의 프레임으로서 2차원 히스토그램(histogram)을 의미한다.
객체 추출 단계(S103)에서 생성된 이진화 이미지 프레임 셋은 각 프레임 별로 모든 픽셀에 1 또는 0의 값이 할당되어 있는 상태이기 때문에 도4의 객체 중첩 과정을 나타내는 흐름도에 도시된 바와 같이 객체를 중첩시키면서 중첩되는 픽셀에 할당된 값을 누적시킨다(S401).
각 픽셀 좌표에 대한 누적값 SVM(x,y)는 수학식4와 같다.
즉 SVM(x,y)는 SVM이 갖는 정보로서, 객체의 누적값 즉 객체의 움직임 정보 및 모양 정보를 나타내는 값이다.
예를 들어 동일한 픽셀 포인트에 1의 값이 할당되어 있는 3개의 프레임- 예를 들어 -이 중첩 되면 당해 픽셀 포인트에는 3의 값이 할당된다. 따라서 M이 7인 경우, 최대 누적 값은 7로서 임의의 픽셀 포인트에는 0부터 7까지의 정수 중 어느 하나의 값이 할당될 수 있다.
다음으로 누적값 할당 단계(S401)에서 생성된 픽셀 포인트 누적 값의 범위(0~M)를 소정 범위 예를 들어 [0,255]의 그레이스케일(grayscale)로 변환시키는 인터폴레이션(interpolation) 단계(S403)가 수행된다. 인터폴레이션을 통한 정규화는 이미지 시퀀스 데이터 검색 과정에서 프레임의 수에 무관하게 동일한 범위의 그레이 레벨 값을 갖도록 하기 위함이다.
그러나, 상기 인터폴레이션 과정(S403)에서의 그레이스케일은 임의로 조절될 수 있음은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 따라서 인터폴레이션 단계(S403)는 256단계의 그레이스케일에 한정되지 않는 것으로 이해되어야 한다. 예를 들어 M이 임의의 수이어도 상기 수학식4를 아래와 같이 변경시키면 그레이스케일의 범위는 [0,1]이 된다.
도7a 내지 도7c는 본 발명에 따라 배경으로부터 분리된 객체를 중첩시키는 과정을 나타내는 일실시예도이다.
우선 도7a에서, 참조 번호 701은 객체를 배경으로부터 분리하는 단계(S301)를 통해 생성된 4개의 프레임 (M=4)을 나타내고 있으며, 배경으로부터 객체가 분리/추출되어 있는 상태임을 알 수 있다. 참조 번호 703은 객체 이진화 단계(S303)를 통해 생성된 이진화 이미지 프레임을 나타내는 것으로서 1로 표현되는 객체 윤곽 내부를 black으로, 0으로 표현되는 객체 윤곽 외부를 white로 표현했을 때 나타나는 이진화 이미지 프레임을 보여주고 있다. 그러나, 본 명세서에 첨부된 도면의 표현은 단지 설명의 편의를 위한 것임은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 따라서 이진화 이미지 프레임에서 1로 표현되는 객체 윤곽 내부가 반드시 black으로 표현되는 것으로 한정되지 아니하며, 0으로 표현되는 객체 윤곽 외부가 반드시 white로 표현되는 것으로 한정되지 않는 것으로 이해되어야 한다. 예를 들어 이진화 이미지 프레임에서 1로 표현되는 객체 윤곽 내부는 white로, 0으로 표현되는 객체 윤곽 외부는 black으로 표현될 수도 있다.
한편, 참조 번호 705는 객체 중심 이동 단계(S105)를 통해 각 프레임의 이진화 이미지의 객체 중심이 이동된 프레임으로서 객체의 중심이 프레임의 중심 포인트에 정렬되어 있음을 알 수 있다. 참조 번호 707은 객체 중첩 단계(S107)에 의해 705의 각 프레임이 중첩된 SVM을 나타내고 있다. SVM(707)은 인터폴레이션 단계(S403)에 의해 각 픽셀 포인트에 할당된 누적 값(0~M(=4))이 그레이스케일로 변환되어 있다.
도7b 및 도7c의 참조 번호 713 및 723은 객체 이진화 단계(S303)를 통해 생성된 이진화 이미지 프레임(M=6)을 나타내고 있으며 참조 번호 717 및 727은 각각 참조 번호 713 및 723의 이진화 이미지 프레임을 중첩시킨 후의 SVM을 나타내고 있다. SVM(717, 727)은 인터폴레이션 단계(S403)에 의해 각 픽셀 포인트에 할당된 누적 값(0~M(=6))이 그레이스케일로 변환되어 있다.
객체 중첩 단계(S107) 이후에는 StaticShapeVariation 추출 단계(S109)가 수행된다. 도5는 도1의 기술자 추출 과정을 나타내는 흐름도이다. 우선 객체의 크기 변화에 불변한 검색이 가능하도록 객체 중첩 단계(S107)를 거쳐 생성된 SVM의 사이즈를 소정의 사이즈- 예를 들어 80 × 80 크기의 사이즈 -로 정규화 시키는 단계(S501)가 수행된다.
다음으로 정규화된 SVM에 대하여 모양 기술자(Shape Descriptor)를 적용하여 모양 변화(shape variation)에 대한 기술자인 StaticShapeVariation을 추출한다(S503).
이하에서는 모양 기술자의 일실시예인 저니키 모멘트(Zernike Moment) 및 ART(Angular Radial Transform)를 적용하여 이미지의 모양 변화(shape variation)에 대한 특징량을 추출하는 방법을 설명한다.
I) 저니키 모멘트 추출 과정
함수 f(x, y)에 대한 저니키 모멘트는 저니키 다항식(Zernike Polynomial)에 대한 함수 f(x, y)의 투영(projection)이다. 즉 저니키 모멘트는 수학식5로 정의된다.
수학식5에서 얻어진 저니키 모멘트는 복소수이고 이 값의 크기만을 취함으로써 저니키 모멘트 계수를 구해낼 수 있다. 이를 이산 함수에 대하여 적용시키면 수학식6의 저니키 모멘트가 얻어진다.
여기서 저니키 복소 다항식 은 극좌표계에서 단위원 내부에서 완전히 직교하는 복소 다항식의 형식을 취하며 수학식7과 같이 된다.
도10a 내지 도10d에서는 저니키 모멘트 기저 함수 를 나타내는 도면으로서, 도10a 및 도10b는 m = 2k(k는 정수)일 때의 실수부 및 허수부를 각각 나타내고 있으며, 도10c 및 도10d는 일 때의 실수부 및 허수부를 각각 나타내고 있다.
각도 α만큼 회전된 객체의 경우 수학식7의 저니키 모멘트 식은 수학식8과 같이 표현되어질 수 있다.
수학식8에 나타난 바와 같이 회전된 객체의 저니키 모멘트는 저니키 모멘트에서 위상만 변하기 때문에 모멘트의 절대값은 같다. 이러한 특성을 이용하여 객체의 회전에 불변한 모양을 기술할 수 있다.
II) ART(Angular Radial Transform) 기술자 추출 과정
ART는 극좌표상에서 단위원상에 정현함수(sinusoidal function) 가 기저(basis)로 구성된 직교 단일 변환(orthogonal unitary transform)으로서 회전 불변한 모양을 기술할 수 있으며 직교성이 있기 때문에 정보의 중복성이 없다. ART는 수학식9와 같이 정의된다.
여기서 은 ART의 n,m차 계수로서 복소수이고 이 값의 크기만을 취함으로써 이미지의 특징량을 취할 수 있다. 단 n=0, m=0 일때의 값은 기술자로서는 사용되지 않고, 각 계수 값들을 정규화 하는데 사용한다. 는 극좌표상의 이미지 함수이며, 은 원주방향의 함수와 반지름 방향의 함수의 곱으로 표현될 수 있는 기저 함수로서 수학식10으로 정의된다.
여기서, 는 ART 기저함수를 구성하는 편각함수(Angular function)이며, 는 ART 기저함수를 구성하는 방사함수(Radial Function)이다. 회전에 불변한 특성을 나타내기 위해서는 가 수학식11과 같이 표현되어야 한다.
즉, 을 원주 기저 함수(radial basis function)로서 여현 함수(cosine function)와 정현 함수(sine function)를 사용할 때 각각 ART-C와 ART-S로 나타낸다.
상기 수학식10의 는 여러 가지 타입을 가질 수 있으며, 그 타입에 따라 다음 수학식12와 같은 ART-C로 표시할 수 있다. 도9a 및 도9b는 ART 기저 함수를 나타내는 도면으로서 도9a는 ART-C 타입 ART 기저 함수의 실수부 및 허수부를 각각 나타내고 있으며, 도9b는 ART-S 타입 ART 기저 함수의 실수부 및 허수부를 각각 나타내고 있다.
이미지로부터 추출된 ART계수는 원 이미지에 ART 기저함수의 성분이 얼마나 포함되어 있는지를 나타내는 것이므로, ART 계수와 ART 기저함수의 곱을 조합하면 원 이미지를 복원해 낼 수 있다. 이론적으로는 무한히 많은 ART 계수와 기저함수의 곱을 조합해야 원 이미지와 완전히 동일한 이미지를 획득할 수 있으나, 실제로는 20개 내지 30개 정보만 조합해도 원 이미지와 오차가 거의 없는 이미지를 획득할 수 있다(도9a 및 도9b 참조).
그리고, 상기 수학식9로부터 계산되는 ART 계수의 절대값은 다음의 수학식13이 의미하는 바와 같은 회전 불변성(Rotation Invariance)을 가진다. 즉, 원본 이미지 와 각도 α만큼 회전된 이미지 로부터 추출된 ART계수들 사이의 관계는 하기 수학식14와 같다. 그런데, 회전된 이미지의 값에 절대값을 취하면 하기 수학식15와 같이, 원본 이미지의 값과 동일해지므로, 결국, ART의 크기는 회전불변의 특성을 가짐을 알 수 있다.
일실시예로서, SVM으로부터 편각차수(angular order)가 9이고, 방사차수(radial order)가 4인 ART 계수를 연산하는 과정을 설명하면 아래와 같다. 본 일실시예에 따른 StaticShapeVariation은 SVM으로부터 추출된 ART 계수의 정규화 및 양자화된 크기를 값으로 갖는, 크기가 35인 배열(StaticShapeVariation = StaticShapeVariation[k], k=0, 1, ....34)로 한다. 히스토그램의 각 빈(bin)의 값은 시퀀스 전체의 픽셀 위치에서 객체가 얼마나 자주 나타나는지를 의미하는 빈도(frequency)에 대응한다. 빈의 최대값은 당해 위치에서 객체의 일부분이 항상 나타난다는 것 또는 전체 시퀀스를 통해 정적(static)이라는 것을 의미한다. SVM에서 픽셀의 값이 높을 수록 당해 픽셀 위치에서 객체의 정적인 정도(degree of being static)가 높다. 차수 k와 방사 차수 및 편각 차수(n,m)의 관계는 다음의 표1과 같다.
k 0 1 2 3 4 5 6 ... 31 32 33 34
n 1 2 3 0 1 2 3 ... 0 1 2 3
m 0 0 0 1 1 1 1 ... 8 8 8 8
i) 기저함수의 생성(Basis Function Generation) :
2개의 4차원 배열 형태로 ATR 복소 기저함수-실수부 함수 BasisR[9][4][LUT_SIZE][LUT_SIZE] 및 허수부 함수 BasisI[9][4][LUT_SIZE][LUT_SIZE] -를 아래와 같은 코드를 통해 생성한다. 여기서 LUT_SIZE는 룩업 테이블의 크기를 의미한다(통상적으로 LUT_SIZE=101).
cx = cy = LUT_SIZE/2; // 기저함수의 중심
for(y=0 ; y< LUT_SIZE ; y++)
for(x=0 ; x< LUT_SIZE ; x++) {
radius = sqrt((x-cx)* (x-cx) + (y-cy)*(y-cy));
angle = atan2(y-cy, x-cx);
for(m=0 ; m<9 ; m++)
for(n=0 ; n< 4 ; n++) {
temp = cos(radius * π * n/(LUT_SIZE/2));
BasisR[m][n][x][y] = temp*cos(angle*m);
BasisI[m][n][x][y] = temp*sin(angle*m);
}
}
ii) 크기 정규화(Size Normalization) :
SVM에서 정렬된 중심이 룩업 테이블의 중심과 일치되도록 정렬시킨다. 이미지의 크기와 룩업 테이블의 크기가 다른 경우, 당해 이미지를 대응하는 룩업 테이블에 매핑되도록 선형 인터폴레이션을 수행한다. 여기서는 객체의 크기가 객체 중심으로부터의 최대 거리의 2배가 되도록 정의된다.
iii) ART 변환(ATR Transformation) :
래스터 스캔 순서(raster scan order)로 SVM의 픽셀값의 곱을 룩업 테이블의 대응하는 픽셀 각각에 대해 합산함으로써 ART 계수의 실수부와 허수부를 계산한다.
iv) 영역 정규화(Area Normalization) :
ART 계수의 각각의 크기를 계산하고 이 값을 객체 영역의 픽셀의 수로 나눈다.
v) 양자화(Quantization) :
본 일실시예에 따른 StaticShapeVariation[k](k=0, 1, ....34)는 아래 표2의 양자화 테이블에 따라 ART 계수를 16단계로 비선형 양자화하여 4비트로 표현함으로써 획득된다.
범위 양자화 인덱스
0.000000000 value < 0.003073263 0000
0.003073263 value < 0.006358638 0001
0.006358638 value < 0.009887589 0010
0.009887589 value < 0.013699146 0011
0.013699146 value < 0.017842545 0100
0.017842545 value < 0.022381125 0101
0.022381125 value < 0.027398293 0110
0.027398293 value < 0.033007009 0111
0.033007009 value < 0.039365646 1000
0.039365646 value < 0.046706155 1001
0.046706155 value < 0.055388134 1010
0.055388134 value < 0.066014017 1011
0.066014017 value < 0.079713163 1100
0.079713163 value < 0.099021026 1101
0.099021026 value < 0.132028034 1110
0.132028034 value 1111
위와 같이 양자화된 ART 계수는 추후에 유사도 판단을 위한 거리 계산 과정에서 아래의 표3에 따라 역양자화된다.
양자화 인덱스 복원값
0000 0.001511843
0001 0.004687623
0010 0.008090430
0011 0.011755242
0100 0.015725795
0101 0.020057784
0110 0.024823663
0111 0.030120122
1000 0.036080271
1001 0.042894597
1010 0.050849554
1011 0.060405301
1100 0.072372655
1101 0.088395142
1110 0.112720172
1111 0.165035042
이상에서 설명된 바와 같이 본 발명의 일실시예에 따른 StaticShapeVariation를 추출하는 방법에 의해 객체 자체의 움직임에 대한 특징량을 추출함으로써 이미지 시퀀스 데이터베이스를 구축하는 과정에서 StaticShapeVariation를 계산하여 이미지 시퀀스 데이터에 대한 검색 성능을 향상시키게 된다. 즉 방대한 양의 이미지 시퀀스 데이터가 구축되어 있는 데이터베이스로부터 사용자가 원하는 특정의 이미지 시퀀스 데이터를 검색할 수 있게 된다.
도6은 본 발명의 일실시예에 따른 이미지 시퀀스 검색 과정을 나타내는 흐름도이다. 본 발명의 일실시예에 따른 StaticShapeVariation 추출 방법을 이용하는 이미지 시퀀스 검색 시스템이 사용자로부터 질의 이미지 시퀀스 데이터를 수신하면(S601) 상기 도1 내지 도5의 본 발명의 일실시예에 따른 StaticShapeVariation 추출 방법에 따라 StaticShapeVariation를 추출하여(S603) 이미지 시퀀스 데이터베이스에 구축되어 있는 이미지 시퀀스 데이터의 StaticShapeVariation와의 유사도를 측정한다(S605).
이하에서는 저니키 모멘트를 적용한 경우 및 ART를 적용한 경우에 사용될 수 있는 유사도 검색 방법의 일실시예를 설명한다. 다만, 본 발명의 일실시예에 따른 유사도 검색 방법은 이하에서 설명된 유사도 검색 방법 이외에도 다양한 검색 방법이 사용될 수 있음이 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것으로, 본 발명의 일실시예에 따른 유사도 검색 방법은 이하에서 설명되는 방법에 한정되지 않는 것으로 이해되어야 한다. 예를 들어 유사도 검색의 일반식은 다음과 같이 표현될 수 있다.
여기서 첨자 Q는 질의 이미지 시퀀스를 대표하며 첨자 D는 데이터베이스에 기저장되어 있는 이미지 시퀀스를 대표한다.
질의 이미지 시퀀스 및 데이터베이스에 기저장되어 있는 이미지 시퀀스에 대한 2개의 StaticShapeVariation에 대한 유사도는 다음의 수학식16에서 나타난 바와 같다.
여기서 는 질의 이미지의 i번째 특징량(StaticShapeVariation[i])이고, 는 데이터베이스에 존재하는 비교 대상 이미지의 i번째 특징량(StaticShapeVariation[i])이다.
아래의 수학식17은 질의 이미지와 데이터베이스 이미지간의 비유사(Dissimilarity)정도를 나타내는 수학식이다. 즉, 비슷한 모양의 이미지에서 추출된 기술자들은 유사한 값을 갖고, 다른 모양의 이미지에서 추출된 기술자들은 완전히 다른 값을 갖기 때문에, 수학식17과 같이 두 이미지에서 추출된 기술자의 차이를 비교해보면 두 이미지가 어느 정도 비슷한 모양을 가지고 있는지 판단할 수 있게 된다.
여기서 D는 질의 이미지와 데이터베이스 이미지간의 비유사도, 는 상수계수, 는 질의 이미지의 i번째 이미지 기술자이고, 은 데이터베이스 이미지의 i번째 이미지 기술자를 의미한다.유사도 측정(S605) 결과 가장 유사도가 높은 이미지 시퀀스 데이터가 선택된다(S607).
도8a 및 도8b는 본 발명의 일실시예에 따른 검색예를 설명하기 위한 이미지 시퀀스도이다. 도8a에서 참조 번호 801 내지 815는 각각 3개의 프레임(M=3)으로 구성된 이미지 시퀀스 데이터를 나타내는 것으로, 애니메이션 GIF 이미지 프레임 셋을 나타내고 있다. 프레임 셋 S에서 인접 프레임 간에 이미지의 변화가 거의 없는 경우에는 N이 큰 경우에도 도9a에서 도시된 바와 같이 주기 T를 조절하여 M=3인 프레임 셋 S'으로 구성할 수 있음은 앞서 설명되었다. 또한 객체 중첩 단계(S107)에서 너무 많은 이진화 이미지 객체 프레임들을 중첩시키면 SVM에서 중첩된 객체 이미지의 형체가 모호해지기 때문에 소정 개수- 예를 들어 10개(M=10) -의 프레임만이 선정되도록 주기 T를 조절할 수 있음이 앞서 설명되었다.
도8b는 본 발명의 일실시예에 따른 이미지 시퀀스 데이터 검색 결과의 예시도로서, 도면에 도시된 바와 같이 도8a의 이미지 시퀀스 데이터(801, 811)를 각각 질의 이미지 시퀀스 데이터(827, 837)로 한 경우의 검색 결과를 나타내고 있다.
결과 이미지 시퀀스 데이터로 나타난 참조 번호 821, 823 및 825는 각각 도8a의 이미지 시퀀스 데이터 801, 803 및 805에 대응하는 SVM이고, 참조 번호 831, 833 및 835는 각각 도8a의 이미지 시퀀스 데이터 811, 813 및 815의 SVM이다. 질의 이미지 시퀀스 데이터(827, 837) 다음에 보여지는 SVM(821, 831)이 질의 이미지 시퀀스 데이터(827, 837)와의 StaticShapeVariation에 의한 유사도 측정치가 가장 높다는 것을 의미하며 오른쪽에 나열된 SVM(823, 825, 833, 835)은 질의 이미지 시퀀스 데이터(827, 837)와의 유사도 측정치가 상대적으로 낮음을 의미한다. 도9b의 검색 결과에 나타난 바와 같이 신뢰성 있는 검색 결과를 나타내고 있다.
도11은 본 발명의 다른 실시예에 따른 모양 변화 기술자(DynamicShapeVariation) 추출 과정을 나타내는 흐름도이다. 도면에 도시된 바와 같이 본 발명의 다른 실시예에 따른 DynamicShapeVariation 추출 과정은 도1에 도시된 StaticShapeVariation 추출 과정과 유사하며, 다만 객체 중첩 과정(S1101)에서 차이가 있다.
이에 따라, 도1에 도시된 StaticShapeVariation 추출 과정에서는 단계 S109에서 모양 변화 기술자(Shape Variation Descriptor)로서 StaticShapeVariation이 추출되었으나, 도11에서는 상기 단계 S1101에 의해 단계 S109에서 DynamicShapeVariation이 추출된다는 점에서 차이가 있다.
도12는 도11의 객체 중첩 과정을 나타내는 흐름도이다. 도면에 도시된 바와 같이 도12도 도4의 경우와 유사하다. 즉 단계 S101 내지 S403까지의 과정에 의해 SVM이 생성된다. 그러나, 본 발명의 다른 실시예에 따른 도12의 DynamicShapeVariation 추출 과정에서는 SVM에서 객체 부분-배경 부분은 제외-의 각 픽셀에 누적 할당되어 있는 값을 반전시키는 과정(S1201)이 추가되어 있다.
상기 단계 S1201의 반전은 다음의 수학식18에 의해 수행된다. 여기서 SVM은 그레이스케일이 [0,GS]로 정규화되어 있다는 것을 전제로 한다(GS는 임의의 수). 예를 들어 SVM 생성 과정 중 상기 단계 S403에서 인터폴레이션이 [0,1]의 그레이스케일로 수행된 경우 GS=1이다.
도13은 SVM 생성 과정을 설명하기 위한 도면이다. 도13에 도시된 SVM 생성 과정은 도7a 내지 도7c에 도시된 SVM 생성 과정과 완전히 동일한 의미를 갖는다. 즉 참조 번호 1301은 객체를 배경으로부터 분리하는 단계(S301)를 통해 생성된 5개의 프레임 (M=5)을 나타내고 있으며, 배경으로부터 객체가 분리/추출되어 있는 상태임을 알 수 있다. 참조 번호 1305는 객체 이진화 단계(S303) 및 객체 중심 이동 단계(S105)를 통해 생성된 이진화 이미지 프레임을 나타내는 것으로서 1로 표현되는 객체 윤곽 내부를 black으로, 0으로 표현되는 객체 윤곽 외부를 white로 표현했을 때 나타나는 이진화 이미지 프레임을 보여주고 있다.
참조 번호 1307은 객체 중첩 단계(S107)에 의해 1305의 각 프레임이 중첩된 SVM을 나타내고 있다. SVM(1307)은 인터폴레이션 단계(S403)에 의해 각 픽셀 포인트에 할당된 누적 값(0~M(=5))이 그레이스케일로 변환되어 있다. 여기서, 도13의 SVM(1307)과 도7a 내지 도7c의 SVM(707, 717, 727)은 완전히 동일한 의미를 갖는 것으로 다만, 도13의 SVM(1307)은 후술되는 NSVM과의 차이점을 부각시키기 위해 도면상에서만 반전하여 표현되어 있을 뿐이다.
도14 및 도15는 SVM과 NSVM의 차이를 설명하기 위한 도면이다. 도면에서 참조 번호 1307 및 1309는 각각 다른 객체의 움직임을 표현하는 이미지 시퀀스로부터 생성된 SVM이며, 참조 번호 1407 및 1409는 상기 SVM(1307, 1309) 각각에 대해 상기 도11 및 도12에서 설명된 본 발명의 다른 실시예에 따라 생성된 NSVM이다. SVM(1307, 1309) 및 NSVM(1407, 1409)를 비교해보면, 객체 부분을 구성하는 각 픽셀에 할당된 값이 상기 수학식18에 의해 반전되어 있음을 알 수 있다. 그러나 배경 부분을 구성하는 각 픽셀에 할당된 값은 반전되어 있지 않음에 주의해야 한다. 참조 번호 1507은 SVM(1307)의 프레임 전체를 반전시켰을 때 나타나는 프레임으로서 NSVM(1407)과 차이가 있음을 알 수 있다. 즉 참조 번호 1311 및 1411에서 표현하는 그래프는 기준선 1501에서 SVM(1307) 및 NSVM(1407)의 각 픽셀에 누적 할당되어 있는 값을 나타내는 것으로서, 객체 부분을 형성하는 픽셀값만이 반전되어 있고, 배경 부분을 형성하는 픽셀값은 반전되어 있지 않은 것을 보여주고 있다. 반면, 참조 번호 1511이 표현하는 그래프는 참조 번호 1507의 프레임에 대한 픽셀값을 나타내는 것으로서 NSVM(1407)의 누적값(1411)과 차이가 있다.
앞서 설명된 바와 같이 도11 내지 도15에서 설명된, SVM과는 다른 NSVM 생성과정에 따라, 상기 단계 S1101에 의해 단계 S109에서 DynamicShapeVariation이 추출된다는 점에서 차이가 있다는 점을 제외하고는 도1 내지 도10d에서 설명된 StaticShapeVariation 추출 과정 및 StaticShapeVariation에 의한 이미지 시퀀스 검색 과정은 DynamicShapeVariation 추출 과정 및 DynamicShapeVariation에 의한 이미지 시퀀스 검색 과정에도 동일하게 적용된다. 다만, DynamicShapeVariation에 의한 유사도 검색의 일반식은 다음과 같이 변경된다.
여기서 첨자 Q는 질의 이미지 시퀀스를 대표하며 첨자 D는 데이터베이스에 기저장되어 있는 이미지 시퀀스를 대표한다.
본 발명의 또 다른 실시예에 따르면 앞서 설명된 모양 변화 기술자(Shape Variation Descriptor)를 이용하여 이미지 시퀀스 검색 과정에서 검색 효율을 보다 더 향상시키게 된다. 즉 이미지 시퀀스에 대한 특징량으로서 StaticShapeVariation 또는 DynamicShapeVariation를 이용하는 대신, StaticShapeVariation 및 DynamicShapeVariation에 소정의 가중치를 부여한 후 연산되는 산술 평균값을 당해 이미지 시퀀스의 새로운 특징량으로 하고 추출된 특징량으로 비디오 데이터 베이스 내에서 유사도를 계산하여 사용자가 원하는 이미지 시퀀스 데이터를 검색할 수 있게 된다.
이 경우, 유사도 검색의 일반식은 다음과 같다.
본 발명의 또 다른 실시예에 따른 검색 효율에 대한 실험은 다음과 같이 수행되었다.
실험을 위해 사용된 데이터 셋은 MPEG-7 표준화 과정에서 제시된 80그룹 800개 데이터들로 이루어져있다. 총 80개 그룹의 데이터 셋은 아래의 표4에 나타난 바와 같이 10명의 사람을 대상으로 20가지 동작을 재현한 20그룹 200개의 데이터, 3D Animation으로 50가지 동작을 구현한 50그룹 500개의 데이터, 움직이는 글자를 표현한 10그룹 100개의 데이터로 구성되어있다.
데이터 셋 그룹 수 클립 수
애니메이션 60 600
비디오 20 200
상기 표4의 데이터 셋을 이용해 SVM(StaticShapeVariation)을 이용한 경우와 NSVM(DynamicShapeVariation)을 사용한 경우, 그리고 두 가지에 가중치를 두어 합한 경우에 대한 검색 효율을 비교하였다. 이상의 조건들을 기준으로 다음 4가지 경우에 대해 실험을 행하였다.
케이스 1 : SVM(StaticShapeVariation) 만을 적용
케이스 2 : NSVM(DynamicShapeVariation) 만을 적용
케이스 3 : SVM(StaticShapeVariation)과 NSVM(DynamicShapeVariation)을 5대5로 적용
케이스 4 : SVM(StaticShapeVariation)과 NSVM(DynamicShapeVariation)을 3대7로 적용
검색 성능의 정량적 분석을 위해 평가 척도로는 ANMRR[Chang-Duck Suh and Whoi-Yul Kim, "A New Metric to Measure the Retrieval Effectiveness for Evaluating Rank-based Retrieval Systems," 한국방송공학회 논문지, 제5권, 제1호, pp. 68-81, June 2000.]이 사용되었다. ANMRR은 0 에서 1 사이의 값을 가지며 그 값이 작을수록 검색 효율이 좋다. 표5에서는 각 그룹에 대해 구해진 ANMRR의 평균을 나타낸다.
그룹 검색 정확도 (ANMRR)
케이스 1 케이스 2 케이스 3 케이스 4
애니메이션 0.3869 0.3506 0.2887 0.2994
비디오 0.3448 0.2290 0.1792 0.1941
평균 0.3659 0.2898 0.2339 0.2467
위의 실험에 의하면 특징량 추출을 위해 물체의 중심에 가중치를 둔 경우(케이스 1)보다 물체의 움직인 부분에 가중치를 둔 경우(케이스 2) 검색 성능의 향상을 가져왔음을 볼 수 있었으며 이 두 가지 방법을 병행하여 적용한 경우(케이스 3, 케이스 4) 최적의 검색 성능을 볼 수 있었다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드디스크, 광자기디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백하다 할 것이다.
상기한 바와 같이 본 발명은 비디오 데이터에 포함되어있는 객체가 움직이는 모양의 유사도를 모양 기술자의 계수를 사용하여 판단함으로써, 크기, 색상 및 텍스쳐(texsture)에 상관 없이 객체의 일부분만이 움직이는 이미지 시퀀스 데이터 또는 적은 수의 프레임에서 객체의 부분적인 모양 변화가 많은 경우에도 식별이 가능하여 사용자가 원하는 이미지 시퀀스를 정확하게 검색할 수 있는 효과가 있다. 또한 객체의 모양 정보와 움직임 정보를 동시에 기술하기 때문에 서로 다른 모양을 가진 객체가 같은 경로로 움직였을 때에 식별이 가능한 효과가 있다. 또한 본 발명에 따른 모양 변화 기술자가 인간의 인지적 관점에서 객체의 중심보다는 객체가 취한 모양의 변화 즉 객체의 형태와 움직임에 대한 정보가 표현된 부분에 가중치를 부여 하기 때문에 향상된 검색 성능이 향상되는 효과가 있다.
도1은 본 발명의 일실시예에 따른 모양 변화 기술자(StaticShapeVariation) 추출 과정을 나타내는 흐름도,
도2는 도1의 프레임 선정 과정을 나타내는 흐름도,
도3은 도1의 객체 추출 과정을 나타내는 흐름도,
도4는 도1의 객체 중첩 과정을 나타내는 흐름도,
도5는 도1의 기술자 추출 과정을 나타내는 흐름도,
도6은 본 발명의 일실시예에 따른 이미지 시퀀스 검색 과정을 나타내는 흐름도,
도7a 내지 도7c는 본 발명의 일실시예에 따라 배경으로부터 분리된 객체를 중첩시키는 과정을 나타내는 일실시예도,
도8a 및 도8b는 본 발명의 일실시예에 따른 검색예를 설명하기 위한 이미지 시퀀스도,
도9a 및 도9b는 본 발명의 일실시예로서 ART 기저 함수를 나타내는 도면,
도10a 내지 도10d는 본 발명의 일실시예로서 저니키 모멘트 기저 함수를 나타내는 도면,
도11은 본 발명의 다른 실시예에 따른 모양 변화 기술자(DynamicShapeVariation) 추출 과정을 나타내는 흐름도,
도12는 도11의 객체 중첩 과정을 나타내는 흐름도,
도13은 SVM 생성 과정을 설명하기 위한 도면,
도14 및 도15는 SVM과 NSVM의 차이를 설명하기 위한 도면이다.

Claims (30)

  1. 삭제
  2. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하는 제1단계;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계;
    상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  3. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임을 소정 주기 T로 나눈 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1단계;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계;
    상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  4. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위해 모양 변화 기술자(Shape Variation Descriptor)를 추출하는 방법에 있어서,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임 중에서 객체의 움직임의 변화가 큰 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1단계;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2단계;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3단계;
    상기 제3단계에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4단계; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제2단계는,
    상기 제1단계에서 선정된 프레임에 포함된 배경 정보를 제거하는 제6단계; 및
    상기 배경 정보가 제거된 프레임에 포함된 이미지를 이진화하는 제7단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  6. 제5항에 있어서,
    상기 제7단계는,
    하기의 수학식에 의해 상기 프레임의 픽셀에 값을 할당하는 것을 특징으로 하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
    (단, 는 상기 제1단계에서 선정된 프레임 중 i번째 프레임의 픽셀에 할당되는 값임)
  7. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제3단계는,
    상기 제2단계에서 분리된 객체의 무게 중심을 계산하는 제6단계; 및
    상기 무게 중심 좌표와 상기 프레임의 중심 좌표가 일치되도록 상기 객체를 이동시키는 제7단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  8. 제6항에 있어서,
    상기 제4단계는,
    하기 수학식에 의해 상기 각 픽셀에 할당된 값을 누적시키는 제8단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
    (단, 는 상기 제4단계에서 생성되는 프레임(SVM)의 픽셀에 할당되는 값임)
  9. 제8항에 있어서,
    상기 제4단계는,
    상기 제8단계에서 할당된 누적 값을 정규화하는 제9단계
    를 더 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  10. 제9항에 있어서,
    상기 제9단계는,
    0부터 1까지의 그레이스케일로 정규화하는 것을 특징으로 하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  11. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제4단계는,
    상기 생성된 하나의 프레임(SVM)에 대해 이미지의 크기를 정규화하는 제6단계
    를 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
  12. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제5단계는,
    하기의 수학식으로 정의되는 ART(Angular Radial Transform)에 따라 상기 제4단계에서 생성된 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 것을 특징으로 하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
    (단, 은 ART의 n,m차 계수이고 는 극좌표상의 이미지 함수이며, 은 원주방향의 함수와 반지름 방향의 함수의 곱으로 표현될 수 있는 기저 함수임)
  13. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제4단계에서 생성된 하나의 프레임(SVM)에 대해 하기의 수학식에 따라 배경부분을 제외한 객체부분에 대해서 픽셀값을 반전시킴으로써 프레임(NSVM)을 생성하는 제6단계; 및
    상기 생성된 하나의 프레임(NSVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제7단계
    를 더 포함하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
    (단, 는 상기 제4단계에서 생성되는 프레임(NSVM)의 픽셀에 할당되는 값이고 상기 SVM은 [0,GS]의 그레이스케일로 정규화되어 있음)
  14. 제13항에 있어서,
    상기 제7단계는,
    하기의 수학식으로 정의되는 ART(Angular Radial Transform)에 따라 상기 제6단계에서 생성된 프레임(NSVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 것을 특징으로 하는 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법.
    (단, 은 ART의 n,m차 계수이고 는 극좌표상의 이미지 함수이며, 은 원주방향의 함수와 반지름 방향의 함수의 곱으로 표현될 수 있는 기저 함수임)
  15. 제2항 내지 제4항 중 어느 한 항의 모양 변화 기술자 추출 방법에 따라 추출된 정적 모양 변화 기술자(StaticShapeVariation) 및 동적 모양 변화 기술자(DynamicShapeVariation)를 기초로 하는 이미지 시퀀스 데이터 검색 방법에 있어서,
    하기 수학식으로 정의되는 질의 이미지와 데이터베이스에 존재하는 비교 대상 이미지의 유사도를 기초로 이미지를 검색하는 것을 특징으로 하는 이미지 시퀀스 데이터 검색 방법.
    (단, 는 유사도, 는 질의 이미지의 i번째 특징량(StaticShapeVariation[i]), 는 데이터베이스에 존재하는 비교 대상 이미지의 i번째 특징량(StaticShapeVariation[i]), 는 질의 이미지의 i번째 특징량(DynamicShapeVariation[i]), 는 데이터베이스에 존재하는 비교 대상 이미지의 i번째 특징량(DynamicShapeVariation[i])임)
  16. 삭제
  17. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하는 제1기능;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능;
    상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  18. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임을 소정 주기 T로 나눈 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1기능;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능;
    상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  19. 복수의 프레임에 의해 객체의 움직임을 표현하는 이미지 시퀀스 데이터에 대한 내용 기반 검색을 위한 모양 변화 기술자(Shape Variation Descriptor)를 추출하기 위하여, 프로세서를 구비한 내용 기반 검색 시스템에,
    이미지 시퀀스 데이터로부터 N(여기서, N은 자연수임)개의 연속된 프레임을 선정하되, N개의 프레임 중에서 객체의 움직임의 변화가 큰 M(여기서, M은 자연수임)개의 프레임으로 선정하는 제1기능;
    상기 프레임을 배경으로부터 분리된 객체 정보만을 포함하는 프레임으로 변환하는 제2기능;
    상기 객체를 상기 프레임의 소정 위치로 정렬시키는 제3기능;
    상기 제3기능에 의해 정렬된 복수의 프레임을 중첩시켜 상기 객체의 움직임정보 및 모양 정보를 포함하는 하나의 프레임(SVM)을 생성하는 제4기능; 및
    상기 생성된 하나의 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제5기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제2기능은,
    상기 제1기능에서 선정된 프레임에 포함된 배경 정보를 제거하는 제6기능; 및
    상기 배경 정보가 제거된 프레임에 포함된 이미지를 이진화하는 제7기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  21. 제20항에 있어서,
    상기 제7기능은,
    하기의 수학식에 의해 상기 프레임의 픽셀에 값을 할당하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 는 상기 제1기능에서 선정된 프레임 중 i번째 프레임의 픽셀에 할당되는 값임)
  22. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제3기능은,
    상기 제2기능에서 분리된 객체의 무게 중심을 계산하는 제6기능; 및
    상기 무게 중심 좌표와 상기 프레임의 중심 좌표가 일치되도록 상기 객체를 이동시키는 제7기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 제21항에 있어서,
    상기 제4기능은,
    하기 수학식에 의해 상기 각 픽셀에 할당된 값을 누적시키는 제8기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 는 상기 제4기능에서 생성되는 프레임(SVM)의 픽셀에 할당되는 값임)
  24. 제23항에 있어서,
    상기 제4기능은,
    상기 제8기능에서 할당된 누적 값을 정규화하는 제9기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  25. 제24항에 있어서,
    상기 제9기능은,
    0부터 1까지의 그레이스케일로 정규화하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  26. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제4기능은,
    상기 생성된 하나의 프레임(SVM)에 대해 이미지의 크기를 정규화하는 제6기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  27. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제5기능은,
    하기의 수학식으로 정의되는 ART(Angular Radial Transform)에 따라 상기 제4기능에서 생성된 프레임(SVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 은 ART의 n,m차 계수이고 는 극좌표상의 이미지 함수이며, 은 원주방향의 함수와 반지름 방향의 함수의 곱으로 표현될 수 있는 기저 함수임)
  28. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제4기능에서 생성된 하나의 프레임(SVM)에 대해 하기의 수학식에 따라 배경부분을 제외한 객체부분에 대해서 픽셀값을 반전시킴으로써 프레임(NSVM)을 생성하는 제6기능; 및
    상기 생성된 하나의 프레임(NSVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 제7기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 는 상기 제4기능에서 생성되는 프레임(NSVM)의 픽셀에 할당되는 값이고 상기 SVM은 [0,GS]의 그레이스케일로 정규화되어 있음)
  29. 제28항에 있어서,
    상기 제7기능은,
    하기의 수학식으로 정의되는 ART(Angular Radial Transform)에 따라 상기 제6기능에서 생성된 프레임(NSVM)에 대해 모양 기술자(Shape Descriptor)를 추출하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 은 ART의 n,m차 계수이고 는 극좌표상의 이미지 함수이며, 은 원주방향의 함수와 반지름 방향의 함수의 곱으로 표현될 수 있는 기저 함수임)
  30. 제17항 내지 제19항 중 어느 한 항의 모양 변화 기술자 추출 과정에 따라 추출된 정적 모양 변화 기술자(StaticShapeVariation) 및 동적 모양 변화 기술자(DynamicShapeVariation)를 기초로 하는 이미지 시퀀스 데이터 검색을 위하여, 프로세서를 구비한 내용 기반 검색 시스템에,
    하기 수학식으로 정의되는 질의 이미지와 데이터베이스에 존재하는 비교 대상 이미지의 유사도를 기초로 이미지를 검색하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    (단, 는 유사도, 는 질의 이미지의 i번째 특징량(StaticShapeVariation[i]), 는 데이터베이스에 존재하는 비교 대상 이미지의 i번째 특징량(StaticShapeVariation[i]), 는 질의 이미지의 i번째 특징량(DynamicShapeVariation[i]), 는 데이터베이스에 존재하는 비교 대상 이미지의 i번째 특징량(DynamicShapeVariation[i])임)
KR10-2002-0034258A 2001-06-19 2002-06-19 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 KR100508569B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020010034595 2001-06-19
KR20010034595 2001-06-19

Publications (2)

Publication Number Publication Date
KR20020096998A KR20020096998A (ko) 2002-12-31
KR100508569B1 true KR100508569B1 (ko) 2005-08-18

Family

ID=19711028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0034258A KR100508569B1 (ko) 2001-06-19 2002-06-19 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법

Country Status (4)

Country Link
US (1) US7212671B2 (ko)
JP (1) JP4219805B2 (ko)
KR (1) KR100508569B1 (ko)
WO (1) WO2002103562A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643684B2 (en) * 2003-07-15 2010-01-05 Samsung Electronics Co., Ltd. Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
DE602005005117T2 (de) * 2004-08-10 2009-03-19 Oce-Technologies B.V. Detektion abweichender Seiten während des Scannens
US20060153459A1 (en) * 2005-01-10 2006-07-13 Yan Zhang Object classification method for a collision warning system
KR100679124B1 (ko) 2005-01-27 2007-02-05 한양대학교 산학협력단 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
US8208731B2 (en) 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
USD736254S1 (en) 2008-12-26 2015-08-11 Sony Corporation Display panel or screen with an icon
US8655084B2 (en) * 2009-06-23 2014-02-18 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Hand-based gender classification
US7953245B2 (en) * 2009-08-18 2011-05-31 General Electric Company System, method and program product for camera-based object analysis
US8483433B1 (en) 2009-09-17 2013-07-09 Lockheed Martin Corporation Detection of faint perturbations of interest using statistical models of image texture
CN101945257B (zh) * 2010-08-27 2012-03-28 南京大学 基于监控视频内容提取车辆底盘图像的合成方法
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
TWI588778B (zh) * 2012-01-17 2017-06-21 國立臺灣科技大學 動作辨識方法
KR20130108949A (ko) * 2012-03-26 2013-10-07 한국전자통신연구원 영상부호 및 복호화 단계에서의 이중 객체검출 및 이동경로 정보를 이용한 영상 압축 방법
US9075846B2 (en) * 2012-12-12 2015-07-07 King Fahd University Of Petroleum And Minerals Method for retrieval of arabic historical manuscripts
US9367221B2 (en) * 2013-09-02 2016-06-14 Ken Lai System and method for sequencing rotatable images
US10062015B2 (en) 2015-06-25 2018-08-28 The Nielsen Company (Us), Llc Methods and apparatus for identifying objects depicted in a video using extracted video frames in combination with a reverse image search engine
CN107931012B (zh) * 2017-10-25 2020-06-19 浙江华睿科技有限公司 一种提取点胶路径的方法及点胶系统
CN108256419B (zh) * 2017-12-05 2018-11-23 交通运输部规划研究院 一种利用多光谱解译提取港口码头图像的方法
KR102140873B1 (ko) * 2018-11-27 2020-08-03 연세대학교 산학협력단 동적 객체 검출 장치 및 방법
US11526674B2 (en) * 2019-03-01 2022-12-13 Rakuten Group, Inc. Sentence extraction system, sentence extraction method, and information storage medium
CN115330756B (zh) * 2022-10-11 2023-02-28 天津恒宇医疗科技有限公司 基于光影特征的oct图像中导丝识别方法及识别系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546572A (en) * 1991-08-28 1996-08-13 Hitachi, Ltd. Method for retrieving database of image information
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5915250A (en) * 1996-03-29 1999-06-22 Virage, Inc. Threshold-based comparison
US6285788B1 (en) * 1997-06-13 2001-09-04 Sharp Laboratories Of America, Inc. Method for fast return of abstracted images from a digital image database
US6785429B1 (en) * 1998-07-08 2004-08-31 Matsushita Electric Industrial Co., Ltd. Multimedia data retrieval device and method
JP4574771B2 (ja) 1999-01-28 2010-11-04 株式会社東芝 画像情報記述方法
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
KR100772788B1 (ko) 1999-02-01 2007-11-01 주식회사 팬택앤큐리텔 동영상의 움직임 활동 특징 기술 방법 및 장치
JP4151158B2 (ja) 1999-06-14 2008-09-17 ソニー株式会社 シーン記述生成装置及び方法
KR20010009273A (ko) 1999-07-08 2001-02-05 김영환 움직임 정도 기술방법을 이용한 동영상 색인 및 검색방법
JP2001357008A (ja) * 2000-06-14 2001-12-26 Mitsubishi Electric Corp コンテンツ検索配信装置およびコンテンツ検索配信方法

Also Published As

Publication number Publication date
JP2004535005A (ja) 2004-11-18
US7212671B2 (en) 2007-05-01
KR20020096998A (ko) 2002-12-31
JP4219805B2 (ja) 2009-02-04
US20040170327A1 (en) 2004-09-02
WO2002103562A1 (en) 2002-12-27

Similar Documents

Publication Publication Date Title
KR100508569B1 (ko) 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법
Lv et al. Deep learning and superpixel feature extraction based on contractive autoencoder for change detection in SAR images
Liu et al. Sift flow: Dense correspondence across different scenes
Kandaswamy et al. Efficient texture analysis of SAR imagery
Demir et al. Histogram-based attribute profiles for classification of very high resolution remote sensing images
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN107256262A (zh) 一种基于物体检测的图像检索方法
Morris A pyramid CNN for dense-leaves segmentation
CN104376003A (zh) 一种视频检索方法及装置
Sfikas et al. Partial matching of 3D cultural heritage objects using panoramic views
Savelonas et al. Fisher encoding of differential fast point feature histograms for partial 3D object retrieval
Jasiewicz et al. GeoPAT: A toolbox for pattern-based information retrieval from large geospatial databases
Tomită et al. Convsequential-slam: A sequence-based, training-less visual place recognition technique for changing environments
CN101116108B (zh) 用于获取图像序列数据的信息组分提取
Veltkamp et al. SHREC'10 Track: Large Scale Retrieval.
CN103064857A (zh) 图像查询方法及图像查询设备
CN113129351B (zh) 一种基于光场傅里叶视差分层的特征检测方法
Fernández et al. A study of visual descriptors for outdoor navigation using google street view images
Mumar Image retrieval using SURF features
Ni et al. Construction and exploitation of a 3D model from 2D image features
Kiranyaz et al. A generic shape/texture descriptor over multiscale edge field: 2-D walking ant histogram
Bhowmick et al. Approximate matching of digital point sets using a novel angular tree
Agarwal et al. Local peak valley co-occurrence patterns: A new feature descriptor for image retrieval
Carswell et al. Digital image similarity for geo-spatial knowledge management
Román et al. Performance of new global appearance description methods in localization of mobile robots

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080806

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee