KR100413679B1 - 형상 기술자 추출방법 - Google Patents

형상 기술자 추출방법 Download PDF

Info

Publication number
KR100413679B1
KR100413679B1 KR10-2000-0062163A KR20000062163A KR100413679B1 KR 100413679 B1 KR100413679 B1 KR 100413679B1 KR 20000062163 A KR20000062163 A KR 20000062163A KR 100413679 B1 KR100413679 B1 KR 100413679B1
Authority
KR
South Korea
Prior art keywords
list
straight lines
image
shape
shape descriptor
Prior art date
Application number
KR10-2000-0062163A
Other languages
English (en)
Other versions
KR20020031591A (ko
Inventor
최양림
이종하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2000-0062163A priority Critical patent/KR100413679B1/ko
Priority to CNB200310118093XA priority patent/CN1294536C/zh
Priority to CNB01117420XA priority patent/CN1157674C/zh
Priority to EP20010303968 priority patent/EP1199648A1/en
Priority to US09/885,171 priority patent/US7023441B2/en
Priority to JP2001198699A priority patent/JP4018354B2/ja
Publication of KR20020031591A publication Critical patent/KR20020031591A/ko
Application granted granted Critical
Publication of KR100413679B1 publication Critical patent/KR100413679B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Abstract

영상으로부터 상기 영상의 형상 특징을 기술하는 형상 기술자를 추출하기 위한 방법이 개시된다. 본 형상 기술자 추출 방법은 (a) 입력된 영상으로부터 골격을 추출하는 단계와, (b) 추출된 골격을 기초로 픽셀들의 연결을 수행함으로써 직선들의 목록을 구하는 단계, 및 (c) 직선들의 목록을 정규화함으로써 얻은 정규화된 직선 목록을 형상 기술자로써 설정하는 단계를 포함하는 것을 특징으로 한다.
상기 형상 기술자 추출 방법에 따라 추출된 형상 기술자는 영상내에 포함되어 있는 형상의 대략적인 모습에 대한 정보를 그대로 가지고 있다. 따라서, 상기 형상 기술자 추출 방법은 동일한 카테고리내의 데이터 집합에서 국부적인 움직임을 효율적으로 추출하며, 추출되는 형상의 수가 객체의 수에 제한되지 않는다.

Description

형상 기술자 추출 방법{Shape descriptor extracting method}
본 발명은 형상 기술자를 추출하는 방법에 관한 것으로, 더 상세하게는 골격을 기반으로 하는 형상 기술자를 추출하는 방법에 관한 것이다.
형상 기술자(shape discriptor)는 자동 추출 가능한 보다 낮은 추상적인 단계의 추출(lower abstraction level description)을 기초로 하며, 영상으로부터 인간이 인식할 수 있는 기본적인 기술자라 할 수 있다. 영상으로부터 주어진 특정 물체의 형상을 기술하고 상기 형상을 기초로 하여 정합 또는 유사도를 측정하는 알고리즘들이 연구되고 있다. 하지만, 상기 알고리즘들은 특정 물체의 형상을 기술할 뿐, 일반적인 물체의 형상을 인식하기 위해서는 많은 문제점들이 남아있다. 현재, MPEG-7과 같은 표준화 그룹에서 제안하고 있는 형상 기술자들은 상기 문제를 해결하기 위하여 주어진 물체의 다양한 변형을 통하여 특징점들을 찾음으로써 구해진다. 이러한 형상 기술자들의 종류가 많다. MPEG-7의 표준화 단계인 XM(eXperiment Model)에서 채택되고 있는 형상 기술자는 대표적으로 두가지가 알려져 있다. 첫 번째로, 물체의 다양한 형상들에 대하여 영상내의 상기 형상의 분포를 알기 위하여 제르닉(Zernike) 기저함수를 준비하고, 일정 크기의 영상을 각각의 기저 함수들에 투영시켜 그 값들을 기술자로 사용하는 제르닉 모멘트 형상 기술자(Zernike moment shape descriptor)가 알려져 있다. 두 번째로, 이전 영상으로부터 추출된 외곽선을 따라 저주파 통과 필터링을 하면서 외곽선상에 존재하는 변곡점의 변화를 스케일 공간상에서 나타내어 첨두치와 그 위치를 2차원 벡터로 나타내는 곡률 스케일 공간 형상 기술자(Curvature scale space shape descriptor가 알려져 있다. 전자의 형상기술자를 추출하기 위해서는, 형상을 이루는 영상과 기저 함수가 동일한 크기를 가져야 하며, 형상이 원의 형태를 가져야 한다는 제한이 있다. 또한, 후자의 형상 기술자를 추출하기 위해서는, 추출된 형상이 단 하나의 객체이어야 한다는 단점을 가진다.
본 발명이 이루고자 하는 기술적 과제는 동영상 압축 기술과 그 기술을 기반으로 하는 영상 검색 기술에 효과적으로 적용될 수 있는 형상 기술자 추출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 형상 기술자 추출 방법에 의하여 추출된 형상 기술자를 사용하여 인덱싱된 영상들내에서 쿼리 영상과 유사한 형상 특징을 가지는 영상을 검색하는 영상 검색 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 형상 기술자 추출 방법에 의하여 추출된 형상 기술자를 사용하여 인덱싱된 영상들 사이의 비유사도를 측정하는 비유사도 측정 방법을 제공하는 것이다.
도 1은 본 발명의 실시예에 따른 형상 기술자 추출 방법의 주요 단계들을 나타낸 흐름도이다.
도 2a 내지 도 2d는 국부 최대를 검출하기 위한 마스크의 예들을 나타낸 도면이다.
도 3a는 이진 영상의 예를 나타낸 도면이다.
도 3b는 흑백 영상으로부터 스케일링된 거리맵을 나타낸 도면이다.
도 3c는 골격화 영상을 나타낸 도면이다.
도 3d는 세선화된 골격화 영상을 나타낸 도면이다.
도 3e는 직선으로 근사화된 결과를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 형상 기술자 기반의 영상 검색 방법의 주요 단계들을 나타낸 흐름도이다.
도 5 및 도 6은 본 발명에 따른 영상 검색 방법의 성능을 평가하기 위하여 MPEG-7 표준의 XM(eXperimetal Model) 버전에서 실험영상으로 사용되는 이진 영상들에 대하여 모의 실험을 수행한 결과를 나타낸 도면들이다.
상기 과제를 이루기 위하여 본 발명의 일측면에 따른 형상 기술자 추출 방법은 (a) 영상의 골격을 추출하여 추출된 골격을 기초로 형상 기술자를 설정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 과제를 이루기 위하여 본 발명의 다른 측면에 따른 형상 기술자 추출 방법은 (a) 입력된 영상으로부터 골격을 추출하는 단계; (b) 추출된 골격을기초로 픽셀들의 연결을 수행함으로써 직선들의 목록을 구하는 단계; 및 (c) 직선들의 목록을 정규화함으로써 얻은 정규화된 직선 목록을 형상 기술자로써 설정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (a) 단계는, (a-1) 입력된 영상에 대하여 거리 변환을 수행함으로써 거리맵을 구하는 단계; 및 (a-2) 구한 거리맵 상에서 골격을 추출하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (b) 단계는, (b-1) 추출된 골격을 세선화하는 단계; 및 (b-2) 세선화된 골격내의 각 픽셀들의 연결에 의하여 직선들을 추출하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (c) 단계는, (c-1) 연결된 직선의 시작점과 끝점에 대한 목록을 작성하는 단계; (c-2) 추출된 직선들의 직선 병합에 의하여 직선들의 목록을 구하는 단계; 및 (c-3) 각 직선들의 끝점 사이의 최대 거리에 대하여 직선의 목록을 정규화함으로써 얻은 직선 목록을 형상 기술자로써 설정하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 거리 변환은, 물체 내부의 각 점들을 배경으로부터 최단 거리의 값으로 나타내는 함수를 기초로 하는 것이 바람직하다.
또한, 상기 (a-2) 단계는, 에지 검출 방법을 사용하여 거리맵으로부터 국부 최대를 얻는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (a-2) 단계는, (a-2-1) 국부 최대를 얻기 위하여 네 방향의 국부 최대 검출 마스크를 사용하여 콘벌루션을 수행하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (a-2-1) 단계 다음에, (a-2-2) 크기가 가장 큰 결과의 방향에 해당하는 라벨을 방향맵(direction map)과 크기맵(magnitude map)에 기록하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 입력된 영상은, 이진 영상인 것이 바람직하다.
또한, 상기 (b-1) 단계는, 방향맵에서 해당 방향의 90도 회전된 방향에서 크기가 가장 큰 픽셀만 남기고 나머지 픽셀들은 제거하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (c-2) 단계는, 네가지 방향의 방향맵을 사용하며, 방향맵에서 동일한 라벨을 가지는 픽셀들끼리 연결하여 각각의 선 세그멘트들의 시작점과 끝점에 대한 목록을 작성하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 (c-2) 단계는, 얻어진 직선들의 목록으로부터 각 직선들 사이의 각도, 거리, 및 직선의 길이에 대한 문턱치를 변화시키면서 직선 병합을 수행하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 직선 병합은, 남은 직선들의 개수가 소정의 개수 이하가 될 때 까지 반복되는 것이 바람직하다.
또한, 상기 다른 과제를 이루기 위한 본 발명에 따른 영상 검색 방법은 (a) 쿼리 영상의 형상 기술자로부터 직선목록을 얻는 단계; 및 (b) 검색되는 영상의 형상 기술자의 직선 목록과 쿼리 영상의 형상 기술자의 직선 목록을 비교함으로써 비유사도를 구하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 또 다른 과제를 이루기 위한 본 발명에 따른 비유사도 측정 방법은 골격을 기초로 이루어진 형상 기술자를 사용하여 인덱싱된 영상들 사이의 비유사도를 측정하는 방법에 있어서, (a) 쿼리 영상의 형상 기술자로부터 직선목록을 얻는 단계; 및 (b) 검색되는 영상의 형상 기술자의 직선 목록과 쿼리 영상의 형상 기술자의 직선 목록을 비교함으로써 비유사도를 구하는 단계;를 포함하는 것을 특징으로 한다.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다.
본 발명에 따르면 골격(skeleton)을 사용한 형상 기술자가 정의된다. 골격(skeleton)을 사용한 형상 기술자는 주어진 형상으로부터 인간의 인식에서 가장 기초가 되는 선을 추출하고, 추출된 선을 간략화함으로써 간략화된 선을 형상 기술자로써 표현한다. 특히, 상기와 같은 형상 기술자 추출 방법에 따르면, 에지 부분 보다는 골격을 추출함으로써 기술자를 가능한 한 간략화하는 것이 가능하다.
도 3에는 본 발명의 실시예에 따른 형상 기술자 추출 방법의 주요 단계들을 흐름도로써 나타내었다. 도 3을 참조하면, 본 발명의 실시예에 따른 형상 기술자 추출 방법에서는, 먼저, 영상을 입력(단계 102)하여, 입력된 영상에 대하여 거리 변환(distance transform)을 수행함으로써 거리맵을 구한다(단계 104). 거리맵을 얻기 위한 거리 변환은 물체 내부의 각 점들을 배경으로부터 최단거리의 값으로 나타내는 함수를 사용한다. 다음으로, 거리맵 상에서 골격을 추출한다(단계 106). 거리 맵의 국부 최대가 골격을 이루는 점이라는 것은 잘 알려져 있다. 거리 맵을 얻기 위한 거리 변환(distance transform)은 물체 내부의 각 점들을 배경으로부터 최단 거리의 값으로 나타내는 함수를 기초로 한다. 본 실시예에서는, 거리 변환에 의하여 거리맵의 국부 최대에 해당하는 부분을 골격으로써 설정한다. 거리맵으로부터 국부 최대를 얻기 위해서, 본 실시예에서는 본 명세서에 참조로써 통합되는 알. 네바시아 (R. Nevatia)와 케이. 알. 바부(K. R. Babu)에 의한 "Linear Feature Extraction and Description(선형 특징 추출 및 기술)"이라는 제목의 자료(Computer Graphics and Image Processing, Vol. 13, pp. 257-269, 1980)에서 사용된 에지 검출 방법을 사용하는 것이 가능하다. 도 2a 내지 도 2d에는 국부 최대를 검출하기 위한 마스크의 예들을 나타내었다. 도 2a 내지 도 2d를 참조하면, 국부 최대를 검출하기 위하여 네 방향의 국부 최대 검출 마스크를 사용한다. 도 2a는 0 도의 방향에 해당하는 마스크이다. 도 2b는 45 도의 방향에 해당하는 마스크이다. 도 2c는 90 도의 방향에 해당하는 마스크이다. 도 2d는 135 도의 방향에 해당하는 마스크이다. 이제, 상기 마스크들을 사용하여 콘벌루션을 수행한다. 그 결과, 크기가 가장 큰 결과의 방향에 해당하는 라벨을 방향맵(direction map)과 크기맵(magnitude map)에 기록한다. 이로써, 도 3a에 나타낸 이진 영상으로부터 거리 변환을 통하여 얻어진 거리 맵에서 국부 최대를 얻음으로써, 골격을 추출한다.
다음으로, 추출된 골격을 세선화(thinning)한다(단계 108). 세선화는 예를들어 방향맵에서 해당 방향의 90도 회전된 방향에서 크기가 가장 큰 픽셀만 남기고 나머지 픽셀들은 제거함으로써 수행될 수 있다. 도 3d에는 세선화된 골격화 영상의 일예를 나타내었다.
다음으로, 세선화된 골격내의 각 픽셀들의 연결에 의하여 직선들을 추출한다(단계 110). 즉, 세선화된 골격내의 각 픽셀들을 하나의 방향을 따라 연결하고 그 시작점과 끝점에 대한 목록을 작성함으로써 직선을 추출한다. 본 실시예에서는, 도 2a 내지 도 2d에 도시한 네가지 방향의 방향맵을 사용하며, 방향맵에서 동일한 라벨을 가지는 픽셀들끼리 연결하여 각각의 선 세그멘트들의 시작점과 끝점에 대한 목록을 작성한다.
다음으로, 추출된 직선들의 직선 병합에 의하여 직선들의 목록을 얻는다(단계 112). 즉, 얻어진 직선들의 목록으로부터 각 직선들 사이의 각도, 거리, 및 직선의 길이에 대한 문턱치를 변화시키면서 직선 병합을 수행한다. 상기 직선 병합은 남은 직선들의 개수가 소정의 개수 이하가 될 때 까지 반복된다. 도 3e에는 직선으로 근사화된 결과를 나타내었다. 이제, 각 직선들의 끝점 사이의 최대 거리에 대하여 직선의 목록을 정규화함으로써 얻은 직선 목록을 형상 기술자로써 설정한다(단계 114). 즉, 상기와 같은 형상 기술자 추출 방법에 따르면, 이진 영상의 골격을 추출하여 추출된 골격을 형상 기술자로써 사용한다.
상기 형상 기술자 추출 방법에 따르면, 이진 영상의 골격을 형상 기술자로써 추출하며, 추출된 형상 기술자는 영상들의 병합에 사용하는 것이 가능하다. 또한, 상기 형상 기술자 추출 방법에서는 이진 영상으로부터 골격을 추출하고, 추출된 골격을 직선으로 근사화한다. 또한, 효과적인 직선 추출을 위하여 이진 영상을 거리 변환하여 국부 최대를 구함으로써 골격을 추출한다. 추출된 골격은 에지 추출 방법을 사용하여 일정 개수의 직선들로 근사화된다. 근사화된 직선들의 수는 일정 개수로 제한됨으로써 보다 빠른 정합을 수행할 수 있도록 한다.
이하에서는 상기와 같은 형상 기술자 추출 방법에 의하여 인덱싱된 영상들을 저장하는 데이터베이스로부터 쿼리 영상과 유사한 영상을 검색하기 위한 방법을 설명한다. 또한, 도 1을 참조하여 설명한 형상 기술자 추출 방법에 의하여 추출된 형상 기술자를 사용하여 인덱싱된 영상들을 포함하는 영상 데이터베이스내에서 쿼리 영상의 형상과 유사한 영상을 검색할 때의 검색 성능을 평가함으로써 상기 형상 기술자 추출 방법의 효과를 기술하기로 한다.
도 6에는 본 발명에 따른 영상 검색 방법의 주요 단계들을 흐름도로써 나타내었다. 먼저, 쿼리 영상의 형상 기술자로부터 직선목록을 얻는다(단계 402). 다음으로, 검색되는 영상의 형상 기술자의 직선 목록과 쿼리 영상의 형상 기술자의 직선 목록을 비교함으로써 비유사도(dissimilarity)를 구한다(단계 404).
본 실시예에서는, 골격을 이루는 직선들의 끝점들 사이의 거리를 측정하고, 측정된 거리의 최소값의 합을 비유사도값으로 설정한다. 비유사도 특정 함수는,,, 및가 각각,
라 할 때,
여기서,는 검색하고자 하는 직선,은 검색되는 직선,는 직선의 시작점,는 직선의 끝점,는 쿼리 영상의 형상 기술자가 가지는 직선의 총 개수,는 검색되는 영상의 형상 기술자가 가지는 직선의 총 개수를 나타낸다.
수학식 4를 참조하면, 수학식 2와 수학식 3에 따라 측정된 직선들 사이의 거리의 최소값이 합이 두 기술자의 비유사도로써 설정된다. 즉, 수학식 4의 결과값이 작을수록 두 물체가 유사한 것으로 결정된다. 또한, 일정한 회전 각도 간격으로 상기와 같은 측정을 실시함으로써 회전에 따라 변하지 않는 값을 얻는 것도 가능하다.
이제, 단계(404)에서 구한 비유사도를 기초로 쿼리 영상과 유사한 형상 특징을 가지는 영상을 검색한다. 검색되는 영상들 중에서 쿼리 영상에 대한 비유사도가 가장 적은 영상이 검색된 영상으로써 결정된다. 이와 같이 비유사도를 기초로 영상을 검색하는 기법은 정합 기법이라 불리우고, 검색된 영상은 정합 영상(matched image)라 칭한다.
상기와 같은 방법의 성능을 평가하기 위하여 MPEG-7 표준의 XM(eXperimetalModel) 버전에서 실험영상으로 사용되는 이진 영상들에 대하여 모의 실험을 수행하였다. 직선 병합을 위한 각종 문턱치는 경험적으로 정하였다. 직선의 병합은 30도 이하의 각에서만 이루어지도록 하였으며, 병합이 이루어지는 두 직선의 끝점들 사이의 거리는 실제 영상의 가로, 세로 길이중 작은 값의 5%, 직선 병합후 무시되는 직선의 길이는 가로, 세로 길이중 큰 값의 1%로 정하였다. 또한, 매 반복 수행마다 그 문턱치를 10%식 증가시키면서 직선의 수를 10개 이하가 되도록 하였다. 실험 결과를 도 5 및 도 6에 나타내었다. 도 5를 참조하면, 본 발명에 따른 영상 검색 방법은 전혀 분류되지 않은 영상들로부터 쿼리 영상과 유사한 형상을 가지는 영상을 검색할 때는 그다지 양호하지 않은 검색 성능을 나타내고 있다. 이는 직선으로의 근사화 과정에서 자세한 부분의 정보를 잃어버리기 때문이다. 또한, 도 6을 참조하면, 분류된 영상들, 즉, 동일한 카테고리내의 데이터 집합으로부터 쿼리 영상과 유사한 형상을 가지는 영상을 검색할 때는 매우 양호한 검색 성능을 나타내고 있다. 따라서, 상기 형상 기술자 추출 방법은 동일한 카테고리내의 데이터 집합에서 국부적인 움직임을 추출하는데 있어서 유리함을 알 수 있다. 동일한 물체의 부분적인 움직임을 검출함에 있어서 유리한 이유는 본 발명의 형상 기술자 추출 방법에 따라 추출된 형상 기술자는 영상내에 포함되어 있는 형상의 대략적인 모습에 대한 정보를 그대로 가지고 있기 때문으로 이해될 수 있다.
이상의 실시예에서는 도 1을 참조하여 설명한 형상 기술자 추출 방법에 의하여 인덱싱된 영상들에 대하여 쿼리 영상과 유사한 형상을 가지는 영상을 검색하는 방법을 설명하였다. 하지만, 상기 영상 검색 방법에서 쿼리 영상과 검색되는 영상사이의 비유사도를 측정하는 단계는 측정된 비유사도를 기초로 유사한 형상들을 가지는 영상들을 클러스터링하는 분야등에도 적용하는 것이 가능하다.
상기와 같은 형상 기술자 추출 방법은 객체 기반의 압축 기술인 MPEG-4, MPEG-7, 및 MPEG-21 등의 표준들을 기반으로 하는 동영상 압축 기술에 적용하는 것이 가능하다. 또한, 상기 동영상 압축 기술을 기반으로 하는 영상 검색 기술에 효과적으로 적용될 수 있다.
또한, 상기와 같은 본 발명에 따른 형상 기술자 추출 방법 및 영상 검색 방법은 개인용 또는 서버급의 컴퓨터내에서 실행되는 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 프로그램 코드들 및 코드 세그멘트들은 당해 분야의 컴퓨터 프로그래머들에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터 독취 가능 기록 매체에 저장될 수 있다. 상기 기록 매체는 자기기록매체, 광기록 매체, 및 전파 매체를 포함한다.
상술한 바와 같이 본 발명에 따른 형상 기술자 추출 방법에 따라 추출된 형상 기술자는 영상내에 포함되어 있는 형상의 대략적인 모습에 대한 정보를 그대로 가지고 있기 때문에 동일한 카테고리내의 데이터 집합에서 국부적인 움직임을 효율적으로 추출한다. 또한, 상기 형상 기슬자 추출 방법에 따라 인덱싱된 영상 데이터베이스내에서 쿼리 영상과 유사한 형상을 가지는 영상을 검색하는 본 발명에 따른 영상 검색 방법은 분류된 영상들로부터 쿼리 영상과 유사한 형상을 가지는 영상을 검색할 때 검색 성능이 매우 양호하다.

Claims (19)

  1. 삭제
  2. (a) 입력된 영상으로부터 골격을 추출하는 단계;
    (b) 추출된 골격을 기초로 픽셀들의 연결을 수행함으로써 직선들의 목록을 구하는 단계; 및
    (c) 직선들의 목록을 정규화함으로써 얻은 정규화된 직선 목록을 형상 기술자로써 설정하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  3. 제2항에 있어서, 상기 (a) 단계는,
    (a-1) 입력된 영상에 대하여 거리 변환을 수행함으로써 거리맵을 구하는 단계; 및
    (a-2) 구한 거리맵 상에서 골격을 추출하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  4. 제2항에 있어서, 상기 (b) 단계는,
    (b-1) 추출된 골격을 세선화하는 단계; 및
    (b-2) 세선화된 골격내의 각 픽셀들의 연결에 의하여 직선들을 추출하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  5. 제2항에 있어서, 상기 (c) 단계는,
    (c-1) 연결된 직선의 시작점과 끝점에 대한 목록을 작성하는 단계;
    (c-2) 추출된 직선들의 직선 병합에 의하여 직선들의 목록을 구하는 단계; 및
    (c-3) 각 직선들의 끝점 사이의 최대 거리에 대하여 직선의 목록을 정규화함으로써 얻은 직선 목록을 형상 기술자로써 설정하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  6. 제3항에 있어서, 상기 거리 변환은,
    물체 내부의 각 점들을 배경으로부터 최단 거리의 값으로 나타내는 함수를 기초로 하는 것을 특징으로 하는 형상 기술자 추출 방법.
  7. 제2항에 있어서, 상기 (a-2) 단계는,
    에지 검출 방법을 사용하여 거리맵으로부터 국부 최대를 얻는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  8. 제7항에 있어서, 상기 (a-2) 단계는,
    (a-2-1) 국부 최대를 얻기 위하여 네 방향의 국부 최대 검출 마스크를 사용하여 콘벌루션을 수행하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  9. 제5항에 있어서, 상기 (a-2-1) 단계 다음에,
    (a-2-2) 크기가 가장 큰 결과의 방향에 해당하는 라벨을 방향맵(direction map)과 크기맵(magnitude map)에 기록하는 단계;를 더 포함하는 것을 특징을 하는 형상 기술자 추출 방법.
  10. 제2항에 있어서, 상기 입력된 영상은,
    이진 영상인 것을 특징으로 하는 형상 기술자 추출 방법.
  11. 제4항에 있어서, 상기 (b-1) 단계는,
    방향맵에서 해당 방향의 90도 회전된 방향에서 크기가 가장 큰 픽셀만 남기고 나머지 픽셀들은 제거하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  12. 제8항에 있어서, 상기 (c-2) 단계는,
    네가지 방향의 방향맵을 사용하며, 방향맵에서 동일한 라벨을 가지는 픽셀들끼리 연결하여 각각의 선 세그멘트들의 시작점과 끝점에 대한 목록을 작성하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  13. 제2항에 있어서, 상기 (c-2) 단계는,
    얻어진 직선들의 목록으로부터 각 직선들 사이의 각도, 거리, 및 직선의 길이에 대한 문턱치를 변화시키면서 직선 병합을 수행하는 단계;를 포함하는 것을 특징으로 하는 형상 기술자 추출 방법.
  14. 제13항에 있어서, 상기 직선 병합은,
    남은 직선들의 개수가 소정의 개수 이하가 될 때 까지 반복되는 것을 특징으로 하는 형상 기술자 추출 방법.
  15. 쿼리 영상과 유사한 형상을 가지는 영상을 검색하는 방법에 있어서,
    (a) 쿼리 영상의 형상 기술자로부터 직선목록을 얻는 단계;
    (b) 검색되는 영상의 형상 기술자의 직선 목록과 쿼리 영상의 형상 기술자의 직선 목록을 비교함으로써 비유사도를 구하는 단계; 및
    (c) 구한 비유사도를 기초로 쿼리 영상과 유사한 형상 특징을 가지는 영상을 검색하는 단계;를 포함하는 것을 특징으로 하는 영상 검색 방법.
  16. 제15항에 있어서, 상기 (b) 단계는,
    (b-1) 골격을 이루는 직선들의 끝점들 사이의 거리를 측정하는 단계; 및
    (b-2) 측정된 거리의 최소값의 합을 비유사도로써 설정하는 단계;를 포함하는 것을 특징으로 하는 영상 검색 방법.
  17. 제15항에 있어서,
    상기 (b-1) 단계는,
    는 검색하고자 하는 직선,은 검색되는 직선,는 직선의 시작점,는 직선의 끝점,는 쿼리 영상의 형상 기술자가 가지는 직선의 총 개수,는 검색되는 영상의 형상 기술자가 가지는 직선의 총 개수이고,은라 할 때, 골격을 이루는 직선들의 끝점들 사이의 거리를,에 따라 계산하는 단계를 포함하고,
    상기 (b-2) 단계는,
    로써 정의되는 비유사도 특정 함수를 사용하여 측정하는 단계;를 포함하는 것을 특징으로 하는 영상 검색 방법.
  18. 제17항에 있어서,
    회전에 따라 변하지 않는 값을 얻기 위하여 일정한 회전 각도 간격으로 상기(b-1) 단계 및 (b-2) 단계에 따라 유사도 측정을 수행하는 것을 특징으로 하는 영상 검색 방법.
  19. 골격을 기초로 이루어진 형상 기술자를 사용하여 인덱싱된 영상들 사이의 비유사도를 측정하는 방법에 있어서,
    (a) 쿼리 영상의 형상 기술자로부터 직선목록을 얻는 단계; 및
    (b) 검색되는 영상의 형상 기술자의 직선 목록과 쿼리 영상의 형상 기술자의 직선 목록을 비교함으로써 비유사도를 구하는 단계;를 포함하는 것을 특징으로 하는 비유사도 측정 방법.
KR10-2000-0062163A 2000-10-21 2000-10-21 형상 기술자 추출방법 KR100413679B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR10-2000-0062163A KR100413679B1 (ko) 2000-10-21 2000-10-21 형상 기술자 추출방법
CNB200310118093XA CN1294536C (zh) 2000-10-21 2001-04-27 形状描述符抽取方法
CNB01117420XA CN1157674C (zh) 2000-10-21 2001-04-27 形状描述符抽取方法
EP20010303968 EP1199648A1 (en) 2000-10-21 2001-04-30 Image shape descriptor extraction and searching
US09/885,171 US7023441B2 (en) 2000-10-21 2001-06-21 Shape descriptor extracting method
JP2001198699A JP4018354B2 (ja) 2000-10-21 2001-06-29 形状記述子抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0062163A KR100413679B1 (ko) 2000-10-21 2000-10-21 형상 기술자 추출방법

Publications (2)

Publication Number Publication Date
KR20020031591A KR20020031591A (ko) 2002-05-02
KR100413679B1 true KR100413679B1 (ko) 2003-12-31

Family

ID=19694767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0062163A KR100413679B1 (ko) 2000-10-21 2000-10-21 형상 기술자 추출방법

Country Status (5)

Country Link
US (1) US7023441B2 (ko)
EP (1) EP1199648A1 (ko)
JP (1) JP4018354B2 (ko)
KR (1) KR100413679B1 (ko)
CN (2) CN1294536C (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810002B1 (ko) * 2001-04-11 2008-03-07 김회율 모양 기술자 계산을 위한 정규화 방법 및 그를 이용한영상 검색 방법
KR100876280B1 (ko) * 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
US7567715B1 (en) * 2004-05-12 2009-07-28 The Regents Of The University Of California System and method for representing and encoding images
US7529395B2 (en) * 2004-12-07 2009-05-05 Siemens Medical Solutions Usa, Inc. Shape index weighted voting for detection of objects
US7835583B2 (en) * 2006-12-22 2010-11-16 Palo Alto Research Center Incorporated Method of separating vertical and horizontal components of a rasterized image
FR2910992B1 (fr) * 2007-01-03 2009-04-03 Airbus France Sas Procede de reconnaissance de formes bidimensionnelles.
KR100961444B1 (ko) * 2007-04-23 2010-06-09 한국전자통신연구원 멀티미디어 콘텐츠를 검색하는 방법 및 장치
CN101140660B (zh) * 2007-10-11 2010-05-19 华中科技大学 基于离散曲线演化的骨架剪枝方法
WO2009111047A2 (en) 2008-03-05 2009-09-11 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8532438B2 (en) * 2008-05-09 2013-09-10 Empire Technology Development Llc Matching images with shape descriptors
US8818978B2 (en) 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
KR101350335B1 (ko) * 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
CN101916381B (zh) * 2010-07-13 2012-06-20 北京大学 基于稀疏表示的物体轮廓提取方法
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8538164B2 (en) * 2010-10-25 2013-09-17 Microsoft Corporation Image patch descriptors
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US9349207B2 (en) 2012-05-31 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for parsing human body image
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
KR101956275B1 (ko) * 2012-09-26 2019-06-24 삼성전자주식회사 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치
CN103226584B (zh) * 2013-04-10 2016-08-10 湘潭大学 形状描述符的构建方法及基于该描述符的图像检索方法
US9488469B1 (en) 2013-04-22 2016-11-08 Cognex Corporation System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
CN103744931A (zh) * 2013-12-30 2014-04-23 中国科学院深圳先进技术研究院 一种图像检索的方法及系统
US9747394B2 (en) 2014-03-18 2017-08-29 Palo Alto Research Center Incorporated Automated design and manufacturing feedback for three dimensional (3D) printability
US9946816B2 (en) * 2014-03-18 2018-04-17 Palo Alto Research Center Incorporated System for visualizing a three dimensional (3D) model as printed from a 3D printer
CN106716450B (zh) * 2014-05-06 2020-05-19 河谷控股Ip有限责任公司 利用边缘向量的基于图像的特征检测
US20150363660A1 (en) * 2014-06-12 2015-12-17 Asap54.Com Ltd System for automated segmentation of images through layout classification
US10409932B2 (en) * 2014-09-19 2019-09-10 Siemens Product Lifecyle Management Software Inc. Computer-aided simulation of multi-layer selective laser sintering and melting additive manufacturing processes
US9811760B2 (en) * 2015-07-31 2017-11-07 Ford Global Technologies, Llc Online per-feature descriptor customization
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
US10949702B2 (en) 2019-04-16 2021-03-16 Cognizant Technology Solutions India Pvt. Ltd. System and a method for semantic level image retrieval

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141508A (ja) * 1993-11-17 1995-06-02 Matsushita Electric Ind Co Ltd 形状記述装置
KR970007718A (ko) * 1995-07-31 1997-02-21 쯔지 하루오 문자 패턴 생성 장치
US5751843A (en) * 1993-08-09 1998-05-12 Siemens Aktiengesellschaft Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences
KR20000054864A (ko) * 1999-02-01 2000-09-05 김영환 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4573197A (en) * 1983-12-13 1986-02-25 Crimmins Thomas R Method for automatic recognition of two-dimensional shapes
US4881269A (en) * 1985-07-29 1989-11-14 French Limited Company - Centaure Robotique Automatic method of optically scanning a two-dimensional scene line-by-line and of electronically inspecting patterns therein by "shape-tracking"
JPH0769967B2 (ja) * 1988-03-26 1995-07-31 株式会社エイ・ティ・アール視聴覚機構研究所 形状記述方法
US5267328A (en) * 1990-01-22 1993-11-30 Gouge James O Method for selecting distinctive pattern information from a pixel generated image
US5428692A (en) * 1991-11-18 1995-06-27 Kuehl; Eberhard Character recognition system
EP0514688A2 (en) 1991-05-21 1992-11-25 International Business Machines Corporation Generalized shape autocorrelation for shape acquisition and recognition
US5267332A (en) * 1991-06-19 1993-11-30 Technibuild Inc. Image recognition system
EP0578432A3 (en) * 1992-07-06 1994-06-22 Canon Kk Similarity determination among patterns using affine-invariant features
JP3260843B2 (ja) * 1992-08-25 2002-02-25 株式会社リコー 文字認識方法
US6005976A (en) * 1993-02-25 1999-12-21 Fujitsu Limited Image extraction system for extracting patterns such as characters, graphics and symbols from image having frame formed by straight line portions
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5684940A (en) * 1995-03-13 1997-11-04 Rutgers, The States University Of New Jersey Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features
US6529635B1 (en) * 1997-12-15 2003-03-04 Intel Corporation Shape-based image compression/decompression using pattern matching
JP2986455B1 (ja) 1998-07-24 1999-12-06 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
JP3654420B2 (ja) * 2000-02-25 2005-06-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像変換方法、画像処理装置、および画像表示装置
US6654487B1 (en) * 2000-03-03 2003-11-25 Charles H. Downs, Jr. Character recognition, including method and system for processing checks with invalidated MICR lines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751843A (en) * 1993-08-09 1998-05-12 Siemens Aktiengesellschaft Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences
JPH07141508A (ja) * 1993-11-17 1995-06-02 Matsushita Electric Ind Co Ltd 形状記述装置
KR970007718A (ko) * 1995-07-31 1997-02-21 쯔지 하루오 문자 패턴 생성 장치
KR20000054864A (ko) * 1999-02-01 2000-09-05 김영환 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문(1996) *
논문(정지영상내의 물체를 모양(shape)에 의해 특징을 추출하고 이를 이용해 이미지를 검색(retrieval)하는 방법, 1999) *

Also Published As

Publication number Publication date
JP2002150285A (ja) 2002-05-24
KR20020031591A (ko) 2002-05-02
CN1516077A (zh) 2004-07-28
JP4018354B2 (ja) 2007-12-05
US7023441B2 (en) 2006-04-04
CN1157674C (zh) 2004-07-14
US20020063718A1 (en) 2002-05-30
EP1199648A1 (en) 2002-04-24
CN1350252A (zh) 2002-05-22
CN1294536C (zh) 2007-01-10

Similar Documents

Publication Publication Date Title
KR100413679B1 (ko) 형상 기술자 추출방법
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
JP2940317B2 (ja) 画像処理装置
KR100513735B1 (ko) 지각적 인식이 가능한 3차원 형상의 기술방법과 이를이용한 3차원 그래픽 모델의 데이터베이스 검색 방법 및장치
KR20000054864A (ko) 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치
Szeliski et al. Feature detection and matching
EP1383072A1 (en) Method and apparatus for processing image data
JP2017084349A (ja) 集合演算機能を備えたメモリ及びこれを用いた集合演算処理方法
JP3559007B2 (ja) 直線基準の映像整合方法
Saber et al. Region-based shape matching for automatic image annotation and query-by-example
WO2004084138A2 (en) A method for contour extraction for object representation
Mali et al. Indian sign language recognition using SVM classifier
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
Ming Hand fine-motion recognition based on 3D Mesh MoSIFT feature descriptor
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
JP2004185626A (ja) 知覚的に認識可能な３次元形状の記述方法と、それを利用した３次元グラフィックモデルのデータベース検索方法及び装置
Arjun et al. An efficient image retrieval system based on multi-scale shape features
CN115578778A (zh) 基于迹变换与lbp的人脸图像特征提取方法
Schmid et al. Object recognition using local characterization and semi-local constraints
Olszewska Where is My Cup?-Fully automatic detection and recognition of textureless objects in real-world images
Huang et al. A study of shape similarity for temporal surface sequences of people
Dyana et al. Combining features for shape and motion trajectory of video objects for efficient content based video retrieval
KR102054211B1 (ko) 이미지 쿼리 기반의 영상 검색 방법 및 시스템
CN110580451A (zh) 一种基于三维优化子曲面的人脸识别方法及系统
Giveki et al. Shape classification using a new shape descriptor and multi-view learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee