KR100350790B1 - 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법 - Google Patents

오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법 Download PDF

Info

Publication number
KR100350790B1
KR100350790B1 KR1019990002016A KR19990002016A KR100350790B1 KR 100350790 B1 KR100350790 B1 KR 100350790B1 KR 1019990002016 A KR1019990002016 A KR 1019990002016A KR 19990002016 A KR19990002016 A KR 19990002016A KR 100350790 B1 KR100350790 B1 KR 100350790B1
Authority
KR
South Korea
Prior art keywords
feature
dependent
extracted
extraction
learning
Prior art date
Application number
KR1019990002016A
Other languages
English (en)
Other versions
KR20000051518A (ko
Inventor
김현준
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1019990002016A priority Critical patent/KR100350790B1/ko
Priority to US09/480,111 priority patent/US6639998B1/en
Publication of KR20000051518A publication Critical patent/KR20000051518A/ko
Application granted granted Critical
Publication of KR100350790B1 publication Critical patent/KR100350790B1/ko
Priority to US10/655,311 priority patent/US7085402B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법에 관한 것으로, 특히 동영상 검색시 영상이미지에서 오브젝트 의존적인 특징소를 학습함으로써 보다 정확한 오브젝트를 추출할 수 있도록 한 오브젝트 추출방법에 관한 것이다.
종래의 일반적인 특징소를 이용한 오브젝트 추출방법은 오브젝트를 정확히 추출하기가 어렵고 시간도 오래 걸리며, 오브젝트 의존적인 특징소를 이용할 경우에는 그 특징소값 자체가 오브젝트에 따라 다르고, 또한 주위 환경에 따라서도 다르므로 미리 특징소값의 범위를 정의하기가 어렵다.
본 발명에서는 추출하고자 하는 동영상 또는 정지영상 프레임이 입력되면 처음에는 일반적인 특징소를 이용하여 오브젝트를 추출한 다음 어느 정도 정확한 오브젝트가 추출되었다고 판단되면 추출된 오브젝트에 의존적인 추가적인 특징소를 학습하여 이후에는 오브젝트 의존적인 좀 더 많은 특징소로서 오브젝트를 추출함으로써, 영상이미지에서 원하는 오브젝트를 보다 정확하게 추출할 수 있도록 한 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법을 제공한다.

Description

오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법{method of adaptive object extraction by feature element learning object dependent}
본 발명은 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법에 관한 것으로, 특히 동영상 검색시 영상이미지에서 처음에는 일반적인 특징소를 이용하여 오브젝트를 추출한후 추출된 오브젝트에 의존적인 추가적인 특징소를 학습하여 이후에는 오브젝트 의존적인 좀 더 많은 특징소로서 오브젝트를 추출함으로써, 동영상에서 원하는 오브젝트를 보다 정확하게 추출할 수 있도록 한 오브젝트추출방법에 관한 것이다.
종래 오브젝트 추출방법(Extraction of facial regions features using color and shape information;Karin Sobotta,pp 421-425 ICPR'96)에서는 오브젝트 의존적인 살색정보(skin color)를 이용하여 얼굴 오브젝트 영역을 추출하였다.
그러나, 이와같이 살색정보만을 이용하여 얼굴 오브젝트 영역을 추출하는 것은 매우 오브젝트 의존적인 것으로서, 사람에 따라 다른 살색정보를 특종 인종에만 한정시킴으로 다른 인종에는 적용시킬 수 없고, 또한 조명에 따라 살색정보가 다르게 보일 수 있으므로 살색값의 범위를 미리 정의하기가 어렵다.
반면, 차영상을 이용할 경우에는 사람얼굴 뿐만 아니라 모든 움직이는 오브젝트 영역까지 추출되므로 너무 광범위한 오브젝트 영역을 추출하게 된다.
이와같이, 일반적인 특징소(차영상)를 이용한 오브젝트 추출방법은 오브젝트를 정확히 추출하기 어렵고 추출하는데 시간도 오래 걸린다.
그리고, 오브젝트 의존적인 특징소(살색정보)를 이용할 경우에는 그 특징소값 자체가 오브젝트에 따라 다르고 또 주위환경에 따라서도 다르므로 미리 그 값의 범위를 정의하기가 어렵고 일단 정의되어도 상황에 따라 많은 오류를 발생시킬 수 있는 문제점이 있었다.
본 발명에서는 상기와 같은 문제점을 해결하기 위해 추출하고자 하는 동영상 또는 정지영상 프레임이 입력되면 처음에는 일반적인 특징소를 이용하여 오브젝트를 추출한 다음 어느 정도 정확한 오브젝트가 추출되었다고 판단되면 추출된 오브젝트에 의존적인 추가적인 특징소를 학습하여 이후에는 오브젝트 의존적인 좀 더 많은 특징소로서 그 오브젝트를 추출함으로써, 영상이미지에서 원하는 오브젝트 영역을 보다 정확하게 추출하기 위한 것이다.
도 1은 본 발명 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법을 구현하기 위한 오브젝트 추출 장치의 개략적인 블럭 구성도를 나타낸 도면
도 2는 본 발명 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출과정을 나타낸 플로우챠트
도 3은 본 발명에 의한 얼굴 오브젝트 영역 추출과정의 실시예를 나타낸 플로우챠트
본 발명 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법은추출하고자 하는 오브젝트가 포함된 영상프레임이 입력되면 초기상태에는 일반적인 특징소를 이용하여 오브젝트를 추출하는 제 1과정과, 상기 추출결과 어느 정도 정확한 오브젝트가 추출되었다고 판단되면 추출된 오브젝트에 의존적인 추가적인 특징소를 학습하는 제 2과정과, 추출된 오브젝트에 의존적인 특징소를 학습한 이후에는 일반적인 특징소와 상기 학습된 오브젝트 의존적인 특징소를 이용하여 최종적으로 오브젝트를 추출하는 제 3과정으로 진행됨을 특징으로 한다.
상기와 같은 과정으로 진행되는 본 발명의 작용효과를 도 2를 참조하여 설명하면 다음과 같다.
먼저, 추출하고자 하는 오브젝트가 포함된 동영상 또는 정지영상이 입력되면 초기상태에는 카운트(Count)값이 0이므로 일반적인 특징소를 이용하여 오브젝트를 추출하게 된다.
이때, 일반적인 특징소를 이용한 오브젝트 추출결과 어느 정도 정확한 오브젝트가 추출되었다고 판단되면, 추출된 오브젝트 영역에서 해당 오브젝트에 의존적인 추가적인 특징소값의 범위를 정의하는데, 이 특징소값은 현재의 오브젝트 주의 환경 및 해당 오브젝트에 의존적인 값이 된다.
그리고, 오브젝트 의존적인 추가적인 특징소값의 범위를 결정하면 오브젝트 의존적인 추가정보를 학습했음을 설정하기 위해서 카운터값을 0보다 큰 n으로 설정한다.
그러나, 일반적인 특징소를 이용한 오브젝트 추출결과 어느 정도 정확한 오브젝트가 추출되지 않았으면, 다음 동영상 또는 정지영상을 입력받아 상기의 과정을 다시 반복한다.
한편, 오브젝트 의존적인 추가적인 특징소를 학습한 이후에는 카운터값이 항상 0보다 큰 상태로 설정되어 있으므로, 일반적인 특징소와 오브젝트 의존적인 추가적인 특징소값을 이용하여 오브젝트를 추출한다.
이때, 일반적인 특징소와 오브젝트 의존적인 특징소값을 이용한 오브젝트 추출결과 어느 정도 정확한 오브젝트가 추출되었다고 판단되면, 그 오브젝트를 최종적으로 추출한후 다음으로 입력되는 영상 프레임에 대해서 상기의 일반적인 특징소와 오브젝트 의존적인 추가 특징소값을 이용하여 오브젝트 추출과정을 반복하고, 그렇지 않을 경우에는 실패횟수(count­­)를 증가시킨다.
한편, 카운트 n의 크기는 오브젝트 의존적인 추가 특징소값을 이용한 오브젝트 추출이 계속하여 실패할 경우 현재 특징소를 갖는 오브젝트가 더 이상 존재하지 않는다고 판단하여 실패를 n번할 경우에는 다시 초기상태로 되돌아 간다.
도 1은 본 발명 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법을 구현하기 위한 오브젝트 추출장치의 개략적인 블럭 구성도를 나타낸 것이다.
디지탈 비디오 데이타(1)는 비디오 버퍼(2)에 저장되고, 비디오 버퍼(2)에 저장된 디지탈 비디오 데이타는 비디오 프로세싱 유닛(3)에 의해서 멀티미디어 비디오 스트림의 파일로 처리된다.
그리고, 콘트롤 프로세싱 유닛(5)에서는 비디오 프로세싱 유닛(3)에서 처리된 비디오 스트림 파일에서 필요로 하는 정보를 제작하여 비디오 프레임 버퍼(4)에 저장한다.
즉, 상기 비디오 프레임 버퍼(4)에는 오브젝트 추출을 하기 위한 프레임 등이 저장되고, 어디셔널 오브젝트 임포메이션 버퍼(6)에는 콘트롤 프로세싱 유닛(5)에서 처리된 오브젝트 의존적인 특징소 학습에 의해서 추가로 저장되는 특징소값들이 저장되며, 리절트 버퍼(7)는 최종적으로 추출된 오브젝트가 저장되는 곳이다.
도 3은 본 발명에서 제시된 방법을 이용한 얼굴 오브젝트 영역 추출과정의 실시예를 나타낸 것이다.
즉, 추출하고자 하는 얼굴이 포함된 동영상 또는 정지영상이 입력되면 초기상태에는 카운터값이 0이므로 일반적인 특징소를 이용하여 얼굴영역을 추출한다.
그 다음 일반적인 특징소를 이용하여 어느 정도 정확한 얼굴영역이 추출되었다고 판단되면, 추출된 얼굴영역에서 해당 얼굴에 의존적인 추가적인 특징소나 특징소값의 범위를 정의한다.
이때, 얼굴 오브젝트 추출에서 일반적인 특징소로는 차영상, 탬플리트 매칭 등이 해당될 수 있고, 오브젝트 의존적인 추가적인 특징소로는 얼굴색, 머리색, 머리 모양정보 등이 해당될 수 있다.
이와같이, 일반적인 특징소와 의존적인 특징소를 서로 다른 종류의 특징소들로 구성하는 방법 이외에 같은 종류의 특징소라도 그 값의 범위에 따라 일반적인 특징소 정보와 의존적인 특징소 정보로 나누어 생각할 수 있다.
예를 들어, 얼굴 오브젝트 추출시 이미지에 관계없이 나타나는 얼굴색 범위를 모두 만족하는 광범위한 얼굴색 조건을 일반적인 특징소 정보로 정의할 수 있고, 상기 정의된 일반적인 특징소에 의해 얼굴 오브젝트가 추출되면 그 추출된 얼굴 오브젝트에 의존적인 좁은 범위의 얼굴색 조건을 오브젝트 의존적인 특징소 정보로 정의할 수도 있다.
그리고, 상기와 같이 얼굴영역에 의존적인 추가적인 특징소값의 범위를 설정하면 오브젝트 의존적인 추가 정보를 학습했음을 설정하기 위해서 카운터값을 0보다 큰 n으로 설정한다.
이후, 일반적인 특징소(차영상)와 얼굴영역에 의존적인 추가적인 특징소값(얼굴색, 머리색, 머리모양 정보)를 이용하여 얼굴 오브젝트를 추출한후 탬플리트 매칭으로 상기 추출된 얼굴영역을 확인한다.
확인결과, 어느 정도 정확한 얼굴 오브젝트가 추출되었다고 판단되면 그 오브젝트를 최종적으로 추출한후 다음으로 입력되는 영상 프레임에 대해서도 일반적인 특징소와 오브젝트 의존적인 추가적인 특징소를 이용하여 얼굴영역을 추출하고, 그렇지 않으면 실패횟수를 증가시키면서 상기와 같은 얼굴 오브젝트 추출과정을 반복한다.
상기에서 설명한 바와같이, 본 발명에서는 처음에는 일반적인 특징소만을 이용하여 오브젝트를 추출한후 추출된 오브젝트 영역내에서 오브젝트 의존적인 특징소값의 범위를 설정하여 이후에는 오브젝트 의존적인 좀 더 많은 특징소로서 그 오브젝트를 추출함으로써 동영상에서 원하는 오브젝트 영역을 정확하게 추출할 수 있다.
또한, 드라마나 영화와 같은 동영상의 경우 연속되는 프레임에서 동일한 오브젝트의 주위 환경과 기타 조건이 유사하게 나타날 확률이 많으므로 하나의 프레임에서 나타나는 오브젝트 의존적인 특징소값들이 다른 연속된 프레임에서 나타날 수 있다. 이러한 특징을 이용하여 처음에만 일반적인 특징소를 이용해 오브젝트를 추출한후 오브젝트 의존적인 특징소값을 설정하고, 이후부터 연속되는 프레임에서는 상기 구해진 오브젝트 의존적인 특징소값을 이용하여 동영상을 추출하게 됨으로서, 매우 간편하고 빠르게 오브젝트를 추출할 수 있다.

Claims (7)

  1. 입력 영상에서 일반적인 특징소를 이용하여 오브젝트를 추출하는 단계, 상기 오브젝트 추출단계의 오브젝트 추출 결과의 정확도가 소정값 이상인 경우 오브젝트에 의존적인 특징소를 학습하는 오브젝트 의존적 특징소 학습단계, 상기 오브젝트 추출단계에서 이용한 일반적인 특징소와 상기 학습된 오브젝트 의존적 특징소를 이용하여 상기 입력 영상에서 최종적으로 오브젝트를 추출하는 단계; 를 포함하는 것을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  2. 제 1항에 있어서, 오브젝트에 일반적인 특징소 정보는 차영상, 탬플리트 매칭으로 하고 오브젝트에 의존적인 특징소 정보는 얼굴색 정보로 함을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  3. 제 1항에 있어서, 오브젝트에 일반적인 특징소 정보는 이미지에 관계없이 나타나는 얼굴색을 모두 만족할 수 있는 광범위한 얼굴색 범위로 설정하고, 오브젝트에 의존적인 정보는 상기의 일반적인 특징소에 의해서 추출된 얼굴 오브젝트에 의존적인 좁은 범위의 얼굴색 범위로 설정함을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  4. 제 1 항에 있어서, 상기 오브젝트에 일반적인 특징소와 오브젝트에 의존적인 특징소가 같은 특징소를 가지고 오브젝트 추출시 사용될 조건이나 범위를 다르게 하는 것을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  5. 제 1 항에 있어서, 상기 오브젝트에 일반적인 특징소와 오브젝트에 의존적인 특징소가 같은 특징소로서 색정보이고, 오브젝트 추출시 사용될 색정보 값의 조건이나 범위를 다르게 하여 오브젝트에 일반적인 특징소와 오브젝트 의존적 특징소를 구분하는 것을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  6. 제 1 항에 있어서, 상기 오브젝트 의존적 특징소가 해당 오브젝트라고 판단할, 해당 오브젝트에 의존적인 특징의 모양 정보인 것을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
  7. 제 1 항에 있어서, 상기 오브젝트에 일반적인 특징소와 오브젝트에 의존적인 특징소가 서로 다른 특징소를 사용하는 것을 특징으로 하는 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법.
KR1019990002016A 1999-01-11 1999-01-22 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법 KR100350790B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019990002016A KR100350790B1 (ko) 1999-01-22 1999-01-22 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법
US09/480,111 US6639998B1 (en) 1999-01-11 2000-01-10 Method of detecting a specific object in an image signal
US10/655,311 US7085402B2 (en) 1999-01-11 2003-09-05 Method of detecting a specific object in an image signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990002016A KR100350790B1 (ko) 1999-01-22 1999-01-22 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법

Publications (2)

Publication Number Publication Date
KR20000051518A KR20000051518A (ko) 2000-08-16
KR100350790B1 true KR100350790B1 (ko) 2002-08-28

Family

ID=19572114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990002016A KR100350790B1 (ko) 1999-01-11 1999-01-22 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법

Country Status (1)

Country Link
KR (1) KR100350790B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100516638B1 (ko) * 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
KR100438303B1 (ko) * 2002-01-17 2004-07-01 엘지전자 주식회사 객체 추출방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128542A (ja) * 1995-11-07 1997-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像認識検索装置
US5647058A (en) * 1993-05-24 1997-07-08 International Business Machines Corporation Method for high-dimensionality indexing in a multi-media database
JPH1049659A (ja) * 1996-08-07 1998-02-20 Fuji Xerox Co Ltd 情報検索装置および方法
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method
US5647058A (en) * 1993-05-24 1997-07-08 International Business Machines Corporation Method for high-dimensionality indexing in a multi-media database
JPH09128542A (ja) * 1995-11-07 1997-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像認識検索装置
JPH1049659A (ja) * 1996-08-07 1998-02-20 Fuji Xerox Co Ltd 情報検索装置および方法

Also Published As

Publication number Publication date
KR20000051518A (ko) 2000-08-16

Similar Documents

Publication Publication Date Title
US7024020B2 (en) Apparatus and method for generating object-labeled image in video sequence
CN109214999B (zh) 一种视频字幕的消除方法及装置
US6639998B1 (en) Method of detecting a specific object in an image signal
US7346211B2 (en) Image type classification using color discreteness features
US6289110B1 (en) Object extracting method using motion picture
US8103058B2 (en) Detecting and tracking objects in digital images
KR20010033552A (ko) 비디오 시퀀스의 변환 검출
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
KR100350790B1 (ko) 오브젝트 의존적인 특징소 학습에 의한 적응적 오브젝트 추출방법
CN108804893A (zh) 一种基于人脸识别的控制方法、装置和服务器
CN112749696A (zh) 一种文本检测方法及装置
CN112822539A (zh) 信息显示方法、装置、服务器及存储介质
Yang et al. Caption detection and text recognition in news video
WO2019150649A1 (ja) 画像処理装置および画像処理方法
CN113705571A (zh) 基于rgb阈值去红章的方法、装置、可读介质及电子设备
US7477759B2 (en) Adaptive artificial vision method and system
JP4116377B2 (ja) 画像処理方法および画像処理装置
CN110674720A (zh) 图片识别方法、装置、电子设备及存储介质
Thwe et al. Analysis on skin colour model using adaptive threshold values for hand segmentation
Montajabi et al. Using ML to Find the Semantic Region of Interest
CN116600105B (zh) 一种视频素材的色彩标签提取方法、装置、设备及介质
JP3585143B2 (ja) 文字列抽出方法および装置
JPH0660220A (ja) 文書画像の領域抽出方法
KR100245170B1 (ko) 칼라 영상 분류 방법 및 장치
CN113014831A (zh) 用于对体育视频进行场景获取的方法及装置、设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee