KR101035990B1 - 이미지 세분화 방법 및 컴퓨터 판독가능 수단 - Google Patents

이미지 세분화 방법 및 컴퓨터 판독가능 수단 Download PDF

Info

Publication number
KR101035990B1
KR101035990B1 KR1020090079358A KR20090079358A KR101035990B1 KR 101035990 B1 KR101035990 B1 KR 101035990B1 KR 1020090079358 A KR1020090079358 A KR 1020090079358A KR 20090079358 A KR20090079358 A KR 20090079358A KR 101035990 B1 KR101035990 B1 KR 101035990B1
Authority
KR
South Korea
Prior art keywords
image
feature points
subdividable
images
subdividing
Prior art date
Application number
KR1020090079358A
Other languages
English (en)
Other versions
KR20100025489A (ko
Inventor
윤일동
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Publication of KR20100025489A publication Critical patent/KR20100025489A/ko
Application granted granted Critical
Publication of KR101035990B1 publication Critical patent/KR101035990B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 세분화 기술이 개시된다. 본 발명의 일 양상에 따른 이미지 세분화 방법은, 제 1 세분 가능 객체를 등록하는 단계, 제 1 세분 가능 객체와 시각적 특성이 유사한 제 2 세분 가능 객체를 가지는 제 2 이미지를 등록하는 단계, 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계, 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계, 적어도 제 1 및 제 2 이미지들 중 하나를 위한 다수의 매칭된 특징 포인트들을 식별하기 위해 다수의 제 2 특징 포인트들의 적어도 한 부분과 다수의 제 1 특징 포인트들의 적어도 한 부분을 매칭시키는 단계, 다수의 매칭된 특징 포인트들을 전경 지역과 배경 지역 중 하나로 분류하는 단계, 전경 지역의 다수의 매칭된 특징 포인트들에 기초하여 제 1 및 제 2 이미지들 중 적어도 각각의 어느 하나로부터 제 1 및 제 2 세분 가능 객체 중 적어도 하나를 세분화하는 단계를 포함할 수 있다.
이미지 세분화, 특징 포인트, Grabcut

Description

이미지 세분화 방법 및 컴퓨터 판독가능 수단 {Image Segmentation and Computer-readable medium}
이미지 세분화 기술과 관련된다.
이미지로부터 원하는 객체를 추출하는 것은 객체 세분화로 언급되어 진다. 세분화된 객체는 객체 인식, 모델링 또는 그와 같은 응용에 적합하다. 최근에, Grabcut(반복된 이미지를 이용한 쌍방향 전경 추출 또는 적응성의 GMMRF 모델을 이용한 쌍방향 이미지 세분화로도 알려짐)으로 알려진 이미지 세분화 기술은 마이크로 소프트, 리서치 캠브리지 UK에 의해 대중적으로 가능하게 되어졌다. GrabCut 기술의 개관은 로더 에트 알의 "GrabCut: 반복되는 이미지 컷들을 이용한 쌍방향 전경 추출" ACM Tran. Graph. vol.23, No.3, 2004년판 페이지 309~314에서 찾을 수 있다. GrabCut 기술은 오퍼레이션을 도와주는 마우스 포인터와 함께 이미지로부터 객체 뒤의 배경을 제거할 수 있게 한다.
GrabCut 기술 자체로 부닥치는 문제중 하나는 이미지들내 객체들을 선택하는데 수동의 입력이 필요하다는 것이다. GrabCut 기술에 의해 부과된 고유의 제한들은 세분화의 질을 예측할 수 없게, 다른 말로 형편 없게 만드는 결과를 초래하고, 그 연산자의 부분의 실험을 필요로 한다.
본 발명은 이미지들로부터 원하는 객체를 보다 손쉽게 획득하기 위한 이미지를 세분화하는 것을 목적으로 한다.
본 발명은 이미지 내 객체들을 선택하는데 수동의 입력을 필요로 하지 않고, 이미지 세분화의 질을 예측할 수 있게 하는 것을 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명의 일 양상에 따른 이미지 세분화 방법에 있어서, 제 1 세분가능 객체를 가지는 제 1 이미지를 등록하는 단계, 제 1 세분가능 객체와 유사한 시각적 특성들을 가지는 제 2 세분가능 객체를 가지는 제 2 이미지를 등록하는 단계, 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계, 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계, 다수의 제 1 특징 포인트 중 적어도 일부와 상기 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 1 및 제 2 이미지 중 어느 하나에 대해서 다수의 매칭된 특징 포인트를 식별하는 단계, 다수의 매칭된 특징 포인트들을 전경 지역과 배경 지역들 중 하나로 분류하는 단계, 전경 지역의 상기 다수의 매칭된 특징 포인트들에 기초하여 상기 제 1 및 제 2 이미지들 중 적어도 각각의 하나로부터 적어도 하나의 상기 제 1 및 제 2 세분가능 객체들을 세분화하는 단계를 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 세분화하는 단계는 제 1 및 제 2 이미지들 중 적어도 하나에 대해 GrabCut 오퍼레이션을 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 다수의 제 1 특징 포인트들 및 다수의 제 2 특징 포인트들은 스케일-불변 특징 변환(scale-invariant feature transformation, SIFT) 특징 포인트들을 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 제 2 이미지를 등록하는 단계는 콘텐츠 기반 이미지 검색(contents-based image retrieval, CBIR)을 사용하여 등록되지 않은 이미지들을 검색하는 단계 및 상기 제 1 이미지의 제 1 세분가능 객체와 실질적으로 동일한 시각적 특성들을 가지는 등록되지 않은 이미지들로부터 이미지를 선택하는 단계를 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 제 1 세분가능 객체와 실질적으로 동일한 시각적 특성을 가지는 제 3 세분가능 객체를 가지는 제 3 이미지를 등록하는 단계, 제 3 이미지로부터 다수의 제 3 특징 포인트들을 추출하는 단계, 다수의 매칭된 특징 포인트 중 적어도 일부와 다수의 제 3 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 1, 제 2 및 제 3 이미지 중 어느 하나에 대해서 다수의 일반적으로 매칭된 특징 포인트를 식별하는 단계, 다수의 일반적으로 매칭된 특징 포인트들을 전경 지역과 배경 지역 중 하나로 분류하는 단계, 전경 지역의 다수의 일반적으로 매칭된 특징 포인트들에 기초하여 제 1, 제 2, 및 제 3 이미지들 중 적어도 각각의 하나로부터 적어도 하나의 제 1, 제 2 및 제 3 세분가능 객체들을 세분화하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 제 1 및 제 2 세분가능 객체들 중 적어도 하나를 세분화하기 전에, 제 1 및 제 2 이미지들 중 적어도 하나의 전경 지역을 선 택하기 위한 사용자 입력을 수신하는 단계와 선택된 전경 지역에 GrabCut 오퍼레이션을 수행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 세분화된 객체를 가지는 제 1 이미지를 등록하는 단계, 제 1 이미지의 상기 세분 가능 객체와 유사한 시각적 특성을 갖는 세분 가능 객체를 가지는 제 2 이미지를 등록하는 단계, 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계, 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계, 다수의 제 1 특징 포인트 중 적어도 일부와 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 2 이미지의 다수의 매칭된 특징 포인트를 식별하는 단계, 제 2 이미지의 다수의 매칭된 특징 포인트들을 전경 및 배경 지역 중 하나로 분류하는 단계, 전경 지역의 다수의 매칭된 특징 포인트들에 기초하여 제 2 이미지로부터 세분가능 객체를 세분화하는 단계를 포함 할 수 있다.
본 발명의 또 다른 양상에 따르면, 세분화하는 단계는 상기 제 2 이미지에 GrabCut 오퍼레이션을 수행하는 것을 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 다수의 제 1 특징 포인트 및 다수의 제 2 특징 포인트들은 SIFT 특징 포인트들을 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 제 2 이미지를 등록하는 단계는, CBIR 또는 제 1 이미지내 제 1 세분가능 객체의 이름을 사용하여 등록되지 않은 이미지들을 검색하는 단계, 세분화된 이미지와 대체로 유사한 시각적 특성들을 가지는 등록되지 않은 이미지들로부터 이미지를 선택하는 단계를 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 제 2 이미지로부터 세분가능 객체를 세분 화하기 전에, 제 2 이미지의 전경 지역을 선택하기 위한 사용자 입력을 수신하는 단계 및 제 2 이미지로부터 세분가능 객체를 세분화하는 단계는 제 2 이미지의 선택된 전경 지역에 GrabCut 오퍼레이션을 수행하는 단계를 포함할 수 있다.
이러한 목적을 달성하기 위한 본 발명의 일 양상에 따른 컴퓨터 판독 가능 수단은 제 1 세분가능 객체를 가지는 제 1 이미지를 등록하는 단계, 제 1 세분가능 객체와 유사한 시각적 특성들을 가지는 제 2 세분가능 객체를 가지는 제 2 이미지를 등록하는 단계, 제 1 이미지로부터 다수의 제 1 특징 포인트를 추출하는 단계, 제 2 이미지로부터 다수의 제 2 특징 포인트를 추출하는 단계, 다수의 제 1 특징 포인트 중 적어도 일부와 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 제 1 및 제 2 이미지들 중 적어도 하나를 위한 다수의 결합된 특징 포인트들을 식별하는 단계, 다수의 매칭된 특징 포인트들을 전경 지역 및 배경 지역으로 분류하는 단계, 전경 지역의 다수의 매칭된 특징 포인트들에 기초한 제 1 및 제 2 이미지들 중 적어도 각각의 하나로부터 제 1 및 제 2 세분가능 객체들을 세분화하는 단계를 포함하는 이미지 세분화 방법이 컴퓨터에 의해 실행될 때, 그 실행을 야기시키는 지시들을 저장하는 것으로 될 수 있다.
본 발명의 또 다른 양상에 따르면, 제 1 및 제 2 세분가능 객체들 중 적어도 하나를 세분화하는 단계는 제 1 및 제 2 이미지들 중 적어도 하나에 GrabCut 오퍼레이션을 수행하는 것을 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 다수의 첫 번재 특징 포인트들과 상기 다수의 제 2 포인트들이 SIFT 특징 포인트들을 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 세분화된 객체를 가지는 제 1 이미지를 등록하는 단계, 제 1 이미지의 세분화된 객체와 시각적 특성들이 유사한 세분가능 객체를 가지는 제 2 이미지를 등록하는 단계, 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계, 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계, 다수의 제 1 특징 포인트 중 적어도 일부와 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 제 2 이미지를 위한 다수의 결합된 특징 포인트를 식별하는 단게, 제 2 이미지의 다수의 매칭된 특징 포인트들을 전경 지역 및 배경 지역의 하나로 분류하는 단계, 전경 지역의 다수의 매칭된 특징 포인트들에 기초한 제 2 이미지로부터 세분가능 객체를 세분화하는 단계를 포함하는 이미지 세분화 방법을 컴퓨터에 의해 실행될 때 그 실행을 야기시키는 지시들이 저장될 수 있다.
본 발명의 또 다른 양상에 따르면, 제 2 이미지로부터 세분가능 객체를 세분화하는 단계는 제 2 이미지에 GrabCut 오퍼레이션을 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 양상에 따르면, 다수의 제 1 특징 포인트 및 다수의 제 2 특징 포인트는 SIFT 특징 포인트들을 포함할 수 있다.
이상에서 살펴본 바와 같이, 이미지 세분화 방법 및 컴퓨터 판독가능한 수단은 다음과 같은 효과가 있다.
첫째, 이미지들내 객체들을 선택하는데 반드시 수동의 입력을 필요로 하지 않는 효과가 있다.
둘째, Grabcut에 의해 부과된 고유의 제한들과 달리 이미지 세분화의 질을 예측할 수 있고, 그 연산자의 부분의 실험을 필요로 하지 않는 효과가 있다.
이하 발명의 상세한 설명에서는, 이 문서의 일부분인 도면들을 참조하여 작성되었다. 도면에서 문맥상 달리 정함이 없는 한, 유사 기호들은 유사한 구성요소들로 전형적으로 동일시된다. 여기에 나타낸 주제의 사상과 범위를 벗어남이 없이,발명의 상세한 설명에서 기술된 실시예들, 도면들, 그리고 청구항들은 실용화될 수 있는 다른 실시 예들, 실현되는 다른 변화들을 제한하는 의미는 아니다. 여기에 전체적으로 기술되고, 도면 안에 설명되어 지고, 배열되고, 대체되고, 매칭되고, 다른 설정의 넓고 다양하게 디자인되어진 본 명세의 요소들은 명백히 심사숙고되고 이 명세의 부분을 구성할 수 있다.
다양하게 구체화된 실시예들에 있어서, 이미지들로부터 원하는 객체를 획득하기 위해 이미지를 세분화 방법이 제공된다. 도 1은 배경 지역으로부터 객체들을 세분화하는 이미지 처리가 실행될 수 있는 적합한 계산 환경의 일 실시예를 개략적으로 도시한다. 도 1에 도시된 바와 같이, 이미지 처리 실행을 위한 대표적인 계산 환경(100)은 계산 장치(120)를 포함한다. 계산 장치(120)는 메모리(122), 처리부(124), 표시부(126), 입력 장치(128), 네트워크 인터페이스(129)를 포함한다. 반드시 이에 한정되는 것은 아니나, 메모리(122)는 RAM, ROM, EEPROM, 플래쉬 메모리, CD-ROM, DVD 또는 다른 광학 기억장치, 자기 카세트, 자기 테이프, 자기 디스크 기억장치 또는 이미지 정보를 저장할 수 있고, 처리부(124)에 의해 접근될 수 있는 어떠한 다른 수단을 포함한다. 본 실시 예에 있어서, 메모리(122)는 처리 장치(120)로부터 분리될 수 있다.
처리부(124)는 응용 소프트웨어(나타내지 않음)로의 데이터의 입력과 응용 소프트웨어(나타내지 않음)로부터의 출력을 포함하는 처리 장치(120)의 오퍼레이션을 관리하고 제어하는 적합한 오퍼레이션 시스템을 운영하는 플랫폼을 제공할 수 있다. 예를 들면, 오퍼레이션 시스템은 처리 장치(120)에서 실행되는 응용 소프트웨어들과 처리 장치(120)의 하드웨어 구성요소들 사이의 인터페이스를 제공한다. 이러한 양상들은 마이크로소프트 윈도우즈, 애플 맥킨토시 OS, 유닉스 OS, 리눅스 OS와 그와 같은 다양한 적합 OS들과 함께 사용되는 것이 가능하다.
반드시 이에 한정되는 것은 아니나, 계산 장치(120)의 표시부(126)는 CRT 표시부와 마찬가지로 평면 패널 표시부를 포함한다. 반드시 이에 한정되는 것은 아니나, 계산 장치(120)의 입력 장치(128)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치를 포함한다. 네트워크 인터페이스(129)는 계산 장치(120)가 네트워크(140)를 통해 다른 계산 장치들(나타내지 않음)과 함께 통신하는 적합한 통신 프로토콜들을 실행할 수 있다.
네트워크(140)는 계산 장치(120)가 넓은 지리적 지역을 넘어 구글, 야후, MSN의 서버들과 같이 다른 계산 장치들과 접근하는 것을 허용하는 하나 또는 그 이상의 텔레커뮤니케이션 회사들에 의해 제공되는 인터넷이나 다른 유사한 광대역 네트워크가 될 수 있다.
도 1의 계산 환경(100)은 오직 적합한 오퍼레이션 환경의 한 예이고, 청구된 주제와 관련하여 어떠한 제한을 가하려는 의도는 아니다. 반드시 이에 한정되는 것은 아니나, 여기 기술된 이미지 처리를 위해 적합한 유명한 다른 계산 시스템들, 환경들, 및/또는 설정들은 개인용 컴퓨터들, 서버 컴퓨터들, 손에 잡히는 장치이거나 랩탑 장치들, 멀티프로세서 시스템들, 마이크로 프로세서에 기반한 시스템들, 프로그램 입력가능한 소비자 전자기기들, 네트워크 개인용 컴퓨터들, 미니 컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 장치들 중 어떠한 것을 포함하는 분산된 계산 환경들과 같은 것을 포함할 수 있다.
도 2는 다중 이미지들을 세분화하는 과정의 하나의 구체화된 실시예의 순서도이다. 도 2에 도시된 것처럼, 그 과정은 제 1 세분가능객체(302)(도 3에도 나타냄)를 갖는 등록된 제 1 이미지(310)의 블록(202)에서 시작한다. 블록(202)에서, 세분화하기 위해 제 1 세분가능객체(302)가 갖는 제 1 이미지(310)는 계산 장치(120)에 등록될 수 있다. 일 실시 예에 따라, 사용자는 제 1 이미지(310)를 등록하는 입력 장치(128)의 사용을 통해 메모리(122)안에 미리 저장된 이미지들 중 하나를 선택할 수 있다. 다른 실시 예로, 다른 계산 장치들(나타내지 않음)의 데이터베이스는 원하는 이미지를 검색하는 네트워크(140)을 통해 접근되어 지며, 계산 장치(120)의 메모리(122)에 저장하기 위해 다운로드 될 수 있다. 그 다운로드된 이미지는 처음 이미지(310)로 등록될 수 있다.
일단 제 1 이미지(310)가 등록되면, 제 1 이미지(310)는 계산 장치(120)의 표시부(126) 상에 표시된다. 예를 들어, 도 3에 도시된 것처럼, 제 1 이미지(310)가 등록됨에 따라 소가 들판에서 걷는 이미지가 표시부(126)에 나타날 수 있다. 도 시된 바와 같이, 제 1 이미지(310)는 배경(304)으로부터 세분화되는 배경(304)과 제 1 세분가능 객체(302)를 포함한다. 이런 점에서, 그 소는 제 1 세분가능 객체(302) 및 제 1 이미지(310)로부터 세분화되기 위한 주 이미지인 소의 이미지를 나타낼 수 있다.
도 2에 따르면, 블록(204)에서, 제 2 세분가능 객체(402)(도 4에도 보여짐)를 갖는 제 2 이미지(410)(도 4에 보여짐)는 제 1 이미지(310)의 제 1 세분가능 객체(302)와 유사한 시각적 특성들과 함께 등록될 수 있다. 제 2 세분가능 객체(402)는 제 1 세분가능 객체(302)와 전체적으로 유사한 시각적 특성들을 가지며, 제 1 세분가능 객체(302)와 외형상 전체적으로 유사하나 다른 관점들로부터, 다른 배경들과 함께, 다른 거리들로부터, 및/또는 다른 시간상에 그려진 객체들을 포함할 수 있다. 블록(202)에서, 제 2 이미지(410)는 계산 장치(120)의 메모리(122)를 국부적으로 이미지를 검색하는 것을 수행함에 따라, 또는 네트워크(140)를 통해 하나 또는 그 이상의 다른 계산 장치들(나타내지 않음)이 접근함에 따라 계산 장치(120)내 등록될 수 있다. 이런 점에서, 다른 계산 장치들로의 이미지 검색 및/또는 접근은 사용자에 의한 수동적 입력의 도움으로, 다시 말하면 이름 또는 키보드에 기초한 이미지들을 검색하고 선택함으로써 수행되어질 수 있다.
반드시 이에 한정되는 것은 아니나, 일 실시 예로서 이미지 검색은 콘텐츠 기반 이미지 검색(contents-based image retrieval, CBIR)을 사용하여 수행될 수 있다. CBIR (이미지 콘텐츠에 의한 물음(query by image content, QBIC)와 콘텐츠 기반 시각 정보 검색(content-based visual information retrieveal, CBVIR)으로도 알려짐)은 큰 데이터베이스들로부터 디지털 이미지들을 검색하는데 적합한 프로세스로 알려진다. “콘텐츠”라는 용어는 색깔들, 형상들, 문자들, 또는 이미지의 시각적 성질이 있다고 생각되는 다른 어떤 정보를 말한다. “콘텐츠 기반”은 이미지 콘텐츠의 분석의 사용을 말한다. “콘텐츠 기반”과 같은 검색은 캡션들 또는 키보드들과 같은 메타데이터에 반드시 의존할 필요는 없다.
CBIR은 등록되지 않은 이미지들, 본 명세의 방법으로 이미 등록되지 않은 이미지들, 이미지들의 콘텐츠에 기반한 큰 저장소들로부터 이미지들을 검색하기 위해 사용될 수 있다. 이미지 쿼리에 응답하여, CBIR은 등록되지 않은 이미지 또는 그러한 등록되지 않은 이미지들이 쿼리 이미지의 콘텐츠와 유사한 콘텐츠를 공유하는 데이터베이스로부터 등록되지 않은 이미지들의 수집의 검색 및/또는 매칭 이미지 특성들(예, 매칭 텍스처, 색깔, 공간 압박들, 또는 그것의 어떠한 제한적인 조합)을 공유하는 것을 허용할 수 있다. 따라서, CBIR은 제 1 이미지(310)와 제 2 이미지(410)들을 등록하는데 반드시 사용자로부터의 수동적 입력이 없이 도움을 주기 위해 사용되어 질 수 있다. 하지만, 청구된 주제는 CBIR 기술들을 사용하여 이미지들을 등록하는 것을 제한하는 것은 아니다.
이미지를 등록하는 것은 제 1 이미지(310)의 제 1 세분가능 객체의 이름을 검색하는 것에 의해 성취될 수 있다. 따라서, 제 2 이미지(410)는 구글, 야후, MSN과 같은 상업적 검색 엔진들을 통해 제 1 이미지(310)내 제 1 세분가능 객체(302)의 이름을 사용하여 검색되어 질 수 있다. 예를 들어, 사용자가 구글의 이미지 검색 창에 “소”라는 단어를 입력하면, 도 4에 도시되어 있듯이 다수의 등록되지 않 은 이미지들이 검색될 것이다. 등록되지 않은 이미지들의 수집을 보여주는 검색 결과들을 나타낸 후, 사용자는 제 2 이미지(410)로 등록하는 이런 등록되지 않은 이미지들 중 하나를 선택할 것이다. 예를 들면, 도 4에 도시되어 있듯이, 한 세트의 검색 이미지들의 제 1 열의 가장 왼쪽 이미지가 선택될 것이며, 제 1 이미지(310)를 따라서 세분화되기 위한 제 2 이미지(410)로서 등록될 수 있다.
일단 제 1 이미지(310)와 제 2 이미지(410)들이 등록되면, 이러한 이미지들(310,410)은 도 5에 보여지듯이 나란히 표시부(126)에 배열될 수 있다. 상기 언급한 예와 같이, 도 5에 나타난 것과 같이, 제 1 세분가능 객체(302)를 나타내는 같은 실 예의 소가 제 1 이미지(310)를 보여주는 것보다 비교적 다른 배경과 함께 두 번재 이미지(410)가 그려질 수 있으며, 제 2 세분가능 객체(402)를 나타낼 수 있다. 그 다음에 소는 제 2 이미지(410)로부터 세분화가 될 것이다.
도 2로 돌아가 보면, 블록(206)에서, 처리부(124)는 제 1 이미지(310)로부터 다수의 제 1 특징 포인트들(608,708)을 추출할 수 있다. 블록(208)에서, 제 2 이미지(410)로부터 다수의 제 2 특징 포인트들(618,718)을 추출할 수 있다. 도 6과 도 7에 도시되어 있듯이, 특징 포인트들(608,618,708,718)은 이미지들의 지역 특징 포인트들일 수 있다. 예를 들면, 일 양상에 따라, 특징 포인트들은 알려진 기술들을 이용하여 식별하는 스케일 불변 특징 변환(scale-invariant feature transformation, SIFT) 특징 포인트들일 수 있다. SIFT 특징 포인트들은 빛, 소음의 변화들, 뷰포인트의 작은 변화들에 의해 상대적으로 영향을 받지 않는 특징 포인트들일 수 있다. 이런 특성들에 더하여, SIFT 특징 포인트들은 상대적으로 추출 하기 쉽게 구별할 것이며, 상대적으로 낮은 미스매치의 가능성으로 객체 식별을 허용한다.
이하에서는, 이미지(310)로부터 SIFT 특징 포인트들을 추출하는 과정을 설명한다. 이미지(410)로부터 SIFT 특징 포인트들을 추출하기 위해 동일 또는 유사한 과정이 수행될 수 있다. 하지만, 청구된 주제는 SIFT 기술들을 이용한 특징 포인트들의 추출을 제한하는 것은 아니다.
SIFT과정에서, 제 1 이미지(310)는 계속적인 가우스의 흐린 이미지들을 생성하기 위해 다른 규모들의 다수의 가우스 필터들로 처음에 컨볼브될 수 있고, 그리고 나서 계속적인 가우스의 흐린 이미지들(Gaussians) 사이의 다른 이미지들이 선택될 수 있다. SIFT 특징들은 다중 스케일들로 나타나는 가우스의 차이(DoG)의 최대/최소로 식별될 수 있다. 보다 구체적으로, DoG 이미지들은 아래 공식 1에 의해 주어진다.
D(x,y,σ) = L(x,y,kiσ) - L(x,y,kjσ)
x, y는 상대적으로 수평축과 수직축상의 이미지의 픽셀 위치들을 나타내고, σ, kσ는 이미지 스케일들을 나타내고, L(x,y,kσ)는 kσ스케일에서 가우스 흐림 G(x,y,kσ)으로 컨볼브된 제 1 이미지 I(x,y)를 나타낸다. [예, L(x,y,kσ) = G(x,y,kσ) * I(x,y)]
상기 수학식 1에서 볼 수 있듯이, kiσ, kjσ 스케일들 사이의 DoG 이미지 는 kiσ, kjσ 스케일들에서의 가우스 흐림 이미지들 사이의 차이에 대응한다. SIFT 알코리즘의 스케일-공간 극값 탐지를 위해, 제 1 이미지(310)는 다른 스케일들에서 가우스-흐림 이미지들과 함께 첫 번째로 컨볼브될 수 있다. 컨볼브된 이미지들은 옥타브(σ의 값을 두 배로 하는 것에 대응함)에 의해 그룹화될 것이며, 값은 옥타브당 컨볼브된 이미지들의 고정된 숫자를 얻기 위해 선택될 수 있다. 그리고 나서 DoG 이미지들은 인접한 옥타브당 가우스 흐림 이미지들로부터 택해질 수 있다. 단 DoG 이미지들이 획득되면, SIFT 특징들은 스케일들을 가로지르는 DoG 이미지들의 로컬 최대/최소로서 식별될 수 있다. 이것은 DoG 이미지들의 각 픽셀을 같은 스케일에서 그것의 8자리 이웃 픽셀들과 각 9자리 이웃 스케일들에서 대응되는 9자리 이웃 픽셀들을 비교함으로써 될 수 있다. 만약 특수한 픽셀 값이 모든 비교된 픽셀들 중에서 최대값 또는 최소값인 경우, 그것은 지정된 SIFT 특정 포인트로서 선택될 수 있다.
도 2로 돌아가 보면, 블록(210)에서, 처리부(124)는 매칭 특징 포인트들을 찾는 제 1 이미지(310)의 특징 포인트들을 제 2 이미지(410)의 특징 포인트들과 비교할 수 있다. 적어도 몇 개의 제 1 특징 포인트들(608,708)은 적어도 몇 개의 제 2 특징 포인트들(618,718)과 매칭될 수 있으며, 마찬가지로 제 1 이미지(310)와 제 2 이미지(410) 중 적어도 하나의 다수의 매칭된 특징 포인트들을 식별할 수 있다. 반드시 이에 한정되는 것은 아니나, 일 실시예로, 만약 제 2 이미지(410)의 제 2 특징 포인트들(618,718) 중 임의의 하나가 제 1 이미지(310)의 제 1 특징 포인트들 중 하나와 대체로 같은 픽셀 값을 가지면, 매칭된 특징 포인트들(620)로 특징 포인트들(608,708)을 식별함에 따라 그것들 사이의 매칭이 발견될 수 있다. 이런 점으로, 제 1 특징 포인트들(608,708) 중 적어도 몇 개는 매칭된 특징 포인트들(620)로 식별될 수 있으며, 제 2 특징 포인트들(618,718) 중 적어도 몇 개는 매칭된 특징 포인트들(618,718)로 식별될 수 있다. 구체적인 목적들을 위해, 각각의 매칭된 특징 포인트들의 쌍은 제 1 이미지(310)의 매칭된 특징 포인트들과 제 2 이미지(410)의 대응하는 매칭된 특징 포인트들(618) 사이의 라인들(620)을 접속함에 따라 나타내진다. (도 6 참조)
도 7에 도시되어 있듯이, 만약 제 1 특징 포인트들(708)이 제 2 특징 포인트들(718)과 랜덤하게 매칭된다면, 랜덤하게 매칭된 특징 포인트들 사이에는 접속이 없다. 제 1 이미지들(310) 및 제 2 이미지들(410)에서 각각의 특징 포인트들(708,718)은 제 1 와 제 2 이미지들(310,410)의 객체들 사이의 아무런 관계가 없음을 나타내는 특징 포인트들(720) (접속 라인들(720)에 의해 나타냄)일 수 있다. 일단 특정 포인트들이 매칭된 특징 포인트들(620) 또는 랜덤 특징 포인트들(720)인지가 정해지면, 제 1 와 제 2 이미지들(310,410)은 전경 지역들(602,612)과 배경 지역(604,614)으로 분류될 수 있다.
도 2로 돌아가 보면, 블록(212)에서 처리부(124)는 제 1 및 제 2 이미지들(310,410)의 매칭된 특징 포인트들을 전경 지역들과 배경 지역들로 분류할 수 있다. 처리부(124)는 다수의 매칭된 포인트들이 적어도 부분적으로 기하학적인 관계들이 있는지에 기초하여 매칭된 특징 포인트들을 분류할 수 있다. 예를 들어, 도 6 을 참조하면, 처리부(124)는 제 1 이미지(310)의 제 1 특징 포인트들(608)과 그에 대응하여 각각 제 1 및 제 2 이미지들(310,410)의 전경 지역들(602,612)에 속함에 따라 기하학적으로 일관된 관계들을 나타내는 제 2 이미지(410)의 제 2 특징 포인트들(618)을 분류할 수 있다. 마찬가지로, 도 7을 참조하면, 처리부(124)는 제 1 이미지(310)의 랜덤하게 매칭된 특징 포인트들(708)과 그에 대응하여 각각 제 1 및 제 2 이미지들(310,410)의 배경 지역들(604,614)에 속함에 따라 기하학적으로 일관되지 않은 관계들을 나타내는 제 2 이미지(410)의 랜덤하게 매칭된 특징 포인트들(718)을 분류할 수 있다.
도 2로 돌아가 보면, 블록(214)에서 처리부(124)는 전경 지역들(602,612)의 매칭된 특징 포인트들에 기초한 제 1 및 제 2 이미지들(310,410) 중 각각의 하나의 전경 지역들(602,612)에서의 세분가능 객체들(302,402) 중 적어도 하나를 세분화할 것이다. 반드시 이에 한정하지 않으나, 일 실시 예에서, 제 1 및 제 2 세분가능 객체들(302,402)의 세분화는 GrabCut 기술 또는 “Magic Wand","Intelligent Scissors", "BayesMatting","Knockout 2", "Graph Cut","Level Sets" 등과 같은 또는 유사한 구성들에 의해 지원될 수 있다. GrabCut 기술들을 쓸 때, 제 1 이미지(310)의 제 1 특징 포인트들(608)과 대응하는 제 2 이미지(410)의 제 2 특징 포인트들(618)은 입력 매개 변수로 사용될 수 있다. 도 8은 수행 블록(214)의 결과로서 생성된 세분화된 객체들(810,820)의 일 실시예를 보여준다.
수행 블록(214)의 세분화된 객체들의 질이 만족스럽게 정해진다면, 그 처리는 처리과정을 마친다. 반면에, 만약 세분화된 객체들이 만족스런 질이 아닌 경우, 그 처리는 결함된 특징 포인트들의 큰 숫자들을 사용하여 시작될 수 있다. 즉, 매칭된 특징 포인트들(620)의 숫자가 높을수록, 이미지 질은 더 좋아질 가능성이 크다. 예를 들면, 300,500, 또는 1000이란 특징 포인트들은 높은 질의 세분화된 객체들(810,820)인 반면에, 100이란 매칭된 특징 포인트는 수용할만한 질의 세분화된 객체(810,820)의 결과일 수 있다.
대안적으로, 만약 세분화된 객체들이 질을 만족시키지 못하게 정해지면, 높은 질의 세분화된 객체들(810,820)을 획득하기 위해 제 1 이미지(310)의 제 1 세분가능 객체(302)와 상당히 유사한 시각적 특성들을 갖는 제 3 세분가능 객체(406)(도 4에 나타남)를 갖는 제 3 이미지(420)가 선택될 것이다. 제 3 이미지(420)는 블록(204)에 도시된 바와 같은 처리에 의해 등록될 수 있다. 예를 들면, 사용자는 도 4에 나타난 제 3 이미지(420)를 선택할 수 있다. 만약 필요하다면, 추가적인 이미지들은 객체들의 세분화를 수행하기 위해 사용되어질 수 있다. 더 나아가, 이에 한정되는 것은 아니나, 도 4에 도시된 바와 같이, 제 3 객체(406)는 미리 세분화 될 수 있다. 일 양상에 따라, 제 3 객체(406)와 같은 미리 세분화된 객체는 이미지들(310,410)과 함께 조합될 때, 비교적 나은 결과들을 낼 수 있다.
일 양상에 따라, 사용자 입력은 블록(214)에서 GrabCut 기술들을 사용할 때 수신될 수 있다. 그러한 사용자 입력은 사용자가 손수 지정한 전경 지역들(602,612)의 부분들을 포함할 수 있다. 전경 지역들(602,612)의 부분들의 사용자의 수동적 입력을 수신한 후에, 블록(214)은 반복될 수 있다.
일 양상에 따라, 제 1 세분가능 객체(302)를 가지는 제 1 이미지(310)는 제 1 이미지(310)의 세분화된 객체(810)와 유사한 객체를 가지는 제 4 이미지(나타내지 않음)를 세분화하는데 사용될 수 있다. 세분화된 객체(302)를 가지는 제 1 이미지(310)는 상기 도 2를 참조하여 기술된 처리를 통해 얻을 수 있으며, 또는 메모리(122) 혹은 네트워크(140)를 통한 다른 계산 장치들(나타내지 않음)의 데이터베이스들로부터 선택될 수 있다. 이런 실시 예에서, 제 1 이미지(310)의 특징 포인트들은 이미 전경 지역(602)이나 배경 지역(604)으로 분류되어졌기 때문에, 제 4 이미지의 객체는 세분화될 수 있다.
여기에 명세된 이것과 다른 처리들 그리고 방법들로, 본 발명의 하나의 숙련된 기술은 처리 과정들과 방법들에서 수행되는 기능들이 다른 순서로 실행될 수 있음을 인식할 수 있을 것이다. 게다가, 약술된 단계들과 동작들은 예로서 제공된다. 즉, 단계들과 동작들 중 일부는 선택적일 것이며, 명세된 실시 예들의 본질을 제외하지 아니하고 더 적은 단계들과 동작들로 조합되거나 추가적인 단계들과 동작들로 확장될 것이다. 본 명세서에 간략히 나타낸 숙련된 발명은 여기에 기술된 장치들과 방법들의 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 또는 그것의 매칭으로 실행되어 지며, 시스템들, 하위 시스템들, 구성 요소들 또는 그것의 하위 구성요소들에 사용되어 진다는 것을 인식할 것이다. 예를 들면, 소프트웨어로 실행되는 방법은 그 방법의 동작을 수행하기 위한 컴퓨터 코드를 포함한다. 이 컴퓨터 코드는 프로세서 판독이 가능한 수단, 또는 컴퓨터 프로그램 제품, 또는 캐리어 웨이브 양상의 컴퓨터 데이터 신호로서 전송되거나, 캐리어에 의해 변조된 신호, 전송 수단 또는 통신 링크에 의해서 기계 판독가능 수단에 저장될 것이다. 기계 판독가능 수단이나 프로세서 판독가능한 수단은 기계에 의해(예, 프로세서, 컴퓨터, 기타 등에 의해) 판독가능하고 실행가능한 형태의 정보를 저장하거나 전환할 수 있는 어떠한 수단을 포함 할 수 있다.
앞서 설명한 것으로부터, 본 명세의 다양한 양상들은 실시예를 들기 위한 목적으로 기술되어 왔으며, 다양한 수정들은 본 명세의 범위와 정신을 넘어서는 것이 없이 만들어졌다. 따라서, 여기에 명세된 다양한 양상들은 이어지는 청구항들에 의해 나타내지는 진정한 범위와 정신을 제한하기 위한 의도가 아니다.
도 1은 배경 지역으로부터 객체들을 세분화하는 이미지 처리가 실행되는 적합한 계산 환경의 일 양상을 개략적으로 도시한 것을 나타낸다.
도 2는 다중 이미지들의 세분화하는 프로세스의 일 양상의 순서도를 나타낸다.
도 3은 제 1 세분 가능 객체와 함께 제 1 이미지의 일 양상을 나타낸다.
도 4는 제 2 이미지 선택을 위한 검색 결과 화면의 일 양상을 나타낸다.
도 5는 제 1 및 제 2 이미지들이 나란히 배열되어 있는 일 양상을 나타낸다.
도 6은 전경 지역의 매칭된 특징 포인트들의 일 양상을 나타낸다.
도 7은 배경 지역의 매칭된 특징 포인트들의 일 양상을 나타낸다.
도 8은 세분화된 객체들의 일 양상을 나타낸다.

Claims (17)

  1. 제 1 세분가능 객체를 포함하는 제 1 이미지를 등록하는 단계;
    상기 제 1 세분가능 객체와 외형상 유사한 시각적 특성들을 가지는 제 2 세분가능 객체를 포함하는 제 2 이미지를 등록하는 단계;
    상기 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계;
    상기 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계;
    상기 다수의 제 1 특징 포인트 중 적어도 일부와 상기 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 1 및 제 2 이미지 중 어느 하나에 대해서 다수의 매칭된 특징 포인트를 식별하는 단계;
    상기 식별된 다수의 특징 포인트들을 전경 지역 또는 배경 지역으로 분류하는 단계; 및
    상기 전경 지역으로 분류된 다수의 매칭된 특징 포인트들에 기초하여 상기 제1 이미지에 포함된 제 1 세분가능 객체 또는 상기 제 2 이미지에 포함된 제 2 세분가능 객체를 세분화하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  2. 제 1 항에 있어서, 상기 세분화하는 단계는 상기 제 1 및 제 2 이미지들 중 적어도 하나에 대해 GrabCut 오퍼레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  3. 제 1 항에 있어서, 상기 다수의 제 1 특징 포인트들 및 상기 다수의 제 2 특징 포인트들은 스케일-불변 특징 변환(scale-invariant feature transformation, SIFT) 특징 포인트들을 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  4. 제 1 항에 있어서, 상기 제 2 이미지를 등록하는 단계는
    콘텐츠 기반 이미지 검색(contents-based image retrieval, CBIR)을 사용하여 등록되지 않은 이미지들을 검색하는 단계; 및
    상기 제 1 이미지의 상기 제 1 세분가능 객체의 시각적 특성과 동일한 시각적 특성을 가지는 상기 등록되지 않은 이미지들로부터 이미지를 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  5. 제 1 항에 있어서,
    상기 제 1 세분가능 객체의 시각적 특성과 동일한 시각적 특성을 가지는 제 3 세분가능 객체를 가지는 제 3 이미지를 등록하는 단계;
    상기 제 3 이미지로부터 다수의 제 3 특징 포인트들을 추출하는 단계;
    상기 다수의 매칭된 특징 포인트 중 적어도 일부와 상기 다수의 제 3 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 1, 제 2 및 제 3 이미지 중 어느 하나에 대해서 다수의 일반적으로 매칭된 특징 포인트를 식별하는 단계;
    상기 다수의 일반적으로 매칭된 특징 포인트들을 전경 지역 또는 배경 지역으로 분류하는 단계; 및
    상기 전경 지역으로 분류된 다수의 매칭된 특징 포인트들에 기초하여 상기 제 1, 제 2 또는 제 3 이미지에 포함된 각각의 제 1, 제 2 또는 제 3 세분가능 객체들 중 적어도 어느 하나를 세분화하는 단계를 더 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  6. 제 1 항에 있어서, 상기 제 1 및 제 2 세분가능 객체들 중 적어도 하나를 세분화하기 전에, 상기 제 1 및 제 2 이미지들 중 적어도 하나의 상기 전경 지역을 선택하기 위한 사용자 입력을 수신하는 단계; 및
    상기 선택된 전경 지역에 GrabCut 오퍼레이션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  7. 세분화된 객체를 포함하는 제 1 이미지를 등록하는 단계;
    상기 제 1 이미지의 상기 세분화된 객체와 외형상 유사한 시각적 특성을 갖는 세분 가능 객체를 포함하는 제 2 이미지를 등록하는 단계;
    상기 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계;
    상기 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계;
    상기 다수의 제 1 특징 포인트 중 적어도 일부와 상기 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 2 이미지의 다수의 매칭된 특징 포인트를 식별하는 단계;
    상기 제 2 이미지의 식별된 다수의 특징 포인트들을 전경 지역 또는 배경 지역으로 분류하는 단계; 및
    상기 전경 지역으로 분류된 다수의 매칭된 특징 포인트들에 기초하여 상기 제 2 이미지에 포함된 세분가능 객체를 세분화하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  8. 제 7 항에 있어서, 상기 세분화하는 단계는 상기 제 2 이미지에 대해 GrabCut 오퍼레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  9. 제 7 항에 있어서, 상기 다수의 제 1 특징 포인트 및 상기 다수의 제 2 특징 포인트들은 SIFT 특징 포인트들을 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  10. 제 7 항에 있어서, 상기 제 2 이미지를 등록하는 단계는,
    CBIR 또는 상기 제 1 이미지내 상기 제 1 세분가능 객체의 이름을 사용하여 등록되지 않은 이미지들을 검색하는 단계; 및
    상기 세분화된 이미지의 시각적 특성과 동일한 시각적 특성을 가지는 상기 등록되지 않은 이미지들로부터 이미지를 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  11. 제 7 항에 있어서, 상기 제 2 이미지로부터 세분가능 객체를 세분화하기 전에, 상기 제 2 이미지의 상기 전경 지역을 선택하기 위한 사용자 입력을 수신하는 단계를 더 포함하며,
    상기 제 2 이미지로부터 상기 세분가능 객체를 세분화하는 단계는 상기 제 2 이미지의 상기 선택된 전경 지역에 GrabCut 오퍼레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법.
  12. 제 1 세분가능 객체를 포함하는 제 1 이미지를 등록하는 단계;
    상기 제 1 세분가능 객체와 외형상 유사한 시각적 특성들을 가지는 제 2 세분가능 객체를 포함하는 제 2 이미지를 등록하는 단계;
    상기 제 1 이미지로부터 다수의 제 1 특징 포인트를 추출하는 단계;
    상기 제 2 이미지로부터 다수의 제 2 특징 포인트를 추출하는 단계;
    상기 다수의 제 1 특징 포인트 중 적어도 일부와 상기 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 1 및 제 2 이미지들 중 적어도 하나를 위한 다수의 매칭된 특징 포인트들을 식별하는 단계;
    상기 식별된 다수의 특징 포인트들을 전경 지역 또는 배경 지역으로 분류하는 단계; 및
    상기 전경 지역으로 분류된 다수의 매칭된 특징 포인트들에 기초하여 상기 제 1 이미지에 포함된 제 1 세분가능 객체 또는 상기 제 2 이미지에 포함된 제 2 세분가능 객체를 세분화하는 단계;를 포함하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
  13. 제 12 항에 있어서, 상기 제 1 및 제 2 세분가능 객체들 중 적어도 하나를 세분화하는 단계는 상기 제 1 및 제 2 이미지들 중 적어도 하나에 GrabCut 오퍼레이션을 수행하는 것을 포함하는 것을 특징으로 하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
  14. 제 12 항에 있어서, 상기 다수의 제 1 특징 포인트들과 상기 다수의 제 2 특징 포인트들이 SIFT 특징 포인트들을 포함하는 것을 특징으로 하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
  15. 세분화된 객체를 포함하는 제 1 이미지를 등록하는 단계;
    상기 제 1 이미지의 상기 세분화된 객체와 외형상 시각적 특성들이 유사한 세분가능 객체를 포함하는 제 2 이미지를 등록하는 단계;
    상기 제 1 이미지로부터 다수의 제 1 특징 포인트들을 추출하는 단계;
    상기 제 2 이미지로부터 다수의 제 2 특징 포인트들을 추출하는 단계;
    상기 다수의 제 1 특징 포인트 중 적어도 일부와 상기 다수의 제 2 특징 포인트 중 적어도 일부를 매칭하고, 상기 제 2 이미지를 위한 다수의 매칭된 특징 포인트를 식별하는 단계;
    상기 제 2 이미지의 상기 식별된 다수의 특징 포인트들을 전경 지역 또는 배경 지역으로 분류하는 단계; 및
    상기 전경 지역으로 분류된 다수의 매칭된 특징 포인트들에 기초하여 상기 제 2 이미지에 포함된 세분가능 객체를 세분화하는 단계;를 포함하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
  16. 제 15 항에 있어서, 상기 제 2 이미지로부터 상기 세분가능 객체를 세분화하는 단계는 상기 제 2 이미지에 GrabCut 오퍼레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
  17. 제 15 항에 있어서, 상기 다수의 제 1 특징 포인트 및 상기 다수의 제 2 특징 포인트는 SIFT 특징 포인트들을 포함하는 것을 특징으로 하는 이미지 세분화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 기록매체.
KR1020090079358A 2008-08-27 2009-08-26 이미지 세분화 방법 및 컴퓨터 판독가능 수단 KR101035990B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/199,515 US8254678B2 (en) 2008-08-27 2008-08-27 Image segmentation
US12/199,515 2008-08-27

Publications (2)

Publication Number Publication Date
KR20100025489A KR20100025489A (ko) 2010-03-09
KR101035990B1 true KR101035990B1 (ko) 2011-05-23

Family

ID=41725545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090079358A KR101035990B1 (ko) 2008-08-27 2009-08-26 이미지 세분화 방법 및 컴퓨터 판독가능 수단

Country Status (2)

Country Link
US (1) US8254678B2 (ko)
KR (1) KR101035990B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147512A (ko) 2015-06-15 2016-12-23 한화테크윈 주식회사 전경 추출 방법 및 장치
KR20170032033A (ko) 2015-09-14 2017-03-22 한화테크윈 주식회사 전경 추출 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
CN102156995A (zh) * 2011-04-21 2011-08-17 北京理工大学 一种运动相机下的视频运动前景分割方法
US8336761B1 (en) * 2011-09-15 2012-12-25 Honeywell International, Inc. Barcode verification
CN103106265B (zh) * 2013-01-30 2016-10-12 北京工商大学 相似图像分类方法及系统
US9443134B2 (en) * 2014-05-15 2016-09-13 Adobe Systems Incorporated Propagating object selection across multiple images
US20150363660A1 (en) 2014-06-12 2015-12-17 Asap54.Com Ltd System for automated segmentation of images through layout classification
CN104504708B (zh) * 2014-12-26 2017-02-22 大连理工大学 一种基于毗邻图像特征点集的dsa脑血管图像自动分割方法
CN107909589B (zh) * 2017-11-01 2020-10-09 浙江工业大学 一种结合C-V水平集和GrabCut算法的牙齿图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353798B1 (ko) 1999-12-01 2002-09-26 주식회사 코난테크놀로지 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
KR20050027219A (ko) * 2002-07-01 2005-03-18 마이크로소프트 코포레이션 스트림에 내장된 반복하는 미디어 객체를 식별하고분할하는 시스템 및 방법
KR20060004678A (ko) * 2003-04-21 2006-01-12 닛본 덴끼 가부시끼가이샤 영상 오브젝트 인식 장치 및 인식 방법, 영상 애너테이션부여 장치 및 부여 방법과 프로그램
KR20070009174A (ko) * 2005-07-15 2007-01-18 황후 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7676081B2 (en) 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US20070165966A1 (en) * 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353798B1 (ko) 1999-12-01 2002-09-26 주식회사 코난테크놀로지 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
KR20050027219A (ko) * 2002-07-01 2005-03-18 마이크로소프트 코포레이션 스트림에 내장된 반복하는 미디어 객체를 식별하고분할하는 시스템 및 방법
KR20060004678A (ko) * 2003-04-21 2006-01-12 닛본 덴끼 가부시끼가이샤 영상 오브젝트 인식 장치 및 인식 방법, 영상 애너테이션부여 장치 및 부여 방법과 프로그램
KR20070009174A (ko) * 2005-07-15 2007-01-18 황후 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147512A (ko) 2015-06-15 2016-12-23 한화테크윈 주식회사 전경 추출 방법 및 장치
KR20170032033A (ko) 2015-09-14 2017-03-22 한화테크윈 주식회사 전경 추출 방법 및 장치
US9972094B2 (en) 2015-09-14 2018-05-15 Hanwha Techwin Co., Ltd. Foreground extracting method and apparatus

Also Published As

Publication number Publication date
KR20100025489A (ko) 2010-03-09
US8254678B2 (en) 2012-08-28
US20100054596A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
KR101035990B1 (ko) 이미지 세분화 방법 및 컴퓨터 판독가능 수단
US8775401B2 (en) Shape based picture search
US9424277B2 (en) Methods and apparatus for automated true object-based image analysis and retrieval
US7801893B2 (en) Similarity detection and clustering of images
KR100708067B1 (ko) 디지털 영상 검색 장치 및 그 방법
US20160048849A1 (en) Method and system for clustering and classifying online visual information
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
WO2013059521A1 (en) Visual search using multiple visual input modalities
JPWO2014132349A1 (ja) 画像解析装置、画像解析システム、画像解析方法
WO2011054002A2 (en) Content-based image search
JP2009251850A (ja) 類似画像検索を用いた商品推薦システム
CN110020093A (zh) 视频检索方法、边缘设备、视频检索装置及存储介质
Danish et al. A survey: content based image retrieval based on color, texture, shape & neuro fuzzy
Shaikh et al. A contemporary approach for object recognition based on spatial layout and low level features’ integration
Jayanthiladevi et al. Text, images, and video analytics for fog computing
Devareddi et al. Review on content-based image retrieval models for efficient feature extraction for data analysis
US8611695B1 (en) Large scale patch search
Ko et al. Microscopic cell nuclei segmentation based on adaptive attention window
US7755646B2 (en) Image management through lexical representations
CN108804476B (zh) 图像搜索结果的排序方法、装置、电子设备和存储介质
Phadikar et al. A comprehensive assessment of content-based image retrieval using selected full reference image quality assessment algorithms
CN112836510A (zh) 一种产品图片文字识别方法和系统
KR100754157B1 (ko) 멀티미디어 콘텐츠를 위한 데이터베이스 구축 방법
Mosorov A main stem concept for image matching
Shambharkar et al. A comparative study on retrieved images by content based image retrieval system based on binary tree, color, texture and canny edge detection approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140422

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150507

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee