KR101180570B1 - 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법 - Google Patents

전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법 Download PDF

Info

Publication number
KR101180570B1
KR101180570B1 KR1020117009217A KR20117009217A KR101180570B1 KR 101180570 B1 KR101180570 B1 KR 101180570B1 KR 1020117009217 A KR1020117009217 A KR 1020117009217A KR 20117009217 A KR20117009217 A KR 20117009217A KR 101180570 B1 KR101180570 B1 KR 101180570B1
Authority
KR
South Korea
Prior art keywords
pixel
foreground
color
adjacent
color space
Prior art date
Application number
KR1020117009217A
Other languages
English (en)
Other versions
KR20110084405A (ko
Inventor
리끼오 오나이
다까히로 하야시
다쯔야 기요노
마사야 모리
마사히로 산조
Original Assignee
라쿠텐 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라쿠텐 인코포레이티드 filed Critical 라쿠텐 인코포레이티드
Publication of KR20110084405A publication Critical patent/KR20110084405A/ko
Application granted granted Critical
Publication of KR101180570B1 publication Critical patent/KR101180570B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

유저에 의해 지정된 전경 픽셀 및 배경 픽셀을 기준 픽셀로 하여, 3차원의 분할색 공간 중, 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로 하고, 각 기준 픽셀과 인접 픽셀의 색의 거리를 산출함과 함께 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하고, 각 인접 픽셀에 대해서 산출된 상기 색의 거리와 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하고, 상기 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하고, 상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 상기 확정 처리를 반복하여 행함으로써, 화상으로부터 전경 영역을 고속으로 추출한다.

Description

전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법{FOREGROUND AREA EXTRACTING PROGRAM, FOREGROUND AREA EXTRACTING APPARATUS AND FOREGROUND AREA EXTRACTING METHOD}
본 발명은, 화상으로부터 물체 영역을 클립핑하는 기술의 분야에 관한 것이다.
화상으로부터의 물체 영역(전경 영역)의 추출은, 사진이나 동화상의 가공 등 많은 장면에서 이용되고 있다. 이와 같은 물체 영역의 추출 기술로서는, 예를 들면, 물체 영역 상에 유저가 그은 암시선(cue line)과, 배경 영역 상에 유저가 그은 암시선으로부터, 물체 영역을 추출하는, 예를 들면 Lazy Snapping의 로직 등의 기술(비특허 문헌 1 참조)이 알려져 있다. Lazy Snapping의 특징은, 영역 내에 수개 암시선을 그리는 것만으로 물체 영역 추출을 실현하고 있는 점에 있고, 또한, 선을 1개 추가할 때마다, 축차적으로 물체 영역의 재추출이 행해지므로, 유저는 추출 결과를 보면서 선의 추가, 삭제를 행할 수 있다.
비특허 문헌 1 : Y. Li, J. Sun, C. K. Tang and H. Y. Shum, "Lazy Snapping," ACM Transactions on Graphics(TOG), Vol.23, Issue.3, pp.303-308, Aug.2004.
그러나, 상술한 바와 같은 종래의 물체 영역의 추출 기술에서는, 예를 들면 암시선을 추가하는 등으로 하여, 최종적으로 유저가 원하는 물체 영역을 클립핑할 수 있지만, 그 물체 영역을 정확하게 클립핑할 때까지 시간이 걸리는 경우도 있다.
본 발명은, 이와 같은 문제 등에 감안하여 이루어진 것으로, 그 과제의 일례는, 고속으로 물체 영역(전경 영역)을 클립핑하는 것이 가능한 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 청구항 1에 기재된 전경 영역 추출 프로그램의 발명은, 컴퓨터를, 화상을 표시시키는 표시 제어 수단, 상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 그 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 수단, 상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 수단, 상기 각 기준 픽셀과 이것에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 수단, 각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 수단, 상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 수단, 및, 상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 수단으로서 기능시키고, 상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 상기 컴퓨터에 반복하여 행하게 함으로써, 상기 화상으로부터 전경 영역을 추출하도록 기능시키는 것을 특징으로 한다.
본 발명에 따르면, 유저가 원하는 물체 영역(전경 영역)을 고속으로 클립핑할 수 있다.
청구항 2에 기재된 발명은, 청구항 1에 기재된 전경 영역 추출 프로그램으로서, 상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하는 경우에는, 상기 가중치 부여가 작게 되는 것을 특징으로 한다.
청구항 3에 기재된 발명은, 청구항 1 또는 2에 기재된 전경 영역 추출 프로그램으로서, 상기 유저에 의해 지정되는 상기 전경 픽셀은, 상기 전경 영역 상에 나타나는 텍스쳐 패턴을 구성하는 서로 다른 적어도 2개의 색의 각각에 대응하는 전경 픽셀인 것을 특징으로 한다.
본 발명에 따르면, 텍스쳐 패턴이 화상 상에 있어도 정확하게 전경과 배경을 나눌 수 있다.
청구항 4에 기재된 발명은, 청구항 1 내지 3 중 어느 하나 한 항에 기재된 전경 영역 추출 프로그램으로서, 상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하지 않은 경우에는, 상기 코스트를 축적하고, 축적된 코스트가 임계값을 초과한 경우에, 전경과 배경을 반전시키는 것을 특징으로 한다.
본 발명에 따르면, 고립지(enclave)의 윤곽 부분에 안티 에일리어스(anti-alias)가 있어도, 고립지에 있어서 전경과 배경을 정확하게 반전시킬 수 있다.
청구항 5에 기재된 발명은, 화상을 표시시키는 표시 제어 수단과, 상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 그 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 수단과, 상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 수단과, 상기 각 기준 픽셀과 이것에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 수단과, 각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 수단과, 상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 수단과, 상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 수단을 구비하고, 상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 반복하여 행함으로써, 상기 화상으로부터 전경 영역을 추출하는 것을 특징으로 한다.
청구항 6에 기재된 발명은, 컴퓨터에 의해 행해지는 전경 영역 추출 방법으로서, 화상을 표시시키는 표시 제어 공정과, 상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 그 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 공정과, 상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 공정과, 상기 각 기준 픽셀과 이것에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 공정과, 각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 공정과, 상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 공정과, 상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 공정을 포함하고, 상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 반복하여 행함으로써, 상기 화상으로부터 전경 영역을 추출하는 것을 특징으로 한다.
본 발명에 따르면, 유저에 의해 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하고, 각 기준 픽셀과 이것에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행함과 함께 각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행한 후에, 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하고, 또한, 상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하고, 상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 반복하여 행함으로써, 상기 화상으로부터 전경 영역을 추출하도록 구성하였으므로, 유저가 원하는 물체 영역(전경 영역)을 고속으로 클립핑할 수 있다.
도 1은 본 실시 형태에 따른 화상 편집 장치 S의 개요 구성예를 나타내는 도면.
도 2는 시스템 제어부(6)에서의 전경 영역 추출 처리의 일례를 나타내는 플로우차트.
도 3은 전경 영역 상 및 배경 영역 상에 그려진 암시선의 예를 나타내는 도면.
도 4는 RGB색 공간을 분할수 s의 그리드로 분할한 버킷을 나타내는 도면.
도 5는 텍스쳐 패턴의 일례를 나타내는 도면.
도 6은 전경 영역에 텍스쳐 패턴이 나타나 있는 경우에서, 등록된 전경색 클러스터 및 배경색 클러스터를 나타내는 도면.
도 7은 화상 상에서의 픽셀이 전경 또는 배경으로서 확정되어 가는 모습을 나타내는 도면.
도 8은 화상 상에 텍스쳐 패턴이 있는 경우에서의 grow 코스트의 크기를 나타내는 도면.
도 9는 화상 상에 안티 에일리어스가 있는 경우에, grow 코스트를 축적시키지 않은 경우(A)와, grow 코스트를 축적시킨 경우(B)와의 비교예를 나타내는 도면.
이하, 도면을 참조하여 본 발명의 최량의 실시 형태에 대해서 상세하게 설명한다. 이하에 설명하는 실시 형태는, 유저에 의해 그려진 암시선(손으로 그린 선)을 힌트로 전경, 배경을 나눔으로써 화상으로부터 물체 영역을 클립핑하는 화상 편집 장치에 대하여 본 발명을 적용한 경우의 실시 형태이다. 여기서 「전경」이란 인물이나 물품 등의 검색 대상을 표시하는 화상을 의미하고, 「배경」이란 검색 대상을 제외하는 화상을 의미한다.
도 1은, 본 실시 형태에 따른 화상 편집 장치 S의 개요 구성예를 나타내는 도면이다.
도 1에 도시한 바와 같이, 화상 편집 장치 S는, 조작부(1), 표시부(2), 드라이브부(3), 기억부(4), 입출력 인터페이스부(5), 및 시스템 제어부(6) 등을 구비하고 있고, 시스템 제어부(6)와 입출력 인터페이스부(5)는, 시스템 버스(system bus)(7)를 통하여 접속되어 있다. 또한, 화상 편집 장치 S로서는 퍼스널 컴퓨터를 적용할 수 있다.
조작부(1)는, 예를 들면, 키보드 및 마우스 등으로 이루어지고, 유저로부터의 조작 지시를 접수하여, 그 지시 내용을 지시 신호로서 시스템 제어부(6)에 출력한다.
표시부(2)는, 예를 들면, CRT(Cathode Ray Tube) 디스플레이, 액정 디스플레이 등으로 이루어지고, 문자나 화상 등의 정보를 표시한다.
드라이브부(3)는, 예를 들면, 플렉시블 디스크, CD(Compact Disc), DVD(Digital Versatile Disc) 등의 디스크 DK(기록 매체)로부터 데이터 등을 읽어내는 한편, 그 디스크 DK(기록 매체)에 대하여 데이터 등을 기록한다.
입출력 인터페이스부(5)는, 조작부(1) 내지 기억부(4)와 시스템 제어부(6)와의 사이의 인터페이스 처리를 행한다.
기억부(4)는, 예를 들면, 하드 디스크 드라이브 등으로 이루어지고, 오퍼레이팅 시스템(O/S), 각종 프로그램 및 데이터 등을 기억한다. 여기서, 기억부(4)에 기억되는 프로그램에는, 동화상 편집 어플리케이션 프로그램(본 발명의 전경 영역 추출 프로그램을 가짐) 등이 포함된다.
또한, 동화상 편집 어플리케이션 프로그램은, 예를 들면 CD-ROM 등의 디스크 DK에 기록되어 제공되거나, 혹은 네트워크 NW에 접속된 서버로부터의 다운로드에 의해 제공되고, 인스톨되어 이용된다.
시스템 제어부(6)는, CPU(Central Processing Unit)(6a), ROM(Read Only Memory)(6b), 및 메인 메모리와 화상 메모리로서 사용되는 RAM(Random Access Memory)(6c) 등을 구비하여 구성되어 있다. 그리고, 시스템 제어부(6)는, 상기 동화상 편집 어플리케이션 프로그램을 실행함으로써, 본 발명에서의 표시 제어 수단, 접수 수단, 분할색 공간 특정 수단, 색 거리 산출 수단, 소속 여부 판별 수단, 코스트 산출 수단, 및 확정 수단 등으로서 기능하고, 전경 영역 추출 처리를 행하도록 되어 있다.
여기서, 전경 영역 추출 처리에 대해서 도 2를 참조하여 설명한다.
도 2는, 시스템 제어부(6)에서의 전경 영역 추출 처리의 일례를 나타내는 플로우차트이다.
도 2에 도시한 처리는, 예를 들면, 동화상 편집 어플리케이션 프로그램이 기동함으로써 개시된다. 그 처리가 개시되면, 시스템 제어부(6)는, 유저로부터 조작부(1)를 통하여 지시된 동화상 중의 정지 화상을 표시부(2) 상에 표시시킨다(스텝 S1).
이어서, 시스템 제어부(6)는, 상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 그 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하고(스텝 S2), 확정된 전경 픽셀, 및 배경 픽셀로서 등록(RAM의 등록 영역에 기억)한다. 예를 들면, 전경 픽셀은, 유저가 마우스를 조작하여 원하는 전경 영역(물체 영역) 상에 암시선을 그림으로써 지정할 수 있고, 배경 픽셀은, 유저가 마우스를 조작하여 원하는 배경 영역 상에 암시선을 그림으로써 지정할 수 있다.
도 3은, 사진의 화상에 있어서, 전경 영역 상 및 배경 영역 상에 그려진 암시선의 예를 나타내는 도면이다. 도 3의 예에서는, 암시선(51)과 겹쳐 있는 복수의 픽셀이 전경 픽셀로서 지정되고, 암시선(52)과 겹쳐 있는 복수의 픽셀이 배경 픽셀로서 지정되게 된다. 또한, 도 3의 예에서는, 개(犬)의 물체 영역이, 유저가 원하는 전경 영역으로 되어 있다. 도 3 중, 유저가 원하는 전경 영역이 수목이면, 그 수목의 물체 영역이 전경 영역으로 되고, 개를 포함하는 다른 영역이 배경 영역으로 된다.
다음으로, 시스템 제어부(6)는, 분할색 공간 특정 처리를 행한다(스텝 S3). 이 분할색 공간 특정 처리에서는, 상기 지정된 적어도 1개의 전경 픽셀 및 적어도 1개의 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 RGB색 공간이 복수로 분할된 분할색 공간(이하, 「버킷」이라고 칭함) 중으로부터, 각 기준 픽셀이 속하는 기준 버킷이 특정된다.
도 4는, RGB색 공간을 분할수 s의 그리드로 분할한 버킷을 나타내는 도면이다. 도 4의 예에서는, R(레드), G(그린), B(블루)의 3개의 축을 갖고, 각각의 휘도를 0～255의 범위로 하는 RGB색 공간을 나타내고 있고, R, G, B가 각각 4분할(s=4)되어 있다. 이에 의해, RGB색 공간은, 64개의 버킷으로 분할되게 된다. 또한, 이 예에서는, 64개의 버킷으로 분할하였지만, 이것보다 적게 분할하여도 되고, 이것보다 많이 분할하여도 된다.
여기서, 기준 픽셀 p(=(pr, pg, pb))가 속하는 버킷 b(p)는, 이하의 수학식 1에 의해 산출할 수 있다.
Figure 112011030106365-pct00001
이렇게 하여, 도 4에 도시한 바와 같이, 전경 픽셀(61)이 속하는 기준 버킷(62)과, 배경 픽셀(63)이 속하는 기준 버킷(64)이 특정되게 되고, 기준 버킷(62)은 전경색 클러스터(바꿔 말하면, 전경색 그룹)로서 등록되고, 기준 버킷(64)은 배경색 클러스터(바꿔 말하면, 배경색 그룹)로서 등록된다(이와 같은, 클러스터 구분을, 버킷을 이용한 클러스터링법이라고 칭함). 또한, 상술한 암시선에 따르면, 전경 픽셀 및 배경 픽셀은 각각 암시선 상에 있는 픽셀에 대해서 복수 지정되고, 각각의 픽셀이 속하는 전경색 클러스터 또는 배경색 클러스터가 등록되게 된다.
그런데, 예를 들면, 전경 영역 상에, 도 5에 도시한 바와 같은 텍스쳐 패턴(모양의 연속)이 나타나 있는 경우가 있다. 이와 같은 텍스쳐 패턴에서는, 동일한 전경 영역에 있어서도 텍스쳐 패턴을 구성하는 적어도 2개의 색의 색 공간에서의 거리가 커지므로, 전경과 배경을 나누는 것이 곤란하게 된다. 따라서, 본 실시 형태에서는, 텍스쳐 패턴이 전경 영역 상에 나타나는 경우, 그 텍스쳐 패턴을 구성하는 서로 다른(색 공간에서의 색의 거리가 일정 거리 이상 떨어진) 적어도 2개의 색(도 5의 예에서는, 영역(71)에서의 색과, 영역(72)에서의 색)의 각각에 대응하는 전경 픽셀이 지정되도록 전경 영역 상에 유저가 암시선(73)을 그림으로써, 적어도 2개 전경색 클러스터를 등록시킨다. 이에 의해, 텍스쳐 패턴이 있어도, 후술하는 바와 같이 정확하게 전경과 배경을 나누는 것이 가능하게 된다.
도 6은, 전경 영역에 텍스쳐 패턴이 나타나 있는 경우에서, 등록된 전경색 클러스터 및 배경색 클러스터를 나타내는 도면이다. 이 경우, 도 6에 도시한 바와 같이, 2개 전경색 클러스터가 등록되게 되고, 각각의 전경색 클러스터에는, 텍스쳐 패턴을 구성하는 각 색에 대응하는 전경 픽셀이 각각 속하게 된다. 또한, 배경 영역에 텍스쳐 패턴이 나타나는 경우도 있고, 이 경우, 전경 영역과 마찬가지로, 적어도 2개의 배경색 클러스터가 등록된다.
다음으로, 시스템 제어부(6)는, 전경, 배경인지가 확정되어 있지 않은 픽셀이 있는지의 여부를 판별하고(스텝 S4), 있는 경우에는(스텝 S4 : "예"), 스텝 S5로 진행되고, 없는 경우에는(스텝 S4 : "아니오"), 전경과 배경의 구별이 완료된 것으로 되므로, 전경 영역을 유저가 원하는 물체 영역으로서 화상으로부터 클립핑하고(스텝 S10), 상기 처리를 종료한다.
한편, 스텝 S5에 있어서, 시스템 제어부(6)는, 기준 픽셀(전경 픽셀 또는 배경 픽셀)에 인접(상하 좌우의 어느 쪽인가에 인접)하는 인접 픽셀 중, grow 후보로서 아직 특정되어 있지 않은 1 또는 2 이상의 픽셀을 grow 후보로서 특정한다.
도 7은, 화상 상에서의 픽셀이 전경 또는 배경으로서 확정되어 가는 모습을 나타내는 도면이다. 도 7의 (A)의 예에서는, 초기 단계로서, 유저에 의해 지정된 전경 픽셀(81)에 인접하는 픽셀(83, 84)과, 유저에 의해 지정된 배경 픽셀(82)에 인접하는 픽셀(85, 86)이 grow 후보로서 특정되어 있다.
다음으로, 시스템 제어부(6)는, 특정한 각 grow 후보에 대하여 색 거리 산출 처리를 행한다(스텝 S6). 이 색 거리 산출 처리에서는, 기준 픽셀과 이것에 인접하는 grow 후보와의 RGB색 공간에서의 색의 거리가 산출된다. 이 색의 거리 D(pi, pj)는, 이하의 수학식 2에 의해 산출할 수 있다.
Figure 112011030106365-pct00002
여기서, pi(=(pi, r, pi, g, pi, b))는 grow처(destination) 픽셀(grow 후보)을, pj(=(pj, r, pj, g, pj, b))는 grow원(source) 픽셀(기준 픽셀)을 나타낸다.
다음으로, 시스템 제어부(6)는, 상기 색의 거리가 산출된 grow 후보가, 전경색 클러스터에 속하는지의 여부, 및 배경색 클러스터에 속하는지의 여부를 각각 판별하는 소속 여부 판별 처리를 행한다(스텝 S7). 이 소속 여부 판별 처리에서는, grow 후보 pi가 속하는 버킷 b(pi)가 상기 수학식 1에 의해 산출된다. 이와 같이, 버킷을 이용한 클러스터링법에 따르면, 그 grow 후보가 전경색 클러스터와 배경색 클러스터에 속하는지를, 종래의 예를 들면 k-means법(K개의 클러스터의 각각에 그 대표인 원형(prototype)(평균값(mean))을 부여하고, 각각의 개체를 가장 가까운 원형으로 할당함으로써 클러스터링을 행하는 방법)에 비해 고속(적은 계산량)으로 판별하는 것이 가능하게 된다.
또한, 상기 판별 결과를 나타내는 정보는 grow 후보에 대응지어져 기억된다.
다음으로, 시스템 제어부(6)는, grow 후보에 대해서 산출된 색의 거리 D(pi, pj)와, 그 grow 후보에 대해서 판별된 전경색 클러스터 및 배경색 클러스터에의 소속 여부에 기초한 가중치 부여에 기초하여, 각 grow 후보에 대한 grow 코스트를 산출하는 코스트 산출 처리를 행한다(스텝 S8). 이 grow 코스트 costi는, 이하의 수학식 3에 의해 산출할 수 있다.
Figure 112011030106365-pct00003
여기서, C1(pi) 및 C2(pi)는, 상기 클러스터에의 소속 여부에 기초한 가중치 부여를 나타내고 있다. 보다 구체적으로는, C1(pi)은 색의 거리 D(pi, pj)의 가중치 부여이며, 텍스쳐 패턴에의 대응을 의도한 것이다. 한편, C2(pi)는 grow 코스트의 축적 조건이며, 후술하는 고립지에의 대응을 의도한 것이다. 또한, costj는, grow원 픽셀이 grow 후보이었을 때의 grow 코스트를 나타낸다. 또한, 유저에 의해 지정된 픽셀의 경우, grow 코스트는 처음에 계산되지 않으므로 costj=0이다.
C1(pi)은 이하의 수학식 4에 의해 표현된다.
Figure 112011030106365-pct00004
여기서, grow원 픽셀 pj가 전경 픽셀인 경우, K1은 전경색 클러스터이며, K2는 배경색 클러스터인 한편, grow원 픽셀 pj가 배경 픽셀인 경우, K1은 배경색 클러스터이며, K2는 전경색 클러스터이다.
이 수학식 4에 의하면, grow원 픽셀 pj가 전경 픽셀인 경우에서, grow 후보 pi가 전경색 클러스터에만 속할 때 C1(pi)=1로 되고, grow 후보 pi가 전경색 클러스터 및 배경색 클러스터의 양방에 속하거나 혹은 전경색 클러스터 및 배경색 클러스터의 어느 쪽에도 속하지 않을 때 C1(pi)=2로 되고, grow 후보 pi가 배경색 클러스터에만 속할 때 C1(pi)=4로 된다. 한편, grow원 픽셀 pj가 배경 픽셀인 경우에서, grow 후보 pi가 배경색 클러스터에만 속할 때 C1(pi)=1로 되고, grow 후보 pi가 전경색 클러스터 및 배경색 클러스터의 양방에 속하거나 혹은 전경색 클러스터 및 배경색 클러스터의 어느 쪽에도 속하지 않을 때 C1(pi)=2로 되고, grow 후보 pi가 전경색 클러스터에만 속할 때 C1(pi)=4로 된다.
도 8은, 화상 상에 텍스쳐 패턴이 있는 경우에서의 grow 코스트의 크기를 나타내는 도면이다.
도 8에 도시한 바와 같이, 픽셀이 전경으로부터 전경(또는 배경으로부터 배경)으로 이행하는(움직이는) 경우에는 C1(pi)은 작아지므로 grow 코스트는 작아지는 한편, 픽셀이 전경으로부터 배경(또는 그 반대)으로 이행하는 경우에는 C1(pi)은 커지므로 grow 코스트는 커진다.
이에 의해, 가중치 부여의 값을 색의 거리 D(pi, pj)에 승산함으로써, 텍스쳐 패턴이 있어도 정확하게 전경과 배경을 나누는 것이 가능하게 된다.
또한, 수학식 4에서는, C1(pi)은, 1, 2, 4 중 어느 하나의 값을 취할 수 있도록 하였지만, 이 대소 관계가 중요하며, 예를 들면 0.5, 1, 2로 하여도 된다. 단, C1(pi)을 1, 2, 4로 하는 편이, grow 코스트의 계산을 정수 연산으로 할 수 있어, 잘라버림 오차를 생각하면, 이와 같이 2의 멱승으로 하는 것이 바람직하다.
한편, C2(pi)는 이하의 수학식 5에 의해 표현된다.
Figure 112011030106365-pct00005
이 수학식 5에 의하면, grow원 픽셀 pj가 전경 픽셀인 경우에서, grow 후보 pi가 전경색 클러스터에만 속할 때 C2(pi)=0으로 되고, grow 후보 pi가 전경색 클러스터에만 속하는 것이 아닐 때 C2(pi)=1로 된다. 한편, grow원 픽셀 pj가 배경 픽셀인 경우에서, grow 후보 pi가 배경색 클러스터에만 속할 때 C2(pi)=0으로 되고, grow 후보 pi가 배경색 클러스터에만 속하는 것이 아닐 때 C2(pi)=1로 된다.
즉, grow 후보 pi가 전경 또는 배경인 것이 명백한 경우, C2(pi)=0으로 되고, grow 코스트(costj)는 축적되지 않는다. 한편, grow 후보 pi가 전경 또는 배경인 것이 명백하지 않은 경우, C2(pi)=1로 되고, grow 코스트(costj)는 축적된다. 이와 같이 grow 코스트를 축적함으로써, 정확하게 고립지에의 대응을 도모할 수 있다.
여기서, 고립지란, 전경 영역에 둘러싸여진 배경 영역(또는 배경 영역에 둘러싸여진 전경 영역)을 의미하고, 예를 들면 도넛의 중앙 부분이 해당한다. 암시선을 힌트로 전경, 배경을 나누는 방법에서는, 상기 고립지 내에 암시선을 부가하지 않는 한, 예를 들면 전경 영역에 둘러싸여진 고립지를 배경으로서 시스템 제어부(6)가 인식할 수는 없다. 따라서, 고립지를 시스템 제어부(6)에 인식시키기 위해서는, grow 코스트가 임계값 T를 초과하였을 때에 전경과 배경을 반전시킬 필요가 있다. 또한, 임계값 T는, 이하의 수학식 6에 의해 산출할 수 있다.
Figure 112011030106365-pct00006
여기서, Fb는 최대 휘도 전경색을 나타내고, Fd는 최소 휘도 전경색을 나타내고, Bb는 최대 휘도의 배경색을 나타내고, Bd는 최소 휘도의 배경색을 나타낸다. 즉, 임계값 T는, 최대 휘도의 전경색 Fb와 최소 휘도의 배경색 Bd와의 거리 D(Fb, Bd)와, 최소 휘도의 전경색 Fd와 최대 휘도의 배경색 Bb와의 거리 D(Fd, Bb) 중 큰 쪽(max)으로 된다.
그러나, 고립지의 윤곽 부분(예를 들면 전경 영역과의 경계 부분)에는, 일반적으로, 안티 에일리어스(윤곽 부분의 불선명)가 있으므로, 그 윤곽 부분에 있어서 인접하는 픽셀간의 색의 거리는 작고, 따라서, 전경과 배경을 임계값 T에 의해 정확하게 반전시키는 것은 곤란하다. 따라서, 본 실시 형태에서는, 상술한 바와 같이, C2(pi)=1일 때에 grow 코스트(costj)를 축적시키고, grow 코스트를 증대시킴으로써, 고립지에 있어서 전경과 배경을 임계값 T에 의해 정확하게 반전시킬 수 있다.
도 9는, 화상 상에 안티 에일리어스가 있는 경우에서, grow 코스트를 축적시키지 않은 경우(A)와, grow 코스트를 축적시킨 경우(B)와의 비교예를 나타내는 도면이다.
도 9의 (A)의 예에서는, grow 코스트를 축적시키지 않으므로, 각 픽셀간에서 임계값 T를 초과할 수 없지만, 도 9의 (B)의 예에서는, grow 코스트를 축적시키므로, 픽셀(91)로부터 픽셀(92)로 이행할 때의 grow 코스트는 임계값 T를 초과할 수 있다.
그리고, 시스템 제어부(6)는, 이상과 같이 하여 각 grow 후보에 대한 grow 코스트를 산출하면, 그 산출된 grow 코스트가 가장 작은 grow 후보를 전경 픽셀 또는 배경 픽셀로서 확정하는 전경/배경 확정 처리를 행한다(스텝 S9). 예를 들면, 그 grow 후보와의 사이에서 색의 거리의 산출(상기 스텝 S6)이 행해진 기준 픽셀과 동일한 전경 또는 배경 픽셀로서 확정(예를 들면, 인접하는 기준 픽셀이 전경 픽셀이면 grow 후보는 전경 픽셀로서 확정)된다. 이렇게 하여 확정된 grow 후보는, 이후, 새로운 기준 픽셀로서 취급되게 된다.
도 7의 (B)의 예에서는, grow 코스트가 최소의 픽셀(85)이 배경 픽셀로서 확정됨으로써, 그 픽셀(85)에 인접하는 픽셀(87, 88)이, 새로운 grow 후보로서 특정되어 있다.
그리고, 시스템 제어부(6)는, 스텝 S4로 되돌아가고, 전경, 배경인지가 확정되어 있지 않은 픽셀이 있는지의 여부를 판별하고, 확정되어 있는 경우에는(스텝 S4 : "예"), 스텝 S5로 진행한다. 다음으로, 시스템 제어부(6)는, 새로운 기준 픽셀에 인접하는 인접 픽셀 중, grow 후보로서 특정되어 있지 않은 픽셀을 grow 후보로서 특정하고, 그 grow 후보에 대하여, 상기와 마찬가지로, 색 거리 산출 처리(스텝 S6), 소속 여부 판별 처리(스텝 S7), 코스트 산출 처리(스텝 S8), 및 전경/배경 확정 처리(스텝 S9)를 행한다. 이와 같은 처리가 grow 후보가 없어질 때까지 반복하여 행해짐으로써, 그 화상 상에서의 픽셀이 전경 또는 배경으로서 점차적으로 확정되어 가고, 도 7의 (C)에 도시한 바와 같이, 그 화상 상에서의 모든 픽셀이 전경 또는 배경으로서 확정되면, 상기 스텝 S10에서, 전경 영역이 유저가 원하는 물체 영역으로서 그 화상으로부터 클립핑된다.
또한, 도 7의 (C)의 상태에 근접해 감에 따라, 어떤 grow 후보에 인접하는 기준 픽셀이 복수개 생기는 경우가 있는데, 이러한 경우, 각 기준 픽셀과의 사이의 색의 거리 및 grow 코스트가 산출되게 되고, 그 grow 후보는, grow 코스트가 작은 쪽의 기준 픽셀과 동일한 전경 또는 배경으로서 확정되게 된다.
이상 설명한 바와 같이, 상기 실시 형태에 따르면, 유저에 의해 지정된 전경 픽셀 및 배경 픽셀의 각각가 속하는 각 기준 버킷을 특정하여 전경색 클러스터 및 배경색 클러스터를 사전에 등록해 두고, 전경 픽셀 또는 배경 픽셀에 인접하는 인접 픽셀을 grow 후보로서 특정하고, 각 grow 후보에 대하여 색 거리 산출 처리, 및 버킷을 이용한 클러스터링법에 의한 소속 여부 판별 처리를 행하고, 이것에 의해 얻은 색의 거리 D(pi, pj)와, 전경색 클러스터 및 배경색 클러스터에의 소속 여부에 기초한 가중치 부여에 기초하여, 각 grow 후보에 대한 grow 코스트를 산출하고, 그 grow 코스트가 가장 작은 grow 후보를 전경 픽셀 또는 배경 픽셀로서 확정하고, 이와 같은 처리를 grow 후보가 없어질 때까지 반복하여 행하도록 구성하였으므로, 유저가 원하는 물체 영역(전경 영역)을 고속으로 클립핑할 수 있다.
또한, 텍스쳐 패턴이 전경 영역 또는 배경 영역 상에 나타나는 경우, 그 텍스쳐 패턴을 구성하는 서로 다른 적어도 2개의 색의 각각에 대응하는 픽셀을 지정하여 각각의 클러스터(전경색 클러스터 또는 배경색 클러스터)를 등록시키고 나서, 상술한 바와 같이 grow 코스트를 계산하도록 구성하였으므로, 텍스쳐 패턴이 화상 상에 있어도 정확하게 전경과 배경을 나눌 수 있다.
또한, 상술한 축적 조건에 의해 grow 코스트를 증대시킴으로써, 고립지의 윤곽 부분에 안티 에일리어스가 있어도, 고립지에 있어서 전경과 배경을 정확하게 반전(invert)시킬 수 있다.
또한, 본 실시 형태에서의 화상 편집 장치 S의 이용 형태로서는, 퍼스널 컴퓨터에 있어서 독립적(stand-alone)으로 이용되는 것 외에도, 예를 들면 인터넷상에서 클라이언트에 대하여 여러 가지의 정보 제공 서비스를 행하는 Web 서버 등에 화상 편집 장치 S의 구성 및 기능을 구성하여 이용되는 것이어도 된다.
1 : 조작부
2 : 표시부
3 : 드라이브부
4 : 기억부
5 : 입출력 인터페이스부
6 : 시스템 제어부
7 : 시스템 버스
S : 화상 편집 장치

Claims (12)

  1. 화상을 표시시키는 표시 제어 수단과,
    상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 상기 표시된 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 수단과,
    상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 수단과,
    상기 각 기준 픽셀과 상기 각 기준 픽셀에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 수단과,
    각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 수단과,
    상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 수단과,
    상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 수단을 구비하고,
    상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 반복하여 행함으로써, 상기 화상으로부터 전경 영역을 추출하는 것을 특징으로 하는 전경 영역 추출 장치.
  2. 제1항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하는 경우에는, 상기 가중치 부여가 작게 되는 것을 특징으로 하는 전경 영역 추출 장치.
  3. 제1항에 있어서,
    상기 유저에 의해 지정되는 상기 전경 픽셀은, 상기 전경 영역 상에 나타나는 텍스쳐 패턴을 구성하는 서로 다른 적어도 2개의 색의 각각에 대응하는 전경 픽셀인 것을 특징으로 하는 전경 영역 추출 장치.
  4. 제1항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하지 않은 경우에는, 상기 코스트를 축적하고, 축적된 코스트가 임계값을 초과한 경우에, 전경과 배경을 반전시키는 것을 특징으로 하는 전경 영역 추출 장치.
  5. 컴퓨터에 의해 행해지는 전경 영역 추출 방법으로서,
    화상을 표시시키는 표시 제어 공정과,
    상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 상기 표시된 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 공정과,
    상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 공정과,
    상기 각 기준 픽셀과 상기 각 기준 픽셀에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 공정과,
    각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 공정과,
    상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 공정과,
    상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 공정을 포함하고,
    상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 반복하여 행함으로써, 상기 화상으로부터 전경 영역을 추출하는 것을 특징으로 하는 전경 영역 추출 방법.
  6. 제5항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하는 경우에는, 상기 가중치 부여가 작게 되는 것을 특징으로 하는 전경 영역 추출 방법.
  7. 제5항에 있어서,
    상기 유저에 의해 지정되는 상기 전경 픽셀은, 상기 전경 영역 상에 나타나는 텍스쳐 패턴을 구성하는 서로 다른 적어도 2개의 색의 각각에 대응하는 전경 픽셀인 것을 특징으로 하는 전경 영역 추출 방법.
  8. 제5항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하지 않은 경우에는, 상기 코스트를 축적하고, 축적된 코스트가 임계값을 초과한 경우에, 전경과 배경을 반전시키는 것을 특징으로 하는 전경 영역 추출 방법.
  9. 전경 영역 추출 프로그램이 컴퓨터 판독가능하게 기록되어 있는 기록 매체로서,
    상기 전경 영역 추출 프로그램은 컴퓨터를,
    화상을 표시시키는 표시 제어 수단,
    상기 표시된 화상에 포함되는 전경 영역 상에서의 적어도 하나의 전경 픽셀, 및 상기 표시된 화상에 포함되는 배경 영역 상에서의 적어도 하나의 배경 픽셀의 지정을 유저로부터 접수하는 접수 수단,
    상기 지정된 전경 픽셀 및 상기 지정된 배경 픽셀을 각각 기준 픽셀로 하여, 3차원의 색 공간이 복수로 분할된 분할색 공간 중으로부터, 각 상기 기준 픽셀이 속하는 분할색 공간을 기준 분할색 공간으로서 특정하는 분할색 공간 특정 처리를 행하는 분할색 공간 특정 수단,
    상기 각 기준 픽셀과 상기 각 기준 픽셀에 인접하는 인접 픽셀과의 상기 색 공간에서의 색의 거리를 산출하는 색 거리 산출 처리를 행하는 색 거리 산출 수단,
    각 상기 인접 픽셀이 상기 각 기준 분할색 공간에 속하는지의 여부를 판별하는 소속 여부 판별 처리를 행하는 소속 여부 판별 수단,
    상기 각 인접 픽셀에 대해서 산출된 상기 색의 거리와, 상기 각 인접 픽셀에 대해서 판별된 상기 기준 분할색 공간에의 소속 여부에 기초한 가중치 부여에 기초하여 상기 각 인접 픽셀에 대한 코스트를 산출하는 코스트 산출 처리를 행하는 코스트 산출 수단, 및,
    상기 산출된 코스트가 가장 작은 인접 픽셀을 전경 픽셀 또는 배경 픽셀로서 확정하는 확정 처리를 행하는 확정 수단으로서 기능시키고,
    상기 확정된 인접 픽셀을 기준 픽셀로 하여, 상기 색 거리 산출 처리, 상기 소속 여부 판별 처리, 상기 코스트 산출 처리, 및 상기 확정 처리를 상기 컴퓨터에 반복하여 행하게 함으로써, 상기 화상으로부터 전경 영역을 추출하도록 기능시키는 것을 특징으로 하는,
    전경 영역 추출 프로그램이 컴퓨터 판독가능하게 기록되어 있는 기록 매체.
  10. 제9항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하는 경우에는, 상기 가중치 부여가 작게 되는 것을 특징으로 하는, 전경 영역 추출 프로그램이 컴퓨터 판독가능하게 기록되어 있는 기록 매체.
  11. 제9항에 있어서,
    상기 유저에 의해 지정되는 상기 전경 픽셀은, 상기 전경 영역 상에 나타나는 텍스쳐 패턴을 구성하는 서로 다른 적어도 2개의 색의 각각에 대응하는 전경 픽셀인 것을 특징으로 하는, 전경 영역 추출 프로그램이 컴퓨터 판독가능하게 기록되어 있는 기록 매체.
  12. 제9항에 있어서,
    상기 기준 픽셀에 인접하는 인접 픽셀이, 상기 기준 분할색 공간에 속하지 않은 경우에는, 상기 코스트를 축적하고, 축적된 코스트가 임계값을 초과한 경우에, 전경과 배경을 반전시키는 것을 특징으로 하는, 전경 영역 추출 프로그램이 컴퓨터 판독가능하게 기록되어 있는 기록 매체.
KR1020117009217A 2008-09-25 2009-09-17 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법 KR101180570B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008245350A JP4963306B2 (ja) 2008-09-25 2008-09-25 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
JPJP-P-2008-245350 2008-09-25
PCT/JP2009/066245 WO2010035682A1 (ja) 2008-09-25 2009-09-17 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法

Publications (2)

Publication Number Publication Date
KR20110084405A KR20110084405A (ko) 2011-07-22
KR101180570B1 true KR101180570B1 (ko) 2012-09-06

Family

ID=42059683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117009217A KR101180570B1 (ko) 2008-09-25 2009-09-17 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법

Country Status (9)

Country Link
US (1) US8611648B2 (ko)
EP (1) EP2328127B1 (ko)
JP (1) JP4963306B2 (ko)
KR (1) KR101180570B1 (ko)
CN (1) CN102165487B (ko)
CA (1) CA2737115C (ko)
ES (1) ES2464345T3 (ko)
TW (1) TWI415030B (ko)
WO (1) WO2010035682A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066738A (ja) * 2009-09-18 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置
JP5840940B2 (ja) * 2011-12-16 2016-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム
JP2013196308A (ja) * 2012-03-19 2013-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN103577475B (zh) * 2012-08-03 2018-01-30 阿里巴巴集团控股有限公司 一种图片自动化分类方法、图片处理方法及其装置
JP6089886B2 (ja) * 2013-03-29 2017-03-08 オムロン株式会社 領域分割方法および検査装置
CN110827287B (zh) * 2018-08-14 2023-06-23 阿里巴巴(上海)有限公司 确定背景色置信度和图像处理的方法、装置及设备
CN109376592B (zh) * 2018-09-10 2021-04-27 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
CN112532882B (zh) * 2020-11-26 2022-09-16 维沃移动通信有限公司 图像显示方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100816607B1 (ko) 2003-10-21 2008-03-24 닛본 덴끼 가부시끼가이샤 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
WO2010018669A1 (ja) 2008-08-11 2010-02-18 オムロン株式会社 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528263A (ja) * 1991-07-17 1993-02-05 Photo Composing Mach Mfg Co Ltd カラー画像処理装置
KR960700484A (ko) * 1993-05-21 1996-01-20 이리마지리 쇼이찌로 화상처리 장치 및 방법(image processing device and method)
JPH0721346A (ja) * 1993-06-18 1995-01-24 Fujitsu Ltd 画像処理における限定色表示処理方法
JPH10340334A (ja) * 1997-06-09 1998-12-22 Fukiage Hiroshi デジタルカラ−静止画像の中の切り出す対象の輪郭を含めて太い線で明示的に指定した領域に基づいて対象の画像を切り出す方法
US6134345A (en) * 1998-08-28 2000-10-17 Ultimatte Corporation Comprehensive method for removing from an image the background surrounding a selected subject
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
US20040130546A1 (en) * 2003-01-06 2004-07-08 Porikli Fatih M. Region growing with adaptive thresholds and distance function parameters
US7508455B2 (en) * 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
JP2006039689A (ja) * 2004-07-22 2006-02-09 Nara Institute Of Science & Technology 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
US20060210159A1 (en) * 2005-03-15 2006-09-21 Yea-Shuan Huang Foreground extraction approach by using color and local structure information
US7720283B2 (en) * 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
US8064695B2 (en) * 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100816607B1 (ko) 2003-10-21 2008-03-24 닛본 덴끼 가부시끼가이샤 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
WO2010018669A1 (ja) 2008-08-11 2010-02-18 オムロン株式会社 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム

Also Published As

Publication number Publication date
CA2737115A1 (en) 2010-04-01
WO2010035682A1 (ja) 2010-04-01
EP2328127A4 (en) 2012-12-05
JP2010079477A (ja) 2010-04-08
ES2464345T3 (es) 2014-06-02
US8611648B2 (en) 2013-12-17
TW201020973A (en) 2010-06-01
JP4963306B2 (ja) 2012-06-27
CA2737115C (en) 2013-01-22
TWI415030B (zh) 2013-11-11
EP2328127B1 (en) 2014-02-26
KR20110084405A (ko) 2011-07-22
CN102165487B (zh) 2014-02-12
US20110164814A1 (en) 2011-07-07
CN102165487A (zh) 2011-08-24
EP2328127A1 (en) 2011-06-01

Similar Documents

Publication Publication Date Title
KR101180570B1 (ko) 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법
JP6705912B2 (ja) 画像内の文字領域を認識するための方法及び装置
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US9098767B2 (en) System and method for determining the informative zone of an image
KR20120061764A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
KR20040050909A (ko) 이미지의 영역들간 판별을 위한 방법 및 장치
CN107871321B (zh) 图像分割方法及装置
JP4898531B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム
JP2011039944A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9875555B2 (en) Partitioning an image
JP6948787B2 (ja) 情報処理装置、方法およびプログラム
JP2011087144A (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
JP2016075993A (ja) 画像処理装置及びその制御方法、プログラム
JP5158974B2 (ja) 注目領域抽出方法、プログラム、及び、画像評価装置
JP4870721B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体
JP5549286B2 (ja) 画像処理装置及び画像処理プログラム
JP5232107B2 (ja) 画像表示方法、プログラム、画像表示装置、及び、撮像装置
JP5001231B2 (ja) 領域抽出方法、領域抽出装置およびプログラム
JP5729383B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN115511909A (zh) 一种图像分割方法及装置
JPH11345308A (ja) モザイク画像構成方法、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160819

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 6