KR100423379B1 - 키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법 - Google Patents

키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법 Download PDF

Info

Publication number
KR100423379B1
KR100423379B1 KR1019970700184A KR19970700184A KR100423379B1 KR 100423379 B1 KR100423379 B1 KR 100423379B1 KR 1019970700184 A KR1019970700184 A KR 1019970700184A KR 19970700184 A KR19970700184 A KR 19970700184A KR 100423379 B1 KR100423379 B1 KR 100423379B1
Authority
KR
South Korea
Prior art keywords
image
key signal
change
foreground
pixel value
Prior art date
Application number
KR1019970700184A
Other languages
English (en)
Other versions
KR970705292A (ko
Inventor
다카시 도추카
다쿠 요코야마
도무 미추나가
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR970705292A publication Critical patent/KR970705292A/ko
Application granted granted Critical
Publication of KR100423379B1 publication Critical patent/KR100423379B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명에서는, 화상중, 키 신호 α 를 생성하는 대상으로 하는 부분을 전경 F로 하고, 이외의 부분을 배경 B로 함과 동시에, 그 화상을 구성하는 화소의 화소치를 C로 할 때, 식 C'=(F-B)α '를 만족하도록 키 신호 α 를 생성한다(단, '은 미분을 나타낸다). 구체적으로는, 변화 검출부(10)는, 화상을 구성하는 화소간의 화소치의 변화(C')를 산출하고, F-B 검출부(30)는, 전경(F)과 배경(B) 사이의 차분(F-B)을 산출한다. 그리고, 적분치 계산부(40)는, 변화(C')를 차분(F-B)으로 제산하고, 그 제산 결과를 적분함으로써, 키 신호(α )를 구한다. 그 결과, 본 발명에서는, 정확한 키 신호들을 얻을 수 있다.

Description

키 신호 생성 장치 및 화상 합성 장치와, 키 신호 생성 방법 및 화상 합성 방법{Key signal generating device, picture producing device, key signal generating method, and picture producing method}
예를 들면, 영화 그 밖의 영상 제작에 있어서, 화상(영상)의 각종 시뮬레이션을 행하거나, 혹은 화상에 특수 효과를 주는 경우에는, 화상으로부터, 주목하는 부분(물체)을 추출하거나, 그 추출한 부분을, 다른 화상으로 합성하는 것이 행해진다. 상기와 같은 화상으로부터의 일부를 추출하고, 합성은 키 신호를 사용하여 행해진다.
이러한 키 신호에 관한 기술로서, 그 일례가, 예를 들면 본 출원인에 의한 미국 출원 특허 제 4,488,169 호(등록일:1984. 12. 11)의 명세서 및 도면에서 제안되어 있다.
키 신호에는, 하드 키라고 불리는 것과, 소프트키라고 불리는 것이 있다. 예를 들면, 현재, 키 신호를 생성하는데 사용되는 화상내의 주목하는 부분을 전경(전경 화상)으로 함과 동시에, 그 이외의 부분을 배경(배경 화상)으로 하는 경우, 도 1A에 도시된 바와 같이, 화상에 있어서의 전경의 범위를 1로 하는 동시에, 배경의 범위를 0으로 한 2값의 키 신호(마스크 화상)가 하드 키라고 불린다. 이것에 대해, 화상에는 후술하는 에일리어스(alias)나 모션블러(motion blur)가 발생하지만, 이들을 고려하여, 0 및 1의 2값만이 아니고, 도 1B에 도시된 바와 같이, 0 내지 1의 범위의 연속된 실수치를 가질 수 있는 키 신호가 스프트키라고 불린다. 지금부터, 키 신호가 0 에서 1까지의 값을 갖는 영역을 그레이 영역이라고 한다.
즉, 하드 키는 급격한 경계선을 갖는 신호[키 신호가 0(또는 1)에서 1(또는 0)로 변하는 경계선의 경사가 급격하게 되어 있는 신호]이고, 또한, 소프트키는 원만한 경계선을 갖는 신호[키 신호가 0(또는 1)에서 1(또는 0)로 변하는 경계선의 경사가 원만한 신호]라고 할 수 있다.
여기서, 도 1A 및 도 1B에 도시된 α (알파 치)는 연속된 키 신호의 값을 나타내지만, 여기서는, 동시에, 화소 단위의 키 신호의 값도 나타내는 것으로 한다. 실제로는, 화소 단위의 키 신호로서는, 예를 들면, 연속된 키 신호를, 화소 범위 등으로 필터링하고, 그 화소의 중심에 있어 필터링 결과 등이 사용된다. 또한, 화상에 있어서, 전경과 배경의 경계 부분 화소의 화소치는, 전경 및 배경의 각 신호 성분을 중첩한 것으로 되지만, 이 때문에, α 는, 각 화소에 대하여, 전경이 얼마만큼 기여하고 있는가를 나타내는 기여율을 나타낸다고 할 수 있다.
그런데, 전경 및 배경 모두 정지하고 있는 경우에 있어서, 그 화상을 구성하고 있는 화소의 경계선에, 전경과 배경의 경계가 위치하고 있는 것은 드물고, 통상은, 도 2A에 도시된 바와 같이, 전경과 배경의 경계는, 유한의 크기를 갖는 화소의 내부에 존재한다. 그러나, 화소는, 화상을 구성하는 최소 단위이기 때문에, 그 내부에, 상술된 바와 같은 전경과 배경의 경계가 존재하더라도, 그 화소는, 도 2B에 도시된 바와 같이, 전경 또는 배경 중 어느 한쪽의 색이나 밝기(화소치)로 된다. 이 때문에, 전경과 배경의 경계는, 도 2C에 도시된 바와 같이, 화소의 경계선을 따라서 그려진다. 그리고, 이러한 화상 전체를 본 경우에는, 그 전경과 배경의 경계(화소의 경계선)부분에, 부자연스러운 깜박거림, 즉 에일리어스가 발생한다.
따라서, 키 신호로서, 전경과 배경의 경계선을 완만하게 나타낼 수 있다고 해도, 그 키 신호를 사용하여 화상 합성을 행한 결과 얻을 수 있는 합성 화상에는 에일리어스가 발생한다.
그리하여, 합성 화상에 발생하는 에일리어스를 방지하는 방법으로서, 예를 들어, 특허 공개 공보 소화 60-232787호 또는 특허 공개 공보 평 4-340671 호에 개시되어 있다. 일본 특허 공개 공보 소화 60-232787 호에 개시되어 있는 방법에서는, 하드 키를 사용하여 화상 합성을 행함과 동시에, 전경과 배경의 경계 부분만으로 로우 패스 필터(LPF)를 걸어, 그 경계 부분을 제외하고, 보기에 완만하도록 되어 있다. 이 방법에 있어서는, 하드 키가 사용되지만, 전경과 배경의 경계 부분에 LPF를 걸고 있기 때문에, 키 신호에 경사를 붙인 것, 즉 실질적으로는 소프트키를 사용하여 화상 합성이 행해진다고 할 수 있다.
또한, 특허 공개 공보 평4-340671호에 개시되어 있는 방법에서는, 전경과 배경의 경계상의 주목 화소를 중심으로 하는 블록을 설정하고, 그 블록 내의 전경 및 배경을 구성하는 화소 패턴으로부터, 키 신호(소프트키)를 산출하고, 이것을 사용하여 전경을 추출하고, 전경과 배경의 합성을 행함으로써, 에일리어스를 저감하도록 되어 있다.
그러나, 상술한 방법에서 사용되는 소프트키는, 그 경사부분(도 1B에 있어서의 0< a < 1의 부분), 즉 그레이 영역에서의 α 값이 동일한 것이기 때문에, 예를 들어, 전경이 움직이고 있는 경우에 발생하는 모션블러를 대처하는 것이 곤란한 과제가 있었다.
여기에서, 모션블러(동작이 흐려짐)에 대하여 간단히 설명한다. 동화상은 화상(정지 화상)이, 예를 들어, 프레임 단위 등으로 연속 표시되는 것으로 실현된다. 예를 들면, 현재, 화상 내를 좌로부터 우측으로 움직이는 원형상의 물체가 있는 것으로 하여, 그 물체의 이동 속도에 대하여, 프레임 주기가 무한소로 간주할 수 있을 정도로 짧은 시간으로 한 경우에, 그 물체는, 도 3A에 도시된 바와 같이, 각 프레임에 있어서 원형상의 물체로서 표시된다. 그러나, 원형상의 물체의 이동 속도에 대하여, 프레임 주기가 무한소로 간주할 수 있을 정도로 짧은 시간이 아닌 경우, 어떤 시각 t2에 있어서의 프레임의 화상은, 도 3B에 도시된 바와 같이, 그 1개 이전의 프레임의 시각 t1에서 시각 t2까지의 물체의 움직임을 반영한 화상이 된다. 즉, 시각 t2에 있어서의 프레임 화상내의 물체는 원형상의 것이 아니고, 그 움직임 방향으로 얇게 확산된 윤곽이 흐려지게 된다. 이러한 현상이 모션블러라고 불린다.
또한, 모션블러는 전경 또는 배경 중 어느 한쪽만이 움직이고 있는 경우의 이외에, 양자가 독립하여 움직이고 있는 경우도 생기지만, 배경만이 움직이고 있는 경우 및 양자가 독립하여 움직이고 있는 경우는 배경을 기준으로 하면, 어느 것이나 전경만이 움직이고 있는 경우와 같이 생각할 수 있다. 또한, 모션블러가 생기고 있는 경우에는 전경과 배경의 명확한 경계는 존재하지 않는다.
상술한 것과 같은 모션블러를 고려한 키 신호를 생성하는 방법으로서는, 예를 들어, 특허 공개 공보 평 5-153493 호 또는 특허 공개 공보 평 5-236347 호에 개시되어 있다. 특허 공개 공보 평5-153493호에 개시되어 있는 방법에서는, 현재의 프레임과, 그 1개 이전의 프레임을 비교함으로써, 현재의 프레임(또는, 그 1개 이전의 프레임)의 전경을 구성하는 화소의 화소치와, 1개 이전의 프레임(또는, 현재의 프레임)의 그 화소에 대응한 화소치와의 변화량(크기)의 프레임 전체에 대한 총합을 구하여, 그 총합치로부터, 소프트키의 그레이 영역을 결정하게 되어 있다. 그러나, 이 방법에 있어서는, 소프트키가 상술한 화소치의 변화량(동일한 화소의 화소치의 차분)에 의존하여 구해지기 때문에, 전경의 움직임의 방향이 고려되어 있지 않고, 그 움직임에 대응한 정확한 소프트키를 얻을 수 있는지 여부가 불명확하였다.
한편, 특허 공개 공보 평5-236347호에 개시되어 있는 방법에서는, 우선 하드키를 생성하고, 전경과 배경의 경계상의 각 점에 있어서, 그의 하드 키의 측면(도 1A에 도시된 α =1의 부분을 저면으로 하는 원주의 측면)을 타원방추로 절삭하는것으로, 소프트키를 생성하게 되어 있고, 상기의 경우에 있어서, 타원방추의 저면을 구성하는 타원의 긴축 및 단축은, 주목하고 있는 부분의 동작 스펙트럼과 에지 강도의 크기로써 결정되도록 되어 있다. 그러나, 상기 방법에 있어서는, 에지 강도(edge intensity)의 방향이 정확하게 고려되어 있지 않고, 역시, 전경의 움직임에 대응한 정확한 소프트키를 얻을 수 있는지 여부가 명확하지 않았다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로서, 모션블러를 정확히 대처할 수 있고, 또한, 에일리어스의 영향을 저감하는 키 신호를 생성할 수 있도록 하는 것이다.
본 발명은, 키 신호 생성 장치 및 화상 합성 장치와, 키 신호 생성 방법 및 화상 합성 방법에 관한 것이다. 특히, 본 발명은 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 그 화소치의 변화에 근거하여, 키 신호를 생성함으로써, 정확한 키 신호를 얻을 수 있도록 한 키 신호 생성 장치 및 화상 합성 장치와, 키 신호 생성 방법 및 화상 합성 방법에 관한 것이다.
도 1A는 하드 키를 설명하기 위한 도면이고, 도 1B는 소프트키를 설명하기 위한 도면.
도 2A 내지 도 2C는 에일리어스를 설명하기 위한 도면.
도 3A 및 도 3B는 모션블러를 설명하기 위한 도면.
도 4는 화상의 국소적인 텍스쳐(texture)와 동일하다고 생각되는 것을 도시한 도면.
도 5는 모션블러가 생기고 있는 화상의 산출 방법을 설명하기 위한 도면.
도 6은 모션블러의 효과를 주는 필터 처리를 도시한 도면.
도 7은 모션블러의 효과를 고려한 전경 F와 키 신호 α 를 도시한 도면.
도 8은 모션블러의 효과를 준 전경 F와 국소적인 텍스쳐와 동일하다고 생각되는 것을 도시한 도면.
도 9는 화소가 유한의 크기를 갖는 경우에 에일리어스가 발생하는 것을 도시한 도면.
도 10은 본 발명을 적용한 키 신호 생성 장치의 제 1 실시예의 구성을 도시한 블록도.
도 11은 도 10의 키 신호 생성 장치의 동작을 설명하기 위한 플로우챠트.
도 12는 도 10의 변화 검출부(10)의 구성예를 도시한 블록도.
도 13은 도 12의 변화 검출부(10)의 동작을 설명하기 위한 플로우챠트.
도 14는 소벨 오퍼레이터(sobel operator)를 도시한 도면.
도 15는 도 13의 스텝 S1-2의 처리를 설명하기 위한 도면.
도 16은 도 10의 특징점 검출부(20)의 구성예를 도시한 블록도.
도 17은 도 16의 특징점 검출부(20)의 처리를 설명하기 위한 도면.
도 18은 도 16의 특징점 검출부(20)의 동작을 설명하기 위한 플로우챠트.
도 19는 도 10의 F-B 검출부(30)의 구성예를 도시한 블록도.
도 20은 도 19의 미소 영역 검출부(31)의 처리를 설명하기 위한 도면.
도 21은 도 19의 차분 연산부(34)의 처리를 설명하기 위한 도면.
도 22는 도 19의 F-B 검출부(30)의 동작을 설명하기 위한 플로우챠트.
도 23은 도 11의 스텝 S5의 처리를 설명하기 위한 도면.
도 24는 도 10의 적분치 계산부(40)의 구성예를 도시한 블록도.
도 25는 도 24의 적분치 계산부(40)의 처리를 설명하기 위한 도면.
도 26은 도 24의 적분치 계산부(40)의 동작을 설명하기 위한 플로우챠트.
도 27은 도 10의 키 신호 생성부(50)의 구성예를 도시한 블록도.
도 28은 도 27의 키 신호 생성부(50)의 처리를 설명하기 위한 도면.
도 29는 도 27의 키 신호 생성부(50)의 동작을 설명하기 위한 플로우챠트.
도 30은 본 발명을 적용한 키 신호 생성 장치의 제 2 실시예의 구성을 도시한 블록도.
도 31은 도 30의 특징점 검출부(60)의 구성예를 도시한 블록도.
도 32는 도 31의 세선화부(61)의 처리를 설명하기 위한 도면.
도 33은 본 발명을 적용한 키 신호 생성 장치의 제 3 실시예의 구성을 도시한 블록도.
도 34는 도 33의 적분치 계산부(70)의 처리를 설명하기 위한 도면.
도 35는 도 33의 키 신호 생성 장치의 동작을 설명하기 위한 플로차트.
도 36은 도 33의 적분치 계산부(70)의 구성예를 도시한 블록도.
도 37은 도 36의 적분치 계산부(70)의 동작을 설명하기 위한 플로우챠트.
도 38은 본 발명을 적용한 화상 합성 장치의 제 1 실시예의 구성을 도시한 블록도.
도 39는 본 발명을 적용한 화상 합성 장치의 제 2 실시예의 구성을 도시한 블록도.
도 40은 도 39의 정보 생성 장치(90)의 구성예를 도시한 블록도.
본 발명에 따른 키 신호 생성 장치는, 화상을 구성하는 화소간의 화소치의 변화를 검출하는 변화 검출 수단과, 변화 검출 수단에 의해 출력되는 화소치의 변화에 근거하여, 키 신호를 생성하는 키 신호 생성 수단을 구비한다.
본 발명에 따른 화상 합성 장치는, 제 1 화상을 구성하는 화소간의 화소치의 변화를 검출하는 변화 검출 수단과, 변화 검출 수단에 의해 출력되는 화소치의 변화에 근거하여, 키 신호를 생성하는 키 신호 생성 수단과, 키 신호 생성 수단에 의해 생성된 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상 배경 화상을 합성하는 합성 수단을 구비한다.
본 발명에 따른 키 신호 생성 방법은, 화상을 구성하는 화소간의 화소치의 변화를 검출하여, 화소치의 변화에 근거하여, 키 신호를 생성한다.
본 발명에 따른 화상 합성 방법은, 제 1 화상을 구성하는 화소간의 화소치의변화를 검출하고, 화소치의 변화에 근거하여, 키 신호를 생성하여, 그 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성한다.
본 발명에 따른 키 신호 생성 장치에 있어서, 변화 검출 수단은 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 키 신호 생성 수단은 변화 검출 수단에서 출력되는 화소치의 변화에 근거하여, 키 신호를 생성한다.
본 발명에 따른 화상 합성 장치에 있어서, 변화 검출 수단은 제 1 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 키 신호 생성 수단은 변화 검출 수단에서 출력되는 화소치의 변화에 근거하여, 키 신호를 생성한다. 합성 수단은, 키 신호 생성 수단에 의해 생성된 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성한다.
본 발명에 따른 키 신호 생성 방법에 있어서는, 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 화소치의 변화에 근거하여, 키 신호를 생성한다.
본 발명에 따른 화상 합성 방법에 있어서는, 제 1 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 화소치의 변화에 근거하여, 키 신호를 생성하며, 그 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성한다.
이하, 본 발명의 실시 형태를 설명하지만, 그 이전에, 청구의 범위에 기재된 발명의 각 수단과, 이하에 설명하는 실시 형태와의 대응 관계를 명확하게 하기 위해서, 각 수단 뒤의 괄호 내에, 대응하는 실시예(단지, 일례)를 부가하여, 본 발명의 특징을 기술하면, 다음과 같이 된다.
즉, 본 발명에 따른 키 신호 생성 장치는, 화상으로부터 키 신호를 생성하는 키 신호 생성 장치에 있어서, 화상을 구성하는 화소간의 화소치의 변화를 검출하는 변화 검출 수단[예를 들어, 도 10, 도 30, 도 33에 도시된 변화 검출부(10) 등]과, 변화 검출 수단에서 출력되는 화소치의 변화에 근거하여, 키 신호를 생성하는 키 신호 생성 수단[예를 들어, 도 10, 도 30에 도시된 적분치 계산부(40)라든지, 도 33에 도시된 적분치 계산부(70) 및 키 신호 생성부(50) 등]을 구비한다.
본 발명에 따른 키 신호 생성 장치는, 화상이 전경 화상과 배경 화상으로 이루어지고, 전경 화상과 배경 화상의 차분을 검출하여, 그 차분을 나타내는 차분 정보를 출력하는 차분 검출 수단[예를 들어, 도 10, 도 30에 도시된 F-B 검출부(30)등]을 또한 구비하고, 변화 검출 수단이 화소치의 변화를 나타내는 변화 정보를 출력하여, 키 신호 생성 수단이 차분 정보 및 변화 정보에 근거하여, 키 신호를 생성한다.
본 발명에 따른 키 신호 생성 장치는, 키 신호 생성 수단이 차분 정보에 의해, 변화 정보를 규격화하여, 그 결과 얻어지는 규격화 정보를 출력하는 규격화 수단[예를 들어, 도 24에 도시된 규격화 실행부(42) 등]과, 소정의 적분 경로를 따라서, 규격화 정보를 적분하는 적분 실행 수단[예를 들어, 도 24에 도시된 적분 실행부(43) 등]을 구비한다.
본 발명에 따른 키 신호 생성 장치는, 키 신호 생성 수단이 적분 범위를 검출하는 범위 검출 수단[예를 들어, 도 36에 도시된 적분 경로 결정부(71) 등]과, 적분 범위에서, 변화 정보를 소정의 적분 경로에 따라 적분하고, 그 적분 범위에서의 변화 정보의 정적분 정보를 생성하는 정적분 정보 생성 수단[예를 들어, 도 36에 도시된 정적분치 산출부(72) 등]과, 정적분 정보에 의해, 변화 정보를 규격화하고, 그 결과 얻어지는 규격화 정보를 출력하는 규격화 수단[예를 들어, 도 36에 도시된 규격화 실행부(73)등]과, 규격화 정보를 적분함으로써, 키 신호를 생성하는 적분 실행 수단[예를 들어, 도 36에 도시된 적분 실행부(74) 등]을 구비한다.
본 발명에 따른 화상 합성 장치는, 적어도 전경 화상 및 배경 화상으로 이루어진 제 1 화상과, 적어도 배경 화상으로 이루어진 제 2 화상을 수신하고, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성하는 화상 합성 장치에 있어서, 제 1 화상을 구성하는 화소간의 화소치의 변화를 검출하는 변화 검출 수단[예를 들어, 도 10, 도 30, 도 33에 도시된 변화 검출부(10) 등]과, 변화 검출 수단에서 출력되는 화소치의 변화에 근거하여, 키 신호를 생성하는 키 신호 생성 수단[예를 들어, 도 10, 도 30에 도시된 적분치 계산부(40)라든지, 도 33에 도시된 적분치 계산부(70) 등]과, 키 신호 생성 수단에 의해 생성된 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성하는 합성 수단[예를 들어, 도 38에 도시된 믹서(85)라든지, 도 39에 도시된 믹서(96) 등]을 구비한다.
본 발명에 따른 화상 합성 장치는, 제 1 화상의 전경 화상과 배경 화상의 차분을 검출하고, 그 차분을 나타내는 차분 정보를 출력하는 차분 검출 수단[예를 들어, 도 10, 도 30에 도시된 F-B 검출부(30) 등]을 더 구비하고, 변화 검출 수단이 화소치의 변화를 나타내는 변화 정보를 출력하고, 키 신호 생성 수단이 차분 정보 및 변화 정보에 근거하여, 키 신호를 생성한다.
또한, 물론 상기 기재는, 각 수단을 상술된 것에 한정되는 것을 의미하는 것이 아니다.
다음, 본 발명의 이론적 원리에 대하여 설명한다. 또한, 설명을 간단히 하기 위해서, 여기에서는 화상은 1차원의 화상으로 한다.
현재, 1차원의 화상(C)을 구성하는 위치(좌표) x에서의 화소의 화소치를 C(x)로 한다. 그리고, 화상(C)이 전경(전경 화상)(F)과 배경(배경 화상)(B)으로 구성되는 것으로 하고, 전경(F), 배경(B)을 구성하는 위치 x의 화소의 화소치를 각각 F(x), B(x)로 한다. 또한, 화상(C)에서 전경(F)을 추출하기 위한 키 신호의 위치 x에서의 값(위치 x에서의 전경(F)의 기여율)을 α (x)로 한다. 단지, α (x)는 0이상 1이하의 범위를 갖고, 완전히, 전경(F) 또는 배경(B)을 구성하는 화소의 위치에서는 각각 1 또는 0이 되는 것으로 한다. 그리고, 전경(F)과 배경(B)이 혼합되어 있는 화소의 위치에서는 전경(F)의 화소치의 기여 정도에 따른 값이 되는 것으로 한다.
상기의 경우, 화상(C)을 구성하는 화소의 화소치 C(x)는 전경(F)을 구성하는 화소의 화소치 F(x)와 배경(B)을 구성하는 화소의 화소치 B(x)가 키 신호 α (x)에 대응한 비율로 합성된 것으로 고려할 수 있고, 따라서, 화소치 C(x)는 다음 식 1로 나타낼 수 있다.
Figure pct00001
여기에서, 상술된 에일리어스는 화소가 유한의 크기를 갖기 때문에 발생하고, 또한, 모션블러는 전경(F) 또는 배경(B) 중 어느 한쪽이 움직이고 있는 경우와, 그 양방이 독립하여 움직이고 있는 경우에 생긴다. 그리하여, 이하에서는,
[1] 전경(F) 및 배경(B)이 정지되어 있고, 화소가 무한소라고 간주되는 경우
[2] 전경(F) 또는 배경(B)이 움직이고 있고, 화소가 무한소라고 간주되는 경우
[3] 전경(F) 및 배경(B)이 정지하고 있고, 화소가 유한의 크기를 갖는 경우
[4] 전경(F) 또는 배경(B)이 움직이고 있고, 화소가 유한의 크기를 갖는 경우의 4개의 경우로 나누어 설명한다.
[1] 전경(F) 및 배경(B)이 정지하고 있고, 화소가 무한소라고 간주되는 경우
상기의 경우는 전경(F) 및 배경(B)이 정지하고 있기 때문에, 모션블러는 생기지 않고, 또한 화소가 무한소라고 간주되기 때문에, 에일리어스도 생기지 않는다. 따라서, 키 신호 α (x)는 0 또는 1 중의 어느 값을 갖고, 그 값이 1로 되는 위치 x는 전경(F)의 존재 범위와 일치한다.
여기에서, 식 1을 x로 미분하면, 식 2를 얻게 된다. 또한, 이하에서는 적합하게 함수의 인수(x)의 기재는 생략한다.
Figure pct00002
단지, '는 미분을 나타낸다.
통상의 화상을 고려한 경우, 전경(F) 및 배경(B)의 텍스쳐(화소치)는 같지 않고, 도 4에 도시된 바와 같이 변화하고 있다. 그러나, 전경(F) 및 배경(B)을, 예를 들어 화소 단위 등으로 국소적으로 본 경우에는, 상기 도 4에 도시된 바와 같이, 그 텍스쳐는 동일하다고 생각할 수 있다. 따라서, 국소적으로는 화소치(F) 및 화소치(B)는 정수로 간주할 수 있고, 그 결과, 미분치(F') 및 미분치(B')는 어느 것이나 0이라고 생각할 수 있다. 이것으로부터, 식 2는 다음 식 3과 같이 고쳐 쓸수 있다.
Figure pct00003
식 3의 좌변의 미분치(C')는, 화상(C)을 구성하는 화소치 C(x)를 x로 미분한 것이기 때문이고, 화상(C)을 구성하는 화소간의 화소치의 변화를 나타낸다. 식 3으로부터, 화상(C)의 화소간의 화소치의 변화 C'(x)와, 키 신호의 미분치 α'(x)는 전경(F)의 화소치 F(x)와 배경(B)의 화소치 B(x)의 차분 F(x)- B(x)를 비례 정수로하는 비례 관계에 있는 것을 알 수 있다.
[2] 전경(F) 또는 배경(B)이 움직이고 있고, 화소가 무한소라고 간주되는 경우
현재, 물체가 움직이고 있는 화상을 생각한 경우, 도 3에서 설명한 바와 같이 현 프레임의 화상에는 모션블러가 생긴다. 즉, 현 프레임의 화상은 현 프레임의 1개 이전의 프레임으로부터 현 프레임까지 동안의 물체의 움직임을 반영한 것으로 된다 따라서, 현 프레임과 그 1개 이전의 프레임의 시각을 각각 t2, t1로 하고, 화상(C)의, 어떤 위치 x 화소의, 시각 t에서의 화소치를 Ct(x)로 한 경우, 시각 t2에 있어서의 위치 X의 화소의 화소치 Ct2(X)는, 도 5A에 도시된 바와 같이, 시각 t1내지 t2간에, 위치 x의 화소를 통과한 화상 Sx(t)의 시간 적분으로 나타낼 수 있다. 즉, 화소치 Ct2(x)는 다음 식 4로 나타낼 수 있다.
Figure pct00004
그러나, 시각 t1내지 t2사이에, 위치 x의 화소를 통과한 화상 Sx(t)는, 현 프레임의 화상 또는 그 1개 이전의 프레임의 화상으로부터는 알 수가 없다. 그리하여, 현재, 현 프레임의 시각 t2에 있어서, 위치 X에 있는 화상을 St2(x)로 하면, 위치 x1내지 x2의 범위에 있는 화상 각각은 화상 St2(x1) 내지 St2(x2)로 된다. 상기의 경우에 있어서, 시각 t1내지 t3사이에, 화상 St2(x1) 내지 St2(x2)가 위치 x에 있는화소를 통과하여, 이것에 의해, 시각t2에 있어서의 위치의 화상의 화소치 Ct2(x)가 화상 St2(x1) 내지 St2(x2)의 영향을 받은 것으로 하면, 도 5B에 도시된 바와 같이 화소치 Ct2(x)는 시각 t1내지 t2사이에, 위치 x의 화소를 통과한 화상 Sx(t)의 시간 적분과 같고, 시각 t2에 있어서 위치 x1내지x2의 범위에 있는 화상 St2(x1) 내지 St2(x2)의 공간 적분으로 나타낼 수 있다. 즉, 화소치 Ct2(x)는 다음 식 5로 나타낼 수 있다.
Figure pct00005
그런데, 시각 t2에 있어서의 정지 화상(모션블러가 생기지 않는 화상)을 S(x)로 하고, 정지 화상에 대하여, 모션블러의 효과를 주는 필터를 R(x)로 하면, 식 5의 우변은 도 6에 도시된 바와 같이 S(x)와 R(x)가 콘벌루션 적분과 같다. 따라서, 식 5는 식 6과 같이 고쳐 쓸 수 있다.
Figure pct00006
단지, *는 콘벌루션 적분을 나타낸다.
그리하여, 전경(F), 배경(B)에 모션블러의 효과를 주는 각 필터를, 각각 RF(x), RB(x)로 한다. 그리고, 본 실시예에 있어서는, 키 신호 α (x)는, 전경(F)과 동시에 움직이기 때문에, 도 7A에 도시된 바와 같이, 전경(F)에 대하여, 필터 RF(x)에 의해 모션블러의 효과를 주는 경우에는, 도 7B에 도시된 바와 같이, 키 신호 α (x)에도, 동일한 필터 Rf(x)에 의해 모션블러의 효과를 줄 필요가 있는 것을 고려하여, 전경(F), 배경(B), 키 신호α 에, 모션블러의 효과를 주어, 식 1을 고쳐 쓰면, 다음 식 7과 같이 된다.
Figure pct00007
그리고, 식 7을 x로 미분하면, 식 8과 같이 된다.
Figure pct00008
여기에서, 예를 들어, 도 8에 도시된 바와 같이, 모션블러의 효과를 준 전경(F), 즉 전경(F)을 필터(Rf)에서 필터링하여 얻어지는 화상의 텍스쳐는 국소적으로 보면, 도 4에 있어서의 경우와 같이, 역시 같다고 간주할 수 있다. 그리고, 이것은 배경의 화소치(B)에 대하여도 마찬가지라고 말할 수 있다.
따라서, 국소적으로는, 필터링된 화소치 F*Rf 및 B*Rb는 정수로 간주할 수 있고, 그 결과, 이들의 미분치(F*Rf)' 및 (B*Rb)'는 어느 것이나 0이라고 생각할 수 있다. 그러므로, 식 8은 다음 식 9와 같이 고쳐 쓸 수 있다.
Figure pct00009
식 9로부터, 화상(C)의 화소간의 화소치의 변화(C')와, 모션블러의 효과를 고려한 키 신호의 미분치(α * Rf)'란, 같은 모션블러의 효과를 고려한 전경은 화소치(F*Rf)와 배경의 화소치(B*Rb)의 차분(F*Rf - B*Rb)을 비례 정수로 하는 비례관계에 있는 것을 알 수 있다.
[3] 전경(F) 및 배경(B)이 정지하고 있고, 화소가 유한의 크기를 갖는 경우
화소의 크기가 무한소라고 간주되는 경우에는, 도 9A에 도시된 바와 같이, 화소치는 위치 x에 대하여 원만하게 변화하지만, 화소가 유한의 크기를 갖는 경우에는, 화소치는 도 9B에 도시된 바와 같이, 위치 x에 대하여 스텝 형상으로 변화하기 때문에, 도 9A에 도시된 신호를 단지 샘플링한만큼에서는, 전경(F)과 배경(B)의 경계에서, 상술된 바와 같이 에일리어스를 발생한다. 상기 에일리어스를 감소하기 위해서는, 도 9A에 도시된 바와 같이 화소치를 산출하기 위해서 로우 패스 필터 G(x)로 화소치를 필터링한 후에 샘플링하는 방법, 즉 화소 위치에서, 화소치와 로우 패스 필터 G(x)의 콘벌루션 적분 결과 얻게 되는 값을 새로운 화소치로 하는 방법이 있다. 그리하여, 이와 같이 로우 패스 필터 G(x)에 의해 에일리어스를 감소한 화상을 생각한 경우, 그 화소치(새로운 화소치) C(x)는 식 1로부터, 다음 식 10으로 나타낼 수 있다.
Figure pct00010
그리고, 식 10을 x로 미분하면, 다음 식 11과 같이 된다.
Figure pct00011
여기에서, 전경의 화소치(F) 및 배경의 화소치(B)를 로우 패스 필터(R)에서 필터링한 결과 얻어지는 화상의 텍스쳐는 어느 것이나 국소적으로 보면, 도 4의 경우와 같이 역시 같다고 간주할 수 있다.
따라서, 국소적으로는, 필터링된 화소치(F*G 및 B*G)는 어느 것이나 정수로간주할 수 있고, 그 결과, 이들의 미분치(F*G)' 및 (B*G)'는 어느 것이나 0이라고 생각할 수 있다. 이 것에서, 식 11은 다음 식 12와 같이 고쳐 쓸 수 있다.
Figure pct00012
또한, 도 4에서 설명한 바와 같이, 국소적으로 보면, 화소치(F 및 B)는 어느 것이나 정수라고 간주할 수 있기 때문에, 식 12는 또한, 다음 식 13과 같이 고쳐 쓸 수 있다.
Figure pct00013
식 13으로부터, 화상(C)의 화소간의 화소치의 변화(C')와, 에일리어스를 저감하는 키 신호의 미분치(α *G)'란, 전경의 화소치(F)와 배경의 화소치(B)의 차분(F-B)을 비례 정수로 하는 비례 관계에 있는 것을 알 수 있다.
[4] 전경(F) 또는 배경(B)이 움직이고 있고, 화소가 유한의 크기를 갖는 경우
상기의 경우는 상술한 식1, 7 및 10으로부터, 화소치(C)는 다음 식 14로 나타낼 수 있다.
Figure pct00014
식 14를 x로 미분하면, 다음 식 15와 같이 된다.
Figure pct00015
여기에서, 전경의 화소치(F)를 필터(Rf)로 필터링하고, 또한 그것을 로우 패스 필터(G)로 필터링하여 얻어지는 화상의 텍스쳐는, 국소적으로 보면, 도 4에 있어서의 경우와 마찬가지로, 역시 같다고 간주할 수 있다. 그리고, 이것은 배경의 화소치(B)에 대하여도 같다고 말할 수 있다.
따라서, 국소적으로는 필터링된 화소치(F*Rf*G 및 B*Rb*G)는 정수로 간주할 수 있고, 그 결과, 이들의 미분치(F*Rf*G)', (B*Rb*G)'는 어느 것이나 0이라고 생각할 수 있다. 또한, 도 4에서 설명한 바와 같이, 국소적으로 보면, 전경의 화소치(F) 및 배경의 화소치(B)는 어느 것이나 정수라고 간주할 수 있다. 이것으로부터, 식 15는 다음 식 16과 같이 고쳐 쓸 수 있다.
Figure pct00016
식 16으로부터, 화상(C)의 화소간의 화소치의 변화(C')와, 모션블러의 효과를 고려하고, 또한, 에일리어스를 저감하는 키 신호의 미분치(α *Rf*G )'란 모션블러의 효과를 고려한 전경의 화소치(F*Rf)와 배경의 화소치(B*Rb)의 차분( F*Rf - B*Rb)을 비례 정수로 하는 비례 관계에 있는 것을 알 수 있다.
상술한 식 3, 식 9, 식 13 및 식 16으로부터, 상술된 [1] 내지 [4]의 어느 쪽의 경우도, 화상(C)의 화소간의 화소치의 변화(C')와, 키 신호의 미분치(α') 사이에는 비례 관계가 있고, 그 비례 정수는 화상(C)을 구성하는 전경의 화소치와 배경의 화소치의 차분(F-B)인 것을 알 수 있다. 즉, 화상(C)에 모션블러 또는 에일리어스가 발생하지 않아도, C'와 α '의 비례 관계는 성립하고, 또한, 화상(C)에 모션블러 또는 에일리어스가 발생하고 있는 경우에는, 그 모션블러의 영향을 고려한 키 신호(α ) 또는 에일리어스를 저감하는 키 신호(α )와, 화소치(C)사이에 대하여도, C'와 α '의 비례 관계는 성립한다. 그리고, 어느 쪽의 경우도, 비례 정수는화상(C)을 구성하는 전경의 화소치와 배경의 화소치의 차분(F-B)으로 된다.
따라서, 상기 비례 관계를 성립시키도록 한 키 신호(α )는 화상(C)에 모션블러가 발생하고 있는 경우에는, 그 모션블러의 영향을 고려한 것으로 되고, 또한, 화상(C)에 에일리어스가 발생하고 있는 경우에는, 그 에일리어스를 저감하는 것으로 된다. 본 발명은 이상 이론적 원리에 근거한 것이다.
도 10은 이상 원리에 근거하여, 키 신호를 생성하는 키 신호 생성 장치의 1 실시예의 구성을 보이고 있다. 변화 검출부(10)에는 키 신호를 생성하기 위한 화상(C)이 입력된다. 그리고, 변화 검출부(10)는 화상(C)의 화소간의 화소치의 변화(C')(변화 정보)를 산출(검출)하고, 상기 변화(C')를 특징점 검출부(20) 및 적분치 계산부(40)로 공급한다.
특징점 검출부(20)는 변화 검출부(10)로부터 공급되는 화소치의 변화(C')에 근거하여, 후술하는 경로 결정용 폐곡선 및 특징점을 검출하고, 이들의 경로 결정용 폐곡선 및 특징점을 F-B 검출부(30) 및 적분치 계산부(40)로 공급한다.
F-B 검출부(30)에는, 변화 검출부(10)로부터 화소치의 변화(C')가 특징점 검출부(20)로부터 경로 결정용 폐곡선 및 특징점이 각각 공급되는 것 외에, 변화 검출부(10)에 입력되는 화상과 동일한 화상(C)이 입력된다. 그리고, F-B 검출부(30)는 화상(C)의 전경의 화소치(F)와 배경의 화소치(B)의 차분(F-B)(차분 정보)을 연산(검출)하여, 이 차분(F-B)을 적분치 계산부(40)에 공급한다.
적분치 계산부(40)는 변화 검출부(10)로부터 공급되는 화소치의 변화(C'), 특징점 검출부(20)로부터 공급되는 경로 결정용 폐곡선 및 특징점, 및 F-B검출부(30)로부터 공급되는 차분(F-B)에 근거하여, 화상(C) 전체에 대응하는 키 신호(α )중 후술하는 뼈대 부분을 산출하여, 상기 뼈대 부분을 키 신호 생성부(50)에 공급한다.
키 신호 생성부(50)는 적분치 계산부(40)로부터 공급되는 뼈대 부분을 사용하여, 화상(C)에서 전경(F)을 추출하고, 또한, 그 추출한 전경(F)을 다른 화상과 합성하기 위한 키 신호를 생성한다. 즉, 적분치 계산부(40)가 출력하는 키 신호는 화상(C) 전체에 대응하는 키 신호(α )중, 뼈대 부분만 이고, 키 신호 생성부(50)는 키 신호의 뼈대 부분 이외의 부분을 보간하여, 화상(C) 전체에 대응하는 키 신호(α )를 생성한다.
다음, 도 11의 플로우챠트를 참조하여, 상기 키 신호 생성 장치의 구체적인 동작에 대하여 설명한다. 또한, 이하의 설명에서는 화상(C)은 x y 평면상의 화상, 즉 2차원의 화상인 것으로 한다.
스텝(S1)에 있어서, 키 신호를 생성하기 위한 화상(C)이 입력되면, 그 화상(C)은 변화 검출부(10) 및 F-B 검출부(30)로 공급된다. 그리고, 변화 검출부(10)는 화상(C)이 입력되면, 그 화상(C)의 화소간의 화소치의 변화(C')를 산출한다. 즉, 상기 스텝(S1)에서는 화상(C)을 구성하는 각 화소에 대하여, 상호 인접하는 화소간의, 예를 들어, 색 공간상의 거리가 산출되고, 이것이 화상(C)의 화소간의 화소치의 변화(상기의 경우는 색변화)(C')로서 출력된다.
구체적으로는, 도 10의 변화 검출부(10)은 구성예를 도 12에 도시한다. 화상(C)은 RGB 분해부(11)로 공급되고, RGB 분해부(11)는 화상(C)을 예를 들어,RGB(Red, Green, Blue) 공간에서의 각 축방향의 성분, 즉 R성분, G성분, B성분(이하, 적당하게, R, G, B 성분이라 한다)으로 분해한다. 이들의 R, G, B 성분은 1차 미분치 계산부(12R, 12G, 12B)에 각각 공급된다.
1차 미분치 계산부(12R, 12G, 12B)는 R, G, B 성분 각각의 1차 미분치(R,' G', B')를 계산하고, 각 성분의 변화(즉, 화상(C)이 존재하는 x y 평면에, 이것에 수직인 화소치를 나타내는 축을 첨가한 공간상에 있어서, 화상(C)의 화소치(각 성분)로 구성되는 곡면을 생각한 경우의, 그 곡면의 구배(gradient))의 방향 및 크기(벡터) R', G', B'를 산출한다. 그리고, R, G, B 성분의 각 변화의 벡터 R', G', B'는 벡터 합성부(13)에 공급된다.
벡터 합성부(13)는, 1차 미분치 계산부(12R, 12G, 12B)로부터 공급되는 벡터 R', G', B'를 합성하고, 즉, R, G, B 성분의 각 변화의 방향을 합성함과 동시에, 각각의 크기를 합성하여, 화상(C)의 화소간의 화소치의 변화(색변화)(C')를 산출한다.
여기에서, 도 13의 플로우챠트를 참조하여, 변화 검출부(10)의 동작에 대하여 설명한다.
스텝(S1-2)에 있어서, RGB 분해부(11)는, 화상(C)을, RGB 공간의 각 축방향의 성분, 즉 R, G, B 성분으로 분해한다. 또한, 화상(C)은 RGB 공간 이외의 색공간 예를 들어, YUV 공간에서의 Y, U, V 성분 등으로 분해하도록 해도 된다. 즉, 사용하는 색공간은 특히 한정되지 않는다. 또한, 화상(C)을 색공간의 각 축방향의 성분으로 분해하는 것 이외에, 거기에서, 휘도 성분만을 추출하여, 상기 휘도 성분만을대상으로, 후단의 처리를 행하도록 해도 무방하다. 그리고, 상기 스텝(S1-1)에서 얻어진 R, G, B 성분은 RGB 분해부(11)로부터 1차 미분 계산부(12R, 12G, 12B)에 각각 공급된다.
스텝(S1-2)에 있어서, 1차 미분 계산부(12R, 12G, 12B)는, R, G, B 성분이 공급되면, 이들의 R, G, B 성분의 1차 미분치 R', G', B'를 계산한다.
또한, 본 실시예에서는, 각 성분의 1차 미분치는, 예를 들어 각 성분과 소벨 오퍼레이터 등의 콘벌루션을 행함으로써 구할 수 있도록 이루어져 있다. 즉, 1차 미분 계산부(12R, 12G, 12B)에서는 R, G, B 성분 각각의 x 또는 y 방향 성분과, 도 14에 도시된 소벨 오퍼레이터 SOx또는 SOy의 콘벌루션을 행함으로써 얻어지는 값이 x 또는 y 방향의 1차 미분치(Fx, Fy)로 된다.
상기와 같이하여 구해진 R, G, B 성분의 1차 미분치, 즉, R, G, B 성분의 변화는, 그 크기(구배)가 각 화소에 있어서 최대가 되는 것이고, 따라서, 각 성분 변화의 방향은 에지 강도가 최대가 되는 방향에 일치한다. 즉, 상기 스텝(S1-2)에서는, 도 15에 도시된 바와 같이, 주목 화소(도 15에 있어서, 사선을 부가하고 있는 부분)에 대하여 360도 중 어느 방향 중, 에지 강도가 최대가 되는 방향에 일치하는 방향에 관하여 R, G, B 성분의 변화가 구해진다.
그리고, 1차 미분 계산부(12R, 12G, 12B)에서 각각 구해진 R, G, B 성분의 1차 미분치 R', G', B'(이들은 상술한 바와 같은 크기와 방향을 갖기 때문에 벡터이다)는 벡터 합성부(13)에 공급된다.
스텝(S1-3)에 있어서, 벡터 합성부(13)는 1차 미분치 R', G', B'를 합성하여, 화상(C)의 화소간의 화소치의 변화(색변화)(C')를 산출한다. 즉, 1차 미분치 R', G', B'를 각각(rx, ry), (gx, gy), (bx, by)로 나타냄과 동시에, C'를 (cx, cy)로 나타내는 것으로 하면[(a, b)의 a 또는 b는 각각 x 또는 y 성분을 나타낸다.], 상기 스텝(S1-3)에서는, 화소치의 변화(C')의 x 성분 cx, y 성분 cy가 식 rx+gx+bx, ry+gy+by에 의해서 구해진다. 그리고, 변화 검출부(10)에 있어서 상기와 같이 하여 구해진 화소치의 변화(C')는 특징점 검출부(20) 및 적분치 계산부(40)로 공급되고, 변화 검출부(10)에 있어서의 처리는 종료한다.
스텝(S2)(도 (11))에 있어서, 특징점 검출부(20)는 변화 검출부(10)로부터 화소치의 변화(C')가 공급되면, 그 화소치의 변화(C')에서 경로 결정용 폐곡선 및 특징점을 검출한다.
구체적으로는, 특징점 검출부(20)의 구성예를 도 16에 도시한다. 경계 검출부(21)에는, 변화 검출부(10)로부터의 화소치의 변화(C')가 공급된다. 그리고, 경계 검출부(21)는 화소치의 변화(C')에서 화상(C)을 구성하는 전경(물체)(F)과 배경(B)의 경계를 검출한다. 즉, 경계 검출부(21)는, 예를 들어 도 17A에 도시된 바와 같이, 화소치의 변화(C')가 큰 점(화소)을 검출하고, 그와 같은 점을 접속함으로써 구성되는 폐곡선(상기 폐곡선은 후술하는 적분 경로를 결정하기 위해 사용되기 때문에, 이하, 적당히, 경로 결정용 폐곡선이라고 한다)을 전경(F)과 배경(B)의 경계[화상(C)에서의 물체의 경계]로서 검출한다. 그리고, 경계 검출부(21)에서검출된 경로 결정용 폐곡선은 특징점 결정부(22)에 공급된다.
특징점 결정부(22)는, 예를 들어, 도 17B에 도시된 바와 같이, 경계 검출부(21)로부터 공급되는 경로 결정용 폐곡선상의 소정의 점을 특징점으로서 결정한다. 즉, 특징점 결정부(22)는 예를 들면, 경로 결정용 폐곡선을 구성하는 점 중, 그 곡률이 높은 점을 검출하고, 그 점을 특징점으로 결정한다.
또한, 특징점 결정부(22)는, 예를 들어, 도 17C에 도시된 바와 같이, 경로 결정용 폐곡선을 둘러싸는 폐곡선[동일한 도면 C에서 점선으로 도시된 부분]을 구하는 동시에, 그 폐곡선과 경로결정용 폐곡선으로 둘러싸인 배경(B)의 영역을 그 화소치의 변화(C')가 비교적 일정한 몇 개의 영역(이하, 적당히, 배경일정 영역이라고 한다)으로 분할한다. 또한, 특징점 결정부(22)는 경로 결정용 폐곡선을 배경 일정 영역 단위로 구획지어, 미소 구간으로 분할한다. 그리고, 특징점 결정부(22)는 각 미소 구간에 있어서의 중점을 검출하여, 그 점을 특징점으로서 결정한다.
여기에서, 도 18의 플로우챠트를 참조하여, 특징점 검출부(20)의 동작에 대하여 설명한다.
스텝(S2-1)에 있어서, 경계 검출부(21)는 변화 검출부(10)로부터 화소치의 변화(C')가 공급되면, 그 화소치의 변화(C')가 큰 점(화소)을 검출하고, 그와 같은 점을 접속함으로써, 경로 결정용 폐곡선을 검출한다. 그리고, 상기 경로 결정용 폐곡선은 특징점 결정부(22)로 공급된다.
스텝(S2-1)에 있어서, 특징점 결정부(22)는 경계 검출부(21)로부터 경로 결정용 폐곡선이 공급되면, 상술한 바와 같이 그 경로 결정용 폐곡선상의 소정의 점을 특징점으로서 결정한다. 그리고, 경계 검출부(21), 특징점 결정부(22)에 있어서 각각 얻어진 경로 결정용 폐곡선, 특징점은 F-B 검출부(30) 및 적분치 계산부(40)로 공급되고, 상기 특징점 검출부(20)에 있어서의 처리는 종료한다.
스텝(S3)(도 11)에 있어서, F-B 검출부(30)는 특징점 검출부(20)로부터 경로 결정용 폐곡선 및 특징점이 공급되면, 화상(C)을 구성하는 전경의 화소치(F)와 배경의 화소치(B)의 차분(F-B)을 산출한다.
구체적으로는, F-B 검출부(30)의 구성예를 도 19에 도시한다. 미소 영역 검출부(31)에는, 화상(C)(화상치) 이외에, 특징점 검출부(20)로부터 특징점 및 경로 결정용 폐곡선이 공급되고, 미소 영역 검출부(31)는, 예를 들어, 도 20A에 도시된 바와 같이, 특징점을 포함하는 미소 영역을 검출한다. 즉, 미소 영역 검출부(31)는, 예를 들어, 도 20A의 일부를 확대하여 도 20B에 도시된 바와 같이, 특징점에서 등거리에 있는 점에서, 경로 결정용 폐곡선을 미소한 선분으로 분할하고, 그 선분으로부터, 전경(F) 또는 배경(B)측에 소정의 거리(예를 들어, 4화소분의 거리 등)에 있는 범위를 미소 영역(도 20B에서 사선을 부가하고 있는 부분)에서 검출한다. 또한, 미소 영역 검출부(31)는 각 미소영역에 대하여, 그 영역에 포함되는 전경(F)을 구성하는 화소[경로 결정용 폐곡선보다 전경(F)측에 있는 화소, 즉 도 20B에서 좌측아래의 사선을 부가하고 있는 부분]를 추출하고, 그들 화소의 화소치(이하, 적당히, F 경계 화소치라고 한다)를 색분포 형성부(32F)로 공급하는 동시에, 배경(B)을 구성하는 화소[경로 결정용 폐곡선보다 배경(B)측에 있는 화소, 즉 도 B20에 있어서 오른쪽아래의 사선을 부가하고 있는 부분]를 추출하고, 그 화소의 화소치(이하, 적당히, B 경계 화소치라고 한다)를 색분포 형성부(32B)로 공급한다.
색분포 형성부(32F, 32B)는, 미소 영역 검출부(31)로부터 공급되는 각 미소 영역마다 F 경계 화소치, B 경계 화소치, 예를 들어, RGB 공간 등의 색 공간상에 있어서의 색분포를 각각 구하여, 중심 검출부(33F, 33B)에 각각 공급한다. 중심 검출부(33F, 33B)는 색분포 형성부(32F, 32B)로부터 공급되는 F 경계 화소치, B 경계 화소치의 색분포의 중심을 각각 구하고, 각 중심을 그레이 영역에서의 화소의 전경(F), 배경(B)의 화소치로서(의제하여), 차분 연산부(34)로 공급한다.
차분 연산부(34)는 예를 들어, 도 21에 도시된 바와 같이 중심 검출부(33F)에서 공급되는 F 경계 화소치의 색분포의 중심으로부터, 중심 검출부(33B)로부터 공급되는 B 경계 화소치의 색분포의 중심을 감산하여, 감산 결과를, 미소 영역(혹은 그 미소 영역에 포함되는 특징점)에 있어서의 전경(F)과 배경(B)의 차분(F-B)[전경의 화소치(F)와 배경의 화소치(B)의 화소치의 차분, 따라서, 이것도 C'와 마찬가지로, 벡터이다]로서 출력한다.
여기에서, 도 22의 플로우챠트를 참조하여, F-B 검출부(30)의 동작에 대하여 설명한다.
스텝(S3-1)에 있어서, 미소 영역 검출부(31)는 특징점 검출부(20)로부터 공급되는 특징점 및 경로 결정용 폐곡선에 근거하여, 도 20에서 설명한 미소 영역을 검출하고, 또한, 그 미소 영역에서의 F 경계 화소치 및 B 경계 화소치를 추출하고, 이들의 F 경계 화소치, B 경계 화소치를 각각 색분포 형성부(32F, 32B)에 공급한다.
스텝(S3-2)에 있어서, 색분포 형성부(32F, 32B)는, 어떤 미소 영역에서의 F 경계 화소치, B 경계 화소치의 R G B 공간상에 있어서의 색분포를 각각 구하여, 중심 검출부(33F, 33B)로 공급한다.
스텝(S3-3)에 있어서, 중심 검출부(33F, 33B)는, F 경계 화소치, B 경계 화소치의 색분포의 중심을 각각 산출(검출)하여, 차분 연산부(34)에 공급한다.
스텝(S3-4)에 있어서, 차분 연산부(34)는 중심 검출부(33F)에서 공급되는 F 경계 화소치의 색분포의 중심과, 중심 검출부(33B)에서 공급되는 B 경계 화소치의 색분포의 중심과의 차분 값을 구하고, 상기 차분 값을 미소 영역에 포함되는 특징점에서의 전경(F)과 배경(B)의 차분(F-B)으로서 출력한다.
스텝(S3-5)에 있어서, 상기와 같이 되어 있는 미소 영역에 포함되는 특징점에서의 전경(F)과 배경(B)의 차분(F-B)이 얻어진 후에는, 미소 영역 검출부(31)에 있어서 검출된 모든 미소 영역[특징점 검출부(20)에서 검출된 모든 특징점]에 대하여, 차분(F-B)이 구해졌는지 어떤지가 판정된다. 스텝(S3-5)에 있어서, 차분(F-B)이 아직, 모든 미소 영역에 대하여 구해지지 않았다고 판정된 경우, 스텝(S3-2)으로 되돌아가 차분(F-B)을 구할 수 없는 미소 영역을 대상으로, 스텝(S3-2) 이하의 처리가 행해진다. 한편, 스텝 (S3-5)에 있어서, 차분(F-B)이 모든 미소 영역에 대하여 구해졌다고 판정된 경우, 상기 F-B 검출부(30)에서의 처리는 종료한다. 그리고, 모든 미소 영역에 대하여 구해진 차분(F-B)은 적분치 계산부(40)로 공급된다.
또한, 상기와 같이 하여 얻어지는 전경(F)과 배경(B)의 차분(F-B)(벡터)의 방향은, 에지 강도가 최대가 되는 방향으로 일치(거의 일치)하며, 따라서, F-B의방향과 C'의 방향과는 일치(거의 일치)한다.
또한, 도 19에 도시된 F-B 검출부(30)에서는, 화소치의 변화(C')에서 얻어진 경로 결정용 폐곡선[전경(F)과 배경(B)의 경계]에 근거하여 미소 영역을 구하고, 상기 미소 영역에서 차분(F-B)을 구하도록 하였지만, F-B 검출부(30)에 있어서, 차분(F-B)을, 예를 들어, 다음과 같이하여 구하도록 하여도 무방하다. 구체적으로는, 예를 들어, F-B 검출부(30)에, 화상(C)의 프레임만이 아니고, 그 전후의, 동화상을 구성하는 프레임도 시계열적으로 입력하도록 한다. 그리고, F-B 검출부(30)는 현재 입력된 프레임을 다음 프레임이 입력될 때까지 기억하고, 키 신호를 생성하기 위한 화상(C)이 입력된 경우에 그 화상(C)의 프레임과, 기억되어 있는 그 1개 전의 프레임을 이른바 블록 매칭하고, 그 결과 및 필요하면 그 이전의 블록 매칭의 결과에 근거하여, 전경(F)과 배경(B)의 경계를 검출한다. 그리고, F-B 검출부(30)는 그 경계를 사용하여, 경계에서 추측되는 경로 결정용 폐곡선상의 특징점을 결정하고, 도 22의 스텝(S3-1, S3-2)에 있어서의 경우와 같이 각 특징점을 포함하는 미소 영역을 검출하고, 각 미소 영역마다 화상(C)을 구성하는 전경(F), 배경(B)의 각 분포를 인식하고, 이하, 도 22의 스텝(S3-3, S3-4)에 있어서의 경우와 같이, 전경(F), 배경(B) 각각의 색분포의 중심을 구하고, 또한, 배경(B)의 색분포의 중심의 위치에 대한 배경(F)의 색분포의 중심 위치의 방향, 및 양자의 색 공간상에서의 거리, 즉, 전경(F)과 배경(B)의 차분(F-B)을 구한다. 이 경우, 특징점 검출부(20)로부터 F-B 검출부(30)에 대하여는, 경로 결정용 폐곡선 및 특징점을 공급할 필요가 없다. 또한, 상술한 바와 같은 블록매칭을 사용하여, 전경(F)과 배경(B)의 경계를 검출하는방법에 관하여는, 예를 들어 특허출원 평 7-164792 호 등에, 그 상세한 설명이 개시되어 있다.
또한, 전경(F)과 배경(B)의 경계를 검출하는 방법은 상술한 바와 같은 화소치의 변화(C')를 사용하는 방법이라든지, 블록 매칭을 사용하는 방법에 한정되지 않고, 전경(F)과 배경(B)의 경계의 검출은, 예를 들어, 도 30에 있어서 후술하는 바와 같이, 사용자로부터의 지시에 의해서 행하도록 하는 것도 가능하다. 또한, 전경(F)과 배경(B)의 경계는 예를 들면, 사용자로부터의 지시에 의한 방법과, 화소치의 변화(C')를 사용하는 방법을 병용하여 검출하는 것도 가능하다. 또한, 전경(F)과 배경(B)의 경계는 예를 들면, 사용자로부터의 지시에 의한 방법과, 블록 매칭을 사용하는 방법을 병용하여 검출하는 것도 가능하다. 즉, 예를 들어, 최초의 프레임에 관하여는 전경(F)과 배경(B)의 경계를, 사용자로부터의 지시에 의해서 검출하고, 그 후 프레임에 관하여는 블록 매칭에 의해서 검출하도록 할 수 있다.
또한, 차분(F-B)을 검출하는 방법은, 상술한 방법에 한정되지 않고, 그 밖의 방법을 사용하는 것도 가능하다.
또한, 도 11에 도시된 플로우차트는, 스텝(S2)의 처리 후, 스텝(S3)의 처리를 행하도록 하였지만, 특징점 검출부(20)로부터 F-B 검출부(30)에 대하여, 경로 결정용 폐곡선 및 특징점을 공급할 필요가 없는 경우에는 스텝(S2)과 스텝(S3)의 처리는, 그 반대의 순서로 행하도록 하는 것도 가능하고, 동시에 행하도록 하는 것도 가능하다. 상기 스텝(S3)(도 11)에 있어서, 상기와 같이 하여 구해진 차분(F-B)은 F-B 검출부(30)로부터 적분치 계산부(40)에 공급된다.
스텝(S4)에 있어서, 적분치 계산부(40)는 변화 검출부(10)로부터 공급되는 하소치의 변화(C')를, F-B 검출부(30)로부터 공급되는 차분(F-B)의 절대값 ｜F-B｜에 의해서 규격화한다.
스텝(S5)에 있어서, 적분치 계산부(40)는 그 규격치 C'/ ｜F-B｜를, 예를 들어, 화소치의 변화(C')를 산출(검출)한 방향 등을 따라 적분함으로써, 키 신호(α )의 뼈대 부분을 산출한다.
구체적으로는, 상술한 바와 같이, 화상(C)의 화소간의 화소치의 변화(C')와, 키 신호의 미분치(α ') 사이에는 비례 관계가 있고, 그 비례 정수는 화상(C)을 구성하는 전경과 배경의 차분(F-B)인 것, 즉, 식 C' = (F-B) α '가 성립하는 것으로부터, 키 신호 α (p)는 다음 식 17에 의해서 구할 수 있다.
Figure pct00017
단지, α (p)는 화상(C)을 구성하는 위치(점) p(x, y)에 있어서의 화소에 대한 키 신호를 의미하며, F(p), B(p)는 각각 화상(C)을 구성하는 전경(F), 배경(B)의, 위치 P(x, y)에 있어서의 화소의 화소치를 의미한다. 또한, C(p)는 화상(C)을 구성하는 위치 p(x, y)에 있어서의 화소의 화소치를 의미한다. 또한, 이하, 적당히, 함수의 인수(p)의 기재는 생략한다.
따라서, 상술한 스텝(S)4에서는, 식 17의 오른쪽 변을 구성하는 C'/ ｜F-B｜, 즉 화소치의 변화(C')를 차분의 절대값 ｜F-B｜으로 규격화한 규격치가 구해지고, 상기 스텝(S5)에서는 식 17의 오른쪽 변에서의 적분, 즉, 예를 들면 화소치의변화(C')를 검출한 방향에 따라, 규격치 C'/ ｜F-B｜의 적분이 행하여진다. 화소치의 변화(C')를 그대로 적분하지 않고, 이것을 차분의 절대값 ｜F-B｜에서 규격화한 것을 적분함으로, 그 결과 얻어지는 값, 즉 키 신호(α )는 0 내지 1의 범위의 값을 갖는다.
여기에서, 스텝(S5)에서 행하여지는 적분에 대하여, 또한 상세히 설명한다. 예를 들어, 도 23에 도시된 바와 같이, 화상(C)이 존재하는 x y 평면에, 그것과 수직인 z 축을 설치한 공간을 고려하려, z 축방향으로 화소치를 잡으면, 그 공간에는 화소치로 형성되는 평면(곡면) V가 형성된다. 또한, 화상(C)이 컬러 화상이면, 화소치에는 상술한 바와 같이 RGB라든지 YUV 등의 3성분이 있지만, 여기에서는 설명을 간단히 하기 위해서, 화소치가 1성분인 것으로 한다.
상기의 경우, 화상(C)상의 어떤 점 p를 그대로, x y 평면과 수직인 직선과, 평면 V와의 교점에 있어서의 구배, 즉 위치 p에 있는 화소의 화소치 C(p)의 변화는 그 점C(p)에서 평면 V를 본 경우의 최대 경사 방향의 벡터[점C(p)에 있어서의 평면 V의 기울기를 계산함으로써 얻어지는 벡터]로서 나타낼 수 있다.
여기에서, 최대 경사 방향이란, 점 C(p)에 무한소의 크기의 볼을 둔 경우에, 그 볼이 굴러가는 방향이다.
현재, 점 C(p)에 볼을 두고, 그 볼이 점C(p)까지 낙하(굴러갔다)한 경우에, 그 볼이 평면 V상에 그린 궤적(경로)을 U로 하면, 식 17의 적분은 상기 경로(이하, 적당히, 최대 경사방향 경로라고 한다) U를 따라서의 적분을 의미하고, 또한, 식 17은 상기 적분을 행함으로, 위치 p에 있는 화소에 대한 키 신호 α (p)가 구해지는 것을 뜻하고 있다.
따라서, 위치 p0에 있는 화소에 대한 키 신호 α (p)를 알 수 있으면, 식 17로부터, 다음 식 18에 따라서, 위치 p에 있는 화소에 대한 키 신호 α (p)를 구할 수 있다.
Figure pct00018
단지, 오른쪽 상에 U를 붙인 적분 기호는 최대 경사 방향 경로 U를 따라서의 적분을 의미한다.
스텝(S5)에서는 예를 들면, 식 18의 오른쪽 변의 계산이 행해지는 것 등에 의해서, 키 신호(α )(키 신호의 뼈대 부분)를 구할 수 있다.
또한, 식 18의 오른쪽 변의 적분은, 반드시 최대 경사방향경로 U를 따라 행할 필요는 없다. 즉, 점 C(p)에서 점C(p0)까지의 경로로서, 최대 경사 방향 경로 U가 아닌 경로 U1(도 23)을 따라서 적분을 행하는 것도 가능하다. 즉, 식 18의 오른쪽 변의 적분은 최대 경사 방향 경로 U상의 각 점의 구배를 적분하는 것을 의미하기 때문에, 그 밖의 경로 U1을 따라서 적분해 가는 경우에는 그 경로 U1상의 각 점의 구배 중, 최대 경사방향 경로 U의 방향의 성분을 적분[따라서, 상기 적분도, 결국은 최대 경사방향 경로 U를 따라서의 적분과 동일하다고 할 수 있다]해감으로, 최대 경사 방향 경로 U를 따라서 적분을 행한 경우와 동일한 키 신호(α )를 구할 수 있다.
단지, 최대 경사 방향 경로 U이외의 경로를 따라서 적분을 행하는 경우는 최대 경사방향 경로 U를 따라서 적분을 행하는 경우와 비교하여 연산량이 증가하기 때문에, 적분은 최대 경사 방향 경로 U에 가능한 한 따르도록 행하는 것이 바람직하다.
상기와 같은 처리를 행하는 도 10의 적분치 계산부(40)의 구성예를 도 24에 도시한다. 특징점 검출부(20)로부터의 경로 결정용 폐곡선 및 특징점은 적분 경로 결정부(41)에 공급되고, 또한, 변화 검출부(10)로부터의 화소치의 변화(C') 및 F-B 검출부(30)로부터의 차분(F-B)은 규격화 실행부(42)로 공급된다.
적분 경로 결정부(41)는, 특징점 검출부(20)로부터 공급되는 경로 결정용 폐곡선 및 특징점에 근거하여, 식 18의 적분을 행하기 위한 적분 경로를 결정한다. 즉, 적분 경로 결정부(41)는 도 25A에 도시된 바와 같이 상기 경로 결정용 폐곡선의 법선 방향의 직선으로서, 특징점을 통과하는 것을 그 특징점에 대한 적분 경로로서 결정한다. 상기와 같이 하여 구해진 특징점에 대한 적분 경로는 규격화 실행부(42) 및 적분 실행부(43)로 공급된다. 또한, 이렇게 하여 결정된 적분 경로는 거의 최대경사 방향 경로 U를 따른 것으로 된다. 규격화 실행부(42)는 적분 경로 결정부(41)로부터 공급되는 적분 경로 상에 있는 화소의 화소치의 변화(C')를, 차분(F-B)의 절대값 ｜F-B｜로 규격화한 규격치 C'/ ｜F-B｜(규격화 정보)을 구하여, 적분 실행부(43)로 공급한다. 적분 실행부(43)는 식 18에 따라서, 규격치 C'/ ｜F-B｜의 적분을 적분 경로 결정부(41)로부터의 적분 경로를 따라서 행하여, 그 적분 경로상의 키 신호(α )를 구한다. 상기 적분 경로상의 키 신호(α )는 폐곡선생성부(44)에 공급된다.
폐곡선 생성부(44)는 적분 실행부(43)로부터 공급되는 키 신호α 에서 후술하는 P1 폐곡선 및 P2 폐곡선을 생성한다.
즉, 적분 실행부(43)에 있어서, 도 25A에 도시된 적분 경로를 따라서, 식 18에 따른 적분이 행하여짐으로써, 그 적분 경로상의 키 신호(α )를 얻게되지만, 그 키 신호(α )는 그레이 영역과 배경(B)의 경계에서 0으로 되고, 또한, 그레이 영역과 전경(F)의 경계에서 1로 된다. 따라서, 폐곡선 생성부(44)는, 도 25A에 도시된 바와 같이, 각 적분 경로상의 키 신호(α )가 0으로 되는 점[α =0으로 되는 점, 이하, 적당히, 점 p1이라고 한다]을 구하는 동시에, 키 신호(α )가 1로 되는 점[α =1로 되는 점, 이하, 적당히, 점 p2라고 한다]을 구하고, 각 적분 경로상의 점 p1끼리, 점p2끼리를 각각 접속한다. 그리고, 폐곡선 생성부(44)는, 도 25B에 도시된 바와 같이, 점 p1끼리를 접속하여 얻어지는 폐곡선을 P1 폐곡선으로서, 또한, 점 p2끼리를 접속하여 얻어지는 폐곡선을 P2 폐곡선으로서 출력한다. 적분 실행부(43)에서 얻어진 키 신호(α ) 및 폐곡선 생성부(44)에서 얻어진 p1폐곡선, p2폐곡선은 키 신호 생성부(50)(도 10)에 공급된다.
여기에서, 적분치 계산부(40)의 동작에 대하여, 도 26의 플로우챠트를 참조하여 설명한다.
스텝(S4-1)에 있어서, 적분 경로 결정부(41)는 특징점 검출부(20)로부터 공급되는 특징점 중 어느 것인가를 주목 특징점으로 하고, 그 주목 특징점을 통과하는 직선으로서, 특징점 검출부(20)로부터 공급되는 경로 결정용 폐곡선의 법선 방향의 것을 그 주목 특징점에 대한 적분 경로로서 결정한다. 상기 주목 특징점에 대한 적분 경로는 규격화 실행부(42) 및 적분 실행부(43)로 공급된다.
스텝(S4-2)에 있어서, 규격화 실행부(42)는 적분 경로 결정부(41)로부터 공급되는 적분 경로 상에 있는 화소의 화소치의 변화(C')를 F-B 검출부(30)로부터 공급되는 차분(F-B)으로서, 주목 특징점을 포함하는 미소영역(도 20)에서 구한 것의 절대값 ｜F-B｜에서 제산하고, 그 결과 얻어지는 규격치 C'/ ｜F-B｜를 적분 실행부(43)에 공급한다.
스텝(S4-3)에 있어서, 적분 실행부(43)는 적분 경로 결정부(41), 규격화 실행부(42)로부터 공급되는 적분 경로 및 그 적분 경로 상에 있는 화소에 대한 규격치 C'/｜F-B｜를 사용하여, 식 18에 따라서 규격치 C'/ ｜F-B｜를 적분 경로 결정부(41)로부터의 적분 경로를 따라서 적분하여, 그 적분 경로상의 키 신호(α )를 산출한다. 상기 키 신호(α )는 폐곡선 생성부(44)에 공급된다. 여기에서, 적분 실행부(43)로서는 예를 들면, 주목 특징점이 α =0.5가 되는 점으로 간주되고, 상기 주목 특징점을 시점으로 하여, 식 18의 적분이 행하여진다. 따라서, 여기에서는 식 18의 적분은 α ( p0)을 0.5로서 행하여진다.
스텝(S4-4)에 있어서, 적분 경로 결정부(41)는 특징점 검출부(20)로부터 공급되는 특징점의 전부를 주목 특징점으로 할 것인지 어떤지를 판정한다. 그리고,적분 경로 결정부(41)는 특징점 검출부(20)에서의 특징점 전부를 아직, 주목 특징점으로 하고 있지 않다고 판정한 경우에는 스텝(S4-1)으로 되돌아간다. 이 결과, 적분 경로 결정부(41)에 있어서, 아직 주목 특징점으로 되어 있지 않은 특징점이 새롭게 주목 특징점으로 되고, 이하, 상술된 처리가 되풀이된다.
한편, 스텝(S4-4)에 있어서, 적분 경로 결정부(41)가 특징점 전부를 주목 특징점으로 하였다고 판정한 경우, 즉, 특징점 검출부(20)로부터 공급된 각 특징점을 통과하는 적분 경로 모두를 따라서의, 식 18의 적분이 행하여지고, 이것에 의해, 그들의 적분 경로상의 키 신호(α )(이하, 적당히, 키 신호의 뼈대 부분이라고 한다.)가 구해진 경우, 처리는 스텝(S4-5)으로 진행한다.
스텝(S4-5)에 있어서, 폐곡선 생성부(44)는 적분 실행부(43)로부터 공급되는 각 적분 경로상의 키 신호(α )에서, 점 p1(α =0의 점) 및 p3(α =1의 점)을 검출하고, 점 p1끼리, 점P2끼리를 접속함으로써, P1 폐곡선, P2 폐곡선을 생성한다. 그리고, 상기 적분치 계산부(40)에서의 처리는 종료한다.
또한, 적분 실행부(43)에서는 적분 경로 결정부(41)로부터 공급되는 적분 경로를 따라서의 적분은 예를 들면, 그 적분 경로 중 키 신호(α )가 0으로 되는 점(점 p1)과, 1로 되는 점(점p2) 사이의 선분(이하, 적당히, 경로선분이라고 한다), 즉 그레이 영역 내에 있는 적분 경로를 대상으로 행하여진다. 이것은 그레이 영역이외의 영역에서의 키 신호(α )는 0 또는 1중, 어느 하나의 값을 갖기 때문에, 그와 같은 영역에 대한 α 는 식 18에 따라서 구할 필요가 없기 때문이다. 따라서, 적분실행부(43)에서는 경로 선분 상에 있어서의 키 신호(α )만이 산출되고, 상술된 뼈대부분이란, 적분 경로 결정부(41)로부터 공급되는 적분 경로 전부에 있어서의 경로선분을 의미한다. 상기와 같이 하여 적분치 계산부(40)에 있어서 얻어진 키 신호의 뼈대 부분, 및 P1 폐곡선 및 P2 폐곡선은 키 신호 생성부(50)로 공급된다.
스텝(S6)(도 11)에 있어서, 키 신호 생성부(50)는 키 신호의 뼈대 부분에 대하여 보간을 행하고, 화상(C) 전체에 대응하는 키 신호(α )를 생성한다. 그리고, 키 신호 생성부(50)에서의 처리는 종료한다.
구체적으로는, 키 신호 생성부(50)의 구성예를 도 27에 도시한다. 그레이 영역 내 보간부(51)에는 적분치 계산부(40)로부터 키 신호의 뼈대 부분이 후술하는 0 / 1 할당부(52)로부터 P1 폐곡선 및 P2 폐곡선상의 키 신호가 공급되고, 그레이 영역 내 보간부(51)는 도 28A에 사선을 붙이어 도시한 그레이 영역중의 뼈대 부분, P1 폐곡선 및 P2 폐곡선을 제외한 영역(뼈대 부분, P1 폐곡선 및 P2 폐곡선으로 둘러싸인 영역)에 있어서 키 신호의 보간을 행한다.
즉, 도 28A는, 화상(C)을 x y 평면상에 배치하고, 그 xy 평면에 수직인 축(α 축)을 갖는 xyα 공간을 보이고 있다. 현재, 이 xyα 공간에서, 그 α축 방향으로, 화상(C)상의 각 점에서의 키 신호를 플롯하는 것으로 하면, 그레이 영역 내 보간부(51)로 공급되는 키 신호는 키 신호의 뼈대 부분(경로 선분상의 키 신호), 및 P1 폐곡선상의 키 신호( P1 폐곡선은 α =0의 점인 점 p1이 접속된 것이기 때문에, 거기에서의 키 신호의 값은 0) 및 P2 폐곡선상의 키 신호(P2 폐곡선은 α =1의 점인 점 p2가 접속된 것이기 때문에, 거기에서의 키 신호의 값은 1)이기 때문이고, 경로 선분 상에, 키 신호의 뼈대 부분에 대응하는 점이 플롯되는 동시에, P1 폐곡선 또는 p2 폐곡선 상에, α =0 또는 α =1의 점이 각각 플롯되고, 이것에 의해, xyα 공간상에, 도 28A에 굵은 선으로 나타낸 것과 같은 테두리(이하, 적당히, 뼈대 테두리라고 한다.)가 형성된다.
그리고, 그레이 영역 내 보간부(51)는 뼈대 테두리의 내부를 보간하는 곡면 Q를 생성하고, 상기 곡면 Q가 주는 α 를, 곡면 Q를 xy 평면에 사영했을 때에 형성되는 영역(도 28A에서 사선을 부가하고 있는 부분, 이하, 적당히, 패치 영역이라고 한다.) 내의 각 점에서의 키 신호(α )로 한다.
또한, 그레이 영역 내 보간부(51)는, 도 28B에 도시된 바와 같이, P1 폐곡선 및 P2 폐곡선 및 경로 선분에 의해 둘러싸인 영역, 즉 패치 영역 전부에 관하여, 상술한 바와 같은 키 신호의 보간을 행한다.
키 신호의 뼈대 부분, P1 폐곡선상의 키 신호(α =0), P2 폐곡선상의 키 신호(α =1) 및 보간에 의해 얻어진 패치 영역의 키 신호는 그레이 영역 내 보간부(51)로부터 합성부(54)로 공급된다.
0/1 할당부(52)에는 P1 폐곡선 및 P2 폐곡선이 공급되어 있고, 상기 0/1 할당부(52)는 P1 폐곡선 또는 P2 폐곡선상의 키 신호(α )로서, 각각 0 또는 1을 할당하고, 그레이 영역 내 보간부(51)로 공급한다. 또한, 그레이 영역외 보간부(53)에는 P1 폐곡선 및 P2 폐곡선이 공급되어 있고, 그레이 영역외 보간부(53)는 도28B에 도시된 바와 같이 화상(C)의 화상 테두리와 P1 폐곡선 사이에 끼워지는 영역[완전히, 배경(B)인 영역, 이하, 적당히, α 0 영역이라고 한다.]내의 각 점에서의 키신호로서 0을 보간하는 동시에, P2 폐곡선에 둘러싸이는 영역[완전히, 전경(F)인 영역, 이하, 적당히, α 1영역이라고 한다.]내의 각 점에서의 키 신호로서 1을 보간하여, 합성부(54)로 공급한다.
합성부(54)는 그레이 영역 내 보간부(51)로부터의 키 신호의 뼈대 부분, P1 폐곡선상의 키 신호, P2 폐곡선상의 키 신호, 및 보간에 의해 얻어진 패치 영역의 키 신호, 및 그레이 영역외 보간부(53)로부터의 α 0 영역의 키 신호, 및 α 1 영역의 키 신호를 합성하여[화상(C)의 화상 테두리내의, 대응하는 위치에 배치하여], 이것에 의해, 화상(C) 전체에 대응하는 키 신호를 생성한다.
여기에서, 도 29의 플로우챠트를 참조하여, 키 신호 생성부(50)의 동작에 대하여 설명한다.
스텝(S5-1)에 있어서, 0/1 할당부(52)는 P1 폐곡선, P2 폐곡선에 0, 1을 각각 할당하여, P1 폐곡선상의 키 신호와 P2 폐곡선상의 키 신호를 생성한다. 상기 P1 폐곡선상의 키 신호 및 P2 폐곡선상의 키 신호는 그레이 영역 내 보간부(51)에 공급된다.
스텝(S5-2)에 있어서, 그레이 영역 내 보간부(51)는 0/1 할당부(52)로부터 P1 폐곡선상의 키 신호 및 P2 폐곡선상의 키 신호가 공급되면, 도 28A에서 설명한 바와 같이 뼈대 테두리를 형성하고, 또한, 그 뼈대 테두리 내를 보간하는 곡면(보간 곡면) Q를 생성한다.
스텝(S5-3)에 있어서, 그레이 영역 내 보간부(51)는 그 곡면 Q에 근거하여, 배치영역의 키 신호를 생성하여, 합성부(54)로 공급한다.
스텝(S5-4)에 있어서, 그레이 영역외 보간부(53)는 α '0 영역내의 각 점에서의 키 신호로서 0을 보간하는 것과 동시에, α 1 영역내의 각 점에서의 키 신호로서 1을 보간하여, 합성부(54)로 공급한다.
스텝(S5-5)에 있어서, 합성부(54)는 그레이 영역 내 보간부(51)로부터 공급되는 키 신호의 뼈대부분, P1 폐곡선상의 키 신호, P2 폐곡선상의 키 신호 및 보간에 의해 얻어진 배치 영역의 키 신호 및 그레이 영역외 보간부(53)로부터 공급되는 α 영역의 키 신호 및 α 1 영역의 키 신호를 합성하여, 화상(C) 전체에 대응하는 키 신호를 생성한다. 그리고, 합성부(54)는 상기 키 신호(연속한 키 신호)를, 예를 들면, 상술한 바와 같이 필터링하는 것 등에 의해서 화소 단위의 키 신호로 변환하여, 이것을 화상(C)에서 전경(F)을 추출하고, 또한, 그 추출한 전경(F)을 다른 화상에 합성(키잉)하기 위한 키 신호로서 출력한다. 그리고, 키 신호 생성부(50)에서의 처리는 종료한다.
또한, 스텝(S5-4)의 처리는, 스텝(S5-1 내지 S5-3)의 처리보다 선행하여 행하도록 하는 것도 가능하게 되고, 또한, 동시에 행하도록 하는 것도 가능하게 된다.
또한, 상술의 경우에 있어서는 패치 영역의 키 신호를 뼈대 테두리를 보간하는 곡면 Q에서 얻도록 하였지만, 패치 영역의 키 신호는 기타, 예를 들면 다음과 같이 하여 구하는 것도 가능하다. 즉, 우선, 그레이 영역으로서, 경로선분, P1 폐곡선 또는 P1 폐곡선 서로에 인접하는 점의 키 신호를 이미 얻게된 키 신호의 뼈대부분, P1 폐곡선상의 키 신호, 및 P2 폐곡선상의 키 신호에 근거하여 구하고, 이하, 키 신호를 구한 점에 인접하는 점의 키 신호를 이미 구해진 키 신호에 근거하여 순서대로 구하여가도록 할 수 있다.
또한, 상술의 경우에서는 경로 선분 상에, 키 신호의 뼈대 부분에 대응하는 점을 플롯하는 것과 동시에, P1 폐곡선, 2폐곡선 상에, α =0, α =1의 각 점을 각각 플롯함으로써 형성되는 뼈대 테두리를 보간하는 곡면 Q에서, 패치 영역의 키 신호를 구하도록 하였지만, 패치 영역의 키 신호는 기타, 예를 들면, 경로 결정용 폐곡선 상에, 또한 α 가 0.5의 점도 플롯함으로써 얻어지는 테두리를 보간하는 곡면으로부터 구하도록 하는 것도 가능하게 된다.
다음에, 도 10의 실시예에서는 경로 결정용 폐곡선, 즉 전경(F)과 배경(B)의 경계를, 화소치의 변화(C')에서 구하도록 하였지만, 경로 결정용 폐곡선은 장치의 사용자로부터의 지시에 근거하여 구하도록 하는 것도 가능하게 된다.
구체적으로는, 사용자로부터의 지시에 근거하여, 경로 결정용 폐곡선을 산출하는 키 신호 생성 장치의 구성예를 도 30에 도시한다. 또한, 상기 도 30에 있어서, 도 10에 도시된 키 신호 작성 장치에 대응하는 부분에 관하여는 동일한 부호를 붙이고, 이하에서는 그 설명은 적당히 생략한다.
즉, 상기 키 신호 생성 장치에는 특징점 검출부(20)를 대신하여 특징점 검출부(60)가 설치되고, 또한, 조작부(1)가 새롭게 설치되어 있다. 그리고, 상기 키 신호 생성 장치의 다른 부분은 도 10에 도시된 키 신호 생성 장치와 같이 구성되어있다.
조작부(1)는, 예를 들면, 태블릿 및 펜이나, 마우스 등으로 형성되고, 사용자가 도시하지 않은 디스플레이에 표시된 화상(C)을 보면서, 그 전경(F)과 배경(B)의 경계를 지시할 때에 조작된다. 그리고, 그 조작에 대응하는 조작 신호는 특징점 검출부(60)로 공급된다.
특징점 검출부(60)는, 조작부(1)로부터의 조작신호에 근거하여, 경로 결정용 폐곡선 및 특징점을 검출한다. 구체적으로는 특징점 검출부(60)의 구성예를 도 31에 도시한다. 또한, 상기 도 31에 도시된 특징점 검출부(60)에 있어서, 도 16에 도시된 특징점 검출부(20)에 대응하는 부분에 관하여는 동일한 부호를 붙이고, 이하에, 그 설명은 적당히 생략한다. 즉, 특징점 검출부(60)에는 경계 검출부(21)를 대신하여, 세선화부(61)가 설치되고, 상기 특징점 검출부(60)의 다른 부분은 특징점 검출부(20)와 같이 구성되어 있다.
세선화부(61)는 조작부(1)로부터 공급되는 조작신호에 근거하여, 전경(F)과 배경(B)의 경계에 대응하는 사용자에 의해서 지시된 선(이하, 적당히, 지시선이라고 한다)을 인식하고, 그 세선화를 행함으로써, 경로 결정용 폐곡선을 검출한다. 예를 들면, 지시선은 화상(C)이 표시된 디스플레이에, 그 화상(C)에 겹쳐 표시되고, 도 32A에 도시된 바와 같이 1화소 이상 폭을 갖는 선으로 되어 있다. 그리하여, 세선화부(61)는 이러한 폭을 갖는 지시선으로부터, 폭이 없는 이상적인 선으로서의 경로 결정용 폐곡선을 구하기 때문에, 예를 들면 도 32B에 도시된 바와 같이 지시선을 구성하는 화소의 중심(도 32B에서, x 화살표로 표시된 부분)으로부터의거리의 2승 오차를 최소로 하는 선(곡선)을 최소 2곱셈에 의해서 구하고, 이 선을 경로 결정용 폐곡선으로 한다.
상기 경로 결정용 폐곡선은 세선화부(61)로부터 특징점 결정부(22)로 공급된다.
또한, 지시선의 세선화의 방법은, 상술의 방법에 한정되지 않고 그 외의 방법을 사용하는 것도 가능하다. 즉, 예를 들면, 지시선을 구성하는 화소를 외측의 것으로부터 제거해감으로, 폭이 1화소로 형성되어 가는 와이어를 생성하고, 또한, 그 세선을 구성하는 화소의 중심을 통과하는 선을 가장 양호하게 근사하는 선을 구하고, 이것을 경로 결정용 폐곡선으로 하는 것 등이 가능하다.
상기와 같이 구성되는 키 신호 생성 장치에서는, 사용자에 의해서 조작부(1)가 조작됨으로써, 전경(F)과 배경(B)의 경계(경계를 구성하는 화소)에 대응하는 지시선이 지시되면, 특징점 검출부(60)의 세선화부(61)에 있어서, 그 지시선의 세선화가 행해짐으로써, 경로 결정용 폐곡선이 구해지고, 특징점 결정부(22)로 공급된다. 이하, 도 10에 도시된 키 신호 생성 장치와 같은 처리가 행해지고, 화상(C) 전체에 대응하는 키 신호(α )가 구해진다.
따라서, 이 경우, 경로 결정용 폐곡선이 사용자의 지시(지시선)에 근거하여 구해지기 때문에, 경로 결정용 폐곡선을 구하는데, 화소치의 변화(C')는 필요 없게 된다. 즉, 상기의 경우, 변화 검출부(10)로부터 특징점 검출부(60)에 대하여, 화소치의 변화(C')를 공급할 필요는 없다.
다음에, 도 10에 도시된 키 신호 생성 장치에서는, F-B 검출부(30)에 있어서, 차분(F-B)을 구하고, 화소치의 변화(C')를 규격화한 후에, 키 신호를 구하도록 하였지만, 키 신호 생성 장치는 F-B 검출부(30)를 설치하지 않고 구성하는 것도 가능하게 된다.
구체적으로는, 본 발명을 적용한 키 신호 생성 장치의 다른 실시예의 구성을 도 33에 도시한다. 또한, 도 33에 도시된 키 신호 생성 장치에서, 도 10에 도시된 키 신호 생성 장치에 대응하는 부분에 관하여는 동일한 부호를 붙이어, 이하에서는 그 설명은 적당히 생략한다. 즉, 상기 키 신호 생성 장치는 F-B 검출부(30)가 삭제되고, 적분치 계산부(40)를 대신하여, 적분치 계산부(70)가 설치되어 있다. 그리고, 상기 키 신호 생성 장치의 다른 부분은 도 10에 도시된 키 신호 생성 장치와 같이 구성되어 있다.
적분치 계산부(70)는 화소치의 변화(C')의 량(크기)이 소정의 임계값 K 이상이 되는 범위(이하, 적당하게, 적분 범위라고 한다.)에 있어서, 그 변화량을 예를 들면, 화소치(C')의 변화를 검출한 방향 등을 따라서 적분하고, 그 적분치에 근거하여, 키 신호(키 신호의 뼈대 부분)를 산출한다.
즉, 적분치 계산부(70)는 우선, 예를 들면 최대 경사 방향 경로 U(단지, 상술한 바와 같이 경로 자체는 최대 경사 방향 경로U 이외의 경로라도 무방하다.)상의 점 p중, 그레이 영역의 경계상의 점, 즉 키 신호(α )가 0, 1로 되는 점인 점 p1, p2를 구한다. 구체적으로는, 적분치 계산부(70)는 예를 들면, 도 34A에 도시된 바와 같이, 변화 검출부(10)로부터 공급되는 화소치의 변화(C')의 크기가 소정의임계값 K로 되는 2개의 점을 구하여, 각각을 점 p1, p2로 한다[예를 들면, 배경(B) 측에서 전경(F) 측에, 화소치의 변화(C')를 보고 말한 경우에는 최초에, 화소치의 변화(C')가 임계값 K로 되는 점이 점 p1로 되고, 그 후, 화소치의 변화(C')가 임계값 K로 되는 점이 점 P2로 된다].
또한, 적분치 계산부(70)는 예를 들면, 최대 경사 방향 경로 U를 따라서, 점 p1내지 p2범위(적분 범위)의 화소치(C')의 변화의 적분치(정적분치) D(정적분 정보)를 다음 식 19에 따라서 산출한다.
Figure pct00019
그리고, 적분치 계산부(70)는 화소치의 변화(C')를 정적분치 D에서 규격화함으로써, 규격치 C'/D를 구하고, 상기 규격치 C'/D를, 예를 들면, 식 20에 따라서 적분하는 것으로, 점(위치) P의 화소에 대한 키 신호(α )를 구한다.
Figure pct00020
정적분치 D는, 도 10에 도시된 키 신호 생성 장치에서의 경우의 차분(F-B)의 절대값 ｜F-B｜에 상당하고, 따라서, 상기 정적분치(D)에 의해, 화소치의 변화(C')의 규격화하고, 식 20에 의한 적분을 행하도록 함으로, 도 34B에 도시된 바와 같이 0 내지 1의 범위의 값을 갖는 키 신호(α )를 용이하게 얻을 수 있다. 또한, 상기의 경우, 점(위치) p1내지 p2 범위(도 34B에서 「유효한 폭」으로 기재되어 있는부분)에 있어서의 키 신호(α )를 얻게되지만, 그 밖의 범위, 즉 도 34B 중, 점 p1보다 좌측의 범위 또는 점 p2보다 우측의 범위에서의 키 신호(α )의 값은 각각 0, 1로 된다[상기 0 및 1의 보간은 상술한 바와 같이 키 신호 생성부(50)에 있어서 행하여진다].
따라서, 상기 키 신호 생성 장치에는, F-B 검출부(30)를 설치할 필요가 없기 때문에, 도 10에 도시된 키 신호 생성 장치와 비교하여, 장치를 소형으로 구성할 수 있다.
여기에서, 도 35에 도시된 플로우챠트를 참조하여, 도 33에 도시된 키 신호 생성 장치의 동작에 대하여 설명한다.
스텝(S21)에 있어서, 변화 검출부(10)는, 도 11의 스텝(S1)에 있어서의 경우와 같이 하여, 화상(입력 화상)(C)의 화소간의 화소치의 변화(C')를 산출하여, 특징점 검출부(20) 및 적분치 계산부(70)로 공급한다.
스텝(S)22에 있어서, 특징점 검출부(20)는, 변화 검출부(10)로부터 화소치의 변화(C')가 공급되면, 도 11의 스텝(S2)에 있어서의 경우와 같이 하여, 경로 결정용 폐곡선 및 특징점을 검출하여, 이들의 경로 결정용 폐곡선 및 특징점을 적분치 계산부(70)에 공급한다.
스텝(S23)에 있어서, 적분치 계산부(70)는, 변화 검출부(10)로부터 화소치의 변화(C')가 특징점 검출부(20)로부터 경로 결정용 폐곡선 및 특징점이 각각 공급되면, 예를 들면, 도 10의 적분치 계산부(40)와 같이 적분 경로를 결정하고, 또한,그 적분 경로 상에 있어서, 도 34A에서 설명한 바와 같이, 화소치의 변화 C'의 크기가 소정의 임계값 K로 되는 점 p1, p2를 구한다. 그리고, 적분치 계산부(70)는 식 19에 따라서, 점 p1내지 p2사이에 있는 적분 경로상의 점의 화소치(C')의 변화량의 적분치(D)를 산출한다.
스텝(S24)에 있어서, 적분치 계산부(70)는 그 적분치(D)에서, 화소치(C')를 규격화하고, 규격치 C'/D를 산출한다.
스텝(S25)에 있어서, 적분치 계산부(70)는 적분 경로(경로 선분)를 구성하는 점 p에 대한 키 신호, 즉 키 신호의 뼈대 부분을 식 20에 따라서 구하고, 키 신호 생성부(50)에 공급한다. 또한, 적분치 계산부(70),는 도 10의 적분치 계산부(40)와 같이 P1 폐곡선 및 P2 폐곡선을 생성하여, 키 신호 생성부(50)로 공급한다.
스텝(S26)에 있어서, 키 신호 생성부(50)는 도 11의 스텝(S6)에 있어서의 경우와 같은 처리를 행하고, 이것에 의해, 화상(C) 전체에 대응하는 키 신호(α )를 생성한다. 그리고, 상기 키 신호 생성 장치에서의 처리는 종료한다.
다음에, 도 33의 적분치 계산부(70)의 구성예를 도 36에 도시한다.
특징점 검출부(20)로부터의 경로 결정용 폐곡선 및 특징점은 적분 경로 결정부(71)에, 변화 검출부(10)로부터의 화소치의 변화(C')는 적분 경로 결정부(71), 정적분치 산출부(72), 및 규격화 실행부(73)로 공급된다. 또한, 적분 경로 결정부(71)에는 또한, 도시하지 않은 회로에서 소정의 임계값 K도 공급된다.
적분 경로 결정부(71)는 특징점 및 경로 결정용 폐곡선에 근거하여, 도 24에도시된 적분 경로 결정부(41)와 같이 하여, 각 특징점을 통과하는 적분 경로를 결정하고, 이들의 적분 경로를 정적분치 산출부(72), 규격화 실행부(73) 및 적분 실행부(74)에 공급한다. 또한, 적분 경로 결정부(71)는 각 특징점을 통과하는 적분 경로상의 점 p 중, 화소치의 변화(C')의 크기가 소정의 임계값 K로 되는 점, 즉 점 p1, p2를 구하고, 이들의 점 p1, p2를 정적분치 산출부(72), 적분 실행부(74) 및 폐곡선 생성부(75)로 공급한다.
정적분치 산출부(72)는, 식 19에 따른 연산을 행한다. 즉, 정적분치 산출부(72)는 적분 경로 결정부(71)로부터 공급되는 각 특징점을 통과하는 적분 경로를 따라서, 마찬가지로 적분 경로 결정부(71)로부터 공급되는 점 p1에서 점 p2까지의 화소치의 변화(C')의 정적분을 행하고, 그 결과 얻어지는 각 적분 경로마다의 적분치(정적분치)(D)를 규격화 실행부(73)로 공급한다.
규격화 실행부(73)는 적분 경로 결정부(71)로부터 공급되는 각 적분 경로상의 화소치의 변화(C')를 정적분치 산출부(72)로부터 공급되는 각 적분 경로에 대하여 정적분치 p에서 규격화하고, 그 결과 얻어지는 규격치 C'/D를 적분 실행부(74)에 공급한다.
적분 실행부(74)는 식 20에 따른 연산을 행한다. 즉, 적분 실행부(74)는 적분 경로 결정부(72)로부터 공급되는 각 적분 경로를 따라서, 규격화 실행부(73)로부터 공급되는 규격치 C'/D의 적분을 행하고, 그 결과 얻어지는 각 적분 경로(경로선분)상의 적분치로서의 키 신호의 뼈대 부분을 출력한다. 또한, 적분 실행부(74)에 있는 각 적분 경로를 따른 적분은, 식 20에 의하면, 적분 경로 결정부(71)로부터 공급되는 각 적분 경로상의 점 p1을 시점으로서 행하도록 하고 있지만, 상기 적분은 점 p2를 시점으로서 행할 수도 있다.
폐곡선 생성부(75)는 적분 경로 결정부(71)로부터 모든 적분 경로상의 점 p1, p3이 공급되면, 그 점 p1끼리, 점 p2끼리를 접속함으로써, 각각 P1 폐곡선, P2 폐곡선을 생성한다.
여기에서, 도 37의 플로우챠트를 참조하여, 적분치 계산부(70)의 동작에 관해 설명한다.
스텝(S21-1)에 있어서, 적분 경로 결정부(71)는 도 26의 스텝(S4-1)에 있어서의 경우와 같은 처리를 행하고, 주목 특징점을 통과하는 적분 경로를 결정하고, 이들의 적분 경로를 정적분치 산출부(72), 규격화 실행부(73) 및 적분실행부(74)로 공급한다.
스텝(S21-2)에 있어서, 또한, 적분 경로 결정부(71)는 주목 특징점을 통과하는 적분 경로상의 점 중, 변화 검출부(10)로부터 공급되는 화소치의 변화(C')의 크기가 소정의 임계값 K로 되는 점 p1, p2를 검출하고, 이들의 점 p1, p2를 정적분치산출부(72), 적분 실행부(74) 및 폐곡선 생성부(75)로 공급한다.
스텝(S21-3)에 있어서, 정적분치 산출부(72)는 적분 경로 결정부(71)로부터 주목 특징점에 대한 적분 경로 및 그 적분 경로상의 점 p1, p2가 공급되면, 식 19에따라서, 그 적분 경로를 따른 점 p1에서 점 P2까지의 화소치의 변화(C')의 적분을 행하고, 그 결과 얻어지는 정적분치(D)를 규격화 실행부(73)로 공급한다.
스텝(S21-4)에 있어서, 규격화 실행부(73)는 주목 특징점에 대한 적분 경로상의 화소의 화소치의 변화(C')를, 정적분치 산출부(72)로부터 공급되는 정적분치(D)로 규격화하고, 그 결과 얻어지는 규격치 C'/D를 적분 실행부(74)로 공급한다.
스텝(S21-5)에 있어서, 적분 실행부(74)는 식 20에 따라서, 규격화 실행부(73)로부터 공급되는 규격치 C'/D를, 예를 들면 적분 경로 결정부(71)로부터 공급되는 점 p1을 시점으로서, 마찬가지로 적분 경로 결정부(71)로부터 공급되는 적분경로를 따라서 적분하여, 그 적분 경로상의 키 신호, 즉 키 신호의 뼈대부분을 산출한다.
스텝(S21-6)에 있어서, 적분 경로 결정부(71)는 특징점 검출부(20)로부터의 특징점 모두를 주목 특징점으로 했는지 어떤지를 판정한다. 상기 스텝(S21-6)에 있어서, 적분 경로 결정부(71)는 특징점 검출부(20)로부터의 특징점 모두를 아직 주목 특징점으로 하고 있지 않다고 판정한 경우, 처리는 스텝(S21-1)으로 되돌아가 적분 경로 결정부(71)는 아직 주목 특징점으로 되어 있지 않은 특징점을 새롭게 주목 특징점으로 하여, 이하, 상술한 처리가 되풀이된다.
한편, 스텝(S21-6)에 있어서, 적분 경로 결정부(71)는 특징점 모두를 주목 특징점으로 하였다고 판정한 경우, 즉 특징점 검출부(20)로부터 공급된 각 특징점을 통과하는 적분 경로 전부에 따라서의 식 20의 적분이 행하여지고, 이것에 의해, 그들의 적분 경로상의 키 신호(키 신호의 뼈대부분)가 구해진 경우, 처리는 스텝(S21-7)으로 진행한다.
스텝(S21-7)에 있어서, 폐곡선 생성부(75)는 P1 폐곡선 및 P2 폐곡선을 생성한다. 그리고, 상기 적분치 계산부(70)에서의 처리는 종료한다.
즉, 폐곡선 생성부(75)는 적분 경로 결정부(71)로부터 공급 된 모든 적분 경로상의 점 p1끼리, 점 P2끼리를 접속함으로써, 각각 P1 폐곡선, 또는 P2 폐곡선을 생성한다.
또한, 적분 실행부(74)에 있어서의 적분은, 도 24에 도시된 적분 실행부(43)에 있어서의 경우와 같이, 적분 경로중의 경로 선분만을 대상으로 행하여진다.
다음에, 도 38은 본 발명을 적용한 화상 합성 장치의 제 1 실시예의 구성을 도시하고 있다.
화상 제공 장치(81 내지 83)는, 예를 들면 비디오 테이프 레코드, 하드디스크 장치, 디스크 플레이어 등으로 이루어지고, 소정의 화상을 재생하여 출력한다. 또한, 여기에서는, 화상 제공 장치(81)가 재생하는 전경 또는 배경을 각각 F 또는 B로 하는 화상 T1(제 1 화상)이 키 신호 생성 장치(84) 및 믹서(85)로 공급되고, 상기 화상 T1이 키 신호를 생성하는 대상으로 되어 있다. 또한, 화상 제공 장치(82)가 재생하는 화상 T2(제 2 화상)는 믹서(85)로 공급되고, 상기 화상 T2에 대하여, 화상 T1의 전경(F)이 합성된다. 또한, 화상 제공 장치(83)로부터는 화상제공 장치(81)가 재생하는 화상 T1의 배경(B)만을 촬영한 화상 T3이 출력된다. 즉, 예를 들면, 화상 T1이 어떤 풍경 속을 인물이 걷고 있는 상태의 것이다라고 하면, 그 인물(전경(F))을 배제한 상태로, 그 풍경(배경(B))을 촬영한 화상 T3이 화상 제공 장치(83)로부터는 출력된다. 상기 화상 제공 장치(83)가 재생하는 화상 T3은 믹서(85)로 공급된다.
키 신호 생성 장치(84)는, 도 10, 도 30 또는 도 33의 키 신호 생성 장치와 같이 구성되어 있고, 상술한 바와 같이하여 키 신호(α )를 생성하고, 믹서(85)로 공급한다. 믹서(85)는 키 신호 생성 장치(84)로부터의 키 신호(α )를 사용하여, 거기에 입력되는 화상 T1과 화상 T2를 합성한다. 즉, 믹서(85)는 화상 T1로부터 전경(F)을 추출하고, 그 전경(F)을, 화상 T2에 합성(끼워 넣는다)한다.
여기에서, 상기 화상 합성 장치의 동작에 대하여 설명한다.
화상 제공 장치(81 내지 83)에서는, 화상 T1 내지 T3이 각각 재생되고, 이들의 화상 T1 내지 T3은 믹서(85)로 공급된다. 또한, 화상 제공 장치(81)가 재생하는 화상 T1은 키 신호 생성 장치(84)에도 공급된다.
키 신호 생성 장치(84)는, 상술한 바와 같이 하여, 키 신호(α )를 생성하여, 믹서(85)로 공급한다. 믹서(85)는 키 신호(α )를 사용하여, 거기에 입력되는 화상 T1로부터 전경(F)을 추출하고, 또한 그 전경(F)을, 화상 T2에 합성하여, 화상 T2에 전경(F)을 합성한 화상(합성 화상) T4를 생성한다.
즉, 현재, 화상 T1, T2를 각각 구성하는 각 위치 p의 화소의 화소치를 각각 P(p), Q(p)로 나타냄과 동시에, 화상 T1의 전경, 배경을 각각 구성하는 각 위치 p의 화소의 화소치 각각 F(p), B(p)로 하고, 합성 화상 T4를 구성하는 각 위치 p의 화소의 화소치를 R(p)로 하면, 다음 식 21, 식 22가 성립한다.
Figure pct00021
Figure pct00022
여기에서, 식 22의 오른쪽 변의 α F(p)를, 식 21에 의해 제거하면, 식 22는 다음 식 23과 같게 된다.
Figure pct00023
믹서(85)에서는, 식 23에 따라서, 합성 화상 T4가 생성된다. 즉, 화소치 P(p), Q(p), B(p)는 화상 제공 장치(81 내지 83) 각각으로부터 믹서(85)로 공급되고, 키 신호α (p)도, 키 신호 생성 장치(84)로부터 믹서(85)로 공급된다. 믹서(85)에서는 이들의 각 화소치 및 키 신호를 사용하여, 식 23의 연산이 행하여지고, 이것에 의해, 화소치 R(p)로 형성되는 화상 T4, 즉 화상 T2에 전경(F)을 합성한 화상 T4가 생성된다.
상기 화상 T4는 예를 들면, 도시하지 않은 기록 장치(예를 들면, 비디오 테이프 레코더, 하드디스크 장치, 기록 가능한 디스크 드라이브 등)에 공급되어 기록된다.
키 신호 생성 장치(84)로부터는 상술한 바와 같이 정확한 키 신호, 즉 모션블러의 영향을 고려하고, 또한 에일리어스를 저감하는 키 신호가 출력되기 때문에, 이것을 사용하여 화상의 합성을 행한 경우에는 정확한 합성 화상(보기에 위화감이없는 화상)을 얻을 수 있다.
또한, 도 38에 도시된 화상 합성 장치는 화상 제공 장치(83)에 의해서 배경(B)이 제공되기 때문에, 키 신호 생성 장치(84)가 F-B 검출부(30)를 갖는 도 10 또는 도 30에 도시된 바와 같은 키 신호 생성 장치로 구성되는 경우에는 도 38에 있어서 점선으로 도시된 바와 같이 배경(B)을, 키 신호 생성 장치(84)로 공급하도록 하여, 키 신호 생성 장치(84)에 있어서, 상기 배경(B)에서, 차분(F-B)을 구하도록 할 수 있다.
그런데, 화소치Q(p)로 된 화상 T2는 화상 제공 장치(82)로부터 얻게 되고, 키 신호(α )는 키 신호 생성 장치(84)로부터 얻게되기 때문에, 전경(F)의 화소치 F(p)를 알면[화소치F(p)를 추정할 수 있으면], 식 22에 의해서도 화상 T2에 전경(F)을 합성한 화상 T4를 생성할 수 있다.
그리하여, 식 22에 따라서 화상 T4를 생성하는 화상 합성 장치의 제 1 실시예의 구성을 도 39에 도시한다. 또한, 상기 도 39에 도시된 화상 합성 장치에 있어서, 도 38에 도시된 화상 합성 장치에 대응하는 부분에 관하여는 동일 부호를 붙이어, 이하에서는 그 설명은 적당히 생략한다. 즉, 상기 화상 합성 장치에는 화상 제공 장치(83), 믹서(85)를 대신하여, 정보 생성 장치(90), 믹서(96)가 설치되어 있다. 그리고, 상기 화상 합성 장치의 다른 부분은 도 38의 화상 합성 장치와 같이 구성되어 있다.
정보 생성 장치(90)에는, 화상 제공 장치(81)가 출력하는 화상 T1이 공급된다. 정보 생성 장치(90)는 화상 T1로부터, 그 전경(F)의 화소치 F(p)를 추정하고(생성하여), 믹서(96)로 공급한다. 믹서(96)는 화상 정보 제공 장치(81, 82)가 각각 출력하는 화상 T1, T2[화소치 P(p), Q(p)], 키 신호 생성 장치(84)가 출력하는 키 신호 α (p), 정보 생성 장치(90)가 출력하는 전경(F)[화소치 F(p)]을 사용하여, 식 22에 따른 연산을 행함으로써, 화상 T2에 전경(F)을 합성한 화상 T4를 생성한다.
상기와 같이 구성되는 화상 합성 장치에서는, 화상 제공 장치(81, 82)에 있어서 화상 T1, T2가 각각 재생되고, 믹서(96)로 공급된다. 흔히, 화상 제공 장치(81)가 재생하는 화상 T1은 정보 생성 장치(90) 및 키 신호 생성 장치(84)에도 공급된다. 키 신호 생성 장치(84)는 상술한 바와 같이 하여 키 신호(α )를 생성하여, 믹서(96)에 공급한다.
한편, 정보 생성 장치(90)는 화상 T1로부터, 그 전경(F)의 화소치 F(p)를 구한다.
구체적으로는, 정보 생성 장치(90)의 구성예를 도 40에 도시한다. 상기 정보 생성 장치(90)는 변화 검출부(91), 경계 검출부(92), 미소 영역 검출부(93), 색분포 형성부(94), 중심 검출부(95)로 구성되어 있다. 변화 검출부(91)는 도 10, 도 30, 도 33에 각각 도시된 변화 검출부(10)와 같이 구성되어 있고, 경계 검출부(92)는 도 16의 경계 검출부(21)와 같이 구성되어 있다. 또한, 미소 영역 검출부(93), 색분포 형성부(94), 중심 검출부(95)는 도 19에 도시된 미소 영역 검출부(31), 색분포 형성부(32F), 중심 검출부(33F)와 각각 마찬가지로 구성되어 있다. 단지, 미소 영역 검출부(93)는 각 미소 영역에 대한 전경(F)을 구성하는 화소만을 추출하고, 그 화소의 화소치, 즉, F 경계 화소치만을 색분포 형성부(94)로 공급한다.
따라서, 상기 정보 생성 장치(90)에서는 변화 검출부(91)에 있어서, 화상 T1의 화소치 P의 변화 P'가 구해지고, 경계 검출부(92)에 있어서, 그 변화 P'에 근거하여, 경로 결정용 폐곡선 및 특징점이 구해진다. 또한, 미소 영역 검출부(93)에 있어서, 각 특징점을 포함한 미소 영역이 검출되고, 그 각 미소 영역에 대하여, F 경계 화소치가 추출된다. 그리고, 색분포 형성부(94)에 있어서, 각 미소 영역에서의 F 경계 화소치의 색공간 상에 있어서의 색분포가 구해지고, 또한, 중심 검출부(95)에 있어서, 그 색분포의 중심이 구해지며, 그것이 그레이 영역에서의, 각 특징점 주변에 있는 화소의, 전경(F)의 화소치 F(p)로서 출력된다.
또한, 정보 생성 장치(90)에 있어서는, 전경(F) 중 그레이 영역 이외의 부분[완전히, 전경(F)의 부분]에 관하여는 그 전경(F)의 화소치 F(p)가 그대로 출력된다.
도 39로 복귀되고, 믹서(96)에서는 화상 정보 제공 장치(81, 82)가 각각 출력하는 화소치 P(p), Q(p), 키 신호 생성 장치(84)가 출력하는 키 신호 α (p), 정보 생성 장치(90)가 출력하는 화소치 F(p)를 사용하여, 식 22에 따라서 화상 T2에 전경(F)을 합성한 화상 T4의 화소치 R(p)이 구해진다.
따라서, 상기의 경우도, 정확한 합성 화상을 얻을 수 있다.
여기에서, 상기 정보 생성 장치(90)에 있어서, 전경(F)을 생성시키는 것이 아니고, 배경(B)을 생성시키도록 할 수도 있다. 상기의 경우, 믹서(96)에 있어서, 정보 생성 장치(90)에 의해서 생성되는 배경(B)을 사용하여, 식 23에 따라서, 합성화상 T4의 화소치 R(p)을 구하도록 할 수도 있다.
또한, 믹서(85, 96)에 있어서의 화상의 합성 방법은 상술한 방법에 한정되지 않고, 다른 합성 방법을 사용하는 것도 가능하다.
또한, 본 실시예에서는 적분치 계산부(40, 70)에 있어서 적분을 행하도록 하였지만, 상기 적분을 대신하여, 적분과 등가인 연산, 즉, 적분을 행하는 경로에 샘플점을 설정하고, 각 샘플점에서의 샘플치를 가산하도록 할 수도 있다.
또한, 본 실시예에서는 그레이 영역에서의 키 신호 중, 그 뼈대 부분 이외에 관하여는 보간에 의해 구하도록 하였지만, 키 신호의 뼈대 부분 이외에도, 보간이 아니고, 예를 들면, 식 18이나 식 20에 의한 적분을 행함으로 구하도록 할 수 있다.
또한, 본 발명의 요지를 일탈하지 않는 범위에서, 여러 가지의 변형이라든지 응용예를 생각할 수 있다. 따라서, 본 발명의 요지는 실시예에 한정되는 것이 아니다.
본 발명에 따른 키 신호 생성 장치 및 키 신호 생성 방법에서는, 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 그 화소치의 변화에 기초하여, 키 신호를 생성한다. 따라서, 정확한 키 신호를 얻을 수 있다.
본 발명에 따른 화상 합성 장치 및 화상 합성 방법에서는, 제 1 화상을 구성하는 화소간의 화소치의 변화를 검출하고, 그 화소치의 변화에 근거하여, 키 신호를 생성한다. 그리고, 그 키 신호를 사용하여, 제 1 화상의 전경 화상과, 제 2 화상의 배경 화상을 합성한다. 따라서, 정확한 합성 화상을 얻을 수 있다.

Claims (16)

  1. 화상으로부터 키 신호를 생성하기 위해 적응된 키 신호 생성 장치에 있어서,
    상기 화상을 구성하는 화소들간의 화소치의 변화를 검출하고, 상기 화상의 서로에 가까운 화소들간의 색공간상의 거리를 나타내는 변화 데이터를 출력하는 변화 검출 수단과,
    상기 변화 검출 수단에 의해 상기 화소치의 변화가 검출된 방향으로 소정의 적분 경로를 따라 적분된 상기 변화 데이터에 기초하여, 상기 키 신호를 생성하는 키 신호 생성 수단을 구비하는 키 신호 생성 장치.
  2. 제 1 항에 있어서,
    상기 키 신호 생성 수단은 상기 변화 데이터가 소정의 임계값 이상이 되는 범위인 적분 범위내에서 상기 소정의 적분 경로를 따라 상기 변화 데이터를 적분함으로써 상기 키 신호를 생성하는, 키 신호 생성 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 화상은 전경 화상과 배경 화상으로 구성되고,
    상기 키 신호 생성 장치는, 상기 전경 화상과 배경 화상과의 차분을 검출하여, 그 차분을 나타내는 차분 데이터를 출력하는 차분 검출 수단을 더 구비하는,
    키 신호 생성 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 키 신호 생성 수단은,
    상기 차분 데이터에 의해, 상기 변화 데이터를 규격화하여, 이 규격화의 결과로서 얻어진 규격화 데이터를 출력하는 규격화 수단과,
    상기 소정의 적분 경로를 따라서, 상기 규격화된 데이터를 적분하는 적분 실행 수단을 구비하는 키 신호 생성 장치.
  5. 제 2 항에 있어서,
    상기 키 신호 생성 수단은,
    상기 적분 범위를 검출하는 범위 검출 수단과,
    상기 적분 범위내에서 상기 소정의 적분 경로를 따라 상기 변화 데이터를 적분하여, 그 적분 범위내의 상기 변화 데이터의 정적분 정보를 생성하는 정적분 정보 생성 수단과,
    상기 정적분 정보에 의해 상기 변화 데이터를 규격화하여, 이 규격화의 결과로서 얻어진 규격화된 정보를 출력하는 규격화 수단과,
    상기 규격화된 정보를 적분함으로써, 상기 키 신호를 생성하는 적분 실행 수단을 구비하는 키 신호 생성 장치.
  6. 적어도 전경 화상 및 배경 화상으로 이루어진 제 1 화상과, 적어도 배경 화상으로 이루어진 제 2 화상을 수신하고, 상기 제1 화상의 전경 화상과 상기 제 2 화상의 배경 화상을 합성하도록 적응된 화상 합성 장치에 있어서,
    상기 제 1 화상을 구성하는 화소들간의 화소치의 변화를 검출하고, 상기 제 1 화상의 서로에 가까운 화소들간의 색공간상의 거리를 나타내는, 변화 데이터를 출력하는 변화 검출 수단과,
    상기 변화 검출 수단에 의해 상기 화소치의 변화가 검출된 방향으로 소정의 적분 경로를 따라 적분된 상기 변화 데이터에 기초하여, 상기 키 신호를 생성하는 키 신호 생성 수단과,
    상기 키 신호 생성 수단에 의해 생성된 상기 키 신호를 사용하여, 상기 제 1 화상의 전경 화상과 상기 제 2 화상의 배경 화상을 합성하는 합성 수단을 구비하는 화상 합성 장치.
  7. 제 6 항에 있어서,
    상기 제 1 화상의 전경 화상과 배경 화상과의 차분을 검출하여, 그 차분을 나타내는 차분 정보를 출력하는 차분 검출 수단을 더 구비하는 화상 합성 장치.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 키 신호 생성 수단은 상기 변화 정보가 소정의 임계값 이상이 되는 범위인 적분 범위내에서 상기 변화 데이터를 적분하는, 화상 합성 장치.
  9. 화상으로부터 키 신호를 생성하는 키 신호 생성 방법에 있어서,
    상기 화상을 구성하는 화소들간의 화소치의 변화를 검출하고, 계산된 상기 화상의 서로에 가까운 화소들간의 색공간을 나타내는 변화 데이터를 출력하는 검출 단계와, 상기 검출 단계에 의해 상기 화소치의 변화가 검출된 방향으로 소정의 정분 경로를 따라 적분된 상기 변화 데이터에 기초하여 상기 키 신호를 생성하는 단계를 포함하는 키 신호 생성 방법.
  10. 제 9 항에 있어서,
    상기 변화 데이터는 상기 변화 데이터가 소정의 임계값 이상이 되는 범위인 적분 범위내에서 상기 소정의 적분 경로를 따라 적분됨으로써, 상기 키 신호를 생성하는, 키 신호 생성 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 화상은 전경 화상과 배경 화상으로 이루어지고,
    상기 전경 화상과 배경 화상과의 차분을 검출하여, 그 차분을 나타내는 차분 정보를 출력하는 검출 단계를 포함하는 키 신호 생성 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    상기 차분 데이터에 의해 상기 변화 데이터를 규격화하여, 이 규격화의 결과로서 얻어진 규격화 데이터를 출력하는 규격화 단계와,
    상기 소정의 적분 경로를 따라서, 상기 규격화된 데이터를 적분하는 단계를 포함하는 키 신호 생성 방법.
  13. 제 10 항에 있어서,
    상기 적분 범위를 검출하는 단계와,
    상기 적분 범위내에서 상기 소정의 적분 경로를 따라 상기 변화 데이터를 적분하여, 그 적분 범위내의 상기 변화 데이터의 정적분 정보를 생성하는 적분 단계와,
    상기 정적분 정보에 의해 상기 변화 데이터를 규격화하여, 이 규격화의 결과로서 얻어진 규격화된 정보를 출력하는 규격화 단계와,
    상기 규격화된 정보를 적분함으로써, 상기 키 신호를 생성하는 적분 실행 단계를 포함하는 키 신호 생성 방법.
  14. 적어도 전경 화상 및 배경 화상으로 이루어진 제 1 화상과, 적어도 배경 화상으로 이루어진 제 2 화상을 수신하여, 상기 제1 화상의 전경 화상과 상기 제 2 화상의 배경 화상을 합성하는 화상 합성 방법에 있어서,
    상기 제 1 화상을 구성하는 화소들간의 화소치의 변화를 검출하고, 상기 제 1 화상의 서로에 가까운 화소들간의 색공간상의 거리를 나타내는 변화 데이터를 출력하는 변화 검출 단계와,
    상기 변화 검출 단계에 의해 상기 화소치의 변화가 검출된 방향으로 소정의적분 경로를 따라 적분된 상기 변화 데이터에 기초하여, 상기 키 신호를 생성하는 키 신호 생성 단계와,
    상기 키 신호 생성 수단에 의해 생성된 상기 키 신호를 사용하여, 상기 제 1 화상의 전경 화상과 상기 제 2 화상의 배경 화상을 합성하는 합성 단계를 포함하는 화상 합성 방법.
  15. 제 14 항에 있어서,
    상기 제 1 화상의 전경 화상과 배경 화상과의 차분을 검출하여, 그 차분을 나타내는 차분 정보를 출력하는 단계를 포함하는 화상 합성 방법.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 변화 데이터는 상기 변화 데이터가 소정의 임계값 이상이 되는 범위인 적분 범위내에서 상기 소정의 적분 경로를 따라 적분됨으로써, 상기 키 신호를 생성하는, 화상 합성 방법.
KR1019970700184A 1995-05-12 1996-05-10 키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법 KR100423379B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP95-113482 1995-05-12
JP11348295 1995-05-12

Publications (2)

Publication Number Publication Date
KR970705292A KR970705292A (ko) 1997-09-06
KR100423379B1 true KR100423379B1 (ko) 2004-07-23

Family

ID=14613412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970700184A KR100423379B1 (ko) 1995-05-12 1996-05-10 키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법

Country Status (5)

Country Link
US (1) US6128046A (ko)
EP (1) EP0771107B1 (ko)
KR (1) KR100423379B1 (ko)
DE (1) DE69625313T2 (ko)
WO (1) WO1996036168A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9619119D0 (en) * 1996-09-12 1996-10-23 Discreet Logic Inc Processing image
US6504957B2 (en) * 1997-07-07 2003-01-07 General Electric Company Method and apparatus for image registration
GB2330974A (en) * 1997-10-10 1999-05-05 Harlequin Group Plc Image matte production without blue screen
KR100367831B1 (ko) * 1998-06-30 2003-01-10 주식회사 팬택앤큐리텔 영상의 색차신호 필터링 방법 및 장치
US6535213B1 (en) 1998-09-22 2003-03-18 Sony Corporation Curve edition system, curve-loop detecting system, curve-loop removing system
EP1049047B1 (en) * 1999-04-26 2006-09-20 Adobe Systems, Inc. Identifying intrinsic pixel colors in a region of uncertain pixels
US6721446B1 (en) 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US20010004838A1 (en) * 1999-10-29 2001-06-28 Wong Kenneth Kai Integrated heat exchanger system for producing carbon dioxide
CA2646789A1 (en) 1999-12-28 2001-07-05 Sony Corporation Signal processing device and method, and recording medium
AU2001253619A1 (en) * 2000-04-14 2001-10-30 Mobileye, Inc. Generating a model of the path of a roadway from an image recorded by a camera
US6701009B1 (en) * 2000-06-06 2004-03-02 Sharp Laboratories Of America, Inc. Method of separated color foreground and background pixel improvement
US7460130B2 (en) * 2000-09-26 2008-12-02 Advantage 3D Llc Method and system for generation, storage and distribution of omni-directional object views
US7003061B2 (en) 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
US6839463B1 (en) * 2000-12-22 2005-01-04 Microsoft Corporation System and method providing subpixel-edge-offset-based determination of opacity
JP4596202B2 (ja) 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US8134613B2 (en) * 2001-04-10 2012-03-13 Sony Corporation Image processing apparatus and method, and image pickup apparatus
KR100859381B1 (ko) 2001-06-15 2008-09-22 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
JP4596216B2 (ja) * 2001-06-20 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
DE60233569D1 (de) * 2001-06-26 2009-10-15 Sony Corp Mputerprogramm zur bildverarbeitung, sowie bilderfassungsvorrichtung
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
US7092584B2 (en) 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US6947607B2 (en) 2002-01-04 2005-09-20 Warner Bros. Entertainment Inc. Reduction of differential resolution of separations
US7127125B2 (en) * 2002-01-04 2006-10-24 Warner Bros. Entertainment Inc. Registration of separations
US7079151B1 (en) 2002-02-08 2006-07-18 Adobe Systems Incorporated Compositing graphical objects
TW583600B (en) * 2002-12-31 2004-04-11 Ind Tech Res Inst Method of seamless processing for merging 3D color images
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5465657B2 (ja) * 2007-03-26 2014-04-09 トムソン ライセンシング 色分割および形状解析によってサッカービデオの関心対象を検出するための方法と装置
US8379972B1 (en) * 2009-12-01 2013-02-19 Adobe Systems Incorporated Color decontamination for image compositing
US20120075489A1 (en) * 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
CN104240227B (zh) * 2013-06-24 2018-06-15 富泰华工业（深圳）有限公司 图像分析系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153493A (ja) * 1991-11-27 1993-06-18 Matsushita Electric Ind Co Ltd 映像信号合成装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS589476A (ja) * 1981-07-09 1983-01-19 Sony Corp キー信号調整装置
JPS589475A (ja) * 1981-07-09 1983-01-19 Sony Corp デジタルキ−信号調整装置
CA1187166A (en) * 1981-07-09 1985-05-14 Kaichi Yamamoto Digital chromakey apparatus
US4463372A (en) * 1982-03-24 1984-07-31 Ampex Corporation Spatial transformation system including key signal generator
JPS60232787A (ja) * 1984-05-02 1985-11-19 Matsushita Electric Ind Co Ltd 画像合成装置
US4800432A (en) * 1986-10-24 1989-01-24 The Grass Valley Group, Inc. Video Difference key generator
JPH02268082A (ja) * 1989-04-10 1990-11-01 Fuji Xerox Co Ltd 画像切り出し方法
US4951144A (en) * 1989-04-12 1990-08-21 The Grass Valley Group, Inc. Recursive video blur effect
EP0449478A3 (en) * 1990-03-29 1992-11-25 Microtime Inc. 3d video special effects system
JP3018411B2 (ja) * 1990-07-11 2000-03-13 ソニー株式会社 クロマキー装置
GB2255466B (en) * 1991-04-30 1995-01-25 Sony Broadcast & Communication Digital video effects system for producing moving effects
GB9109999D0 (en) * 1991-05-09 1991-07-03 Quantel Ltd Improvements in or relating to keying systems and methods for television image processing
JPH04340671A (ja) * 1991-05-17 1992-11-27 Hitachi Ltd 画像合成におけるアンチエイリアシング方法
JP3117525B2 (ja) * 1992-02-19 2000-12-18 日本放送協会 ソフトキー生成装置
JP3503166B2 (ja) * 1993-07-29 2004-03-02 ソニー株式会社 信号変換装置および方法
GB2282293B (en) * 1993-09-10 1997-08-27 Sony Uk Ltd A method of and apparatus for deriving a key signal from a digital video signal
JPH07203298A (ja) * 1993-12-28 1995-08-04 Nec Corp 画像合成回路
US5416529A (en) * 1994-01-14 1995-05-16 Immix Method and system for digital video processing with combined downstream keyer and fade to black mixer
US5764306A (en) * 1997-03-18 1998-06-09 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153493A (ja) * 1991-11-27 1993-06-18 Matsushita Electric Ind Co Ltd 映像信号合成装置

Also Published As

Publication number Publication date
EP0771107A1 (en) 1997-05-02
US6128046A (en) 2000-10-03
EP0771107B1 (en) 2002-12-11
DE69625313D1 (de) 2003-01-23
DE69625313T2 (de) 2003-10-16
KR970705292A (ko) 1997-09-06
WO1996036168A1 (fr) 1996-11-14
EP0771107A4 (en) 2000-07-26

Similar Documents

Publication Publication Date Title
KR100423379B1 (ko) 키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법
US11727596B1 (en) Controllable video characters with natural motions extracted from real-world videos
US6094511A (en) Image filtering method and apparatus with interpolation according to mapping function to produce final image
KR100445619B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
US6570624B2 (en) Interpolation of a sequence of images using motion analysis
US7043058B2 (en) Correcting motion vector maps for image processing
US6404901B1 (en) Image information processing apparatus and its method
EP0930585B1 (en) Image processing apparatus
EP1154379A2 (en) Object region data describing method and object region data creating apparatus
US7139019B2 (en) Image processing device
CN110163237A (zh) 模型训练及图像处理方法、装置、介质、电子设备
US20110069224A1 (en) System and method for art-directable retargeting for streaming video
US20040062450A1 (en) Image processing apparatus and method and image pickup apparatus
KR20030036747A (ko) 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치
US8373802B1 (en) Art-directable retargeting for streaming video
WO2008058244A2 (en) Method and apparatus for color image correction
JP3033967B2 (ja) 画像信号を処理する方法と装置
US20040022448A1 (en) Image processor
JP3804836B2 (ja) キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法
JP3706755B2 (ja) 画像処理装置及び方法並びに記憶媒体
Ting et al. Edge preserving interpolation of digital images using fuzzy inference
JPH1155686A (ja) 画像処理装置及び方法、並びにキー信号生成装置及び方法、並びに画像合成装置、並びに記録媒体
KR20010024416A (ko) 정적 이미지 발생 방법 및 장치
JP3325823B2 (ja) 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体
JPH11296666A (ja) 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080227

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee