KR20090006861A

KR20090006861A - 영상의 특수 효과 검출 장치, 특수 효과 검출 방법, 특수 효과 검출 프로그램을 저장한 기록 매체 및 영상 재생 장치

Info

Publication number: KR20090006861A
Application number: KR1020087028653A
Authority: KR
Inventors: 고따 이와모또
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2006-05-25
Filing date: 2007-05-16
Publication date: 2009-01-15
Also published as: WO2007138858A1; EP2028619A4; EP2028619A1; US20090263023A1; CN101454803A; JPWO2007138858A1

Abstract

화상 경계선 후보 화소 검출부는, 영상의 각 프레임으로부터, 화상 경계선을 구성하는 화소의 후보인 화상 경계선 후보 화소를 검출하고, 화상 경계선 후보 화소를 특정하는 정보인 화상 경계선 후보 화소 정보를 프레임마다 출력한다. 선 추출부는, 각 프레임의 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을 화상 경계선으로서 추출하고, 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 프레임마다 출력한다. 화상 경계선 소유 프레임 구간 검출부는, 각 프레임의 화상 경계선 기술 정보를 이용하여, 프레임마다 화상 경계선을 갖는지의 여부를 판정하고, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출한다.

화상 경계선 추출부, 특수 효과 검출부, 선 추출부, 엣지 방향 산출부, 화상 경계선 소유 프레임 구간 검출부, 점차 변화 구간 검출부, 프레임 비교부, 디지털 비디오 이펙트

Description

영상의 특수 효과 검출 장치, 특수 효과 검출 방법, 특수 효과 검출 프로그램 및 영상 재생 장치{VIDEO IMAGE SPECIAL EFFECT DETECTING DEVICE, SPECIAL EFFECT DETECTING METHOD, SPECIAL EFFECT DETECTING PROGRAM AND VIDEO IMAGE REPRODUCING DEVICE}

본 발명은, 영상에 포함되는 특수 효과를 검출하는 영상의 특수 효과 검출 장치, 특수 효과 검출 방법 및 특수 효과 검출 프로그램에 관한 것으로, 특히, 영상의 공간적인 점차 변화에 의한 영상 절환을 검출할 수 있는 영상의 특수 효과 검출 장치, 특수 효과 검출 방법 및 특수 효과 검출 프로그램에 관한 것이다. 영상의 공간적인 점차 변화에 의한 영상 절환은, 예를 들면, 와이프나 DVE(디지털 비디오 이펙트)이다.

영상의 특수 효과는, 영상 절환의 일종이다. 영상의 특수 효과에서는, 절환 전후의 영상이 공간적인 점유 비율을 서서히 변화시키면서 절환되는 점차 변화가 행하여진다. 영상의 특수 효과에는, 와이프와 DVE(Digital Video Effect:디지털 비디오 이펙트)가 있다. 도 1의 (A), (B)는, 각각 와이프의 예를 도시하는 설명도이다. 도 2의 (A)~(I)는, 각각 DVE의 예를 도시하는 설명도이다.

도 1에 예시되어 있는 바와 같이, 와이프에서는, 절환 전후의 영상의 위치는 고정이며, 각각의 영상을 표시시키는 영역을 서서히 변화시켜서 화면이 절환된다. 도 2에 예시되어 있는 바와 같이, DVE에서는, 한 쪽의 영상의 위치는 고정이고, 그 위에 중첩되는 형태이며, 다른 쪽의 영상이 평행 이동, 확대 축소, 회전, 비틀기 등의 화상 변환을 수반하면서 출현 또는 소실하여 화면이 절환된다. 모두 절환 전후의 영상이 공간적으로 공존하면서 화면이 절환되는 것이 특징이다. 또한, 모두 절환되는 패턴이 무수하게 있다.

영상의 특수 효과는, 일반적으로 다용되는 순시적인 영상 절환인 컷트와는 상이하며, 영상의 편집자가 의도적으로 삽입하는 영상 절환이다. 영상의 특수 효과는, 영상의 의미적으로 중요한 개소나, 편집자가 특히 인상을 남기고 싶은 개소에 이용된다. 예를 들면, 신규 코너나 토픽의 개시점이나, 장면의 전환점 등에 이용된다. 따라서, 영상의 특수 효과를 검출함으로써, 영상의 내용이나 구조를 이해함에 있어서 중요한 정보를 취득할 수 있다.

와이프나 DVE 등의 특수 효과를 검출하는 방법이, 문헌에 기재되어 있다.

일본 특허 공개 평성 8-237549호 공보(단락 0011-0016)나 일본 특허 공개 2005-237002호 공보(단락 0031-0035)에는, 와이프를 포함시킨 점차 변화에 의한 영상 절환을, 인접 프레임간의 특징량의 차분값(프레임간 차분값)을 이용하여 검출하는 방법이 기재되어 있다. 이들에 기재되어 있는 방법에서는, 프레임의 특징량이 완만하게 변화해 가는 구간을 검출한다. 일본 특허 공개 평성 8-237549호 공보에 기재되어 있는 방법에서는, 프레임간 차분값이, 임의의 완만한 변화를 검지하는 임계값 이상으로 되는 프레임이 계속되며, 또한, 누적된 프레임간 차분값이, 임의의 다른 큰 임계값 이상으로 되는 경우에, 점차 변화에 의한 영상 절환을 검출한다. 프레임간 차분값으로서, 화소간의 휘도값의 변화량이 이용되고 있다. 일본 특허 공개 2005-237002호 공보에 기재되어 있는 방법에서는, 프레임간 차분값이, 임의의 완만한 변화를 검지하는 임계값 이상으로 되는 프레임이 계속되며, 또한, 그 전후의 구간에서 프레임간 차분값이, 임의의 임계값 이하로 되는 프레임이 계속되는 경우에, 와이프를 검출한다.

일본 특허 공개 평성 7-288840호 공보(단락 0011)나 일본 특허 공개 평성 11-252501호 공보(단락 0012-0020)에는, 와이프를 검출하는 방법이 기재되어 있다. 와이프는, 절환 후의 영상이 절환 전의 영상의 영역을 서서히 치환해 가서, 최종적으로 절환 후의 영상이 절환 전의 영상의 전체 영역을 치환한다고 하는 성질을 갖는다. 이들에 기재되어 있는 방법에서는, 와이프가 갖는 성질을 이용하여 균일하게 변화하는 와이프를 검출한다. 인접 프레임간의 화소간의 차분값 등에 기초하여, 각 프레임에서의 화상의 변화 영역을 구한다. 연속되는 복수 프레임의 화상 변화 영역의 논리합에 의해 얻어지는 종합의 화상 변화 영역을 평가하여, 와이프를 검출한다. 일본 특허 공개 평성 11-252509호 공보(단락 0053-0057)에도, 와이프를 검출하는 방법이 기재되어 있다. 일본 특허 공개 평성 11-252509호 공보에 기재되어 있는 방법에서는, 예측 오차의 프레임 평균이 커지면, 와이프일 가능성이 높다고 판정한다.

카와이 요시히코, 바바구치 노보루, 키타하시 타다히로는, DVE를 검출하는 방법을, "방송형 스포츠 영상에서의 디지털 비디오 효과에 주목한 리플레이 씬 검 출의 한 방법"(전자 정보 통신 학회 논문지 D-II, Vol.J84-D-II, No.2, pp.432-435, 2001년 2월)에 개시하고 있다. "방송형 스포츠 영상에서의 디지털 비디오 효과에 주목한 리플레이 씬 검출의 한 방법"에 기재되어 있는 방법에서는, 미리 DVE의 패턴을 등록해 두고, 미리 등록된 DVE의 패턴과 영상을 비교함으로써, 유사한 패턴을 DVE로서 검출한다.

그러나, 상기 문헌에 기재되어 있는 종래의 방법은, 패턴에 의존하지 않고 범용적으로, 또한, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 영상의 특수 효과를 고정밀도로 검출할 수 없다. 특수 효과 이외의 영상 변화는, 예를 들면 팬, 줌 등의 카메라 모션이나, 영상 내의 오브젝트의 움직임 등의 점차 변화이다. 일본 특허 공개 평성 8-237549호 공보나 일본 특허 공개 평성 11-252501호 공보에 기재되어 있는 방법은, 특수 효과의 패턴에 의존하지 않고 범용적으로 적용할 수 있지만, 단순한 프레임의 특징량의 비교를 이용하기 때문에, 특수 효과의 영상 변화와 특수 효과 이외의 영상 변화를 구별할 수 없다. 왜냐하면, 특수 효과 이외의 영상 변화에서도, 특수 효과와 마찬가지로, 프레임의 특징량이 완만하게 변화하기 때문이다. 특수 효과의 영상 변화와 특수 효과 이외의 영상 변화를 구별할 수 없으므로, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 경우가 많이 발생한다는 문제가 있다.

일본 특허 공개 평성 7-288840호 공보나 일본 특허 공개 평성 11-252501호 공보(단락 0012-0020)에 기재되어 있는 방법은, 균일하게 변화하는 와이프의 성질을 이용하여 와이프를 검출하므로, 와이프를, 특수 효과 이외의 영상 변화와는 구 별하여 검출할 수 있다. 그러나, DVE는 복잡한 화상 변환을 수반하여 영상이 절환되므로, 전술한 와이프의 성질을 이용하여 DVE를 검출하는 것은 극히 곤란하다. 그 때문에, 모든 패턴의 와이프와 DVE를 범용적으로 검출할 수 없다. 일본 특허 공개 평성 11-252509호 공보에 기재되어 있는 방법은, 예측 오차의 프레임 평균이 커지면 와이프일 가능성이 높다고 판정한다. 예측 오차의 프레임 평균이 커지는 것은 와이프인 경우에 한정되지 않기 때문에, 일본 특허 공개 평성 11-252509호 공보에 기재되어 있는 방법은, 고정밀도로 와이프 등의 특수 효과를 검출할 수 없다.

"방송형 스포츠 영상에서의 디지털 비디오 효과에 주목한 리플레이 씬 검출의 한 방법"에 기재되어 있는 방법에서는, 특수 효과의 패턴마다 등록 작업이 필요하게 된다. 특수 효과의 패턴은 무수하게 있으며, 모든 패턴의 특수 효과를 등록해 두는 것은 불가능하다. "방송형 스포츠 영상에서의 디지털 비디오 효과에 주목한 리플레이 씬 검출의 한 방법"에 기재되어 있는 방법에서는, 미리 패턴을 등록한 한정된 수의 특수 효과는 검출할 수 있지만, 등록되어 있지 않은 패턴의 특수 효과는 검출할 수 없다.

일본 특허 공개 평성 6-259561호 공보는, 동화상 중의 시표의 이동 속도와 이동 방향을 고정밀도 또한 고속으로 계산하기 위한 계산 장치를 개시하고 있다.

일본 특허 공개 평성 9-245167호 공보는, 복잡한 화상의 대조를 신속하게 행하기 위한 화상 대조 방법을 개시하고 있다.

일본 특허 제3585977호 공보는, 바닥면에 동물체의 그림자가 있어도 동물체의 위치를 화상 처리에 의해 정확하게 구하는 것을 가능하게 하는 동물 영역 검출 장치를 개시하고 있다.

타카기 미키오, 시모다 하루히사의 감수에 의한 "신편 화상 해석 핸드북"(동경 대학 출판회, 2004년 9월)은, 본 발명에 관련되는 기술을 개시하고 있다.

John Canny는, 본 발명에 관련되는 기술을 "A Computational Approach to Edge Detection"(IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp.679-698, 1986년 11월)에 개시하고 있다.

H.J.Zhang, A.Kankanhalli, S.W.Smoliar은, 본 발명에 관련되는 기술을 "Automatic Partitioning of Full-Motion Video"(Multimedia Systems 1, pp.10-28, 1993년)에 개시하고 있다.

본 발명은, 영상에 포함되는 특수 효과를, 특수 효과의 패턴에 의존하지 않고, 범용적으로, 또한, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있는, 영상의 특수 효과 검출 장치, 특수 효과 검출 방법 및 특수 효과 검출 프로그램을 제공하는 것을 목적으로 한다.

본 발명은, 특수 효과를 구성하는 프레임이, 패턴에 의존하지 않고 범용적으로, 프레임 내에 존재하는 2개의 화상 사이의 경계선(화상 경계선이라고 부름)을 갖는 것에 주목하고 있는 점에 하나의 특징이 있다.

본 발명에 따른 영상의 특수 효과 검출 장치는, 영상을 구성하는 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출함으로써 영상에 포함되는 특수 효과를 검출한다. 영상의 특수 효과 검출 장치는, 입력 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력하는 화상 경계선 추출부와, 각 프레임의 화상 경계선 기술 정보를 이용하여 특수 효과를 포함하는 프레임 구간을 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 특수 효과 검출부를 구비하는 것이 바람직하다. 특수 효과는, 대표적으로는, 와이프 또는 디지털 비디오 이펙트에 의한 영상 절환이다. 또한, 화상 경계선은, 프레임 내에 존재하는 2개의 화상 사이의 경계선과 연동하여 움직이는 프레임 내의 선도 포함해도 된다.

본 발명에 따른 영상의 특수 효과 검출 장치에서는, 화상 경계선 추출부가, 입력 영상의 각 프레임으로부터, 화상 경계선을 구성하는 화소의 후보인 화상 경계선 후보 화소를 검출하고, 화상 경계선 후보 화소를 특정하는 정보인 화상 경계선 후보 화소 정보를 프레임마다 출력하는 화상 경계선 후보 화소 검출부와, 각 프레임의 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을 화상 경계선으로서 추출하고, 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 프레임마다 출력하는 선 추출부를 포함하는 것이 바람직하다.

화상 경계선 후보 화소 검출부는, 엣지인 화소, 프레임간 화소 차분값이 큰 화소, 움직임 벡터가 변동하는 영역에 속하는 화소 중 어느 1개를 충족시키는 화소, 또는 복수의 조합을 충족시키는 화소를, 화상 경계선 후보 화소로서 검출해도 된다.

선 추출부는, 하프 변환을 이용하여 화상 경계선 후보 화소가 구성하는 직선을 화상 경계선으로서 추출해도 된다.

본 발명에 따른 영상의 특수 효과 검출 장치에서는, 특수 효과 검출부가, 각 프레임의 화상 경계선 기술 정보를 이용하여, 프레임마다 화상 경계선을 갖는지의 여부를 판정하고, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 소유 프레임 구간 검출부를 포함하는 것이 바람직하다.

이러한 구성을 채용함으로써, 본 발명에 따른 영상의 특수 효과 검출 장치는, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 추출한 화상 경계선에 기초하여 특수 효과를 포함하는 프레임 구간을 검출한다. 화상 경계선은, 특수 효과를 구성하는 프레임에는 패턴에 의존하지 않고 범용적으로 포함되며, 카메라 모션 등의 특수 효과 이외의 영상 변화의 프레임에는 포함되지 않는다. 이 때문에, 특수 효과를 패턴에 의존하지 않고 범용적으로, 또한 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있다.

본 발명에 따른 영상의 특수 효과 검출 장치에서는, 특수 효과 검출부가, 각 프레임의 화상 경계선 기술 정보가 나타내는 화상 경계선이, 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 연속 이동 프레임 구간 검출부를 포함하는 것이 바람직하다.

화상 경계선 연속 이동 프레임 구간 검출부는, 각 프레임의 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 파라미터 공간 내에서 화상 경계선을 나타내는 특징점이 시간과 함께 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출해도 된다.

이러한 구성을 채용함으로써, 본 발명에 따른 영상의 특수 효과 검출 장치는, 화상 경계선이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출한다. 특수 효과에서는 화상 경계선은 프레임간을 연속적으로 이동한다. 이 때문에, 특수 효과를 패턴에 의존하지 않고 범용적으로, 또한 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있다. 또한, 화상 경계선의 유무뿐만 아니라, 화상 경계선이 연속적으로 이동하는지의 여부에 기초하여 특수 효과를 검출하기 때문에, 화상 경계선의 유무에만 기초하여 특수 효과를 검출하는 구성과 비교하여, 보다 고정밀도로 특수 효과를 검출할 수 있다.

본 발명에 따른 영상의 특수 효과 검출 장치에서는, 특수 효과 검출부가, 각 프레임의 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출하고, 화상 경계선의 조합을 기술하는 정보인 화상 경계선 조합 정보를 프레임마다 출력하는 화상 경계선 조합 추출부와, 각 프레임의 화상 경계선 조합 정보를 이용하여, 프레임마다 화상 경계선의 조합을 갖는지의 여부를 판정하고, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 조합 소유 프레임 구간 검출부를 포함하는 것이 바람직하다.

본 발명에 따른 영상의 특수 효과 검출 장치에서는, 특수 효과 검출부가, 각 프레임의 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출하고, 화상 경계선의 조합을 기술하는 정보인 화상 경계선 조합 정보를 프레임마다 출력하는 화상 경계선 조합 추출부와, 각 프레임의 화상 경계선 조합 정보가 나타내는 화상 경계선의 조합이, 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 조합 연속 이동 프레임 구간 검출부를 포함하는 것이 바람직하다.

화상 경계선 조합 추출부는, 복수의 화상 경계선이, 4각형 또는 4각형의 일부를 형성하는 화상 경계선의 조합을 추출해도 된다.

화상 경계선 조합 연속 이동 프레임 구간 검출부는, 각 프레임의 화상 경계선의 조합의 각각의 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 각 특징점이 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출해도 된다.

이러한 구성을 채용함으로써, 본 발명에 따른 영상의 특수 효과 검출 장치는, 프레임으로부터 화상 경계선의 조합을 추출하고, 추출한 화상 경계선의 조합에 기초하여 특수 효과를 포함하는 프레임 구간을 검출한다. 화상 경계선의 조합이 형성하는 화상틀은, 특수 효과 중의 DVE를 구성하는 프레임에 포함되고, 특수 효과 이외의 영상 변화의 프레임에는 포함되지 않는다. 이 때문에, 특수 효과 중의 DVE를, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있다. 또한, 복수의 화상 경계선의 조합에 기초하여 특수 효과를 검출하기 때문에, 단독의 화상 경계선에만 기초하여 특수 효과를 검출하는 구성과 비교하여, 보다 고정밀도로 특수 효과 중의 DVE를 검출할 수 있다.

본 발명의 효과는, 영상에 포함되는 특수 효과를, 특수 효과의 패턴에 의존하지 않고 범용적으로, 또한, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있는 것이다.

그 이유는, 화상 경계선 추출부가, 프레임으로부터, 특수 효과를 구성하는 프레임에는 공통으로 포함되고, 특수 효과 이외의 영상 변화의 프레임에는 포함되지 않는 화상 경계선을 추출하고, 특수 효과 검출부가 추출한 화상 경계선에 기초하여 특수 효과를 포함하는 프레임 구간을 검출하기 때문이다.

도 1의 (A) 및 (B)는, 와이프의 예를 도시하는 설명도.

도 2의 (A) 내지 (I)는, DVE의 예를 도시하는 설명도.

도 3은 본 발명에 따른 특수 효과 검출 장치의 제1 실시 형태를 도시하는 블록도.

도 4의 (A) 내지 (F)는, 화상 경계선의 예를 도시하는 설명도.

도 5는 움직임 벡터의 변동 정도를 산출하기 위한 블록과 그 움직임 벡터의 일례를 도시하는 설명도.

도 6은 화상 경계선을 갖는 프레임이 연속되는 프레임 구간의 일례를 도시하는 설명도.

도 7은 제1 실시 형태의 동작을 나타내는 플로우차트.

도 8은 본 발명에 따른 특수 효과 검출 장치의 제2 실시 형태를 도시하는 블록도.

도 9의 (A) 내지 (C)는 화상 경계선이 프레임간을 연속적으로 이동하는 모습의 일례를 도시하는 설명도.

도 10은 화상 경계선을 기술하는 파라미터를 나타내는 특징점이 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 궤적을 예시한 설명도.

도 11은 제2 실시 형태의 동작을 나타내는 플로우차트.

도 12는 본 발명에 따른 특수 효과 검출 장치의 제3 실시 형태를 도시하는 블록도.

도 13의 (A) 내지 (F)는 화상틀을 형성하는 화상 경계선의 조합의 예를 도시하는 설명도.

도 14는 제3 실시 형태의 동작을 나타내는 플로우차트.

도 15는 본 발명에 따른 특수 효과 검출 장치의 제4 실시 형태를 도시하는 블록도.

도 16은 화상 경계선의 조합의 각각의 화상 경계선을 나타내는 특징점이 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 모습을 예시한 설명도.

도 17은 제4 실시 형태의 동작을 나타내는 플로우차트.

도 18은 본 발명에 따른 특수 효과 검출 장치의 제5 실시 형태를 도시하는 블록도.

도 19는 화상 경계선을 구성하는 화소의 엣지 방향이 화상 경계선의 방향에 대하여 수직으로 되는 것을 도시하는 설명도.

도 20은 본 발명에 따른 특수 효과 검출 장치의 제6 실시 형태를 도시하는 블록도.

도 21은 본 발명에 따른 특수 효과 검출 장치의 제7 실시 형태를 도시하는 블록도.

도 22는 본 발명에 따른 특수 효과 검출 장치의 제8 실시 형태를 도시하는 블록도.

도 23은 본 발명에 따른 특수 효과 검출 장치의 제9 실시 형태를 도시하는 블록도.

도 24는 본 발명에 따른 특수 효과 검출 장치의 제10 실시 형태를 도시하는 블록도.

<제1 실시 형태>

다음으로, 본 발명의 제1 실시 형태를 도면을 참조하여 설명한다.

도 3은, 본 발명에 따른 특수 효과 검출 장치의 제1 실시 형태를 도시하는 블록도이다. 도 3에 도시하는 바와 같이, 본 발명의 제1 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와 특수 효과 검출부(21)를 구비하고 있다. 또한, 특수 효과 검출 장치는, 예를 들면, 기록 매체에 기억된 프로그램에 따라서 처리를 실행하는 컴퓨터 등의 정보 처리 장치에 의해 실현된다. 이것은, 이하의 각 실시 형태에서도 마찬가지이다.

화상 경계선 추출부(11)는, 입력 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 추출한 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력한다. 화상 경계선이란, 특수 효과를 구성하는 프레임 내에서 공존하는 절환 전후의 2개의 화상 사이의 경계선을 가리킨다. 특수 효과는, 절환 전후의 화상이 공간적으로 공존하면서 절환되는 것이 특징이다. 그 때문에, 특수 효과를 구성하는 프레임은 화상 경계선을 갖는다.

도 4의 (A) 내지 (F)는, 화상 경계선의 예를 도시하는 설명도이다. 도 4의 (A) 내지 (F)에서, 부호 9는, 화상 경계선을 나타낸다. 또한, 화상 경계선은, 엄밀하게 프레임 내에 존재하는 2개의 화상 사이의 경계선일 필요는 없다. 화상 경계선은, 프레임 내에 존재하는 2개의 화상 사이의 경계선과 연동하여 움직이는 프레임 내의 선도 포함해도 된다. 화상 경계선은, 프레임 내에 존재하는 2개의 화상 사이의 경계선과 연동하여 움직이는 프레임 내의 선이어도 된다. 또한, 여기서 설명한 화상 경계선의 설명은, 이후 모든 실시 형태에 대하여 적합하다.

화상 경계선 추출부(11)는, 화상 경계선 후보 화소 검출부(111)와, 선 추출부(112)를 포함한다. 화상 경계선 후보 화소 검출부(111)는, 입력 영상의 각 프레임으로부터, 화상 경계선을 구성하는 화소의 후보인 화상 경계선 후보 화소를 검출한다. 그리고, 화상 경계선 후보 화소 검출부(111)는, 검출한 화상 경계선 후보 화소를 특정하는 정보인 화상 경계선 후보 화소 정보를, 프레임마다 출력한다. 또한, 여기서, 화소로서, 입력 영상의 각 프레임을 구성하는 화소를 그대로 이용해도 되고, 임의의 해상도 변환 등의 화상 처리에 의해 새롭게 얻어진 화소를 이용해도 된다. 또한, 입력 영상의 프레임으로서, 입력 영상을 구성하는 모든 프레임을 이용해도 되고, 임의의 샘플링에 의해 얻어진 서브세트를 이용해도 된다. 이것은, 이후 모든 실시 형태에 대하여 적합하다.

화상 경계선 후보 화소 검출부(111)는, 화상 경계선 후보 화소를 검출할 때에, 특수 효과에서의 화상 경계선을 구성하는 화소가 갖는 성질에 합치한 화소를 검출한다. 화상 경계선을 구성하는 화소가 갖는 성질로서, 화상 경계선을 구성하는 화소는 엣지 즉 화상의 명도가 급격하게 변화하는 개소의 화소라고 하는 성질이 있다. 화상 경계선이 2개의 상이한 화상 사이의 경계이기 때문이다. 엣지인 화소를 검출하는 방법은 여러 가지 있으며, 그 중의 임의의 방법을 이용하면 된다. 그들 방법의 상세 내용은, 예를 들면 "신편 화상 해석 핸드북"의 pp.1228-1246에 기재되어 있다. 예를 들면, "신편 화상 해석 핸드북"에 기재되어 있는 Prewitt, Sobel, Roberts, Robinson, Kirsch, 라플라시안 등의 엣지 검출 오퍼레이터를 화상 내의 각 화소에 적용하여 엣지인 화소를 검출해도 된다. 또한, "A Computational Approach to Edge Detection"에 기재되어 있는 Canny의 엣지 검출법을 이용하여, 엣지인 화소를 검출해도 된다. 이와 같이 하여 검출된 엣지인 화소를, 화상 경계선 후보 화소로 할 수 있다.

화상 경계선을 구성하는 화소가 갖는 다른 성질로서, 화상 경계선을 구성하는 화소는 프레임간 화소 차분값이 크다고 하는 성질이 있다. 화상 경계선이 움직이기 때문이다. 임의의 프레임의 프레임간 화소 차분값이 큰 화소를 검출하기 위 해서는, 그 프레임과 그 프레임에 인접하는 프레임의 대응하는 화소 사이에서, 화소값의 차분값을 구한다. 그리고, 그 차분값이 임의의 임계값보다도 큰 화소를, 그 프레임의 프레임간 화소 차분값이 큰 화소로 할 수 있다. 또한, 프레임간에서 화소값의 차분값을 구할 때에, 인접하는 한 방향만의 프레임(예를 들면, 다음 프레임)뿐만 아니라, 인접하는 역방향의 프레임(예를 들면, 이전 프레임)과의 사이에서도 화소값의 차분값을 구하고, 그 양방이 임의의 임계값보다도 큰 화소를, 프레임간 화소 차분값이 큰 화소로 해도 된다. 여기서, 화소값으로서, 임의의 표색계에 의해 기술되는 신호값을 이용하면 된다. 이와 같이 하여 검출된 프레임간 화소 차분값이 큰 화소를, 화상 경계선 후보 화소로 할 수 있다.

상기한 2개의 성질 중 어느 한 쪽의 성질을 갖는 화소를 화상 경계선 후보 화소로 해도 되지만, 상기한 성질을 모두 갖는 화소를 화상 경계선 후보 화소로 하는 쪽이 바람직하다. 이 경우, 각각의 성질을 갖는 화소를 따로따로 구하고, 그 양방의 성질을 갖는 화소를 화상 경계선 후보 화소로 해도 된다. 또한, 계산 코스트를 억제하기 위하여, 어느 한 쪽의 성질을 갖는 화소를 먼저 구하고, 그들 화소 중으로부터 다시 다른 쪽의 성질이 갖는 화소를 검출하여, 화상 경계선 후보 화소로 해도 된다.

또한, 상기한 2개의 성질 이외에, 화상 경계선을 구성하는 화소가 갖는 다른 성질로서, 화상 경계선을 구성하는 화소는 움직임 벡터가 변동하는 영역에 속한다고 하는 성질이 있다. 화상 경계선을 구성하는 화소가, 2개의 화상간의 움직이고 있는 경계 상에 있기 때문이다. 여기서, 움직임 벡터가 변동하는 영역이란, 복수 의 서로 근접하는 지점의 움직임 벡터의 방향이나 크기가 일치하지 않는 영역을 말한다. 움직임 벡터가 변동하는 영역을 검출하기 위해서는, 예를 들면, 각 화소 혹은 블록 등의 소영역마다, 그 화소 혹은 소영역의 움직임 벡터와 그 주변의 복수의 화소 혹은 소영역의 움직임 벡터의, 변동의 정도를 나타내는 변동 정도를 산출하고, 산출된 움직임 벡터의 변동 정도가 임의의 임계값 이상인 화소 혹은 소영역을, 움직임 벡터가 변동하는 영역으로 할 수 있다.

화상 경계선 후보 화소 검출부(111)는, 움직임 벡터의 변동 정도를 산출할 때에, 예를 들면, 대상으로 되는 복수의 움직임 벡터의 평균 벡터를 구하고, 각 움직임 벡터와 평균 벡터의 벡터간 거리의 평균값을 움직임 벡터의 변동 정도로 할 수 있다. 이와 같이 움직임 벡터의 변동 정도를 산출하면, 대상으로 되는 복수의 움직임 벡터의 방향이나 크기가 일치하는 경우에는, 움직임 벡터의 변동 정도가 0으로 되고, 대상으로 되는 복수의 움직임 벡터의 방향이나 크기가 변동하는 경우에는, 움직임 벡터의 변동 정도가 커진다. 또한, 움직임 벡터를 산출하는 방법은, 예를 들면, "신편 화상 해석 핸드북"의 pp.1495-1498에 기재되어 있다.

다음으로, 도면을 참조하여 구체예를 설명한다. 도 5는, 임의의 블록(혹은 화소라고 생각해도 됨)과, 그 주변의 블록의 합계 9개의 블록과, 그들의 움직임 벡터를 도시하는 설명도이다. 이들 움직임 벡터를 수학식 1로 표현하고, 이들 움직임 벡터의 평균 벡터를 수학식 2로 표현한다. 움직임 벡터의 변동 정도 V는, 수학식 1로 표현되는 움직임 벡터와 수학식 2로 표현되는 평균 벡터의 벡터간 거리의 평균값으로서, 수학식 3과 같이 산출할 수 있다.

화상 경계선 후보 화소 검출부(111)는, 이와 같이 하여 각 블록(또는 화소)에 대하여 움직임 벡터의 변동 정도를 산출한다. 화상 경계선 후보 화소 검출부(111)는, 산출된 움직임 벡터의 변동 정도가 임의의 임계값 이상인 블록(혹은 화소)에 속하는 모든 화소를, 움직임 벡터가 변동하는 영역에 속하는 화소로서 검출할 수 있다. 또한, 여기서 설명한, 움직임 벡터가 변동하는 영역에 속하는 화소를 검출하는 방법은 일례이며, 이 방법에 한정되는 것은 아니다. 이와 같이 하여 검출된 움직임 벡터가 변동하는 영역에 속하는 화소를, 화상 경계선 후보 화소로 할 수 있다.

또한, 움직임 벡터가 변동하는 영역에 속하는 화소를 그대로 화상 경계선 후보 화소로 해도 된다. 움직임 벡터가 변동하는 영역에 속하고, 또한 상기한 다른 2개의 성질 중 어느 한 쪽의 성질, 혹은 양방의 성질을 갖는 화소를, 화상 경계선 후보 화소로 하는 것이 바람직하다.

또한, 화상 경계선 후보 화소 검출부(111)는, 검출한 화상 경계선 후보 화소의 주변의 화소를 팽창 처리에 의해 추출하고, 주변의 화소도 화상 경계선 후보 화소에 추가하도록 해도 된다. 화상 경계선 후보 화소 정보는, 각 프레임에 대하여 검출한 화상 경계선 후보 화소를 특정하는 정보이면, 어떠한 정보이어도 된다. 화상 경계선 후보 화소 정보는, 프레임 내의 모든 화소에 대하여, 화상 경계선 후보 화소인지의 여부를 2치로 표현한 2치 화상의 정보이어도 된다. 또한, 화상 경계선 후보 화소 정보는, 검출된 모든 화상 경계선 후보 화소의 위치를 나타내는 리스트이어도 된다.

선 추출부(112)는, 화상 경계선 후보 화소 검출부(111)가 출력한 각 프레임의 화상 경계선 후보 화소 정보를 입력하고, 각 프레임에 대하여, 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을, 화상 경계선으로서 추출한다. 그리고, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를 프레임마다 출력한다. 여기서, 추출하는 화상 경계선은, 각 프레임에 대하여 복수이어도 상관없다.

또한, 특수 효과에서의 화상 경계선은, 통상적으로, 직선이기 때문에, 선 추출부(112)가 추출하는 화상 경계선 후보 화소가 구성하는 선을, 직선에 한정해도 된다. 그러나, 드물게 곡선 등의 직선 이외의 화상 경계선을 포함하는 특수 효과도 있기 때문에, 이들 특수 효과를 검출의 대상으로 하는 경우에는, 선 추출부(112)가 추출하는 화상 경계선 후보 화소가 구성하는 선을, 직선에 한정해서는 안된다. 화상 경계선 후보 화소가 구성하는 선을 추출하는 방법으로서, 화소의 집합으로부터 선을 추출하는 임의의 방법을 이용하면 된다. 선을 추출하는 방법의 예는, 예를 들면 "신편 화상 해석 핸드북"의 pp.1246-1260에 기재되어 있다.

화상 경계선 후보 화소가 구성하는 선을 추출하는 방법으로서, 하프 변환을 이용하는 것이 바람직하다. 하프 변환은, 파라미터로 기술할 수 있는 도형(예를 들면 직선, 원, 타원, 포물선)을, 파라미터 공간에 대한 투표에 의해, 화상으로부터 추출하는 방법이다. 하프 변환은, 특히 직선을 추출하는 방법으로서 유효하다. 하프 변환에 의한 직선의 추출 방법은, 예를 들면 "신편 화상 해석 핸드북"의 pp.1254-1256에 기재되어 있다. 화상 경계선 후보 화소를 입력으로 한 하프 변환에서는, 각 화상 경계선 후보 화소를 통과하는 모든 직선에 대하여 파라미터 공간 상에서 투표를 행하고, 선 추출부(112)는, 투표량이 많은 직선을 추출한다. 선 추출부(112)는, 화상 경계선 후보 화소를 입력으로 한 하프 변환에 의해 추출된 직선을, 화상 경계선으로 할 수 있다.

하프 변환은, 파라미터로 기술할 수 있는 도형이면 추출할 수 있으므로, 곡선 등의 직선 이외의 화상 경계선을 추출의 대상으로 하는 경우에도 적용할 수 있다. 또한, "신편 화상 해석 핸드북"의 pp.1256-1258에 기재되어 있는 일반화 하프 변환은 임의 형상의 도형을 검출할 수 있다. 일반화 하프 변환을 이용하면 임의 형상의 화상 경계선을 추출할 수도 있다.

또한, 선 추출부(112)는, 추출한 화상 경계선에 대하여, 화상 경계선을 구성하는 화상 경계선 후보 화소가 화상 경계선을 따라 연속적으로 존재하는지의 여부 를 검증해도 된다. 그리고, 선 추출부(112)는, 화상 경계선 후보 화소가 연속적으로 존재하지 않는 경우에, 화상 경계선으로서 부적당하다고 간주하여, 그 화상 경계선을 제외해도 된다. 예를 들면, 선 추출부(112)는, 화상 경계선을 따라, 화상 경계선 후보 화소가 연속적으로 존재하는 길이를 측정하고, 그 길이가 임의의 임계값 이하인 화상 경계선을 제외하도록 해도 된다.

화상 경계선 기술 정보는, 각 프레임에서 추출한 화상 경계선을 기술하는 정보이다. 화상 경계선이 직선인 경우에는, 화상 경계선 기술 정보는, 직선을 기술하는 복수 차원의 파라미터이어도 된다. 예를 들면, 하프 변환에 의한 직선 추출에서는, 프레임에 대하여 정의된 (x, y) 좌표계에서의 원점으로부터 직선으로 내린 수선의 길이를 ρ, 수선과 수평축(x축)이 이루는 각도를 θ로 하여, 직선을 ρ=xcosθ+ysinθ로 표현한다. 이 경우, 2차원의 파라미터(ρ, θ)를 화상 경계선 기술 정보로 해도 된다.

또한, 화상 경계선을 구성하는 모든 화소의 위치를 기술한 리스트를, 화상 경계 기술 정보로 해도 된다. 단, 화상 경계선 기술 정보가 후술하는 제6 실시 형태에서의 엣지 방향 산출부(131)에 공급되는 경우에 한해서는, 화상 경계선 기술 정보는 화상 경계선을 구성하는 모든 화소를 특정하는 정보이어야만 한다. 또한, 화상 경계선 기술 정보가 후술하는 화상 경계선 소유 프레임 구간 검출부(211)에 공급되는 경우에 한해서는(제1 실시 형태 등), 화상 경계선 소유 프레임 구간 검출부(211)가 실행하는 처리에 대응하여, 화상 경계선 기술 정보가, 각 프레임이 화상 경계선을 포함하는지의 여부를 나타내는 2치의 정보이어도 된다. 또한, 여기서 설 명한 화상 경계선 기술 정보의 설명은, 이후 모든 실시 형태에 대하여 적합하다.

특수 효과 검출부(21)는, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보를 이용하여, 특수 효과를 포함하는 프레임 구간을 검출하고, 검출한 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다.

특수 효과 검출부(21)는, 화상 경계선 소유 프레임 구간 검출부(211)를 포함한다. 화상 경계선 소유 프레임 구간 검출부(211)는, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보를 이용하여, 프레임마다 화상 경계선을 갖는지의 여부를 판정한다. 그리고, 화상 경계선 소유 프레임 구간 검출부(211)는, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출한다. 그리고, 화상 경계선 소유 프레임 구간 검출부(211)는, 검출한 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 여기서, 검출하는 화상 경계선을 갖는 프레임이 연속되는 프레임 구간은, 반드시 모든 프레임이 화상 경계선을 가질 필요는 없다. 프레임 구간의 도중에서 화상 경계선을 갖지 않는 프레임이 임의의 규정수 포함되는 것을 허용하도록 해도 된다. 또한, 여기서 검출하는 프레임 구간은 반드시 복수의 프레임으로 구성되는 프레임 구간일 필요는 없다. 화상 경계선을 갖는 단일의 프레임을, 특수 효과를 포함하는 프레임 구간으로서 검출해도 상관없다.

화상 경계선을 갖는 프레임이 연속되는 프레임 구간을 검출하는 방법의 일례로서, 검출하는 프레임 구간의 프레임수의 최소값을 N으로 설정하고, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간의 프레임수가 N매 이상인 경우에, 프레임 구간을 검출하는 방법이 있다. 이 때, 프레임 구간의 도중에서 화상 경계선을 포함하지 않는 프레임이 임의의 규정수 포함되는 것을 허용하도록 해도 된다. 특수 효과는 복수의 프레임으로 구성되기 때문에, 통상 N으로서 2이상의 수치를 설정한다. 예를 들면, N을, 학습용으로서 준비된 영상에 포함되는 특수 효과 구간을 구성하는 프레임수의 최소값으로 설정하는 것이 바람직하다. 도 6은, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간의 일례를 도시한 설명도이다. 도 6은, 영상의 프레임열을, 화상 경계선을 갖는 프레임을 1, 갖지 않는 프레임을 0으로 하여 시계열로 도시하고 있다. 이 예에서는, 프레임 구간의 도중에서 화상 경계선을 포함하지 않는 프레임이 포함되는 것을 허용하고 있다.

특수 효과 프레임 구간 정보는, 검출된 특수 효과를 포함하는 프레임 구간을 특정하는 정보이며, 예를 들면 프레임 구간의 최초의 프레임과 최후의 프레임을 나타내는 정보 등이다. 또한, 여기서 설명한 특수 효과 프레임 구간 정보의 설명은, 이후 모든 실시 형태에 대하여 적합하다.

이상과 같이 하여 출력된 특수 효과 프레임 구간 정보를, 입력 영상의 재생 제어에 이용할 수 있다. 즉, 상기한 구성 외에, 특수 효과 검출 장치가 출력한 특수 효과 프레임 구간 정보에 기초하여, 입력 영상의 재생 제어를 행하는 영상 재생 제어 장치를 설치할 수 있다. 이러한 특수 효과 검출 장치와 영상 재생 제어 장치를 구비한 영상 재생 장치에서는, 예를 들면, 특수 효과 프레임 구간 정보가 나타내는 프레임 구간을, 재생의 개시점 후보나, 재생의 종료점 후보로 하여 재생을 제어할 수 있다.

예를 들면, 영상 재생 제어 장치는, 특수 효과 프레임 구간 정보가 나타내는 프레임 구간 내의 임의의 프레임을 재생의 개시점 후보로 하여, 유저의 재생 지시(예를 들면 리모콘 조작 등)에 의해, 개시점 후보의 프레임으로부터의 첫머리 탐색 재생을 행해도 된다. 또한, 특수 효과 프레임 구간 정보가 나타내는 프레임 구간의 최초의 프레임과 최후의 프레임을 각각 프레임 F1과 프레임 F2로 한다. 그 특수 효과 프레임 구간보다 전의 영상을 영상 A, 후의 영상을 영상 B로 한다. 그리고, 영상 재생 제어 장치는, 영상 A의 재생 지시가 있었을 때에는 프레임 F2까지를 재생하고, 영상 B의 재생 지시가 있었을 때에는 프레임 F1로부터 재생을 개시하도록 해도 된다.

배경 기술의 설명에서 설명한 바와 같이 특수 효과는 영상의 의미적으로 중요한 개소나, 편집자가 특히 인상을 남기고 싶은 개소, 예를 들면 신규의 코너나 토픽의 개시점, 장면의 전환점 등에 이용된다. 따라서, 특수 효과 검출 장치가 출력한 특수 효과 프레임 구간 정보를 이용하여 재생 제어를 행함으로써, 토픽이나 코너 등의 영상의 의미적으로 중요한 단위에서의 영상 시청이 가능하게 된다. 이 때문에, 영상의 시청하고 싶은 개소에 신속하게 액세스할 수 있어, 효율적인 시청을 제공할 수 있다. 또한, 여기서 설명한, 특수 효과 검출 장치가 출력한 특수 효과 프레임 구간 정보를 입력 영상의 재생 제어에 이용할 수 있는 것은, 이후 모든 실시 형태에 대하여 적합하다. 즉, 이후 모든 실시 형태의 특수 효과 검출 장치 외에, 특수 효과 검출 장치가 출력한 특수 효과 프레임 구간 정보에 기초하여, 입력 영상의 재생 제어를 행하는 영상 재생 제어 장치를 설치할 수 있다.

다음으로, 도 7의 플로우차트를 참조하여, 제1 실시 형태의 동작을 설명한다. 우선, 입력 영상으로부터 신 프레임이 취득되고, 화상 경계선 후보 화소 검출부(111)에 공급된다(스텝 A01). 여기서, 스텝 A01이 처음으로 실행되는 경우에는, 신 프레임을 개시 프레임으로 한다. 다음으로, 화상 경계선 후보 화소 검출부(111)는, 프레임으로부터 화상 경계선 후보 화소를 검출하고, 검출한 화상 경계선 후보 화소를 특정하는 화상 경계선 후보 화소 정보를 출력한다(스텝 A02).

다음으로, 선 추출부(112)는, 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을 화상 경계선으로서 추출하고, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를 출력한다(스텝 A03). 다음으로, 화상 경계선 소유 프레임 구간 검출부(211)는, 현 프레임까지 출력된 화상 경계선 기술 정보를 이용하여, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을 새롭게 검출한다(스텝 A04). 또한, 검출된 프레임 구간의 중복을 방지하기 위해서는, 예를 들면, 현 프레임에서 화상 경계선을 갖는 프레임 구간이 종료된 경우에만, 프레임 구간을 검출하도록 하면 된다. 화상 경계선을 갖는 프레임이 연속되는 프레임 구간이 새롭게 검출된 경우에는, 스텝 A05로 진행한다. 그 이외의 경우에는, 스텝 A06으로 진행한다.

화상 경계선이 연속되는 프레임 구간이 새롭게 검출된 경우에는, 화상 경계선 소유 프레임 구간 검출부(211)는, 그 프레임 구간을 특수 효과를 포함하는 프레임 구간으로 하고, 프레임 구간을 특정하는 특수 효과 프레임 구간 정보를 출력한다(스텝 A05). 마지막으로, 현 프레임이 종료 프레임인지의 여부를 판정하고(스텝 A06), 종료 프레임인 경우에는 처리를 종료한다. 현 프레임이 종료 프레임이 아닌 경우에는, 스텝 A01로 진행하여, 영상의 다음 프레임을 신 프레임으로서 취득하고, 처리를 속행한다. 이와 같이 하여 스텝 A01부터 A06까지의 처리를, 종료 프레임에 도달할 때까지 실행한다.

제1 실시 형태에서는, 화상 경계선은, 특수 효과를 구성하는 프레임에는 패턴에 의존하지 않고 범용적으로 포함되며, 카메라 모션 등의 특수 효과 이외의 영상 변화의 프레임에는 포함되지 않는다고 하는 성질을 이용하고 있다. 제1 실시 형태에서는, 화상 경계선 추출부(11)가 프레임으로부터 화상 경계선을 추출하고, 특수 효과 검출부(21)가 추출된 화상 경계선에 기초하여 특수 효과를 포함하는 프레임 구간을 검출한다. 따라서, 제1 실시 형태에서는, 특수 효과를 패턴에 의존하지 않고 범용적으로, 또한 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있는 효과가 있다.

<제2 실시 형태>

다음으로, 본 발명의 제2 실시 형태를 도면을 참조하여 설명한다.

도 8은, 본 발명에 따른 특수 효과 검출 장치의 제2 실시 형태를 도시하는 블록도이다. 도 8에 도시하는 바와 같이, 본 발명의 제2 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와 특수 효과 검출부(22)를 구비하고 있다. 제2 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 특수 효과 검출부(21)가, 특수 효과 검출부(22)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 화상 경계선 검출부(11)는, 제1 실시 형태에서의 화상 경계선 검출부(11)와 동일한 것이 기 때문에, 여기서는 설명을 생략한다.

특수 효과 검출부(22)는, 제1 실시 형태에서의 특수 효과 검출부(21)와 마찬가지로, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보를 이용하여, 특수 효과를 포함하는 프레임 구간을 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 그러나, 제1 실시 형태에서의 특수 효과 검출부(21)와는 구성이 상이하다.

특수 효과 검출부(22)는, 화상 경계선 연속 이동 프레임 구간 검출부(221)를 포함한다. 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보가 나타내는 화상 경계선이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출한다. 그리고, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 검출한 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다.

특수 효과에서는, 도 9의 (A) 내지 (C)에 예시하는 바와 같이, 화상 경계선(9)은 프레임간을 연속적으로 이동한다. 여기서, 화상 경계선(9)이 연속적으로 이동한다는 것은, 시간과 함께 화상 경계선(9)이 위치나 기울기를 서서히 변화시키면서 프레임 내를 이동해 가는 모습을 가리킨다. 예를 들면, 도 9의 (A)에 도시하는 예에서는, 수직의 화상 경계선(9)이, 프레임을 좌측으로부터 우측으로 가로지르는 형태로 연속적으로 이동하고 있다. 또한, 도 9의 (B)에 도시하는 예에서는, 하변의 화상 경계선(9)이, 프레임의 하측으로부터 상측으로 서서히 이동해 간다. 또한, 도 9의 (C)에 도시하는 예에서는, 좌변의 화상 경계선(9)이, 프레임의 좌측으 로부터 우측으로 서서히 이동해 간다.

화상 경계선이 연속적으로 이동하는 프레임 구간을 검출하는 방법의 일례로서, 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 파라미터 공간 내에서 화상 경계선을 나타내는 특징점이 시간과 함께 연속적으로 이동하는 프레임 구간을 추출하는 방법이 있다. 여기서는, 화상 경계선을 기술하는 파라미터로서, 제1 실시 형태에서 설명한 2차원의 파라미터(ρ, θ)를 사용하여, 구체예를 나타낸다.

도 10은, 특수 효과를 포함하는 프레임 구간에서, 화상 경계선 추출부(11)가 추출한 화상 경계선을 2차원의 파라미터(ρ, θ)로 표시하고, 특징점으로서 ρ-θ의 2차원 파라미터 공간에 플롯한 설명도이다. 특수 효과에서의 화상 경계선은 프레임간을 연속적으로 이동하므로, 화상 경계선을 기술하는 파라미터를 나타내는 특징점도, 도 10에 도시하는 바와 같이 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 궤적으로서 그려진다. 파라미터 공간 내에서 화상 경계선을 나타내는 특징점이 시간과 함께 연속적으로 이동하는 프레임 구간을 추출하기 위해서는, 파라미터 공간 내에서의 특징점간의 거리를 평가함으로써, 특징점간의 연속성을 판정해 가면 된다. 예를 들면, 인접하는 프레임간에서 추출된 화상 경계선을 나타내는 특징점간의 파라미터 공간에서의 거리를 산출하고, 그 거리가 임의의 임계값 이내이면, 그들 프레임의 화상 경계선이 연속이라고 판정한다.

화상 경계선 연속 이동 프레임 구간 검출부(221)는, 이 처리를 축차적으로 인접하는 프레임간에서 행한다. 화상 경계선 연속 이동 프레임 구간 검출부(221) 는, 특징점이 연속이라고 판정된 프레임 구간이 있는 프레임수 이상으로 된 경우에, 프레임 구간을, 화상 경계선이 연속적으로 이동하는 프레임 구간으로서 검출할 수 있다. 또한, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 파라미터 공간 내에서의 특징점간의 연속성을 판정할 때에, 특징점의 예측을 행해도 된다. 예를 들면, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 임의의 프레임(현 프레임이라고 부름)으로부터 추출된 화상 경계선을 나타내는 특징점이, 현 프레임보다도 과거의 프레임으로부터 추출된 화상 경계선을 나타내는 특징점과 연속인지를 판정할 때에, 과거의 프레임의 특징점으로부터 현 프레임의 특징점의 예측점을 산출하고, 그 예측점과 실제로 추출된 현 프레임의 특징점의 거리를 산출하고, 그 거리가 임의의 임계값 이내이면, 연속이라고 판정할 수 있다. 또한, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 파라미터 공간 내에서의 특징점의 연속성을 판정할 때에, 임의의 일정량의 예외값을 허용하도록 해도 된다.

또한, 도 9의 (A) 내지 (C)에 도시된 바와 같이, 특수 효과에서는 통상적으로, 화상 경계선(9)은 프레임의 끝으로부터 타단으로 연속적으로 이동한다. 프레임의 끝이란, 프레임의 외부 틀의 근방의 프레임 내의 영역을 가리킨다. 특수 효과에서는, 통상적으로, 화상 경계선은 우선 프레임의 끝에 출현하고, 그 화상 경계선이 시간과 함께 프레임 내를 연속적으로 이동해 가서, 마지막으로 프레임의 다른 끝에서 소실된다.

예를 들면, 도 9의 (A)에 도시하는 예에서는, 화상 경계선(9)은 프레임의 좌단으로부터 우단으로 연속적으로 이동하고 있다. 따라서, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선이 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 예를 들면, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선이 연속적으로 이동하는 프레임 구간 중으로부터, 프레임 구간의 최초의 프레임의 화상 경계선이 프레임의 끝에 존재하고, 또한, 프레임 구간의 최후의 프레임의 화상 경계선이 프레임의 다른 끝에 존재하는 프레임 구간을 선택함으로써, 화상 경계선이 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을 검출할 수 있다. 또한, 화상 경계선이 프레임의 끝에 존재하는지의 여부를 판정할 때에, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 예를 들면, 프레임의 외부 틀로부터 화상 경계선까지의 거리를 산출하고, 그 거리가 임의의 임계값 이내인 경우에는 화상 경계선이 프레임의 끝에 존재하고, 임계값 이상인 경우에는 화상 경계선이 프레임의 끝에 존재하지 않는다고 판정할 수 있다.

또한, 특수 효과는, 절환 전후의 영상이 공간적인 점유 비율을 서서히 변화시키면서 절환되는 점차 변화이기 때문에, 화상 경계선에 의해 구분되는 2개의 화상 영역(예를 들면, 세로의 화상 경계선의 경우는 그 좌우의 화상 영역, 가로의 화상 경계선의 경우에는 그 상하의 화상 영역) 중, 면적이 시간적으로 감소 중인 화상 영역은 절환 전의 영상에 소속되고, 면적이 시간적으로 증가 중인 화상 영역은 절환 후의 영상에 소속된다. 이 때문에, 면적이 시간적으로 감소 중인 화상 영역은, 절환 후의 영상의 프레임과는 유사하지 않고, 절환 전의 영상의 프레임과 부분적으로 유사하다. 또한, 면적이 시간적으로 증가 중인 화상 영역은, 절환 전의 영 상의 프레임과는 유사하지 않고, 절환 후의 영상의 프레임과 부분적으로 유사하다.

화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선이 연속적으로 이동하는 프레임 구간이, 다시 이 성질을 충족시키는 경우에, 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 즉, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 검출된 화상 경계선이 연속적으로 이동하는 프레임 구간이 다시, 각 프레임에서 그 프레임의 화상 경계선에 의해 구분되는 2개의 화상 영역 중,

(a) 면적이 시간적으로 감소 중인 화상 영역이 프레임 구간 후의 프레임과 유사하지 않다,

(b) 면적이 시간적으로 감소 중인 화상 영역이 프레임 구간 전의 프레임과 유사하다,

(c) 면적이 시간적으로 증가 중인 화상 영역이 프레임 구간 전의 프레임과 유사하지 않다,

(d) 면적이 시간적으로 증가 중인 화상 영역이 프레임 구간 후의 프레임과 유사하다

중 적어도 어느 하나의 성질 또는 복수의 성질의 조합을 충족시키는 경우에, 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 여기서, 프레임 구간의 전/후의 프레임이란, 프레임 구간의 1개 전/후의 프레임이어도 되고, 프레임 구간의 임의의 소정수만큼 전/후의 프레임이어도 된다. 또한, 프레임 구간의 전/후의 프레임은 각각 복수매의 프레임, 예를 들면 프레임 구간의 전/ 후의 N프레임(N은 프레임 매수)으로 해도 된다.

여기서, 화상 경계선에 의해 구분되는 2개의 화상 영역 중, 면적이 시간적으로 감소 중인 화상 영역과, 면적이 시간적으로 증가 중인 화상 영역을 분별하기 위해서는, 그 프레임의 2개의 화상 영역의 면적과, 그 전후의 프레임의 화상 경계선에 의해 구분되는 2개의 화상 영역의 면적을 비교하면 된다.

또한, 화상 영역과 프레임의 유사성을 판단하기 위하여, 어떠한 방법을 이용해도 된다. 일례로서, 화상 영역과 프레임의 각각에 포함되는 화소의 통계적인 성질(화상 특징)을 이용하여 화상 영역과 프레임의 유사도(또는 거리)를 산출하고, 임계값 처리에 의해 화상 영역과 프레임이 유사한지의 여부를 판단하는 방법이 있다. 여기서, 화소의 통계적인 성질(화상 특징)이란, 예를 들면, 휘도나 색의 히스토그램이나, 휘도나 색의 평균값·분산값, 텍스쳐 정보 등이다. 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 유사성의 판단을 프레임마다 행하여, 상기 성질을 충족시키는 프레임수가 임의의 비율을 초과하는 경우에, 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다.

또한, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 프레임마다에서는 유사도의 산출만을 행하고, 프레임 구간 전체에서의 유사도(증가 중인 화상 영역과 프레임 구간 전의 프레임의 유사도, 증가 중인 화상 영역과 프레임 구간 후의 프레임의 유사도, 감소 중인 화상 영역과 프레임 구간 전의 프레임의 유사도, 감소 중인 화상 영역과 프레임 구간 후의 프레임의 유사도)를 산출하고, 프레임 구간 전체에서 상기 성질을 충족시키는지의 여부를 판정하여, 충족시키는 경우에 프레임 구 간을 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다.

또한, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선에 의해 구분되는 화상 영역과 프레임 구간의 전후의 프레임의 유사성을 판정할 때에, 화상 영역의 전체 영역을 이용할 필요는 없고, 화상 영역의 일부의 영역만을 이용하여 프레임 구간의 전후의 프레임과의 유사성을 판정해도 된다. 예를 들면, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선에 의해 구분되는 화상 영역 중, 화상 경계선에 가까운 화상 영역만을 이용해도 된다. 또한, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 화상 경계선에 의해 구분되는 화상 영역 중, 현 프레임의 화상 경계선과 인접 프레임의 화상 경계선 사이에 끼워지는 화상 영역만을 이용해도 된다.

다음으로, 도 11의 플로우차트를 참조하여, 제2 실시 형태의 동작을 설명한다. 우선, 입력 영상으로부터 신 프레임이 취득되고, 화상 경계선 후보 화소 검출부(111)에 공급된다(스텝 B01). 여기서, 스텝 B01이 처음으로 실행되는 경우에는, 신 프레임을 개시 프레임으로 한다. 다음으로, 화상 경계선 후보 화소 검출부(111)는, 프레임으로부터 화상 경계선 후보 화소를 검출하고, 검출한 화상 경계선 후보 화소를 특정하는 화상 경계선 후보 화소 정보를 출력한다(스텝 B02).

다음으로, 선 추출부(112)는, 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을, 화상 경계선으로서 추출하고, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를 출력한다(스텝 B03). 다음으로, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 현 프레임까지 출력된 화상 경계선 기술 정보를 이용하여, 화상 경계선 기술 정보가 나타내는 화상 경계선이 연속적으로 이동하는 프레임 구간을 새롭게 검출한다(스텝 B04). 또한, 검출된 프레임 구간의 중복을 방지하기 위해서는, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 예를 들면, 현 프레임에서 화상 경계선이 연속적으로 이동하는 프레임 구간이 종료된 경우에만, 프레임 구간을 검출하도록 하면 된다. 화상 경계선이 연속적으로 이동하는 프레임 구간이 새롭게 검출된 경우에는, 스텝 B05로 진행한다. 그 이외의 경우에는, 스텝 B06으로 진행한다.

화상 경계선이 연속되는 프레임 구간이 새롭게 검출된 경우에는, 화상 경계선 연속 이동 프레임 구간 검출부(221)는, 그 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로 하고, 프레임 구간을 특정하는 특수 효과 프레임 구간 정보를 출력한다(스텝 B05). 마지막으로, 현 프레임이 종료 프레임인지의 여부를 판정하고(스텝 B06), 종료 프레임인 경우에는 처리를 종료한다. 현 프레임이 종료 프레임이 아닌 경우에는, 스텝 B01로 진행하여, 영상의 다음 프레임을 신 프레임으로서 취득하고, 처리를 속행한다. 이와 같이 하여 스텝 B01부터 B06까지의 처리를, 종료 프레임에 도달할 때까지 실행한다.

제2 실시 형태에서는, 특수 효과에서 화상 경계선은 프레임간을 연속적으로 이동한다고 하는 성질을 이용하고 있다. 제2 실시 형태에서는, 화상 경계선이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하기 때문에, 제1 실시 형태와 마찬가지로, 특수 효과를 패턴에 의존하지 않고 범용적으로, 또한, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀 도로 검출할 수 있는 효과가 있다. 또한, 제2 실시 형태에 따르면, 화상 경계선의 유무뿐만 아니라, 화상 경계선이 연속적으로 이동하는지의 여부에 기초하여 특수 효과가 검출된다. 따라서, 제2 실시 형태에 따르면, 화상 경계선의 유무에 기초하여 특수 효과를 검출하는 제1 실시 형태와 비교하여, 보다 고정밀도로 특수 효과를 검출할 수 있는 효과가 있다.

<제3 실시 형태>

다음으로, 본 발명의 제3 실시 형태를 도면을 참조하여 설명한다.

도 12는, 본 발명에 따른 특수 효과 검출 장치의 제3 실시 형태를 도시하는 블록도이다. 도 12에 도시하는 바와 같이, 본 발명의 제3 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와 특수 효과 검출부(23)를 구비하고 있다. 제3 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 특수 효과 검출부(21)가, 특수 효과 검출부(23)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 화상 경계선 검출부(11)는, 제1 실시 형태에서의 화상 경계선 검출부(11)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

특수 효과 검출부(23)는, 제1 실시 형태에서의 특수 효과 검출부(21)와 마찬가지로, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보를 이용하여, 특수 효과를 포함하는 프레임 구간을 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 그러나, 특수 효과 검출부(23)는, 제1 실시 형태에서의 특수 효과 검출부(21)와는 구성이 상이하다.

특수 효과 검출부(23)는, 화상 경계선 조합 추출부(231)와, 화상 경계선 조 합 소유 프레임 구간 검출부(232)를 포함한다. 화상 경계선 조합 추출부(231)는, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출한다. 그리고, 화상 경계선 조합 추출부(231)는, 추출된 화상 경계선의 조합을 기술하는 정보인 화상 경계선 조합 정보를, 프레임마다 출력한다. 여기서, 화상 경계선의 조합은, 특수 효과 중의 DVE를 구성하는 프레임 내에서의, 절환 전후의 2개의 영상 중 위에 중첩된 쪽의 영상의 표시 영역을 나타내는 화상틀을 형성하는 조합인 것이 바람직하다.

도 13의 (A) 내지 (F)는, 상기한 바와 같은 화상틀을 형성하는 화상 경계선(9)의 조합의 예를 도시하는 설명도이다. 도 13의 (A) 내지 (F)에 도시하는 바와 같이, 화상틀은, 통상적으로, 4각형이기 때문에, 화상 경계선 조합 추출부(231)가 추출하는 화상 경계선의 조합을, 4각형을 형성하는 화상 경계선의 조합에 한정해도 된다. 그러나, 화상틀이 4각형 이외의 도형인 DVE도 존재하기 때문에, 이들 DVE를 검출의 대상으로 하는 경우에는, 화상 경계선 조합 추출부(231)가 추출하는 화상 경계선의 조합을, 4각형을 형성하는 화상 경계선의 조합에 한정해서는 안된다.

또한, 도 13의 (E)나 (F)에 도시하는 바와 같이, 화상 경계선(9)이 형성하는 화상틀은 반드시 프레임 내에 들어간다고는 할 수 없기 때문에, 화상 경계선 조합 추출부(231)가 추출하는 화상 경계선의 조합은, 폐쇄된 도형을 형성하는 화상 경계선의 조합일 필요는 없다. 예를 들면, 화상 경계선 조합 추출부(231)가 추출하는 화상 경계선의 조합은, 도 13의 (E)나 (F)와 같이, 4각형의 일부(단 2변 이상)를 형성하는 화상 경계선(9)의 조합이어도 된다.

여기서는, 화상 경계선 조합 추출부(231)가 추출하는 화상 경계선의 조합을 4각형 또는 4각형의 일부를 형성하는 화상 경계선의 조합에 한정하여, 화상 경계선의 조합을 추출하는 방법의 일례를 나타낸다. 프레임 내에서 복수의 화상 경계선이 형성하는 4각형(또는 4각형의 일부)의 조합을 추출하기 위해서는, 화상 경계선 추출부(11)가 그 프레임에서 추출한 복수의 화상 경계선 중으로부터, 미리 규정된 조건을 충족시키는 4각형(또는 4각형의 일부)을 형성하는 화상 경계선의 조합을, 모든 조합 중으로부터 탐색하면 된다. 미리 규정하는 조건의 일례로서, 4각형의 크기, 화상 경계선의 교차점의 위치, 화상 경계선의 교차의 각도 등을 들 수 있다. 이들 조건을, 예를 들면, 학습용으로서 준비된 영상에 포함되는 특수 효과의 4각형의 화상틀을 조사하여 설정할 수 있다.

화상 경계선 조합 정보는, 각 프레임에서 추출한 화상 경계선의 조합을 기술하는 정보이다. 예를 들면, 화상 경계선 조합 정보는, 추출한 화상 경계선의 조합의 각각의 화상 경계선을 기술하는 화상 경계선 기술 정보의 세트 등이면 된다(화상 경계선 기술 정보에 관해서는, 제1 실시 형태를 참조). 또한, 화상 경계선 조합 정보가 후술하는 화상 경계선 조합 소유 프레임 구간 검출부(232)에 공급되는 경우에 한해서는(제3 실시 형태 등), 화상 경계선 조합 소유 프레임 구간 검출부(232)가 실행하는 처리에 대응하여, 화상 경계선 조합 정보가, 각 프레임이 화상 경계선의 조합을 갖는지의 여부를 나타내는 2치의 정보이어도 된다. 여기서 설명한 화상 경계선 조합 정보의 설명은, 이후 모든 실시 형태에 대하여 적합하다.

화상 경계선 조합 소유 프레임 구간 검출부(232)는, 화상 경계선 조합 추출부(231)가 출력한 각 프레임의 화상 경계선 조합 정보를 이용하여, 프레임마다 화상 경계선의 조합을 갖는지의 여부를 판정한다. 그리고, 화상 경계선 조합 소유 프레임 구간 검출부(232)는, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 그 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 여기서 검출하는 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간은 반드시 모든 프레임이 화상 경계선의 조합을 가질 필요는 없다. 프레임 구간의 도중에서 화상 경계선의 조합을 갖지 않는 프레임이 임의의 규정수 포함되는 것을 허용하도록 해도 된다. 또한, 여기서 검출하는 프레임 구간은 반드시 복수의 프레임으로 구성되는 프레임 구간일 필요는 없다. 화상 경계선의 조합을 갖는 단일의 프레임을, 특수 효과를 포함하는 프레임 구간으로서 검출해도 상관없다.

화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을 검출하는 방법은, 일례로서, 제1 실시 형태의 화상 경계선 소유 프레임 구간 검출부(211)의 설명에서 설명한, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을 검출하는 방법과 마찬가지이어도 된다. 단, 특수 효과를 구성하는 모든 프레임으로부터 화상 경계선의 조합을 검출하는 것은 용이하지 않다(검출의 대상으로 하는 4각형의 화상틀이 작아지거나 하기 때문임). 또한, 화상 경계선의 조합을 검출할 수 있는 프레임수가 한정되는 경우가 많다. 따라서, 화상 경계선 조합 소유 프레임 구간 검출부(232)에서, 검출하는 프레임 구간의 프레임수의 최소값 N을, 화상 경계선 소유 프레임 구간 검출부(211)에서 설정하는 최소값 N보다도 작은 값으로 설정하는 것이 바람직하다. N=1로 하는 것도 유효하다.

또한, 화상 경계선 조합 소유 프레임 구간 검출부(232)는, 검출된 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간에서, 다시 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적의 시간적인 변화를 해석해도 된다. 그리고, 화상 경계선 조합 소유 프레임 구간 검출부(232)는, 면적의 시간적인 변화가 임의의 기준을 충족시키는 경우에, 상기한 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 예를 들면, 화상 경계선 조합 소유 프레임 구간 검출부(232)는, 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적이, 시간과 함께 단조 증가 또는 단조 감소해 가는 경우에, 상기한 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다.

예를 들면, 도 2의 (A)~(H)에 도시된 바와 같이, 특수 효과 중의 DVE에서 화상 경계선의 조합이 구성하는, 절환 전후의 2개의 영상 중 위에 중첩된 쪽의 영상의 표시 영역을 나타내는 화상틀의 면적은, 통상적으로, 단조 증가(예를 들면 도 2의 (A), (D), (F), (H)) 또는 단조 감소(예를 들면 도 2의 (B), (C), (E), (G))하기 때문이다. 이와 같이 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적이 시간과 함께 단조 증가 또는 단조 감소하는 경우에 한정하여, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하면, 보다 정밀도 좋게 특수 효과 중의 DVE를 검출할 수 있는 효과가 있다.

다음으로, 도 14의 플로우차트를 참조하여, 제3 실시 형태의 동작을 설명한다. 우선, 입력 영상으로부터 신 프레임이 취득되고, 화상 경계선 후보 화소 검출부(111)에 공급된다(스텝 C01). 여기서, 스텝 C01이 처음으로 실행되는 경우에는, 신 프레임을 개시 프레임으로 한다. 다음으로, 화상 경계선 후보 화소 검출부(111)는, 프레임으로부터 화상 경계선 후보 화소를 검출하고, 검출한 화상 경계선 후보 화소를 특정하는 화상 경계선 후보 화소 정보를 출력한다(스텝 C02).

다음으로, 선 추출부(112)는, 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을, 화상 경계선으로서 추출하고, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를 출력한다(스텝 C03). 다음으로, 화상 경계선 조합 추출부(231)는, 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출하고, 추출된 화상 경계선의 조합을 기술하는 화상 경계선 조합 정보를 출력한다(스텝 C04).

다음으로, 화상 경계선 조합 소유 프레임 구간 검출부(232)는, 현 프레임까지 출력된 화상 경계선 조합 정보를 이용하여, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을 새롭게 검출한다(스텝 C05). 또한, 검출된 프레임 구간의 중복을 방지하기 위해서는, 예를 들면, 현 프레임에서 화상 경계선의 조합을 갖는 프레임 구간이 종료된 경우에만, 그 프레임 구간을 검출하도록 하면 된다. 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간이 새롭게 검출된 경우에는, 스텝 C06으로 진행한다. 그 이외의 경우에는, 스텝 C07로 진행한다.

화상 경계선의 조합이 연속되는 프레임 구간이 새롭게 검출된 경우에는, 화 상 경계선 조합 소유 프레임 구간 검출부(232)는, 그 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로 하고, 프레임 구간을 특정하는 특수 효과 프레임 구간 정보를 출력한다(스텝 C06). 마지막으로, 현 프레임이 종료 프레임인지의 여부를 판정하고(스텝 C07), 종료 프레임인 경우에는 처리를 종료한다. 현 프레임이 종료 프레임이 아닌 경우에는, 스텝 C01로 진행하여, 영상의 다음 프레임을 신 프레임으로서 취득하고, 처리를 속행한다. 이와 같이 하여 스텝 C01부터 C07까지의 처리를, 종료 프레임에 도달할 때까지 실행한다.

제3 실시 형태에서는, 화상 경계선의 조합이 형성하는 화상틀은, 특수 효과 중의 DVE를 구성하는 프레임에 포함되고, 특수 효과 이외의 영상 변화의 프레임에는 포함되지 않는다고 하는 성질을 이용하고 있다. 제3 실시 형태에서는, 프레임으로부터 화상 경계선의 조합을 추출하고, 추출한 화상 경계선의 조합에 기초하여 특수 효과를 포함하는 프레임 구간이 검출된다. 따라서, 특수 효과 중의 DVE를, 특수 효과 이외의 영상 변화를 잘못하여 검출하는 일없이, 고정밀도로 검출할 수 있는 효과가 있다. 또한, 제3 실시 형태에서는, 복수의 화상 경계선의 조합에 기초하여 특수 효과가 검출된다. 따라서, 단독의 화상 경계선에만 기초하여 특수 효과를 검출하는 제1 실시 형태와 비교하여, 보다 고정밀도로 특수 효과 중의 DVE를 검출할 수 있는 효과가 있다.

<제4 실시 형태>

다음으로, 본 발명의 제4 실시 형태를 도면을 참조하여 설명한다.

도 15는, 본 발명에 따른 특수 효과 검출 장치의 제4 실시 형태를 도시하는 블록도이다. 도 15에 도시하는 바와 같이, 본 발명의 제4 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와 특수 효과 검출부(24)를 구비하고 있다. 제4 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 특수 효과 검출부(21)가, 특수 효과 검출부(24)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 화상 경계선 검출부(11)는, 제1 실시 형태에서의 화상 경계선 검출부(11)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

특수 효과 검출부(24)는, 제1 실시 형태에서의 특수 효과 검출부(21)와 마찬가지로, 화상 경계선 추출부(11)가 출력한 각 프레임의 화상 경계선 기술 정보를 이용하여, 특수 효과를 포함하는 프레임 구간을 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 그러나, 제1 실시 형태에서의 특수 효과 검출부(21)와는 구성이 상이하다.

특수 효과 검출부(24)는, 화상 경계선 조합 추출부(231)와, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)를 포함한다. 화상 경계선 조합 추출부(231)는, 제3 실시 형태에서의 화상 경계선 조합 추출부(231)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선 조합 추출부(231)가 출력한 각 프레임의 화상 경계선 조합 정보가 나타내는 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 그 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력한다. 여기서, 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 란, 화상 경계선의 조합의 각각의 화상 경계선이 연속적으로 이동하는 프레임 구간을 가리킨다. 단, 반드시 화상 경계선의 조합의 모든 화상 경계선이 연속적으로 이동할 필요는 없다. 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선의 조합의 일부의 화상 경계선만이 연속적으로 이동하는 경우라도, 그 프레임 구간을 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간으로서 검출해도 된다.

화상 경계선의 조합이 연속적으로 이동하는 프레임 구간을 검출하는 방법의 일례로서, 프레임으로부터 추출된 화상 경계선의 조합의 각각의 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 각 특징점이 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 프레임 구간을 검출하고, 그 프레임 구간을 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간으로서 검출하는 방법이 있다.

도 16은, 특수 효과를 포함하는 프레임 구간에서, 화상 경계선의 조합의 각각의 화상 경계선을 나타내는 특징점이, 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 모습을 예시하는 설명도이다. 화상 경계선의 조합의 일부의 화상 경계선을 나타내는 특징점만이 시간과 함께 연속적으로 이동하는 경우라도, 그 프레임 구간을 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간으로서 검출해도 된다. 각 화상 경계선을 나타내는 특징점이 파라미터 공간 내에서 연속적으로 이동하는 프레임 구간을 검출하는 방법은, 일례로서, 제2 실시 형태의 화상 경계선 연속 이동 프레임 구간 검출부(221)에서 설명한 방법과 마찬가지이다.

또한, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선의 조합이, 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 즉, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선의 조합의 각각의 화상 경계선이, 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 또한, 개개의 화상 경계선이 프레임의 끝으로부터 타단으로 이동하는 프레임 구간을 검출하는 방법으로서, 제2 실시 형태에 설명한 방법을 이용하면 된다. 또한, 반드시 화상 경계선의 조합의 모든 화상 경계선이 프레임의 끝으로부터 타단으로 연속적으로 이동할 필요는 없다. 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선의 조합의 일부의 화상 경계선만이 프레임의 끝으로부터 타단으로 연속적으로 이동하는 경우라도, 그 프레임 구간을 화상 경계선의 조합이 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간으로서 검출해도 된다.

또한, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 검출된 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간에서, 다시 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적의 시간적인 변화를 해석해도 된다. 그리고, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 면적의 시간적인 변화가 임의의 기준을 충족시키는 경우에, 상기한 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 예를 들면, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 각 프레임의 화상 경계선의 조합이 구성하는 도형 의 면적이, 시간과 함께 단조 증가 또는 단조 감소해 가는 경우에, 상기한 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다.

제3 실시 형태에서 설명한 것과 마찬가지로, 예를 들면 도 2의 (A)~(H)에 도시된 바와 같이, 특수 효과 중의 DVE에서 화상 경계선의 조합이 구성하는, 절환 전후의 2개의 영상 중 위에 중첩된 쪽의 영상의 표시 영역을 나타내는 화상틀의 면적은, 통상적으로, 단조 증가(예를 들면, 도 2의 (A), (D), (F), (H)) 또는 단조 감소(예를 들면, 도 2의 (B), (C), (E), (G))하기 때문이다. 이와 같이 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적이 시간과 함께 단조 증가 또는 단조 감소하는 경우에 한정하여, 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하면, 보다 정밀도 좋게 특수 효과 중의 DVE를 검출할 수 있는 효과가 있다.

또한, 제2 실시 형태의 화상 경계선 연속 이동 프레임 구간 검출부(221)에 대하여 설명한 바와 같이, 특수 효과는, 절환 전후의 영상이 공간적인 점유 비율을 서서히 변화시키면서 절환되는 점차 변화이기 때문에, 화상 경계선에 의해 구분되는 2개의 화상 영역(화상 경계선의 조합의 내부의 영역과 외부의 영역) 중, 면적이 시간적으로 감소 중인 화상 영역은 절환 전의 영상에 소속되고, 면적이 시간적으로 증대중인 화상 영역은 절환 후의 영상에 소속된다. 이 때문에, 면적이 시간적으로 감소 중인 화상 영역은, 절환 후의 영상의 프레임과는 유사하지 않고, 절환 전의 영상의 프레임과 부분적으로 유사하다. 또한, 면적이 시간적으로 증가 중인 화상 영역은, 절환 전의 영상의 프레임과는 유사하지 않고, 절환 후의 영상의 프레임과 부분적으로 유사하다.

화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이, 다시 이 성질을 충족시키는 경우에, 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하도록 해도 된다. 즉, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 검출된 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 다시, 각 프레임에서 그 프레임의 화상 경계선의 조합에 의해 구분되는 2개의 화상 영역 중,

또한, 면적이 시간적으로 감소 중인 화상 영역과, 면적이 시간적으로 증가 중인 화상 영역의 분별 처리나, 화상 영역과 프레임의 유사성의 판단 처리 등의 상세한 설명은, 제2 실시 형태의 화상 경계선 연속 이동 프레임 구간 검출부(221)에 대하여 설명한 것과 마찬가지이다.

다음으로, 도 17의 플로우차트를 참조하여, 제4 실시 형태의 동작을 설명한다. 우선, 입력 영상으로부터 신 프레임이 취득되고, 화상 경계선 후보 화소 검출부(111)에 공급된다(스텝 D01). 여기서, 스텝 D01이 처음으로 실행되는 경우에는, 신 프레임을 개시 프레임으로 한다.

다음으로, 화상 경계선 후보 화소 검출부(111)는, 프레임으로부터 화상 경계선 후보 화소를 검출하고, 검출한 화상 경계선 후보 화소를 특정하는 화상 경계선 후보 화소 정보를 출력한다(스텝 D02). 다음으로, 선 추출부(112)는, 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을, 화상 경계선으로서 추출하고, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를 출력한다(스텝 D03).

다음으로, 화상 경계선 조합 추출부(231)는, 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출하고, 추출된 화상 경계선의 조합을 기술하는 화상 경계선 조합 정보를 출력한다(스텝 D04).

다음으로, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 현 프레임까지 출력된 화상 경계선 조합 정보를 이용하여, 화상 경계선 조합 정보가 나타 내는 화상 경계선의 조합이, 연속적으로 이동하는 프레임 구간을 새롭게 검출한다(스텝 D05). 또한, 검출된 프레임 구간의 중복을 방지하기 위해서는, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 예를 들면, 현 프레임에서 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 종료된 경우에만, 프레임 구간을 검출하도록 하면 된다. 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 새롭게 검출된 경우에는, 스텝 D06으로 진행한다. 그 이외의 경우에는, 스텝 D07로 진행한다.

화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 새롭게 검출된 경우에는, 화상 경계선 조합 연속 이동 프레임 구간 검출부(241)는, 그 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로 하고, 프레임 구간을 특정하는 특수 효과 프레임 구간 정보를 출력한다(스텝 D06). 마지막으로, 현 프레임이 종료 프레임인지의 여부를 판정하고(스텝 D07), 종료 프레임인 경우에는 처리를 종료한다. 현 프레임이 종료 프레임이 아닌 경우에는, 스텝 D01로 진행하여, 영상의 다음 프레임을 신 프레임으로서 취득하고, 처리를 속행한다. 이와 같이 하여 스텝 D01부터 D07까지의 처리를, 종료 프레임에 도달할 때까지 실행한다.

제4 실시 형태에서는, 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출한다. 이 때문에, 제4 실시 형태에 따르면, 제3 실시 형태의 효과를 가지면서, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 제1 실시 형태와 비교하여, 보다 고정밀도로 특수 효과 중의 DVE를 검출할 수 있는 효과가 있다.

<제5 실시 형태>

다음으로, 본 발명의 제5 실시 형태를 도면을 참조하여 설명한다.

도 18은, 본 발명에 따른 특수 효과 검출 장치의 제5 실시 형태를 도시하는 블록도이다. 도 18에 도시하는 바와 같이, 본 발명의 제5 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(12)와 특수 효과 검출부(21)를 구비하고 있다. 제5 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 화상 경계선 추출부(11)가, 화상 경계선 추출부(12)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태에서 화상 경계선 추출부(11)가 치환되어 있는 구성을 예시하지만, 제2, 제3, 제4 실시 형태 중 어느 하나에서 화상 경계선 추출부(11)가 치환되어 있는 구성이어도 된다.

화상 경계선 추출부(12)는, 제1 실시 형태에서의 화상 경계선 추출부(11)와 마찬가지로, 입력 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 추출한 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력한다. 그러나, 제1 실시 형태에서의 화상 경계선 추출부(11)와는 구성이 상이하다.

화상 경계선 추출부(12)는, 화상 경계선 후보 화소 검출부(111)와, 엣지 방향 산출부(121)와, 가중치 부여 하프 변환부(122)를 포함한다. 화상 경계선 후보 화소 검출부(111)는, 제1 실시 형태에서의 화상 경계선 후보 화소 검출부(111)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

엣지 방향 산출부(121)는, 화상 경계선 후보 화소 검출부(111)가 출력한 각 프레임의 화상 경계선 후보 화소 정보를 입력으로 하여, 화상 경계선 후보 화소 정보가 나타내는 각 화상 경계선 후보 화소의 엣지 방향을 산출한다. 그리고, 엣지 방향 산출부(121)는, 산출된 각 화상 경계선 후보 화소의 엣지 방향을, 프레임마다 출력한다. 엣지 방향이란 화상의 농도 구배 방향이며, 엣지 방향을 산출하는 방법은 임의이어도 된다. 엣지 방향의 산출 방법의 일례는, 예를 들면, "신편 화상 해석 핸드북"의 p.1232에 기재되어 있다.

가중치 부여 하프 변환부(122)는, 화상 경계선 후보 화소 검출부(111)가 출력한 각 프레임의 화상 경계선 후보 화소 정보와, 엣지 방향 산출부(121)가 출력한 각 프레임의 각 화상 경계선 후보 화소의 엣지 방향을 입력으로 한다. 그리고, 가중치 부여 하프 변환부(122)는, 각 프레임에 대하여, 화상 경계선 후보 화소를 입력으로 한 하프 변환을 이용한 직선 추출 방법에서, 투표를 받는 직선의 방향과 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가까울수록 투표의 가중치를 크게 하도록 제어하여 투표를 행해서 직선을 추출한다. 가중치 부여 하프 변환부(122)는, 추출한 직선을 화상 경계선으로 한다.

가중치 부여 하프 변환부(122)는, 추출된 화상 경계선을 기술하는 화상 경계선 기술 정보를, 프레임마다 출력한다.

제1 실시 형태의 선 추출부(112)의 설명에서 설명한 화상 경계선 후보 화소를 입력으로 한 하프 변환에서는, 각 화상 경계선 후보 화소의 투표의 가중치는 일률적이었다. 가중치 부여 하프 변환부(122)에서는, 투표를 받는 직선의 방향과 화 상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가까울수록 투표의 가중치를 크게 하는 점이 제1 실시 형태와는 상이하다. 투표의 가중치의 산출 방법의 일례로서, 예를 들면, 투표를 받는 직선의 방향과 화상 경계선 후보 화소의 엣지 방향이 이루는 각도를 θ(단 0≤θ≤π/2로 함)로 한 경우, 0을 투표의 가중치로 하는 방법이 있다. 또한 α를 상수로 하여, 투표의 가중치 W를, 수학식 4와 같이 산출해도 된다.

특수 효과 검출부(21)는, 제1 실시 형태에서의 특수 효과 검출부(21)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

도 19의 설명도에 도시하는 바와 같이, 이상적인 조건 하에서, 화상 경계선을 구성하는 화소의 엣지 방향은 화상 경계선의 방향에 대하여 수직으로 된다고 하는 성질을 갖는다. 제5 실시 형태에서는, 이 성질을 이용하고 있다. 제5 실시 형태에서는, 투표를 받는 직선의 방향과 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가까울수록 투표의 가중치를 크게 하는 하프 변환에 따라 화상 경계선을 추출한다. 따라서, 제1 실시 형태와 비교하여, 제5 실시 형태에서는, 보다 고정밀도로 화상 경계선을 추출할 수 있다. 그 결과, 제5 실시 형태에서는, 보다 고정밀도로 특수 효과를 검출할 수 있는 효과가 있다.

<제6 실시 형태>

다음으로, 본 발명의 제6 실시 형태를 도면을 참조하여 설명한다.

도 20은, 본 발명에 따른 특수 효과 검출 장치의 제6 실시 형태를 도시하는 블록도이다. 도 20에 도시하는 바와 같이, 본 발명의 제6 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(13)와 특수 효과 검출부(21)를 구비하고 있다. 제6 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 화상 경계선 추출부(11)가, 화상 경계선 추출부(13)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태에서 화상 경계선 추출부(11)가 치환되어 있는 구성을 예시하지만, 제2, 제3, 제4 실시 형태 중 어느 하나에서 화상 경계선 추출부(11)가 치환되어 있는 구성이어도 된다.

화상 경계선 추출부(13)는, 제1 실시 형태에서의 화상 경계선 추출부(11)와 마찬가지로, 입력 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 추출한 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력한다. 그러나, 화상 경계선 추출부(13)는, 제1 실시 형태에서의 화상 경계선 추출부(11)와는 구성이 상이하다.

화상 경계선 추출부(13)는, 화상 경계선 후보 화소 검출부(111)와, 선 추출부(112)와, 엣지 방향 산출부(131)와, 화상 경계선 필터링부(132)를 포함한다. 화상 경계선 후보 화소 검출부(111)는, 제1 실시 형태에서의 화상 경계선 후보 화소 검출부(111)와 동일한 것이기 때문에, 여기서는 설명을 생략한다. 선 추출부(112)는, 제1 실시 형태에서의 선 추출부(112)와 동일한 것이기 때문에, 여기서는 설명 을 생략한다.

엣지 방향 산출부(131)는, 선 추출부(112)가 출력한 각 프레임의 화상 경계선 기술 정보를 입력으로 하여, 화상 경계선 기술 정보가 나타내는 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향을 산출한다. 그리고, 엣지 방향 산출부(131)는, 산출된 각 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향을, 프레임마다 출력한다. 여기서, 화상 경계선을 구성하는 모든 화상 경계선 후보 화소의 엣지 방향을 산출할 필요는 없다. 엣지 방향 산출부(131)는, 임의로 샘플링한 화상 경계선 후보 화소에 대해서만 엣지 방향을 산출해도 된다. 엣지 방향을 산출하는 방법은 임의이어도 된다. 엣지 방향의 산출 방법의 일례는, 예를 들면, "신편 화상 해석 핸드북"의 p.1232에 기재되어 있다.

화상 경계선 필터링부(132)는, 선 추출부(112)가 출력한 각 프레임의 화상 경계선 기술 정보와, 엣지 방향 산출부(131)가 출력한 각 프레임의 각 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향을 입력으로 한다. 그리고, 화상 경계선 필터링부(132)는, 화상 경계선 기술 정보가 나타내는 화상 경계선의 방향과, 그 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가깝다고 통계적으로 판정되는 경우에, 화상 경계선 기술 정보를 출력한다. 그 이외의 경우에는, 화상 경계선 필터링부(132)는, 화상 경계선 기술 정보를 출력하지 않는다.

구체적인 실현 방법의 일례에서, 화상 경계선의 방향과, 그 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도를 각각 산출한다. 이 일례에서, 산출된 각 각도와 수직 방향을 나타내는 각도(π/2)의 차의 절대값이 임의의 임계값 이하로 되는 화상 경계선 후보 화소의 비율이, 임의의 임계값 이상으로 되는 경우에, 화상 경계선의 방향과 그 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가깝다고 통계적으로 판정한다. 또한, 다른 실현 방법의 일례로서, 화상 경계선의 방향과, 그 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도를 각각 산출한다. 다른 일례에서, 산출된 각 각도와 수직 방향을 나타내는 각도(π/2)의 차의 절대값의 평균값, 또는 차의 2승값의 평균값이, 임의의 임계값 이하로 되는 경우에, 화상 경계선의 방향과 그 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가깝다고 통계적으로 판정한다.

제6 실시 형태에서는, 제5 실시 형태와 마찬가지로, 이상적인 조건 하에서, 화상 경계선을 구성하는 화소의 엣지 방향은, 화상 경계선의 방향에 대하여 수직으로 된다고 하는 성질을 이용하고 있다. 제6 실시 형태에서는, 선 추출부(112)가 추출한 화상 경계선이, 화상 경계선의 방향과 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향이 이루는 각도가 수직에 가깝지 않다고 통계적으로 판정된 경우에 제거된다. 따라서, 화상 경계선이 아닌 선이 화상 경계선으로서 잘못하여 검출되는 경우를 줄일 수 있다. 그 결과, 보다 고정밀도로 특수 효과를 검출할 수 있는 효과가 있다. 또한, 제6 실시 형태에서는, 선 추출부(112)에서 추출된 화상 경계선을 구성하는 화상 경계선 후보 화소에 대해서만 엣지 방향을 산출한다. 따라서, 제6 실시 형태에서는, 제5 실시 형태와 비교하여, 계산량을 억제할 수 있는 효과도 있다.

<제7 실시 형태>

다음으로, 본 발명의 제7 실시 형태를 도면을 참조하여 설명한다.

도 21은, 본 발명에 따른 특수 효과 검출 장치의 제7 실시 형태를 도시하는 블록도이다. 도 21에 도시하는 바와 같이, 본 발명의 제7 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(14)와 특수 효과 검출부(21)를 구비하고 있다. 제7 실시 형태는, 도 3에 도시된 제1 실시 형태에서의 화상 경계선 추출부(11)가, 화상 경계선 추출부(14)로 치환되어 있는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태에서 화상 경계선 추출부(11)가 치환되어 있는 구성을 예시하지만, 제2, 제3, 제4 실시 형태 중 어느 하나에서 화상 경계선 추출부(11)가 치환되어 있는 구성이어도 된다.

화상 경계선 추출부(14)는, 제1 실시 형태에서의 화상 경계선 추출부(11)와 마찬가지로, 입력 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 추출한 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력한다. 그러나, 화상 경계선 추출부(14)는, 제1 실시 형태에서의 화상 경계선 추출부(11)와는 구성이 상이하다.

화상 경계선 추출부(14)는, 화상 경계선 후보 화소 검출부(111)와, 선 추출부(112)와, 움직임 벡터 산출부(141)와, 화상 경계선 필터링부(142)를 포함한다. 화상 경계선 후보 화소 검출부(111)는, 제1 실시 형태에서의 화상 경계선 후보 화소 검출부(111)와 동일한 것이기 때문에, 여기서는 설명을 생략한다. 선 추출부(112)는, 제1 실시 형태에서의 선 추출부(112)와 동일한 것이기 때문에, 여기서는 설명을 생략한다.

움직임 벡터 산출부(141)는, 선 추출부(112)가 출력한 각 프레임의 화상 경계선 기술 정보를 입력으로 하여, 화상 경계선 기술 정보가 나타내는 화상 경계선 상의 복수의 점의 움직임 벡터를 산출한다. 그리고, 움직임 벡터 산출부(141)는, 산출된 각 화상 경계선 상의 복수의 점의 움직임 벡터를, 프레임마다 출력한다. 움직임 벡터를 산출하는 방법은 임의이어도 된다. 움직임 벡터의 산출 방법의 일례는, 예를 들면, "신편 화상 해석 핸드북"의 pp.1495-1498에 기재되어 있다.

화상 경계선 필터링부(142)는, 선 추출부(112)가 출력한 각 프레임의 화상 경계선 기술 정보와, 움직임 벡터 산출부(141)가 출력한 각 프레임의 각 화상 경계선 상의 복수의 점의 움직임 벡터를 입력으로 한다. 그리고, 화상 경계선 필터링부(142)는, 화상 경계선 기술 정보가 나타내는 화상 경계선 상의 복수의 점의 움직임 벡터의 방향이나 크기가 일치하지 않는 경우에, 화상 경계선 기술 정보를 출력한다. 그 이외의 경우에는, 화상 경계선 필터링부(142)는, 화상 경계선 기술 정보를 출력하지 않는다.

화상 경계선 상의 복수의 점의 움직임 벡터의 방향이나 크기가 일치하지 않는지를 판정하는 방법의 일례로서, 제1 실시 형태의 화상 경계선 후보 화소 검출부(111)에서 설명한 방법과 마찬가지로, 움직임 벡터의 변동의 정도를 산출하는 방 법이 있다. 화상 경계선 상의 복수의 점(N점으로 함)의 움직임 벡터를 수학식 5로 표현하고, 이들 움직임 벡터의 평균 벡터를 수학식 6으로 표현한다. 움직임 벡터의 변동 정도 V는, 수학식 5로 표현되는 각 움직임 벡터와 수학식 6으로 표현되는 평균 벡터의 벡터간 거리의 평균값으로서, 수학식 7과 같이 산출할 수 있다.

이와 같이 하여 산출된 화상 경계선 상의 복수의 점의 움직임 벡터의 변동 정도가 임의의 임계값 이상이면, 그 화상 경계선 상의 복수의 점의 움직임 벡터의 방향이나 크기가 일치하지 않는다고 판정할 수 있다.

화상 경계선은, 2개의 화상간의 움직이고 있는 경계이기 때문에, 화상 경계선 상의 복수의 점의 움직임 벡터의 방향이나 크기가 일치하지 않는다고 하는 성질을 갖는다. 제7 실시 형태에서는, 이 성질을 이용하고 있다. 제7 실시 형태에서 는, 선 추출부(112)가 추출한 화상 경계선이, 화상 경계선 상의 복수의 점의 움직임 벡터의 방향이나 크기가 일치하는 경우에 제거된다. 따라서, 화상 경계선이 아닌 선이 화상 경계선으로서 잘못하여 검출되는 경우를 줄일 수 있다. 그 결과, 보다 고정밀도로 특수 효과를 검출할 수 있는 효과가 있다.

<제8 실시 형태>

다음으로, 본 발명의 제8 실시 형태를 도면을 참조하여 설명한다.

도 22는, 본 발명에 따른 특수 효과 검출 장치의 제8 실시 형태를 도시하는 블록도이다. 도 22에 도시하는 바와 같이, 본 발명의 제8 실시 형태의 특수 효과 검출 장치는, 점차 변화 구간 검출부(3)와, 화상 경계선 추출부(11)와, 특수 효과 검출부(21)를 구비하고 있다. 제8 실시 형태는, 도 3에 도시된 제1 실시 형태의 구성 외에, 점차 변화 구간 검출부(3)를 갖는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태의 구성과 점차 변화 구간 검출부(3)의 조합을 예시하지만, 다른 실시 형태의 구성과 점차 변화 구간 검출부(3)의 조합이어도 된다.

점차 변화 구간 검출부(3)는, 입력 영상의 각 프레임으로부터 특징량을 추출하고, 각 프레임으로부터 추출한 특징량을 비교함으로써, 영상이 완만하게 변화하는 구간인 점차 변화 구간을 검출한다. 점차 변화 구간 검출부(3)는, 검출된 점차 변화 구간의 프레임열을, 화상 경계선 추출부(11)의 입력으로서 공급한다.

각 프레임으로부터 추출하는 특징량은, 임의이어도 된다. 각 프레임으로부터 추출한 특징량의 비교에 기초하여 점차 변화 구간을 검출하는 방법은, 예를 들면, 일본 특허 공개 평성 8-237549호 공보, 일본 특허 공개 2005-237002호 공보, "Automatic Partitioning of Full-Motion Video"에 기재되어 있다. 이들 문헌에 기재되어 있는 방법을 이용해도 되지만, 특징량의 비교에 기초하여 점차 변화 구간을 검출하는 다른 방법을 이용해도 된다.

제8 실시 형태에서는, 입력 영상의 점차 변화 구간으로부터 특수 효과를 검출한다. 따라서, 제8 실시 형태에서는, 직접 입력 영상으로부터 특수 효과를 검출하는 다른 실시 형태와 비교하여, 보다 고속으로 영상의 특수 효과를 검출할 수 있는 효과가 있다.

<제9 실시 형태>

다음으로, 본 발명의 제9 실시 형태를 도면을 참조하여 설명한다.

도 23은, 본 발명에 따른 특수 효과 검출 장치의 제9 실시 형태를 도시하는 블록도이다. 도 23에 도시하는 바와 같이, 본 발명의 제9 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와, 특수 효과 검출부(21)와, 프레임 비교부(4)를 구비하고 있다. 제9 실시 형태는, 도 3에 도시된 제1 실시 형태의 구성 외에, 프레임 비교부(4)를 갖는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태의 구성과 프레임 비교부(4)의 조합을 예시하지만, 다른 실시 형태와 프레임 비교부(4)의 조합이어도 된다.

프레임 비교부(4)는, 특수 효과 검출부(21)가 출력한 특수 효과 프레임 구간 정보를 수취하고, 특수 효과 프레임 구간 정보가 나타내는 프레임 구간의 전후의 프레임을 입력 영상으로부터 취득하고, 취득한 프레임의 특징량을 추출한다. 그리고, 프레임 비교부(4)는, 추출한 특징량을 비교하여 프레임 구간의 전후에서 영상 이 절환되었는지의 여부를 판정한다. 프레임 비교부(4)는, 영상이 절환되었다고 판정된 경우에, 특수 효과 프레임 구간 정보를 출력한다. 그 이외의 경우에는, 프레임 비교부(4)는, 특수 효과 프레임 구간 정보를 출력하지 않는다.

여기서, 취득하는 프레임 구간의 전후의 프레임은, 프레임 구간의 1개 전 및 1개 후의 프레임일 필요는 없다. 프레임 구간의 임의의 소정수만큼 전 및 후의 프레임이어도 된다. 또한, 프레임 구간의 전후의 프레임은 각각 복수매의 프레임, 예를 들면 프레임 구간의 전후의 N프레임(N은 프레임 매수)이어도 된다. 이 경우, 프레임 비교부(4)는, 프레임 구간의 전후의 복수매의 프레임의 특징량을 비교하여, 프레임 구간의 전후에서 영상이 절환되었는지의 여부를 판정해도 된다. 프레임으로부터 추출하는 특징량은, 임의이어도 된다.

프레임 구간의 전후의 프레임의 특징량을 비교하여 프레임 구간의 전후에서 영상이 절환되었는지의 여부를 판정하는 방법의 일례로서, 특징량간의 거리(혹은 유사도)를 산출하고, 산출된 거리가 임의의 임계값 이상(혹은 유사도가 임계값 이하)인 경우에 영상이 절환되었다고 판정하는 방법이 있다. 특징량간의 거리나 유사도를 임의의 방법으로 산출하여도 된다. 여기서, 임계값은, 예를 들면, 학습용으로서 준비된 영상으로부터, 영상 절환의 전후의 프레임의 특징량간의 거리(혹은 유사도)를 조사하여 설정되는 것이 바람직하다.

제9 실시 형태에서는, 특수 효과 검출부(21)가 출력한 특수 효과 프레임 구간 정보가, 그것이 나타내는 프레임 구간의 전후에서 영상이 절환되어 있지 않다고 판정된 경우에 제거된다. 따라서, 제9 실시 형태에서는, 특수 효과가 아닌 것이 잘못하여 검출되는 경우를 줄일 수 있는 효과가 있다.

<제10 실시 형태>

다음으로, 본 발명의 제10 실시 형태를 도면을 참조하여 설명한다.

도 24는, 본 발명에 따른 특수 효과 검출 장치의 제10 실시 형태를 도시하는 블록도이다. 도 24에 도시하는 바와 같이, 본 발명의 제10 실시 형태의 특수 효과 검출 장치는, 화상 경계선 추출부(11)와, 특수 효과 검출부(21)와, 필터링부(5)를 구비하고 있다. 제10 실시 형태는, 도 3에 도시된 제1 실시 형태의 구성 외에, 필터링부(5)를 갖는 점에서 제1 실시 형태와는 상이하다. 또한, 여기서는, 제1 실시 형태의 구성과 필터링부(5)의 조합을 예시하지만, 다른 실시 형태의 구성과 필터링부(5)의 조합이어도 된다.

필터링부(5)는, 특수 효과 검출부(21)가 출력한 특수 효과 프레임 구간 정보를 수취하고, 임의의 시간 구간에서 검출되는 특수 효과를 포함하는 프레임 구간의 수를 제한하도록 특수 효과 프레임 구간 정보를 제한하여 출력한다. 예를 들면, 필터링부(5)는, 시간 구간 길이를 L로 설정하고, 특수 효과 검출부(21)가 출력한 특수 효과 프레임 구간 정보가 나타내는 프레임 구간이 영상 중의 임의의 위치의 시간 구간 길이 L에 최대 1개만 포함되도록 제한하고, 제한된 프레임 구간을 나타내는 특수 효과 프레임 구간 정보만을 출력한다. 제한 방법은 임의적이다. 예를 들면 특수 효과 프레임 구간 정보가 나타내는 프레임 구간의 구간 길이가 긴 것을 우선하거나 해도 된다.

제10 실시 형태에서는, 짧은 시간 구간 내에서 특수 효과가 다수 검출되는 것을 억제할 수 있어, 오검출이 연속적으로 발생하는 것을 방지할 수 있는 효과가 있다.

상기 실시 형태에 따르면, 영상의 의미적으로 중요한 개소인 코너나 토픽 등의 개시점을 검출할 수 있다. 이 때문에, 상기 실시 형태는, 영상의 자동 구조화에 적용할 수 있다.

Claims

영상을 구성하는 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하는 화상 경계선 추출부와,

화상 경계선에 기초하여 영상에 포함되는 특수 효과를 검출하는 특수 효과 검출부를 구비하는 영상의 특수 효과 검출 장치.
화상 경계선 추출부는, 영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고, 상기 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력하고,

특수 효과 검출부는, 각 프레임의 상기 화상 경계선 기술 정보를 이용하여 특수 효과를 포함하는 프레임 구간을 검출하고, 상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 영상의 특수 효과 검출 장치.
제2항에 있어서,

특수 효과가, 와이프 또는 디지털 비디오 이펙트에 의한 영상 절환인 영상의 특수 효과 검출 장치.
제2항 또는 제3항에 있어서,

화상 경계선이, 프레임 내에 존재하는 2개의 화상 사이의 경계선과 연동하여 움직이는 프레임 내의 선도 포함하는 영상의 특수 효과 검출 장치.
제2항 내지 제4항 중 어느 한 항에 있어서,

화상 경계선 추출부가,

영상의 각 프레임으로부터, 화상 경계선을 구성하는 화소의 후보인 화상 경계선 후보 화소를 검출하고, 상기 화상 경계선 후보 화소를 특정하는 정보인 화상 경계선 후보 화소 정보를 프레임마다 출력하는 화상 경계선 후보 화소 검출부와,

각 프레임의 상기 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소가 구성하는 선을 화상 경계선으로서 추출하고, 상기 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 프레임마다 출력하는 선 추출부를 포함하는 영상의 특수 효과 검출 장치.
제5항에 있어서,

화상 경계선 후보 화소 검출부가, 엣지인 화소, 프레임간 화소 차분값이 큰 화소, 움직임 벡터가 변동되는 영역에 속하는 화소 중 어느 1개를 충족시키는 화소 또는 복수의 조합을 충족시키는 화소를, 화상 경계선 후보 화소로서 검출하는 영상의 특수 효과 검출 장치.
제5항 또는 제6항에 있어서,

선 추출부가, 하프 변환을 이용하여 화상 경계선 후보 화소가 구성하는 직선 을 화상 경계선으로서 추출하는 영상의 특수 효과 검출 장치.
제2항 내지 제7항 중 어느 한 항에 있어서,

특수 효과 검출부가,

각 프레임의 화상 경계선 기술 정보를 이용하여, 프레임마다 화상 경계선을 갖는지의 여부를 판정하고, 화상 경계선을 갖는 프레임이 연속되는 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하고, 상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 소유 프레임 구간 검출부를 포함하는 영상의 특수 효과 검출 장치.
제2항 내지 제7항 중 어느 한 항에 있어서,

특수 효과 검출부가,

각 프레임의 화상 경계선 기술 정보가 나타내는 화상 경계선이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 연속 이동 프레임 구간 검출부를 포함하는 영상의 특수 효과 검출 장치.
제9항에 있어서,

화상 경계선 연속 이동 프레임 구간 검출부가, 각 프레임의 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 상기 파라미터 공간 내에서 상기 화상 경계선을 나타내는 상기 특징점이 시간과 함께 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제9항 또는 제10항에 있어서,

화상 경계선 연속 이동 프레임 구간 검출부가, 화상 경계선이 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제9항 내지 제11항 중 어느 한 항에 있어서,

화상 경계선 연속 이동 프레임 구간 검출부가, 화상 경계선이 연속적으로 이동하는 프레임 구간이 다시, 각 프레임에서, 프레임의 상기 화상 경계선에 의해 구분되는 2개의 화상 영역 중 적어도 한 쪽의 화상 영역과, 상기 프레임 구간의 전과 후의 프레임 중 적어도 한 쪽의 프레임과의 사이의 유사성을 평가함으로써, 상기 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제2항 내지 제7항 중 어느 한 항에 있어서,

특수 효과 검출부가,

각 프레임의 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합 을 추출하고, 상기 화상 경계선의 조합을 기술하는 정보인 화상 경계선 조합 정보를 프레임마다 출력하는 화상 경계선 조합 추출부와,

각 프레임의 상기 화상 경계선 조합 정보를 이용하여, 프레임마다 화상 경계선의 조합을 갖는지의 여부를 판정하고, 화상 경계선의 조합을 갖는 프레임이 연속되는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 조합 소유 프레임 구간 검출부를 포함하는 영상의 특수 효과 검출 장치.
제13항에 있어서,

화상 경계선 조합 소유 프레임 구간 검출부가, 다시 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적의 시간적인 변화를 해석하고, 상기 면적의 시간적인 변화가 임의의 기준을 충족시키는 경우에, 상기 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제14항에 있어서,

화상 경계선 조합 소유 프레임 구간 검출부가, 면적이 시간과 함께 단조 증가 또는 단조 감소해 가는 경우에, 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제2항 내지 제7항 중 어느 한 항에 있어서,

특수 효과 검출부가,

각 프레임의 화상 경계선 기술 정보가 나타내는 복수의 화상 경계선의 조합을 추출하고, 상기 화상 경계선의 조합을 기술하는 정보인 화상 경계선 조합 정보를 프레임마다 출력하는 화상 경계선 조합 추출부와,

각 프레임의 화상 경계선 조합 정보가 나타내는 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하고, 상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 화상 경계선 조합 연속 이동 프레임 구간 검출부를 포함하는 영상의 특수 효과 검출 장치.
제13항 내지 제16항 중 어느 한 항에 있어서,

화상 경계선 조합 추출부가, 복수의 화상 경계선이, 4각형 또는 4각형의 일부를 형성하는 화상 경계선의 조합을 추출하는 영상의 특수 효과 검출 장치.
제16항 또는 제17항에 있어서,

화상 경계선 조합 연속 이동 프레임 구간 검출부가, 각 프레임의 화상 경계선의 조합의 각각의 화상 경계선을 기술하는 파라미터를 파라미터 공간 내의 특징점으로서 표시하고, 상기 각 특징점이 상기 파라미터 공간 내에서 시간과 함께 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제16항 또는 제18항 중 어느 한 항에 있어서,

화상 경계선 조합 연속 이동 프레임 구간 검출부가, 화상 경계선의 조합이, 프레임의 끝으로부터 타단으로 연속적으로 이동하는 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제16항 또는 제19항 중 어느 한 항에 있어서,

화상 경계선 조합 연속 이동 프레임 구간 검출부가, 다시 각 프레임의 화상 경계선의 조합이 구성하는 도형의 면적의 시간적인 변화를 해석하고, 상기 면적의 시간적인 변화가 임의의 기준을 충족시키는 경우에, 상기 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제20항에 있어서,

화상 경계선 조합 연속 이동 프레임 구간 검출부가, 면적이 시간과 함께 단조 증가 또는 단조 감소해 가는 경우에, 프레임 구간을, 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제16항 내지 제21항 중 어느 한 항에 있어서,

화상 경계선 조합 연속 이동 프레임 구간 검출부가, 화상 경계선의 조합이 연속적으로 이동하는 프레임 구간이 다시, 각 프레임에서, 프레임의 상기 화상 경 계선에 의해 구분되는 2개의 화상 영역 중 적어도 한 쪽의 화상 영역과, 상기 프레임 구간의 전과 후의 프레임 중 적어도 한 쪽의 프레임과의 사이의 유사성을 평가함으로써, 상기 프레임 구간을 특수 효과를 포함하는 프레임 구간으로서 검출하는 영상의 특수 효과 검출 장치.
제2항 내지 제22항 중 어느 한 항에 있어서,

화상 경계선 추출부가,

영상의 각 프레임으로부터, 화상 경계선을 구성하는 화소의 후보인 화상 경계선 후보 화소를 검출하고, 상기 화상 경계선 후보 화소를 특정하는 정보인 화상 경계선 후보 화소 정보를 프레임마다 출력하는 화상 경계선 후보 화소 검출부와,

각 프레임의 상기 화상 경계선 후보 화소 정보가 나타내는 각 화상 경계선 후보 화소의 엣지 방향을 산출하고, 산출된 각 화상 경계선 후보 화소의 상기 엣지 방향을 프레임마다 출력하는 엣지 방향 산출부와,

프레임마다, 상기 화상 경계선 후보 화소 정보가 나타내는 화상 경계선 후보 화소를 입력으로 한 하프 변환을 이용한 직선 추출 방법에서, 투표를 받는 직선의 방향과 상기 화상 경계선 후보 화소의 상기 엣지 방향이 이루는 각도가 수직에 가까울수록 투표의 가중치를 크게 하도록 제어하여 투표를 행해서 직선을 추출하고, 추출한 상기 직선을 화상 경계선으로 하여, 상기 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력하는 가중치 부여 하프 변환부를 포함하는 영상의 특수 효과 검출 장치.
제5항 내지 제23항 중 어느 한 항에 있어서,

화상 경계선 추출부가,

각 프레임의 화상 경계선 기술 정보가 나타내는 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 엣지 방향을 산출하고, 산출된 상기 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 상기 엣지 방향을 프레임마다 출력하는 엣지 방향 산출부와,

프레임마다, 상기 화상 경계선 기술 정보가 나타내는 화상 경계선의 방향과, 상기 화상 경계선을 구성하는 각 화상 경계선 후보 화소의 상기 엣지 방향이 이루는 각도가 수직에 가깝다고 통계적으로 판정되는 경우에, 상기 화상 경계선 기술 정보를 출력하는 화상 경계선 필터링부를 더 포함하는 영상의 특수 효과 검출 장치.
제5항 내지 제24항 중 어느 한 항에 있어서,

화상 경계선 추출부가,

각 프레임의 화상 경계선 기술 정보가 나타내는 화상 경계선 상의 복수의 점의 움직임 벡터를 산출하고, 산출된 상기 화상 경계선 상의 복수의 점의 상기 움직임 벡터를 프레임마다 출력하는 움직임 벡터 산출부와,

프레임마다, 상기 화상 경계선 기술 정보가 나타내는 화상 경계선 상의 복수의 점의 상기 움직임 벡터의 방향이나 크기가 일치하지 않는 경우에, 상기 화상 경 계선 기술 정보를 출력하는 화상 경계선 필터링부를 더 포함하는 영상의 특수 효과 검출 장치.
제2항 내지 제25항 중 어느 한 항에 있어서,

영상의 각 프레임으로부터 특징량을 추출하고, 각 프레임으로부터 추출한 특징량을 비교함으로써, 영상이 완만하게 변화하는 구간인 점차 변화 구간을 검출하고, 상기 점차 변화 구간의 프레임열을 출력하는 점차 변화 검출부를 구비하고,

상기 영상이, 상기 점차 변화 검출부에 의해 미리 점차 변화 구간으로 한정된 영상인 영상의 특수 효과 검출 장치.
제2항 내지 제26항 중 어느 한 항에 있어서,

특수 효과 검출부가 출력한 특수 효과 프레임 구간 정보가 나타내는 프레임 구간의 전후의 프레임을 영상으로부터 취득하고, 취득한 상기 프레임의 특징량을 추출하고, 추출한 상기 특징량을 비교하여 상기 프레임 구간의 전후에서 영상이 절환되었는지의 여부를 판정하고, 영상이 절환되었다고 판정된 경우에, 상기 특수 효과 프레임 구간 정보를 출력하는 프레임 비교부를 구비한 영상의 특수 효과 검출 장치.
제2항 내지 제27항 중 어느 한 항에 있어서,

특수 효과 검출부가 출력한 특수 효과 프레임 구간 정보를 수취하고, 임의의 시간 구간에서 검출되는 특수 효과를 포함하는 프레임 구간의 수를 제한하도록, 상기 특수 효과 프레임 구간 정보를 제한하여 출력하는 필터링부를 구비한 영상의 특수 효과 검출 장치.
제2항 내지 제28항 중 어느 한 항의 영상의 특수 효과 검출 장치와,

상기 영상의 특수 효과 검출 장치가 출력한 특수 효과 프레임 구간 정보에 기초하여 영상의 재생 제어를 행하는 영상 재생 제어 장치

를 구비하는 영상 재생 장치.
영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하고,

상기 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력하고,

각 프레임의 상기 화상 경계선 기술 정보를 이용하여 특수 효과를 포함하는 프레임 구간을 검출하고,

상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 영상의 특수 효과 검출 방법.
영상의 각 프레임으로부터, 프레임 내에 존재하는 2개의 화상 사이의 경계선인 화상 경계선을 추출하는 처리와,

상기 화상 경계선을 기술하는 정보인 화상 경계선 기술 정보를 출력하는 처 리와,

각 프레임의 상기 화상 경계선 기술 정보를 이용하여 특수 효과를 포함하는 프레임 구간을 검출하는 처리와,

상기 프레임 구간을 특정하는 정보인 특수 효과 프레임 구간 정보를 출력하는 처리

를 컴퓨터에 실행시키는 영상의 특수 효과 검출 프로그램.