KR100345630B1 - 피사체의전후위치관계판정방법및2차원영상을3차원영상으로변환하는방법 - Google Patents

Abstract

본 발명은 피사체의 전후 관계 판정 방법에 관한 것이다. 2차원 영상의 화상 영역 내에 설정된 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류한다. 상기 화상 영역 내의 단부분에 주목 영역을 설정하고, 주목 영역내에 존재하는 제1 검출 영역의 총 수와 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다. 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정한다.

Description

피사체의 전후 위치 관계 판정 방법 및 2차원 영상을 3차원 영상으로 변환하는 방법

본 발명은 피사체의 전후 위치 관계 판정 방법 및 VTR, 비디오 카메라 등으로부터 출력되거나 CATV나 TV 방송에 의해 전송되는 2차원 영상을 3차원 영상으로 변환하는 방법에 관한 것이다.

최근 과제가 되고 있는 3차원 영상 표시 시스템에 사용되는 영상 소프트는 그 대부분이 3차원 영상 표시용으로 특별히 작성된 것이다. 이와 같은 3차원 영상 표시용 영상 소프트는 일반적으로는 2대의 카메라를 이용하여 좌목용(左目用) 영상과 우목용(右目用) 영상을 촬상함으로써 작성된 것이다.

3차원 영상 소프트에 기록된 좌우의 영상은 거의 동시에 디스플레이에 표시된다. 그리고, 거의 동시에 영출된 좌목용 영상 및 우목용 영상을 관찰자의 좌우의 눈에 각각 입사시킴으로써 관찰자는 3차원 영상을 인식한다.

그러나, 세상에는, 2차원 영상으로 작성된 영상 소프트는 다수 존재하지만, 3차원용 영상 소프트는 대단히 적기 때문에, 3차원 영상을 표시하기 위해서는 새롭게 3차원용 영상 소프트를 제작할 필요가 있어 귀찮고 비용이 높게 된다는 문제가 있다.

이 때문에, 2차원 영상을 3차원 영상으로 변환하는 방법이 이미 제안되어 있다. 2차원 영상을 3차원 영상으로 변환하는 방법으로서, 다음과 같은 것을 예로 들 수 있다. 즉, 예를 들면 좌에서 우로 이동하는 물체가 비춰지고 있는 2차원 영상의 경우, 이 본래의 2차원 영상을 좌목용 영상이라 하고, 이 좌목용 영상에 대해 수 필드전의 영상을 우목용 영상이라 한다. 이것에 의해 상기 좌목용 영상과 우목용 영상 사이에는 시차가 발생하기 때문에, 이 양 영상을 거의 동시에 화면 상에 표시함으로써 상기 이동하는 물체가 배경에 대해 전방에 나타나는 것과 같이 인식된다.

그런데, 2차원 영상에서는 제30도에 도시하는 바와 같이 후방 위치에 있는 피사체(산)가 부동 상태이고, 전방 위치에 있는 피사체(새)가 이동하는 경우와, 제31도에 도시하는 바와 같이 전방 위치에 있는 피사체(차)가 부동 상태이고, 후방 위치에 있는 피사체(집)가 이동하는 경우가 있다.

제30도에 도시하는 바와 같은 경우에서는 전방 위치에 있는 피사체(새)의 동방향(이 예에서는 좌에서 우)을 검출하고, 본래의 2차원의 영상을 좌목용 영상으로 하고, 이 좌목용 영상에 대해 수 필드 전의 영상을 우목용 영상으로 함으로써, 후방 위치에 있는 피사체(산)에 대해 전방 위치에 있는 피사체(새)를 전방에 나타나게 할 수 있다.

그런데, 제31도에 도시하는 바와 같이, 후방 위치에 있는 피사체(집)가 이동하고 있는 경우에서는 후방 위치에 있는 피사체(집)의 동 방향(이 예에서는 좌에서 우)을 검출하고, 전술한 것과 마찬가지로 본래의 2차원 영상을 좌목용 영상으로 하고, 이 좌목용 영상에 대해 수 필드전의 영상을 우목용 영상으로 하면, 전방 위치에 있는 피사체(차)에 대해 후방 위치에 있는 피사체(집)가 전방에 나타나 버린다.

본 발명의 목적은 복수의 피사체의 전후 위치 관계를 판정할 수 있는 피사체의 전후 위치 판정 방법을 제공하는 것이다.

본 발명의 다른 목적은 전방 위치에 있는 피사체가 부동 상태이고, 후방 위치에 있는 피사체가 이동하고 있는 경우에서도 후방 위치에 있는 피사체에 대해 전방 위치에 있는 피사체가 전방에 나타나도록 할 수 있는 2차원 영상을 3차원 영상으로 변환하는 방법을 제공하는 것이다.

본 발명에 의한 제1 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부(正負) 중 어느 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하며, 전체 검출 영역을 2 종류의 검출 영역으로 분류한다(제3 스텝).

상기 화상 영역 내의 단부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제4 스텝).

그리고, 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정한다(제5 스텝).

본 발명에 의한 제2 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류한다(제3 스텝).

상기 화상 영역 내의 중앙 부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제4 스텝).

그리고, 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정한다(제5 스텝).

본 발명에 의한 제3 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류한다(제3 스텝).

상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제4 스텝).

상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제5 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정한다(제6 스텝).

본 발명에 의한 제4 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류한다(제3 스텝).

상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제4 스텝).

상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제5 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정한다(제6 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 동일한 경우에는 전체 검출 영역 내에 존재하는 제1 검출 영역의 총 수와 전체 검출 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 적은지를 판정한다(제7 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제7 스텝에서 총 수가 적다고 판정된 쪽의 검출 영역을 제3 검출 영역으로 하고, 전체 검출 영역 내에 존재하는 제3 검출 영역의 총 수에 대한 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비에 기초하여 제1 검출 영역의 피사체와 제2 검출 영역의 피사체와의 전후 위치 관계를 판정한다(제8 스텝).

상기 제8 스텝에서, 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총수와의 비가 소정값 이상일 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 후방에 위치하고 있다고 판정한다. 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값보다 작을 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 전방에 위치하고 있다고 판정한다.

본 발명에 의한 제5 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류한다(제3 스텝).

상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제4 스텝).

상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정한다(제5 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에위치하고 있다고 판정한다(제6 스텝).

상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중, 어느 한쪽이 총 수가 많다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정한다(제7 스텝).

상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중, 어느 한 쪽이 총 수가 많다고 판정되는 경우에는 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제5 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정한다(제8 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 동일한 경우 또는 상기 제4 스텝 및 제5 스텝의 양방의 스텝에서 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 전체 검출 영역 내에 존재하는 제1 검출 영역의 총 수와 전체 검출 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 적은지를 판정한다(제9 스텝).

제1 검출 영역 및 제2 검출 영역 중, 상기 제9 스텝에서 총 수가 적다고 판정된 쪽의 검출 영역을 제3 검출 영역으로 하고, 전체 검출 영역 내에 존재하는 제3 검출 영역의 총 수에 대한 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비에 기초하여 제1 검출 영역의 피사체와 제2 검출 영역의 피사체와의 전후 관계를 판정한다(제10 스텝).

상기 제10 스텝에서, 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 이상일 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 후방에 위치하고 있다고 판정한다. 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값보다 작을 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한 쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 전방에 위치하고 있다고 판정한다.

본 발명에 의한 제6 피사체의 전후 위치 판정 방법에서는 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정한다(제 1 스텝).

상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출한다(제2 스텝).

상기 각 검출 영역 중에서, 수평 방향으로 서로 이웃하는 2개의 검출 영역간 마다 양 검출 영역에서 검출된 피사체의 수평 방향의 이동량을 비교한다(제3 스텝).

수평 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동방향이 수평 방향의 이동량이 작은 피사체의 방향을 향하고 있는 경우에는 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는 피사체의 이동랑의 크기가, 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하는지 여부를 판정한다(제4 스텝).

상기 제4 스텝에서, 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는 피사체의 이동량이 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정한다(제5 스텝).

상기 제4 스텝에서, 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정한다(제6 스텝).

수평 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동방향이 수평 방향의 이동량이 작은 피사체의 방향으로 향하고 있지 않은 경우에는 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하는 여부를 판정한다(제7 스텝).

상기 제7 스텝에서 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정한다(제8 스텝).

및

상기 제7 스텝에서, 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정한다(제9 스텝).

본 발명에 의한 2차원 영상을 3차원 영상으로 변환하는 방법은 2차원 영상으로부터 주 영상 신호와 주(主) 영상 신호에 대해 지연된 부(副) 영상 신호를 생성하고, 주 영상 신호 및 부 영상 신호 중 한 쪽을 좌목(左目)용 영상으로 하고, 다른 쪽을 우목(右目)용 영상으로서 이용하는 2차원 영상을 3차원 영상으로 변환하는 방법에서, 상기 2차원 영상 신호에 기초하여 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 스텝 및 전후 위치 관계의 판정 결과에 기초하여 주 영상 신호 및 부 영상 신호 중 어느 것을 좌목용 영상으로 하고, 어느 것을 우목용 영상으로 할 것인지를 결정하는 스텝을 구비하고 있는 것을 특징으로 한다.

수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 스텝으로서는 상기 제1 ~ 제6 피사체의 전후 위치 판정 방법 중 어느 것을 이용할 수 있다.

(1) 제1 실시예의 설명

제1도 ~ 제26도를 참조하여 본 발명의 제1 실시예에 대해 설명한다.

제1도는 2차원 영상을 3차원 영상으로 변환하기 위한 2D/3D 영상 변환 장치의 구성을 도시하고 있다.

이 2D/3D 영상 변환 장치에서는 입력 단자(1)에 2차원 영상을 표시하기 위한 통상의 차원 영상 신호가 입력된다. 입력 단자(1)에 입력된 2차원 영상 신호는 영상 전환 회로(2) 및 필드 메모리(5)에 각각 공급된다.

필드 메모리(5)에 입력된 2차원 영상 신호는 소정 필드 수만큼 지연시켜 출력되고, 영상 전환 회로(2)로 공급된다. 필드 메모리(5)의 지연랑은 메모리 제어회로(6)에 의해 1 필드 단위로 가변 제어된다.

상기 영상 전환 회로(2)는 좌목용 영상 신호 L을 출력하는 출력 단자(3) 및 우목용 영상 신호 R을 출력하는 출력 단자(4)에 출력되어 있으며, 피사체의 동 방향에 따라 출력 상태가 전환되도록 제어된다.

또, 입력 단자(1)에 입력된 2차원 영상 신호는 동 벡터 검출 회로(7)에 공급된다. 동 벡터 검출 회로(7)에서는 영상 필드간 움직임, 즉 피사체의 이동량(이동속도)에 따른 동 벡터가 검출된다. 검출된 동 벡터는 CPU(8)에 공급된다. CPU(8)은검출된 동 벡터 중 수평 성분을 추출하고, 이것에 따라 메모리 제어 회로(6)를 제어한다. 즉, 피사체의 움직임이 크고, 동 벡터가 큰 경우, 필드 메모리(5)의 지연량이 적게 되도록 제어하며, 피사체의 움직임이 작거나 또는 슬로우모션 재생시와 같이 동 벡터가 작은 경우 지연량이 많게 되도록 제어한다.

이하의 설명에서는 이동량이 다른 2개의 피사체 중, 후방 위치에 있는 피사체를 배경이라 하고, 전방 위치에 있는 피사체를 간단히 피사체라 한다.

CPU(8)은 동 벡터의 수평 성분의 방향이 좌에서 우인 경우에는 그 동 벡터의 검출 대상에 따라 영상 전환 회로(2)를 다음과 같이 제어한다. 즉, 동 벡터의 검출 대상이 배경의 전방 위치에 있는 피사체라고 판단한 때에는 지연된 영상 신호를 우목용 영상 신호가 되도록 영상 전환 회로(2)를 제어한다. 동 벡터의 검출 대상이 피사체의 후방 위치에 있는 배경이라고 판단할 때에는 지연된 영상 신호를 좌목용 영상 신호로 하도록 영상 전환 회로(2)를 제어한다.

또, CPU(8)은 동 벡터의 수평 방향 성분의 방향이 우에서 좌인 경우에는 그 동 벡터의 검출 대상에 따라 영상 전환 회로(2)를 다음과 같이 제어한다. 즉, 동 벡터의 검출 대상이 배경의 전방에 위치하는 피사체라고 판단한 때에는 지연된 영상 신호를 좌목용 영상 신호가 되도록 영상 전환 회로(2)를 제어한다. 동 벡터의 검출 대상이 피사체의 후방에 위치하는 배경이라고 판단한 때에는 지연된 영상 신호를 우목용 영상 신호가 되도록 영상 전환 회로(2)를 제어한다.

따라서, 2차원 영상 신호에서 피사체 또는 배경이 좌우 방향으로 이동하는 장면에 대해서는 움직임 속도에 따른 시차로, 배경에 대해 피사체가 항상 전방 위치에 있는 시차가 발생한다.

출력 단자(3, 4)로부터의 좌우의 영상 신호를 렌치큘러 방식 등의 입체 영상 표시 디스플레이에 공급함으로써, 관찰자는 입체감이 있는 3차원 영상을 관상(觀賞)할 수 있다.

등 벡터 검출 회로(7)는 대표점 매칭법에 의해 동 벡터를 검출하고 있다. 대표점 매칭법에 대해 간단히 설명한다. 각 필드의 영상 영역 내에 제2도에 도시하는 바와 같이 40개의 동 벡터 검출 영역 A1 ~ H5가 설정되어 있다. 또, 각 동 벡터 검출 영역 A1 ~ H5는 제3도에 도시하는 바와 같이, 더욱 복수의 소 영역 e로 분할되어 있다. 그리고, 제4도에 도시하는 바와 같이, 각 소 영역 e 각각에 복수의 샘플링점 S와 1개의 대표점 R이 설정되어 있다.

현 필드에서 각 소 영역 e 내의 샘플링점 S의 영상 신호 레벨과 전 필드에서 대응하는 소 영역의 대표점 R의 영상 신호 레벨과의 차(각 샘플링 점에서 상관값)가 각 동 벡터 검출 영역 A1 ~ H5마다 구해진다. 그리고, 각 동 벡터 검출 영역 A1~H5 내의 각 소 영역 e 사이에서 대표점 R에 대한 편위가 동일 샘플링점 S 끼리의 상관값이 누적 가산된다. 따라서, 각 동 벡터 검출 영역 A1 ~ H5마다 1개의 소 영역 e 내의 샘플링점 S의 수에 따른 수의 상관 누적값이 구해진다.

또, 각 동 벡터 검출 영역 A1 ~ H5마다 각 동 벡터 검출 영역 A1 ~ H5에서 구해진 상관 누적값 중, 최소인 것(상관 누적값의 최소치 MIN)이 구해진다. 또, 각 동 벡터 검출 영역 A1 ~ H5마다 각 동 벡터 검출 영역 A1 ~ H5에서 구해진 상관 누적값의 평균값 AVE가 구해진다.

동 벡터 검출 영역 A1 ~ H5 내에서 상관 누적값이 최소가 되는 점의 편위, 즉 상관성이 가장 높은 점의 편위가 해당 동 벡터 검출 영역의 동 벡터(피사체의 움직임)로서 추출된다.

CPU(8)은 동 벡터 검출 회로(7)에 의해 검출된 각 동 벡터 검출 영역 A1 ~ H5마다의 동 벡터의 수평 성분, 상관 누적값의 최소치 MIN 및 상관 누적값의 평균값 AVE에 기초하여 본래의 2차원 영상에서 움직이고 있는 물체가 피사체인지 배경인지를 판정하고 이 피사체/배경 판별 처리의 결과에 기초하여 영상 전환 회로(2) 및 메모리 제어 회로(6)를 제어한다.

제5a도 및 제5b도는 CPU(8)에 의해 1 필드마다 행해지는 처리로, 피사체의 전후 위치 관계 판별 처리에 관계하는 처리를 표시하고 있다.

제5a도의 스텝 S1에서, 제1도의 입력 단자(1)에 입력되어 있는 2차원 영상에 의해 표시되는 영상의 장면이 변화했는지 여부가 검출된다. 장면이 변화했는지를 판정하기 위해 이용되는 처리의 상세한 설명에 대해 후술한다.

스텝 S1에서 장면이 변화했다고 판정되면, 제1 카운터의 내용 K1 및 제2 카운터의 내용 K2가 "1"로 된다(스텝 S16). 또, 지연량 및 지연량의 목표값이 0으로 설정된다(스텝 S17). 여기에서, 지연량은 제1도의 필드 메모리(5)로부터 판독된 2차원 영상 신호가 입력 단자(1)에 현재 입력되어 있는 2차원 영상 신호에 대해 어느 필드가 지연되고 있는지를 표시한다. 지연량은 지연량의 목표값에 서서히 접근하도록 제어된다. 스텝 S17의 처리가 행해지면, 피사체의 전후 위치 관계의 판별에 사용하는 이력 정보가 초기화된다(스텝 S18). 그리고, 금회 처리는 종료한다.

상기 스텝 S1에서, 장면이 변화하지 않는다고 판정된 때에는 동 벡터 검출 회로(7)에 의해 검출된 각 동 벡터 검출 영역 A1 ~ H5마다의 동 벡터의 수평 성분 V(이후, 간단히 동 벡터라 함) 및 상관 누적값의 평균값 AVE가 보존된다(스텝 S2).

이 후, 스텝 S3 이후의 처리로 진행한다. 스텝 S3에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 1) 필드째의 필드인지 여부가 판정된다. 다만, n은 0 이상의 정수이다. 스텝 S4에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 2) 필드째의 필드인지 여부가 판정된다. 스텝 S5에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 3) 필드째의 필드인지 여부가 판정된다. 스텝 S6에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 4) 필드째의 필드인지 여부가 판정된다.

스텝 S7에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 5) 필드째의 필드인지 여부가 판정된다. 스텝 S8에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 6) 필드째의 필드인지 여부가 판정된다. 스텝 S9에서는 현 필드나 장면 체인지가 검출되기 때문에, (10n + 7), (10n + 8) 또는 (10n + 9) 필드째의 필드인지 여부가 판정된다. 이들 판정은 제1 카운터의 내용 K1에 기초하여 행해진다.

현 필드나 장면 체인지가 검출되기 때문에, (10n + 1) 필드째이면(스텝 S3에서 YES), 스텝 S10 처리 후, 스텝 S19로 진행한다. 현 필드나 장면 체인지가 검출되기 때문에, (10n + 2) 필드째이면(스텝 S4에서 YES), 스텝 S11 처리 후, 스텝 S19로 진행한다.

현 필드나 장면 체인지가 검출되기 때문에, (10n + 3) 필드째이면(스텝 S5에서 YES), 스텝 S12 처리 후, 스텝 S19로 진행한다. 현 필드나 장면 체인지가 검출되기 때문에, (10n + 4) 필드째이면(스텝 S6에서 YES), 스텝 S13 처리 후 스텝 S19로 진행한다. 현 필드나 장면 체인지가 검출되기 때문에, (10n + 5) 필드째이면(스텝 S7에서 YES), 스텝 S14 처리 후, 스텝 S19로 진행한다.

현 필드나 장면 체인지가 검출되기 때문에, (10n + 6) 필드째이면(스텝 S8에서 YES), 스텝 S15 처리 후, 스텝 S19로 진행한다.

현 필드나 장면 체인지가 검출되기 때문에, (10n + 7), (10n + 8) 또는 (10n + 9) 필드째이면(스텝 S9에서 YES), 스텝 S19로 진행한다. 현 필드나 장면 체인지가 검출되기 때문에, (10n + 10) 필드째이면(스텝 S9에서 NO), 스텝 S20으로 진행한다.

스텝 S19에서는 제1 카운터의 내용 K1이 1만큼 증가된다. 스텝 S20에서는 제1 카운터의 내용 K1이 "1"로 된다. 다시 말하면, 제1 카운터의 내용 K1은 현 필드에서 장면 체인지가 검출될 때(스텝 S1에서 YES) 또는 현 필드나 장면 체인지가 검출되기 때문에 10 필드째의 필드일 때(스텝 S9에서 NO)에, "1"로 된다. 그리고, 현 필드나 장면 체인지가 검출되기 때문에 1 ~ 9 필드째의 필드일 때에는(스텝 S3 ~ S9 중 어느 것에서 YES) 스텝 S19에서 1만큼 증가된다.

따라서, 각 필드에서의 피사체의 전후 위치 관계 판별 처리가 개시될 때는 제1 카운터의 내용 K1은 1 ~ 10 중 어느 것이고, 현 필드나 장면 체인지가 검출되기 때문에, (10n + 1) ~ (10n + 10) 필드째의 어느 것인지를 표시하고 있다. 이 때문에, 현 필드나 장면 체인지가 검출되기 때문에, (10n + 1) ~ (10n + 10) 필드째의 어느 것은 제1 카운터의 내용 K1에 기초하여 판정할 수 있다.

상기 스텝 A19 또는 S20의 처리가 행해지면, 스텝 S21로 이동한다. 스텝 S21에서는 현 필드나 장면 체인지가 검출되기 때문에 20 필드째 이내의 필드인지 여부가 판별된다. 이 판정은 제2 카운터의 내용 K2에 기초하여 행해진다.

제2 카운터의 내용 K2는 상술한 바와 같이 장면 체인지가 검출될 때에 "1"로 된다(스텝 S16). 그리고, 스텝 S21에서, 현 필드나 장면 체인지가 검출되기 때문에 20 필드째 이내의 필드이라고 판정된 때에 1만큼 증가된다(스텝 S22).

따라서, 스텝 S21의 처리가 행해질 때에는 현 필드나 장면 체인지가 검출되기 때문에 20 필드째 이내의 필드인 때에는 제2 카운터의 내용 K2 이하의 값으로 되고, 현 필드나 장면 체인지가 검출되기 때문에 21 필드째 이후의 필드일 때에는 제2 카운터의 내용 K2는 "21"이 된다. 이 때문에, 현 필드나 장면 체인지가 검출되기 때문에 20 필드째 이내의 필드인지 여부는 제2 카운터의 내용 K2에 기초하여 판정할 수 있다.

상기 스텝 S21에서, 현 필드나 장면 체인지가 검출되기 때문에, 20 필드째 이내의 필드라고 판정되어, 제2 카운터의 내용이 갱신될 때에는(스텝 S22) 지연량의 목표값이 0이 된다(스텝 S23). 그리고, 금회의 처리는 종료한다. 상기 스텝 S21에서, 현 필드나 장면 체인지가 검출되기 때문에 21 필드째 이후의 필드라고 판정될 때에는 금회의 처리는 종료한다.

스텝 S10 ~ S15의 처리는 피사체와 배경과의 영역을 판정함과 동시에, 지연량의 목표값을 산출하기 위한 처리이다. 이들 처리는 장면 체인지가 검출된 후, 10 필드 단위로 실행된다. 다만, 장면 체인지가 검출된 후, 20 필드째까지는 지연량의 목표값이 "0"으로 되기 때문에(스텝 S23), 장면 체인지가 검출된 후 20 필드째 이후에 산출된 지연량의 목표값이 지연량의 제어에 이용된다.

이하, 스텝 S10 ~ S15의 처리에 대해 설명한다.

[스텝 S10 처리의 설명]

스텝 S10의 처리는 장면 체인지가 검출되기 때문에, (10n + 1) 필드째에 행해지는 처리이다.

스텝 S10에서는 직전의 10 필드 기간에서 검출된 각 검출 영역 A1 ~ H5마다의 동 벡터 V 중 10 필드분의 누적 합 ∑V가 각 검출 영역 A1 ~ H5마다 구해져 보존된다. 또 직전의 10 필드 기간에서 검출된 각 검출 영역 A1 ~ H5마다의 상관 누적값의 평균값 AVE 중 10 필드분의 누적 합 ∑AVE가 각 검출 영역 A1 ~ H5마다 구해져 보존된다.

또, 직전의 10 필드 기간은 현 필드나 장면의 변화가 발생된 필드로부터 21 필드째일 때에는 11 필드째에서 20 필드째까지의 10 필드 기간의 것이다.

[스텝 S11 처리의 설명]

스텝 S11의 처리는 장면 체인지가 검출되기 때문에, (10n + 2) 필드째에 행해지는 처리이다.

스텝 S11에서는 직전의 10 필드 기간에서 검출된 각 검출 영역 A1 ~ H5마다의 동 벡터 V 중 10 필드분의 누적 합 ∑V에 대해 신뢰성이 낮은지 여부나, 영상움직임에 관여하고 있는지 여부의 판정이 행해진다. 신뢰성이 낮은 누적 합을 갖고 있는 영역, 영상의 움직임에 관여하고 있지 않은 누적 합을 갖고 있는 영역을 이하, NG 영역이라 한다.

다시 말하면, 스텝 S11에서는 각 검출 영역 A1 ~ H5에 대해 NG 영역인지 여부의 판정이 행해진다. 이 NG 영역의 판별은 이하의 판정 규칙 (a), (b), (c)에 기초하여 행해진다.

(a) 각 검출 영역 A1 ~ H5 각각에 대해 상관 누적값의 평균값 AVE 중 10 필드분의 누적 합 ∑AVE가 각 검출 영역 A1 ~ H5의 누적 합 ∑AVE의 평균값{ = (각 검출 영역 A1 ~ H5마다 ∑AVE의 총합)/(전체 검출 영역 수 40)}의 1/5 미만이면, 영역은 NG 영역이 된다.

(b) 각 검출 영역 A1 ~ H5 각각에 대해 상관 누적값의 평균값 ∑AVE의 10 필드분의 누적 합 ∑AVE가 30 미만이면 그 영역은 NG 영역이 된다.

(c) 최하단의 검출 영역 A5, B5, C5 ··· H5 중, 동 벡터의 10 필드분의 누적 합 ∑V의 절대값이 3 이하인 영역은 자막의 가능성이 있기 때문에 NG 영역이 된다.

또, 판정 규칙 (a)에서 이용되고 있는 정수인 1/5는 시뮬레이션에 의해 결정한 값이다. 또, 판정 규칙 (b)에 이용되고 있는 정수인 350은 풀 백의 영역을 NG 영역으로 하기 위해 실험에 의해 구해진 값이다.

[스텝 S12 처리의 설명]

스텝 S12의 처리는 장면 체인지가 검출되기 때문에, (10n + 3) 필드째에 행해지는 처리이다.

스텝 S12에서는 스텝 S11에서 NG 영역에서는 없다고 판정된 검출 영역(유효 영역) 각각에 대해 동 벡터 V의 10 필드 분의 누적 합 ∑V를 이용하여 다음과 같은 처리가 행해진다. 즉, 먼저, 각 유효 영역의 동 벡터의 10 필드분의 누적 합 ∑V 중, 최소치 α와 최대치 β가 추출된다. 추출된 동 벡터의 누적 합 ∑V의 최소치 a에서 최대치 β까지의 범위가 8분할된다. 그리고, 8 분할된 각 범위마다 동 벡터의 누적 합 ∑V가 그 범위 내인 유효 영역 수가 구해져 제6도에 도시하는 바와 같은 동 벡터의 누적 합 ∑V의 히스토그램이 작성된다.

또, 여기에서 동 벡터의 누적 합 ∑V의 대소 관계는 좌에서 우로 향하고 있는 동 벡터를 정(正)의 동 벡터, 우에서 좌로 향하고 있는 동 벡터를 부(負)의 동 벡터로서 정하고 있다. 이 히스토그램에서, 유효 영역 수가 1개이고, 또한 누적 합 ∑V의 대소 중 어느 한쪽일 때에 유효 영역 수가 0인 범위가 존재하는 경우에는 해당 범위에 존재하는 1개의 유효 영역에 대한 동 벡터의 누적 합 ∑V는 부정확할 가능성이 높다고 판단되고, 해당 범위에 존재하는 1개의 유효 영역은 히스토그램으로부터 제거된다. 제6도의 예에서는 γ 부분이 제거된다.

다음에, 제6도에 도시하는 바와 같이 최소치 α와 최대치 β와의 평균값 (α + β)/2가 구해진다. 구해진 평균값 (α+β)/2를 경계로서 이 경계에 의해 동 벡터의 누적 합 ∑V가 작은 범위에 존재하는 각 유효 영역이 L 블럭으로 정의되고, 이 경계에 의해 동 벡터의 누적 합 ∑V이 큰 범위에 존재하는 각 유효 영역이 H 블럭이라 정의된다. 다시 말하면, 각 유효 영역이 L 블럭과 H 블럭으로 분류된다.

[스텝 S13 처리의 설명]

스텝 S13의 처리는 장면 체인지가 검출되기 때문에, (10n + 4) 필드째에 행해지는 처리이다.

스텝 S13에서는 제1 피사체/배경 판별 처리(이하, 판별 처리 A라 함)가 행해진다. 판별 처리 A에서는 동 벡터의 검출 영역 중, 제7도에 사선으로 도시하는 바와 같이 상단행, 좌측단행 및 우측단행에 존재하는 16개의 동 벡터 검출 영역 A1, B1, C1, D1, E1, F1, G1, H1, A2, A3, A4, A5, H2, H3, H4, H5가 제1 주목 영역이 된다.

통상의 영상에서는 배경은 화면 단의 부분에 복사되고 있는 경우가 많다. 그래서, 화면 단의 영역인 제1 주목 영역 내에 존재하는 L 블럭의 총 수와 제1 주목 영역 내에 존재하는 H 블럭의 총수가 비교되어 총수가 많은 쪽의 블럭이 L 블럭인지 H 블럭인지가 판정된다.

총 수가 많은 쪽의 블럭이 L 블럭인 경우에는 40개의 동 벡터 검출 영역 전체 중에서, 상기 스텝 S12에서 L 블럭으로 정의된 유효 영역이 배경 영역(배경이 존재하는 영역)이라 판별된다. 그리고, 상기 스텝 S12에서 H 블럭으로 정의된 유효 영역이 피사체 영역(피사체가 존재하는 영역)이라 판별된다.

총 수가 많은 쪽의 블럭이 H 블럭인 경우에는 40개의 동 벡터 검출 영역 전체 중에서, 상기 스텝 S12에서 H 블럭으로 정의된 유효 영역이 배경 영역으로 판별된다. 그리고, 상기 스텝 S12에서 L 블럭으로 정의된 유효 영역이 피사체 영역으로 판별된다.

또, 제1 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수가 동일한 경우는 피사체 영역과 배경 영역과의 판별은 행해지지 않는다.

[스텝 S14 처리의 설명]

스텝 S14의 처리는 장면 체인지가 검출되기 때문에, (10n + 5) 필드째에 행해지는 처리이다.

스텝 S14에서는 제2 피사체/배경 판별 처리(이하, 판별 처리 B라 함)와, 제3 피사체/배경 판별 처리(이하, 판별 처리 C라 함)와 판별 처리 A, B, C로 얻어진 판별 결과로부터 최종적인 피사체/배경 판별이 행해진다.

판별 처리 B에서는 동 벡터 영역 중, 제8도에 사선으로 도시하는 바와 같이 중앙의 4개의 동 벡터 검출 영역 D3, E3, D4, E4가 제2 주목 영역이 된다.

통상의 영상에서, 피사체는 화면의 중앙 부분에 복사되고 있는 경우가 많다. 그리고, 화면의 중앙 영역인 제2 주목 영역 내에 존재하는 L 블럭의 총 수와 제2 주목 영역 내에 존재하는 H 블럭의 총 수가 비교되어 총 수가 많은 쪽의 블럭이 L 블럭인지 H 블럭인지가 판정된다.

총 수가 많은 블럭이 L 블럭인 경우에는 40개의 동 벡터 검출 영역 전체 중에서 상기 스텝 S12에서 L 블럭으로 정의된 유효 영역이 피사체 영역으로 판별된다. 그리고, 상기 스텝 S12에서 H 블럭으로 정의된 유효 영역이 배경 영역으로 판별된다.

총 수가 많은 블럭이 H 블럭인 경우에는 40개의 동 벡터 검출 영역 전체 중에서, 상기 스텝 S12에서 H 블럭으로 정의된 유효 영역이 피사체 영역으로 판별된다. 그리고, 상기 스텝 S12에서 L 블럭으로 정의된 유효 영역이 배경 영역으로 판별된다.

또, 제2 주목 영역에서, L 블럭의 총 수와 H 블럭의 총 수가 동일한 경우는 피사체 영역과 배경 영역과의 판별은 행해지지 않는다.

이 판별 처리 B의 처리가 종료하면, 판별 처리 A 및 판별 처리 B의 판별 결과가 비교된다. 그리고, 양자의 판별 결과가 동일한 경우는 그 결과가 최종적인 피사체/배경 판별 결과로 되어 스텝 S14의 처리는 종료한다.

즉, 예를 들면, 판별 처리 A, B의 양방에서 L 블럭의 영역이 배경 영역이고, H 블럭의 영역이 피사체 영역으로 판별된 경우에는 그 판별 결과가 최종적으로 피사체/배경 판별 결과가 된다.

또, 판별 처리 A에서 제1 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수가 동일하다고 판정되어 있고, 판별 처리 B에서 제2 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수 중 어느 한쪽이 많다고 판정되어 있는 경우에는 판별 처리 B에 의한 피사체/배경 판별 결과가 최종적인 피사체/배경 판별 결과가 되어 스텝 S14의 처리는 종료한다.

또, 판별 처리 A에서 제1 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수 중, 어느 한쪽이 많다고 판정되어 있고, 판별 처리 B에서 제2 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수가 동일하다고 판정되어 있는 경우에는 판별 처리 A의 피사체/배경 판별 결과가 최종적인 피사체/배경 판별 결과가 되어 스텝 S14의 처리는 종료한다.

판별 처리 A 및 판별 처리 B의 양방의 판별 결과가 다른 경우에는 판별 처리 C가 행해진다. 또, 판별 처리 A에서 제1 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수가 동일하다고 판정되어 있고, 또한 판별 처리 B에서 제2 주목 영역에서 L 블럭의 총 수와 H 블럭의 총 수가 동일하다고 판정되어 있는 경우에도 판별 처리 C가 행해진다.

판별 처리 C에서는 먼저, 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수와 전체의 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수가 비교되어 총수가 적은 쪽의 블럭이 L 블럭인지 H 블럭인지가 판정된다. 그리고, 총 수가 적은 쪽의 블럭을 주목 블럭이라 하고, 총 수가 많은 쪽의 블럭을 비주목 블럭이라 한다.

다음에, 전체 동 벡터 검출 영역 내에 존재하는 주목 블럭의 총 수에 대한 제1 주목 영역(제7도 참조)에 존재하는 주목 블럭 수의 비율 η{(제1 주목 영역에 존재하는 주목 블럭 수)/(전체 동 벡터 검출 영역 내에 존재하는 주목 블럭의 총 수)}가 산출된다.

그리고, 산출된 비율 η이 소정값 이상인 경우에는 전체 동 벡터 검출 영역내에 존재하는 주목 블럭이 배경 영역으로 판정되어, 전체 동 벡터 검출 영역 내에 존재하는 비주목 블럭이 피사체 영역으로 판정된다. 이 판정 결과가 최종적인 피사체/배경 판별 결과가 되어 스텝 S14의 처리는 종료한다.

산출된 비율 η이 소정값보다 작은 경우에는 전체 동 검출 영역 내에 존재하는 비주목 블럭이 배경 영역으로 판정되어 전체 동 벡터 검출 영역 내에 존재하는 주목 블럭이 피사체 영역으로 판정된다. 이 판정 결과가 최종적인 피사체/배경 판별 결과가 되어 스텝 S14의 처리는 종료한다.

이 실시예에서는 상기 소정값은 0.45이고, 여러가지 영상에 대해 실험을 행함으로써 구해진 값이다.

판별 처리 C에 의한 피사체/배경 판별 규칙은 다음과 같은 고려 방법에 기초하여 작성되어 있다. 판별 처리 A에 의한 피사체/배경 판별 결과와 판별 처리 B에 의한 피사체/배경 판별 결과가 다른 경우는 피사체가 화면의 단에 위치하는 경우가 많다고 고려된다. 큰 피사체가 화면의 단까지 미치고 있는 경우에, 배경이 점유하는 영역은 화면 전체에서는 작지만, 배경이 점유하는 전체 영역에 대해 그 중 화면의 단에 존재하는 영역의 비율이 소정값 이상이 된다. 한편, 작은 피사체가 화면 단에 비추고 이는 경우에, 피사체가 점유하는 영역은 화면 전체에서는 작고, 피사체가 점유하는 전체 영역에 대해 그 중 화면 단을 점유하는 비율도 소정값보다 작게 된다.

[스텝 S15 처리의 설명]

스텝 S15의 처리는 장면 체인지가 검출되기 때문에, (10n + 6) 필드째에 행해지는 처리이다.

스텝 S15에서는 상기 스텝 S14에서 얻어진 최종적인 피사체/배경 판별 결과에 기초하여 지연량의 목표값이 산출된다. 다시 말하면, 최종적으로 피사체 영역으로 판별된 각 블럭 각각에 대해 10 필드 기간의 동 벡터의 누적 합 ∑V의 총합 ∑∑V가 구해진다. 이 누적 합 ∑V 의 총합 ∑∑V가 피사체 영역으로 판별된 블럭의 총 수로 제산됨으로써 누적 합 ∑V의 총합 ∑∑V의 평균값 HI가 구해진다.

또, 최종적으로 배경 영역으로 판별된 각 블럭 각각에 대해 10 필드 기간의 동 벡터의 누적 합 ∑V의 총합 ∑∑V가 구해진다. 이 누적 합 ∑V의 총합 ∑∑V가 배경 영역으로 판별된 블럭의 총 수로 제산됨으로써, 누적 합의 ∑V의 총합 ∑∑V의 평균값 HA가 구해진다.

그리고, 평균값 HI의 절대값이 평균값 HA의 절대값 이상인 경우(｜HI｜ ≥ ｜HA｜)는 피사체 영역의 블럭에 대한 평균값 HI의 절대값에 기초하여 지연량의 목표값의 절대값이 산출된다. 그리고, 평균값 HI가 정(正)의 값이면 지연량의 목표값이 정이 되고, 평균값 HI가 부(負)의 값이면 지연량의 목표값이 부가 된다.

한편, 평균값 HI의 절대값이 평균값 HA의 절대값보다 작은 경우(｜HI｜ < ｜HA｜)는 배경 영역의 블럭에 대한 평균값 HA의 절대값에 기초하여 지연량의 목표값의 절대값이 산출된다. 그리고, 평균값 HA가 정의 값이면 지연량의 목표값이 부가 되고, 평균값 HA가 부의 값이면 지연량의 목표값이 정이 된다.

또, 본래대로 되는 2차원 영상이 횡 흐름 영상의 경우도 있다. 이 횡 흐름 영상은 피사체, 배경과 함께 명백해진 바와 같이 동일한 방향으로 이동하고 있는 영상이다. 예를 들면, 차창으로부터 풍경 등을 촬영할 때에 먼 풍경은 천천히, 가까운 것은 빠르게 흐르고 있는 영상이다. 본래로 되는 2차원 영상이 이와 같은 횡 흐름의 영상인 경우(HI와 HA 부호가 동일한 경우)에, 지연량의 목표치의 절대값은 상술한 방법과 동일한 방법으로 구하지만, 지연량의 목표값의 부호는 다음과 같이 해서 결정된다.

본래대로 되는 2차원 영상이 우측 흐름의 영상일 때에는(HI와 HA의 부호가정인 경우) 지연량의 목표값의 부호는 정으로 된다. 본래대로 되는 2차원 영상이 좌측 흐름의 영상일 때에는(HI와 HA 부호가 부인 경우) 지연량의 목표값의 부호는 부로 된다.

상기 스텝 S15에서 구해진 지연량의 목표값은 지연량을 산출하기 위해 이용된다. 지연량은 스텝 S15에서 구해진 지연량의 목표값에 서서히 접근하도록 구해진다. 구해진 지연량의 부호는 지연된 영상 신호를 우목용 영상 신호로서 선택하는지, 좌목용 영상 신호로서 선택하는지의 지표가 된다. 다시 말하면, 지연량의 부호가 정일 때에는 지연된 영상 신호가 우목용 영상 신호로서 선택되고, 지연량의 부호가 부일 때에는 지연된 영상 신호가 좌목용 영상 신호로서 선택된다.

입력 단자(1)에 입력된 2차원 영상 신호의 필드 번호와 상기 스텝 S15에서 행해지는 지연량의 목표값의 산출 처리와의 관계를 제9도에 도시하고 있다.

또, 상술한 피사체/배경 판별 처리의 전체적인 흐름을 제10도에 도시하고 있다.

제11a도 및 제11b도는 제5a도의 스텝 S13, S14, S15에서 판별 처리 A, B, C 및 지연량의 목표값 산출 처리의 상세한 흐름을 도시하고 있다.

스텝 S21에서는 판별 처리 A가 행해진다. 다시 말하면, 제7도에 도시한 제1 주목 영역에 존재하는 H 블럭의 총 수와 제1 주목 영역에 존재하는 L 블럭의 영역 수가 비교된다. 그리고, H 블럭의 총 수 쪽이 많은 경우는 스텝 S22로 진행하고, 양 블럭의 총수가 동일한 경우는 스텝 S23으로 진행하며, L 블럭의 총 수의 쪽이 많은 경우는 스텝 S24로 진행한다.

스텝 S22, S23 또는 S24에서는 판별 처리 B가 행해진다. 다시 말하면, 제8도에 도시한 제2 주목 영역에 존재하는 H 블럭의 총 수와 제2 주목 영역에 존재하는 L 블럭의 영역 수가 비교된다.

스텝 S22에서, H 블럭의 총 수의 쪽이 많다고 판정된 경우는 스텝 S25로 진행한다. 스텝 S22에서 양 블럭의 총 수가 동일하다고 판정된 경우 또는 L 블럭의 총 수의 쪽이 많다고 판정된 경우는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판별된다[최종 판별 결과 (e), (f)].

스텝 S23에서, H 블럭의 총 수의 쪽이 많다고 판정된 경우는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별된다[최종 판별 결과 (g)]. 스텝 S23에서, 양 블럭의 총 수가 동일하다고 판정된 경과는 스텝 S26으로 진행한다. 스텝 S23에서, L 블럭의 총 수의 쪽이 많다고 판정된 경우는 L 블럭이 피사체 영역이고, H 블럭이 배경 영역으로 판별된다[최종 판별 결과 (I)].

스텝 S24에서, H 블럭의 총 수 쪽이 많다고 판정된 경우 또는 양 블럭의 총수가 동일하다고 판정된 경우는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별된다[최종 판별 결과 (m), (n)]. 스텝 S24에서, L 블럭의 총 수 쪽이 많다고 판정된 경우는 스텝 S27로 진행한다.

스텝 S25, S26 및 S27에서는 판별 처리 C의 전반(前半)이 행해진다. 다시 말하면, 전체의 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체의 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교된다. 그리고, 총 수가 적은 쪽의 블럭이 주목 블럭이 된다.

스텝 S25, S26, S27에서, H 블럭이 주목 블럭으로 판정된 경우에는 각각 스텝 S28, S30, S32로 진행한다. 스텝 S25, S26, S27에서 H 블럭이 주목 블럭으로 판정된 경우에는 각각 스텝 S29, S31, S33으로 진행한다.

스텝 S28 ~ S33은 판별 처리 C의 후반이 행해진다. 다시 말하면, 검출 영역 전체 내에 존재하는 주목 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 주목 블럭의 총 수의 비율 η이 0.45 이상인지 여부가 판정된다.

스텝 S28, S30, S32에서, 주목 블럭인 H 블럭의 상기 비율 η이 0.45 이상이라고 판정된 경우에는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판별된다[최종 판별 결과 (a), (h), (o)].

스텝 S29, S31, S33에서, 주목 블럭인 L 블럭의 상기 비율 η이 0.45 보다 작다고 판정된 경우에도 H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판별된다[최종 판별 결과 (d), (k), (r)].

스텝 S28, S30, S32에서, 주목 블럭인 H 블럭의 상기 비율이 η이 0.45 보다 작다고 판정된 경우에는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별된다[최종 판별 결과 (b), (i), (p)].

스텝 S29, S31, S33에서, 주목 블럭인 L 블럭의 상기 비율 η이 0.45 이상이라고 판정된 경우에도 H 블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별된다[최종 판별 결과 (c), (j), (q)].

스텝 S34 ~ S51에서는 각각 지연량의 목표값이 결정된다. 다시 말하면, 각 H 블럭마다 과거 10 필드 기간의 동 벡터의 누적 합 ∑V의 총합이 구해진다. 이 누적합 ∑V의 총합 ∑∑V가 H 블럭의 총 수로 제산됨으로써, 누적 합 ∑V의 총합 ∑∑V의 평균값 AH가 구해진다. 또, 각 L 블럭마다 과거 10 필드 기간의 동 벡터의 누적합 ∑V의 총합이 구해진다. 이 누적합 ∑V의 총합 ∑∑V가 L 블럭의 총 수로 제산됨으로써, 누적 합 ∑V 의 총합 ∑∑V의 평균값 AL이 구해진다.

최종적인 판별 결과가, H 블럭이 피사체 영역이고, L 블럭이 배경 영역인 경우에는 {(b) (c) (g) (i) (j) (m) (n) (p) (q)}, 다음과 같이 해서 지연량의 목표값이 결정된다.

즉, 피사체 영역인 H 블럭에 대한 평균값 AH의 절대값이 배경 영역인 L 블럭에 대한 평균값 AL의 절대값 이상이면 다음의 규칙 I에 기초하여 지연량의 목표값이 결정된다.

규칙 I

지연량의 목표값은 피사체 영역인 H 블럭에 대한 평균값 AH의 절대값으로 정해진다.

또, 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)가 향하고 있는 쪽 눈의 영상 신호로서 지연된 영상 신호가 선택된다.

한편, 배경 영역인 L 블럭에 대한 평균값 AL의 절대값이 피사체 영역인 H 블럭에 대한 평균값 AH의 절대값보다 크게 되면 다음의 규칙 II에 기초하여 지연량의 목표값이 결정된다.

규칙 II

지연량의 목표값은 배경 영역인 L 블럭에 대한 평균값 AL의 절대값에 의해정해진다.

또, 배경 영역인 L 블럭에 대한 평균 동 벡터(AL)이 향하고 있는 쪽과 역인 쪽의 눈의 영상 신호로서 지연된 영상 신호가 선택된다.

최종적인 판별 결과가 H 블럭이 배경 영역이고, L 블럭이 피사체 영역인 경우에는 {(a) (d) (e) (f) (h) (k) (l) (o) (r)} 다음과 같이 해서 지연량의 목표값이 결정된다.

즉, 피사체 영역인 L 블럭에 대한 평균값 AL의 절대값이 배경 영역인 H 블럭에 대한 평균값 AH의 절대값 이상이면 다음 규칙 III에 기초하여 지연량의 목표값이 결정된다.

규칙 III

지연량의 목표값은 피사체 영역인 L 블럭에 대한 평균값 AL의 절대값에 의해 정해진다.

또, 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)이 향하고 있는 쪽의 눈의 영상 신호로서 지연된 영상 신호가 선택된다.

한편, 배경 영역인 H 블럭에 대한 평균값 AH의 절대값이 피사체 영역인 L 블럭에 대한 평균값 AL의 절대값보다 크면, 다음 규칙 IV에 기초하여 지연량의 목표값이 결정된다.

규칙 IV

지연량의 목표값이 배경 영역인 H 블럭에 대한 평균값 AH의 절대값에 의해 정해진다.

또, 배경 영역인 H 블럭에 대한 평균 벡터(AH)가 향하고 있는 쪽과 역인 쪽의 눈의 영상 신호로서 지연된 영상 신호가 선택된다.

다음에, 제12도, 제14도, 제16도, 제18도, 제20도, 제22도 및 제24도 각각에 도시하는 구체적인 영상에 대한 판별 처리 A, B, C 및 지연량의 목표값 산출 처리에 대해 설명한다.

제12도는 나무(배경) 전방을 자동차(피사체)가 화면 상에서 좌에서 우로 이동하고 있는 영상을 도시하고 있다. 제12도의 좌측의 영상은 1 필드째의 영상이고, 제12도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제13a도에 도시하는 바와 같이 된다. 그리고, 제13b도에 도시하는 바와 같이 제1 주목 영역 내에 존재하는 H 블럭의 총합은 1이 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 9가 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 L 블럭의 총 수의 쪽이 많다고 판정되어 스텝 S24로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역이 된다.

제13c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총 수는 4가 되고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 0이 된다. 따라서, 제11a도의 스텝 S24의 판별 처리 B에서는 H 블럭의 총수의 쪽이 많다고 판정되어 최종적인 피사체/배경 판별 결과(m)가 얻어진다.

즉, 판별 처리 B의 판별 결과는 H 블럭이 피사체 영역이고, L 블럭이 배경영역이 되며, 판별 처리 B의 결과는 판별 처리 A의 결과와 동일하기 때문에, 이 판별 결과가 최종적인 판별 결과로 된다.

또, 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값은 배경 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값보다 크기 때문에, 제11b도의 스텝 S46에 의한 지연량의 목표값의 결정은 규칙 I에 따라 행해진다. 다시 말하면, 지연량의 목표값은 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값으로 된다. 또, H 블럭의 평균 동 벡터(AH)가 향하고 있는 쪽에 대응하는 우목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해 제12도에 도시하는 영상에서, 자동차가 이동하고 있는 방향에 대응하는 우목용 영상으로서 지연된 영상이 선택되기 때문에, 자동차가 배경인 나무에 대해 전방에 위치하는 입체 영상이 얻어진다.

제14도는 자동차(피사체)의 후방에 있는 집(배경)이 화면 상에서 좌에서 우로 이동하고 있는 영상을 도시하고 있다. 제14도의 좌측의 영상은 1 필드째의 영상이고, 제14도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제15a도에 도시하는 바와 같이 된다. 그리고, 제15b도에 도시하는 바와 같이 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 12가 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 1이 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 H 블럭의 총 수의 쪽이 많다고 판정되어 스텝 S22로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역이 된다.

제15c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총수는 0이 되고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 4가 된다. 따라서, 제11a도의 스텝 S22의 판별 처리 B에서는 L 블럭의 총 수의 쪽이 많다고 판정되어 최종적인 피사체/배경 판별 결과(f)가 얻어진다.

즉, 판별 처리 B에 의한 판별 결과는 H 블럭이 배경 영역이고, L 영역이 피사체 영역이 되며, 판별 처리 B의의 결과는 판별 처리 A의 결과와 동일하기 때문에, 이 판별 결과가 최종적인 판별 결과로 된다.

또, 배경 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값은 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값보다 크기 때문에, 제11b도의 스텝 S39에 의한 지연량의 목표값의 결정은 규칙 IV에 따라 행해진다.

다시 말하면, 지연량의 목표값은 배경 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값으로 된다. 또, H 블럭의 평균 동 벡터(AH)가 향하고 있는 쪽과 역인 쪽에 대응하는 좌목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제14도에 도시하는 영상에서 집이 이동하고 있는 방향과 역인 방향에 대응하는 좌목용 영상으로서 지연된 영상이 선택되기 때문에 집이 자동차에 대해 후방에 위치하는 입체 영상이 얻어진다.

이상은 판별 처리 A와 판별 처리 B와의 판별 결과가 동일한 경우의 예이다. 다음에, 판별 처리 A와 판별 처리 B와의 판별 결과가 다르고, 판별 처리 C가 행해지는 경우의 예에 대해 설명한다.

제16도는 산(배경)의 전방에 있는 작은 새(피사체)가 화면 상에서 좌에서 우로 이동하고 있는 영상을 도시하고 있다. 제16도의 좌측의 영상은 1 필드째의 영상이고, 제16도의 우축의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제17a도에 도시하는 바와 같이 된다. 그리고, 제17b도에 도시하는 바와 같이 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 2가 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 11이 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 L 블럭의 총 수의 쪽이 많다고 판단되어 스텝 S24로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 H 블럭이 피사체 영역이고, L 영역이 배경 영역이 된다.

제17c도에 도시하는 바와 같이 제2 주목 영역 내에 존재하는 H 블럭의 총 수는 1이 되고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 3이 된다. 따라서, 제11a도의 스텝 S24의 판별 처리 B에서는 L 블럭의 총 수의 쪽이 많다고 판정된다. 다시 말하면, 판별 처리 B에 의한 판별 결과는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역이 되며, 판별 처리 B의 결과는 판별 처리 A의 결과와 다르기 때문에 스텝 S27로 진행한다.

스텝 S27에서는 전체 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교되어, 총 수가 적은 쪽의 블럭이 주목 블럭이 된다. 이 예에서는 H 블럭의 총 수는 7이고, L 블럭의 총수는 28이기 때문에, 주목 블럭으로서 H 블럭이 선택된다. 그리고, 스텝 S32로 이동한다.

스텝 S32에서는 주목 블럭인 H 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 H 블럭의 총 수의 비율 η이 구해진다. 이 예에서는 H 블럭의 총 수는 7이고, 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 2이다. 이 때문에, H 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 H 블럭의 총 수의 비율 η은 2/7( = 0.28 ···)가 되고, 0.45보다 작기 때문에 최종적인 판별 결과(p)가 얻어진다. 다시 말하면, H 블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별되어 이 판결 결과가 최종 판별 결과가 된다.

또, 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값은 배경 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값보다 크기 때문에, 제11b도의 스텝 S49에 의한 지연량의 목표값의 결정은 규칙 I에 따라 행해진다.

다시 말하면, 지연량의 목표값은 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값이 된다. 또, H 블럭의 평균 동 벡터(AH)가 향하고 있는 쪽에 대응하는 우목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제16도에 도시하는 영상에서, 작은 새가 이동하고 있는 방향에 대응하는 우목용 영상으로서 지연된 영상이 선택되기 때문에, 산에 대해 작은 새가 전방 위치하는 입체 영상이 얻어진다.

제18도는 표식(배경)의 전방에 있는 버스(피사체)가 화면 상에서 우측단에서 좌측으로 이동하고 있는 영상을 도시하고 있다. 제18도의 좌측의 영상은 1 필드째의 영상이고, 제18도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제19a도에 도시하는 바와 같이 된다. 그리고, 제19b도에 도시하는 바와 같이, 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 4가 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총수는 9가 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 L 블럭의 총 수의 쪽이 많다고 판정되어 스텝 S24로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 L 블럭이 배경 영역이고, H 블럭이 피사체 영역이 된다.

제19c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총수는 0이고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 4이다. 따라서, 제11a도의 스텝 S24의 판별 처리 B에서는 L 블럭의 총 수의 쪽이 많다고 판정된다. 다시 말하면, 판별 처리 B에 의한 판별 결과는 L 블럭이 피사체 영역이고, H 블럭이 배경 영역이 되며, 판별 처리 B의 결과는 판별 처리 A의 결과와 다르기 때문에 스텝S27로 진행한다.

스텝 S27에서는 전체 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교되어 총 수가 적은 쪽의 블럭이 주목 블럭이 된다. 이 예에서는 H 블럭의 총 수는 8이고, L 블럭의 층 수는 26이기 때문에, 주목 블럭으로서 H 블럭이 선택된다. 그리고, 스텝 S32로 이동한다.

스텝 S32에서는 주목 블럭인 H 블럭의 총 수에 대한 제1 주목 영역 내에 존계하는 H 블럭의 총 수의 비율 η이 구해진다. 이 예에서는 H 블럭의 총 수는 8이고, 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 4이다. 이 때문에, H 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 H 블럭의 총 수의 비율 η은 4/8( = 0.5)이 되고, 0.45 이상이 되기 때문에 최종적인 판별 결과(o)가 얻어진다. 다시 말하면, H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판별되어 이 판별 결과가 최종 판결 결과로 된다.

또, 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값은 배경 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값보다 크기 때문에, 제11b도의 스텝 S48에 의한 지연량의 목표값의 결정은 규칙 III에 따라 행해진다.

다시 말하면, 지연량의 목표값은 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값이 된다. 또, L 블럭의 평균 동 벡터(AL)이 향하고 있는 쪽에 대응하는 좌목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제18도에 도시하는 영상에서, 버스가 이동하고 있는 방향에 대응하는 좌목용 영상으로서 지연된 영상이 선택되기 때문에 표식에 대해 버스가 전방 위치하는 입체 영상이 얻어진다.

제20도는 산(배경)의 전방에 있는 버스(피사체)가 화면 상에서 좌에서 우측단으로 이동하고 있는 영상을 도시하고 있다. 제20도의 좌측의 영상은 1 필드째의 영상이고, 제20도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제21a도에 도시하는 바와 같이 된다. 그리고, 제21b도에 도시하는 바와 같이, 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 8이 되고,제1 주목 영역 내에 존재하는 L 블럭의 총 수는 5가 된다. 따라서, 제11a도의 스텝 S21의 판결 처리 A에서는 H 블럭의 총 수의 쪽이 많다고 판정되어 스텝 S22로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역이 된다.

제21c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총수는 4이고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 0이다. 따라서, 제11a도의 스텝 S22의 판별 처리 B에서는 H 블럭의 총 수의 쪽이 많다고 판정된다. 다시 말하면, 판별 처리 B에 의한 판별 결과는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역이 되며, 판별 처리 B의 결과는 판별 처리 A의 결과와 다르기 때문에 스텝 S25로 진행한다.

스텝 S25에서는 전체 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교되어 총 수가 적은 쪽의 블럭이 주목 블럭이 된다. 이 예에서는 H 블럭의 총 수는 26이고, L 블럭의 총 수는 8이기 때문에, 주목 블럭으로서 L 블럭이 선택된다. 그래서, 스텝 S29로 이동한다.

스텝 S29에서는 주목 블럭인 L 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η이 구해진다. 이 예에서는 L 블럭의 총 수는 8이고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 5이다. 이 때문에, L 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η은 5/8(=0.625)로 되고, 0.45 이상이 되기 때문에 최종적인 판별 결과(c)가 얻어진다.다시 말하면, H블럭이 피사체 영역이고, L 블럭이 배경 영역으로 판별되어 이 판별 결과가 최종 판별 결과가 된다.

또, 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값은 배경 영역인 L 블럭에 대한 평균 벡터(AL)의 절대값보다 크기 때문에, 제11b도의 스텝 S36에 의한 지연량의 목표값의 결정은 규칙 I에 따라 행해진다.

다시 말하면, 지연량의 목표값은 피사체 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값이 된다. 또, H 블럭의 평균 동 벡터(AH)가 향하고 있는 쪽에 대응하는 우목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제20도에 도시하는 영상에서, 버스가 이동하고 있는 방향에 대응하는 우목용 영상으로서 지연된 영상이 선택되기 때문에, 산에 대해 버스가 전방 위치하는 입체 영상이 얻어진다.

제22도는 빌딩(배경)의 전방에 있는 헬리콥터(피사체)가 화면 상에서 우측단에서 좌측으로 이동하고 있는 영상을 도시하고 있다. 제22도의 좌측의 영상은 1 필드째의 영상이고, 제22도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제23a도에 도시하는 바와 같이 된다. 그리고, 제23b도에 도시하는 바와 같이 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 11이 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 1이 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 H 블럭의 총 수 쪽이 많다고 판정되어 스텝 S22로 진행한다. 즉, 판별 처리 A에 의한 판별 결과는 H 블럭이 배경 영역이고, L 블럭이 피사체 영역이 된다.

제23c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총수는 3이 되고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 1이 된다. 따라서, 제11a도의 스텝 S22의 판별 처리 B에서는 H 블럭의 총 수의 쪽이 많다고 판정된다. 다시 말하면, 판별 처리 B의 판별 결과는 H 블럭이 피사체 영역이고, L 블럭이 배경 영역이 되며, 판별 처리 B의 결과는 판별 처리 A의 결과와 다르기 때문에 스텝 S25로 진행한다.

스텝 S25에서는 전체 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교되어 총 수가 적은 쪽의 블럭이 주목 블럭이 된다. 이 예에서는 H 블럭의 총 수는 26이고, L 블럭의 총 수는 7이기 때문에, 주목 블럭으로서 L 블럭이 선택된다. 그래서, 스텝 S29로 진행한다.

스텝 S29에서는 주목 블럭인 L 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η이 구해진다. 이 예에서는 L 블럭의 총 수는 7이고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 1이다.이 때문에, L블럭의 총수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η은 1/7(= 0.14 ···)이 되고, 0.45보다 작기 때문에 최종적인 판별 결과 (d)가 얻어진다. 다시 말하면, H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판단되어 이 판별 결과가 최종 판별 결과로 된다.

또, 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값은 배경 영역인H 블럭에 대한 평균 동 벡터(AH)의 절대값보다 크기 때문에, 제11b도의 스텝 S37에 의한 지연량의 목표값의 결정은 규칙 III에 따라 행해진다.

다시 말하면, 지연량의 목표값은 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값이 된다. 또, L 블럭의 평균 동 벡터(AL)가 향하고 있는 쪽에 대응하는 좌목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제22도에 도시하는 영상에서 헬리콥터가 이동하고 있는 방향에 대응하는 좌목용 영상으로서 지연된 영상이 선택되기 때문에, 빌딩에 대해 헬리콥터가 전방에 위치하는 입체 영상이 얻어진다.

제24도는 사람(피사체)의 후방에 있는 나무(배경)이 화면 상에서 좌측단에서 우로 이동하고 있는 영상을 도시하고 있다. 제24도의 좌측의 영상은 1 필드째의 영상이고, 제24도의 우측의 영상은 10 필드째의 영상을 도시하고 있다.

이와 같은 영상의 경우, 각 동 벡터 검출 영역의 동 벡터의 10 필드분의 총합 및 NG 영역은, 예를 들면 제25a도에 도시하는 바와 같이 된다. 그리고, 제25b도에 도시하는 바와 같이, 제1 주목 영역 내에 존재하는 H 블럭의 총 수는 6이 되고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 6이 된다. 따라서, 제11a도의 스텝 S21의 판별 처리 A에서는 H 블럭의 총 수와 L 블럭의 총 수가 동일하다고 판정되어 스텝 S23으로 진행한다.

제25c도에 도시하는 바와 같이, 제2 주목 영역 내에 존재하는 H 블럭의 총수는 2이고, 제2 주목 영역 내에 존재하는 L 블럭의 총 수는 2이다. 따라서, 제11a도의 스텝 S23의 판별 처리 B에서도 H 블럭의 총 수와 L 블럭의 총 수가 동일하다고판정되어 스텝 S26으로 진행한다.

스텝 S26에서는 전체 동 벡터 검출 영역 내에 존재하는 H 블럭의 총 수와 전체 동 벡터 검출 영역 내에 존재하는 L 블럭의 총 수가 비교되어 총 수가 적은 쪽의 블럭이 주목 블럭이 된다. 이 예에서는 H 블럭의 총 수는 19이고, L 블럭의 총 수는 16이기 때문에 주목 블럭으로서 L 블럭이 선택된다. 그래서, 스텝 S31로 이동한다.

스텝 S31에서는 주목 블럭인 L 블럭의 총 수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η이 구해진다. 이 예에서는 L 블럭의 총 수는 16이고, 제1 주목 영역 내에 존재하는 L 블럭의 총 수는 6이다. 이 때문에, L 블럭의 총수에 대한 제1 주목 영역 내에 존재하는 L 블럭의 총 수의 비율 η은 6/16(=0.37 ···)이 되고, 0.45보다 작기 때문에 최종적인 판별 결과 (k)가 얻어진다. 다시 말하면, H 블럭이 배경 영역이고, L 블럭이 피사체 영역으로 판단되어 이 판별 결과가 최종 판별 결과로 된다.

또, 배경 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값은 피사체 영역인 L 블럭에 대한 평균 동 벡터(AL)의 절대값보다 크기 때문에, 제11b도의 스텝 S44에 의한 지연량의 목표값의 결정은 규칙 IV에 따라 행해진다.

다시 말하면, 지연량의 목표값은 배경 영역인 H 블럭에 대한 평균 동 벡터(AH)의 절대값이 된다. 또, H 블럭의 평균 동 벡터(AH)가 향하고 있는 쪽에 대응하는 좌목용 영상으로서 지연된 영상 신호가 선택된다.

이것에 의해, 제24도에 도시하는 영상에서 나무가 이동하고 있는 방향과는역 방향에 대응하는 좌목용 영상으로서 지연된 영상이 선택되기 때문에 사람에 대해 나무가 후방에 위치하는 입체 영상이 얻어진다.

또, 스텝 S25, S26, S27에서, H 블럭의 총 수와 L 블럭의 총 수가 동일한 경우에는 현재의 10 필드 기간에서는 지연량의 목표값은 산출되지 않는다. 이와 같은 경우에는 금회의 지연량의 목표값으로서 전회 산출된 지연량의 목표값을 이용하는 것이 바람직하다. 이와 같은 경우에, 다음 회의 지연량의 목표값을 0으로 해도 좋다.

제26도는 제5a도의 스텝 1에서 장면이 변화했는지 여부를 판정하기 위해 이용되는 처리를 도시하고 있다.

먼저, 복수의 동 벡터 검출 영역 A1 ~ H5 중, 소정의 1 영역 A1에서의 현 필드에서 수평 방향의 동 벡터의 크기(동 벡터량)가 취득된다(스텝 121). 다음에, 스텝 121에서 취득된 동 벡터량이 기존값에 가산된다(스텝 122). 기존값의 초기값은 0이다. 다음에, 스텝 121로 복귀하고, 다음의 동 벡터 검출 영역 B1에서의 현 필드에서 수평 방향의 동 벡터의 크기(동 벡터량)가 취득된다(스텝 121). 그리고, 취득된 동 벡터량이 기존값, 즉 동 벡터 검출 영역 A1에서 동 벡터량에 가산되다(스텝 122). 이와 같이 해서, 전체 동 벡터 검출 영역 A1 ~ H5의 현 필드에서 동 벡터량의 총합이 산출된다(스텝 121, 122, 123).

현 필드를 제t 필드(t는 자연수)로 하고, 현 필드에서 동 벡터량의 총합을MX(t)라 하면, MX(t)는 다음의 수식 (1)로 표시된다.

전체 동 벡터 검출 영역의 현 필드에서 동 벡터량의 총합이 산출되면(스텝 123에서 YES), 2 필드전까지의 동 벡터량의 총합의 평균값이 구해진다(스텝 124).

구체적으로는 3 필드 전의 영상의 동 벡터량의 총합 MX(t-3)과, 2 필드 전의 영상의 동 벡터의 총합 MX(t-2)와의 평균값 MXave(t-2)를, 2 필드 전까지의 동 벡터량의 총합의 평균값 MXave(t-2)로 하고 있다. MXave(t-2)는 다음 수식 (2)에 기초하여 구해진다.

단, 이 예에서는 S=2이다. 이 실시예에서는 3 필드 전의 영상의 동 벡터량의 총합 MX(t-3)과 2 필드전의 영상의 동 벡터의 총합 MX(t-2)와의 평균 MXave(t-2)를 2필드 전까지의 동 벡터의 총합의 평균값이라 하지만, 그 이상, 예를 들면 2 필드 전에서 9필드 전까지의 8개의 필드(S = 8)의 평균값을 2 필드전까지의 동 벡터량의 총합의 평균값이라 해도 좋다.

다음에, 상기 스텝 121, 122, 123에서 얻어진 현 필드의 동 벡터량의 총합MX(t)가 메모리의 퇴피 영역에 확보된다(스텝 125). 또, 퇴피 영역에는 수 필드 전까지의 영상에 대해 각 필드마다의 동 벡터량의 총합이 확보되어 있다.

다음에, 퇴피 영역에 확보되어 있는 1 필드 전 필드의 동 벡터량의 총합 MX(t-1)이 스텝 124로 얻어진 평균값 MXave(t-2)보다 소정값(예를 들면, 40 개소)이상 큰지 여부가 판별된다(스텝 126). 총합 MX(t-1)이 평균값 MXave(t-2)보다 소정값 이상 크지 않은 경우에는 제(t-2) 필드와 제(t-1) 필드와의 사이에서 장면이 변화되지 않았다고 판정된다(스텝 129).

총합 MX(t-1)이 평균값 MXave(t-2)보다 소정값 이상 큰 경우에는 퇴피 영역에 확보되어 있는 1 필드 전의 동 벡터량의 총합 MX(t-1)이 퇴피 영역에 확보되어 있는 현 필드의 동 벡터량의 총합 MX(t)보다 소정값(예를 들면, 40개소) 이상 큰지 여부가 판별된다(스텝 127). 총합 MX(t-1)이 총합 MX(t)보다 소정값 이상 크지 않은 경우에는 제(t-2) 필드와 제(t-1) 필드와의 사이에서 장면이 변화하지 않았다고 판정된다(스텝 129).

총합 MX(t-1)이 총합 MX(t)보다 소정값 이상 경우에, 2 필드전의 영상과 1 필드 전의 영상 사이에는 장면의 단락이 발생하고 있다고 판단되어 스텝 128로 진행한다.

즉, MX(t-1) >> MXave(t-2)이고, 또한 MX(t-1) >> MX(t)이라는 조건을 만족하는 수식(3)이 성립한 때, 동 벡터량이 급격히 크게 되었다고 판단하고, 제(t-2) 필드와 제(t-1) 필드 사이에서 장면이 변화했다고 판단된다(스텝 128).

MS(t-1) >> MXave(t-2) ∩ MX(t-1) >> MX(t) (3)

(2) 제2 실시예의 설명

이하, 제27도 ~ 제31도를 참조하여 본 발명의 제2 실시예에 대해 상세히 설명한다.

제27도는 2차원 영상을 3차원 영상으로 변환하는 2D/3B 영상 변환 장치의 구성을 도시하고 있다. 제27도에서, 제1도와 동일한 것에는 동일한 부호를 붙여 그 설명을 생략한다.

이 2D/3D 영상 변환 장치에서는 피사체의 전후 위치 관계 판별 처리가 제1도의 2D/3D 영상 변환 장치에서 행해진 피사체의 전후 위치 관계 판별 처리와 다르다.

제28도는 CPU(81)에 의한 피사체의 전후 위치 관계 판별 처리 순서를 도시하고 있다.

먼저, 1 화면 상에 존재하는 복수의 동 벡터의 검출 영역에서 각각 검출된 동 벡터의 수평 성분(이하, 간단히 동 벡터라 함) 중, 좌우에 서로 이웃하는 검출 영역에 의해 검출된 2개의 동 벡터가 선택되어 선택된 2개의 동 벡터가 동일(크기 및 방향의 양방이 동일)인지 여부가 판별된다(스텝 S61). 이하, 스텝 S61의 처리를 동 벡터의 비교 처리라 한다.

동 벡터가 동일하다고 판정된 경우에는(스텝 S61에서 YES), 스텝 S62 및 S63의 처리를 통해 스텝 S61로 복귀하고, 새로운 2개의 동 벡터가 선택되어 선택된 2개의 동 벡터가 동일한지 여부가 판별된다.

동 벡터가 다르다고 판정된 경우에는(스텝 S61에서 NO), 스텝 S64, S65,S67(또는, S68), S62 및 S63의 처리 또는 스텝 S64, S66, S69(또는 S70), S62 및 S63의 처리를 통해 스텝 S61로 복귀하고, 새롭게 2개의 동 벡터가 선택되어 선택된 2개의 동 벡터가 동일한지 여부가 판별된다.

본 실시예에서는 동 벡터 검출 회로(71)는 제 29도에 도시하는 바와 같이 1필드를 구성하는 화면 중, 상하 방향을 4분할, 좌우 방향을 4 분할하여 이루어지는 16개의 검출 영역 A1, B1, C1, D1, A2, B2, C2, D2, A3, B3, C3, D3, A4, B4, C4, D4에서 동 벡터를 검출하고있다.

동 벡터의 비교 처리는 제 29도의 위에서 제1행째의 좌에서 우로, 다음에 위에서 제2행째의 좌에서 우로, 다음에 위에서 제3행째의 좌에서 우로, 다음에 위에서 제4 행째의 좌에서 우의 순번으로 진행한다. 다시 말하면, 검출 영역 A1, B1, C1 ··· D4에서 각각 검출된 동 벡터를 a1, b1, c1 ···d4라 하면, a1과 b1과의 비교, b1과 c1과의 비교, c1과 d1과의 비교, a2와 b2와의 비교, ···c4와 d4와의 비교라는 순서로 동 벡터의 비교 처리가 행해진다.

스텝 S61에서, 동 벡터가 다르다고 판정된 경우(스텝 S61에서 NO)에 실행되는 처리에 대해 설명한다.

동 벡터가 다르다고 판정된 경우에는 스텝 S61에서 비교된 2개의 동 벡터중, 큰 쪽의 동 벡터의 방향(좌 방향 또는 우 방향)이 동 벡터가 작은 쪽의 검출 영역을 향하는 방향인지 여부가 판정된다(스텝 S64). 또, 이때, 동 벡터의 대소 관계는 동 벡터의 절대값으로 판정된다.

큰 쪽의 동 벡터의 방향이 동 벡터가 작은 쪽의 검출 영역에 향하는 방향이라고 판정된 경우에는(스텝 S64에서 YES) 상기 2개의 동 벡터 중, 작은 쪽의 동 벡터가 검출된 영역에서 소정 시간 경과 후에 검출된 동 벡터가 상기 큰 쪽의 동 벡터의 영향을 받는지 여부가 판정된다(스텝 S65).

구체적으로는 작은 쪽의 동 벡터가 검출된 영역에서 소정 시간 경과 후에 검출된 동 벡터가 상기 큰 쪽의 동 벡터의 값과 동일하거나 큰 쪽의 동 벡터에 가까운지 여부가 판정된다.

또, 소정 시간은 큰 쪽의 동 벡터의 검출 대상이 서로 이웃하는 동 벡터 검출 영역에 이동하기까지의 예측 시간이고, 큰 쪽의 동 벡터의 절대값으로부터 산출된다. 따라서, 이 소정 시간은 큰 쪽의 동 벡터의 절대값이 큰 만큼 짧게 된다.

영향을 받는다고 판정된 경우에는(스텝 S65에서 YES) 상기 큰 쪽의 동 벡터의 검출 대상이 배경의 전방을 이동하는 피사체이라고 판정된다(스텝 S67). 그리고, 상기 큰 쪽의 동 벡터가 향하고 있는 방향(좌 방향 또는 우 방향)에 대응하는 눈(좌목 또는 우목)의 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

스텝 S65에서, 영상을 받지 않는다고 판정한 경우에는(NO) 상기 큰 쪽의 동 벡터의 검출 대상이 피사체의 후방을 이동하는 배경이라고 판정된다(스텝 S68). 그리고, 상기 큰 쪽의 동 벡터가 향하고 있는 방향과 반대 방향에 대응하는 눈의 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

상기 스텝 S64에서, 큰 쪽의 동 벡터의 방향이 동 벡터가 작은 쪽의 검출 영역에 향하는 방향이 아니라고 판정된 경우에는(스텝 S64에서, NO) 상기 2개의 동벡터 중, 큰 쪽의 동 벡터가 검출된 영역에서 소정 시간 경과 후에 검출된 동 벡터가 작은 쪽의 동 벡터의 영향을 받는지 여부가 판정된다(스텝 S66).

구체적으로는 큰 쪽의 동 벡터가 검출된 영역에서 소정 시간 경과 후에 검출된 동 벡터가 상기 작은 쪽의 동 벡터의 값과 동일하거나 작은 쪽의 동 벡터에 가까운지 여부가 판정된다.

또, 소정 시간은 작은 쪽의 동 벡터의 검출 대상이 서로 이웃하는 동 벡터 검출 영역에 이동하기까지의 예측 시간이고, 작은 쪽의 동 벡터의 절대값으로부터 산출된다. 따라서, 이 소정 시간은 작은 쪽의 동 벡터의 절대값이 큰 만큼 짧게 된다.

영향을 받는다고 판정된 경우에는(스텝 S66에서 YES), 상기 큰 쪽의 동 벡터의 검출 대상이 배경의 전방을 이동하는 피사체라고 판정된다(스텝 S69). 그리고, 상기 큰 쪽의 동 벡터가 향하고 있는 방향에 대응하는 눈의 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

상기 스텝 S66에서, 영향을 받지 않는다고 판정된 경우에는 상기 큰 쪽의 동 벡터의 검출 대상이 피사체의 후방을 이동하는 배경이라고 판정된다(스텝 S70). 그리고, 상기 큰 쪽의 동 벡터가 향하고 있는 방향과 반대 방향에 대응하는 눈의 영상 신호로서 지연된 영상 신호를 선택해야만 한다고 판정된다.

상기 스텝 S67, 스텝 S68, 스텝 S69 또는 스텝 S70의 처리가 행해지면 스텝 S62로 이동한다.

스텝 S62에서 금회의 스텝 S61에서 실행된 동 벡터의 비교가 동 벡터의 검출을 행한 1 필드의 화면 중, 최후의 동 벡터의 비교인지 여부가 판별된다. 다시 말하면, 금회의 스텝 S61에서 검출 영역 C4에서 검출된 동 벡터 c4와, 검출 영역 D4에서 검출된 동 벡터 d4가 비교되었는지 여부가 판별된다.

그리고, 금회의 스텝 S61에서의 비교가 검출 영역 C4에서 검출된 동 벡터 c4와 검출 영역 D4에서 검출된 동 벡터 d4와의 비교가 아닌 경우에는 다음 동 벡터의 비교로 이동한다(스텝 S63). 다시 말하면, 스텝 S61로 복귀하고, 다음 동 벡터의 비교가 행해진다.

스텝 S61에서, 동 벡터가 동일하다고 판정된 경우에는(스텝 S61에서 YES) 스텝 S62로 이동한다.

스텝 S2에서는 금회의 스텝 S61에서 검출 영역 C4에서 검출된 동 벡터 c4와 검출 영역 D4에서 검출된 동 벡터 d4가 비교되었는지 여부가 판별된다. 그리고, 금회의 스텝 S61에서의 비교가 검출 영역 C4에서 검출된 동 벡터 c4와 검출 영역 D4에서 검출된 동 벡터 d4와의 비교가 아닌 경우에는 다음의 동 벡터의 비교로 이동한다(스텝 S63).

상기 스텝 S62에서, 금회의 스텝 S61에서의 비교가 검출 영역 C4에서 검출된 동 벡터 c4와 검출 영역 D4에서 검출된 동 벡터 d4와의 비교이라고 판정된 경우에는 스텝 S71로 이동한다.

스텝 S71에서는 상기 스텝 S67, 스텝 S68, 스텝 S69 및 스텝 S70에서 얻어진 판정 결과가 지연된 영상 신호를 우목용 영상 신호로서 선택해야 하지만, 좌목용 영상 신호로서 선택해야 한다는 점에서 전체 일치하고 있는지 여부가 판정된다.

다시 말하면, 전체 판정 결과를 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과인 경우, 또는 전체 판정 결과가 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과인 경우에는 판정 결과가 전부 일치하고 있다고 판정된다.

판정 결과가 전부 일치하고 있다고 판정될 때에는 상기 스텝 S67, 스텝 S68, 스텝 S69 및 스텝 S70에서 얻어진 판정 결과에 따라 영상 전환 회로(2)가 제어된다(스텝 S72). 다시 말하면, 전체 판정 결과가 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과인 경우에는 우목용 영상 신호로서 지연된 영상 신호가 선택되도록 영상 전환 회로(2)가 제어된다. 전체 판정 결과가 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과인 경우에는 좌목용 영상 신호로서 지연된 영상 신호가 선택되도록 영상 전환 회로(2)가 제어된다.

상기 스텝 S71에서 판정 결과가 전부 일치하고 있다고 판정되지 않았을 때에는 스텝 S72의 제어를 행하지 않고 금회의 처리를 종료한다, 다시 말하면, 영상 전환 회로(2)에 대해 전환 제어는 행해지지 않는다.

다음에, 입력 단자(1)에 입력된 본래대로 되는 2차원 영상이 제30도에 도시하는 제1 장면의 영상인 경우와, 제31도에 도시하는 제2 장면의 영상인 경우에서 CPU(81)에 의해 실행되는 피사체의 전후 위치 관계 판정 처리에 대해 설명한다.

제30도 (a), (b), (c)의 순번으로 경과하는 제1 장면의 3개의 필드 영상과, 각 영상에서 동 벡터의 크기 및 방향을 도시하고 있다. 제30도의 장면은 정지 상태인 산(배경)의 전방을 새(피사체)가 좌에서 우로 향해 나르고 있는 영상이다.

(b)의 영상은 (a)의 영상에 대해 수 필드 후(소정 시간 경과 후)의 영상이다. 또, (c)의 영상은 (b)의 영상에 대해 수 필드 후(소정 시간 경과 후)의 영상이다.

제31도 (a), (b), (c)의 순번으로 경과하는 제1 장면의 3개의 필드의 영상과, 각 영상에서 동 벡터의 크기 및 방향을 도시하고 있다. 제31도의 장면은 버스(피사체)가 좌에서 우로 향해 지나가고 있는 영상이지만, 버스를 중심으로 촬영한 영상이기 때문에 화면 상에서는 정지 상태인 버스의 후방을 집(배경)이 좌에서 우로 향해 이동하고 있다. 다시 말하면, 이 장면에서는 피사체인 버스의 후방을 배경인 집이 이동하고 있다.

(b)의 영상은 (a)의 영상에 대해 수 필드 후(소정 시간 경과 후)의 영상이다. 또, (c)의 영상은 (b)의 영상에 대해 수 필드 후(소정 시간 경과 후)의 영상이다.

먼저, 입력 단자(1)에 입력되는 본래대로 되는 2차원 영상이 제30도에 도시하는 제1 장면의 영상인 경우의 CPU(81)의 움직임에 대해 설명한다.

제30도에 도시하는 제1 장면의 영상에서, 현 필드가 제30도의 (a)의 영상인 경우에 제1 행째, 제2 행째의 동 벡터 검출 영역 A1, B1, C1, D1, A2, B2, C2, D2에서는 배경인 산이 검출 대상이 되기 때문에, 동 벡터 a1, b1, c1, d1, a2, b2, c2, d2의 크기는 전부 0이 된다. 따라서, 제1 행째와 제2 행째의 각 동 벡터 검출 영역 A1 ~ D2에서 검출된 동 벡터는 전부 크기가 동일하다. 이 때문에, 제1 행째 및 제2 행째의 동 벡터 검출 영역 A1 ~ D2 내에서 좌우에 인접하는 검출 영역 사이에서 검출된 동 벡터의 비교 처리가 행해지고 있는 사이에는 상기 스텝 S61, 스텝 S62 및 스텝 S63의 처리가 반복된다.

제3 행째의 동 벡터 검출 영역에서는 좌로부터 1번째, 3번째, 4번째의 검출 영역 A3, C3, D3에서는 배경인 산이 검출 대상이 되기 때문에, 동 벡터 a3, c3, d3은 0이 된다. 한편, 좌로부터 2번째의 검출 영역 B3에서는 좌에서 우로 나르는 새가 검출 대상이 되기 때문에, 동 벡터 b3은 좌에서 우로 향하고 있는 벡터(방향이 우측 방향인 벡터)가 된다.

따라서, 영역 A3에서 검출된 동 벡터 a3과 영역 B3에서 검출된 동 벡터 a3이 비교될 때에, 양 동 벡터는 동일하지 않다고 판정되어 스텝 S61에서 NO가 되어 스텝 S64로 진행한다.

스텝 S64에서는 동 벡터 a3과 동 벡터 b3 중, 큰 쪽의 동 벡터 b3의 방향이 작은 쪽의 동 벡터 a3이 검출된 영역 A3 쪽을 향하고 있는지 여부가 판정된다. 이 예에서는 동 벡터 b3의 방향은 영역 a3 쪽을 향하고 있지 않기 때문에 스텝 S65으로 진행한다.

스텝 S66에서는 큰 쪽의 동 벡터 b3이 검출된 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터가 작은 쪽의 동 벡터 a3의 영향을 받는지 여부가 판정된다. 이 예에서는 제30도 (b)에 도시하는 바와 같이 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터 b3'는 0이 되고, 상기 작은 쪽의 동 벡터 a3의 값과 동일하게 된다. 이 때문에, 큰 쪽의 동 벡터 b3이 검출된 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터가 작은 쪽의 동 벡터 a3의 영향을 받는다고 판정되어 스텝 S69로진행한다.

스텝 S69에서는 상기 큰 쪽의 동 벡터 b3의 검출 대상(새)가 작은 쪽의 동 벡터 a3의 검출 대상(산)보다도 전방에 위치한다고 판정된다. 그러고, 큰 쪽의 동 벡터 b3이 향하고 있는 우측 방향에 대응하는 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

이 후, 스텝 S62로 이행한다. 스텝 S62에서는 1 화면의 전체 동 벡터 비교가 종료하지 않는다고 판정되어 스텝 S63에서 동 벡터의 다음 비교 대상이 되는 2개의 동 벡터 검출 영역이 선택되어 스텝 S61로 복귀한다.

스텝 S61에서는 제3 행째의 좌로부터 2번째의 영역 B3에서 검출된 동 벡터 b3과, 좌로부터 3번째의 영역 C3에서 검출된 동 벡터 c3이 비교된다. 그리고, 양 동 벡터 b3, c3은 동일하지 않다고 판정되어 스텝 S64로 진행한다.

스텝 S64에서는 동 벡터 b3과 동 벡터 c3 중, 큰 쪽의 동 벡터 b3의 방향이 작은 쪽의 동 벡터 c3이 검출된 영역 C3 쪽을 향하고 있는지 여부가 판정된다. 이 예에서는 동 벡터 b3의 방향은 영역 C3 쪽을 향하고 있기 때문에, 스텝 S65로 진행한다.

스텝 S65에서는 작은 쪽의 동 벡터 c3이 검출된 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터가 큰 쪽의 동 벡터 b3의 영향을 받는지 여부가 판정된다. 이 예에서는 제30도의 (b)에 도시하는 바와 같이 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터 c3'은 상기 큰 쪽의 동 벡터 b3과 동일한 값이 된다. 이 때문에, 작은 쪽의 동 벡터 c3이 검출된 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터가 큰 쪽의 동 벡터 b3의 영향을 받는다고 판정되어 스텝 S67로 진행한다.

스텝 S67에서는 상기 큰 쪽의 동 벡터 b3의 검출 대상(새)이 작은 쪽의 동 벡터 c3의 검출 대상(산)보다도 전방에 위치한다고 판정된다. 그리고, 큰 쪽의 동 벡터 b3이 행하고 있는 우측 방향에 대응하는 우목용 영상 신호로서 지연된 연상 신호를 선택해야 한다고 판정된다.

이 후, 스텝 S62로 이동한다. 스텝 S62에서는 1 화면의 전체 동 벡터 비교가 종료하지 않는다고 판정되어 스텝 S63으로 동 벡터의 다음 비교 대상이 되는 2개의 동 벡터 검출 영역이 선택되어 스텝 S61로 복귀한다.

스텝 S61에서는 제3행째의 좌로부터 3번째의 영역 C3에서 검출된 동 벡터 c3과, 좌로부터 4번째의 영역 D3에서 검출된 동 벡터 d3이 비교된다. 그리고, 양 동 벡터 c3, d3은 동일하다고 판정되어 스텝 S61로 복귀한다.

스텝 S61에서는 제4 행째의 동 벡터 검출 영역에 대한 동 벡터의 비교 처리가 개시된다. 제4 행째의 동 벡터 검출 영역에서는 제3 행째의 동 벡터 검출 영역과 마찬가지로 좌로부터 1번째, 3번째, 4번째의 검출 영역 A4, C4, D4에서는 배경인 산이 검출 대상이 되기 때문에, 동 벡터 a4, c4, d4는 0이고, 좌로부터 2번째의 검출 영역 B4에서는 좌에서 우로 나르는 새가 검출 대상이 되기 때문에, 동 벡터 b3은 좌에서 우로 향하고 있는 벡터(방향이 우측 방향인 벡터)가 된다.

따라서, 상술한 제3 행째에 대한 처리와 마찬가지인 처리가 실행된다. 다시 말하면, 동 벡터 a4와 동 벡터 b4와의 비교에 기초한 처리에서는 동 벡터 b4의 검출 대상이 동 벡터 a4의 검출 대상보다도 전방에 위치한다고 판단되어, 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

또, 동 벡터 b4와 동 벡터 c4와의 비교에 기초한 처리에서는 동 벡터 b4의 검출 대상이 동 벡터 c4의 검출 대상보다도 전방에 위치한다고 판단되어 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

그러고, 동 벡터 c4와 동 벡터 d4와의 비교 처리가 종료하면, 스텝 S62에서 1 화면의 전체 동 벡터 비교가 종료했다고 판정되어 스텝 S71로 진행한다.

스텝 S71에서는 전술한 처리로 얻어진 4개의 판정 결과가 비교된다. 이 예에서는 4개의 판정 결과의 전체가 우목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과이기 때문에, 판정 결과가 모두 일치한다고 판정되어 스텝 S72로 진행한다.

스텝 S72에서는 상기 판정 결과에 따라 우목용 영상 신호로서 지연된 영상 신호가 선택되도록 영상 전환 회로(2)가 전환, 제어된다.

이와 같이 동 벡터 b3, b4의 검출 대상인 새(피사체)가 동 벡터 a3, c3, a4, c4의 검출 대상인 산(배경)보다도 전방에 나타나도록 관찰자에 의해 인식된다.

다음에, 현 필드가 제30도 (b)의 영상인 경우에 대해 설명한다. 동 벡터 b3'과 c3'과의 비교에 기초한 처리 결과 및 동 벡터 b4'와 c4'와의 비교에 기초한 처리 결과는 제30도의 (a)의 동 벡터 a3과 b3과의 비교에 기초한 처리 결과와 동일하게 된다. 또, 동 벡터 c3'과 d3'과의 비교에 기초한 처리 결과 및 동 벡터 c4'와 d4'와의 비교에 기초한 처리 결과는 제30도의 (a)의 동 벡터 b3과 c3과의 비교에 기초한 처리 결과와 동일하게 된다. 따라서, 스텝 S72에서는 우목용 영상 신호로서지연된 영상 신호가 선택되도록 영상 전환 회로(2)가 전환, 제어된다.

이것에 의해, 동 벡터 c3', c4'의 검출 대상인 새(피사체)가 동 벡터 b3', d3', b4', d4'의 검출 대상인 산(배경)보다도 전방에 나타나도록 관찰자에 의해 인식된다.

다음에, 입력 단자(1)에 입력되는 본래대로 되는 2차원 영상이 제31도에 도시하는 제2 장면의 영상인 경우에서 CPU(81)의 움직임에 대해 설명한다.

제31도에 도시하는 제2 장면의 영상에서, 현 필드가 제31도의 (a)의 영상인 경우에는 제1 행째, 제2 행째의 동 벡터 검출 영역 A1, B1, C1, D1, A2, B2, C2, D2에서는 화면 상에서 우측 방향으로 이동하는 집 등의 배경이 검출 대상이 되기 때문에, 동 벡터 a1, b1, c1, d1, a2, b2, c2, d2는 전부 동일한 크기의 우측 방향의 벡터가 된다. 이 때문에, 제1 행째 및 제2 행째의 동 벡터 검출 영역 A1 ~ D2 내에서 좌우로 인접하는 검출 영역 사이에서 검출된 동 벡터의 비교 처리가 행해지고 있는 사이에는 상기 스텝 S61, 스텝 S62 및 스텝 S63의 처리가 반복된다.

제3 행째의 동 벡터 검출 영역에서, 좌로부터 1번째, 3번째, 4번째의 검출 영역 A3, C3, D3에서는 좌에서 우측 방향으로 이동하는 집 등의 배경이 검출 대상이 되기 때문에, 동 벡터 a3, c3, d3은 전부 동일한 크기의 우측 방향의 벡터가 된다. 한편, 좌로부터 2번째의 검출 영역 B3에서는 화면 상에서 정지하고 있는 차가 검출대상이 되기 때문에, 동 벡터 b3은 0이 된다.

따라서, 영역 A3에서 검출된 동 벡터 a3과 영역 B3에서 검출된 동 벡터 b3이 비교되었을 때에는 양 동 벡터는 동일하지 않다고 판정되어 스텝 S61에서 NO로 되고 스텝 S64로 진행한다.

스텝 S64에서는 동 백터 a3과 동 벡터 b3 중, 큰 쪽의 동 벡터 a3의 방향이 작은 쪽의 동 벡터 b3이 검출된 영역 B3 쪽을 향하고 있는지 여부가 판정된다. 이 예에서는 동 벡터 a3의 방향은 영역 B3 쪽을 향하고 있기 때문에 스텝 S65로 진행한다.

스텝 S65에서는 작은 쪽의 동 벡터 b3이 검출된 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터가 큰 쪽의 동 벡터 a3의 영향을 받는지 여부가 판정된다. 이 예에서는 제31도의 (b)에 도시하는 바와 같이, 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터 b3'은 0인 체 변화하지 않았기 때문에, 작은 쪽의 동 벡터 b3가 검출된 영역 B3에서 소정 시간 경과 후에 검출되는 동 벡터가 큰 쪽의 동 벡터 a3의 영향을 받지 않는다고 판정되어 스텝 S68로 진행한다.

스텝 S68에서는 상기 큰 쪽의 동 벡터 a3의 검출 대상(집)이 작은 쪽의 동 벡터 b3의 검출 대상(차)보다도 후방에 위치한다고 판정된다. 그리고, 큰 쪽의 동 벡터 a3이 향하고 있는 우측 방향과 반대 방향인 좌측 방향에 대응하는 좌목용 영상 신호로서 지연된 영상 신호를 선택해야한다고 판정된다.

이 후, 스텝 S62로 이동한다. 스텝 S62에서는 1 화면의 전체 동 벡터 비교가 종료하고 있지 않는다고 판정되어, 스텝 S63에서 동 벡터의 다음 비교 대상이 되는 2개의 동 벡터 검출 영역이 선택되어 스텝 S61로 복귀한다.

스텝 S61에서는 제3 행째의 좌로부터 2번째의 영역 B3에서 검출된 동 벡터 b3과 좌로부터 3번째의 영역 C3에서 검출된 동 벡터 c3이 비교된다. 그리고, 양 동벡터 b3, c3은 동일하지 않다고 판정되어 스텝 S64로 진행한다.

스텝 S64에서는 동 벡터 b3과 동 벡터 c3 중, 큰 쪽의 동 벡터 c3의 방향이 작은 쪽의 동 벡터 b3이 검출된 영역 B3 쪽을 향하고 있는지 여부가 판정된다. 이 예에서는 동 벡터 c3의 방향은 영역 B3쪽을 향하고 있지 않기 때문에 스텝 S66으로 진행한다.

스텝 S66에서, 큰 쪽의 동 벡터 c3이 검출된 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터가 작은 쪽의 동 벡터 b3의 영향을 받는지 여부가 판정된다. 이 예에서는 제31도의 (b)에 도시하는 바와 같이, 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터 c3'는 동 벡터 C3인 체로 변화하지 않기 때문에, 큰 쪽의 동 벡터 c3이 검출된 영역 C3에서 소정 시간 경과 후에 검출되는 동 벡터가 작은 쪽의 동 벡터 b3의 영향을 받지 않는다고 판정되어 스텝 S70으로 진행한다.

스텝 S70에서는 상기 큰 쪽의 동 벡터 c3의 검출 대상(집)이 작은 쪽의 동 벡터 b3의 검출 대상(차)보다도 후방에 위치한다고 판정된다. 그리고, 큰 쪽의 동 벡터 c3이 향하고 있는 우측 방향과 반대 방향인 좌측 방향에 대응하는 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

이 후, 스텝 S62로 이동한다. 스텝 S62에서는 1 화면의 전체 동 벡터 비교가 종료하지 않는다고 판정되어, 스텝 S63에서 동 벡터의 다음 비교 대상이 되는 2개의 동 벡터 검출 영역이 선택되어 스텝 S61로 복귀한다.

스텝 S61에서는 제3 행째의 좌로부터 3번째의 영역 C3에서 검출된 동 벡터 c3과 좌로부터 4번째의 영역 D3에서 검출된 동 벡터 d3이 비교된다. 그리고, 양 동벡터 c3, d3은 동일하다고 판정되어 스텝 S61로 복귀한다.

스텝 S61에서는 제4 행째의 동 벡터 검출 영역에 대한 동 벡터의 비교 처리가 개시된다. 제4 행째의 동 벡터 검출 영역에서는 제3 행째의 동 벡터 검출 영역과 마찬가지로, 좌로부터 1번째, 3번째, 4번째의 검출 영역 A4, C4, D4에서는 화면 상에서 좌에서 우로 이동하는 집 등의 배경이 검출 대상이 되기 때문에, 동 벡터 a4, cd, d4는 우측 방향의 벡터로 되고, 좌로부터 2번째의 검출 영역 B4에서는 화면 상에서 정지하고 있는 차가 검출 대상이 되기 때문에, 동 벡터 b3은 0이 된다.

따라서, 상술한 제3 행째에 대한 처리와 마찬가지인 처리가 실행된다. 다시 말하면, 동 벡터 a4와 동 벡터 b4와의 비교에 기초한 처리에서는 동 벡터 a4의 검출 대상이 동 벡터 b4의 검출 대상보다도 후방에 위치한다고 판단되어 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

또, 동 벡터 b4와 동 벡터 c4와의 비교에 기초한 처리에서는 동 벡터 c4의 검출 대상이 동 벡터 b4의 검출 대상보다도 후방에 위치한다고 판단되어, 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다고 판정된다.

그리고, 동 벡터 cd와 동 벡터 d4와의 비교 처리가 종료하면, 스텝 S62에서 1 화면의 전체 동 벡터 비교가 종료했다고 판정되어 스텝 S71로 진행한다.

스텝 S71에서는 전술한 처리로 얻어진 4개의 판정 결과가 비교된다. 이 예에서는 4개의 판정 결과의 전부가 좌목용 영상 신호로서 지연된 영상 신호를 선택해야 한다는 판정 결과이기 때문에, 판정 결과가 모두 일치한다고 판정되어 스텝 S72로 진행한다.

스텝 S72에서는 상기 판정 결과에 따라 좌목용 영상 신호로서 지연된 영상신호가 선택되도록 영상 전환 회로(2)가 전환, 제어된다.

이것에 의해, 동 벡터 a3, c3, a4, c4의 검출 대상인 집(배경)이 동 벡터 b3, b4의 검출 대상인 차(피사체)보다도 후방에 나타나도록 관찰자에 의해 인식된다.

다음에, 현 필드가 제31도의 (b)의 영상인 경우에 대해 설명한다. 동 벡터 a3'과 b3'과의 비교에 기초한 처리 결과 및 동 벡터 a4'와 b4'와의 비교에 기초한 처리 결과는 제31도의 (a)의 동 벡터 a3과 b3과의 비교에 기초한 처리 결과와 동일하게 된다. 또, 동 벡터 b3'과 c3'과의 비교에 기초한 처리 결과 및 동 벡터 b4'와 c4'와의 비교에 기초한 처리 결과는 제31도의 (a)의 동 벡터 b3과 c3과의 비교에 기초한 처리 결과와 동일하게 된다. 따라서, 스텝 S72에서는 좌목용 영상 신호로서 지연된 영상 신호가 선택되도록 영상 전환 회로(2)가 전환, 제어된다.

이것에 의해, 동 벡터 a3', c3', a4', c4'의 검출 대상인 집(배경)이 동 백터 b3', b4'의 검출 대상인 차(피사체)보다도 후방에 나타나도록 관찰자에 의해 인식된다.

상술한 제30도 및 제31도의 예에서는 스텝 S67, 스텝 S68, 스텝 S69 또는 스텝 S70에서 얻어진 판정 결과가 전부 동일하기 때문에, 스텝 S71에서 스텝 S72로 진행했지만, 본래대로 되는 2차원 영상의 피사체의 움직임이 복잡하거나 동 벡터의 검출에 오동작이 발생한 경우, 스텝 S67, 스텝 S68, 스텝 S69 또는 스텝 S70에서 얻어진 판정 결과 중에는 다른 판정 결과가 포함되게 된다. 이와 같은 경우에는 스텝 S71에서는 전체 판정 결과가 일치하지 않는다고 판정되어 스텝 S72에 의한 영상 전환 회로(2)의 전환 제어는 행해지지 않아 현재의 전환 상태가 유지된다.

또, 상술한 실시예에서는 1 필드의 영상마다 동 벡터를 검출하고 있지만, 1 필드의 영상마다 또는 수 필드의 영상마다 동 벡터를 검출해도 좋다. 또, 본 발명의 넓은 의미에서는 이들 1 프레임, 수 필드의 것을 포함하여 1 필드라 표현하고 있다.

제1도는 2D/3D 영상 변환 장치의 구성을 도시하는 블럭도.

제2도는 동 벡터 검출 영역 Al ~ H5를 도시하는 모식도.

제3도는 제2도의 동 벡터 검출 영역 내에 설정된 복수의 소 영역 e를 도시하는 모식도.

제4도는 제3도의 소 영역 e 내에 설정된 복수의 샘플링점 S와 1개의 대표점 R을 도시하는 모식도.

제5a도 및 제5b도는 CPU에 의해 1 필드마다 실행되는 처리 중 피사체/배경 판별 처리에 관계하는 처리를 도시하는 플로우챠트.

제6도는 동 벡터 검출 영역을 H 블럭과 L 블럭으로 분류하기 위한 히스토그램을 도시하는 그래프.

제7도는 제1 주목 영역을 도시하는 모식도.

제8도는 제2 주목 영역을 도시하는 모식도.

제9도는 2차원 영상 신호의 필드 번호와 지연량의 목표값 산출 처리와의 관계를 도시하는 타임챠트.

제10도는 CPU에 의한 피사체의 전후 관계 위치 판별 처리의 전체적인 흐름을도시하는 플로우챠트.

제11a도 및 제11b도는 제5a도의 스텝 S13, S14 및 S15에서 행해지는 판별처리 및 지연량의 목표값 산출 처리의 흐름을 도시하는 플로우챠트.

제12도는 2차원 영상의 한 예를 도시하는 모식도.

제13a ~ 제13c도는 제12도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제14도는 2차원 영상의 한 예를 도시하는 모식도.

제15a도 ~ 제15c도는 제14도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제16도는 2차원 영상의 한 예를 도시하는 모식도.

제17a도 ~ 제17c도는 제16도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제18도는 2차원 영상의 한 예를 도시하는 모식도.

제19a도 ~ 제19c도는 제18도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제20도는 2차원 영상의 한 예를 도시하는 모식도.

제21a도 ~제21c도는 제20도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제22도는 2차원 영상의 한 예를 도시하는 모식도.

제23a도 ~ 제23c도는 제22도에 도시하는 2차원 영상에 대한 피사체의 전후관계 위치 판별 처리를 설명하기 위한 설명도.

제24도는 2차원 영상의 한 예를 도시하는 모식도.

제25a도 ~ 제25c도는 제24도에 도시하는 2차원 영상에 대한 피사체의 전후 관계 위치 판별 처리를 설명하기 위한 설명도.

제26도는 제5a도의 스텝 S1에서 행해지는 장면 체인지(scene change) 검출 처리의 상세한 순서를 도시하는 플로우챠트.

제27도는 2D/3D 영상 변환 장치의 구성을 도시하는 블럭도.

제28도는 CPU에 의한 피사체의 전후 위치 관계 판별 처리 순서를 도시하는 플로우챠트.

제29도는 동 벡터 검출 영역 A1 ~ D4를 도시하는 모식도.

제30도는 피사체의 전후 위치 관계 판별 처리 순서를 구체적으로 설명하기 위한 설명도.

제31도는 피사체의 전후 위치 관계 판별 처리 순서를 구체적으로 설명하기 위한 설명도.

도면의 주요 부분에 대한 부호의 설명

1 : 입력 단자

2 : 영상 전환 회로

3, 4 : 출력 단자

5 : 필드 메모리

6 : 메모리 제어 회로

7 : 동 벡터 검출 회로

8 : CPU

Claims (15)

1. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부(正負) 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종의 검출 영역으로 분류하는 제3 스텝;

   상기 화상 영역 내의 단부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝; 및

   총 수가 많다고 판정된 쪽의 영역에 속하는 전체의 영역의 피사체가 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제5 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
2. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

   상기 화상 영역 내의 중앙 부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝; 및

   총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정하는 제5 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
3. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

   상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝;

   상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제5 스텝; 및

   제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
4. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

   상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝;

   상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제5 스텝;

   제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝;

   제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 동일한 경우에는 전체 검출 영역 내에 존재하는 제1 검출 영역의 총 수와, 전체 검출 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 적은지를 판정하는 제7 스텝; 및

   제1 검출 영역 및 제2 검출 영역 중, 상기 제7 스텝에서 총 수가 적다고 판정된 쪽의 검출 영역을 제3 검출 영역으로 하고, 전체 검출 영역 내에 존재하는 제3 검출 영역의 총 수에 대한 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비에 기초하여, 제1 검출 영역의 피사체와 제2 검출 영역의 피사체와의 전후 위치 관계를 판정하는 제8 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
5. 제4항에 있어서, 상기 제8 스텝은 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 이상일 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 후방에 위치하고 있다고 판정하는 스텝; 및

   상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 보다 작을 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 전방에 위치하고 있다고 판정하는 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
6. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

   상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝;

   상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와, 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 증 어느 것이 많은지를 판정하는 제5 스텝;

   제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝;

   상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중 어느 한쪽이 총 수가 많다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제7 스텝;

   상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중 어느 한 쪽이 총 수가 많다고 판정되는 경우에는 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제5 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정하는 제8 스텝;

   제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 동일한 경우 또는 상기 제4 스텝 및 제5 스텝의 양방의 스텝에서 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 전체 검출 영역 내에 존재하는 제1 검출 영역의 총 수와 전체 검출 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 적은지를 판정하는 제9 스텝; 및

   제1 검출 영역 및 제2 검출 영역 중, 상기 제9 스텝에서 총 수가 적다고 판정된 쪽의 검출 영역을 제3 검출 영역으로 하고, 전체 검출 영역 내에 존재하는 제3 검출 영역의 총 수에 대한 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비에 기초하여 제1 검출 영역의 피사체와 제2 검출 영역의 피사체와의 전후 위치 관계를 판정하는 제10 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
7. 제6항에 있어서, 상기 제10 스텝은 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 이상일 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 후방에 위치하고 있다고 판정하는 스텝; 및

   상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 보다 작을 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한 쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 전에 위치하고 있다고 판정하는 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 관계 판정 방법.
8. 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한복수의 검출 영역을 설정하는 제1 스텝;

   상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

   상기 각 검출 영역 중에서, 수평 방향으로 서로 이웃하는 2개의 검출 영역간마다 양 검출 영역에서 검출된 피사체의 수평 방향의 이동량을 비교하는 제3 스텝;

   수청 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동 방향이 수평 방향의 이동량이 작은 피사체의 방향을 향하고 있는 경우에는 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가, 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하는지의 여부를 판정하는 제4 스텝;

   상기 제4 스텝에서, 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정하는 제5 스텝;

   상기 제4 스텝에서 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝;

   수평 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동 방향이 수평 방향의 이동량이 작은 피사체의 방향으로 향하고 있지 않은 경우에는 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하는지의 여부를 판정하는 제7 스텝;

   상기 제7 스텝에서 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정하는 제8 스텝;및

   상기 제7 스텝에서, 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정하는 제9 스텝

   을 포함하는 것을 특징으로 하는 피사체의 전후 위치 관계 판정 방법.
9. 2차원 영상에서 주(主) 영상 신호와 주 영상 신호에 대해 지연된 부(副)영상신호를 생성하고, 주 영상 신호 및 부 영상 신호 중 한 쪽을 좌목(左目)용 영상으로 하고, 다른 쪽을 우목(右目)용 영상으로 하여 이용하는 2차원 영상을 3차원 영상으로 변환하는 방법에 있어서,

   상기 2차원 영상 신호에 기초하여 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 스텝; 및

   전후 위치 관계의 판정 결과에 기초하여 주 영상 신호 및 부 영상 신호 중 어느 것을 좌목용 영상으로 하고, 어떤 것을 우목용 영상으로 할 것인지를 결정하는 스텝

   을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
10. 제9항에 있어서, 수평 방향의 이동량이 큰 피사체와 수평 방항의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 상기 스텝은,

    2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

    상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

    상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량이 크기를, 이동방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

    상기 화상 영역 내의 단부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 주목 영역 내에 존재하는 제2 검출 영역의 총수 중 어느 것이 많은지를 판정하는 제4 스텝; 및

    총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제5 스텝

    을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
11. 제9항에 있어서, 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 상기 스텝은

    2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

    상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

    상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동량 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

    상기 화상 영역 내의 중앙 부분에 주목 영역을 설정하고, 상기 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 주목 영역 내에 존재하는 제2 검출 영역의 총수 중 어느 것이 많은지를 판정하는 제4 스텝; 및

    총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역 피사체가 총수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정하는 제5 스텝

    을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
12. 제9항에 있어서, 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 상기 스텝은

    2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

    상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

    상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

    상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총수 중 어느 것이 많은지를 판정하는 제4 스텝;

    상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제5 스텝; 및

    제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝

    을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
13. 제9항에 있어서, 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 상기 스텝은

    상기 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기위한 복수의 검출 영역을 설정하는 제1 스텝;

    상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

    상기 각 검출 영역마다 검출된 피사체의 수평 방향의 이동량의 크기를 이동 방향에 따라 정부 중 어느 하나의 부호를 병기하여 비교함으로써, 비교적 큰 이동량이 검출된 각 검출 영역을 제1 검출 영역으로 하고, 비교적 작은 이동량이 검출된 검출 영역을 제2 검출 영역으로 하여 전체 검출 영역을 2 종류의 검출 영역으로 분류하는 제3 스텝;

    상기 화상 영역 내의 단부분에 제1 주목 영역을 설정하고, 상기 제1 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제1 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제4 스텝;

    상기 화상 영역 내의 중앙 부분에 제2 주목 영역을 설정하고, 상기 제2 주목 영역 내에 존재하는 제1 검출 영역의 총 수와 상기 제2 주목 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 많은지를 판정하는 제5 스텝;

    제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 다른 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝;

    상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중, 어느 한 쪽이 총 수가 많다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제4 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 후방에 위치하고 있다고 판정하는 제7 스텝;

    상기 제4 스텝에 의해 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정되고, 또한 상기 제5 스텝에 의해 제1 검출 영역 및 제2 검출 영역 중 어느 한 쪽이 총 수가 많다고 판정되는 경우에는 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체가 상기 제5 스텝에 의해 총 수가 적다고 판정된 쪽의 영역에 속하는 전체 영역의 피사체보다 전방에 위치하고 있다고 판정하는 제8 스텝;

    제1 검출 영역 및 제2 검출 영역 중, 상기 제4 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역과, 제1 검출 영역 및 제2 검출 영역 중, 상기 제5 스텝에 의해 총 수가 많다고 판정된 쪽의 검출 영역이, 동일한 경우 또는 상기 제4 스텝 및 제5 스텝의 양방의 스텝에서 제1 검출 영역 및 제2 검출 영역의 총 수가 동일하다고 판정된 경우에는 전체 검출 영역 내에 존재하는 제1 검출 영역의 총 수와 전체 검출 영역 내에 존재하는 제2 검출 영역의 총 수 중 어느 것이 적은지를 판정하는 제9 스텝; 및

    제1 검출 영역 및 제2 검출 영역 중, 상기 제9 스텝에서 총수가 적다고 판정된 쪽의 검출 영역을 제3 검출 영역으로 하고, 전체 검출 영역 내에 존재하는 제3 검출 영역의 총 수에 대한 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비에 기초하여 제1 검출 영역의 피사체와 제2 검출 영역의 피사체와의 전후 위치 관계를 판정하는 제10 스텝

    을 포함하는 것을 특정으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
14. 제13항에 있어서, 상기 제10 스텝은 상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값 이상일 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 후방에 위치하고 있다고 판정하는 스텝; 및

    상기 제1 주목 영역 내에 존재하는 제3 검출 영역의 총 수와의 비가 소정값보다 작을 때에는 제1 검출 영역 및 제2 검출 영역 중, 제3 검출 영역에 상당하는 한 쪽 영역의 피사체가 다른 쪽 영역의 피사체보다 전방에 위치하고 있다고 판정하는 스텝

    을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
15. 제9항에 있어서, 수평 방향의 이동량이 큰 피사체와 수평 방향의 이동량이 작은 피사체와의 전후 위치 관계를 판정하는 상기 스텝은

    상기 2차원 영상의 화상 영역 내에 피사체의 수평 방향의 이동량을 검출하기 위한 복수의 검출 영역을 설정하는 제1 스텝;

    상기 각 검출 영역마다 피사체의 수평 방향의 이동량을 각각 검출하는 제2 스텝;

    상기 각 검출 영역 중에서 수평 방향으로 서로 이웃하는 2개의 검출 영역간 마다 양 검출 영역에서 검출된 피사체의 수평 방향의 이동량을 비교하는 제3 스텝;

    수평 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동 방향이 수평 방향의 이동량이 작은 피사체의 방향을 향하고 있는 경우에는 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가, 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하는지의 여부를 판정하는 제4 스텝;

    상기 제4 스텝에서 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정하는 제5 스텝;

    상기 제4 스텝에서, 상기 이동량이 작은 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 큰 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정하는 제6 스텝;

    수평 방향으로 서로 이웃하는 2개의 검출 영역에서 검출된 피사체의 수평 방향의 이동량의 크기가 다르고, 또한 수평 방향의 이동량이 큰 쪽의 피사체의 이동방향이 수평 방향의 이동량이 작은 피사체의 방향을 향하고 있지 않은 경우에는 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하는지의 여부를 판정하는 제7 스텝;

    상기 제7 스텝에서, 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화한다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 전방에 위치하고 있다고 판정하는 제8 스텝;및

    상기 제7 스텝에서, 이동량이 큰 쪽의 피사체가 검출된 검출 영역에서 소정 시간 경과된 후에 검출되는 피사체의 이동량의 크기가 상기 크기가 작은 쪽의 이동량에 가까운 방향으로 변화하지 않는다고 판정된 경우에는 상기 이동량이 큰 쪽의 피사체가 상기 이동량이 작은 쪽의 피사체보다 후방에 위치하고 있다고 판정하는 제9 스텝

    을 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.