KR960005204B1

KR960005204B1 - 초점 정합 및 화상처리 기능을 갖는 비디오 카메라

Info

Publication number: KR960005204B1
Application number: KR1019910019267A
Authority: KR
Inventors: 가즈히로 이츠미; 마모루 이즈미; 무츠미 와타나베
Original assignee: 가부시기가이샤 도시바; 아오이 죠이치
Priority date: 1990-10-29
Filing date: 1991-10-29
Publication date: 1996-04-22
Also published as: CA2054344A1; EP0484076B1; EP0484076A3; US5307170A; KR920009199A; EP0484076A2; CA2054344C

Abstract

내용 없음.

Description

초점 정합 및 화상처리 기능을 갖는 비디오 카메라

제 1 도는 본 발명의 제 1 실시예에 의한 비디오 카메라의 주요 부분을 포함한 개략적 구성을 광축 방향을 따라 도시한 개략도.

제2a도 내지 제2c도는 본 발명의 제1 및 제 2 실시예에 사용된 비디오 카메라 몸체와 압전 액츄에이터의 구성도.

제 3 도는 비디오 카메라의 촬상 소자와 피사체까지의 측정 거리에 대한 위치 및 시간과의 관계도.

제4a도 및 제4b도는 제 1 실시예의 화상 추출 상태도.

제 5 도는 본 발명의 제 2 실시예의 비디오 카메라를 이용한 화상 감시 장치의 전체 구성을 도시한 블록도.

제 6 도는 화상 입력 회로계의 구성을 도시한 블록도.

제 7 도는 FOE 측정 회로계의 구성을 도시한 블록도.

제 8 도는 형상 유사성 (영역) 검출기 및 형상 유사성 메모리를 갖는 광학 흐름 검출기의 구성을 도시한 블록도.

제 9 도는 침입 판정 회로의 구성을 도시한 블록도.

제10도는 정지 피사체의 광학 흐름(Optical flow) 및 FOE와의 관계도.

제11a도 내지 제11c도는 침입 피사체가 플로어(배경)을 따라 이동할 때의 검출 상태를 도시한 것으로, 제11a도 및 제11b도는 촬상 위치가 전방 및 후방 위치에 있을 때 얻어진 화상을 나타내고, 제11c도는 추출된 광학 흐름에 상당하는 영역을 접속하여 얻어진 운동 벡터를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

11,12,13,14 : 렌즈 15 : 로패스 필터

20 : 촬상 소자 22 : 화상 신호 처리회로

24 : 초점 정합 판정/추출회로 26 : 화상 합성 회로

70 : 압전 액츄에이터 100 : 진동 발생 수단

200 : 촬상 제어 수단

본 발명은 비디오 카메라, 보다 구체적으로는 고속으로 이동하는 피사체의 초점 정합 화상을 얻을 수 있는 개량된 오토포커스 방식과 그 초점 정합 화상에 대한 화상처리 기능을 갖는 비디오 카메라에 관한 것이다.

종래의 비디오 카메라용 오토포커스 방식은 측정 거리 기준으로서 역할을 하는 탐색 신호를 출력(방출)하는가의 여부에 따라 액티브 방식(active scheme)과 패시브 방식(passive scheme)으로 주로 분류된다.

액티브 방식은, 예컨대 초음파 혹은 적외선을 방출하고 피사체에 의해 반사된 그 초음파 혹은 적외선을 수신한다. 이에 반해, 패시브 방식은 비디오 신호에 따라서만 피사채의 거리를 측정한다.

이들 2가지의 형태의 오토포커스 방식에 있어서, 오토포커싱은 어떤 수단으로부터 초점 정합 판정 신호를 얻고, 이 측정 결과에 상당하는 구동신호에 따라 모터에 의하여 초점 렌즈등을 이동시켜 수행된다.

이들 종래의 방식에서는 초점 정합 상태가 결정된 후에 초점 정합 동작이 수행되고 모터속도는 초점 정합 속도를 결정한다. 따라서, 초점 정합 속도가 제한되고, 고속으로 운동하는 피사체에 대한 초점 정합에 종종 오동작이 발생한다.

초점 정합 상태가 얻어진 후에 초점 위치를 고정하여 촬상하는 경우에 있어서, 정상적 피사계의 심도(즉,화상의 초점심도) 범위내에서는 초점 정합 위치가 유지될 수 있지만, 정상적 피사계의 심도 범위외에서는 초점 오정합 상태가 설정된다. 따라서, 넓은 피사계의 심도 범위에서 초점이 맞춰지는 화상을 얻을 수가 없다.

최근, 다양한 피사계에서 안전의 중요성은 정보 지향 사회의 발전과 함께 증가되고 있다. 일례로서, 침입자등을 검출하기 위해 사용되는 화상 감시계가 이용될 수 있다. 모니터에 의해 작동자가 검사할 감시 영역이 증가할 경우, 모니터를 항상 검사하는 작동자는 피로하게 되고 신뢰성은 저감되게 된다. 따라서, 자동화상 감시계를 제공할 필요성이 강력하게 요구되고 있다.

이동 로봇이 설계된 경우, 이동 화상 촬상계에 의해 얻어지는 순간적으로 변화하는 화면으로부터 이동 로봇을 검출하는 기술이 필요하게 된다. 최근에는 TV 카메라를 사용하여 자동 감시하는 몇몇 시스템계가 제공되고 있다. 이들 시스템계에 있어서, 주변의 정지 화상은 배경 화상으로서 촬상된다. 이 배경화상 및 시간열적으로(time-serially) 얻어진 화상간의 변화는 차례로 얻어지며 그변화량의 총합은 사전 선택된 영역에서 얻어진다. 총합은 피사계내의 "침입(intrusion)"을 판정하기 위해 문턱값과 비교된다.

이러한 방식에 따라 옥외 상태 및 발광 조도하의 상태와 같이 조도가 변화하는 환경에는 배경 영역의 휘도는 조도의 변화량으로 인하여 변화된다. 이러한 이유로 침입 피사체에 의해 발생된 변화를 분리 및 검출하는 것이 곤란하므로 시스템의 신뢰성이 저하된다. 이 방식에 따르면 침입 피사체의 존재만이 검출되며 침입 피사체의 이동 방향을 나타내는 정보는 얻을 수 없다. 더우기, 피사체가 이동 로봇과 같이 항상 변화할 경우 배경 영역 또한 이동한다. 따라서, 침입판정은 방향 변동만으로 수행될 수 없다.

상술한 문제점을 해결하기 위해, 시간열 화상으로부터 표적 영역의 광학적 흐름이 얻어지고, 광학 흐름을 토대로 침입 피사체로부터 배경 영역이 분리되어 신뢰성이 높은 검출이 수행되어야 한다. 이러한 방식의 기초 기술은 1970년대 후반 이후에 컴퓨터 비전의 분야에서 동작상태를 분석하는 것으로서 연구되고 있다.

상기 광범위하게 연구되고 있는 기술은 화상 밀도의 공간 및 시간의 변화를 이용하는 그라디안트 베이스 기술(gradiant-based technique)과 화상으로부터 에지와 같은 형상(특수값)을 추출하고 시간차를 갖는 화상들의 대응 형상들 사이의 보정 결과로부터 변동량을 산출하는 특수값 베이스 기슬(feature-based technique)로 분류된다. 전자의 기술은 화상에 대한 변동량이 모두 얻어질 수 있는 장점을 갖는다. 그러나, 이 기술은 미분계산을 사용해야 하기 때문에 화상에서의 잡음 혼합에 의해 정밀도가 크게 저하된다.더욱이, 울이 성긴 직물 영역 및 피사체 경계영역에 대해 산출된 값은 부정확하게 된다. 후자의 기술은 특수값들이 사용되기 때문에 부정확한 변동량을 갖는다. 그러나, 잡음에 의한 정밀도의 저하는 후자의 기술에 의해 최소화된다.

2가지 기술중에서, 시간 차이 및 위치 차이(위치 차이는 통상 로봇기기를 이동시킬 경우)는 종래의 TV 카메라에 의해 직접 얻어진 시간열 화상을 주로 사용하기 때문에 미분 계산 값 및 특수값에 해당하는 범위를 설정하는 것은 어렵다. 고도의 신뢰성 있는 광학적 흐름은 얻을 수 없고 실용성 있는 기기는 거의 제조 될 수 없다.

상술한 바와 같이 종래의 화상 감시 장치 및 비디오 카메라의 오토포커스 방식에서는, 초점 정합 속도가 그 구조적 특성에 의해 제한되고, 동시에 고속으로 이동하는 피사체에 대한 오차가 발생한다. 또한, 무한 위치에서 근접 위치(즉, 피사계 심도의 방향에서 넓은 범위)까지의 범위에서는 전체 촬상면으로 선명한 초점 정합 화상을 얻는 것이 어렵다.

종래의 화상 촬상 장치에 의해 촬상되는 시간열 화상을 사용할 경우, 시간 및 위치간의 차이는 크게 되고,고도의 신뢰성 있는 광학적 흐름을 얻기가 어려워진다.

본 발명의 목적은 초점 속도를 증가시키고 오동작이 없는 고속의 오토포커스 동작을 실현할 수 있는 비디오 카메라와 같은 촬상 장치를 제공하기 위한 것이다.

본 발명의 다른 목적은 렌즈 또는 촬상 소자가 소정의 주기에서 광축 방향으로 진동하는 동안에 임의의 위치에서 촬상 소자의 촬상 동작을 수행하는 수단이 사용되며, 작은 시간 및 위치 차이를 갖는 시간열 화상이 획득되고, 고신뢰성의 광학 흐름이 얻어지는 비디오 카메라를 제공하기 위한 것이다. 고신뢰성의 광학 흐름을 사용함으로써 높은 정밀도의 화상 감시 기능이 수행된다.

본 발명의 요지는 다음과 같다.

"초점조정(focusing)" 동작에 의해 하나의 화상을 얻는 대신에, 촬상 소자는 촬상 동작을 수행하기 위해 복수의 임의 위치(즉, 진동의 진폭내의 중간위치)에서 광축을 따라 항상 진동하고, 상기 촬상 동작에 의해 얻어진 복수의 화상으로부터 초점이 정합되는 적어도 하나의 화상이 얻어지도록 함으로써 선명한 화상을 추출하고 가시화한다.

본 발명에 따른 비디오 카메라의 한 특징은, 오토포커스 기능을 가지며, 렌즈계를 통해 얻어진 광학 화상을 촬상하는 촬상 소자와, 그 렌즈계 혹은 촬상 소자를 소정의 주기에서 광축 방향으로 진동시키고, 촬상 소자가 복수의 임의 위치에서 촬상 동작을 수행하도록 하는 수단과, 촬상 소자에 의해 얻어진 상이한 초점 위치의 복수의 신호로부터 소정의 화상 신호를 추출하는 수단을 포함하는 비디오 카메라에 있다.

소정의 화상 신호를 추출하는 수단은 다음의 기술을 사용한다:

(1) 상이한 초점 위치를 갖는 복수의 화상 신호로부터 최고의 초점 정합 정밀도를 갖는 화상 신호를 추출 하는 기술;

(2) 복수의 각 화상 신호를 복수의 영역으로 분할하고, 분할된 영역의 단위로 초점 검출을 수행하며, 그 영역으로부터 최고의 초점 정합 정밀도에 해당하는 분할 영역(화상 신호)를 추출하여 그 추출된 영역을 합성하는 기술.

촬상 소자의 진동 주기는 화상 신호의 프레임 주기와 동기화되는 것이 바람직하다. 또한, 압전 액츄에이터는 모터로서 보다는 촬상 소자를 구동하는 구동원으로서 바람직한다.

본 발명에 따른 비디오 카메라는 그 응용 분야로서 다음과 같은 방법으로 배열된다.

비디오 카메라의 다른 특징은 렌즈계를 통해 얻어진 광학 화상을 촬상하는 수단과, 렌즈 혹은 촬상 소자를 소정의 주기에서 광축의 방향으로 진동시키고 촬상 소자가 임의의 위치에서 촬상 동작을 수행시키도록 하는 수단과, 촬상 소자로부터 얻어진 복수의 화상으로부터 광학 흐름을 추출하는 수단과, 광학 흐름을 사용하여 이동 피사체를 검출하는 수단을 포함하고, 그에 따라 광축 방향으로 촬상 소자 혹은 렌즈를 선형 진동시켜 얻어진 시간열 화상이 축적되며, 축적된 시간열 화상 사이의 광학 흐름이 얻어지고, 해당벡터에 접속하여 얻어진 동 벡터 스트링은 상기 진동에 의해 FOE(Focus of Expansion) 점을 갖는 동 벡터 스트링과 ROE 점이 없는 동 벡터 스트링으로 분리되어, 침입 피사체를 검출하는 비디오 카메라에 있다.

본 발명에 따른 비디오 카메라에 있어서, 촬상 동작은 촬상 소자가 그 광축을 따라 항상 진동하는 동안에 수행된다. 촬상 소자의 진동 상태에서 얻어진 비디오 신호는 소정의 순서에 따라 처리된다. 따라서, 고속 초점 정합(high-speed focusing) 동작이 수행될 수 있으며, 동시에 무한 위치에서 근접 위치(즉, 피사체의 피사계 심도 방향으로 넓은 범위)까지의 보다 넓은 초점 범위를 갖는 화상을 얻을 수 있다.

상기 화상 신호를 얻기 위한 실질적인 기술은 다음과 같다.

화상 신호는 촬상 소자의 이동중에 복수의 임의점에서 샘플링되고, 최고의 초점 정합 정밀도를 갖는 화상만이 출력되어 가시화된다. 이러한 정밀도가 큰 화상을 이용할 경우, 소정의 화상 처리는 촬상 소자의 진동 주기가 화상 신호의 프레임 주기와 동기화되는 동안에 수행됨으로써, 항상 초점 정합 이동 화상을 얻게된다. 또한, 샘플링된 화상을 처리하는 기술은 무한 위치에서 근접위치까지의 넓은 범위에서 초점 정합 화상을 얻도록 변화된다.

다른 기술에 따르면, 촬상 소자의 진동 주기는 촬상 수용 위치가 서로에 대해 일치되게 설정되도록 화상 신호의 프레임 주기와 동기화된다. 전자적 오토포커스 제어는 화상 수용 위치 또는 그 설정이 초점 신호와 동기되는 동안에 수행되어 항상 초점 정합 이동 화상을 항상 얻는다.

본 발명에 따른 다른 비디오 카메라에 있어서는 작은 시간 및 위치 차이를 갖는 시간열 화상을 얻기 위해 렌즈 또는 촬상 소자가 진동되는 동안에 화상들이 입력된다. 따라서, 용이하게 상호 탐색(Correlation search)이 수행될 수 있다. 고정밀도의 광학 흐름은 비록 종래의 촬상소자에 의해 촬상된 화상으로 얻어질 수 없는 경우에도 얻어질 수 있다. 또한, 진동의 선형성이 정밀하게 제어될 수 있으므로 FOE 측정의 정밀도가 향상될 수 있다. 따라서, 이동하는 피사체의 이동으로부터 배경을 분리할 수 있으므로 고정밀도의 화상을 얻게 된다.

본 발명의 추가적인 목적 및 장점은 여기서 기술된 설명으로부터 명백히 알 수 있으며, 또한 본 발명의 실시에 의해서도 알 수 있다. 본 발명의 목적 및 장점은 본 특허청구의 범위의 구성 요소들간의 조합에 의해 구체적으로 실시될 수 있다.

본원 명세서의 첨부도면은, 본 발명의 바람직한 실시예를 예시하며, 바람직한 실시예의 상세한 설명과 함께 본 발명의 원리를 설명하기 위해 예시된다.

본 발명에 따른 비디오 카메라는 제 1 도에 도시된 바와 같이, 줌 동작을 하지 않고 초점 정합하는데 사용되는 초점 렌즈(11), 상기 초점 렌즈(11)에 의해 형성된 화상의 크기를 변화시키도록 줌 렌즈(12), 화상 형성 위치를 일정하게 유지하도록 움직이는 이른 바 컴펜세이터(compensator)라고 하는 초점위치 보정 렌즈(13) 및, 릴레이 렌즈 또는 결상계 렌즈(14)를 포함한다. 이들 렌즈(11,12,13,14)의 각각은 복수의 렌즈를 구비한다. 렌즈계(10)는 4개의 렌즈군으로 구성된다.

로패스 필터(15)는 렌즈계(10) 후단에 위치된다. 촬상 소자(20)는 광학 화상을 촬상하기 위해 로패스 필터(15) 후단에 배치된다. 촬상될 피사체의 광학정보는 렌즈계(10)을 통하여 촬상 소자(20)에 입력되고 촬상소자(20)에 의해 광전자적으로 촬상된다.

촬상 소자(20)는 압전 액츄에이터(70)를 포함하는 진동 발생계(100)에 의해 광축 방향으로 약 3mm의 스트록(진폭)을 가지고 항상 진동한다. 이 스트록 값은 6배 배율의 줌 기능을 갖는 1/2인치 광학계로 무한 거리에서 1m의 근접위치까지 촬상 소자의 이동에 대한 초점 조정 기능을 수행하는데 필요한 값이다. 피사체까지의 거리 ∞에 대한 촬상 소자의 위치 X∞는 렌즈계(10)에 접근한 촬상 소자의 위치가 된다. 피사체까지의 거리 1m에 대한 촬상 소자(20) 위치 X1m는 렌즈계(10)에서 가장 멀리 떨어진 위치가 된다. 동작시, 촬상 소자(20)는 화상 신호를 얻을 수 있도록 이 두개의 점(스트록)들 사이에서 진동된다.

촬상 소자(20)에 의해 획득된 복수의 시간열 화상 신호는 이들 복수의 화상 신호를 순차로 처리하기 위해 화상 입력계(200)에 입력된다. 각각의 입력 화상 신호는 촬상 소자(20)에 접속된 화상 신호 처리 회로(22)로 입력되어 A/D변환과 같은 처리가 된다. 그 다음 처리된 신호는 화상 필드(즉 프레임) 메모리(35)(시간열 신호의 단위)에 일시적으로 기억된다. 복수의 변환된 화상 신호의 초점 정합 상태는 화상 신호처리 회로에 접속된 초점 정합 판정 회로(24)에 의해 화상 단위로 검출된다. 이 검출결과에 따라 가장 선명한 화상이 복수의 화상 신호로부터 선택된다. 원하는 화상은 필요한 때 예컨대 화상 합성 회로(26)에 의해 부분적으로 추출되고 합성 처리에 의해 출력 화상 메모리(60)에서 하나의 화상으로서 합성된다. 합성된 화상은 최종적으로 스크린(80)상에 표시되고 출력된다.

제 1 도의 모터(50)는 초점 거리를 변경시키기 위해 피니언 및 워엄 기어를 통해 광축 방향으로 줌 렌즈(12)를 구동시키는 오토-줌 장치를 구성한다.

압전 엑츄에이터(70)의 정상 동작은 제2a도에 도시되며, 그 동작중의 변형형태는 제2b도 및 제2c도에 도시된다.

qV 범위의 크기를 갖는 소정의 제어 신호는 액츄에이터 제어회로(73)로부터 압전 액츄에이터(70)로 인가되어 촬상 소자(20)를 제2a도 내지 제2c도의 광축 방향으로 항상 진동시킨다. 압전 액츄에이터(70)의 스트록(진동)은 6배 배율을 갖는 줌 기능의 1/2인치 광학계에서 무한 거리로부터 1m의 근접 거리 범위까지의 피사체에 대해 약 3mm이다. 촬상 소자(20)는 이 스트록내의 위치에 대응하는 피사체 위치의 화상을 얻는다. 이들 화상 신호는 화상 입력 회로계(200)에 공급(입력)된다.

렌즈계(10)는 초점 렌즈(11), 줌 렌즈(12), 초점위치 보정 렌즈(13), 및 릴레이 렌즈(14)을 구성하는 4개의 렌즈군을 포함한다. 로패스 필터(15)는 렌즈계(10)의 후단에 배치된다. 광학 화상은 CCD 같은 촬상 소자(20)의 촬상면상에서 렌즈계(10) 및 로패스 필터(15)를 통해 형성된다.

압전 액츄에이터(70)는 촬상 소자(20)를 광축의 방향으로 이동시키기 위해 촬상 소자(20)의 측면과 그 촬상면상에 장착된다. 압전 액츄에이터(70)는 S형 구동식 바이모프(bimorph) (71a-71f) 소자를 포함한다. 이들 S형 구동 바이모프 소자는 각 바이모프 소자의 변위 방향이 그 길이 방향을 따르는 중심 방향에 대해 반대 위상을 갖도록 구동되는 소자이다. 그 예시된 구성에 있어서, 서로간에 직렬로 연결된 3개의 S형 구동식 바이모프 소자(71a-71c 또는 71d-72f)를 각각 구성하는 2개의 구조는 캔틸레버식 바이모프 구조를 구성한다. 이들 2개의 캔틸레버식 바이모프의 자유단부가 연결될 경우, 그 변위는 증가하고 기계적 특성이 개선된다.

또 다른 캔틸레버식 바이모프 구조쌍은, 차례로 길이가 긴 2개의 점선으로 표시된 바와 같이, 바이모프 소자(71a-71f)로 마련된 것으로 기계적 특성을 더욱 개선시킨다.

제 3 도는 고속 초점 동작에 대한 그래프를 나타낸다. 촬상 소자(20)의 축방향 이동은 다각형 라인으로 나타낸다. 촬상 소자의 위치 X(범위 : 무한대에서 1m까지)는 이 그래프의 가로좌표를 따라서 도시되며, 시간 t(초점 정합 상태를 얻기 위해 필요한 시간)은 세로좌표를 따라 도시된다. 복수의 임의 위치에 대응하는 복수의 화상은 촬상 소자(20)의 이동 범위내에서 샘플된다. 본 실시예에 있어서, 촬상 소자(20)는 샘플링을 수회 행한다(본 실시예에서는 5회). 이동 액츄에이터에 의한 촬상 소자(20)의 구동은 그 촬상 소자가 소정의 횟수만큼 샘플링 되도록 설정된다. 소정의 샘플링 횟수가 촬상 소자(20)의 이동 횟수보다 작을 경우에는 정지시간을 제공할 필요가 없다.

제4a도에 도시된 실시예에서와 같이 X∞ 내지 X1m 사이의 샘플링중에 복수(본 실시예에서는 5개))의 화상이 얻어진다. 초점 정합 정도(즉, 초점 정밀도 : 초점 정합 정밀도)를 검출하는 "초점 위치 평가값"을 검출하기 위해 이들 화상에 대한 화상 신호의 고주파 성분이 추출 및 집적된다. 화상의 단위로 비교가 수행된다. 이들 화상중에서 높은 초점 정합 정밀도를 갖는 한 화상만이 화상으로서 선택되고 출력된다. 보다 구체적으로는, 촬상 소자(20)의 진동 주기는 화상 신호의 프레임 주기와 동기화된다. 예컨대, NTSC(National Television System Committee) 방식에서, X∞ 및 X1m 사이의 어느 한 이동 속도가 1/60초로 설정될 경우, 그 역의 스트로크(즉 1주기의 진동)는 NTSC 방식의 한 프레임에 대응한다. 따라서, 동 화상은 초점 정합 상태로 항상 얻어지게 된다.

초점 정합 화상을 전체 스크린상에서 얻기 위한 응용에 적합한 화상 장치로서의 비디오 카메라는 화상 합성 처리를 행하는 화상 합성 회로(26)를 추가로 포함하는 것이 바람직하다.

특히, X∞ 및 X1m 사이의 각 이동 사이클중에 화상 합성 회로(26)는 제4b도에 도시된 바와 같이, 각 샘플링 화상을 복수의 영역으로 분할하고 분할된 영역의 단위로 초점 검출을 수행한다. X∞ 및 X1m 사이의 한 이동 사이클중에서 초점 정합 영역만이 메모리(35)로부터 추출되어 한 화상으로 합성된다. 따라서, 매우 큰 초점 심도를 갖는 화상(예컨대, 동화상), 즉 무한 위치에서 근접 거리까지의 전역에 걸쳐 있는 초점 정합 화상을 얻을 수 있다.

또, 상기한 추출 및 합성 기술에 대신하여, 각 화상중에 흐려져 있는 부분을 필터링하는 필터링 처리, 혹은 화상의 흐려진 부분을 삭제하고 그에 따른 화상을 합성하는 삭제 및 합성 기술이 사용될 수 있다.

다음에, 고속 초점 정합 동작의 다른 실시예를 설명한다. 앞서의 실시예에서와 같이 촬상 소자(20)는 화상 신호의 프레임 주기와 동기되어 진동하게 된다. 1프레임을 형성하는 화상 신호의 수용 시간을 진동 주기 보다도 충분히 작게 설정하여 진동 범위내의 소정의 초점 위치의 화상 정보만을 독출하도록 한다. 진동주기와 프레임 주기가 서로 일치하고 있기 때문에 이 독출위치를 전자적, 임의적으로 제어할 수 있다. 독출된 화상 신호에서 초점 평가치를 검출하여 독출 위치를 피이드백시키면 오토포커스 처리를 할 수 있다. 오토포커스의 모든 피이드백계는 전자 회로만으로 구성될 수 있으므로 초점 정합의 동화상을 항상 얻을 수 있다.

X∞와 X1m내에 있는 두 점 위치 사이의 이동중에 얻어진 화상 신호는 수용되어 표시된다. 예컨대, NTSC 방식에서처럼 매초 30프레임 표시동작이 수행되면 근접 위치의 화상으로부터 무한 위치의 화상까지 화상을 중복하여 얻게 된다. 화질은 다소 떨어지나 이 방식은 무한 위치에서 근접 위치까지의 광범위하게 초점 정합 화상을 제공할 수 있다. 따라서, 높은 콘트라스트 레벨을 갖는 명료한 피사체는 충분히 인식될 수 있다. 화상 처리가 수행되면 더욱 양호한 화상도 얻을 수 있다.

상술한 설명에서는 1필드내에서 초점 정합 화상을 얻는 기술을 설명하였다. 촬상 소자(20)는 매우 고속(예컨대, 이 경우에는 진동)으로 동작될 필요가 없고, 더욱 간단한 처리로 적절한 초점 정합 화상이 얻어진다면 어떠한 방식도 사용가능하다.

본 실시예의 전술한 설명에서는 촬상 소자(20)가 진동한다. 그러나, 초점 제어 렌즈(보정 렌즈(B))와 같은 렌즈계가 구동될 경우에도 상기 실시예와 같은 동일한 효과를 얻을 수 있다. 촬상 소자(20) 혹은 렌즈계(10)를 진동시키는 수단은 압전 액츄에이터(70)로 제한되지는 않지만 보이스 코일 모터와 같은 다른 수단으로 대체할 수도 있다.

본 발명의 사상과 범위를 벗어나지 않는 범위내에서 여러가지 변경 및 수정이 가능하다.

본 발명에 따른 상기 실시예는 초점 심도가 보다 넓은 범위에서 고속으로 이동하는 피사체등에 대처할 수 있으며, 오토포커스장치를 갖는 종래의 비디오 카메라에 의해서는 동작되지 않는다. 따라서, 소정의 화상처리에 따라 고속으로 초점 정합 화상을 얻을 수 있는 고초점 속도를 갖는 비디오 카메라를 실현할 수 있게 된다.

제 5 도에 도시된 비디오 카메라 몸체(1)는 진동 발생계와 결합되고 본 발명의 제 2 실시예에 따른 침입자 감시 카메라와 같은 화상 감시 장치에 사용된다. 예를 들면, 화상 감시 장치는 백화점 및 사무실의 침입자 검출과 이동 로봇의 이동시 장애물 검출에 응용된다.

본 발명의 실시예는 카메라등의 렌즈 또는 촬상 소자가 순간적인 이미지를 입력하도록 광축 방향으로 소정의 주기로 진동하고, 그에 따라 작은 시간 및 위치차를 갖는 시간열 화상을 획득하는 본 발명의 요지를 이용하는 화상 감시 비디오 카메라를 제공하는 것을 목적으로 한다. 보다 구체적으로는 비디오 카메라와 같은 종래의 촬상 장치로 화상을 주밍(zooming)하여 포착할 수 없는 고속 이동의 피사체에 대해 고신뢰성의 광학적 흐름(opitical flow)을 구함으로써 화상내의 이동 피사체의 동작으로부터 그 배경을 분리하고, 그에 따라 고품질(즉, 초점 정합)의 화상을 용이하게 얻을 수 있는 화상 감시 장치를 제공하는 것을 목적으로 한다.

제 5 도에 있어서, 비디오 카메라 몸체(10)는 촬상 소자(20)와, 그 촬상 소자 자체 또는 렌즈계(10)의 일부 혹은 전부를 소정의 진폭 및 소정의 주기로 광축의 방향으로 이동시키는 진동 발생계(100)를 조합하여 구성된다. 이 진동 발생계(100)는 압전 액츄에이터(70), 액츄에이터 제어 회로(73) 및 구동 회로(도시 생략)를 포함한다. 진동주기의 절반 주기에 상당하는 화상 출력은 촬상 소자(20)에 접속된 화상 입력계(200)로 순차적으로 전달된다. 화상 입력계(200)는 화상 출력의 디지탈 변환과 같은 소정의 화상 처리(제 6 도를 참조하여 상세히 설명될 것임)를 행한다. 그 처리된 화상 출력은 화상 정보 버스(8)를 통하여(시간열 신호의 단위로) 화상 메모리(35)에 기억된다.

한편, 감시처리(상세히 후술될 것임)와 관련된 광학 흐름 검출계(300), FOE 측정회로계(400), 침입 판정회로(500) 및 광학 흐름 메모리(65)들은 장치의 모든 동작을 제어하기 위해 CPU(90)에 접속된 제어 버스(9)와 병렬 접속된다.

제어 버스(9)와 화상 버스(8)에 접속된 광학 흐름 검출계(300)는 소정의 분석 처리에 따라 화상 메모리(35)에 미리 기억된 복수의 시간열 화상에 대응하는 영역과 관련된 "동작"을 얻고, 그 대응 영역의 "광학적 흐름"을 검출한다. FOE 검출기(4)는 광축의 방향에 따른 촬상면의 이동시에 얻어진 정지 피사체의 광학적 흐름이 발생되는 FOE(Focus of Expansion) 점을 측정하도록 배경 및 피사체의 "동작"을 분석한다. 침입 판정 회로(500)는 FOE 점으로부터 발생되지 않는 성분을 광학적 흐름이 포함하고 있는가의 여부를 검출하여, 예컨대 침입 감시 카메라의 시야 범위로 이동하는 피사체의 침입을 검출한다.

제 5 도의 각 블럭에 대한 구성은 후술하기로 한다.

제 6 도는 화상 입력계(200)와 거기에 화상 버스(8)를 통해 연결된 관련 화상 메모리(필드 메모리) (35)를 도시한다.

화상 입력계(200)의 구성은 다음과 같다.

카메라 몸체(1)로부터 출력된 화상 신호는 A/D변환기(6)에 의해 디지탈 신호로 변환된다. 디지탈 신호는 ITV 인터페이스(7) 및 화상 버스(8)를 통해 화상 메모리(35)에 기억된다. 또한, 화상 메모리(예컨대, 필드 메모리) (35)는 제어 버스(9)에 접속되므로 랜덤 리드/라이트 액서스가 실행될 수 있다. 진동 주기의 절반 사이클(즉, 렌즈들로 향하는 촬상면 위치의 순방향 스트록)에 대한 복수의 화상(즉, 시간열 화상)은 화상 입력계(200)를 이용함으로써 필드 메모리(35)내에 순차적으로 기억된다.

제 7 도는 FOE 측정 회로계(400)의 구성을 도시한다.

제10도에 예시된 바와 같이, 광학 화상의 방향으로 촬상면의 이동시에 획득되는 정지 피사체의 광학적 흐름은 한 점에서 발생되는 흐름이다. 이 점을 FOE라고 한다. FOE 점을 찾는 것을 이용하여 정지 상태의 광학적 흐름은 미리 얻어지고 라인 검출 회로(42)는 대응 영역을 접속하여 획득되는 "운동 벡터 스트링"으로부터 선형식을 얻게 된다. 이들 선형식은 최소 제곱법을 사용하여 유도될 수 있다. 예컨대, 3개 이상의 직선(즉,세그먼트)이 있을 경우, 이들을 교차하는 중심 점은 FOE 점(위치)로서 설졍된다. FOE 좌표는 FOE 메모리(46)에 기억된다.

제 8 도는 광학 흐름 검출계(300)의 구성을 도시한다.

다음의 처리는 화상 형태, 복수의 화상들 사이의 유사점등을 분석할 수 있도록 수행된다. 2개의 실행 모멘트에 대한 화상은 필드 메모리(35)에 기억된 시간열 화상으로부터 순차적으로 선택된다. 형상 영역 선택 회로(32)는 이전 모멘트의 화상(즉, 촬상면 후방에 배치된 화상)으로부터 운동 벡터를 계산하기 위해 표적 영역을 선택한다. 영역의 크기 및 최대 영역 카운트와 같은 파라메타는 형상 메모리(36)에 미리 설정된다. 특성(형상)영역 판정처리는 영역 내부의 "분산 값(Variance value)"을 계산하고 형상 메모리(36)에 공급되는 소정의 문턱값보다 큰 값을 갖는 영역을 선택함으로써 실현된다. 유사성 계산 회로(34)는 다음 모멘트(즉, 촬상면의 전방에 배치된 화상)를 탐색하고 각 특성 영역에서 가장 유사한 밀도특성(density characteristics)을 갖는 영역을 선택한다. 탐색 범위는 유사성 메모리(38)에 미리 설정된다. 그러나, 실질적으로 탐색의 범위는 화상 위치의 차이가 가장 작은 값이므로 매우 좁은 법위로 제한될 수 있다. 따라서, 신뢰성이 개선되고 처리 시간이 단축될 수 있다. 이들 두 영역의 중심위치 사이의 차분 벡터는 광학 흐름 메모리(65)에 운동 벡터로서 차례로 기억된다.

두 화상 사이의 유사성 정도를 나타내는 유사성은 다음 식(1)로 계산된다.

여기서, I(t-1)_ij: 이전 모멘트에서 화상의 위치(i,j)에 있는 화소의 휘도

I(t)_ij: 다음 모멘트에서 화상의 위치(i,j)에 있는 화소의 휘도

Σ : 특성 영역내의 총합

제 9 도는 침입 판정 회로(500)의 구성을 나타낸다. 선형식은 대응하는 영역에 접속하는 것에 의해 획득되는 운동 벡터 스트링으로부터 선형 검출 회로(42)에 의해 적용된다. 판정 회로(52)는 FOE 메모리(46)에 기억된 FOE 점을 통하는가의 여부를 판정하여, FOE 점을 통과하지 않는 라인 수(세그먼트)를 계산한다. 이 판정 처리는 파라메타 메모리(56)에 미리 설정된 소정의 문턱값과 FOE 점을 통과하지 않는 라인 수를 비교함으로써 수행된다.

제10도에 예시된 바와 같이, 광학 화상의 방향으로 촬상면의 이동시에 획득되는 정지 피사체의 광학적 흐름은 화살표로 표시되고 FOE 점으로부터 발생된 라인 세그먼트가 선형적으로 연속인 "흐름(flow)"을 형성한다.

제11a도 내지 제11c도는 플로어(배경)를 따라 이동하는 침입 피사체의 검출 상태를 나타낸다. 제11a도 및 제11b도는 촬상 위치가 전후 위치에 있을 때 얻어진 화상을 나타내고, 제11c도는 추출된 광학적 흐름에 대응하는 영역을 연결함으로써 획득되는 운동 벡터를 나타낸다. 주변에 대한 플로어 상태의 운동 벡터 스트링은 한 점(FOE)으로부터 방사상으로 형성되는 직선을 나타난다. 반면에, 이동 피사체의 운동 벡터 스트링은 제11c도에서 파선으로 에워싸인 참조부호(11)로 표시된 바와 같이, FOE 점과 상이한 독특한 시작점(start point)를 갖는다. 시작 점의 발생은 침입 판정 회로계(500)를 사용하여 용이하게 검출될 수 있다.

상기한 구성을 갖는 화상 감시 장치로서의 비디오 카메라는 여러가지 응용기기에서 사용될 수 있다.

본 발명은 상술된 특별한 실시예로 제한되지 않는다. 상기 실시예에 있어서는 촬상 소자(20)가 진동한다. 제 2 실시예와 동일한 효과를 얻을 수 있도록 제 1 실시예서와 같은 촬상 소자 대신에 렌즈계(10)가 진동될 수도 있다.

본 발명은 운동 방향이 선형 방향으로 간주된다면, 피사계가 고정되고 촬상면이 진동하는 장치외에도 이동 로봇과 같은 운동하는 피사계를 갖는 화상 장치를 포함하는 시스템에 대한 변형예로서도 응용 가능하다. 이러한 변형예에 있어서, 배경 영역의 운동 벡터 스트링을 발생하는 점은 촬상면의 진동에 의해 발생되는 FOE 점이 아니라, 이동 로봇의 이동 방향 및 촬상면의 진동을 합성함으로써 제 3 방향으로 얻어진 촬상면의 진동에 대한 FOE 위치이다. 진동 속도가 이동 로봇의 속도보다 충분히 클 경우, FOE 위치는 촬상면의 진동만으로 발생된 FOE 점과 거의 일치한다.

또한, 침입 피사체의 운동 벡터 스트링이 분석될 경우, 그 운동 방향은 검출될 수 있다.

본 발명의 사상 및 범위를 벗어나지 않고 여러가지 변경 및 수정이 가능하다.

신뢰성이 높은 광학 흐름은 광축 방향으로 소정의 주기에서 렌즈 혹은 촬상 소자가 진동할 때에 획득되는 짧은 시간 및 위치차를 갖는 시간열 화상으로부터 획득되며, 그 광학 흐름을 이용하여 배경의 이동과 피사체의 이동을 분리하기 위해 화상 처리가 수행되며, 그에 따라 고화질의 화상을 얻게 된다. 응용 목적에 따른 화상 처리로 샘플링 화상 처리 기술을 변화시킴으로써, 무한 위치에서 근접 위치까지의 모든 범위에 걸친 초점 정합 이동 화상은 촬상될 수 있다. 예를 들면, 본 발명은 항상 초점 정합 화상이 필요한 화상 감지 장치(예컨대, 침입 감시 카메라) 같은 여러가지의 장치에 적용될 수 있다.

또한, 침입 검출 장치는 이동 로봇과 같이 피사계가 항상 이동하는 동안에는 종래의 방향 변동에 의해서는 검출을 수행할 수 없다. 즉, 침입 피사체의 운동 벡터 스트링을 분석하여 운동 방향을 검출함으로써, 로봇의 동작중에 충돌 방지 작용 및 긴급 정지등의 작동은 적절히 선택될 수 있으므로 여러가지 응용 및 우수한 효과를 제공하게 된다.

본 발명의 분야에 숙련된 기술자라면 추가의 장점 및 변형을 용이하게 얻을 수 있다. 따라서, 그 광범위한 특징이 있는 본 발명은 여기서 기술되고 도시된 대표적 장치만으로 제한되지 않는다.

따라서, 여러가지 변형은 첨부된 특허청구의 범위 및 그 등가의 것으로 한정된 발명 개념의 범위로부터 벗어나지 않고 해석되어야 한다.

Claims

피사체의 광학 정보가 렌즈계를 통과한 후 상기 광학 정보를 수신하고 촬상 동작을 수행하는 촬상소자와; 상기 촬상 소자에 연결되어, 광축 방향으로 소정의 스트록(진폭)으로 상기 촬상 소자에 진동을 가하는 진동 발생 수단과; 상기 스트록내에서의 복수의 임의 위치에 있는 상기 촬상 소자로부터 얻어진 상이한 초점위치의 복수의 화상 신호로부터 소정 시간 간격으로 화상 신호들을 추출하는 샘플링 수단과; 상기 촬상 소자로부터 얻어진 샘플링 화상을 시간적으로 연속하여 저장하는 화상 메모리 수단과; 상기 샘플링 화상의 화상 신호로부터 고주파 성분을 추출하고, 처리결과의 적분시 초점 정합 정도를 평가하기 위해 초점 평가 값을 검출하고, 복수 화상의 상기 초점 평가값들을 비교하고, 가장 큰 초점 정합 정밀값을 갖는 샘플링 화상을 선택하는 초점 정합 판정 추출 수단을 구비하는 것을 특징으로 하는 비디오 카메라.
피사체의 광학 정보가 렌즈계를 통과한 후 상기 광학 정보를 수신하고 촬상 동작을 수행하는 촬상 소자와; 상기 촬상 소자에 결합되어, 광축 방향으로 소정의 스트록(진폭)으로 상기 촬상 소자의 진동을 가하는 진동 발생 수단과; 상기 스트록내에서의 복수의 임의 위치에 있는 상기 촬상 소자로부터 얻어진 상이한 초점 위치의 복수의 화상 신호로부터 소정 시간간격으로 화상 신호들을 추출하는 샘플링 수단과; 상기 촬상 소자로부터 얻어진 샘플링 화상을 시간적으로 연속하여 저장하는 화상 메모리 수단과; 상기 샘플링 화상의 화상 신호로부터 고주파 성분을 추출하고, 처리결과의 적분시 초점 정합의 정도를 평가하기 위해 초점 평가값을 검출하고, 복수 화상의 상기 초점 평가값들을 비교하고, 가장 큰 초점 정합 정밀값을 갖는 샘플링 화상을 선택하는 초점 정합 판정 추출 수단과; 필요시 상기 샘플링 화상을 복수의 영역으로 분할하고, 각 분할영역에서 초점 검출기능을 수행하고, 상기 화상 메모리 수단으로부터 초점 정합 영역들만을 추출하여 상기 초점 정합 영역들을 단일 화상으로 합성하는 화상 합성 수단을 구비하는 것을 특징으로 하는 비디오 카메라.
피사체의 광학 정보가 렌즈계를 통과한 후 상기 광학정보를 수신하고 촬상 동작을 수행하는 촬상 소자와; 상기 촬상 소자에 결합되어, 광축 방향으로 소정의 스트록(진폭)으로 상기 촬상 소자에 진동을 가하고, 상기 렌즈계 또는 상기 촬상 소자에 결합하여 상기 렌즈계와 촬상 소자중 어느 하나에 진동 구동력을 인가하는 진동 구동원과; 소정기간의 진동을 발생시키기 위해 소정의 제어신호를 상기 진동 구동원에 인가하는 진동원 제어수단을 포함하는 진동발생 수단과; 상기 스트록내에서의 복수의 임의 위치에 있는 상기 촬상 소자로부터 얻어진 상이한 초점 위치의 복수의 화상 신호로부터 소정 시간간격으로 화상 신호들을 추출하는 샘플링 수단과; 상기 촬상 소자로부터 얻어진 샘플링 화상을 시간적으로 연속하여 저장하는 화상 메모리 수단과; 상기 샘플링 화상의 화상 신호로부터 고주파 성분을 추출하고, 처리결과의 적분시 초점 정합의 정도를 평가하기 위해 초점 평가값을 검출하고, 복수 화상의 상기 초점 평가값들을 비교하고, 가장 큰 초점 정합 정밀값을 갖는 샘플링 화상을 선택하는 초점 정합 판정 추출 수단을 구비하는 것을 특징으로 하는 비디오 카메라.
제 3 항에 있어서, 상기 진동원 제어 수단은 액츄에이터 제어회로를 포함하고, 상기 진동구동원은 복수의 S-형 구동식 바이모프 소자로 각각 구성되는 2개의 캔틸레버식 바이모프 구조체로 구성되는 압전 액츄에이터를 포함하는 것을 특징으로 하는 비디오 카메라.