KR102510704B1

KR102510704B1 - 촬상 장치

Info

Publication number: KR102510704B1
Application number: KR1020190132774A
Authority: KR
Inventors: 나츠코 사토; 슌스케 치노; 스케 치노
Original assignee: 캐논 가부시끼가이샤
Priority date: 2018-10-30
Filing date: 2019-10-24
Publication date: 2023-03-16
Also published as: CN111200706B; KR20200049582A; CN111200706A; EP3648450A1; US11343432B2; US20200137313A1; EP3648450B1

Abstract

촬상 장치는, 이미지 센서 또는 광학계의 기울기를 조정함으로써 이미지 센서와 광학계의 광축에 직교하는 평면 사이의 틸트각을 변경하도록 구성되는 제어부, 제어부를 통해 틸트각을 변경함으로써 화상 내의 복수의 영역의 콘트라스트 평가값을 취득하도록 구성되는 평가값 취득부, 및 평가값 취득부에 의해 취득된 복수의 영역의 콘트라스트 평가값에 기초하여 복수의 영역 각각에 대한 틸트각을 결정하고 각각의 결정된 영역의 틸트각에 기초하여 틸트각을 결정하도록 구성되는 결정부를 포함한다. 제어부는 결정부에 의해 결정된 틸트각에 기초하여 이미지 센서 또는 광학계의 기울기를 조정한다.

Description

촬상 장치{IMAGING APPARATUS}

본 발명은 틸트 제어(tilt control)를 제공하도록 구성되는 촬상 장치에 관한 것이다.

하나의 종래의 감시 카메라는 천장 등의 높은 위치에 설치되는 한편, 그 광축은 도로 위를 지나는 사람을 감시하거나 또는 자동차 또는 그 면허판(번호판)을 촬상하기 위해 하방으로 비스듬히 지향된다. 카메라의 광축은 하방으로 비스듬히 지향되며 촬상에 초점이 맞춰진 초점면은 광축에 직교하기 때문에 초점면은 실제로 촬상될 피사체의 촬상면과 일치하지 않는다. 그러므로, 초점이 맞는 영역(in-focus area)은 화상의 일부가 되고, 다른 영역은 초점이 맞지 않는다. 이 문제에 대한 한가지 해결책은 광학계 또는 이미지 센서를 틸팅함으로써(이하, 틸트 제어라 칭함) 피사계의 심도를 확장하는 샤임플러그 원리(Scheimpflug principle)라 불리는 일반적으로 알려진 기술이다.

촬상 화상의 콘트라스트를 평가값으로서 사용하여 이미지 센서의 기울기를 제어하는 경우, 촬상 화상에서 평가값을 취득하기 위해 사용되는 평가 프레임의 위치가 중요해진다. 평가 프레임은 틸트 제어에서 초점이 맞는 영역에 제공되어야 하지만, 평가값을 얻는데 적합한 영역은 촬상 씬(imaging scene)에 따라 상이하다. 따라서, 틸트 제어에서 초점이 맞는 영역을 검출하고 초점이 맞는 영역에서 취득된 평가값에 기초하여 틸트각을 결정하기 위한 자동 틸트 제어가 필요하다.

일본 특허 공개 제("JP") 11-242152호는, 촬상 영역 중의 복수의 미리결정된 영역에서 얻어지는 초점 정보에 기초하여 산출되는 틸트각을 사용하여 틸트 제어를 제공하는 촬상 장치를 개시한다. JP 2017-173802는, 복수의 초점 검출 영역 각각의 초점 어긋남량에 기초하여 산출되는 틸트각을 사용하여 틸트 제어를 제공하는 촬상 장치를 개시한다.

JP 11-242152에 개시된 촬상 장치는, 복수의 획득된 틸트각의 상호 일치도가 미리결정된 값보다 낮은 경우, 틸트 제어를 금지한다. 따라서, 틸트 촬상에 의해 피사체의 심도가 더 깊어지는 촬상 씬에서도, 초점 정보를 취득하는 영역에 따라 제어가 금지될 수 있다. JP 2017-173802에 개시된 촬상 장치에서는, 사용자는 복수의 초점 검출 영역 중 초점이 맞춰질 대상을 개별적으로 지정할 수 있거나, 또는 영역은 수평 방향, 수직 방향, 또는 비스듬한 방향에 있어서의 각각의 미리설정된 그룹에 대한 모드 선택에 기초하여 결정된다. 따라서, 초점이 맞는 영역은 사용자 지정 또는 모드 선택 없이 특정될 수 없다.

본 발명은 촬상 씬에 적합한 틸트각으로 틸트 제어를 제공하도록 구성되는 촬상 장치를 제공한다.

본 발명의 일 양태에 따른 촬상 장치는, 이미지 센서 또는 광학계의 기울기를 조정함으로써 상기 이미지 센서와 상기 광학계의 광축에 직교하는 평면 사이의 틸트각을 변경하도록 구성되는 제어부; 상기 제어부를 통해 상기 틸트각을 변경함으로써 화상 내의 복수의 영역의 콘트라스트 평가값을 취득하도록 구성되는 평가값 취득부; 및 상기 평가값 취득부에 의해 취득된 상기 복수의 영역의 상기 콘트라스트 평가값에 기초하여 상기 복수의 영역 각각에 대한 상기 틸트각을 결정하며, 각각의 결정된 영역의 상기 틸트각에 기초하여 상기 틸트각을 결정하도록 구성되는 결정부를 포함한다. 제어부는 결정부에 의해 결정된 틸트각에 기초하여 이미지 센서 또는 광학계의 기울기를 조정한다.

본 발명의 추가적인 특징은 첨부된 도면을 참고한 예시적인 실시형태에 대한 이하의 설명으로부터 명확해질 것이다.

도 1은 본 발명의 일 실시형태에 따른 촬상 장치의 블록도이다.
도 2는 틸트 제어를 설명한다.
도 3a 및 도 3b는 상이한 화각을 갖는 2개의 촬상 씬을 도시한다.
도 4는 제1 실시형태에 따른 촬상 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 5a 및 도 5b는 화상에 설정된 평가 프레임을 도시한다.
도 6은 틸트 스캔의 개략도이다.
도 7a 내지 도 7d는 틸트 초점면 검출 결과 및 각각의 평가 프레임에서의 틸트 스캔 결과를 도시한다.
도 8a 및 도 8b는 제2 실시형태에 따른 촬상 장치에 의해 실행되는 처리를 도시하는 흐름도를 도시한다.
도 9는 이미지 센서 회전 축선 및 이미지 센서의 평가 프레임을 도시한다.
도 10은 틸팅된 초점면으로서 검출되는 2개의 영역을 갖는 씬을 도시한다.
도 11은 틸트 초점면으로서 검출되는 2개의 영역을 갖는 씬에 대한 틸트 초점면 검출 결과를 도시한다.
도 12는 틸트 초점면으로서 검출되는 복수의 영역이 있을 경우에 4개의 제어 방법과 제어 방법에 적합한 유스 케이스 사이의 대응을 도시한다.

이제 첨부 도면을 참고하여, 본 발명에 따른 실시형태에 대해서 설명한다. 각 도면에서 대응하는 요소에는 동일한 참조 번호가 부여되며, 그에 대한 중복하는 설명은 생략한다.

전체 구성

도 1은 본 발명의 일 실시형태에 따른 촬상 장치(1)의 블록도이다. 광학계(100)는, 광축 방향으로 이동하여 초점 거리를 변경하는 줌 렌즈(101), 초점을 맞추기 위해 광축 방향으로 이동하는 포커스 렌즈(102), 및 광량을 조정하는 조리개 유닛(103)을 포함한다. 광학계(100)는 줌 렌즈(101), 포커스 렌즈(102) 또는 조리개 유닛(103)을 반드시 포함할 필요는 없고, 다른 광학 요소를 포함할 수 있다.

광학계(100)를 통과한 광은, 대역 통과 필터(이하, BPF)(104) 및 컬러 필터(105)를 통해서 이미지 센서(106) 위에 광학 상으로서의 피사체 상을 형성한다. BPF(104)는 광학계(100)의 광로 안으로 삽입되고 그로부터 퇴출될 수 있다. 피사체 상은 이미지 센서(106)에 의해 광전 변환된다.

이미지 센서(106)로부터 출력되는 아날로그 전기 신호(촬상 신호)는, AGC(107)에 의해 게인-제어되고, A/D 변환기(108)에 의해 디지털 신호로 변환되며, 그후 카메라 신호 처리부(109)에 입력된다. 카메라 신호 처리부(109)는, 디지털 촬상 신호에 대하여 각종 화상 처리를 행하여 영상 신호를 생성한다. 영상 신호는, 통신부(110)를 통해서 촬상 장치(1)에 유선 통신 또는 무선 통신에 의해 연결된 감시 유닛(111)에 출력된다.

평가값 산출부(112)는, 화상 내에 설정된 각각의 평가 프레임에 대해 A/D 변환기(108) 또는 카메라 신호 처리부(109)로부터 RGB 화소값 또는 휘도값을 수신하고, 틸트 제어 및 AF 제어에서 사용되는 특정 주파수의 콘트라스트에 관한 평가값을 산출한다.

틸트 초점면 검출부(113)는, 평가값 산출부(112)에 의해 산출된 각각의 평가 프레임의 평가값에 기초하여, 틸트 제어에서 초점이 맞는 영역(이하, 틸트 초점면)을 검출한다.

틸트각 산출부(114)는, 틸트 초점면 검출부(113)에 의해 검출된 틸트 초점면에 존재하는 평가 프레임의 평가값에 기초하여 틸트각을 산출한다.

틸트/줌/포커스 제어부(115)는, 외부 커맨드에 대응하는 통신부(110)로부터의 지시 및 틸트각 산출부(114)에 의해 산출된 틸트각에 기초하여 이미지 센서 구동부(116), 포커스 구동부(117) 및 줌 구동부(118)를 제어한다. 더 구체적으로는, 이미지 센서 구동부(116), 포커스 구동부(117) 및 줌 구동부(118) 각각에 대하여 틸트각 설정 위치, 포커스 설정 위치 및 줌 설정 위치가 지시된다.

이미지 센서 구동부(116)는, 틸트/줌/포커스 제어부(115)로부터 지시된 틸트각 설정 위치에 기초하여 이미지 센서 회전 축선을 중심으로 이미지 센서(106)를 틸팅한다. 본 실시형태는, 이미지 센서(106)를 틸팅하는 이미지 센서 회전 축선을 도 9에 도시된 바와 같이 화상의 중심에 제공한다.

포커스 구동부(117)는, 틸트/줌/포커스 제어부(115)로부터 지시된 포커스 설정 위치에 기초하여 포커스 렌즈(102)의 위치를 제어한다.

줌 구동 유닛(118)은, 틸트/줌/포커스 제어부(115)으로부터 지시된 줌 설정 위치에 기초하여 줌 렌즈(101)의 위치를 제어한다.

여기서, 틸트 제어는, 광학계(100) 또는 이미지 센서(106)를 틸팅이고, 틸트 초점면을 지면 등의 평면으로 조정하는 제어이다. 도 2는, 틸트 제어를 설명하며, 기울어진 이미지 센서(106)를 도시한다. 틸트 제어는 미리결정된 평면에 대해서 근거리 파사체 내지 원거리 피사체가 피사계 심도 내에 위치되게 하고 초점이 맞는 상태를 유지할 수 있게 한다.

f가 렌즈의 초점 거리이고, L이 피사체 거리이며, α가 광축과 초점면 사이의 각도(앙각(elevation angle))인 경우, 틸트각(b)은 샤임플러그 원리에 기초하여 이하의 식 (1)에 의해 산출된다.

b = tan^-1(f/(Ltanα)) (1)

샤임플러그 원리에 따르면, 광학계의 주면과 이미지 센서의 촬상면이 단일 직선과 교차하는 경우, 초점면 또한 동일한 직선에서 교차한다. 따라서, 광학계와 이미지 센서가 서로 평행할 때 화상의 일부만이 초점이 맞춰지는 경우, 광학계 또는 이미지 센서를 기울임으로써 화상의 더 넓은 영역이 초점이 맞춰진다. 도 2에 도시된 바와 같이, 이미지 센서를 틸트각(b)만큼 기울인 경우, 틸트 초점면은 단일 평면이 된다. 따라서, 틸트 제어를 위한 평가 프레임은 틸트 초점면인 단일 평면 영역 내에 설정될 수 있다.

그러나, 촬상 씬에 따라 틸트 초점면이 상이하다. 도 3a 및 도 3b는 상이한 화각을 갖는 2개의 촬상 씬을 도시한다. 도 3a의 화상(301-1)에서는, 틸트 초점면(301-2)이 넓은 영역을 차지하고, 좌우의 상부 코너를 제외하는 영역이 평가값을 얻는데 적합하다. 한편, 도 3b의 화상(302-1)에서는, 틸트 초점면(302-2)이 초점면(301-2)의 약 절반이고, 좌측 상부에서 평가값을 취득하는 경우, 틸트 제어는 잘 실행될 수 없다. 틸트 초점면은 따라서 각각의 촬상 씬에 따라 상이하다. 촬상 씬에 따라 틸트 제어를 수행하기 위해서는, 각각의 촬상 씬에 대해 틸트 초점면을 검출하고, 검출된 틸트 초점면에서 취득된 평가값에 기초하여 틸트각을 결정할 필요가 있다.

제1 실시형태

각각의 촬상 씬마다 틸트 초점면을 검출하는 다수의 방법이 존재한다. 예를 들어, 그들 중 하나는 화상의 복수 영역 각각마다 취득된 평가값에 기초하여 틸트 초점면을 검출하는 것이다. 본 실시형태는, 콘트라스트를 평가값으로서 취득하고, 취득된 평가값에 기초하여 틸트 초점면을 검출한다. 그리고, 검출된 틸트 초점면에 적합한 틸트각을 결정한다.

이제 도 4를 참조하여, 본 실시형태에 따른 촬상 장치(1)에 의해 실행되는 처리에 대해서 설명한다. 도 4는 촬상 장치(1)에 의해 실행되는 처리를 도시하는 흐름도이다.

단계 S401에서는, 틸트/줌/포커스 제어부(115)는 포커스 구동 유닛(117)을 통해서 포커스 렌즈(102)를 구동하여 화상의 중심에 초점을 맞춘다. 초점 맞춤은 오토 포커싱(이하, AF) 또는 매뉴얼 포커싱(이하, MF)에 의해 실행될 수 있다.

단계 S402에서는, 틸트/줌/포커스 제어부(115)은 화상에 복수의 평가 프레임을 설정한다. 도 5a 및 도 5b는 화상에 설정된 평가 프레임을 도시한다. 도 5a는 도 3a의 화상(301-1)에 설정된 평가 프레임(501)을 도시한다. 도 5b는 도 3b의 화상(302-1)에 설정된 평가 프레임(502)을 도시한다. 도 5a 및 도 5b에서는, 각각의 촬상 화상이 4개의 열 및 8개의 행으로 분할되지만, 분할 방법은 본 예로 한정되지 않는다. 평가 프레임은 화소 단위로 분할될 수 있다. 즉, 각각의 평가 프레임은 1개 이상의 화소를 포함할 수 있다.

단계 S403에서는, 평가값 산출부(112)는 틸트 스캔을 행한다. 도 6은 틸트 스캔의 개략도이다. 틸트 스캔은, 이미지 센서(106)의 틸트각을 변경하면서, 단계 S402에서 설정된 각각의 평가 프레임마다 콘트라스트에 관한 평가값을 취득하는 제어이다. 평가값(601)은, 미리결정된 촬상 씬의 미리결정된 평가 프레임에서 얻어지는 콘트라스트에 관한 평가값이다. 평가값 피크(602)는 평가값(601) 중 최대(또는 최고)값이다. 평가값(601)이 얻어지는 평가 프레임에서, 평가값 피크(602)를 제공하는 틸트각이 초점이 맞는 틸트각(이하, 최적 틸트각)(603)이다.

도 7a 내지 도 7d는 틸트 초점면 검출 결과와 각각의 평가 프레임에 대한 틸트 스캔 결과를 도시한다. 각각의 평가 프레임에서 도 7a의 화상(701-1)에 대해 틸트 스캔을 행하면, 도 7b의 틸트 스캔 결과(701-3)가 얻어진다. 각각의 평가 프레임에서 도 7c의 화상(702-1)에 대해 틸트 스캔을 행하면, 도 7d의 틸트 스캔 결과(702-3)가 얻어진다. 양 화상에 대해서, 틸트 초점면 상의 평가 프레임에서 동일한 최적 틸트각(603)이 취득된다. 한편, 높이가 있는 피사체가 존재하는 평가 프레임에서는, 틸트 초점면 영역에 대한 것과 상이한 최적 틸트각(603)이 취득된다.

단계 S404에서는, 틸트 초점면 검출부(113)는 단계 S403에서 얻어진 각각의 평가 프레임에서의 최적 틸트각(603)을 유지한다.

단계 S405에서는, 틸트 초점면 검출부(113)는 단계 S404에서 유지된 각각의 평가 프레임에서의 최적 틸트각(603)에 기초하여 틸트 초점면을 검출한다. 틸트 초점면 검출부(113)는, 동일 평면에서는 최적 틸트각이 서로 일치한다는 사실을 이용하며, 각각의 평가 프레임에서의 최적 틸트각이 서로 일치하는지의 여부를 판정(이하, 최적 틸트각 일치 판정)한다. 최적 틸트각이 가장 많이 일치하는 영역이 틸트 초점면으로서 검출된다. 도 7b의 틸트 스캔 결과(701-3)에 기초하여, 최적 틸트각 일치 판정을 행한 결과는, 최적 틸트각이 가장 많이 일치하는 평가 프레임(701-4)이다. 도 7d의 틸트 스캔 결과(702-3)에 기초하여, 최적 틸트각 일치 판정을 행한 결과는, 최적 틸트각이 가장 많이 일치하는 평가 프레임(702-4)이다. 최적 틸트각 가장 많이 일치하는 평가 프레임(701-4 및 702-4)을 화상(701-1 및 701-2)에 중첩시킨 영역이 틸트 초점면(701-2 및 702-2)이다. 이와 같이, 최적 틸트각 일치 판정을 행함으로써, 틸트 초점면을 갖는 평가 프레임만을 검출할 수 있다. 높이가 있는 피사체가 존재하고, 따라서 틸트각 산출에 부적합한 평가값을 갖는 평가 프레임 영역을 제거할 수 있다.

본 실시형태에서는, 최적 틸트각 일치 판정은, 최적 틸트각이 완전히 일치하는 경우뿐만 아니라, 최적 틸트각이 미리결정된 각도 범위 내에 존재하는 실질적으로 일치하는 경우도 포함한다. 따라서, 최적 틸트각 일치 판정에 의해 동일한 종류의 최적 틸트각이 가장 많이 존재하는 각도 범위(이하, 최다 일치를 갖는 각도 범위)가 얻어진다. 각도 범위는, 초점 거리, 피사체 거리, 센서 사이즈, 온도, 습도 및 광원 중 적어도 하나를 사용하여 산출되는 초점 심도에 기초하여 결정될 수 있다.

단계 S406에서는, 틸트각 산출부(114)는 단계 S405에서 얻어진 최다 일치를 갖는 각도 범위를 유지한다.

단계 S407에서는, 틸트/줌/포커스 제어부(115)은, 단계 S406에서 유지된 최다 일치를 갖는 각도 범위 내에 틸트각이 위치되도록, 이미지 센서(106)를 구동시키는 틸트 제어를 행한다. 본 실시형태에서는, 틸트/줌/포커스 제어부(115)는, 틸트 제어를 위한 틸트각을, 최다 일치를 갖는 각도 범위에 포함되는 최적 틸트각의 최소값, 최대값, 평균값, 및 평가값 피크의 절대값이 큰 최적 틸트각 중 적어도 하나에 기초하여 결정한다. 그 값은 큰 값을 갖는 최적 틸트각 중 적어도 하나에 기초하여 결정된다. 평균값은, 각각의 평가 프레임에서 얻어진 평가값의 최대값과 최소값, 및 더 큰 차이를 갖는 평가 프레임의 최적 틸트각이 더 유리할 수 있도록 하는 가중치가 부여된 값에 기초하여 산출될 수 있다. 또한, 평균값은, 각 평가 프레임에서 취득된 평가값의 피크 형상에 기초하여, 더 가파른 피크를 갖는 평가 프레임의 최적 틸트각이 더 유리할 수 있도록 하는 가중치가 부여된 값에 의해 산출될 수 있다.

이상 설명한 바와 같이, 본 실시형태는, 틸트 초점면을 검출하고, 틸트 제어에 사용되는 틸트각을 결정함으로써, 상이한 구도를 갖는 촬상 씬에서도 틸트 초점면에 적합한 틸트각을 취득한다. 그러므로, 초점면에 적합한 자동 틸트 제어가 수행될 수 있다.

본 실시형태는 이미지 센서(106)를 틸팅하지만, 본 발명은 본 실시형태로 제한되지 않는다. 본 발명 의 효과는 광학계(100)의 기울기를 제어하도록 구성되는 제어부(도시되지 않음)를 통해 광학계를 틸팅하거나 또는 이미지 센서(106) 및 광학계(100)의 양자 모두를 틸팅함으로써 획득될 수도 있다.

제2 실시형태

본 실시형태는, 정확한 최적 틸트각을 얻는데 어려움이 있는(또는 신뢰도가 낮은 최적 틸트각이 산출되는) 그리고 최적 틸트각 일치 판정에 노이즈를 유발하는 평가 프레임을 제외하면서 틸트 제어를 행한다.

이제 도 8a 및 도 8b를 참조하면, 본 실시형태에 따른 촬상 장치(1)에 의해 실행되는 처리에 대해서 설명한다. 도 8a 및 도 8b는 촬상 장치(1)에 의해 실행되는 처리를 예시하는 흐름도를 도시한다. 제1 실시형태의 도 4의 흐름도와 공통되는 처리에 대한 상세한 설명은 생략한다.

단계 S801에서는, 틸트/줌/포커스 제어부(115)는, 포커스 구동 유닛(117)을 통해서 포커스 렌즈(102)를 구동하여, 화상의 중심에 초점을 맞춘다.

단계 S802에서는, 틸트/줌/포커스 제어부(115)는 화상 내에 복수의 평가 프레임을 설정한다.

단계 S803에서는, 평가값 산출부(112)는 틸트 스캔을 행한다.

단계 S804에서는, 틸트 초점면 검출부(113)는 단계 S803에서 얻어진 각각의 평가 프레임에서의 최적 틸트각(603)을 유지한다.

단계 S805에서는, 틸트/줌/포커스 제어부(115)는 단계 S802에서 설정된 평가 프레임이 이미지 센서 회전 축선 부근의 평가 프레임인지의 여부를 판정한다. 단계 S802에서 설정된 평가 프레임이 이미지 센서 회전 축선 부근의 평가 프레임일 경우, 흐름은 단계 S809로 진행한다. 평가 프레임이 이미지 센서 회전 축선 부근에 있지 않을 경우, 흐름은 단계 S806로 진행한다.

도 9는, 이미지 센서(106)의 이미지 센서 회전 축선과 평가 프레임을 도시하는 도면이다. 도 9에 나타나는 이미지 센서 회전 축선 주위로 이미지 센서(106)를 틸팅시킬 경우, 이미지 센서 회전 축선으로부터 더 먼 영역(평가 프레임 1 내지 4 및 29 내지 32)일수록, 이미지 센서(106)를 틸팅시키는 것에 의한 평가값의 변화가 더 크다. 이미지 센서 회전 축선에 가까운 영역(평가 프레임 13-20)일수록, 이미지 센서(106)를 틸팅시키는 것에 의한 평가값의 변화는 작다. 이는, 단계 S801에서 이미지 센서 회전 축선이 초점이 맞춰져 있고, 이 영역에서는 초점이 맞춰진 상태가 유지되기 때문이다. 따라서, 이미지 센서 회전 축선에 가까운 영역의 평가 프레임에서는 단계 S804에서 정확한 최적 틸트각을 얻기가 어렵고, 이는 단계 S812의 최적 틸트각 일치 판정을 행할 때에 노이즈를 유발할 수 있다. 본 실시형태는, 이미지 센서 회전 축선에 가까운 것으로 판정된 평가 프레임을, 최적 틸트각 일치 판정의 대상(틸트 초점면 검출부(113)에 의해 판정되는 평가 프레임)으로부터 제외한다.

단계 S806에서는, 틸트/줌/포커스 제어부(115)는, 단계 S802에서 설정된 평가 프레임이 단계 S803에서 취득된 틸트 스캔 결과에 기초하여 콘트라스트가 낮은 영역으로 설정된 평가 프레임인지의 여부를 판정한다. 더 구체적으로는, 틸트/줌/포커스 제어부(115)는, 단계 S803에서 취득된 평가값의 최대값과 최소값 사이의 차이값이 미리결정된 값보다 작은지의 여부를 판정한다. 차이값이 미리결정된 값보다 작은 경우, 흐름은 단계 S809로 진행되고, 미리결정된 값보다 큰 경우, 흐름은 단계 S807로 진행된다. 차이값이 미리결정된 값과 동일한 경우, 어느 단계로 진행할지는 임의로 설정될 수 있다.

도 9의 평가 프레임(21, 24, 25, 28, 29, 및 32)에서와 같이, 평가 프레임이 균일하고, 콘트라스트가 평가될 피사체가 없는 경우, 단계 S804에서 정확한 최적 틸트각을 얻는 것이 어려울 수 있다. 따라서, 단계 S803에서 취득된 평가값의 최대값과 최소값 사이의 차이값이 미리결정된 값 미만이라고 판정된 평가 프레임은 최적 틸트각 일치 판정의 대상으로부터 제외된다.

단계 S807에서는, 틸트/줌/포커스 제어부(115)는, 단계 S803에서 취득된 틸트 스캔의 결과에 기초하여, 단계 S802에서 설정된 평가 프레임이 복수의 평가값 피크를 갖는지의 여부를 판정한다. 단계 S802에서 설정된 평가 프레임이 복수의 평가값 피크를 갖는 경우, 흐름은 단계 S809로 진행한다. 평가 프레임이 복수의 평가값 피크를 갖지 않거나 하나의 평가값 피크만을 갖는 경우, 흐름은 단계 S808로 진행한다.

외란의 영향에 의해, 평가값 피크(602)가 얻어지는 틸트각이 정확한 최적 틸트각(603)과 상이할 수 있다. 따라서, 복수의 평가값 피크를 갖는 평가 프레임은 최적 틸트각 일치 판정의 대상으로부터 제외된다.

단계 S808에서는, 틸트/줌/포커스 제어부(115)는, 각각의 평가 프레임에서 얻어지는 화상 정보에 기초하여, 단계 S802에서 설정된 평가 프레임이 휘도값이 미리결정된 값 이상인 피사체를 갖는지의 여부를 판정한다. 단계 S802에서 설정된 평가 프레임이 미리결정된 값 이상의 휘도값을 갖는 피사체를 갖는 경우, 흐름은 단계 S809로 진행하며, 평가 프레임이 미리결정된 값 이상의 휘도값을 갖는 피사체를 갖지 않는 경우, 흐름은 단계 S812로 진행한다.

점 광원과 같은 피사체의 경우, 콘트라스트를 평가값으로서 사용한 초점 맞음 판정에서는 흐려진 상태에서 더 높은 평가값이 얻어질 수 있다. 평가 프레임에 점 광원과 같은 높은 휘도값을 갖는 피사체가 있는 경우, 단계 S804에서 정확한 최적 틸트각을 얻는 것이 어렵다. 따라서, 휘도값이 미리결정된 값 이상인 피사체를 갖는다고 판정된 평가 프레임은 최적 틸트각 일치 판정의 대상으로부터 제외된다.

단계 S809에서는, 틸트/줌/포커스 제어부(115)는, 단계 S805 내지 단계 S808에서 제외 대상이 되지 않는 평가 프레임이 남아 있는지의 여부를 판정한다. 제외 대상이 되지 않는 평가 프레임이 남아 있는 경우, 흐름은 단계 S810로 진행하고, 제외 대상이 되지 않는 평가 프레임이 남아 있지 않을 경우, 흐름은 단계 S811로 진행한다.

단계 S810에서는, 틸트/줌/포커스 제어부(115)는, 제외 대상의 평가 프레임을, 후술하는 단계 S812에서의 최적 틸트각 일치 판정의 대상으로부터 제외한다.

단계 S811에서는, 틸트/줌/포커스 제어부(115)는, 단계 S806 및 단계 S808에서 사용되는 각종 미리결정된 값의 설정을 변경한다. 단계 S806 및 단계 S808에서 사용되는 미리결정된 값은, 전회에 설정된 미리결정된 값보다도 작아지도록 설정된다.

단계 S812에서는, 틸트 초점면 검출부(113)는, 단계 S810에서 제외된 평가 프레임 이외의 평가 프레임을 사용하여 최적 틸트각 일치 판정을 행한다.

단계 S813에서는, 틸트각 산출부(114)는 단계 S812에서 얻어진 최다 일치를 갖는 각도 범위를 유지한다.

단계 S814에서는, 틸트/줌/포커스 제어부(115)는, 단계 S406에서 유지된 최다 일치를 갖는 각도 범위 내에 틸트각이 위치되도록, 이미지 센서(106)를 구동시키는 틸트 제어를 행한다.

이상 설명한 바와 같이, 본 실시형태는, 정확한 틸트각을 제공하는데 어려움을 갖는 평가 프레임을 제외한 후에 최적 틸트각 일치 판정을 행함으로써, 더 고정밀도로 초점면에 적합한 틸트각을 얻을 수 있다.

제3 실시형태

제1 및 제2 실시형태는 촬상 씬에 하나의 틸트 초점면만이 있는 경우를 나타내지만, 실제로는 틸트 초점면으로서 검출되는 2개 이상의 영역이 있을 수 있다. 그러나, 틸트 초점면으로서 검출되는 복수의 영역이 존재하는 경우, 모든 영역에 대하여 초점을 맞출 수는 없다. 본 실시형태는, 촬상 씬에 초점면으로서 검출되는 영역이 복수 존재하는 경우의 제어를 제공한다.

도 10은 틸트 초점면으로서 검출되는 영역이 2개 있는 예시적인 씬을 도시한다. 여기에서는, 통로와 에스컬레이터의 영역이 틸트 초점면으로서 검출되는 영역에 대응한다. 도 11은, 도 10의 씬에 대하여, 제1 및 제2 실시형태의 단계 S405 및 S812에 나타낸 최적 틸트각 일치 판정을 행한 결과로서 틸트 초점면으로서 검출된 2개의 영역을 도시한다. 틸트 초점면으로서 검출된 2개의 영역(1101-1 및 1101-2)은 각각 통로 영역과 에스컬레이터 영역에 대응하며, 양자 모두 8개의 평가 프레임에 대응하는 동일한 최적 틸트각을 갖는다. 이와 같이, 최적 틸트각 일치 판정에서 상이한 최적 틸트각을 갖는 평가 프레임이 동일한 수씩 서로 일치하는 경우, 이 씬은 틸트 초점면으로서 검출되는 복수의 영역을 갖는다.

도 12는, 틸트 초점면으로서 검출되는 복수의 영역이 존재하는 경우에 4개의 제어 방법과 제어 방법에 적합한 유스 케이스 사이의 대응을 도시하는 테이블이다.

제1 제어 방법은 평가 프레임이 동일한 수씩 서로 일치한다고 판정된 복수의 최적 틸트각 중 최대의 최적 틸트각을 설정하는 제어이다. 이때, 도 10의 예시적인 씬에서는, 최대 최적 틸트각을 설정하는 제어를 통해 통로 영역(1101-1)이 초점이 맞춰질 수 있다. 더 높은 최적 틸트각을 사용하는 이유는, 더 높은 최적 틸트각에 의한 제어는 더 작은 최적 틸트각에 의한 제어보다 더 깊은 심도를 제공할 수 있어, 더 높은 틸트 제어 효과를 얻을 수 있기 때문이다. 따라서, 항상 더 깊은 심도에 우선순위를 두는 촬상 씬에 대해서는 이 제어 방법이 적합하다.

제2 제어 방법은 평가 프레임이 동일한 수씩 서로 일치한다고 판정된 복수의 최적 틸트각 중 최저 최적 틸트각을 설정하는 제어이다. 도 10의 예시적인 씬에서는 에스컬레이터 영역(1101-2)이 초점이 맞춰질 수 있다. 더 낮은 최적 틸트각을 사용하는 이유는, 틸트 제어에 의해 발생하는, 틸트 초점면에 대하여 수직 방향의 흐려짐을 억제하기 위해서이다. 초점면과 흐려짐 발생 방향은 항상 서로 직교하며, 초점면이 지면에 대하여 수평면일 경우, 흐려짐 발생 방향은 지면에 직교한다. 즉, 틸트 제어에서 틸트각을 더 높게 하여 틸트 초점면을 수평면에 근접시킬수록, 수직을 긴 피사체에 대하여 흐려짐이 증가한다. 따라서, 이 제어 방법은 수직으로 긴 피사체를 갖는 촬상 씬과 같이, 틸트 초점면에 대하여 수직 방향 흐려짐을 억제하는데 우선순위를 두는 촬상 씬에 적합하다.

제3 제어 방법은, 평가 프레임이 동일한 수씩 서로 일치한다고 판정된 복수의 최적 틸트각의 평균값을 산출하고, 산출된 틸트각을 설정하는 제어이다. 평균값의 산출은 취득된 최적 틸트각에 가중치를 부여하여 얻어진 값을 사용할 수 있다. 도 10의 예시적인 씬에서는, 통로 영역(1101-1) 및 에스컬레이터 영역(1101-2)의 양자 모두는 적절히 증가된 심도를 가질 수 있다. 제1 및 제2 제어 방법은, 틸트 초점면으로서 검출된 영역 중 최종적으로 틸트 초점면으로서 검출되지 않은 영역에 대해서는 큰 흐려짐 양을 발생시킬 수 있는 반면, 이 제어 방법은 틸트 초점면으로서 검출된 어느 영역에 대하여도 큰 흐려짐 양을 억제할 수 있다. 따라서, 이 제어 방법은 넓은 범위에서 초점이 맞는 것에 우선순위를 두는 촬상 씬에 대해 적합하다.

제4 제어 방법은, 틸트 초점면으로서 검출된 복수의 영역 중 초점이 맞춰질 영역을 사용자가 선택하게 하고, 선택된 영역의 틸트각을 설정하는 제어이다. 사용자가 영역을 선택하면, 틸트 초점면으로서 검출된 복수 영역이 사용자가 볼 수 있는 영상 상에 표시하고, 복수 영역 중 1개를 사용자가 선택할 수 있도록 UI가 제공된다. 도 10의 예시적인 씬에서는, 사용자가 주시하고 싶은 영역이 에스컬레이터 영역(1101-2)일 경우에는, 에스컬레이터 영역(1101-2)에 초점이 맞춰질 수 있다. 제1, 제2 및 제3 제어 방법은 사용자가 의도하는 영역에 초점을 맞출 수 없는 반면, 이 제어 방법은 사용자가 의도한 영역에 초점을 맞추는 것을 보장한다. 따라서, 이 제어 방법은 사용자가 주시하고 싶은 영역이 결정되어 있는 경우에 적합하다.

상기 4개의 제어 방법 중 어느 제어 방법을 따를지는, 사용자 설정에 의해 결정될 수 있거나, 또는 촬상 장치에 의해 자동으로 결정될 수 있다.

이상 설명한 바와 같이, 본 실시형태는, 틸트 제어에서 촬상 씬에 초점이 맞는 영역이 복수 존재하는 경우, 더 깊은 심도에 우선순위를 두는 케이스, 틸트 초점면에 대하여 수직 방향의 흐려짐을 억제하는 데 우선순위를 두는 케이스, 넓은 범위에서 초점이 맞는 것이 우선순위를 두는 케이스, 및 주시하고 싶은 영역이 결정되어 있는 케이스와 같은 유스 케이스에 적합한 다양한 틸트 제어를 제공할 수 있다.

본 발명을 예시적인 실시형태를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시형태로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims

촬상 장치로서,
이미지 센서 또는 광학계의 기울기를 조정함으로써 상기 이미지 센서와 상기 광학계의 광축에 직교하는 평면 사이의 틸트각을 변경하도록 구성되는 제어부;
상기 제어부를 통해 상기 틸트각을 변경함으로써 화상 내의 복수의 영역 각각에 대해 영역 콘트라스트 평가값을 취득하도록 구성되는 평가값 취득부; 및
상기 복수의 영역 각각에 대해, 상기 복수의 영역 각각에 대응하는 상기 영역 콘트라스트 평가값에 기초하여, 상기 영역 콘트라스트 평가값 중 최대 평가값에 대응하는 영역 틸트각을 결정하고, 복수의 상기 영역 틸트각에 기초하여 목표 틸트각을 결정하도록 구성되는 결정부를 포함하는 촬상 장치에 있어서,
상기 제어부는 상기 결정부에 의해 결정된 상기 목표 틸트각에 기초하여 상기 이미지 센서 또는 상기 광학계의 상기 기울기를 조정하고,
상기 결정부는, 결정된 상기 영역 틸트각들 중 최다 영역 틸트각이 포함되는 미리결정된 각도 범위 내에서 상기 목표 틸트각을 결정하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서, 상기 복수의 영역 각각은 하나 이상의 화소를 포함하는 것을 특징으로 하는 촬상 장치.
제2항에 있어서, 상기 미리결정된 각도 범위는 초점 거리, 피사체 거리, 상기 이미지 센서의 사이즈, 광원, 온도 및 습도 중 적어도 하나를 사용하여 산출되는 초점 심도에 기초하여 결정되는 것을 특징으로 하는 촬상 장치.
제2항에 있어서, 상기 결정부는 상기 복수의 영역 틸트각 중에서 상기 최다 영역 틸트각이 존재하는 미리결정된 각도 범위에 속하는 틸트각을 결정하는 것을 특징으로 하는 촬상 장치.
제4항에 있어서, 상기 결정부는 상기 미리결정된 각도 범위 중에서 최소값, 최대값, 평균값, 및 상기 최대 평가값의 절대값이 미리결정된 값보다 큰 값에 대응하는 영역 틸트각 중 적어도 하나에 기초하여 상기 목표 틸트각을 산출하는 것을 특징으로 하는 촬상 장치.
제5항에 있어서, 상기 평균값은 상기 최대값과 상기 최소값 사이에서 미리결정된 값보다 큰 차이를 갖는 평가값에 대응하는 영역 틸트각이 유리할 수 있도록 가중치를 부여함으로써 산출되는 것을 특징으로 하는 촬상 장치.
제6항에 있어서, 가파른 피크 형상을 갖는 평가값에 대응하는 영역 틸트각이 유리할 수 있도록 가중치를 부여함으로써 평균값을 산출하는 것을 특징으로 하는 촬상 장치.
제2항에 있어서, 상기 제어부는, 상기 결정부에 의해 결정된 상기 영역으로부터, 상기 복수의 영역 중 낮은 신뢰도를 갖는 영역 틸트각이 얻어지는 영역을 제외하는 것을 특징으로 하는 촬상 장치.
제8항에 있어서, 상기 제어부는 상기 이미지 센서의 회전 축선 부근의 영역을 상기 낮은 신뢰도를 갖는 상기 영역 틸트각이 얻어지는 상기 영역으로서 결정하는 것을 특징으로 하는 촬상 장치.
제8항에 있어서, 상기 제어부는, 상기 평가값의 최대값과 최소값 사이의 차이값이 미리결정된 값보다 작다고 결정되는 영역을, 상기 낮은 신뢰도를 갖는 상기 영역 틸트각이 얻어지는 상기 영역으로서 결정하는 것을 특징으로 하는 촬상 장치.
제8항에 있어서, 상기 제어부는, 상기 평가값의 복수의 피크를 갖는 것으로 결정된 영역을, 상기 낮은 신뢰도를 갖는 상기 영역 틸트각이 얻어지는 상기 영역으로서 결정하는 것을 특징으로 하는 촬상 장치.
제8항에 있어서, 상기 제어부는, 미리결정된 값 이상의 휘도값을 갖는 피사체를 갖는 것으로 결정된 영역을, 상기 낮은 신뢰도를 갖는 상기 영역 틸트각이 얻어지는 상기 영역으로서 결정하는 것을 특징으로 하는 촬상 장치.
촬상 장치용 제어 방법으로서,
상기 제어 방법은,
이미지 센서 또는 광학계의 기울기를 조정함으로써 상기 이미지 센서와 상기 광학계의 광축에 직교하는 평면 사이의 틸트각을 변경하는 단계;
상기 틸트각을 변경함으로써 화상 내의 복수의 영역 각각에 대해 영역 콘트라스트 평가값을 취득하는 단계;
상기 복수의 영역 각각에 대해, 상기 복수의 영역 각각에 대응하는 상기 영역 콘트라스트 평가값에 기초하여, 상기 영역 콘트라스트 평가값 중 최대 평가값에 대응하는 영역 틸트각을 결정하는 단계; 및
복수의 상기 영역 틸트각에 기초하여 목표 틸트각을 결정하는 단계를 포함하고,
결정된 상기 목표 틸트각에 기초하여 상기 이미지 센서 또는 상기 광학계의 상기 기울기가 조정되고,
결정된 상기 영역 틸트각들 중 최다 영역 틸트각이 포함되는 미리결정된 각도 범위 내에서 상기 목표 틸트각이 결정되는 것을 특징으로 하는 제어 방법.
촬상 장치의 컴퓨터로 하여금 제어 방법을 실행하도록 하는 컴퓨터 프로그램을 저장한 비일시적 컴퓨터 판독 가능 저장 매체로서,
상기 제어 방법은,
이미지 센서 또는 광학계의 기울기를 조정함으로써 상기 이미지 센서와 상기 광학계의 광축에 직교하는 평면 사이의 틸트각을 변경하는 단계;
상기 틸트각을 변경함으로써 화상 내의 복수의 영역 각각에 대해 영역 콘트라스트 평가값을 취득하는 단계;
상기 복수의 영역 각각에 대해, 상기 복수의 영역 각각에 대응하는 상기 영역 콘트라스트 평가값에 기초하여, 상기 영역 콘트라스트 평가값 중 최대 평가값에 대응하는 영역 틸트각을 결정하는 단계; 및
복수의 상기 영역 틸트각에 기초하여 목표 틸트각을 결정하는 단계를 포함하고,
결정된 상기 목표 틸트각에 기초하여 상기 이미지 센서 또는 상기 광학계의 상기 기울기가 조정되고,
결정된 상기 영역 틸트각들 중 최다 영역 틸트각이 포함되는 미리결정된 각도 범위 내에서 상기 목표 틸트각이 결정되는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
삭제