KR20100064388A - 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체 - Google Patents

촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체 Download PDF

Info

Publication number
KR20100064388A
KR20100064388A KR1020107009764A KR20107009764A KR20100064388A KR 20100064388 A KR20100064388 A KR 20100064388A KR 1020107009764 A KR1020107009764 A KR 1020107009764A KR 20107009764 A KR20107009764 A KR 20107009764A KR 20100064388 A KR20100064388 A KR 20100064388A
Authority
KR
South Korea
Prior art keywords
illuminance
exposure amount
luminance
space
image
Prior art date
Application number
KR1020107009764A
Other languages
English (en)
Other versions
KR101097017B1 (ko
Inventor
노조미 스에노부
에이고 세가와
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20100064388A publication Critical patent/KR20100064388A/ko
Application granted granted Critical
Publication of KR101097017B1 publication Critical patent/KR101097017B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

촬상 장치(100)는, 화상 인식 장치(130)가 감시 대상으로 되는 물체를 검출하고, 검출한 물체에 대한 인식 처리를 실행하여 대상 휘도 및 대상 좌표를 산출하고, 제어 장치(140)가 대상 휘도 및 대상 좌표에 기초하여, 물체가 실재하는 공간에서의 위치와 조도를 산출하고, 산출한 위치와 조도 및 현재의 카메라 파라미터에 기초하여 카메라 파라미터를 산출하고, 산출한 카메라 파라미터에 의해 영상 촬영 장치(120)의 카메라 파라미터를 제어하여 노광량을 조정한다.

Description

촬상 장치, 촬상 방법 및 촬상 프로그램{IMAGING DEVICE, IMAGING METHOD, AND IMAGING PROGRAM}
본 발명은, 물체를 검출하여 촬영을 행하는 촬상 장치, 촬상 방법 및 촬상 프로그램에 관한 것이다.
종래의 화상 감시에서는, 감시 대상으로 되는 물체를 검출하고, 검출한 물체가 어떠한 것인지의 인식이나, 물체에 쓰여진 문자의 판독 등을 행하고 있다(예를 들면, 특허 문헌 1, 특허 문헌 2 등 참조). 이 화상 감시에서, 높은 인식률(물체의 인식에 성공하는 비율)을 얻기 위해서는, 인식하는 물체 그 자체를 인식에 적합한 휘도로 되도록 촬영할 필요가 있다.
특히, 옥외에서의 화상 감시 등에서는, 날씨의 일조 상황 등에서 조도 환경이 시시각각 변화하고 있고, 이와 같은 조도 환경 하에서도 높은 인식률을 얻기 위해서는, 항상 물체가 인식에 적합한 휘도로 촬영되도록, 촬영 장치에 입사하는 광의 양(노광량)을 조정할 필요가 있다.
지금까지의 화상 감시에서의 휘도 조정에서는, 시간에 의한 조도 변동은 있어도, 임의의 시각에서의 감시 범위 내의 조도 분포는 균일하다고 하는, 암묵의 대전제가 있었다. 예를 들면, 특허 문헌 1에서는, 도로를 통행하는 차량의 넘버 플레이트에 쓰여진 문자를 정확하게 판독하기 위해, 검출한 대상(넘버 플레이트)의 휘도가 소정값으로 되도록, 렌즈의 조리개 등의 카메라 파라미터를 제어하고 있다.
여기서는, 감시 범위 내의 조도 분포가 균일하다고 하는 전제로부터, 임의의 환경 하에서 촬영된 대상의 휘도는, 대상이 화면 내 중 어느 위치에 있어도, 예를 들면, 차량이 도로의 어디를 통과하여도, 일정하다고 말할 수 있다. 도 15는, 종래의 화상 감시의 예를 도시한 도면이다. 도 15에서는, 노상에 설치된 카메라로부터 감시 범위를 통과하는 차량을 검출하고 있지만, 조도가 균일한 경우에는, 촬영되는 대상의 휘도는, 검출 위치에 상관없이 일정하게 된다.
도 16은, 종래의 화상 감시에 의해 검출되는 대상의 예를 도시하는 도면이다. 임의의 시각에서의 감시 범위 내의 조도 분포가 균일하다고 한다면, 도 16에 도시한 바와 같이, 도 15의 A점에서의 화상과 도 16의 B점에서의 화상과의 휘도는 일정하게 된다.
그리고, 대상을 검출한 후에, 대상의 휘도를 제어한다. 도 17은, 종래의 휘도 제어의 예를 도시하는 도면이다. 도 17의 좌측과 같이, 대상의 휘도가 소정값(도 17의 음영 부분)으로부터 벗어나 있는 경우에는, 도 17의 우측과 같이, 소정의 휘도로 촬영되도록, 렌즈의 조리개 등을 조정한다. 도 17에서는, 대상이 소정의 휘도보다도 낮게(소정의 밝기보다도 어둡게) 촬영되고 있으므로, 예를 들면, 조리개를 여는 제어를 행한다.
특허 문헌 1 : 일본 특허 제2706314호 공보 특허 문헌 2 : 일본 특허 공개 제2006-311031호 공보
그러나, 전술한 종래의 기술에서는, 임의의 시각에서의 감시 범위 내의 조도 분포가 균일하지 않은 경우에, 검출 대상의 휘도를 적절하게 조정할 수 없다고 하는 문제가 있었다.
예를 들면, 야간 등에서 조명을 조사하여 대상의 인식을 행하는 경우에, 감시 범위의 조도를 균일하게 할 수 없는 경우가 있다. 도 18은, 차량에 탑재한 카메라를 이용하여, 대향 차선을 통행하는 차량을 인식하는 예를 도시하는 도면이며, 도 19는, 촬영 범위와 야간에서의 헤드라이트의 조사 범위를 도시하는 도면이다.
도 18에 도시한 바와 같이, 화상 감시에서의 전용의 조명을 이용하지 않고, 카메라를 탑재한 자차량의 헤드라이트를 조명으로서 이용한 경우에, 감시 범위의 조도를 균일하게 할 수 없다. 즉, 도 19에 도시한 바와 같이, 카메라를 원점으로 하고, 자차량의 진행 방향을 Z축, Z축에 수직인 수평 방향 X축을 취하는 글로벌 좌표계를 생각하면, 헤드라이트 조명의 불균일 때문에, 대상의 조도는, 실제 공간 위치(실제로 대상이 존재하는 공간의 위치)에 따라서 상이하고, 각 위치에서 촬영되는 대상의 휘도도 상이하다.
도 20은, 도 19에서의 위치 A, B의 조도의 차이를 도시하는 도면이며, 도 21은, 종래의 노광 제어의 문제점을 도시하는 도면이다. 예를 들면, 도 19의 위치 A와 같이, 차량으로부터 멀어(X좌표가 커서), 조도광량이 적은 위치를 대상이 통과한 경우를 생각한다. 위치 A에서 검출한 대상의 휘도가 도 20의 좌측과 같이, 소정의 휘도보다도 작은 경우, 종래 방식에서는, 위치 A에서의 대상의 휘도가 소정값으로 되도록, 카메라의 조리개를 열거나, 카메라 파라미터의 조정을 행한다(위치 B에서의 휘도에 관계없이 카메라 파라미터의 조정을 행한다).
그리고, 위치 A에서의 휘도를 기준으로 하여 카메라 파라미터의 조정을 행하면, 도 20의 우측과 같이, 조명 장치로부터 가까운(X좌표가 작은) 위치 B 등에서는, 조정 전의 휘도가 위치 A보다도 크기 때문에, 휘도가 적절한 범위를 오버하게 된다(도 21 참조). 즉, 다음의 감시 대상을 위치 B에서 검출한 경우에는, 화상이 하얗게 되거나, 문자를 정확하게 판독할 수 없다. 반대로, 대상이 위치 B를 통과하고, 위치 B에 맞춘 카메라 파라미터로 조정된 후에, 대상을 위치 A에서 검출한 경우에는, 휘도가 적정한 범위에 닿지 않아, 인식할 수 없게 된다.
도 22은, 인식 대상의 휘도와 인식률과의 관계를 도시하는 도면이다. 도 22에 도시한 바와 같이, 휘도가 작아, 어둡게 촬영되는 경우에는, 대상과 노이즈와의 구별이 되지 않아 인식률이 저하된다. 반대로, 휘도가 지나치게 크면, 휘도 포화에 의해, 대상이 하얗게 되기 때문에, 인식 불능으로 되어, 역시, 인식률이 저하되게 된다.
이 때문에, 화상 감시에서는, 대상 그 자체(혹은 감시 범위)의 휘도가 인식에 적합한 소정의 값으로 되도록 조정할 필요가 있다. 예를 들면, 대상의 인식률이 항상 최대값 Rmax로 되도록 휘도를 조정한다(휘도를 LO로 조정한다). 또는, 허용하는 인식률의 최저값 RO를 설정하고, 이것을 충족시키도록 휘도를 조정할(휘도를 LL∼LH로 조정할) 필요가 있다.
즉, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 노광량을 제어하는 것이 매우 중요한 과제로 되어 있다.
본 발명은, 상기를 감안하여 이루어진 것이며, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 카메라 파라미터를 제어할 수 있는 촬상 장치, 촬상 방법 및 촬상 프로그램을 제공하는 것을 목적으로 한다.
전술한 과제를 해결하고, 목적을 달성하기 위해, 본 발명은, 물체를 검출하여 촬영을 행하는 촬상 장치로서, 상기 물체를 검출하는 검출 수단과, 검출된 상기 물체의 화상을 촬영하는 촬영 수단과, 촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 산출 수단과, 산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 노광량 결정 수단을 갖는 것을 특징으로 한다.
또한, 본 발명은, 상기 발명에서, 상기 물체가 실재하는 공간의 위치와 조도를 미리 기억하는 기억 수단과, 상기 기억 수단에 기억된 상기 물체가 실재하는 공간에서의 소정의 위치의 조도와, 상기 촬영 수단에 의해 촬영한 상기 물체의 화상의 상기 위치와 상기 휘도로부터 상기 산출 수단에 의해 산출된 상기 물체가 실재하는 공간에서의 소정의 위치의 조도에 기초하여, 감시 범위 전역에서의 조도 분포를 산출하는 조도 분포 산출 수단을 갖고, 상기 노광량 결정 수단은, 산출된 상기 조도 분포에 기초하여, 노광량을 결정하는 것을 특징으로 한다.
또한, 본 발명은, 상기 발명에서, 상기 기억 수단이 기억하는 상기 조도는, 조명광만에 의해 측정한 조도를 기억하고, 상기 조도 분포 산출 수단은, 상기 기억 수단에 기억된 상기 물체가 실재하는 공간에서의 소정의 위치의 조명광만에 의해 측정한 조도와, 상기 촬영 수단에 의해 촬영한 상기 물체의 화상의 상기 위치와 상기 휘도로부터 상기 산출 수단에 의해 산출된 상기 물체가 실재하는 공간에서의 상기 소정의 위치의 조도에 기초하여 환경광 조도를 산출하고, 상기 환경광 조도와 상기 조명광만에 의해 측정한 조도를 더한 감시 범위 전역에서의 조도 분포를 산출하는 것을 특징으로 한다.
또한, 본 발명은, 상기 발명에서, 상기 노광량 결정 수단은, 감시 범위 전역에서 적정한 밝기로 촬영할 수 없는 경우에는, 상기 물체가 실재하는 공간에서의 감시 범위 내의 각 위치에서의 출현 확률과 상기 화상에서의 휘도마다의 물체의 인식률의 기대값으로부터, 상기 감시 범위 내의 물체에서의, 전체의 인식률의 기대값이 최대로 되도록 노광량을 결정하는 것을 특징으로 한다.
또한, 본 발명은, 상기 발명에서, 상기 노광량 결정 수단은, 상기 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 높은 위치에서 검출되는 화면에서의 물체의 휘도가 소정의 상한값으로 되도록, 노광량을 결정하는 것을 특징으로 한다.
또한, 본 발명은, 상기 발명에서, 상기 노광량 결정 수단은, 상기 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 낮은 위치에서 검출되는 물체의 휘도가 소정의 하한값으로 되도록, 노광량을 결정하는 것을 특징으로 한다.
또한, 본 발명은, 물체를 검출하여 촬영을 행하는 촬상 방법으로서, 상기 물체를 검출하는 단계와, 검출된 상기 물체의 화상을 촬영하는 단계와, 촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 단계와, 산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 단계를 갖는 것을 특징으로 한다.
또한, 본 발명은, 컴퓨터에 대해, 상기 물체를 검출하는 수순과, 검출된 상기 물체의 화상을 촬영하는 수순과, 촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 수순과, 산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 수순을 실행시키는 것을 특징으로 한다.
본 발명에 따르면, 감시 대상으로 되는 물체를 검출하여 화상을 촬영하고, 촬영한 물체에 대한 인식 처리를 실행하여 휘도 및 위치에 기초하여, 물체가 실재하는 공간에서의 위치와 조도를 산출하고, 산출한 위치와 조도에 기초하여 노광량을 결정하므로, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 노광량을 조정할 수 있다.
또한, 본 발명에 따르면, 물체가 실재하는 공간의 위치와 조도를 미리 기억 장치에 기억하고, 기억 장치에 기억된 물체가 실재하는 공간에서의 소정의 위치의 조도와, 촬영한 물체의 화상의 위치와 휘도로부터 산출된 물체가 실재하는 공간에서의 소정의 위치의 조도에 기초하여, 감시 범위 전역에서의 조도 분포를 산출하고, 조도 분포에 기초하여 노광량을 결정하므로, 조도 분포가 균일하게 되지 않은 조명 장치를 사용한 경우의 화상 인식 처리의 정밀도를 향상시킬 수 있다.
또한, 본 발명에 따르면, 조명광만에 의해 측정한 조도를 기억 장치에 기억하고, 기억 장치에 기억된 물체가 실재하는 공간에서의 소정의 위치의 조명광만에 의해 측정한 조도와, 촬영한 물체의 화상의 위치와 휘도로부터 산출된 물체가 실재하는 공간에서의 소정의 위치의 조도에 기초하여 환경광 조도를 산출하고, 환경광 조도와 조명광 조도를 더한 감시 범위 전역에서의 조도 분포를 산출하므로, 감시 범위 전체의 휘도가 인식에 적합한 값으로 되도록 노광량을 조정할 수 있다.
또한, 본 발명에 따르면, 감시 범위 전역에서 적정한 밝기로 촬영할 수 없는 경우에는, 물체가 실재하는 공간에서의 감시 범위 내의 각 위치에서의 출현 확률과 상기 화상에서의 휘도마다의 물체의 인식률의 기대값으로부터, 감시 범위 내의 물체에서의, 전체의 인식률의 기대값이 최대로 되도록 노광량을 결정하므로, 감시 범위의 물체의 인식률의 저하를 최소한으로 억제할 수 있다.
또한, 본 발명에 따르면, 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 높은 위치에서 검출되는 화면에서의 물체의 휘도가 소정의 상한값으로 되도록, 노광량을 결정하므로, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 노광량을 조정할 수 있다.
또한, 본 발명에 따르면, 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 낮은 위치에서 검출되는 물체의 휘도가 소정의 하한값으로 되도록, 노광량을 결정하므로, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 노광량을 조정할 수 있다.
도 1은 감시 범위의 조도 분포의 일례를 도시하는 도면.
도 2는 감시 범위 전체의 조도 분포에 기초한 목표값의 일례를 도시하는 도면.
도 3은 도 2의 목표값에 기초한 노광량 제어를 도시하는 도면.
도 4는 본 실시예 1에 따른 촬상 장치의 구성을 도시하는 기능 블록도.
도 5는 본 실시예 1에 따른 휘도 제어를 설명하기 위한 도면.
도 6은 제어 장치의 구성을 도시하는 기능 블록도.
도 7은 실제 공간 상의 대상의 좌표, 카메라 화상의 대상의 좌표, 글로벌 좌표 상의 대상의 좌표의 관계를 도시하는 도면.
도 8은 현시각의 조도 분포를 설명하기 위한 도면.
도 9는 본 실시예 1에 따른 화상 인식 장치의 처리 수순을 설명하는 플로우차트.
도 10은 본 실시예 1에 따른 제어 장치의 처리 수순을 설명하는 플로우차트.
도 11은 인식률의 기대값 및 각 카메라 파라미터의 위치 P에서의 대상 휘도를 도시하는 도면.
도 12는 촬상 장치의 다른 적용예를 설명하기 위한 도면.
도 13은 촬상 장치의 다른 적용예를 설명하기 위한 도면.
도 14는 실시예 1에 따른 촬상 장치를 구성하는 컴퓨터의 하드웨어 구성을 도시하는 도면.
도 15는 종래의 화상 감시의 예를 도시하는 도면.
도 16은 종래의 화상 감시에 의해 검출되는 대상의 예를 도시하는 도면.
도 17은 종래의 휘도 제어의 예를 도시하는 도면.
도 18은 차량에 탑재한 카메라를 이용하여, 대향 차선을 통행하는 차량을 인식하는 예를 도시하는 도면.
도 19는 촬영 범위와 야간에서의 헤드라이트의 조사 범위를 도시하는 도면.
도 20은 도 19에서의 위치 A, B의 조도의 차이를 도시하는 도면.
도 21은 종래의 노광 제어의 문제점을 도시하는 도면.
도 22는 인식 대상의 휘도와 인식률과의 관계를 도시하는 도면.
이하에, 본 발명에 따른 촬상 장치, 촬상 방법 및 촬상 프로그램의 실시예를 도면에 기초하여 상세히 설명한다. 이 실시예에 의해 이 발명이 한정되는 것은 아니다.
<실시예 1>
우선, 본 실시예 1에 따른 촬상 장치의 개요 및 특징에 대해서 설명한다. 본 실시예 1에 따른 촬상 장치는, 감시 범위 전체의 조도 분포에 따라서 노광량의 조정(카메라 파라미터의 조정)을 행한다. 즉, 실제 공간(감시 대상으로 되는 물체가 존재하는 공간) 상의 위치마다의 조도의 차이를 고려하여, 물체를 검출한 위치마다, 감시 범위 전체를 인식 가능한 휘도로 되도록 노광량을 조정한다.
도 1은, 감시 범위의 조도 분포의 일례를 도시하는 도면이다. 도 1에 도시한 바와 같이, 감시 범위의 조도 분포는, 하늘 등, 먼 곳의 광원으로부터 감시 범위에 조사되는 환경광의 광량과, 감시 범위를 비추기 위해 이용하는 조명광의 광량과의 합으로 결정되지만, 환경광 및 조명광에는 각각 하기의 특징이 있다.
즉, 환경광은, 구름의 움직임 등 대기의 상태에 따라, 시간에 의한 변동이 있지만, 감시 범위 내의 위치에 의한 조도의 차이는 작아, 감시 범위 내의 조도 분포는 균일하다고 하는 특징이 있고, 조명광은, 감시 범위 내의 각 위치에 따라, 도달하는 광량이 상이하여, 감시 범위 내의 조도 분포는 균일하게 되지 않지만, 시간에 따른 변동을 무시할 수 있다고 하는 특징이 있다.
이들 특징으로부터, 조명광의 조도 분포와, 임의의 시각에서의 감시 범위 내의 일점에서의 조도를 알 수 있으면, 그 시점에서의 감시 범위 전체의 조도 분포를 알 수 있다. 그리고, 촬상 장치는, 감시 범위 전체의 조도 분포에 기초하여, 감시 범위 전체에서 물체의 인식에 적합한 휘도로 촬영되도록 노광량(카메라 파라미터)을 조정하는 것이 가능하게 된다(각 위치에서의 노광량의 목표값을 설정할 수 있다).
도 2는, 감시 범위 전체의 조도 분포에 기초한 목표값의 일례를 도시하는 도면이며, 도 3은, 도 2의 목표값에 기초한 노광량 제어를 도시하는 도면이다. 도 2에 도시한 바와 같이, 감시 범위의 조도 분포로부터, 조명 장치로부터 멀어, 어둡게 촬영되는 A점(도 19참조)에서의 휘도의 목표값을 약간 낮게 설정하고, 조명 장치로부터 가까워, 밝게 촬영되는 B점(도 19참조)에서의 휘도의 목표값을 약간 높게 설정함으로써, 감시 범위 전체를 인식 가능한 휘도로 유지할 수 있다.
예를 들면, 도 3과 같이, 조명광량이 적은 위치 A에 대응하는 휘도를 목표값으로 설정하기 위해, 노광량을 조정하였다고 하여도, 위치 A에 대응하는 휘도의 목표값이 약간 낮게 설정되어 있으므로, 조명광량이 많은 위치 B에 대응하는 휘도가 적정한 범위를 오버하는 일이 없어진다.
다음으로, 본 실시예 1에 따른 촬상 장치의 구성에 대해서 설명한다. 도 4는, 본 실시예 1에 따른 촬상 장치의 구성을 도시하는 기능 블록도이다. 도 4에 도시한 바와 같이, 이 촬상 장치(100)는, 조명 장치(110)와, 영상 촬영 장치(120)와, 화상 인식 장치(130)와, 제어 장치(140)를 구비하여 구성된다.
이 중, 조명 장치(110)는, 감시 범위를 향하여 조명을 조사하는 장치이다. 영상 촬영 장치(120)는, 제어 장치(140)에 의해 결정되는 카메라 파라미터(카메라의 조리개 등)에 의해 감시 범위의 영상을 촬영하는 장치이며, 촬영한 영상을 영상 신호로서 화상 인식 장치(130)에 출력한다. 또한, 영상 촬영 장치(120)는, 감시 범위에 감시 대상으로 되는 물체를 검출한 경우에는, 감시 범위 내에서, 검출한 물체에 맞춰서 카메라 방향을 제어하여, 대상의 영상을 촬영한다.
화상 인식 장치(130)는, 영상 촬영 장치(120)로부터 영상 신호를 취득하고, 취득한 영상 신호로부터 감시 대상으로 되는 물체(대상)를 검출하고, 검출한 물체에 대한 상세한 인식을 행하고, 물체의 화상 상에서의 휘도(이하, 대상 휘도로 표기함)를 산출함과 함께, 물체의 화상 상에서의 좌표(이하, 대상 좌표로 표기함)를 검출하는 장치이다. 화상 인식 장치(130)는, 대상 휘도 및 대상 좌표의 정보를 제어 장치(140)에 출력한다.
제어 장치(140)는, 화상 인식 장치(130)로부터 출력되는 대상 휘도 및 대상 좌표의 정보에 기초하여, 물체가 실재하는 공간에서의 위치와 조도를 산출하고, 산출한 위치와 조도 및 현재의 카메라 파라미터에 기초하여 카메라 파라미터를 결정하는 장치이다. 제어 장치(140)는, 결정한 카메라 파라미터의 정보를 제어 신호로서 영상 촬영 장치(120)에 출력한다. 이 제어 신호를 취득한 영상 촬영 장치(120)는, 제어 신호에 포함되는 카메라 파라미터의 정보에 맞춰서, 영상 촬영 장치(120)의 카메라 파라미터를 조정한다.
또한, 본 실시예 1에 따른 촬상 장치(100)는, 실제 공간의 감시 범위 내의 중앙 등에 기준점(O점으로 함)을 설정하고, 대상의 휘도, 검출 위치로부터 감시 범위의 조도 분포에 기초하여, O점에서의 대상의 휘도를 추정하고, 추정한 휘도가 소정의 값으로 되도록, 노광량(카메라 파라미터)을 조정한다.
도 5는, 본 실시예 1에 따른 휘도 제어를 설명하기 위한 도면이다. 도 5의 좌측에 도시한 바와 같이, 대상이 A점에서 검출된 경우에는, A점의 휘도로부터 O점의 휘도를 추정하고, 도 5의 우측에 도시한 바와 같이, O점에서의 휘도가 소정값으로 되는 노광량으로 조정한다. 그리고, 이러한 조정에 의해 감시 영역 전체에서는, 인식 가능한 휘도로 제어할 수 있고, 다음으로 감시 범위를 통과하는 대상을 검출하는 위치가 어디에 있어도(예를 들면, B점이어도), 인식 가능하게 된다.
이하에서, 구체적인 휘도의 제어 방법에 대해서 설명한다. 여기서는 간단하게 하기 위하여, 휘도의 제어는 카메라의 조리개로 행하는 것으로 한다. 촬영 화상의 휘도 I는, 조도 L과, 조리개량 F의 역수에 비례한다고 가정하면,
Figure pct00001
의 관계가 있다고 가정할 수 있다.
여기서, 위치 A에서의 조명광의 조도 분포가 기지인 것으로 한다. 시각 T에서의 조리개량을 F(T)로 하고, 위치 A에서 대상을 검출하고, 그 휘도가 I(T, A)이었던 것으로 한다. 이 경우, 환경광의 조도를 Lg(T)로 하면, 수학식 1로부터
Figure pct00002
가 성립된다. 또한, 수학식 1의 k는 비례 상수이다.
또한 기준점 O에서의 휘도는,
Figure pct00003
로 된다. 그리고, O점에서의 휘도가 소정값 IO로 되는, 조리개량 F'(T)는,
Figure pct00004
를 충족시킨다. 수학식 2∼수학식 4를 정리하면,
Figure pct00005
로 되고, 시각 T에서 검출한 대상의 휘도 및 위치와, 조명광의 조도 분포로부터, 새로운 카메라 파라미터로 되는 조리개량(노광량)이 결정된다.
다음으로, 상기한 카메라 파라미터를 결정하는 제어 장치(140)의 구성에 대해서 설명한다. 도 6은, 제어 장치(140)의 구성을 도시하는 기능 블록도이다. 도 6에 도시한 바와 같이, 좌표 변환부(141)와, 휘도/조도 변환부(142)와, 조도 분포 기억부(143)와, 조도 검출부(144)와, 카메라 파라미터 산출부(145)와, 제어 신호 출력부(146)를 구비하여 구성된다.
좌표 변환부(141)는, 화상 인식 장치(130)로부터 대상 좌표(카메라 좌표 상의 대상의 좌표)를 취득하고, 취득한 대상 좌표에 대해 좌표 변환을 실행하고, 화상 상의 대상의 좌표(x, y)를 글로벌 좌표(X, Y, Z)로 변환하는 처리부이다. 이하, 글로벌 좌표계로 변환한 대상 좌표를, 변환 대상 좌표라고 표기한다. 도 7은, 실제 공간 상의 대상의 좌표, 카메라 화상의 대상의 좌표, 글로벌 좌표 상의 대상의 좌표의 관계를 도시하는 도면이다. 좌표 변환부(141)는, 변환 대상 좌표의 정보를 휘도/조도 변환부(142), 조도 검출부(144)에 출력한다.
또한, 좌표 변환부(141)가 대상 좌표를 글로벌 좌표계로 변환하는 방법은 하기와 같은 주지 기술을 이용하면 된다. 예를 들면, 물체의 실제의 크기가 기지인 경우에는, 물체의 화면에서의 크기, 화각 및 실제의 물체의 크기에 기초하여 물체의 거리를 산출하고, 검출 좌표로부터 물체의 방향을 결정함으로써, 대상 좌표를 변환 대상 좌표로 변환할 수 있다.
또한, 좌표 변환부(141)는, 스테레오 처리를 이용하여 대상 좌표를 변환 대상 좌표로 변환할 수 있다. 즉, 2대 이상의 영상 촬영 장치를 이용하여 물체를 촬영하고, 화상 공간에서의 물체의 좌표의 차이로부터, 주지의 스테레오 기술을 이용하여, 변환 대상 좌표를 산출할 수 있다. 혹은, 좌표 변환부(141)는, 레이저, 레이더 등의 거리 센서를 이용하여, 물체의 실제 위치를 결정함으로써, 직접, 글로벌 좌표 상의 대상의 좌표를 결정하여도 된다.
휘도/조도 변환부(142)는, 화상 인식 장치(130)로부터 대상 휘도를 취득하고, 취득한 대상 휘도를 조도(이하, 대상 조도라고 표기함)로 변환하는 처리부이다. 또한, 휘도/조도 변환부(142)는, 좌표 변환부(141)로부터 변환 대상 좌표를 취득하고, 취득한 변환 대상 좌표에 대응하는 좌표의 휘도를 대상 조도로부터 검색하고, 검색한 대상 조도의 정보를 카메라 파라미터 산출부(145)에 출력한다.
여기서, 휘도/조도 변환부(142)가, 휘도를 조도로 변환하는 방법은 어떠한 방법을 이용하여도 상관없지만, 예를 들면, 휘도/조도 변환부(142)는, 미리, 현재의 카메라 파라미터(조리개량 F)의 정보를 자신의 기억부에 유지하고 있고, 수학식 1의 관계를 이용하여, 대상 휘도를 대상 조도로 변환한다.
조도 분포 기억부(143)는, 하기와 같은 단일의 조건에서 미리 관측한 조명 장치(110)의 조도 분포(각 좌표에서의 조도)의 정보를 기억하는 기억부이다. 예를 들면, 촬상 장치(100)를 암실에 설정한 상태에서, 조명 장치(110)의 조도 분포를 계측함으로써, 환경광의 영향을 받지 않고 각 좌표(X, Y, Z)의 조도를 계측할 수 있다.
또한, 촬상 장치(100)를 암실에 설정할 수 없는 경우는, 환경광이 안정되어 있는 상태에서, 조명 장치(110)가 온인 경우와 오프인 경우에서 촬영 범위의 실제 공간에서의 각 좌표에서의 조도를 계측하고, 그 차분을 취함으로써, 각 좌표(X, Y, Z)의 조도를 계측할 수 있다.
조도 검출부(144)는, 좌표 변환부(141)로부터 변환 대상 좌표를 취득하고, 취득한 변환 대상 좌표(글로벌 좌표 상의 대상의 좌표)에 대응하는 좌표의 조도의 정보를 조도 분포 기억부(143)로부터 검색하고, 검색한 정보를 조명 조도로서 카메라 파라미터 산출부(145)에 출력하는 처리부이다.
카메라 파라미터 산출부(145)는, 현재의 카메라 파라미터, 대상 조도, 조명 조도 및 조도 분포 기억부(143)에 기억된 정보에 기초하여, 조정할 카메라 파라미터를 산출하는 처리부이다. 구체적으로, 카메라 파라미터 산출부(145)는, 차분 산출 처리, 현시각의 조도 분포 산출 처리, 카메라 파라미터 산출 처리를 순서대로 실행한다.
차분 산출 처리에서, 카메라 파라미터 산출부(145)는, 대상 조도와, 조명 조도와의 차분을 취하고, 현시각에서의 환경광의 조도(이하, 환경광 조도;조도의 오프셋)를 산출한다.
계속해서, 현시각의 조도 분포 산출 처리에서, 카메라 파라미터 산출부(145)는, 감시 범위에 포함되는 각 좌표에 대응하는 조도를 각각 조도 분포 기억부(143)로부터 검색하고, 검색한 각 좌표에 대응하는 각 조도를 조도 분포(이 조도 분포는 환경광을 포함하지 않음)로서 추출한다. 그리고, 이러한 조도 분포에 포함되는 각 좌표의 조도에 조도의 오프셋을 가산함으로써 현재 시각의 조도 분포(환경광의 조도 분포+조명광의 조도 분포)를 산출할 수 있다. 또한, 감시 범위에 포함되는 각 좌표의 정보는, 미리, 카메라 파라미터 산출부(145)에 기억해 두면 된다.
도 8은, 현시각의 조도 분포를 설명하기 위한 도면이다. 도 8에 도시한 바와 같이, 현시각에서, 위치 P에서의 대상 조도 L(P)을 특정할 수 있으면, 이러한 L(P)로부터 Ll(P)을 감산함으로써, 조도의 오프셋을 구할 수 있다. 여기서, Ll(P)은, 조명 장치의 조도 분포에서의 위치 P의 조도이다. 그리고, 이러한 조도 오프셋을, 조도 분포 Ll(X)의 각 좌표에서의 조도에 각각 가산함으로써, 현시각의 조도 분포를 산출할 수 있다.
계속해서, 카메라 파라미터 산출 처리에서, 카메라 파라미터 산출부(145)는, 상기의 수학식 5를 이용함으로써, 카메라 파라미터(조리개량 F'(T))를 구한다. 또한, 수학식 5의 소정값 IO의 값은, 어떠한 방법에 의해 특정하여도 상관없다.
예를 들면, 카메라 파라미터 산출부(145)는, 현시각의 조도 분포(도 8 참조)로부터, 최대 조도와, 최대 조도에 대응하는 좌표를 특정하고, 이러한 최대 조도가 소정의 상한값으로 되도록, 조리개량(카메라 파라미터)을 산출한다. 예를 들면, 상한값이 IC, 최대 조도의 좌표(기준점)를 C로 하면, 조리개량은,
Figure pct00006
에 의해 구해진다.
또한, 카메라 파라미터 산출부(145)는, 현시각의 조도 분포(도 8 참조)로부터, 최소 조도와, 최대 조도에 대응하는 좌표를 특정하고, 이러한 최소 조도가 소정의 하한값으로 되도록 조리개량(카메라 파라미터)을 산출한다. 예를 들면, 하한값이 ID, 최소 조도의 좌표(기준점)를 D로 한다면, 조리개량은,
Figure pct00007
에 의해 구해진다. 카메라 파라미터 산출부(145)는, 산출한 카메라 파라미터의 정보를 제어 신호 출력부(146)에 출력한다.
제어 신호 출력부(146)는, 카메라 파라미터 산출부(145)로부터 카메라 파라미터의 정보를 취득하고, 취득한 카메라 파라미터의 정보를 제어 신호로서, 영상 촬영 장치(120)에 출력하고, 영상 촬영 장치(120)의 카메라 파라미터를 갱신하는 처리부이다.
다음으로, 본 실시예 1에 따른 화상 인식 장치(130)의 처리 수순에 대해서 설명한다. 도 9는, 본 실시예 1에 따른 화상 인식 장치(130)의 처리 수순을 설명하는 플로우차트이다. 도 9에 도시한 바와 같이, 화상 인식 장치(130)는, 영상 촬영 장치(120)로부터 영상 신호를 취득하고(스텝 S101), 인증 처리를 행하는 화상을 결정한다(스텝 S102).
그리고, 화상 인식 장치(130)는, 화상으로부터 대상을 인식하고(스텝 S103), 대상 휘도 및 대상 좌표를 산출하고(스텝 S104), 대상 휘도 및 대상 좌표를 제어 장치(140)에 출력한다(스텝 S105).
다음으로, 본 실시예 1에 따른 제어 장치(140)의 처리 수순에 대해서 설명한다. 도 10은, 본 실시예 1에 따른 제어 장치(140)의 처리 수순을 설명하는 플로우차트이다. 도 10에 도시한 바와 같이, 제어 장치(140)는, 대상 위치의 카메라 좌표를 글로벌 좌표로 변환하고(스텝 S201), 변환한 글로벌 좌표에 대응하는 조명의 조도를 검출한다(스텝 S202).
계속해서, 제어 장치(140)는, 각 조도의 차분을 취함으로써 환경광 조도(조도의 오프셋)를 산출하고(스텝 S203), 현시각의 조도 분포를 산출하고(스텝 S204), 카메라 파라미터를 산출하고(스텝 S205), 산출한 카메라 파라미터의 정보를 출력한다(스텝 S206).
이와 같이, 제어 장치(140)가, 물체가 실재하는 공간에서의 좌표와 조도 분포에 기초하여, 촬상의 노광량에 영향을 주는 카메라 파라미터를 산출하므로, 임의의 시각에서의 실제 공간 상의 조도 분포가 균일하지 않아도, 영상 촬영 장치(120)의 노광량을 적절하게 조정할 수 있다.
전술한 바와 같이, 본 실시예 1에 따른 촬상 장치(100)는, 화상 인식 장치(130)가 감시 대상으로 되는 물체를 검출하고, 검출한 물체에 대한 인식 처리를 실행하여 대상 휘도 및 대상 좌표를 산출하고, 제어 장치(140)가 대상 휘도 및 대상 좌표에 기초하여, 물체가 실재하는 공간에서의 위치와 조도를 산출하고, 산출한 위치와 조도 및 현재의 카메라 파라미터에 기초하여 카메라 파라미터를 산출하고, 산출한 카메라 파라미터에 의해 영상 촬영 장치(120)의 카메라 파라미터를 제어하여 노광량을 조정하므로, 감시 범위의 조도가 균일하지 않은 경우라도, 대상의 휘도가 인식에 적합한 값으로 되도록 노광량을 조정할 수 있다.
<실시예 2>
우선, 지금까지 본 발명의 실시예에 대해서 설명하였지만, 본 발명은 전술한 실시예 1 이외에도, 각각의 서로 다른 형태로 실시되어도 되는 것이다. 따라서, 이하에서는 실시예 2로서 본 발명에 포함되는 다른 실시예를 설명한다.
(1) 감시 범위 전체에서 인식에 적합한 휘도로 촬영하는 것이 곤란한 경우
상기의 실시예 1에서는, 물체의 휘도를 임의의 기준 위치에서의 휘도가 인식에 최적인 값으로 되도록, 카메라 파라미터를 정하고 있었지만, 감시 범위가 넓어, 감시 범위 전체에서 인식에 적합한 밝기로 촬영하는 것이 곤란한 경우가 있다.
이 경우, 인식에 적합한 휘도로 촬영할 수 없는 영역에 대해서, 인식률의 저하가 예상되지만, 일반적으로, 인식률의 저하의 정도는, 휘도가 포화하는 측과 어두워지는(휘도가 소정값 이하로 되는) 측에서는 상이하다. 따라서, 인식률의 저하를 최소한으로 억제하기 위해, 하기와 같이 휘도의 목표값을 설정한다.
도 11은, 인식률의 기대값 및 각 카메라 파라미터의 위치 P에서의 대상 휘도를 도시하는 도면이다. 도 11의 농담은, 위치 P에서 휘도 L로 되었을 때의 인식률의 기대값 R(P, L)을 나타낸 것이다. 또한, 도 11의 실선은, 카메라 파라미터(조리개량 등)를 CA∼CC로 설정한 경우의 위치 P에서의 대상 휘도 L(P:C)을 나타낸다.
이에 의해, 위치 P에서의 인식률의 기대값은, R(P, L(P:C))로 표현할 수 있다. 전체에서의 인식률 RE는, 대상이 위치 P에서 검출되는 확률 T(P)를 이용하여
Figure pct00008
로 된다.
여기서, 위치 P에서 휘도가 L일 때의 인식률 R(P, L) 및 확률 T(P)를 미리 관측해 두고 촬상 장치(100)의 기억 장치(도시 생략)에 기억해 둔다. 그리고, 인식 결과로부터 추정되는 조도 조건으로부터, 카메라 파라미터 C에 대한 위치 P와 휘도 L과의 관계 L(P:C)이 구해져, 결과 RC(P, L)를 결정할 수 있다.
RC(P, L)가 결정됨으로써, 전체의 인식률은, 카메라 파라미터 C의 함수 RE(C)로 되므로, 제어 장치(140)는, 인식률 RE가 최대로 되는 카메라 파라미터 C를 산출한다. 제어 장치(140)는, 산출한 카메라 파라미터로 되도록, 제어 신호를 영상 촬영 장치(120)에 출력한다. 또한, 위치에 따라 대상을 보는 방법의 차이를 무시할 수 있는 경우에는, 감시 범위 전체에서, 위치 P와 휘도 L과의 관계를 관측하지 않아도, 임의의 일점 PO에서, 휘도 L에 대한 인식률을 관측하면 된다.
(2) 다른 적용예
상기의 실시예 1에서는, 예를 들면, 도 18과 같이, 주행하는 차량에 촬상 장치를 설치하여, 대향 차량의 인식을 행하는 경우를 예로 설명하였지만 이것에 한정되는 것은 아니다. 도 12, 도 13은, 촬상 장치의 다른 적용예를 설명하기 위한 도면이다.
도 12에 도시한 바와 같이, 도로 감시 등에서, 가로등을 조명으로 하고 본 실시예에 따른 촬상 장치를 이용하여, 도로를 주행하는 차량을 인식함과 함께, 상기한 방법을 이용하여 카메라 파라미터를 조정하여, 인식률을 향상시킬 수 있다. 이 경우, 촬상 장치는, 가로등의 조도 분포를 미리 관측하여 기억 장치에 기억해 두고, 기억 장치에 기억된 조도 분포의 정보를 이용하여 카메라 파라미터를 산출한다.
또한, 도 13에 도시한 바와 같이, 통로를 이동하는 인물을 인식하기 위해, 본 실시예에 따른 촬상 장치를 이용할 수 있다. 조명 장치부터 각 인물까지의 거리가 크게 상이하여, 임의의 시각에서의 조도 분포가 위치에 따라서 상이한 경우라도, 본 실시예에 따른 촬상 장치를 이용함으로써, 감시 범위 내의 휘도를 적절하게 조정할 수 있어, 각 인물에 대한 인증율을 향상시킬 수 있다.
(3) 촬상 장치의 노광량을 조정하기 위한 그 밖의 예
상기의 실시예 1에서는, 촬상 장치(영상 촬영 장치(120))의 노광량을 조정하기 위해, 렌즈의 조리개를 제어하는 방법에 대해서 설명하였지만, 이것에 한정되는 것이 아니라, 카메라의 셔터 스피드를 변경하거나, 렌즈에 부착한 광량 조정 필터(ND 필터 등)의 투과율을 변경함으로써도, 촬상 장치의 노광량을 조정할 수 있다.
(4) 수학식 1에 관한 비례 상수 k에 대해서
상기의 실시예에서는, 일례로서, 각 좌표에서의 휘도와 조도가 비례 관계인 것을 전제로 설명하였지만, 이것에 한정되는 것은 아니다. 즉, 미리, 대상 물체를 촬영하였을 때의 휘도와, 그 휘도에 대응하는 조도를 좌표마다 구해 두고, 휘도와 조도 사이에서의 각 좌표의 비례 상수 k를 산출한 테이블을 기억해 둠으로써, 휘도와 조도가 비례 관계에 없는 경우라도, 상기한 본 방식을 적응할 수 있다.
(5) 시스템의 구성 등
그런데, 본 실시예에서 설명한 각 처리 중, 자동적으로 행해지는 것으로서 설명한 처리의 전부 또는 일부를 수동적으로 행할 수도 있고, 혹은, 수동적으로 행해지는 것으로서 설명한 처리의 전부 혹은 일부를 공지의 방법으로 자동적으로 행할 수도 있다. 그 밖에, 상기 문서 중이나 도면 중에서 설명한 처리 수순, 제어 수순, 구체적 명칭, 각종의 데이터나 파라미터를 포함하는 정보에 대해서는, 특기하는 경우를 제외하고 임의로 변경할 수 있다.
또한, 도 4에 도시한 촬상 장치(100)의 각 구성 요소는 기능 개념적인 것이며, 반드시 물리적으로 도시한 바와 같이 구성되어 있는 것을 요하지 않는다. 즉, 각 장치의 분산ㆍ통합의 구체적 형태는 도시한 것에 한정되지 않고, 그 전부 또는 일부를, 각종의 부하나 사용 상황 등에 따라서, 임의의 단위로 기능적 또는 물리적으로 분산ㆍ통합하여 구성할 수 있다. 또한, 각 장치에서 행해지는 각 처리 기능은, 그 전부 또는 임의의 일부가 CPU 및 그 CPU에 의해 해석 실행되는 프로그램으로 실현되고, 혹은, 와이어 로직에 의한 하드웨어로서 실현될 수 있다.
도 14는, 실시예 1에 따른 촬상 장치를 구성하는 컴퓨터의 하드웨어 구성을 도시하는 도면이다. 도 14에 도시한 바와 같이, 이 컴퓨터(촬상 장치)(10)는, 조명 장치(11), 영상 촬영 장치(12), 입력 장치(13), 모니터(14), RAM(Random Access Memory)(15), ROM(Read Only Memory)(16), 기억 매체로부터 데이터를 판독하는 매체 판독 장치(17), 다른 장치와의 사이에서 데이터의 송수신을 행하는 인터페이스(18), CPU(Central Processing Unit)(19), HDD(Hard Disk Drive)(20)를 버스(21)에서 접속하여 구성된다. 여기서, 조명 장치(11), 영상 촬영 장치(12)는, 도 4에 도시한 조명 장치(110), 영상 촬영 장치(120)에 대응한다.
그리고, HDD(20)에는, 상기한 촬상 장치(100)의 기능과 마찬가지의 기능을 발휘하는 화상 인식 프로그램(20b), 카메라 파라미터 산출 프로그램(20c)이 기억되어 있다. CPU(19)가 화상 인식 프로그램(20b), 카메라 파라미터 산출 프로그램(20c)을 읽어내어 실행함으로써, 화상 인식 프로세스(19a), 카메라 파라미터 산출 프로세스(19b)가 기동된다. 이 화상 인식 프로세스(19a)는, 상기한 화상 인식 장치(130)가 실행하는 처리에 대응하고, 카메라 파라미터 산출 프로그램(19b)은, 제어 장치(140)가 실행하는 처리에 대응한다.
또한, HDD(20)는, 입력 장치(13) 등에 의해 취득된 조명 장치(11)의 조도 분포, 환경광의 조도 분포, 대상 휘도, 대상 좌표의 정보 등을 포함한 각종 데이터(20a)를 기억한다. CPU(19)는, HDD(20)에 저장된 각종 데이터(20a)를 읽어내어 RAM(15)에 저장하고, RAM(15)에 저장된 각종 데이터(15a)를 이용하여, 카메라 파라미터를 산출하고, 산출한 카메라 파라미터를 영상 촬영 장치(12)에 설정한다.
그런데, 도 14에 도시한 화상 인식 프로그램(20b), 카메라 파라미터 산출 프로그램(20c)은, 반드시 처음부터 HDD(20)에 기억시켜 둘 필요는 없다. 예를 들면, 컴퓨터에 삽입되는 플렉시블 디스크(FD), CD-ROM, DVD 디스크, 광 자기 디스크, IC 카드 등의 「가반용의 물리 매체」, 또는, 컴퓨터의 내외에 구비되는 하드 디스크 드라이브(HDD) 등의 「고정용의 물리 매체」, 나아가서는, 공중 회선, 인터넷, LAN, WAN 등을 통하여 컴퓨터에 접속되는 「다른 컴퓨터(또는 서버)」 등에 화상 인식 프로그램(20b), 카메라 파라미터 산출 프로그램(20c)을 기억해 두고, 컴퓨터가 이들로부터 화상 인식 프로그램(20b), 카메라 파라미터 산출 프로그램(20c)을 읽어내어 실행하도록 하여도 된다.
이상과 같이, 본 발명에 따른 촬상 장치, 촬상 방법 및 촬상 프로그램은, 카메라 파라미터를 조정하여 감시 범위의 대상물의 인식을 행하는 시스템 등에 유용하고, 특히, 임의의 시각에서의 조도 분포가 균일하지 않은 경우라도, 검사 범위에 포함되는 대상물의 위치에 상관없이 인식률을 높일 필요가 있는 경우에 적합하다.
10 : 컴퓨터
11, 110 : 조명 장치
12, 120 : 영상 촬영 장치
13 : 입력 장치
14 : 모니터
15 : RAM
15a, 20a : 각종 데이터
16 : ROM
17 : 매체 판독 장치
18 : 인터페이스
19 : CPU
19a : 화상 인식 프로세스
19b : 카메라 파라미터 산출 프로세스
20 : HDD
21 : 버스
20b : 화상 인식 프로그램
20c : 카메라 파라미터 산출 프로그램
100 : 촬상 장치
130 : 화상 인식 장치
140 : 제어 장치
141 : 좌표 변환부
142 : 휘도/조도 변환부
143 : 조도 분포 기억부
144 : 조도 검출부
145 : 카메라 파라미터 산출부
146 : 제어 신호 출력부

Claims (11)

  1. 물체를 검출하여 촬영을 행하는 촬상 장치로서,
    상기 물체를 검출하는 검출 수단과,
    검출된 상기 물체의 화상을 촬영하는 촬영 수단과,
    촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 산출 수단과,
    산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 노광량 결정 수단
    을 갖는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 물체가 실재하는 공간의 위치와 조도를 미리 기억하는 기억 수단과,
    상기 기억 수단에 기억된 상기 물체가 실재하는 공간에서의 소정의 위치의 조도와, 상기 촬영 수단에 의해 촬영한 상기 물체의 화상의 상기 위치와 상기 휘도로부터 상기 산출 수단에 의해 산출된 상기 물체가 실재하는 공간에서의 소정의 위치의 조도에 기초하여, 감시 범위 전역에서의 조도 분포를 산출하는 조도 분포 산출 수단을 갖고,
    상기 노광량 결정 수단은, 산출된 상기 조도 분포에 기초하여, 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  3. 제2항에 있어서,
    상기 기억 수단이 기억하는 상기 조도는, 조명광만에 의해 측정한 조도를 기억하고,
    상기 조도 분포 산출 수단은, 상기 기억 수단에 기억된 상기 물체가 실재하는 공간에서의 소정의 위치의 조명광만에 의해 측정한 조도와, 상기 촬영 수단에 의해 촬영한 상기 물체의 화상의 상기 위치와 상기 휘도로부터 상기 산출 수단에 의해 산출된 상기 물체가 실재하는 공간에서의 상기 소정의 위치의 조도에 기초하여 환경광 조도를 산출하고, 상기 환경광 조도와 상기 조명광만에 의해 측정한 조도를 더한 감시 범위 전역에서의 조도 분포를 산출하는 것을 특징으로 하는 촬상 장치.
  4. 제3항에 있어서,
    상기 노광량 결정 수단은, 감시 범위 전역에서 적정한 밝기로 촬영할 수 없는 경우에는, 상기 물체가 실재하는 공간에서의 감시 범위 내의 각 위치에서의 출현 확률과 상기 화상에서의 휘도마다의 물체의 인식률의 기대값으로부터, 상기 감시 범위 내의 물체에서의, 전체의 인식률의 기대값이 최대로 되도록 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  5. 제3항에 있어서,
    상기 노광량 결정 수단은, 상기 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 높은 위치에서 검출되는 화면에서의 물체의 휘도가 소정의 상한값으로 되도록, 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  6. 제3항에 있어서,
    상기 노광량 결정 수단은, 상기 물체가 실재하는 공간의 감시 범위 내의 조도가 가장 낮은 위치에서 검출되는 물체의 휘도가 소정의 하한값으로 되도록, 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 노광량 결정 수단은, 렌즈의 조리개에 의해 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  8. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 노광량 결정 수단은, 셔터 스피드에 의해 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  9. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 노광량 결정 수단은, 조광 필터에 의해 노광량을 결정하는 것을 특징으로 하는 촬상 장치.
  10. 물체를 검출하여 촬영을 행하는 촬상 방법으로서,
    상기 물체를 검출하는 스텝과,
    검출된 상기 물체의 화상을 촬영하는 스텝과,
    촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 스텝과,
    산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 스텝
    을 갖는 것을 특징으로 하는 촬상 방법.
  11. 컴퓨터에 대해,
    상기 물체를 검출하는 수순과,
    검출된 상기 물체의 화상을 촬영하는 수순과,
    촬영한 상기 물체의 화상에 의해 얻어지는 위치와 휘도에 기초하여, 상기 물체가 실재하는 공간에서의 위치와 조도를 산출하는 수순과,
    산출된 상기 물체가 실재하는 공간에서의 상기 위치와 상기 조도에 기초하여, 촬상의 노광량을 결정하는 수순
    을 실행시키는 것을 특징으로 하는 촬상 프로그램.
KR1020107009764A 2007-11-19 2007-11-19 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체 KR101097017B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/072384 WO2009066364A1 (ja) 2007-11-19 2007-11-19 撮像装置、撮像方法および撮像プログラム

Publications (2)

Publication Number Publication Date
KR20100064388A true KR20100064388A (ko) 2010-06-14
KR101097017B1 KR101097017B1 (ko) 2011-12-20

Family

ID=40667202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009764A KR101097017B1 (ko) 2007-11-19 2007-11-19 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체

Country Status (6)

Country Link
US (1) US20100231712A1 (ko)
EP (1) EP2211534A4 (ko)
JP (1) JP5177147B2 (ko)
KR (1) KR101097017B1 (ko)
CN (1) CN101868967B (ko)
WO (1) WO2009066364A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520841B1 (ko) * 2014-12-03 2015-05-18 김진영 Cctv용 감시 카메라 및 그 감시 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
US9448067B2 (en) * 2011-09-23 2016-09-20 Creatz Inc. System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
JP5726792B2 (ja) * 2012-03-12 2015-06-03 株式会社東芝 情報処理装置、画像センサ装置及びプログラム
CN103516972B (zh) * 2012-06-19 2017-03-29 联想(北京)有限公司 摄像头控制方法及电子设备
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
KR101355076B1 (ko) * 2013-02-18 2014-01-27 주식회사 만도 차량 조도 환경 인식 장치 및 그 방법
WO2015051818A1 (en) 2013-10-07 2015-04-16 Metaio Gmbh Method and system for providing position or movement information for controlling at least one function of a vehicle
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
JP6537385B2 (ja) * 2015-07-17 2019-07-03 日立オートモティブシステムズ株式会社 車載環境認識装置
CN106210553B (zh) * 2016-07-11 2020-01-14 浙江宇视科技有限公司 一种阴影遮挡下的抓拍优化方法及装置
CN108664847B (zh) * 2017-03-29 2021-10-22 华为技术有限公司 一种对象识别方法、设备和系统
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
CN108521864B (zh) 2017-10-20 2021-01-05 深圳市大疆创新科技有限公司 成像控制方法、成像装置和无人机
CN108601154B (zh) * 2018-06-12 2019-09-10 横店集团得邦照明股份有限公司 基于摄像头和深度相机的恒照度室内照明控制器
CN109283931A (zh) * 2018-08-10 2019-01-29 中北大学 医疗病床运输车的线性ccd巡线系统及巡线方法
CN109218627B (zh) * 2018-09-18 2021-04-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
JP7401211B2 (ja) 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
CN110718069B (zh) * 2019-10-10 2021-05-11 浙江大华技术股份有限公司 图像亮度调节方法、装置和存储介质
US20230035740A1 (en) * 2019-11-21 2023-02-02 Nec Corporation Parameter determination apparatus, parameter determination method and recording medium
CN112087605B (zh) * 2020-09-21 2021-06-25 中国矿业大学(北京) 一种井下环境的照度监控方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS557569B2 (ko) * 1972-02-16 1980-02-26
US6124891A (en) * 1987-11-04 2000-09-26 Canon Kabushiki Kaisha Exposure control device
JPH05183801A (ja) * 1992-01-07 1993-07-23 Sharp Corp 自動露光制御回路
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JPH08136968A (ja) * 1994-11-04 1996-05-31 Nisca Corp オート露出カメラ及びこれの制御方法
JPH08214208A (ja) * 1995-02-08 1996-08-20 Fujitsu General Ltd 監視カメラの露出補正方法
JPH10224686A (ja) * 1997-01-31 1998-08-21 Mitsubishi Denki Eng Kk 撮像装置
JPH11175882A (ja) * 1997-12-16 1999-07-02 Furuno Electric Co Ltd 車番読取装置
JP3968872B2 (ja) * 1998-06-15 2007-08-29 ソニー株式会社 固体撮像素子の信号処理回路およびカメラシステム
JP3849333B2 (ja) * 1998-12-17 2006-11-22 コニカミノルタホールディングス株式会社 デジタルスチルカメラ
JP2001304832A (ja) * 2000-04-24 2001-10-31 Keyence Corp 光学式角度測定装置
JP4511750B2 (ja) * 2001-02-27 2010-07-28 三菱重工業株式会社 車両監視システム
JP2002274257A (ja) * 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用監視装置
JP4313996B2 (ja) * 2002-08-30 2009-08-12 トヨタ自動車株式会社 撮像装置
US6853806B2 (en) * 2002-09-13 2005-02-08 Olympus Optical Co., Ltd. Camera with an exposure control function
CN100440938C (zh) * 2003-12-05 2008-12-03 北京中星微电子有限公司 一种低照度条件下改进自动曝光的方法
JP4304610B2 (ja) * 2004-05-18 2009-07-29 住友電気工業株式会社 カメラ式車両感知器における画面の輝度調整方法及び装置
KR100677332B1 (ko) * 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
US7095892B2 (en) * 2005-01-26 2006-08-22 Motorola, Inc. Object-of-interest image capture
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP4760496B2 (ja) * 2006-04-03 2011-08-31 セイコーエプソン株式会社 画像データ生成装置、画像データ生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520841B1 (ko) * 2014-12-03 2015-05-18 김진영 Cctv용 감시 카메라 및 그 감시 방법

Also Published As

Publication number Publication date
US20100231712A1 (en) 2010-09-16
JPWO2009066364A1 (ja) 2011-03-31
KR101097017B1 (ko) 2011-12-20
WO2009066364A1 (ja) 2009-05-28
EP2211534A4 (en) 2014-11-12
EP2211534A1 (en) 2010-07-28
CN101868967A (zh) 2010-10-20
CN101868967B (zh) 2013-06-26
JP5177147B2 (ja) 2013-04-03

Similar Documents

Publication Publication Date Title
KR101097017B1 (ko) 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
CN105635593B (zh) 多重曝光成像系统及其白平衡方法
TWI509569B (zh) 物體檢測裝置
CN103250418B (zh) 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
US9313460B2 (en) Depth-aware blur kernel estimation method for iris deblurring
JP2014053855A (ja) 画像処理装置および方法、並びにプログラム
CN111510592A (zh) 光照处理方法及装置以及摄像装置
US9842284B2 (en) Image processing apparatus and method, and program
Ismail et al. Development of a webcam based lux meter
CN103369252A (zh) 图像处理装置、图像处理装置的控制方法及图像拍摄装置
CN113545028B (zh) 用于面部认证的增益控制
Hertel et al. Image quality standards in automotive vision applications
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법
JP6525503B2 (ja) 画像処理装置および撮像装置
JP2002216125A (ja) 画像修正装置及びその方法
Yang et al. Real‐time illumination adjustment for video deflectometers
CN111355896B (zh) 获取全天相机的自动曝光参数的方法
TW201404120A (zh) 測試系統、成像裝置以及測試方法
JP6070173B2 (ja) 照明制御装置および照明制御方法
CN209087158U (zh) 水上物体预警系统
JP2016178370A (ja) 撮像装置
CN104580903B (zh) 车牌识别装置、系统及方法
RU2282313C1 (ru) Способ автоматической настройки параметров изображения
Nguyen et al. Camera auto-exposing and auto-focusing for edge-related applications using a particle filter
CN107547832A (zh) 基于互联网的智能业务管理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee