KR102642925B1 - 촬상 장치 및 촬상 장치의 동작 방법 - Google Patents

촬상 장치 및 촬상 장치의 동작 방법 Download PDF

Info

Publication number
KR102642925B1
KR102642925B1 KR1020187011306A KR20187011306A KR102642925B1 KR 102642925 B1 KR102642925 B1 KR 102642925B1 KR 1020187011306 A KR1020187011306 A KR 1020187011306A KR 20187011306 A KR20187011306 A KR 20187011306A KR 102642925 B1 KR102642925 B1 KR 102642925B1
Authority
KR
South Korea
Prior art keywords
light
area
light source
image
light emission
Prior art date
Application number
KR1020187011306A
Other languages
English (en)
Other versions
KR20180083314A (ko
Inventor
시부사와에이지로
아라타 와이. 무라카미에드워드
오쿠노요시아키
기타지마도시히로
최상언
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from PCT/KR2016/014436 external-priority patent/WO2017099517A1/ko
Publication of KR20180083314A publication Critical patent/KR20180083314A/ko
Application granted granted Critical
Publication of KR102642925B1 publication Critical patent/KR102642925B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Input (AREA)

Abstract

피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행한다. 복수의 광원은 피사계를 향해 발광한다. 촬상부는 피사계를 촬상하여 촬상 화상을 취득한다. 제어부는 복수의 광원 중 발광시키는 광원을 전환하는 발광 제어를 실행하면서 촬상부에 피사계를 촬상시킨다. 판정부는 촬상부에 의해 취득된 촬상 화상 중 촬상 화상의 일부이고, 또한 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정한다.

Description

촬상 장치 및 촬상 장치의 동작 방법
본 개시는 촬상 장치 및 촬상 장치의 동작 방법에 관한 것이다.
종래, 피사계를 촬상하여 피사계를 감시하는 촬상 장치가 알려져 있다. 예컨대, 특허 문헌 1(일본특허공개 2001－243475호 공보)에는, 촬상 수단에 의해 촬영된 화상 정보를 처리하여 인간의 존재 유무를 판정하는 화상 센서가 개시되어 있다.
상기와 같은 촬상 장치에서는, 피사계의 전 영역을 조명한 상태에서 피사계를 촬상하여 검출 대상(예컨대, 움직임이나 인간)의 유무를 판정하고 있다. 또한, 상기와 같은 촬상 장치에 있어서, 피사계의 조명에 필요한 소비 전력을 저감하기 위해, 피사계의 조명을 중단하는 것을 생각할 수 있다. 그러나, 피사계의 조명을 중단하면 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 없게 된다.
따라서, 본 개시는 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있는 촬상 장치 및 촬상 장치의 동작 방법을 제공하는 것을 목적으로 한다.
이상과 같이, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
도 1a는 본 명세서의 제안 개념을 전체적으로 설명하기 위한 참고도이다.
도 1b는 복수의 광원중 하나 이상의 광원의 선택에 의해 화상 영역의 열 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1c는 발광하는 광원의 점등 시간과 소등 시간을 조절하여 화상 영역의 행 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1d는 화상 영역의 행 영역과 열 영역을 모두 제어하는 것을 설명하기 위한 참고도이다.
도 1e는 화상 영역의 행 영역과 열 영역을 모두 제어하는 구체 적인 예를 설명하기 위한 참고도이다.
도 1f는 개시된 제안에 따른 효과를 보여주는 참고도이다.
도 2는 실시 형태 1에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 3a는 실시 형태 1에 의한 촬상 장치의 배치예를 나타낸 개략도이다.
도 3b는 실시 형태 1에 있어서의 광원과 화상 영역과의 대응 관계에 대해 설명하기 위한 개념도이다.
도 4는 실시 형태 1에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 5는 실시 형태 1에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 6은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 7은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 8은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 9는 실시 형태 2에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 10은 실시 형태 2의 변형예 1에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 11은 실시 형태 2의 변형예 1에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 12는 실시 형태 2의 변형예 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 13은 실시 형태 2의 변형예 2에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 14는 실시 형태 3에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 15는 주목 영역과 인접 영역을 포함하는 후보 영역에 대해 설명하기 위한 개념도이다.
도 16은 실시 형태 4에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 17은 대상물 영역에 대해 설명하기 위한 개념도이다.
도 18은 실시 형태 4의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 19는 주목 영역과 인접 영역에 걸치는 대상물 영역에 대해 설명하기 위한 개념도이다.
도 20은 실시 형태 5에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 21은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어에 대해 설명하기 위한 도면이다.
도 22는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어)에 대해 설명하기 위한 도면이다.
도 23은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
도 24는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
도 25는 실시 형태 5의 움직임 탐색 모드에 있어서의 프레임간 차분에 대해 설명하기 위한 도면이다.
도 26은 실시 형태 5에 있어서의 움직임 탐색 모드로부터 얼굴 인식 모드로의 천이에 대해 설명하기 위한 도면이다.
도 27은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어)에 대해 설명하기 위한 도면이다.
도 28은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
도 29는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
도 30은 실시 형태 6에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 31은 실시 형태 6에 의한 촬상 장치의 동작에 대해 설명하기 위한 도면이다.
도 32는 실시 형태 6에 있어서의 광원의 발광 동작을 나타내는 도면이다.
도 33은 조명 없음 화상 및 조명 있음 화상의 예를 나타내는 도면이다.
도 34는 실시 형태 6에 있어서의 제어기의 동작에 대해 설명하기 위한 도면이다.
도 35는 실시 형태 6에 있어서의 광원의 동작에 대해 설명하기 위한 도면이다.
도 36은 실시 형태 6에 있어서의 광원의 동작에 대해 설명하기 위한 도면이다.
도 37은 실시 형태 6에 있어서의 제어기의 동작의 다른 예에 대해 설명하기 위한 도면이다.
도 38은 실시 형태 7에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 39는 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 40은 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 41은 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 42는 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 43은 실시 형태 8에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 44는 실시 형태 8에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 45는 실시 형태 9에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 46은 실시 형태 9에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 47은 실시 형태 10에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 48은 실시 형태 10에 있어서의 광원과 촬상부와 촬상 화상과의 대응 관계에 대해 설명하기 위한 개념도이다.
도 49는 실시 형태 10에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 50은 실시 형태 10에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 51은 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 52는 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 53은 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 54는 실시 형태 10의 변형예에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
도 55는 실시 형태 11에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 56은 실시 형태 11에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 57은 실시 형태 12에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
도 58은 실시 형태 12에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 59는 실시 형태 12에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
도 60은 실시 형태 13에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
발명의 실시를 위한 최선의 형태
본 개시의 일 실시 형태에 따른 촬상 장치는, 각각 피사계를 향해 발광하는 복수의 광원; 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 상기 복수의 광원 중 발광되는 광원을 전환하도록 상기 복수의 광원의 발광 제어를 실행하면서, 상기 피사계를 촬상하도록 상기 촬상부를 제어하는 제어부; 및 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이며, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 판정부;를 구비하고 있다.
상기 촬상 장치에서는, 복수의 광원 중 발광시키는 광원을 전환함으로써, 복수의 광원을 모두 계속적으로 발광시키는 경우(즉, 피사계의 전 영역을 계속적으로 조명하는 경우) 보다, 피사계의 조명에 필요한 소비 전력을 저감할 수 있다.
또한, 상기 촬상 장치에서는, 촬상 화상 중 그 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역은, 피사계에 있어서 광원에 의해 조명된 영역에 대응하고 있다. 따라서, 촬상 화상 중 상기의 화상 영역(즉, 피사계에 있어서 광원에 의해 조명된 영역에 대응되는 화상 영역)에서 검출 대상의 유무를 판정함으로써, 검출 대상 유무의 판정을 정확하게 수행할 수 있다.
또한, 상기 촬상 장치에서는, 복수의 광원 중 발광시키는 광원을 전환하면서 피사계의 촬상을 계속함으로써, 촬상 화상 중 판정부에 의한 판정 대상이 되는 화상 영역(즉, 피사계 중 판정의 대상이 되는 영역)을 전환할 수 있다. 이에 따라, 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서로 발광하도록 상기 발광 제어를 수행하고, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광 빈도가 높아지도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나 이상의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 발광할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 발광할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물을 검출하는 검출부를 더 구비할 수 있다.
일 실시예에 따라 상기 검출부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역 중 상기 판정부에 의해 검출 대상 있음으로 판정된 부위가 상기 주목 영역의 엣지부인 경우, 상기 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역을 포함하는 후보 영역으로부터 대상물을 검출할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 촬상 화상으로부터 상기 촬상 화상의 일부이고, 또한 상기 검출부에 의해 검출된 대상물을 포함하는 대상물 영역을 추출하고, 상기 대상물 영역과 미리 등록된 조합 화상을 조합하여 상기 대상물을 식별하는 식별부를 더 구비할 수 있다.
일 실시예에 따라 상기 제어부는 상기 식별부에 의해 추출되는 대상물 영역이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역에 걸쳐 있는 경우, 상기 복수의 광원 중 상기 주목 영역 및 상기 인접 영역에 대응되는 광원을 발광시켜 상기 촬상부에 상기 피사계를 촬상시키고, 상기 식별부는 상기 주목 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 상기 주목 영역 및 상기 인접 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 이러한 조합 결과에 기초하여 상기 대상물을 식별할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고, 상기 판정부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역이고, 또한 상기 적어도 하나의 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서 및 점등 순서로 발광하도록 상기 발광 제어를 수행하고, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 제1 발광 동작과 미리 정해진 발광 순서 및 점등 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는, 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 점등할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 점등할 수 있다.
일 실시예에 따라 상기 복수의 광원은 각각 발광량을 변경 가능하게 구성되고, 상기 제어부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하지 않은 광원에 대응되는 화상 영역의 밝기에 기초하여 상기 광원의 발광량을 설정할 수 있다.
일 실시예에 따라 상기 촬상 장치는 설정부를 더 구비하고, 상기 복수의 광원은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성되고, 상기 제어부는 상기 복수의 광원 중 발광시키는 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 수행하고, 상기 설정부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상을 취득하기 위한 촬상시에 발광하고 있는 광원의 발광량을 상기 광원에 대해 설정해야 할 발광량으로 결정할 수 있다.
일 실시예에 따라 상기 복수의 광원은 각각 발광량을 제1 발광량과 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 상기 촬상부는 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고, 상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 판정부에 의해 검출 대상 없음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고, 상기 제어부는, 상기 복수의 광원중 발광된 광원 및 상기 발광된 광원이 점등되어 있는 기간에 기초해서, 상기 촬상부에 의해 취득된 촬상 화상 중 상기 미리 정해진 검출 대상의 유무를 판정할 상기 화상 영역을 결정할 수 있다.
일 실시예에 따라 상기 촬상부에 의해 취득된 촬상 화상은 복수의 행 영역과 복수의 열 영역으로 구분되며, 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응하여 상기 복수의 열 영역중 하나의 열 영역이 결정되고, 상기 발광하는 광원이 점등되어 있는 기간에 대응하여 상기 복수의 행 영역중 하나의 행 영역이 결정될 수 있다.
다른 실시예에 따른 촬상 장치는, 피사계를 향해 발광하는 광원; 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 및 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에 있어서, 상기 광원이 점등되어 있는 기간과 상기 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키는 제어부;를 구비할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 프레임간 차분을 실행함으로써 움직임 여부를 판정하는 판정부를 더 구비할 수 있다.
일 실시예에 따라 상기 촬상 장치는 식별부를 더 구비하고, 상기 제어부는 상기 판정부에 의해 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에 대응되는 기간에 있어서 보다 강한 광이 조사되도록, 상기 광원을 제어하고, 상기 식별부는 상기 판정부에 의해 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에서 얼굴 인식을 수행할 수 있다.
또 다른 실시예에 따른 촬상 장치는, 피사계를 향해 발광하는 광원; 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 및 상기 광원의 비발광시에 상기 촬상부에 의해 취득된 촬상 화상의 밝기에 기초하여 상기 광원의 발광량을 설정하는 제어부;를 구비할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 제어부는 펄스폭 변조에 의해 상기 광원의 발광량을 변화시킬 수 있다.
일 실시예에 따라 상기 광원은 적외광을 조사하도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 촬상 화상의 밝기는 상기 촬상부에 의해 취득된 촬상 화상 내의 전화소의 밝기의 평균값을 포함할 수 있다.
또 다른 실시예에 따른 촬상 장치는, 그 발광량을 복수의 발광량으로 전환 가능하게 구성된 광원; 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부; 상기 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 실시하는 제어부; 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 판정부; 및 상기 판정부에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 결정하는 설정부;를 구비할 수 있다.
일 실시예에 따라 상기 판정부는 상기 촬상부에 의해 취득된 복수의 촬상 화상을, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량으로 분류하고, 상기 발광량의 분류마다 촬상 화상에 있어서의 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 설정부는 상기 제어부의 제2 동작에 의해 취득된 촬상 화상이 상기 판정부에 의해 검출 대상 없음으로 판정된 경우, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 하는 결정을 해제할 수 있다.
일 실시예에 따라 상기 광원은 그 발광량을 제1 및 제2 발광량으로 전환 가능하게 구성되고, 상기 제어부는, 상기 제1 동작에 있어서, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킨 후에, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 동작에 있어서, 상기 제1 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제1 및 제2 발광량이 모두 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 및 제2 발광량으로 교대로 전환하면서 상기 전환된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킬 수 있다.
또 다른 실시예에 따른 촬상 장치는, 그 발광량을 제1 발광량과, 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 피사계를 향해 발광하는 광원; 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 짧은 제2 노광 시간으로 전환 가능하게 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부; 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 판정부; 및 상기 판정부에 의해 검출 대상 있음으로 판정된 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 판정부에 의해 검출 대상 없음으로 판정된 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는 제어부;를 구비할 수 있다.
또다른 실시예에 따라, 각각 피사계를 향해 발광하는 복수의 광원과, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부를 이용하는 촬상 방법은, 상기 복수의 광원 중 발광시키는 광원을 전환하는 발광 제어를 실행하면서 상기 촬상부에 상기 피사계를 촬상시키는 제1 공정; 및 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이고, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 제2 공정;을 구비할 수 있다.
또 다른 실시예에 따라 롤링 셔터를 이용한 촬상 방법은, 광원에 의해 피사계에 광을 조사하는 제1 공정; 및 상기 롤링 셔터의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에 있어서 상기 광원이 점등되어 있는 기간과 상기 광원이 소등되어 있는 기간이 존재하도록, 상기 광원을 발광시키는 제2 공정;을 구비할 수 있다.
일 실시예에 따라 상기 촬상 방법은, 상기 광원이 점등되어 있는 기간에 대응되는 촬상 화상 내의 화상 영역에서 프레임간 차분을 실행함으로써 움직임 여부를 판정하는 제3 공정을 더 구비할 수 있다.
일 실시예에 따라 상기 촬상 방법은, 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에 대응되는 기간에 있어서 보다 강한 광이 조사되도록, 상기 광원을 제어하는 제4 공정; 및 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에서 얼굴 인식을 실시하는 제5 공정;을 더 구비할 수 있다.
다른 실시예에 따른 촬상 방법은, 광원에 의해 피사계에 광을 조사하는 제1 공정; 촬상부에 의해 상기 피사계를 촬상하여 촬상 화상을 취득하는 제2 공정; 및 상기 광원의 비발광시에 상기 촬상부에 의해 취득된 촬상 화상의 밝기에 기초하여 상기 광원의 발광량을 설정하는 제3 공정;을 구비할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 광원의 발광량은 펄스폭 변조에 의해 변화될 수 있다.
일 실시예에 따라 상기 광원은 적외광을 조사하도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 촬상 화상의 밝기는 상기 촬상부에 의해 취득된 촬상 화상 내의 전화소의 밝기의 평균값을 포함할 수 있다.
다른 실시예에 따라 그 발광량을 복수의 발광량으로 전환 가능하게 구성된 광원과, 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부를 이용하는 촬상 방법은, 상기 광원에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정하는 제1 공정; 상기 제1 공정에 있어서 상기 광원에 대해 설정해야 할 발광량이 결정되지 않은 것으로 판정된 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 결정하는 제2 공정; 및 상기 제1 공정에 있어서 상기 복수의 발광량에 대해 설정해야 할 발광량이 결정되어 있다고 판정된 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제3 공정;을 구비할 수 있다.
일 실시예에 따라 상기 제2 공정에서는, 상기 촬상부에 의해 취득된 복수의 촬상 화상을, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량으로 분류하고, 상기 발광량의 분류마다 촬상 화상에 있어서의 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 제3 공정에서는, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 하는 결정을 해제할 수 있다.
일 실시예에 따라 상기 광원은 그 발광량을 제1 및 제2 발광량으로 전환 가능하게 구성되고, 상기 제2 공정에서는, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킨 후에, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제3 공정에서는, 상기 제1 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제1 및 제2 발광량이 모두 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 및 제2 발광량으로 교대로 전환하면서 상기 전환된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킬 수 있다.
다른 실시예에 따라 그 발광량을 제1 발광량과, 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 피사계를 향해 발광하는 광원과, 그 노광 시간을 제1 노광 시간과, 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부를 이용한 촬상 방법은, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 제1 공정; 및 상기 제1 공정에 있어서 검출 대상 있음으로 판정된 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 제1 공정에 있어서 검출 대상 없음으로 판정된 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는 제2 공정;을 구비할 수 있다.
발명의 실시를 위한 형태
이하, 실시의 형태를 도면을 참조하여 상세히 설명한다. 또한, 도면에서 동일 또는 상당 부분에는 동일한 부호를 부여하고 그 설명은 반복하지 않는다.
〔전체적인 개념〕
피사계를 감시하고 촬상하는 장치에서, 밝은 곳에서도 어두운 곳에서도 사람 검지나 개인 식별을 할 수 있도록, 조명 장치를 갖춘 이미지 센서가 존재한다. 기존, 조명 장치는 화상 내에 휘도얼룩이 발생하지 않도록, 타이밍(Timing)이나 배광 특성을 제어하는 것이 개시되어 있다. 그러나, 사람의 검지 목적으로 피사계 전체를 균일하게 조명하는 것은, 조명 장치의 소비 전력의 관점에서 적절치 않다는 점이 있다. 특히, 소비 전력의 증대는 방열 기구 등, 장치의 소형화에 방해가 될 수 있다.
따라서, 본 명세서에서 제안하는 것은 피사계를 전체가 아니라 부분적으로 조명하거나 및/또는 피사계를 조명하는 시간도 전체 시간이 아니라 부분적으로 점등시간을 둠으로써, 피사계에 대응하는 화상 영역의 일부 영역을 촬상할 수 있도록 제어하자는 것이다.
도 1a는 본 명세서의 제안 개념을 전체적으로 설명하기 위한 참고도이다.
도 1a를 참조하면, 촬상 장치에 광원을 복수개 구비함으로써 피사계에 대응하는 화상 영역의 열 영역의 일부를 조명할 수 있다. 또한 광원이 점등되는 시간을 제어함으로써 화상 영역의 행 영역의 일부를 조명할 수 있다. 도 1a를 참조하면, 제안하는 촬상 장치는 i 개의 광원 L1, L2, …Li (i는 2이상의 정수)를 구비하고, 각 광원의 발광에 의해 피사계의 대응하는 일부가 조명될 수 있다. i개의 광원에 대응하여 i개의 열 영역으로 이루어진 화상 영역이 구성될 수 있다. 즉, 복수의 광원중 하나 이상의 광원을 선택적으로 발광시킴으로써 선택된 광원에 대응하는 하나 이상의 열 영역이 촬상될 수 있다. 또한 제안하는 촬상 장치는 광원을 하나의 프레임의 전 기간에서 점등시키는 것이 아니라 하나의 프레임의 일부 기간에서 점등 시킴으로써 그 일부 시간에 대응하는 피사계의 일부가 조명되게 할 수 있다. 예를 들어, 하나의 프레임 촬영 즉, 프레임의 첫번째 라인부터 마지막 라인까지의 촬영을 위한 광원의 전체 점등 시간을 T1, T2, …Tj (j는 2 이상의 정수)로 나누고, T1, …Tj 시간중 하나 이상의 시간 구간을 선택하여 광원을 점등함으로써 선택된 시간 구간에 대응하는 행 영역이 촬상될 수 있다. 또한 발광하는 광원의 개수와 광원의 점등 시간을 함께 제어함으로써 촬상되는 화상 영역의 행 영역 및 열 영역을 모두 선택할 수 있다.
도 1b는 복수의 광원중 하나 이상의 광원의 선택에 의해 화상 영역의 열 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1b를 참조하면, 예를 들어, 광원은 11a, 11b, 11c, 11d를 구비한다. 각 광원의 위치에 따라서 대응되는 화상 영역의 열 영역 1, 열 영역 2, 열 영역 3, 열 영역 4가 표시되어 있다. 광원 11a를 발광시키고 촬상부 12를 이용하여 촬상함으로써 화상 영역중 열 영역 1을 획득할 수 있다. 광원 11b를 발광시킴으로써 화상 영역중 열 영역 2를, 광원 11c를 발광시킴으로써 화상 영역중 열 영역 3을, 광원 11d를 발광시킴으로써 화상 영역중 열 영역 4를 획득할 수 있다.
이와 같이 광원을 병렬로 배치하고 특정한 광원만을 발광시킴으로써, 피사계를 세로로 분할한 부분 영역을 조명하고 대응하는 부분 영역에 대한 화상을 획득할 수 있다. 즉, 부분 영역을 획득하기 위한 일부 특정한 광원만을 발광시킴으로써 조명에 필요한 전력을 감소시킬 수 있다.
도 1c는 발광하는 광원의 점등 시간과 소등 시간을 조절하여 화상 영역의 행 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1c를 참조하면, 예를 들어, 광원은 11a, 11b, 11c, 11d를 포함한다. 행 영역을 제어하는 것의 설명의 편의상 광원 11a, 11b, 11c, 11d가 모두 함께 발광되는 것을 가정한다. 하나의 프레임의 촬영을 위해 광원들이 발광되는 시간 T1, T2, T3에 대응하여 화상 영역의 행 영역 1, 행 영역 2, 행 영역 3이 표시되어 있다. 광원들을 T1 동안 점등하고 T2, T3에서 소등함으로써, 화상 영역중 행 영역 1을 획득할 수 있다. 또한, 광원들을 T2 동안 점등하고 T1, T3에서 소등함으로써, 화상 영역중 행 영역 2를 획득할 수 있다. 또한, 광원들을 T3 동안 점등하고 T1, T2에서 소등함으로써, 화상 영역중 행 영역 3을 획득할 수 있다.
이와 같이, 롤링 셔터를 이용하여 노광 구간에 맞춰 발광 타이밍을 억제함으로써 피사계를 가로로 분할한 부분 영역을 조명할 수 있다. 피사계를 가로 분할한 부분 영역을 획득하기 위한 시간 만큼만 광원을 발광시킴으로써, 화상의 전 라인의 전 기간 점등에 비해 필요 전력을 한층 감소시킬 수 있다.
도 1d는 화상 영역의 행 영역과 열 영역을 모두 제어하는 것을 설명하기 위한 참고도이다.
도 1d에서 개시된 열 영역 제어 및 도 1c에서 개시된 행 영역 제어를 함께 이용함으로써 촬상 장치는 화상 영역의 행 영역 및 열 영역을 모두 제어할 수 있다.
즉, 병렬로 설치된 복수개의 광원들중 하나 이상을 발광 광원으로 선택함으로써 촬상될 화상의 열 영역을 선택하고, 또한 이 선택된 발광 광원의 발광 시간을 선택함으로써 촬상될 화상의 행 영역을 선택할 수 있다. 예를 들어, 도 1d를 참조하면, 광원이 4개 있고, 광원의 발광 시간을 3 구간으로 구분할 때, 화상 영역은 4개의 열 영역과 3개의 행 영역으로 이루어지는, 총 12개의 소 영역으로 구분될 수 있다. 따라서 촬상 장치에서 4개의 광원중 하나의 광원을 선택하고 3개의 시간 구간중 하나의 시간 구간을 선택함으로써 12개의 소 영역중 하나의 소 영역에 대응하는 피사계의 화상을 획득할 수 있다.
도 1e는 화상 영역의 행 영역과 열 영역을 모두 제어하는 구체적인 예를 설명하기 위한 참고도이다.
도 1e의 1000a를 참조하면, 발광 광원으로 4개의 광원 모두를 선택하고 시간 구간 T2 동안 발광킴으로써, 화상 영역중 행 영역 2에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 얼굴 부분에 대한 화상을 획득할 수 있다.
도 1e의 1000b를 참조하면, 발광 광원으로 11b, 11c를 선택하고 전 시간 구간 T1, T2, T3 동안 발광시킴으로써, 화상 영역중 열 영역 2와 열 영역 3에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 전신에 대한 화상을 획득할 있다.
도 1e의 1000c를 참조하면, 발광 광원으로 11b, 11c를 선택하고 시간 구간 T2 동안 발광시킴으로써, 화상 영역중 (행 영역 2,열 영역 2)와 (행 영역 2,열 영역 3) 에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 얼굴 부분에 대한 화상을 얻을 수 있다.
이와 같이 본 명세서의 제안에 따르면, 피사계의 일부를 조명하는 것이 가능해진다. 피사계의 일부 영역에 대응하는 광원을 선택하고, 또한 대응하는 화상 라인의 노광 기간에 맞춰 조명함으로써, 검출 처리당 조명 시간을 단축함으로서 소비 전력을 감소시킬 수 있다.
도 1f는 개시된 제안에 따른 효과를 보여주는 참고도이다.
도 1f은, 예를 들어, 피사계를 세로로 4분할 때의 조명의 필요 전력을 전기간 점등과 비교한 것이다.
세로로 4분할된 피사계의 한 분할 영역에 대응하는 조명을 점등할 경우 필요전력은 전체 조명에 필요한 필요전력의 25% 이다.
타이밍 점등은, 1 프레임의 노광 기간의 10% 에서 15% 기간을 점등한다고 할 때, 이를 피사계 분할 점등과 조합하면, 필요전력은 2.5% 에서 4% 정도가 된다. 따라서, 피사계 영역을 복수의 광원을 이용하여 분할하고 또한 타이밍 점등을 수행함으로써 필요 전력을 상당히 감소시킬 수 있다.
사용자의 입퇴실 등 특히 인물의 전신이 이동하는 듯한 큰 움직임이 있을 때는 그다지 많은 전력을 조명에 사용할 필요가 없다. 또한 이하에서 자세히 설명되지만, 차분에 의한 움직임 검출에 의해 입퇴출을 감시함으로써, 이후 개인 식별 처리 타이밍과 조명할 필요가 있는 영역을 특정하는 것이 가능해진다. 또한 어두운 실내를 적외광으로 조명한 인물 화상을 기계 학습함으로 인해 실내 조명시와 동등한 개인 식별 성능을 달성할 수 있다.
이하에서는 전술한 개념을 실시예들을 이용하여 구체적으로 설명하기로 한다.
〔실시 형태 1〕
도 2는, 실시 형태 1에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되어 있다. 예컨대, 도 3a에 도시한 바와 같이, 촬상 장치(10)는 실내에 설치되는 전자 제품(도 3a의 예에서는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 복수(본 예에서는 4개)의 광원(11a~11d)와, 촬상부(12)와, 처리 회로(13)를 구비하고 있다. 또한, 이하의 설명에서는, 광원(11a~11d)을 “광원(11)”이라고 총칭한다.
〈광원〉
광원(11)은 피사계를 향해 발광하도록 구성되어 있다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은 적외광일 수도 있고, 가시광선일 수도 있다.
또한, 도 3a에 도시한 바와 같이, 복수의 광원(11a~11d)은 촬상부(12)의 주변에 설치되어 있다. 그리고, 복수의 광원(11a~11d)은 피사계의 조명을 분담하여 수행하도록 구성되어 있다. 구체적으로, 복수의 광원(11a~11d) 각각은 피사계 중 그 광원(11)에 대응되는 일부의 영역을 조명하도록 구성되고, 복수의 광원(11a~11d)을 모두 발광시킨 경우에 피사계의 전 영역이 조명되도록 배치되어 있다. 본 예에서는, 복수의 광원(11a~11d)은 수평 방향으로 병설되어 있다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다.
〈광원과 화상 영역과의 대응 관계〉
도 3b에 도시한 바와 같이, 촬상 화상(20)에는, 복수(본 예에서는 4개)의 광원(11a~11d)에 각각 대응하는 복수(본 예에서는 4개)의 화상 영역(21a~21d)이 포함되어 있다. 또한, 이하의 설명에서는 화상 영역(21a~21d)을 “화상 영역(21)”이라고 총칭한다.
화상 영역(21)은 그 화상 영역(21)에 대응되는 광원(11)에 의해 조명되는 피사계의 일부 영역을 포함하고 있다. 본 예에서 화상 영역(21a)은 광원(11a)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21b)은 광원(11b)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21c)은 광원(11c)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21d)은 광원(11d)에 의해 조명되는 피사계의 일부 영역을 포함하고 있다. 또한, 본 예에서는, 복수의 화상 영역(21a~21d)은 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복되지 않도록 배치되어 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에 있어서 처리 회로(13)는 제어부(14)와 판정부(15)와 검출부(16)를 구비하고 있다.
《제어부》
제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하는 발광 제어를 실행하면서 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 즉, 발광 제어에 있어서, 제어부(14)는 복수의 광원(11a~11d) 중에서 발광시키는 광원(11)을 선택하고, 그 선택된 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)의 일부로서, 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역(21)에 대해서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 판정부(15)는 화상 영역(21)에서 미리 정해진 검출 대상의 유무를 판정하도록 할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
《검출부》
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물(본 예에서는 인간)을 검출하도록 구성되어 있다. 또한, 검출부(16)는 검출 결과를 외부로 출력하도록 구성되어 있다. 검출부(16)는 촬상 화상으로부터 미리 정해진 대상물을 검출할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
〈동작〉
이어서, 도 4를 참조하여, 실시 형태 1에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 화상 영역(21a~21d)의 판정 순서(판정 대상이 되는 화상 영역(21)을 선택하는 순서)가 미리 정해져 있다. 즉, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 구체적으로, 광원(11a)과 화상 영역(21a)이 첫번째로 선택되고, 광원(11b)과 화상 영역(21b)이 두번째로 선택되며, 광원(11c)과 화상 영역(21c)이 세번째로 선택되고, 광원(11d)과 화상 영역(21d)이 네번째로 선택되도록, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역(21)의 선택 순서에 기초하여 광원(11a~11d)과 화상 영역(21a~21d)에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로, 광원(11a)과 화상 영역(21a)에 “1”이 할당되고, 광원(11b)과 화상 영역(21b)에 “2”가 할당되며, 광원(11c)과 화상 영역(21c)에 “3”이 할당되고, 광원(11d)과 화상 영역(21d)에 “4”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역(21)의 번호를 나타내고 있다. 상한치(Kmax)는, 2 이상의 정수이고, 광원(11)의 개수(본 예에서는 4)에 해당한다.
《스텝 ST101》
우선, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11a) 및 화상 영역(21a))을 이번 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다.
《스텝 ST102, ST103》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)(이번 처리의 대상이 되는 화상 영역(21))에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 예컨대, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)에 대응되는 광원(11)이 발광하고 있는 기간 중에 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST104》
이어서, 판정부(15)는 스텝 ST103에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출한다. 예컨대, 판정부(15)는 스텝 ST103에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 K번째의 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(K번째의 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST105》
이어서, 판정부(15)는 스텝 ST104에서 추출된 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST106으로 진행되고, 그렇지 않은 경우에는, 스텝 ST107로 진행된다.
예컨대, 판정부(15)는 스텝 ST104에서 취득된 부분 화상열을 구성하는 N개의 화상 영역(K번째의 화상 영역)으로부터 N－1개의 부분 차분 화상을 산출한다. 또한, X번째(X는 1 이상이고, 또한 N－1 이하의 정수)의 부분 차분 화상은, 부분 화상열을 구성하는 N개의 화상 영역 중 시계열에 있어서 X번째에 위치하는 촬상 화상에 포함되는 K번째의 화상 영역과 시계열에 있어서 X＋1번째에 위치하는 촬상 화상에 포함되는 K번째의 화상 영역과의 차분 화상에 해당한다. 이어서, 판정부(15)는 N－1개의 부분 차분 화상의 화소값을 화소마다 평균하여 차분 평균 화상(각각의 화소값이 N－1개의 화소값의 평균값을 나타낸 화상)을 산출한다. 그리고, 판정부(15)는 차분 평균 화상에 포함되는 복수의 화소값 중 미리 정해진 차분 문턱값을 상회하는 화소값의 개수의 점유 비율(차분 평균 화상에 포함되는 전 화소수에 대한 비율)이 미리 정해진 점유 비율 문턱값을 상회하는 경우, K번째의 화상 영역에 움직임(검출 대상)이 있는 것으로 판정하고, 그렇지 않은 경우, K번째의 화상 영역에 움직임(검출 대상)이 없다고 판정한다. 또한, 차분 문턱값 및 점유 비율 문턱값은, 예컨대 움직임이 있는 것으로 간주할 수 있을 때의 화소값 및 점유 비율로 각각 설정되어 있다.
《스텝 ST106》
이어서, 검출부(16)는 스텝 ST105에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 예컨대, 검출부(16)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 개시된 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거한 검출 수법)을 이용하여 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행하도록 구성될 수도 있다.
《스텝 ST107, ST108, ST109》
이어서, 제어부(14)는 미리 정해진 선택 순서에 근거하여, 다음 번의 처리 대상이 되는 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우에 변수 K를 1로 설정한다. 이어서, 스텝 ST110으로 진행된다.
즉, 제어부(14)는 이번의 처리 대상이 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11d) 및 화상 영역(21d))인지 여부를 판정한다(스텝 ST107). 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)이 아닌 경우, 제어부(14)는 미리 정해진 선택 순서에 있어서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)의 다음에 선택될 화상 영역(21)을, 다음 번의 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다(스텝 ST108). 한편, 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)인 경우, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11a) 및 화상 영역(21a))을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)으로서 선택한다(스텝 ST109).
《스텝 ST110》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST102로 진행된다.
〈광원의 발광 패턴〉
도 5는 실시 형태 1에 있어서의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 5에 도시한 바와 같이, 실시 형태 1에서는, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 복수의 광원(11a~11d)이 차례로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)가 수행된다.
〈실시 형태 1에 의한 효과〉
이상과 같이, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환함으로써, 복수의 광원(11a~11d)의 전부를 계속적으로 발광시키는 경우(즉, 피사계의 전 영역을 계속적으로 조명하는 경우) 보다 피사계의 조명에 필요한 소비 전력을 저감할 수 있다.
또한, 촬상 화상(20) 중 그 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역(21)은, 피사계에 있어서 그 광원(11)에 의해 조명된 영역(피사계의 일부)에 대응되어 있다. 따라서, 촬상 화상(20) 중 상기의 화상 영역(21)(즉, 피사계에 있어서 광원(11)에 의해 조명된 영역에 대응되는 화상 영역(21))에 대해 검출 대상(본 예에서는 움직임)의 유무의 판정을 수행함으로써, 검출 대상 유무의 판정을 정확하게 수행할 수 있다.
또한, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하면서 피사계의 촬상을 계속함으로써, 촬상 화상(20) 중 판정부(15)에 의한 판정의 대상이 되는 화상 영역(21)(즉, 피사계 중 판정의 대상이 되는 영역)을 전환할 수 있다. 이에 따라, 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 대상물 검출 처리(본 예에서는 사람 검출 처리)의 대상으로 함으로써, 대상물의 검출을 효율적으로 수행할 수 있다.
또한, 제어부(14)가 발광 제어에 있어서, 복수의 광원(11a~11d) 중에서 하나의 광원을 선택하여 발광시키는 경우를 예로 들었지만, 제어부(14)는 발광 제어에 있어서, 복수의 광원(11a~11d) 중에서 2 이상의 광원(11)(다만 모든 광원(11)은 아님)을 선택하여 동시에 발광시키도록 구성될 수도 있다.
〔실시 형태 2〕
실시 형태 2에 의한 촬상 장치(10)는 그 동작이 실시 형태 1에 의한 촬상 장치(10)의 동작과 다르다. 실시 형태 2에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하지 않는 경우, 복수의 광원(11a~11d)은 미리 정해진 발광 순서로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)를 수행하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하는 경우, 복수의 광원(11a~11d) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광 빈도가 높아지도록 발광 제어를 수행한다.
구체적으로, 실시 형태 2에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하는 경우, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)이 발광하는 제1 발광 동작과, 미리 정해진 발광 순서에 기초하여 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역(21)에 대응되는 광원(11) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록 발광 제어를 수행한다. 또한, 실시 형태 2의 기타 구성은 실시 형태 1과 동일하게 되어 있다.
〈동작〉
이어서, 도 6, 도 7, 도 8을 참조하여, 실시 형태 2에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 실시 형태 1과 마찬가지로, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 화상 영역(21a~21d)의 판정 순서(판정 대상이 되는 화상 영역(21)을 선택하는 순서)가 미리 정해져 있다. 구체적으로는, 광원(11a)과 화상 영역(21a)이 첫번째로 선택되고, 광원(11b)과 화상 영역(21b)이 두번째로 선택되며, 광원(11c)과 화상 영역(21c)이 세번째로 선택되고, 광원(11d)과 화상 영역(21d)이 네번째로 선택되도록, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역(21)의 선택 순서에 기초하여 광원(11a~11d)과 화상 영역(21a~21d)에 번호(선택 순서를 나타낸 번호)가 할당되어 있다.
《스텝 ST201》
우선, 스텝 ST101과 마찬가지로, 제어부(14)는 변수 K를 1로 설정한다.
《스텝 ST202》
이어서, 제어부(14)는 주목 영역의 존재 유무를 판정한다. 주목 영역은 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(21)에 해당한다. 주목 영역이 존재하지 않는 것으로 판정된 경우에는, 스텝 ST203으로 진행된다. 주목 영역이 존재하는 경우에는, 스텝 ST213으로 진행된다.
《스텝 ST203~ST206》
이어서, 스텝 ST102, ST103과 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)(이번 처리의 대상이 되는 화상 영역(21))에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 스텝 ST104, ST105와 마찬가지로, 판정부(15)는 스텝 ST204에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출하고, 그 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST207로 진행되고, 그렇지 않은 경우에는, 스텝 ST209로 진행된다.
《스텝 ST207》
이어서, 제어부(14)는 스텝 ST206에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 주목 대상(즉, 주목 영역)으로 설정한다. 이어서, 스텝 ST208로 진행된다.
《스텝 ST208》
이어서, 스텝 ST106과 마찬가지로, 검출부(16)는 스텝 ST206에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST209, ST210, ST211》
이어서, 스텝 ST107, ST108, ST109와 마찬가지로, 제어부(14)는 미리 정해진 선택 순서에 근거하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우에 변수 K를 1로 설정한다. 이어서, 스텝 ST212로 진행된다.
《스텝 ST212》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST202로 진행된다.
《스텝 ST213, ST214》
한편, 스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(21)에 대응되는 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로, 스텝 ST103과 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(21)에 대응되는 광원(11)이 발광하는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST215》
이어서, 판정부(15)는 스텝 ST214에서 취득된 촬상 화상(20)으로부터 주목 영역인 화상 영역(21)을 추출한다. 구체적으로, 스텝 ST104와 마찬가지로, 판정부(15)는 스텝 ST214에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(주목 영역인 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST216》
이어서, 판정부(15)는 스텝 ST215에서 추출된 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST105의 판정 수법과 동일할 수도 있다. 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST217로 진행되고, 그렇지 않은 경우에는, 스텝 ST218로 진행된다.
《스텝 ST217》
이어서, 검출부(16)는 스텝 ST216에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물의 검출 수법은 스텝 ST106의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST218》
한편, 스텝 ST216에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST219》
이어서, 제어부(14)는 K번째의 화상 영역(21)이 주목 영역으로 설정되어 있는지 여부를 판정한다. K번째의 화상 영역(21)이 주목 영역으로 설정되어 있는 경우에는, 스텝 ST220으로 진행되고, 그렇지 않은 경우에는, 스텝 ST223으로 진행된다.
《스텝 ST220, ST221, ST222》
스텝 ST219에서 K번째의 화상 영역(21)이 주목 영역으로 설정되어 있다고 판정된 경우, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST223~ST226》
한편, 스텝 ST219에서 K번째의 화상 영역(21)이 주목 영역으로 설정되지 않은 것으로 판정된 경우, 스텝 ST203, ST204와 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 스텝 ST205, ST206과 마찬가지로, 판정부(15)는 스텝 ST224에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출하고, 그 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST227로 진행되고, 그렇지 않은 경우에는, 스텝 ST229로 진행된다.
《스텝 ST227》
이어서, 스텝 ST207과 마찬가지로, 제어부(14)는 스텝 ST226에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 주목 대상(즉, 주목 영역)으로 설정한다. 이어서, 스텝 ST228로 진행된다.
《스텝 ST228》
이어서, 스텝 ST208과 마찬가지로, 검출부(16)는 스텝 ST226에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST229, ST230, ST231》
이어서, 스텝 ST209, ST210, ST211과 마찬가지로, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 이어서, 스텝 ST212로 진행된다.
〈광원의 발광 패턴〉
도 9는 실시 형태 2에서 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 9에서는, 광원(11a)이 주목 영역인 화상 영역(21)에 대응되고, 3개의 광원(11b, 11c, 11d)이 주목 영역이 아닌 3개의 화상 영역(21)에 각각 대응되고 있다. 도 9에 도시한 바와 같이, 실시 형태 2에서는, 주목 영역이 존재하는 경우, 주목 영역에 대응되는 광원(11)(도 9에서는, 광원(11a))이 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 9에서는, 광원(11b, 11c, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 9를 참조하면, 주목 영역에 대응되는 광원(11a)는 시간 구간 T1,T3,T5,T7,T9,T11 에서 발광함으로써, 2개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11c,11d) 각각은 시간 구간 T2,T4,T6,T8,T10 에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11c,11d)은 6개의 시간 구간당 1개의 시간 구간 주기로 발광한다. 즉, 실시 형태 2에서는, 주목 영역이 존재하는 경우, 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원(11)의 발광 빈도가 높아지도록, 발광 제어가 수행된다.
또한, 실시 형태 2에서 주목 영역이 존재하지 않는 경우의 광원(11)의 발광 패턴의 일예는, 도 5에 도시한 발광 패턴이 된다. 도 5에 도시한 바와 같이, 실시 형태 2에서는, 주목 영역이 존재하지 않는 경우, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 복수의 광원(11a~11d)이 차례로 발광하도록 발광 제어가 수행된다.
〈실시 형태 2에 의한 효과〉
이상과 같이, 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))이 존재하는 경우, 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원(11)의 발광 빈도가 높아지도록, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하는 발광 제어를 실행하면서 촬상부(12)에 피사계를 촬상시킴으로써, 주목 영역(검출 대상 있음으로 판정된 화상 영역(21))에 대해 검출 대상 유무의 판정을 중점적으로 수행할 수 있다. 이에 따라, 피사계 중 검출 대상이 있는 것으로 전망되는 영역을 중점적으로 감시할 수 있으므로, 피사계의 감시(검출 대상 유무의 판정)를 효과적으로 수행할 수 있다.
〔실시 형태 2의 변형예 1〕
또한, 실시 형태 2에 의한 촬상 장치(10)에 있어서, 복수의 화상 영역(21)이 주목 대상(즉, 주목 영역)으로 설정될 수도 있다. 그리고, 제어부(14)는 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)이 제1 발광 동작에서 동시에 발광하도록 발광 제어를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 10을 참조하여, 실시 형태 2의 변형예 1에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 2의 변형예 1에 의한 촬상 장치(10)에서는, 도 7에 도시한 동작을 대신하여, 도 10에 도시한 동작이 수행된다. 또한, 본 예에서는, 주목 영역의 판정 순서(판정 대상이 되는 주목 영역을 선택하는 순서)가 미리 정해져 있다. 그리고, 주목 영역의 선택 순서에 기초하여 복수의 주목 영역에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 L은 1 이상이고, 또한 상한치(Lmax) 이하의 정수이고, 처리의 대상이 되는 주목 영역의 번호를 나타내고 있다. 상한치(Lmax)는 2 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 주목 영역의 개수에 해당한다.
《스텝 ST301, ST302》
스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 모든 주목 영역에 대응되는 모든 광원(11)을 동시에 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로, 제어부(14)는 복수의 광원(11a~11d) 중 모든 주목 영역에 대응되는 모든 광원(11)이 동시에 발광하는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST303》
이어서, 제어부(14)는 변수 L을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 첫번째로 선택되는 주목 영역을 이번 처리의 대상이 되는 주목 영역으로서 선택한다.
《스텝 ST304》
이어서, 판정부(15)는 스텝 ST302에서 취득된 촬상 화상(20)으로부터 L번째의 주목 영역인 화상 영역(21)을 추출한다. 구체적으로 판정부(15)는 스텝 ST302에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 L번째의 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(L번째의 주목 영역이 되는 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST305》
이어서, 판정부(15)는 스텝 ST304에서 추출된 L번째의 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST216의 판정 수법과 동일할 수도 있다. L번째의 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST306으로 진행되고, 그렇지 않은 경우에는, 스텝 ST307로 진행된다.
《스텝 ST306》
이어서, 검출부(16)는 스텝 ST305에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물(100)의 검출 수법은 스텝 ST217의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST308로 진행된다.
《스텝 ST307》
한편, 스텝 ST305에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST308로 진행된다.
《스텝 ST308》
이어서, 제어부(14)는 변수 L이 상한치(Lmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 주목 영역 중 처리의 대상으로서 선택되지 않은 주목 영역이 남아 있는지 여부를 판정한다. 변수 L이 상한치(Lmax)에 도달하지 않은 경우에는, 스텝 ST309로 진행되고, 변수 L이 상한치(Lmax)에 도달한 경우에는, 스텝 ST219로 진행된다.
《스텝 ST309》
스텝 ST308에서 변수 L이 상한치(Lmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 L에 1을 가산한다. 즉, 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 이번의 처리 대상으로 되어 있는 주목 영역의 다음에 선택되는 주목 영역을, 다음 번의 처리 대상이 될 주목 영역으로서 선택한다. 이어서, 스텝 ST304로 진행된다.
〈광원의 발광 패턴〉
도 11은 실시 형태 2의 변형예 1에서 복수의 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 11에서는 2개의 광원(11a, 11c)이 2개의 주목 영역인 2개의 화상 영역(21)에 각각 대응되고, 2개의 광원(11b, 11d)이 주목 영역이 아닌 2개의 화상 영역(21)에 각각 대응되어 있다. 도 11에 도시한 바와 같이, 실시 형태 2의 변형예 1에서는, 복수의 주목 영역이 존재하는 경우, 복수의 주목 영역에 각각 대응되는 복수의 광원(11)(도 11에서는, 광원(11a, 11c))이 동시에 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 11에서는, 광원(11b, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 11을 참조하면, 주목 영역에 대응되는 광원(11a, 11c)는 각각 시간 구간 T1,T3,T5,T7,T9,T11 에서 동시에 발광함으로써, 2개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11d) 각각은 시간 구간 T2,T4,T6,T8,T10 에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11d)은 4개의 시간 구간당 1개의 시간 구간 주기로 발광한다.
〈실시 형태 2의 변형예 1에 의한 효과〉
이상과 같이, 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)을 제1 발광 동작에서 동시에 발광시킴으로써, 이러한 복수의 광원(11)을 제1 발광 동작에서 다른 타이밍으로 발광시키는 경우 보다 제1 발광 동작에 필요한 시간을 단축할 수 있다. 이에 따라, 촬상 시간을 단축할 수 있다.
〔실시 형태 2의 변형예 2〕
또는, 실시 형태 2에 의한 촬상 장치(10)에 있어서, 제어부(14)는 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)이 제1 발광 동작에서 차례로 발광하도록 발광 제어를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 12를 참조하여, 실시 형태 2의 변형예 2에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 2의 변형예 2에 의한 촬상 장치(10)에서는, 도 7에 도시한 동작을 대신하여, 도 12에 도시한 동작이 수행된다. 또한, 본 예에서는, 주목 영역의 판정 순서(판정 대상이 되는 주목 영역을 선택하는 순서)가 미리 정해져 있다. 그리고, 주목 영역의 선택 순서에 기초하여 복수의 주목 영역에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 L은 1 이상이고, 또한 상한치(Lmax) 이하의 정수이며, 처리의 대상이 되는 주목 영역의 번호를 나타내고 있다. 상한치(Lmax)는 2 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 주목 영역의 개수에 해당한다.
《스텝 ST401》
스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 변수 L을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 첫번째로 선택되는 주목 영역을 이번 처리의 대상이 되는 주목 영역으로서 선택한다.
《스텝 ST402, ST403》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 L번째의 주목 영역에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로 제어부(14)는 복수의 광원(11a~11d) 중 L번째의 주목 영역에 대응되는 광원(11)이 발광하고 있는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST404》
이어서, 제어부(14)는 스텝 ST403에서 취득된 촬상 화상(20)으로부터 L번째의 주목 영역인 화상 영역(21)을 추출한다. 구체적으로 판정부(15)는, 스텝 ST403에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 L번째의 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(L번째의 주목 영역이 되는 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST405》
이어서, 판정부(15)는 스텝 ST404에서 추출된 L번째의 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST216의 판정 수법과 동일할 수도 있다. L번째의 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST406에 진행되고, 그렇지 않은 경우에는, 스텝 ST407에 진행된다.
《스텝 ST406》
이어서, 검출부(16)는 스텝 ST405에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물의 검출 수법은 스텝 ST217의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST408로 진행된다.
《스텝 ST407》
한편, 스텝 ST405에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST408로 진행된다.
《스텝 ST408》
이어서, 제어부(14)는 변수 L이 상한치(Lmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 주목 영역 중 처리의 대상으로서 선택되지 않은 주목 영역이 남아 있는지 여부를 판정한다. 변수 K가 상한치(Lmax)에 도달하지 않은 경우에는, 스텝 ST409로 진행되고, 변수 K가 상한치(Lmax)에 도달한 경우에는, 스텝 ST219로 진행된다.
《스텝 ST409》
스텝 ST408에서 변수 L이 상한치(Lmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 L에 1을 가산한다. 즉, 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 이번의 처리 대상으로 되어 있는 주목 영역의 다음에 선택되는 주목 영역을, 다음 번의 처리 대상이 될 주목 영역으로서 선택한다. 이어서, 스텝 ST402로 진행된다.
〈광원의 발광 패턴〉
도 13은 실시 형태 2의 변형예 2에서 복수의 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 13에서는 2개의 광원(11a, 11c)이 주목 영역인 2개의 화상 영역(21)에 각각 대응되고, 2개의 광원(11b, 11d)이 주목 영역이 아닌 2개의 화상 영역(21)에 각각 대응되고 있다. 도 13에 도시한 바와 같이, 실시 형태 2의 변형예 2에서는, 복수의 주목 영역이 존재하는 경우, 복수의 주목 영역에 각각 대응되는 복수의 광원(11)(도 13에서는, 광원(11a, 11c))이 차례로 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 13에서는, 광원(11b, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 13을 참조하면, 주목 영역에 대응되는 광원(11a, 11c)는 각각 시간 구간 T1,T2,T4,T5,T7,T8,T10,T11 에서 순서대로 발광함으로써, 각 광원(11a, 11c)는 3개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11d) 각각은 시간 구간 T3,T6,T9,T12에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11d)은 6개의 시간 구간당 1개의 시간 구간 주기로 발광한다.
〈실시 형태 2의 변형예 2에 의한 효과〉
이상과 같이, 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)을 제1 발광 동작에서 차례로 발광시킴으로써, 서로 인접하는 2개의 화상 영역(21)에 대응되는 2개의 광원(11)으로부터 동시에 출사된 광이 피사계에서 중복되는 것을 피할 수 있다. 이에 따라, 이러한 광의 중복에 기인하는 피사계의 조도의 변동을 방지할 수 있고, 피사계의 감시(검출 대상 유무의 판정)를 정확하게 수행할 수 있다.
〔실시 형태 3〕
실시 형태 3에 의한 촬상 장치(10)는, 그 동작이 실시 형태 1에 의한 촬상 장치(10)의 동작과 다르다. 실시 형태 3에 있어서, 검출부(16)는 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출하도록 구성되어 있다. 또한, 실시 형태 3의 기타 구성은 실시 형태 1과 동일하게 되어 있다.
〈동작〉
이어서, 도 14를 참조하여, 실시 형태 3에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 3에 의한 촬상 장치(10)에 있어서, 검출부(16)는 도 4에 도시한 스텝 ST106의 처리(대상물 검출 7처리)를 대신하여, 도 14에 도시한 처리를 수행하도록 구성되어 있다.
《스텝 ST501》
스텝 ST105에서 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)이 있다고 판정된 경우, 검출부(16)는 주목 영역(즉, 판정부(15)에 의해 검출 대상 있음으로 판정된 K번째의 화상 영역(21))에서 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인지 여부를 판정한다. 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우에는, 스텝 ST502로 진행되고, 그렇지 않은 경우에는, 스텝 ST504로 진행된다.
《스텝 ST502》
이어서, 검출부(16)는 K번째의 화상 영역(21)인 주목 영역의 엣지부(검출 대상 있음으로 판정된 부위를 포함하는 엣지부)에 인접하는 화상 영역(21)인 인접 영역의 존재 유무를 판정한다. 인접 영역이 존재하는 경우에는, 스텝 ST503에 진행되고, 그렇지 않은 경우에는, 스텝 ST504로 진행된다.
《스텝 ST503》
이어서, 검출부(16)는 K번째의 화상 영역(21)인 주목 영역과 주목 영역의 엣지부에 인접하는 화상 영역(21)인 인접 영역을 포함하는 후보 영역(30)에 대해 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행한다. 예컨대, 도 15에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 우측의 엣지부에서 검출 대상(본 예에서는 움직임)이 있는 것으로 판정부(15)에 의해 판정되면, 검출부(16)는 화상 영역(21a)의 우단 엣지부에 인접하는 화상 영역(21b)을 인접 영역이 되는 화상 영역(21)으로 설정하고, 주목 영역인 화상 영역(21a)과 인접 영역인 화상 영역(21b)을 포함하는 후보 영역(30)에 대해 대상물 검출 처리를 수행한다. 또한, 대상물(100)의 검출 수법은, 스텝 ST106의 검출 수법과 동일할 수도 있다.
《스텝 ST504》
한편, 스텝 ST501에서 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부가 아닌 것으로 판정된 경우, 또는, 스텝 ST502에서 주목 영역의 엣지부에 인접하는 화상 영역(21)인 인접 영역이 존재하지 않는 것으로 판정된 경우, 검출부(16)는 주목 영역인 K번째의 화상 영역(21)에 대해서 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행한다. 또한, 대상물(100)의 검출 수법은, 스텝 ST106의 검출 수법과 동일할 수도 있다.
〈실시 형태 3에 의한 효과〉
이상과 같이, 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역)을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출함으로써, 대상물 검출 처리에 있어서 주목 영역에 인접하는 인접 영역을 보조적으로 이용할 수 있다. 이에 따라, 주목 영역만을 대상물 검출 처리의 대상으로 하는 경우 보다 대상물(100)의 검출 정밀도를 향상시킬 수 있다.
〔실시 형태 4〕
도 16은 실시 형태 4에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 4에서는, 처리 회로(13)는, 도 1에 도시한 제어부(14)와 판정부(15)와 검출부(16)에, 추가적으로 식별부(17)를 구비하고 있다. 실시 형태 4의 기타 구성은, 실시 형태 1과 동일하게 되어 있다.
〈식별부〉
식별부(17)는 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 조합(照合) 화상을 조합하여 대상물(100)을 식별하도록 구성되어 있다. 식별부(17)는 이러한 동작을 위한 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
도 17에 도시한 바와 같이, 대상물 영역(40)은 촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역(화상 영역)에 해당한다. 본 예에 있어서, 대상물(100)은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역(40)에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별을 수행한다. 또한, 식별부(17)는 식별 결과를 외부로 출력하도록 구성되어 있다.
또한, 식별부(17)는, 비특허 문헌 2 “Paul Viola and Michael Jones, "Rapid Objectdetection using a Boosted Cascade of Simple Features,"Proc. of CVPR2001, vol.1, pp. 511-518, 2001.”에 나타난 수법(휘도 분포의 비교에 따른 수법) 등을 이용하여 대상물 영역(40)을 추출하도록 구성될 수도 있다. 또한, 식별부(17)는 서포트 벡터 머신이나 상호 부분 공간법 등을 이용하여 조합 처리(대상물 영역(40)과 조합 화상과의 조합)를 수행하도록 구성될 수도 있다.
〈실시 형태 4에 의한 효과〉
이상과 같이, 촬상 화상(20)으로부터 대상물 영역(40)(촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역)을 추출하며, 대상물 영역(40)과 미리 등록된 조합 화상을 조합하여 대상물(100)을 식별함으로써, 대상물(100)의 식별을 효율적으로 수행할 수 있다.
〔실시 형태 4의 변형예〕
또한, 실시 형태 4에 의한 촬상 장치(10)에 있어서, 제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))에 걸쳐 있는 경우, 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시키도록 구성될 수도 있다. 또한, 식별부(17)는 주목 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제1 조합 화상)을 조합하고, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제2 조합 화상)을 조합하고, 이러한 조합 결과에 기초하여 대상물(100)을 식별하도록 구성될 수도 있다.
〈동작〉
이어서, 도 18을 참조하여, 실시 형태 4의 변형예에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 4의 변형예에 의한 촬상 장치(10)는, 도 4에 도시한 동작(감시 동작)과 병행하여 도 18에 도시한 동작을 수행하도록 구성되어 있다.
《스텝 ST601》
제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))에 걸쳐 있는지 여부를 판정한다. 대상물 영역(40)이 주목 영역과 인접 영역에 걸쳐 있는 경우에는, 스텝 ST602로 진행되고, 그렇지 않은 경우에는, 스텝 ST612로 진행된다.
《스텝 ST602, ST603, ST604》
이어서, 제어부(14)는 도 4에 도시한 동작(감시 동작)을 중단한다. 그리고, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST603에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제1 조합 화상을 조합한다. 또한, 제1 조합 화상은 주목 영역에 대응되는 절반이 광에 비추어지고 있지만, 인접 영역에 대응되는 나머지 절반이 광에 비추어지지 않은 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
예컨대, 도 19에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 엣지부에서 대상물(100)이 검출된 경우, 제어부(14)는 화상 영역(21a)에 대응되는 광원(11a)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 또한, 주목 영역인 화상 영역(21a)의 엣지부에 대상물(100)이 위치하고 있으므로, 광원(11a)을 발광시켜 촬상부(12)에 피사계를 촬상시킴으로써, 대상물(100) 중 화상 영역(21a)에 대응되는 부분이 비교적 밝아져 있지만, 화상 영역(21b)에 대응되는 부분이 비교적 어두워져 있는 상태로 촬상 화상(20)이 취득된다. 그리고, 식별부(17)는 촬상 화상(20)으로부터 추출한 대상물 영역(40)과, 화상 영역(21a)에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어지고 있는데, 화상 영역(21b)에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어지지 않은 상태의 인간의 얼굴을 나타낸 제1 조합 화상을 조합한다.
《스텝 ST605, ST606, ST607》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 복수의 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST605에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제2 조합 화상을 조합한다. 또한, 제2 조합 화상은 전체적으로 주목 영역 및 인접 영역에 대응되는 복수의 광원에 의해 발광된 광에 비추어지고 있는 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
《스텝 ST608, ST609, ST610》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 인접 영역에 대응되는 복수의 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST605에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제3 조합 화상을 조합한다. 또한, 제3 조합 화상은 주목 영역에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어지고 있지 않지만, 인접 영역에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어지고 있는 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
예컨대, 도 19에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 엣지부에서 대상물(100)이 검출된 경우, 제어부(14)는 인접 영역인 화상 영역(21b)에 대응되는 광원(11b)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 또한, 주목 영역인 화상 영역(21a)의 엣지부에 대상물(100)이 위치하고 있으므로, 광원(11b)을 발광시켜 촬상부(12)에 피사계를 촬상시킴으로써, 대상물(100) 중 화상 영역(21a)에 대응되는 부분이 비교적 어두워져 있지만, 화상 영역(21b)에 대응되는 부분이 비교적으로 밝아져 있는 상태로 촬상 화상(20)이 취득된다. 그리고, 식별부(17)은, 촬상 화상(20)으로부터 추출한 대상물 영역(40)과, 화상 영역(21a)에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어져 있지 않지만, 화상 영역(21b)에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어져 있는 상태의 인간의 얼굴을 나타낸 제3 조합 화상을 조합한다.
《스텝 ST611》
이어서, 식별부(17)는 스텝 ST604에서의 조합 결과와, 스텝 ST607에서의 조합 결과와, 스텝 ST610에서의 조합 결과에 기초하여 대상물(100)을 식별한다. 또한, 제어부(14)는 식별부(17)에 의한 식별 처리가 완료되면, 도 4에 도시한 동작(감시 동작)을 재개한다.
《스텝 ST612》
한편, 스텝 ST601에서 대상물 영역(40)이 주목 영역과 인접 영역에 걸쳐 있지 않은 것으로 판단된 경우, 식별부(17)는 주목 영역으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 제1 조합 화상을 조합한다. 또한, 식별부(17)는 대상물 영역(40)과 제1 조합 화상을 조합하는 대신, 대상물 영역(40)과 제2 조합 화상을 조합하도록 구성될 수도 있다.
《스텝 ST613》
이어서, 식별부(17)는 스텝 ST612에서의 조합 결과에 기초하여 대상물(100)을 식별한다.
〈실시 형태 4의 변형예에 의한 효과〉
이상과 같이, 주목 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제1 조합 결과)와, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제2 조합 결과)에 기초하여 대상물(100)을 식별함으로써, 제1 조합 결과에 의해서만 대상물(100)을 식별하는 경우 보다 대상물(100)의 식별 정밀도를 향상시킬 수 있다.
또한, 제1 및 제2 조합 결과에 더하여, 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제3 조합 결과)를 대상물(100)의 식별에 이용함으로써, 대상물(100)의 식별 정밀도를 더욱 향상시킬 수 있다.
〔실시 형태 1~4의 총괄〕
이상의 설명에 있어서, 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복되지 않도록 복수의 화상 영역(21a~21d)이 배치되어 있는 경우를 예로 들었는데, 복수의 화상 영역(21a~21d)은, 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복 배치될 수도 있다.
또한, 이상의 설명에서는, 복수의 광원(11a~11d)이 수평 방향으로 병설되어 있는 경우를 예로 들었지만, 복수의 광원(11a~11d)의 배치는, 이에 한정되지 않는다. 예컨대, 복수의 광원(11a~11d)은 연직 방향으로 병설될 수도 있고, 촬상부(12)의 주위를 둘러싸는 원형으로 병설될 수도 있다.
또한, 이상의 설명에서는, 제어부(14)와 판정부(15)와 검출부(16)와 식별부(17)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14)와 판정부(15)와 검출부(16)와 식별부(17)는 2 이상의 처리 회로에 분산하여 포함될 수도 있다.
〔실시 형태 5〕
종래의 촬상 장치에는, 일본특허공개 2010－093729호 공보, 일본특허공개 2010－262224호 공보, 일본특허공개 2012－095214호 공보에 기재된 글로벌 셔터 또는 롤링 셔터를 이용하는 경우가 있다. 이들 특허 문헌은 모두 스트로브(광원)를 점등하여 촬상된 화면 내의 표시 불균일을 저감하는 것에 대해서만 언급하고 있다.
종래 기술은 화면 전체에 걸쳐 명암의 불균형이 발생하지 않도록 스트로브광(광원의 광)을 조사하는데 주안점을 둔다. 본원 발명자 등은 종래의 스트로브 조사(광원의 발광)에 의한 인물 검출은 스트로브(광원)에 의해 소비되는 전력을 무시할 수 없다는 문제를 발견하였다. 본원 발명자 등은 스트로브 점등(광원의 점등)에 의한 표시 불균일이 존재하더라도, 촬상된 화면 내의 일부를 이용하여 인물을 검출함으로써, 스트로브 점등(광원의 점등)에 필요한 전력 저감이 가능함을 발견하였다.
〈촬상 장치의 구조〉
도 20은 실시 형태 5에 의한 촬상 장치(10)의 개략도이다. 촬상 장치(10)는 광원(11)(스트로브)과, 촬상부(12)(촬상 소자)와, 제어기(13a)와, 검출기(13b)를 구비하고 있다. 촬상 장치(10)는, 예컨대, 후술하는 움직임 검출에 의해 촬상된 화면 내에 인물이 있는지를 판정하는 장치이다. 촬상 장치(10)는, 예컨대, 텔레비전과 같은 가전 제품의 일부로서 실현될 수 있다. 이 경우, 촬상 장치(10)는, 그 앞에 있는 사용자의 검출과, 사용자의 인식을 실시함으로써, 개인화된 서비스를 제공할 수 있다. 또한, 촬상 장치(10)는 사용자의 검출만을 수행하고, 사용자의 인식까지는 수행하지 않도록 구성될 수도 있다. 또한, 촬상 장치(10)는 건물 또는 부지의 감시 영역 내에 외부인이 들어가는 것을 발견하는 등 감시 카메라로서도 사용될 수 있다.
〈광원〉
광원(11)은 순간적으로 피사계(피사체)에 광을 조사하는 발광 소자이다. 광원(11)은 플래시라고도 불린다. 여기서, 피사계(피사체)에는, 감시 영역 내에 존재하는 검출 대상의 일예인 인물(예컨대, 외부인)과, 인물 이외의 물체(예컨대, 건물의 벽)가 포함된다. 광원(11)은, 예컨대, 크세논관, 발광 다이오드 등에 의해 실현될 수 있다. 광원(11)은 촬상부(12)로부터 타이밍 신호(TE)를 수취하고, 그 점등 타이밍을 촬상 타이밍과 동기시킨다. 이와 같이, 광원(11)은 피사계를 향해 발광하도록 구성되어 있다.
〈촬상부〉
촬상부(12)는 소정의 감시 영역을 촬상하는 이차원 평면 상에 매트릭스상으로 배치된 광 센서군을 포함하는 소자이다. 촬상부(12)는, 예컨대, 전하 결합 소자(CCD) 또는 상보형 금속 산화막 반도체(CMOS) 소자이다. 촬상부(12)는, 예컨대, 롤링 셔터를 이용하는 소자이다. 촬상부(12)의 프레임 레이트는, 예컨대, 60i(인터레이스)/초이다. 촬상부(12)의 앞에는 피사계(피사체)로부터의 광을 수취하기 위한 렌즈가 설치된다.
이와 같이, 촬상부(12)는, 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 또한, 본 예에 있어서, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성되어 있다. 구체적으로 촬상부(12)는 복수의 광 센서가 매트릭스상으로 배열된 수광면(미도시)을 가지고, 선두 라인인 1행째의 라인(행방향으로 배열된 2 이상의 광 센서에 의해 구성된 라인)으로부터 최종 라인인 n행째(N은 2 이상의 정수)의 라인을 향해 n개의 라인이 차례로 노광되도록 구성되어 있다.
〈제어기〉
제어기(13a)는 촬상부(12)의 노광 타이밍과 광원(11)의 점등 타이밍이 다음에 상술하는 관계를 갖도록 제어한다. 제어기(13a)는 촬상부(12)로부터 노광 타이밍을 나타내는 신호를 수취하고, 적절한 타이밍에 광원(11)을 점등하기 위한 트리거 신호(a)를 광원(11)에 출력한다. 제어기(13a)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 제어기(13a)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)로 실현될 수 있다.
이와 같이, 제어기(13a)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 또한, 본 예에 있어서, 제어기(13a)는 제어부(14)를 구비하고 있다. 제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 제어부(14)에 의한 동작에 대해서는, 후술한다.
〈검출기〉
검출기(13b)는 촬상부(12)로부터 출력된 화상을 나타내는 신호(P)를 받아, 촬상된 화면 내에 인물(대상물의 일예)이 존재하는지를 판정한다. 또한, 본 예에 있어서, 검출기(13b)는 촬상된 화면 내에, 감시 영역으로 들어가는 것을 허가받지 않은 외부인이 존재하는지를 판정한다. 그리고, 검출기(13b)는 판정의 결과를 나타내는 신호(U)를 출력한다. 또한, 검출기(13b)는 촬상 장치(10)의 외부에 설치될 수도 있다. 검출기(13b)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 검출기(13b)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)로 실현될 수 있다.
이와 같이, 검출기(13b)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)을 처리하도록 구성되어 있다. 또한, 본 예에 있어서, 검출기(13b)는 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)에 있어서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상(신호(P)로 표시된 화상)으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하도록 구성되어 있다. 식별부(17)는 촬상 화상(신호(P)로 표시된 화상)으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 본 예에 있어서, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별(얼굴 인식)을 수행한다. 또한, 식별부(17)는 식별 결과(결과를 나타내는 신호(U))를 외부로 출력하도록 구성되어 있다. 또한, 판정부(15), 검출부(16), 식별부(17)에 의한 동작에 대해서는 후술한다.
〈촬상 장치의 동작〉
도 21은 실시 형태 5에서의 제어기(13a)에 의한 광원(11)의 제어를 나타낸다. 차트(2101)는 촬상부(12)의 노광과 광원(11)의 점등과의 타이밍을 나타낸다. 차트(2101)에 있어서, 종축은 촬상부(12)의 화면(광 센서가 매트릭스상으로 배열된 수광면) 내의 각각의 라인(L1~Ln)(합계 n개)을 나타내고, 횡축은 시간(t)을 나타낸다. 화면의 최초 라인(L1)은 시각 t0~t2 사이에 노광된다. 화면의 마지막 라인(Ln)은 시각 t1~t5 사이에 노광된다. 여기서, 시각 t1~t2 사이(즉, 전 라인 노광 기간(tAE))에 있어서, 촬상부(12)는 화면 내의 모든 라인을 노광한다. 광원(11)은 시각 t3~t4 사이(즉, 점등 기간(tL))에 점등한다. 환언하면, 광원(11)은 시각 t0~t3 사이(즉, 소등 기간(tA)) 및 시각 t4~t5 사이(즉, 소등 기간(tB))에서는 소등하고 있다.
개략도 2102는 촬상부(12) 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2102에 있어서, 종축은 차트(2101)의 라인(L1~Ln)에 대응되고, 횡축은 화면(촬상 화상(20))의 수평 위치를 나타낸다. 라인(L1~La)은 노광 중에 광원(11)이 점등되지 않았으므로, 조사광의 강도는 제로이다. 라인(La~Lb)은 노광 중에 광원(11)이 점등되어 있는 기간이 아래의 라인으로 갈 수록 증가하므로, 조사광의 강도가 제로에서 최대로 증가한다. 라인 Lb~Ln는 노광 중에 광원(11)이 점등되어 있는 기간이 점등 기간(tL)의 전 기간(최대)이므로, 조사광의 강도도 최대로 일정하다.
제어기(13a)는 롤링 셔터의 모든 라인이 동시에 노광되고 있는 전 라인 노광 기간(tAE)을 제외한 기간 내에서 광원(11)이 점등되어 있는 점등 기간(tL)과, 광원(11)이 소등되어 있는 소등 기간(tA, tB)이 존재하도록 광원(11)을 점등한다. 이에 따라, 예컨대, 도 21의 개략도 2102에 도시한 바와 같이, 화면 하부(촬상 화상(20)의 하부)에 있어서의 광원(11)의 조사광의 강도를 최대로 하고, 화면 상부(촬상 화상(20)의 상부)에서의 광원(11)의 조사광의 강도를 제로로 할 수 있다. 그 결과, 동일한 전력량으로 광원(11)이 구동되는 것으로 하면, 화면 전체를 균일하게 조사하는 경우와 비교하여, 화면의 일부에 의해 강한 조사 광을 조사할 수 있다. 환언하면, 균일한 조사 보다 효율적으로, 즉 적은 전력으로, 화면의 일부에 광을 조사할 수 있고, 광원(11)에 의해 소비되는 전력을 저감할 수 있다.
〈움직임 탐색 모드 및 얼굴 인식 모드〉
실시 형태 5에 있어서, 촬상 장치(10)는 화면의 일부에만 광을 조사함으로써(즉, 전 라인 노광 기간을 제외한 기간 내에서 점등 기간과 소등 기간이 존재하도록 광원(11)을 점등), 광원(11)에 의한 소비 전력을 절약하면서, 감시 영역 내의 인물의 검출을 수행한다. 이 동작 모드를 움직임 탐색 모드라 한다. 움직임 탐색 모드에 있어서, 검출기(13b)는 광원(11)이 점등되어 있는 점등 기간(tL)에 대응되는 프레임 내의 영역(촬상 화상(20)의 일부이고, 또한 광원(11)의 점등 기간(tL)에 대응되는 화상 영역)에 대해, 예컨대 프레임간 차분을 실행함으로써 움직임 검출(검출 대상 유무의 판정)을 수행한다.
움직임 탐색 모드에 있어서, 만약 움직임이 검출되었다면, 촬상 장치(10)는 얼굴 인식 모드로 이행한다. 얼굴 인식 모드에 있어서, 제어기(13a)는 움직임이 검출된 영역에 대응되는 기간에, 보다 강한 광이 조사되도록, 광원(11)을 제어하고, 또한, 검출기(13b)는 움직임이 검출된 영역에 대해 얼굴 인식(대상물의 식별)을 수행한다.
움직임 탐색 모드에서는 비교적 약한 조사광으로 인물의 검출을 주로 수행하고, 일단 인물이 검출되면, 얼굴 인식 모드로, 보다 강한 조사광으로 얼굴 인식을 수행하여 외부인인지 허가된 사람인지를 판정한다. 이와 같이 2개의 모드를 전환함으로써, 전력을 절약하면서 인물 검출 및 얼굴 인식의 2가지 동작을 수행할 수 있다.
도 22는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)를 나타낸다. 차트 2201은 촬상부(12)의 노광과 광원(11)의 점등과의 타이밍을 나타낸다. 차트 2202는, 프레임 기간(tF) 및 노광 기간(tE)의 개시 시각에 대응되는 동기 신호(VSync)와, 광원(11)의 점등 기간(tL)에 대응되는 스트로브 신호(Str)를 나타낸다. 차트 2201, 2202는, 연속되는 3개의 프레임 F1~F3만을 나타내는데, 실제 촬상 장치(10)의 동작시에는 움직임 탐색 모드가 계속되는 한, 연속적으로 프레임(촬상 화상)이 반복된다.
도 22에 도시된 바와 같이, 각각의 프레임에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다. 이에 따라, 촬상된 화면 내에서 동일한 부분(이 경우, 화면의 상단부 및 하단부)만이 광원(11)의 점등에 의해 광이 조사된다.
도 23은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2301은, 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2302는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 약도 2302에 있어서, 종축은 차트 2301의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2301에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 따라서, 움직임 탐색 모드에서는, 조사 영역(301, 302)에서 움직임 검출을 수행하고, 인물의 존재를 검출한다.
도 24는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2401은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2402는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2402에 있어서, 종축은 차트 2401의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2401에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301)과, 비조사 영역(401, 402)이 생긴다. 따라서, 움직임 탐색 모드에서는 조사 영역(301)에서 움직임 검출을 수행하고, 인물의 존재를 검출한다.
도 25는 움직임 탐색 모드에 있어서의 프레임간 차분의 예를 나타낸다. 검출기(13b)는 광원(11)이 점등되어 있는 점등 기간(tL)에 대응되는 프레임 F1, F2 내의 영역(촬상 화상(20)의 일부이고, 또한 광원(11)의 점등 기간(tL)에 대응되는 화상 영역)에 대해, 프레임간 차분을 실행함으로써 움직임 검출을 수행한다. 프레임 F1, F2는 연속되는 2개의 프레임(촬상 화상(20))이다. 도 25에 도시한 바와 같이, 광원(11)을 점등함으로써, 프레임 F1에는 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 마찬가지로 프레임 F2에도 조사 영역(301, 302)과 비조사 영역(401)이 생긴다.
검출기(13b)는 프레임 F1의 조사 영역(301)과 프레임 F2의 조사 영역(301)과의 차분에 기초하여 움직임 검출을 수행한다. 여기서는, 시간의 경과에 따라 인물(대상물(100)의 일예)은 화면의 좌단으로부터 화면 중앙을 향해 이동하고 있다. 따라서, 프레임 F1의 조사 영역(301)과 프레임 F2의 조사 영역(301)과의 차분에 근거하면, 움직임이 있는 것으로 판정된다. 마찬가지로 검출기(13b)는 프레임 F1의 조사 영역(302)과 프레임 F2의 조사 영역(302)과의 차분에 기초하여 움직임 검출을 수행한다. 프레임 F1의 조사 영역(302)과 프레임 F2의 조사 영역(302)과의 차분에 근거하면, 움직임이 있는 것으로 판정된다.
도 26은 움직임 탐색 모드로부터 얼굴 인식 모드로의 천이를 나타낸다. 프레임 F1까지의 기간에 있어서, 조사 영역(301, 302)에 대해 움직임 탐색이 수행되고 있다. 프레임 F1에서 움직임이 검출되면, 프레임 F2에서는 얼굴 인식 모드로 천이한다. 얼굴 인식 모드에서는, 프레임 F2 내에서 인물의 얼굴(대상물(100)의 일예)이 존재할 가능성이 높은 영역에서 광원(11)의 광을 조사한다. 이는 광원(11)을, 예컨대 도 20의 점등 타이밍으로 제어함으로써 가능하다. 얼굴 인식 모드에서는 조사 영역(302)에서의 광원(11)의 광의 강도가 움직임 탐색 모드의 그것보다 더욱 강해지게 할 수도 있다. 그에 따라, 움직임 탐색 모드의 광원(11)에 의한 전력 소비를 저감시키면서, 얼굴 인식 모드에서는 더 강한 광원(11)의 광의 조사를 이용할 수 있다. 얼굴 인식 모드에서는, 인물의 얼굴부(대상물 영역(40)에 포함되는 인물의 얼굴)가 등록된 인물의 얼굴과의 일치 여부에 따라 외부인인지 허가된 사람인지를 판정한다.
도 27은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)를 나타낸다. 차트 2701은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 차트 2702는 프레임 기간(tF) 및 노광 기간(tE)의 개시 시각에 대응되는 동기 신호(VSync)와, 광원(11)의 점등 기간(tL)에 대응되는 스트로브 신호(Str)를 나타낸다. 차트 2701, 2702는 연속되는 3개의 프레임 F1~F3만을 나타내는데, 실제의 촬상 장치(10)의 동작시에는 얼굴 인식 모드가 계속되는 한, 연속적으로 프레임(촬상 화상)이 반복된다.
도 27에 도시된 바와 같이, 각각의 프레임에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다. 이에 따라, 촬상된 화면 내에서 동일한 부분(이 경우는, 화면의 상부)만이 광원(11)의 점등에 의해 광이 조사된다.
도 28은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2801은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2802는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2802에 있어서, 종축은 차트 2801의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2801에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 본 예에서는, 조사 영역(301)에서 인물의 얼굴부(대상물(100)의 일예)가 존재할 가능성이 높다. 따라서, 조사 영역(301)에서 검출된 안부(대상물 영역(40)에 포함되는 인물의 얼굴)에 대해, 등록된 인물의 얼굴과의 일치 여부를 판정하고, 그에 따라 외부인인지 허가된 사람인지를 판정한다.
도 29는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2901은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2902는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 약도 2902에 있어서, 종축은 차트 2901의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2901에 나타낸 바와 같이 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 본 예에서는, 조사 영역(302)에서 인물의 얼굴부(대상물(100)의 일예)가 존재할 가능성이 높다. 따라서, 조사 영역(301)에서 검출된 안부(대상물 영역(40)에 포함되는 인물의 얼굴)에 대해, 등록된 인물의 얼굴과의 일치 여부를 판정하고, 그에 따라 외부인인지 허가된 사람인지를 판정한다.
또한, 실시 형태 5에 있어서, 노광 기간(예컨대, 도 3b의 노광 기간(tE))이 광원(11)의 점등 기간(예컨대, 도 3b의 점등 기간(tL))의 정수배가 되도록 광원(11)을 점등하면, 조사 영역의 조사광의 강도 불균일(화면 상에서 줄무늬로 보임)을 없앨 수 있다.
이상과 같이, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 제어부(14)는, 촬상부(12)의 모든 라인이 동시에 노광되어 있는 기간(전 라인 노광 기간(tAE))을 제외하는 기간에서 광원(11)이 점등되어 있는 기간(점등 기간(tL))과 광원(11)이 소등되어 있는 기간(소등 기간(tA, TB))이 존재하도록 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
또한, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 광원(11)이 점등되어 있는 기간(점등 기간(tL))에 대응되는 화상 영역에서 프레임간 차분을 수행함으로써, 검출 대상(본 예에서는 움직임)의 유무를 판정한다.
또한, 광원(11)이 점등되어 있는 기간(점등 기간(tL))에 대응되는 화상 영역(조사 영역(301) 등)은, 촬상부(12)의 전 라인(n개의 라인) 중 광원(11)이 점등되어 있을 때 노광되어 있는 라인에서 촬상된 피사계의 일부 영역을 포함하고 있다. 즉, 점등 기간(tL)에 대응되는 화상 영역에 포함되는 피사계의 일부의 영역은, 점등 기간(tL)에 점등되어 있는 광원(11)에 의해 비추어지고 있다.
또한, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음(본 예에서는 움직임 있음)으로 판정된 경우, 검출 대상 있음으로 판정된 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서, 더욱 강한 광이 조사되도록, 광원(11)을 제어한다. 구체적으로 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서의 광원(11)의 발광량이 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서의 광원(11)의 발광량 보다 강해지도록, 광원(11)을 제어한다. 여기서, 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기)에 있어서 광원(11)으로부터 출사되는 광의 총량을 말하며, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다.
또한, 실시 형태 5에 의한 촬상 장치(10)에서는, 식별부(17)는 판정부(15)에 의해 검출 대상 있음(본 예에서는 움직임 있음)으로 판정된 경우, 검출 대상 있음으로 판정된 화상 영역에 있어서 대상물의 식별(본 예에서는 얼굴 인식)을 수행한다. 구체적으로 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하고, 식별부(17)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상(본 예에서는 인간의 얼굴을 포함하는 화상)을 조합하여 대상물을 식별한다.
〔실시 형태 5의 총괄〕
본 개시에 의한 실시 형태에서 이용되는 어떠한 기능도, 하드웨어, 소프트웨어, 또는 그러한 조합을 이용하여 실현될 수 있다. 그러한 기능은 단일 프로세서에 의해 실현될 수도 있고, 또는 복수의 프로세서에 의해 실현될 수도 있다.
예컨대, 도 21 및 도 22에 도시한 촬상부(12)의 노광에 대한 광원(11)의 점등 타이밍은 시스템 대규모 집적 회로(LSI)에 의해 실현된다. 대체로서, 이러한 점등 타이밍은 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 다양한 기능을 실현하는 인스트럭션에 의해 실현된다.
〔실시 형태 6〕
종래의 촬상 장치에는, 롤링 셔터 방식의 카메라와 점멸 광원을 이용한 것이 있다(예컨대, 일본특허공개 2010－093729호 공보, 일본특허공개 2010－262224호 공보, 일본특허공개 2012－95214호 공보를 참조).
그러나, 상기 특허 문헌은 모두 점멸 광원을 이용하여 촬상할 때에 발생하는 화면 내의 가로 줄무늬 모야의 명암 차이를 해소하기 위한 방식을 말하는 것에 불과하다. 즉, 스트로브(광원)가 발광하지 않을 때 촬상한 화상의 밝기에 기초하여 스트로브 발광량(광원의 발광량)을 구하는 것에 대해서는 아무런 교시나 시사도 되어 있지 않다.
상기 과제를 감안하여, 본원 발명자 등은 스트로브(광원)가 발광하지 않을 때 촬상한 화상의 밝기에 기초하여 스트로브 발광량(광원의 발광량)을 구함으로써, 적정 노출을 실현하는 장치 및 방법을 고안하였다.
또한, 이하의 설명에 있어서, 노출이란 피사계(피사체)의 밝기에 따라, 촬상부(촬상 소자)에 해당되는 광량을 조절하여 노광하는 것을 의미한다. 촬상부에 의해 캡쳐된 피사계(피사체)의 밝기가 적절한 노출을 “적정 노출”이라고 한다. 노출이 부족해서 캡쳐된 피사계(피사체)의 밝기가 너무 어두운 경우를 “노출 언더”라고 한다. 노출이 너무 과도해서 캡쳐된 피사계(피사체)의 밝기가 너무 밝은 경우를 “노출 오버”라고 한다.
〈촬상 장치의 구조〉
도 30은 실시 형태 6에 의한 촬상 장치(10)의 개략도이다. 촬상 장치(10)는 광원(11)(스트로브), 촬상부(12)(촬상 소자), 제어기(13a), 및 검출기(13b)를 구비하고 있다. 촬상 장치(10)는, 예컨대 텔레비전과 같은 가전 제품에 포함되고, 예컨대 움직임 검출에 의해, 촬상된 화면 내에 사용자가 있는지를 판정한다. 촬상 장치(10)를 포함하는 가전 제품은 그 근방에 사용자가 있는지에 따라, 그 동작의 적어도 일부를 변화시킬 수 있다. 그에 따라 가전 제품은, 예컨대 보다 사용자 친화적인 동작을 실현할 수 있다.
〈광원〉
광원(11)은 순간적으로 피사계(피사체)에 광을 조사하는 발광 소자이다. 광원(11)은 플래시 라고도 불린다. 여기서, 피사계(피사체)에는 감시 영역 내에 존재하는 검출 대상의 일예인 인물(예컨대, 가전 제품의 사용자)과, 인물 이외의 물체(예컨대, 사용자에 대한 전경 또는 배경)가 포함된다.
광원(11)은 임의의 적절한 점멸 광원일 수 있고, 예컨대, 발광 다이오드(LED)이다. 대체로서 광원(11)은 레이저 다이오드이다. 광원(11)은, 예컨대 적외광을 조사하는데, 가시광선을 조사할 수도 있다. 즉, 광원(11)은 적외광을 조사하도록 구성될 수도 있고, 가시광선을 조사하도록 구성될 수도 있다. 광원(11)은 촬상부(12)로부터 노광 타이밍을 나타내는 타이밍 신호(tE)를 수취하고, 그 발광 타이밍을 촬상 타이밍과 동기시킨다.
이와 같이, 광원(11)은 피사계를 향해 발광하도록 구성되어 있다. 또한, 광원(11)은 그 발광량을 변경 가능하게 구성되어 있다. 여기서, 발광량은 소정 주기(예컨대, 프레임 주기) 내에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 본 예에 있어서, 광원(11)은 그 발광 듀티비를 변경 가능하게 구성되고, 광원(11)의 발광 듀티비를 변경함으로써 광원(11)의 발광량을 변경할 수 있다. 또한, 발광 듀티비는 소정 주기 내에서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다.
〈촬상부〉
촬상부(12)는 이차원 평면 상에 매트릭스상으로 배치된 광 센서군을 포함하는 소자이다. 촬상부(12)는, 예컨대, 롤링 셔터를 이용하는 소자이다. 촬상부(12)는, 예컨대, 상보형 금속 산화막 반도체(CMOS) 소자인데, 이에 한정되지 않고, 전하 결합 소자(CCD)일 수도 있다. 촬상부(12)는 촬상 장치(10)를 포함하는 가전 제품 근방의 소정의 감시 영역을 촬상한다. 촬상부(12)의 프레임 레이트는, 예컨대, 30/초이다. 촬상부(12) 앞에는 피사체로부터의 광을 수취하기 위한 렌즈가 설치된다. 이와 같이, 촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다.
〈제어기〉
제어기(13a)는 촬상부(12)의 노광 타이밍과, 광원(11)의 발광 타이밍이 다음에 상술하는 관계를 갖도록 제어한다. 제어기(13a)는 촬상부(12)로부터 신호(P)를 수취하고, 듀티비를 나타내는 신호(DR)를 광원(11)에 출력한다. 제어기(13a)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 제어기(13a)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)에서 실현될 수 있다.
이와 같이, 제어기(13a)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 또한, 본 예에 있어서, 제어기(13a)는 제어부(14)를 구비하고 있다. 제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 제어부(14)에 의한 동작에 대해서는 후술한다.
〈검출기〉
검출기(13b)는 촬상부(12)로부터 출력된 화상을 나타내는 신호(P)를 수취하고, 촬상된 화면 내에 사용자(대상물의 일예)가 존재하는지를 판정한다. 검출기(13b)는 판정의 결과를 나타내는 검출 신호(U)를 출력한다. 또한, 검출기(13b)는 촬상 장치(10)의 외부에 설치될 수도 있다. 촬상 장치(10)가 검출기(13b)를 포함하는 경우, 촬상 장치(10)는 사용자 검출 장치로 불릴 수 있다. 검출기(13b)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 검출기(13b)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)에서 실현될 수 있다.
이와 같이, 검출기(13b)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)을 처리하도록 구성되어 있다. 또한, 본 예에 있어서, 검출기(13b)는, 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)에 있어서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상(신호(P)로 표시된 화상)으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하도록 구성되어 있다. 식별부(17)는 촬상 화상(신호(P)로 표시된 화상)으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 본 예에 있어서, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별(얼굴 인식)을 수행한다. 또한, 식별부(17)는 식별 결과(결과를 나타내는 신호(U))를 외부로 출력하도록 구성되어 있다.
〈촬상 장치의 개요〉
광원(11)이 비발광 상태에서, 촬상부(12)는 촬상하고, 화상 P(촬상 화상)을 제어기(13a)에 입력한다. 제어기(13a)는 화상 P 내의 화소의 평균 휘도(APL)를 산출하고, 평균 휘도(APL)에 기초하여 듀티비(DR)를 구하고, 듀티비(DR)를 광원(11)에 출력한다. 촬상부(12)는 노광 타이밍을 나타내는 타이밍 신호(tE)를 광원(11)에 출력한다.
광원(11)은 점등 상태와 소등 상태를 주기적으로 반복한다. 제어기(13a)는 광원(11)의 발광량을 듀티비(DR)에 기초하여 펄스폭 변조(PWM)에 의해 제어한다. 여기서, 듀티비(DR)는 점등 상태 및 소등 상태의 주기(즉, PWM 주기 TP)에 대한 점등 기간의 비율이다. 환언하면, 광원(11)의 발광량(PWM 주기 TP 내에서 광원(11)으로부터 출사되는 광의 총량)은, 제어기(13a)에 의해 출력되는 듀티비(DR)에 의해 제어된다. 이와 같이, 제어기(13a)(제어부(14))는 펄스폭 변조에 의해 광원(11)의 발광량을 변화시킨다.
광원(11)은 PWM 주기 TP의 정수배가 노광 기간(tE)과 동일해지도록 PWM 주기 TP를 설정하고, 입력된 듀티비(DR)에 기초하여 PWM 제어에 의해 발광한다.
촬상부(12)는 광원(11)이 발광하고 있는 기간에 화상의 취득을 수행하고, 화상 P(촬상 화상)을 출력한다. 화상 P은 후단에 배치되는 검출기(13b)에 입력된다. 검출기(13b)는 화상 P의 연속되는 프레임간의 차분에 기초하여 인물 검출을 수행한다. 예컨대, 검출기(13b)는 화상 P의 사람의 형상이나 얼굴의 형상을 검출하여 사람 검지를 수행할 수도 있다. 사람 검지에 더하여, 개인 인식 등을 수행할 수도 있다. 검출기(13b)는 검출 신호(U)를 출력한다. 검출 신호(U)를 수취하는 가전 제품(예컨대, 텔레비전)은 검출 신호(U)에 기초하여 그 동작의 적어도 일부를 변화시킬 수 있다. 따라서, 그러한 가전 제품은 가전 제품의 근방에 사용자가 있는지에 의존하여 동작을 변화시킬 수 있다. 예컨대, 사용자가 근처에 없는 경우, 가전 제품은 자동적으로 전원을 오프로 하는 등의 동작을 수행할 수 있다.
실시 형태 6에서는, 후술하는 바와 같이, 촬영 영역의 밝기에 적응하여 광원(11)의 발광량을 제어할 수 있다. 그 결과, 촬상 장치(10)는 적절한 밝기의 화상 P(촬상 화상(20))를 취득할 수 있다.
〈촬상 장치의 동작〉
도 31은 실시 형태 6에 의한 촬상 장치(10)의 동작을 나타내는 도면이다. 도 31의 종축은, 위로부터 순차적으로, 프레임 번호, 광원(11)에 있어서의 발광 펄스, 촬상부(12)에 있어서의 노광 기간을 나타내고, 도 31의 횡축은 시간(t)을 나타낸다. 촬상부(12)는, 전형적으로는 CMOS 촬상 소자와 같은 롤링 셔터를 이용한 소자이다. 도 31의 화상(P1~P5)에서 참조되는 평행 사변형은 각각 프레임 1~5에서의 노광 기간에 대응된다. 촬상부(12)가 롤링 셔터인 것에 기인하여 선두 라인으로부터 최종 라인에 이르는 각 라인의 노광 기간의 개시 시각은, 선두 라인의 노광 기간의 개시 시각에 대해 서서히 늦어지고 있다. 그 결과, 화상(P1~P5)의 노광 기간은, 도 31에서는 평행 사변형으로 나타난다. 당업자라면 알 수 있는 바와 같이, 촬상부(12)에 의해 얻어지는 화상은, 전형적으로 직사각형(정사각형을 포함)이다. 촬상부(12)는 롤링 셔터를 이용한 것에는 한정되지 않고, 글로벌 셔터를 이용한 것일 수도 있다. 즉, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성될 수도 있고, 글로벌 셔터 방식에 의해 구동되도록 구성될 수도 있다.
프레임 1(즉, 시각 t1~t2의 기간)에서는, 광원(11)을 발광시키지 않고, 촬상부(12)는 화상을 취득한다. 환언하면, 조명 없음 화상(촬상 화상(20))을 취득함으로써, 이른바 환경광의 밝기를 측정할 수 있다. 이어서 프레임 2(즉, 시각 t3~t4의 기간) 이후에는, 광원(11)을 발광시키고 촬상부(12)는 화상을 취득한다. 이에 따라 조명 있는 상태의 화상(촬상 화상(20))을 취득할 수 있다. 일예로서 시각 t1~t3의 기간의 길이는 33ms이고, 시각 t1~t2의 기간의 길이는 10ms이다.
도 31의 예에서는, 최초의 프레임 1에서 조명 없는 상태의 화상을 취득하고, 광원(11)의 듀티비(DR)를 산출하며, 그 듀티비(DR)를 프레임 2~5에서 이용한다. 또한, 이에 한정되지 않고, 정기적 또는 부정기적으로 조명 없는 상태의 화상을 취득하고, 광원(11)의 듀티비(DR)를 갱신할 수도 있다. 이에 따라, 환경의 밝기 변화에 따라 적절한 밝기의 조명을 할 수 있으므로, 적절한 밝기의 화상을 취득할 수 있다.
도 32는 실시 형태 6에서의 광원(11)의 발광 동작을 나타내는 도면이고, 도 31의 프레임 2에 대응되는 부분(즉, 시각 t3~t4의 기간)을 확대하여 나타낸다. 화상(P2)의 선두 라인의 노광 기간(tE)은 시각 t3~t32의 기간이다. 화상(P2)의 최종 라인의 노광 기간(tE)은 시각 t31~t32의 기간이다.
촬상부(12)의 라인 노광 기간(노광 기간(tE))이 광원(11)의 PWM 주기 TP의 4배가 되도록, PWM 주기 TP가 설정된다. 이 설정에 의하면, 선두 라인으로부터 최종 라인의 모든 라인도 PWM 주기 TP의 4배의 기간동안 노광된다. 그 때문에, 프레임 2의 모든 라인에 밝기를 균일하게 할 수 있다. 도 32는 노광 기간(tE)이 PWM 주기 TP의 4배인 예를 나타내는데, 이에 한정되지 않고, 노광 기간(tE)이 PWM 주기 TP의 N배(N은 1 이상의 정수)일 수 있다. 이에 따라 가로 줄무늬 모양의 휘도 마을의 발생을 방지할 수 있고, 그 결과, 균일한 촬영 화상을 취득 가능하다. 또한 모든 라인에서 밝기를 균일하게 하기 위해서는, 도 32의 프레임 2의 개시 시각과, 노광 기간(tE)의 개시 시각이 일치하지 않을 수 있다. 즉, 도 32에서는 광원(11)의 발광 기간과 촬상부(12)의 라인 노광이 동기되어 있는데, 이에 한정되지 않고, 광원(11)의 발광 기간과, 촬상부(12)의 라인 노광이 동기될 수도 있다.
도 33은, 도 31을 참조하여 설명한 조명 없는 상태의 화상 및 조명 있는 상태의 화상의 예를 나타내는 도면이다. 화상 P(10)(촬상 화상(20))는 조명 없는 상태의 화상의 예이고, 밝은 환경에서의 화상을 나타낸다. 예컨대, 낮의 외광이 들어오는 방안을 촬영한 경우를 나타낸다. 화상(P20)(촬상 화상(20))도, 조명 없는 상태의 화상을 나타내는 예이고, 어두운 환경에서의 화상을 나타낸다. 예컨대, 실내 조명을 켜지 않은 야간의 방안을 촬영한 경우를 나타낸다. 화상 P(30)(촬상 화상(20))은 조명 있는 상태의 화상을 나타내는 예이고, 최종적으로 취득하고자 하는 밝기의 화상을 나타낸다.
이러한 예에서는, 최종적으로 취득하고자 하는 화상 P(30)과 비교하면, 화상 P(10)는 조금 밝기가 부족하고, 화상(P20)는 크게 밝기가 부족하다.
〈광원의 발광량의 제어〉
도 34는 실시 형태 6에서의 제어기(13a)의 동작예를 설명하는 도면이다. 그래프의 횡축은, 조명 없는 상태의 화상의 평균 휘도(APL)를 나타내고, 종축은 광원(11)의 PWM 제어의 듀티비(DR)를 나타낸다. 도 34의 그래프는 평균 휘도(APL)가 작을수록 듀티비를 크게, 평균 휘도(APL)가 클수록 듀티비를 작게 제어한다. 즉, 어두운 환경에서는 조명을 밝게, 밝은 환경에서는 조명을 어둡게 하도록 제어한다. 환언하면, 실시 형태 6에서는, 광원이 발광되지 않을 때 촬상한 화상의 밝기에 기초하여 광원(11)의 발광량(본 예에서는, 듀티비)을 구하고, 그 발광량으로 촬상한다. 그 결과, 실시 형태 6에 의하면 적정 노출을 실현할 수 있고, 검출기(13b)에 의한 인물의 검출 정밀도가 보다 높아질 수 있다.
예컨대, 도 33에 도시한 화상 P(10)(밝은 환경의 화상)의 평균 휘도(APL)를 0.6으로 하면, 그 때의 듀티비(DR)는 0.4가 된다. 한편, 도 33에 도시한 화상(P20)(어두운 환경의 화상)의 평균 휘도(APL)를 0.2로 하면, 그 때의 듀티비(DR)는 0.8이 된다. 이와 같이 제어기(13a)는 조명 없음 화상 P의 평균 휘도(APL)에 기초하여 듀티비(DR)를 출력한다. 도 34의 평균 휘도(APL)와 듀티비(DR)와의 관계는 직선으로서 플롯된다.
도 35 및 도 36은, 실시 형태 6에서의 광원(11)의 동작을 설명하는 도면이다. 광원(11)은 제어기(13a)로부터 입력된 듀티비(DR)에 기초하여 PWM 제어에 의해 발광한다.
도 35는, 도 33에 도시한 화상 P(10)(밝은 환경에서의 조명 없음 화상)에 기초하여 산출한 듀티비(DR)=0.4에 기초하여 광원(11)이 발광하는 모습을 나타낸다. PWM 주기 TP에 대해, 점등 기간은 0.4 TP이고, 소등 기간은 0.6 TP이다.
도 36은, 도 33에 도시한 화상(P20)(어두운 환경에서의 조명 없음 화상)에 기초하여 산출한 듀티비(DR)=0.8에 기초하여 광원(11)이 발광하는 모습을 나타낸다. PWM 주기 TP에 대해, 점등 기간은 0.8 TP이고, 소등 기간은 0.2 TP이다.
도 35 및 도 36에 도시된 바와 같이, 어두운 환경에서는 조명을 밝게, 밝은 환경에서는 조명을 어둡게 하도록 제어한다. 이와 같이 하고, 도 33에 도시한 화상 P(30)(최종적으로 취득하고자 하는 원하는 밝기의 화상)을 취득할 수 있다.
도 37은 실시 형태 6에서의 제어기(13a)의 동작의 다른 예를 설명하는 도면이다. 도 34에서는, 직선적인 변환 특성의 예를 나타냈지만, 조명과 촬상부의 감도 특성에 따라, 도 37의 그래프 3701, 3702, 3703과 같은 비선형 변환 특성을 이용할 수도 있다.
이상과 같이, 실시 형태 6에 의한 촬상 장치(10)에 있어서, 제어부(14)는 광원(11)의 비발광시에 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기(본 예에서는, 촬상 화상(20) 내의 전화소의 밝기의 평균값)에 기초하여 광원(11)의 발광량을 설정한다. 구체적으로 제어부(14)는 광원(11)의 비발광시에 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기가 밝아짐에 따라 광원(11)의 발광량이 적어지도록, 광원(11)이 발광하지 않을 때 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기에 기초하여 광원(11)의 발광량을 설정한다.
〔실시 형태 6의 총괄〕
본 개시에 의한 실시 형태에서 이용되는 어떠한 기능도, 하드웨어, 소프트웨어, 또는 그러한 조합을 이용하여 실현될 수 있다. 그러한 기능은, 단일 프로세서에 의해 실현될 수도 있고, 또는 복수의 프로세서에 의해 실현될 수도 있다. 예컨대 도 30 및 도 31에 도시한 촬상 장치(10)의 기능은, 대규모 집적 회로(LSI)에 의해 실현된다. 대체로서 촬상 장치(10)의 기능은, 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 다양한 기능을 실현하는 인스트럭션에 의해 실현된다.
〔실시 형태 7, 8의 설명〕
종래, 피사계를 촬상하여 피사계를 감시하는 촬상 장치가 알려져 있다. 예컨대, 일본특허공개 2007－318673호 공보에는, 인터폰 장치 등에 부가하는 센서 부착의 센서 카메라가 개시되어 있다. 이 센서 카메라는 소정의 영역을 촬상하는 촬상 수단; 촬상 수단의 촬상 화상으로부터 이동 물체를 검지하는 화상 처리 수단; 촬상 화상 신호를 출력하는 수단; 주변의 밝기를 판단하는 밝기 판단 수단; 및 밝기 판단 수단이 판단하는 밝기가 일정 이하인 경우에 조명 수단을 점등시킴과 동시에, 조명 수단의 광량을 제어하는 밝기 제어 수단;을 구비하고 있다.
그러나, 상기와 같은 촬상 장치에서는, 대상까지의 거리가 짧은 경우에 광원의 발광량이 너무 많으면(예컨대, 발광 강도가 너무 강하면), 촬상에 의해 취득되는 촬상 화상의 휘도값이 포화되어 검출 대상 유무의 판정을 정확하게 수행할 수 없게 된다. 또한, 대상까지의 거리가 긴 경우에 광원의 발광량이 너무 적으면(예컨대, 발광 강도가 너무 약하면), 촬상에 의해 취득되는 촬상 화상의 휘도값이 너무 낮아서 검출 대상 유무의 판정을 정확하게 수행할 수 없게 된다. 이와 같이, 검출 대상의 유무를 판정에 적절한 발광 강도로 피사계를 촬상하는 것이 곤란하다. 또한, 광원의 발광량은, 소정 주기 내에서 광원으로부터 출사되는 광의 총량이고, 광원의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다.
따라서, 본 개시는 검출 대상 유무의 판정에 적절한 발광량(예컨대, 발광 강도)으로 피사계를 촬상할 수 있는 촬상 장치를 제공하는 것을 목적으로 한다.
〔실시 형태 7〕
도 38은 실시 형태 7에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되고, 예컨대, 실내에 설치되는 전자 제품(구체적인 예로는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 광원(11), 촬상부(12), 및 처리 회로(13)를 구비하고 있다.
〈광원〉
광원(11)은 피사계를 비추도록 구성되고, 그 발광 강도를 복수의 발광 강도로 전환 가능하게 구성되어 있다. 본 예에 있어서, 광원(11)은 그 발광 강도를 서로 다른 2개의 발광 강도(즉, “강(强)”과 ”약(弱)”)로 전환 가능하게 구성되어 있다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은 적외광일 수도 있고, 가시광선일 수도 있다.
또한, 광원(11)의 발광 강도를 복수의 발광 강도에 전환함으로써, 광원(11)의 발광량을 복수의 발광량으로 전환할 수 있다. 여기서, 광원(11)의 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기) 내에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 즉, 광원(11)은 그 발광량을 전환 가능하게 구성되어 있다.
또한, 광원(11)의 서로 다른 2개의 발광 강도(즉, “강”과 “약”)는 광원(11)의 서로 다른 2개의 발광량(즉, “많음(多)”와 “적음(少)”)에 각각 대응되어 있다. 즉, 본 예에 있어서, 광원(11)은 그 발광량을 서로 다른 2개의 발광량(즉, “많음”와 “적음”)에 전환 가능하게 구성되어 있다.
이하에서는, 광원(11)이 발광 강도를 복수의 발광 강도로 전환 가능하게 구성되어 있는 경우(즉, 광원(11)의 발광 강도를 전환함으로써 광원(11)의 발광량을 전환하는 경우)를 예로 들어 설명한다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에서는 제어부(14), 판정부(15), 및 설정부(18)를 포함하고 있다.
《제어부》
제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우에 제1 동작을 수행하고, 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우에 제2 동작을 수행하도록 구성되어 있다. 구체적으로, 제어부(14)는 복수의 발광 강도 중 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된 발광 강도가 있는지 여부를 판정하고, 설정해야 할 발광 강도로서 설정부(18)에 등록된 발광 강도가 없는 경우에 제1 동작을 수행하고, 설정해야 할 발광 강도로서 설정부(18)에 등록된 발광 강도가 있는 경우에 제2 동작을 수행하도록 구성될 수도 있다.
제1 동작에 있어서 제어부(14)는 광원(11)의 발광 강도를 복수의 발광 강도에 차례로 전환하면서, 그 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 즉, 제1 동작에 있어서, 제어부(14)는 광원(11)의 발광 강도를 미리 정해진 순서로 복수의 발광 광도 중에서 선택된 발광 강도로 설정하고, 그 선택된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제2 동작에 있어서 제어부(14)는 광원(11)의 발광 강도를 설정해야 할 발광 강도로 설정하고, 그 설정해야 할 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
본 예에 있어서, 제어부(14)는 제1 동작에 있어서, 다음과 같은 처리를 수행한다. 즉, 제어부(14)는 광원(11)의 발광 강도를 제1 발광 강도(예컨대, “강”)로 설정하여 제1 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨 후에, 광원(11)의 발광 강도를 제2 발광 강도(예컨대, “미만”)로 설정하여 제2 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 본 예에 있어서, 제어부(14)는 제2 동작에 있어서, 다음과 같은 처리를 수행한다. 즉, 제1 발광 강도(예컨대, “강”)가 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제1 발광 강도로 설정하여 제1 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제2 발광 강도(예컨대, “미만”)가 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제2 발광 강도로 설정하여 제2 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제1 및 제2 발광 강도가 모두 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제1 및 제2 발광 강도로 교대로 전환하면서, 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 제1 발광 강도(예컨대, “강”) 및 제2 발광 강도(예컨대, “약”)는, 제1 발광량(예컨대, “많음”) 및 제2 발광량(예컨대, “적음”)에 각각 대응되고 있다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상에 있어서 검출 대상(예컨대, 인간)의 유무를 판정하도록 구성되어 있다. 예컨대, 판정부(15)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 나타난 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거하는 검출 수법)을 이용하여 검출 대상 유무의 판정을 수행하도록 구성될 수도 있다. 또한, 판정부(15)는 검출 결과를 외부로 출력하도록 구성되어 있다.
《설정부》
설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 결정하도록 구성되어 있다. 구체적으로 설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도를 설정해야 할 발광 강도로 결정하여 설정부(18)(기억 영역)에 등록하도록 구성될 수도 있다.
또한, 설정부(18)는 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이고, 또한 판정부(15)에 의해 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도에 대해, 설정부(18)(기억 영역)에 있어서의 발광 강도의 등록(설정해야 할 발광 강도로서의 등록)을 삭제하도록 구성될 수도 있다. 설정부(18)는 위와 같은 동작을 위한 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
〈동작〉
이어서, 도 39, 도 40, 도 41, 도 42를 참조하여, 실시 형태 7에 의한 촬상 장치(10)의 동작에 대해 설명한다. 또한, 도 39에 도시한 동작은, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응된다. 도 40에 도시한 동작은, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 도 41에 도시한 동작은, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 도 42에 도시한 동작은, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다.
《스텝 ST711, ST712》
발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정한다. 그리고, 제어부(14)는 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는, 발광 강도를 “강”으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST713》
이어서, 판정부(15)는 스텝 ST712에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 ST714로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 결정하지 않는다. 구체적으로 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록하지 않는다. 이어서, 스텝 ST717로 진행된다.
《스텝 ST714, ST715》
스텝 ST713에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST716》
이어서, 판정부(15)는 스텝 ST715에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST721(도 40)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정하지 않는다. 구체적으로 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록하지 않는다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST731(도 41)로 진행된다.
《스텝 ST717, ST718》
스텝 ST713에서 검출 대상이 없는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는, 발광 강도를 “약”으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST719》
이어서, 판정부(15)는 스텝 ST718에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST741(도 42)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정하지 않는다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않는다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되지 않는다. 이어서, 스텝 ST711로 진행된다.
《스텝 ST721, ST722》
발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정하고, 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST723》
이어서, 판정부(15)는 스텝 ST722에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “강”의 등록(설정해야 할 발광 강도로서의 등록)을 유지한다. 이어서, 스텝 ST724로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “강”의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이어서, 스텝 ST727로 진행된다.
《스텝 ST724, ST725》
스텝 ST723에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST726》
이어서, 판정부(15)는 스텝 ST725에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “약”의 등록(설정해야 할 발광 강도로서의 등록)을 유지한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 유지된다. 이어서, 스텝 ST721로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에 있어서의 발광 강도 “약”의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 된다. 이어서, 스텝 ST731(도 41)로 진행된다.
《스텝 ST727, ST728》
스텝 ST723에서 검출 대상이 없는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST729》
이어서, 판정부(15)는 스텝 ST728에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 된다. 이어서, 스텝 ST741(도 42)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되지 않은 상태가 된다. 스텝 ST711(도 39)로 진행된다.
《스텝 ST731, ST732》
발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정하고, 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST733》
이어서, 판정부(15)는 스텝 ST732에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 이어서, 스텝 ST731로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 이어서, 스텝 ST711(도 39)로 진행된다.
《스텝 ST741, ST742》
발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST743》
이어서, 판정부(15)는 스텝 ST742에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 이어서, 스텝 ST741로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 이어서, 스텝 ST711(도 39)로 진행된다.
〈실시 형태 7에 의한 효과〉
이상과 같이, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우, 복수의 발광 강도에 차례로 전환하면서 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상하여 촬상 화상을 취득하는 제1 동작(즉, 광원(11)의 발광 강도를 미리 정해진 순서로 복수의 발광 광도 중에서 선택된 발광 강도로 설정하고, 선택된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제1 동작)을 수행하고, 그 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도를 설정해야 할 발광 강도로 결정함으로써, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 결정할 수 있다.
그리고, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되어 있는 경우, 광원(11)의 발광 강도를 설정해야 할 발광 강도로 설정하고, 설정해야 할 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상하여 촬상 화상을 취득하는 제2 동작을 수행함으로써, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)로 피사계를 촬상할 수 있다.
또한, 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 그 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제함으로써, 검출 대상 유무의 판정에 적합하지 않게 된 발광 강도(발광량)로 촬상을 정지할 수 있다.
〔실시 형태 8〕
실시 형태 8에 의한 촬상 장치(10)는, 그 동작이 실시 형태 1에 의한 촬상 장치(10)와 다르다. 또한, 광원(11)은 그 발광 강도를 2 이상의 발광 강도로 전환 가능하게 구성되어 있다. 즉, 광원(11)은 그 발광량을 2 이상의 발광량으로 전환 가능하게 구성되어 있다. 실시 형태 8의 기타 구성은, 실시 형태 7과 동일하게 되어 있다.
〈동작〉
이어서, 도 43 및 도 44를 참조하여, 실시 형태 8에 의한 촬상 장치(10)의 동작에 대해 설명한다. 또한, 도 43에 나타낸 동작은, 광원(11)에 대해 설정해야 할 발광 강도로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응한다. 도 44에 도시한 동작은, 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 또한, 이하의 설명에 있어서, 변수 J는, 1 이상이고, 또한 상한치(Jmax) 이하의 정수이고, 처리의 대상이 되는 발광 강도의 번호(예컨대, 발광 강도의 힘의 단계를 나타낸 번호)를 나타내고 있다. 상한치(Jmax)는 2 이상의 정수이고, 광원(11)의 설정 가능한 발광 강도의 수(예컨대, 발광 강도의 변경 단계수)에 해당한다.
《스텝 ST751》
광원(11)에 대해 설정해야 할 발광 강도가 결정되지 않은 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광 강도를 이번 처리의 대상으로서 선택한다.
《스텝 ST752, ST753》
이어서, 제어부(14)는 광원(11)의 발광 강도를 J번째의 발광 강도로 설정한다. 그리고, 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST754》
이어서, 판정부(15)는 스텝 ST753에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST755로 진행되고, 그렇지 않은 경우에는, 스텝 ST756으로 진행된다.
《스텝 ST755》
이어서, 설정부(18)는 스텝 ST754에서 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(즉, 스텝 ST752에서 광원(11)의 이번 발광 강도로 설정된 J번째의 발광 강도)를 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 J번째의 발광 강도를 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 756으로 진행된다.
《스텝 ST756》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 발광 강도 중에 처리의 대상으로서 상기 선택되지 않은 발광 강도가 남아 있는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST757로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST758로 진행된다.
《스텝 ST757》
스텝 ST757에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 즉, 제어부(14)는 복수의 발광 강도 중에서 아직도 선택되지 않은 발광 강도를 다음 번의 처리 대상으로서 선택한다. 이어서, 스텝 ST752로 진행된다.
《스텝 ST758》
스텝 ST757에서 변수 J가 상한치(Jmax)에 도달하였다고 판정된 경우, 제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는지 여부를 판정한다. 구체적으로 제어부(14)는 복수의 발광 강도 중 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된 발광 강도가 있는지 여부를 판정한다. 설정해야 할 발광 강도가 결정되어 있는 경우에는, 스텝 ST761로 진행되고, 그렇지 않은 경우에는, 스텝 ST751로 진행된다.
《스텝 ST761》
광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광 강도를 이번 처리의 대상으로서 선택한다.
《스텝 ST762》
이어서, 제어부(14)는 J번째의 발광 강도(즉, 이번의 처리 대상으로 되어 있는 발광 강도)가 설정해야 할 발광 강도로 결정되어 있는지 여부를 판정한다. J번째의 발광 강도가 설정해야 할 발광 강도로 결정되지 않은 경우에는, 스텝 ST763으로 진행되고, J번째의 발광 강도가 설정해야 할 발광 강도로 결정되어 있는 경우에는, 스텝 ST765로 진행된다.
《스텝 ST763》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST764로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST761로 진행된다.
《스텝 ST764》
스텝 ST763에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST762로 진행된다.
《스텝 ST765, ST766》
스텝 ST762에서 J번째의 발광 강도가 설정해야 할 발광 강도로 결정되어 있다고 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 J번째의 발광 강도로 설정한다. 그리고, 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST767》
이어서, 판정부(15)는 스텝 ST766에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST768로 진행되고, 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST770으로 진행된다.
《스텝 ST768》
이어서, 설정부(18)는 스텝 ST767에서 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(즉, 스텝 ST765에서 광원의 이번 발광 강도로서 설정된 J번째의 발광 강도)를 설정해야 할 발광 광도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 J번째의 발광 강도의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이어서, 스텝 ST769로 진행된다.
《스텝 ST769》
이어서, 제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는지 여부를 판정한다. 설정해야 할 발광 강도가 결정되어 있는 경우에는, 스텝 ST770으로 진행되고, 그렇지 않은 경우에는, 스텝 ST751로 진행된다.
《스텝 ST770, ST771》
스텝 ST769에서 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있다고 판정된 경우, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST762로 진행된다. 한편, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST761로 진행된다.
〈실시 형태 8에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 7과 마찬가지로, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 결정할 수 있고, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되어 있는 경우, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)로 피사계를 촬상할 수 있다.
또한, 실시 형태 7과 마찬가지로, 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 그 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제함으로써, 검출 대상 유무의 판정에 적합하지 않게 된 발광 강도(발광량)로 촬상을 정지할 수 있다.
〔실시 형태 7, 8의 총괄〕
또한, 이상의 설명에 있어서, 판정부(15)는 시계열에 있어서 연속적(또는 이산적)으로 미치는 복수의 촬상 화상에 기초하여 검출 처리(검출 대상 유무의 판정)를 수행하도록 구성될 수도 있다. 이 경우, 판정부(15)는 촬상부(12)에 의해 취득된 복수의 촬상 화상을, 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)로 분류하고, 발광 강도의 분류마다 그 분류에 속하는 복수의 촬상 화상에 기초하여 검출 대상의 유무를 판정하도록 구성되어 있는 것이 바람직하다. 이와 같이 구성함으로써, 발광 강도(발광량)의 분류마다 복수의 촬상 화상에 기초하여 검출 대상의 유무를 판정하고, 그 판정 결과에 기초하여 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 적절히 결정할 수 있다.
또한, 이상의 설명에 있어서, 판정부(15)에 있어서의 검출 대상은 인간에 한정되지 않고, 예컨대, 동체(動體)의 움직임일 수도 있다.
또한, 이상의 설명에서는, 제어부(14)와 판정부(15)와 설정부(18)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14)와 판정부(15)와 설정부(18)는 2 이상의 처리 회로로 분산하여 포함될 수도 있다.
또한, 이상의 설명에서는, 광원(11)이 발광 강도를 전환 가능하게 구성되어 있는 경우(즉, 광원(11)의 발광 강도를 전환함으로써 광원(11)의 발광량을 전환하는 경우)를 예로 들었지만, 광원(11)은 그 발광 듀티비를 복수의 발광 듀티비에 전환 가능하게 구성될 수도 있다. 여기서, 발광 듀티비는 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기) 내에 있어서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다. 이와 같이 구성한 경우도, 광원(11)의 발광 듀티비를 전환함으로써, 광원(11)의 발광량을 전환할 수 있다.
〔실시 형태 9〕
도 45는 실시 형태 9에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되고, 예컨대, 실내에 설치되는 전자 제품(구체적인 예로서는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 광원(11), 촬상부(12), 및 처리 회로(13)를 구비하고 있다.
〈광원〉
광원(11)은 피사계를 비추도록 구성되어 있다. 또한, 광원(11)은 그 발광량을 변경 가능하게 구성되어 있다. 구체적으로 광원(11)은 그 발광 강도 및 발광 듀티비의 적어도 한편을 변경 가능하게 구성되어 있다. 여기서, 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기)에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 발광 듀티비는 소정 주기 내에서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은, 적외광일 수도 있고, 가시광선일 수도 있다.
본 예에 있어서, 광원(11)은 그 발광량을 서로 다른 2개의 발광량(제1 발광량과 제1 발광량 보다 적은 제2 발광량)으로 전환 가능하게 구성되어 있다. 구체적으로 광원(11)은 그 발광 강도를 서로 다른 2개의 발광 강도(제1 발광 강도와 제1 발광 강도 보다 약한 제2 발광 강도)로 전환 가능하게 구성될 수도 있다. 또는, 광원(11)은 그 발광 듀티비를 서로 다른 2개의 발광 듀티비(제1 발광 듀티비와 제1 발광 듀티비 보다 작은 제2 발광 듀티비)로 전환 가능하게 구성될 수도 있다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 또한, 촬상부(12)는 그 노광 시간을 변경 가능하게 구성되어 있다. 구체적으로 촬상부(12)는 그 노광 시간을 서로 다른 2개의 노광 시간(제1 노광 시간과 제1 노광 시간 보다 긴 제2 노광 시간)으로 전환 가능하게 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다. 또한, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성될 수도 있고, 글로벌 셔터 방식에 의해 구동되도록 구성될 수도 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에서는, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
《제어부》
제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 또한, 제어부(14)는 판정부(15)에 의한 판정 결과에 따라 광원(11)의 발광량 및 촬상부(12)의 노광 시간을 전환하도록 구성되어 있다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상에 있어서 검출 대상(예컨대, 움직임)의 유무를 판정하도록 구성되어 있다.
《검출부》
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 미리 정해진 대상물(예컨대, 인간의 얼굴)을 검출하도록 구성되어 있다. 예컨대, 검출부(16)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 도시된 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거하는 검출 수법)을 이용하여 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행하도록 구성될 수도 있다.
《식별부》
식별부(17)는 촬상부(12)에 의해 취득된 촬상 화상으로부터 대상물 영역을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 또한, 대상물 영역은 촬상 화상의 일부이고, 또한 검출부(16)에 의해 검출된 대상물을 포함하는 영역(화상 영역)에 해당한다. 예컨대, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별을 수행한다. 또한, 식별부(17)는 식별 결과를 외부로 출력하도록 구성되어 있다.
예컨대, 식별부(17)는, 비특허 문헌 2 “Paul Viola and Michael Jones, "Rapid Objectdetection using a Boosted Cascade of Simple Features,"Proc. of CVPR2001, vol.1, pp. 511-518, 2001.”에 나타난 수법(휘도 분포의 비교에 따른 수법) 등을 이용하여 대상물 영역을 추출하도록 구성될 수도 있다. 또한, 식별부(17)는 서포트 벡터 머신이나 상호 부분 공간법 등을 이용하여 조합 처리(대상물 영역과 조합 화상과의 조합)를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 46을 참조하여, 실시 형태 9에 의한 촬상 장치(10)의 동작에 대해 설명한다.
《스텝 ST801》
우선, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다.
《스텝 ST802》
이어서, 제어부(14)는 미리 설정된 발광량(구체적으로, 스텝 ST801, ST804, ST805에서 설정된 발광량)으로 광원(11)을 발광시킨다. 또한, 제어부(14)는 미리 설정된 노광 시간(구체적으로, 스텝 ST801, 스텝 ST804, ST805에서 설정된 노광 시간)으로 촬상부(12)를 노광시켜 촬상부(12)에 피사계(광원(11)에 의해 비추어진 피사계)를 촬상시킨다.
예컨대, 제어부(14)는 광원(11)이 미리 설정된 발광량으로 발광하고 있는 기간 중에, 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)(미리 설정된 노광 시간에 노광시킨 촬상부(12))에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST803》
이어서, 판정부(15)는 스텝 ST803에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST804로 진행되고, 그렇지 않은 경우에는, 스텝 ST805로 진행된다.
예컨대, 판정부(15)는 스텝 ST803에서 취득된 촬상 화상열을 구성하는 N개의 촬상 화상으로부터 N－1개의 차분 화상을 산출한다. 또한, X번째(X는 1 이상이고, 또한 N－1 이하의 정수)의 차분 화상은, 촬상 화상열을 구성하는 N개의 촬상 화상 중 시계열에 있어서 X번째에 위치하는 촬상 화상과 시계열에 있어서 X＋1번째에 위치하는 촬상 화상과의 차분 화상에 해당한다. 이어서, 판정부(15)는, N－1개의 차분 화상의 화소값을 화소마다 평균하여 차분 평균 화상(각각의 화소값이 N－1개의 화소값의 평균값을 나타낸 화상)을 산출한다. 그리고, 판정부(15)는 차분 평균 화상에 포함되는 복수의 화소값 중 미리 정해진 차분 문턱값을 상회하는 화소값의 개수의 점유 비율(차분 평균 화상에 포함되는 전 화소수에 대한 비율)이 미리 정해진 점유 비율 문턱값을 상회하는 경우, 촬상 화상에 움직임(검출 대상)이 있는 것으로 판정하고, 그렇지 않은 경우, 촬상 화상에 움직임(검출 대상)이 없다고 판정한다. 또한, 차분 문턱값 및 점유 비율 문턱값은, 예컨대, 움직임이 있는 것으로 간주할 수 있을 때의 화소값 및 점유 비율로 각각 설정되어 있다.
《스텝 ST804》
스텝 ST105에서 검출 대상 있음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다. 이어서, 스텝 ST806으로 진행된다.
《스텝 ST805》
한편, 스텝 ST105에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제2 발광량(즉, “적음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺(長)”)으로 설정한다. 이어서, 스텝 ST806으로 진행된다.
《스텝 ST806》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST802로 진행된다.
이와 같이, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제2 발광 강도(제1 발광량 보다 적은 발광량)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정하도록 구성되어 있다.
〈촬상 화상의 밝기와 광원의 발광량과 촬상부의 노광 시간과의 관계〉
촬상 화상의 밝기(휘도값)는 광원(11)의 발광량과 촬상부(12)의 노광 시간에 의존하고 있다. 구체적으로는, 광원(11)의 발광량이 많아질수록 촬상 화상의 밝기가 높아지고, 광원(11)의 발광량이 적어질수록 촬상 화상의 밝기가 낮아지는 경향이 있다. 또한, 촬상부(12)의 노광 시간이 길어질수록 촬상 화상의 밝기가 높아지고, 촬상부(12)의 노광 시간이 짧아질수록 촬상 화상의 밝기가 낮아지는 경향이 있다.
〈실시 형태 9에 의한 효과〉
이상과 같이, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정함으로써, 광원(11)의 발광량이 항상 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정되고, 촬상부(12)의 노광 시간이 항상 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정되어 있는 경우 보다 촬상부(12)에 의한 피사계의 촬상을 신속하게 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 광원(11)의 발광량을 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정함으로써, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우(즉, 광원(11)의 발광량이 제1 발광량으로 설정되어 촬상부(12)의 노광 시간이 제1 노광 시간으로 설정되어 있는 경우) 보다, 광원(11)의 발광량을 낮춤과 동시에, 촬상부(12)의 노광 시간을 길게 할 수 있다. 이에 따라, 광원(11)의 소비 전력을 저감할 수 있다. 또한, 광원(11)의 발광량을 저하시키는 것 만으로 촬상부(12)의 노광 시간을 길게 함으로써, 광원(11)의 발광량의 저하에 기인하는 촬상 화상의 밝기의 저하를 보상할 수 있다.
〔실시 형태 9의 총괄〕
이상의 설명에서는, 스텝 ST801에서 광원(11)의 발광량을 제1 발광량(즉, “많음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정하는 경우를 예로 들었지만, 제어부(14)는 스텝 ST801에서 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정하도록 구성될 수도 있다.
또한, 이상의 설명에서는, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)는 2 이상의 처리 회로로 분산하여 포함될 수도 있다.
〔실시 형태 10〕
도 47은 실시 형태 10에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 10에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 10에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다. 또한, 실시 형태 10에서는, 촬상부(12), 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)는 다음과 같이 구성되어 있다.
촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성되어 있다. 구체적으로 촬상부(12)는 복수의 광 센서가 매트릭스상으로 배열된 수광면(미도시)을 가지고, 선두 라인인 1행째의 라인(행방향으로 배열된 2 이상의 광 센서에 의해 구성된 라인)으로부터 최종 라인인 n행째(N은 2 이상의 정수)의 라인을 향해 n개의 라인이 차례로 노광되도록 구성되어 있다.
제어부(14)는 발광 제어에 있어서, 촬상부(12)의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에서 복수의 광원(11a~11d) 중 발광시키는 광원(11)이 점등되어 있는 기간과 광원(11)(발광시키는 광원(11))이 소등되어 있는 기간이 존재하도록 광원(11)을 발광시킨다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역이고, 또한 광원(11)이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 검출 대상의 유무를 판정하도록 구성되어 있다.
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물(100)(본 예에서는 인간)을 검출하도록 구성되어 있다.
식별부(17)는 촬상 화상(20)으로부터 대상물 영역(40)(촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역)을 추출하고, 대상물 영역(40)으로 미리 등록된 조합 화상을 조합하여 대상물(100)을 식별하도록 구성되어 있다.
〈광원과 촬상부와 촬상 화상(20)과의 대응 관계〉
이어서, 도 48을 참조하여, 광원(11)과 촬상부(12)와 촬상 화상(20)과의 관계에 대해 설명한다.
촬상부(12)는 그 수광면에서 매트릭스상으로 배열된 광 센서의 행방향이 제1 방향(예컨대, 수평 방향)이 되고, 광 센서의 열방향이 제1 방향과 직교하는 제2 방향(예컨대, 상하 방향)이 되도록 설치된다. 복수의 광원(11)(본 예에서는 4개의 광원(11a~11d))은, 제1 방향(예컨대, 수평 방향)에 병설되고, 촬상부(12)의 수광면과 대향하는 피사계의 조명을 분담하여 수행하도록 구성되어 있다. 또한, 복수의 광원(11)은 각각 점등 기간을 복수의 점등 기간(tL)(본 예에서는 2개의 점등 기간(t25, t26))으로 전환 가능하게 구성되어 있다.
또한, 촬상 화상(20)에는 매트릭스상으로 배열된 복수의 화상 영역(본 예에서는 2행 4열에 배열된 8개의 화상 영역(25a~25d, 26a~26d))이 포함되어 있다. 이하의 설명에서는, 화상 영역(25a~25d, 26a~26d)의 총칭을 “화상 영역(200)”이라고 기재한다. 그리고, 복수의 광원(11)은 복수의 화상 영역열(열방향으로 배열된 2 이상의 화상 영역(200))에 각각 대응되고, 복수의 점등 기간(tL)은 복수의 화상 영역행(행방향으로 배열된 2 이상의 화상 영역(200))에 각각 대응되어 있다.
또한, 복수의 화상 영역행은 촬상부(12)의 복수의 라인군(연속되는 2 이상의 라인에 의해 구성된 라인군)에 각각 대응되어 있다. 즉, 화상 영역행은 그 화상 영역행에 대응되는 촬상부(12)의 라인군에 의해 촬상된 피사계의 일부를 포함하고 있다. 또한, 복수의 점등 기간(tL)은 복수의 화상 영역행에 각각 대응되어 있다. 따라서, 복수의 점등 기간(tL)은 촬상부(12)의 복수의 라인군에 각각 대응되어 있다. 그리고, 점등 기간(tL)은 그 점등 기간(tL)에 대응되는 촬상부(12)의 라인군의 노광 기간(tE)과 중복되도록 설정되어 있다. 즉, 점등 기간(tL)에서 광원(11)을 점등시킴으로써, 그 점등 기간(tL)에 대응되는 촬상부(12)의 라인군의 노광 중에 광원(11)을 점등시켜 피사계를 비출 수 있고, 광원(11)에 의해 비추어진 피사계의 일부를 촬상부(12)의 라인군(그 점등 기간(tL)에 대응되는 라인군)에서 촬상할 수 있다.
본 예에서는, 점등 기간(t25)는, 촬상부(12)의 선두 라인인 1행째의 라인(L1)으로부터 중앙에 위치하는 m행째(m은 1 보다 크고 n 보다 작은 정수, 본 예에서는 n/2에 가까운 수)의 라인까지의 m개의 라인군(즉, 전반 라인군)에 대응되고, 점등 기간(t26)은 m＋1행째의 라인으로부터 최종 라인인 n행째의 라인(Ln)까지의 n－m개의 라인군(즉, 후반 라인군)에 대응되어 있다.
또한, 소정 기간(예컨대, 프레임 기간)의 개시 타이밍에 대한 점등 기간의 지연 시간(개시 지연 시간)이나 점등 기간의 길이를 변경함으로써, 점등 기간에 대응되는 촬상부(12)의 라인군을 변경하는 것이 가능하다. 본 예에서는, 점등 기간(t26)의 지연 시간(tD2)는 점등 기간(t26)의 지연 시간(tD1) 보다 길어져 있다. 또한, 점등 기간(t26)의 길이는 점등 기간(t25)의 길이와 동일해져 있다.
〈동작〉
이어서, 도 49를 참조하여, 실시 형태 10에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 4개의 화상 영역열의 선택 순서가 미리 정해져 있다. 구체적으로는, 광원(11a)과 화상 영역열(화상 영역(25a, 26a))이 첫번째로 선택되고, 광원(11b)과 화상 영역열(화상 영역(25b, 26b))이 두번째로 선택되고, 광원(11c)과 화상 영역열(화상 영역(25c, 26c))이 세번째로 선택되고, 광원(11d)과 화상 영역열(화상 영역(25d, 26d))이 네번째로 선택되도록, 광원(11) 및 화상 영역열의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역열의 선택 순서에 기초하여 광원(11a~11d)과 4개의 화상 영역열에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로는, 광원(11a)과 화상 영역열(화상 영역(25a, 26a))에 “1”이 할당되고, 광원(11b)과 화상 영역열(화상 영역(25b, 26b))에 “2”가 할당되고, 광원(11c)과 화상 영역(화상 영역(25c, 26c))에 “3”이 할당되고, 광원(11d)과 화상 영역열(화상 영역(25d, 26d))에 “4”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역열의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수에 해당한다.
또한, 본 예에서는, 점등 기간(t25, t26)의 선택 순서가 미리 정해지고, 2개의 화상 영역행의 선택 순서가 미리 정해져 있다. 구체적으로는, 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d)이 첫번째로 선택되고, 점등 기간(t26)과 화상 영역행(26a, 26b, 26c, 26d)이 두번째로 선택되도록, 점등 기간 및 화상 영역행의 선택 순서가 미리 정해져 있다. 또한, 점등 기간 및 화상 영역행의 선택 순서에 기초하여 점등 기간(t25, t26)과 2개의 화상 영역행에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로는, 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d)에 “1”이 할당되고, 점등 기간(t26)과 화상 영역행(26a, 26b, 26c, 26d)에 “2”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 M은 1 이상이고, 또한 상한치(Mmax) 이하의 정수이고, 처리의 대상이 되는 점등 기간 및 화상 영역행의 번호를 나타내고 있다. 상한치(Mmax)는 2 이상의 정수이고, 점등 기간의 개수에 해당한다.
《스텝 ST1001》
우선, 제어부(14)는 변수 M을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 점등 기간과 화상 영역행(본 예에서는 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d))을 이번 처리의 대상이 되는 점등 기간과 화상 영역행으로서 선택한다.
《스텝 ST1002》
이어서, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11)과 화상 영역열(본 예에서는 광원(11a)과 화상 영역열(25a, 26a))을 이번 처리의 대상이 되는 광원(11)과 화상 영역열로서 선택한다.
《스텝 ST1003》
이어서, 제어부(14)는 K번째의 광원(11)을 m번째의 점등 기간에서 점등시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1004》
이어서, 판정부(15)는 스텝 ST1003에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출한다.
《스텝 ST1005》
이어서, 판정부(15)는 스텝 ST1004에서 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1006으로 진행되고, 그렇지 않은 경우에는, 스텝 ST1007로 진행된다.
《스텝 ST1006》
이어서, 검출부(16)는 스텝 ST105에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST1007》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번 처리 대상으로 되어 있는 광원(11) 및 화상 영역열이 미리 정해진 선택 순서에서 마지막에 선택되는 광원(11) 및 화상 영역열인지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST1008로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 스텝 ST1009로 진행된다.
《스텝 ST1008》
스텝 ST1008에서 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열의 다음에 선택되는 광원(11) 및 화상 영역열을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역열로서 선택한다. 이어서, 스텝 ST1003으로 진행된다.
《스텝 ST1009》
한편, 스텝 ST1008에서 변수 M이 상한치(Mmax)에 도달하지 않은 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번의 처리 대상으로 되어 있는 점등 기간 및 화상 영역행이 미리 정해진 선택 순서에서 마지막에 선택되는 점등 기간 및 화상 영역행인지 여부를 판정한다. 변수 M이 상한치(Mmax)에 도달하지 않은 경우에는, 스텝 ST1010으로 진행되고, 변수 M이 상한치(Mmax)에 도달한 경우에는, 스텝 ST1011로 진행된다.
《스텝 ST1010》
스텝 ST1009에서 변수 M이 상한치(Mmax)에 도달하지 않은 경우, 제어부(14)는 변수 M에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 점등 기간 및 화상 영역행의 다음에 선택되는 점등 기간 및 화상 영역행을, 다음 번의 처리 대상이 될 점등 기간 및 화상 영역행으로서 선택한다. 이어서, 스텝 ST1002로 진행된다.
《스텝 ST1011》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST1001로 진행된다.
〈광원의 발광 패턴〉
도 50은 실시 형태 10에서의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 50에 도시한 바와 같이, 실시 형태 10에서는, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 발광시키는 광원(11)이 선택된다. 그리고, 미리 정해진 선택 순서(본 예에서는, 점등 기간(t25, t26)의 순서)로 광원(11)의 점등 기간이 선택된다. 또한, 도 50에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 처리의 대상이 되는 화상 영역(200)에 해칭되어 있다.
〈실시 형태 10에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 촬상부(12)의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에서 복수의 광원(11a~11d) 중 발광시키는 광원(11)이 점등되어 있는 기간과 광원(11)(발광시키는 광원(11))이 소등되어 있는 기간이 존재하도록 발광 제어에서 광원(11)을 발광시킴으로써, 광원(11)에서의 소비 전력을 저감할 수 있다.
〔실시 형태 10의 변형예〕
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하지 않는 경우, 복수의 광원(11a~11d)이 미리 정해진 발광 순서 및 점등 순서로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)를 수행하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하는 경우, 복수의 광원(11a~11d) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)이 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록, 발광 제어를 수행하도록 구성될 수도 있다.
예컨대, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하는 경우, 제1 발광 동작과 제2 발광 동작이 교대로 실행되도록, 발광 제어를 수행하도록 구성될 수도 있다. 제1 발광 동작에서는, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)이 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 점등 기간에 점등한다. 제2 발광 동작에서는, 미리 정해진 발광 순서 및 점등 순서에 기초하여 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역(200)에 대응되는 광원(11) 중 하나의 광원(11)이 발광한다.
〈동작〉
이어서, 도 51, 도 52, 도 53을 참조하여, 실시 형태 10의 변형예에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서도, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 4개의 화상 영역열의 선택 순서가 미리 정해져 있다. 또한, 점등 기간(t25, t26)의 선택 순서가 미리 정해지고, 2개의 화상 영역행의 선택 순서가 미리 정해져 있다. 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역열의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수에 해당된다. 변수 M은 1 이상이고, 또한 상한치(Mmax) 이하의 정수이며, 처리의 대상이 되는 점등 기간 및 화상 영역행의 번호를 나타내고 있다. 상한치(Mmax)는 2 이상의 정수이고, 점등 기간의 개수에 해당한다.
《스텝 ST1101》
우선, 제어부(14)는 변수 M을 1로 설정하고, 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 첫번째로 선택되는 점등 기간과 화상 영역행을, 이번 처리의 대상이 되는 점등 기간과 화상 영역행으로서 선택하고, 미리 정해진 선택 순서에서 첫번째로 선택되는 광원(11)과 화상 영역열을, 이번 처리의 대상이 되는 광원(11)과 화상 영역열로서 선택한다.
《스텝 ST1102》
이어서, 제어부(14)는 주목 영역의 존재 유무를 판정한다. 주목 영역은 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(200)에 해당한다. 주목 영역이 존재하지 않는 것으로 판정된 경우에는, 스텝 ST1103으로 진행된다. 주목 영역이 존재하는 경우에는, 스텝 ST1201(도 52)에 진행된다.
《스텝 ST1103》
스텝 ST1102에서 주목 영역이 존재하지 않는 것으로 판정된 경우, 제어부(14)는 모든 광원(11a~11d)을 m번째의 점등 기간에 점등시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1104》
이어서, 제어부(14)는 변수 K를 1로 설정한다.
《스텝 ST1105, ST1106》
이어서, 스텝 ST1003, ST1004와 마찬가지로, 판정부(15)는 스텝 ST1103에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출하고, 그 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST1107로 진행되고, m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1112로 진행된다.
《스텝 ST1107》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열이 미리 정해진 선택 순서에서 마지막에 선택되는 광원(11) 및 화상 영역열인지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST1108로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 스텝 ST1109로 진행된다.
《스텝 ST1108》
스텝 ST1008에서 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열의 다음에 선택되는 광원(11) 및 화상 영역열을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역열로서 선택한다. 이어서, 스텝 ST1105로 진행된다.
《스텝 ST1109, ST1110, ST1111》
이어서, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 점등 기간 및 화상 영역행을 선택한다. 구체적으로 제어부(14)는, 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1103으로 진행된다.
《스텝 ST1112》
스텝 ST1106에 대해 m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 스텝 ST1106에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 주목 대상(즉, 주목 영역)으로 설정한다.
《스텝 ST1113》
이어서, 스텝 ST1006과 마찬가지로, 검출부(16)는 스텝 ST1112에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1114로 진행된다.
《스텝 ST1114》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST1102로 진행된다.
《스텝 ST1201》
한편, 스텝 ST1102에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(200)에 대응되는 광원(11)을, 복수의 점등 기간(t25, t26) 중 주목 영역인 화상 영역(200)에 대응되는 점등 기간에 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1202》
이어서, 판정부(15)는 스텝 ST1201에서 취득된 촬상 화상(20)으로부터 주목 영역인 화상 영역(200)을 추출한다.
《스텝 ST1203》
이어서, 판정부(15)는 스텝 ST1202에서 추출된 주목 영역인 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 주목 영역인 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1204로 진행되고, 그렇지 않은 경우에는, 스텝 ST1205로 진행된다.
《스텝 ST1204》
이어서, 검출부(16)는 스텝 ST1203에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1206으로 진행된다.
《스텝 ST1205》
한편, 스텝 ST1203에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(200)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST1206으로 진행된다.
《스텝 ST1206》
이어서, 제어부(14)는 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있는지 여부를 판정한다. m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있는 경우에는, 스텝 ST1207로 진행되고, 그렇지 않은 경우에는, 스텝 ST1213(도 53)으로 진행된다.
《스텝 ST1207~ST1212》
스텝 ST1206에 대해 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있다고 판정된 경우, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 되는 화상 영역(200)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 M이 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 또한, 변수 K를 1로 설정한 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1206에 진행된다.
《스텝 ST1213, ST1214, ST1215》
한편, 스텝 ST1206에 대해 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되지 않은 것으로 판정된 경우, 제어부(14)는, 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(200)에 대응되는 광원(11)을, 복수의 점등 기간(t25, t26) 중 주목 영역인 화상 영역(200)에 대응되는 점등 기간에 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 이어서, 판정부(15)는 스텝 ST1213에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출하고, 그 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1216으로 진행되고, 그렇지 않은 경우에는, 스텝 ST1218로 진행된다.
《스텝 ST1216》
이어서, 제어부(14)는 스텝 ST1215에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 주목 대상(즉, 주목 영역)으로 설정한다.
《스텝 ST1217》
이어서, 검출부(16)는 스텝 ST1215에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1218로 진행된다.
《스텝 ST1218~ST1223》
이어서, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 되는 화상 영역(200)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 M이 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 또한, 변수 K를 1로 설정한 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1114(도 51)에 진행된다.
〈광원의 발광 패턴〉
도 54는 실시 형태 10의 변형예에서 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 54에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 1행째에 제1 번째의 화상 영역(25a)이 주목 영역으로 설정되고, 그 외의 7개의 화상 영역(200)이 주목 영역으로 설정되어 있지 않다. 도 54에 도시한 바와 같이, 실시 형태 10의 변형예에서는, 주목 영역에 대응되는 광원(11a)이 주목 영역에 대응되는 점등 기간(t25)에서 점등하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(200)에 대응되는 광원(11) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 또한, 도 54에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 처리의 대상이 되는 화상 영역(200)이 해칭되어 있다.
〈실시 형태 10의 변형예에 의한 효과〉
이상과 같이, 주목 영역(검출 대상 있음으로 판정된 화상 영역(200))에 대해 검출 대상 유무의 판정을 중점적으로 수행할 수 있다. 이에 따라, 피사계 중 검출 대상이 있는 것으로 전망되는 영역을 중점적으로 감시할 수 있으므로, 피사계의 감시(검출 대상 유무의 판정)를 효과적으로 수행할 수 있다.
또한, 실시 형태 10의 변형예에 의한 촬상 장치(10)에 있어서, 복수의 화상 영역(200)이 주목 대상(즉, 주목 영역)으로 설정될 수도 있다.
그리고, 제어부(14)는 복수의 주목 영역(상세하게는, 판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(200)이고 동일한 점등 기간(tL)에 대응되는 복수의 화상 영역(200))에 각각 대응되는 복수의 광원(11)이 제1 발광 동작에서 동시에 발광(점등)하도록 발광 제어를 수행하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 2의 변형예 1에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또는, 제어부(14)는 복수의 주목 영역(상세하게는, 판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(200)이고 동일한 점등 기간(tL)에 대응되는 복수의 화상 영역(200))에 각각 대응되는 복수의 광원(11)이 제1 발광 동작에서 차례로 발광(점등)하도록 발광 제어를 수행하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 2의 변형예 2에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
〔실시 형태 10의 기타 변형예〕
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 검출부(16)는 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(200))을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출하도록 구성될 수도 있다. 예컨대, 검출부(16)는 실시 형태 3에서의 검출부(16)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(200))에 걸쳐 있는 경우, 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 광원(11)을 발광(점등)시켜 촬상부(12)에 피사계를 촬상시키도록 구성될 수도 있다. 그리고, 식별부(17)는 주목 영역에 대응되는 광원(11)이 발광(점등)하고 있을 때 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제1 조합 화상)을 조합하고, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광(점등)하고 있을 때 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제2 조합 화상)을 조합하고, 이러한 조합 결과에 기초하여 대상물(100)을 식별하도록 구성될 수도 있다. 예컨대, 제어부(14) 및 식별부(17)는 실시 형태 4의 변형예에서의 제어부(14) 및 식별부(17)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
〔실시 형태 11〕
도 55는 실시 형태 11에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 11에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 11에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다.
또한, 실시 형태 11에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 변경 가능하게 구성되어 있다. 또한, 제어부(14)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(21)의 밝기(예컨대, 평균 휘도)에 기초하여 그 광원(11)의 발광량을 설정하도록 구성되어 있다.
또한, 실시 형태 11에 의한 촬상 장치(10)에서는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작에 더하여, 도 56에 도시한 동작이 수행된다.
〈동작〉
이어서, 도 56을 참조하여, 실시 형태 11에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d) 및 화상 영역(21a~21d)에 대해 설정 처리의 대상이 되는 순서가 미리 정해져 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역(21)의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수(본 예에서는 4)에 해당한다.
《스텝 ST2001》
우선, 제어부(14)는 모든 광원(11a~11d)을 발광시키지 않고 촬상부(12)에 피사계(광원(11)에 의해 조명되지 않은 피사계)를 촬상시킨다.
《스텝 ST2002》
이어서, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(예컨대, 광원(11a) 및 화상 영역(21a))을, 이번 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다.
《스텝 ST2003》
이어서, 제어부(14)는 스텝 ST2001에서 취득된 촬상 화상으로부터 K번째의 화상 영역(21)을 추출한다. 그리고, 제어부(14)는 K번째의 화상 영역(21)의 밝기에 기초하여 K번째의 화상 영역(21)에 대응되는 광원(11)(K번째의 광원(11))의 발광량을 설정한다. 구체적으로 제어부(14)는, K번째의 화상 영역(21)의 밝기가 높아짐에 따라 K번째의 광원(11)의 발광량이 적어지도록, K번째의 화상 영역(21)의 밝기에 기초하여 K번째의 광원(11)의 발광량을 설정한다.
《스텝 ST2004》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 광원(11) 중 처리의 대상이 되지 않은 광원(11)(발광량이 설정되지 않은 광원(11))이 남아 있는지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST2005로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 처리를 종료한다.
《스텝 ST2005》
스텝 ST2004에서 변수 K가 상한치(Kmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)의 다음에 선택되는 광원(11) 및 화상 영역(21)을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)으로서 선택한다. 이어서, 스텝 ST2003으로 진행된다.
〈실시 형태 11에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 같은 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(21)의 밝기에 기초하여 그 광원(11)의 발광량을 설정할 수 있다. 이에 따라, 화상 영역(21)의 밝기가 적절한 밝기가 되도록 광원(11)의 발광량을 설정할 수 있다.
〔실시 형태 12〕
도 57은 실시 형태 12에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 12에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 12에 의한 촬상 장치(10)는 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다. 또한, 실시 형태 12에 있어서, 처리 회로(13)는 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)에, 설정부(18)를 더 구비하고 있다. 또한, 실시 형태 12에 있어서, 복수의 광원(11a~11d), 제어부(14), 및 설정부(18)는 다음과 같이 구성되어 있다.
복수의 광원(11a~11d)은 각각이 발광량을 복수의 발광량으로 전환 가능하게 구성되어 있다.
제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우에 제1 동작을 수행하도록 구성되어 있다. 제1 동작에 있어서, 제어부(14)는 광원(11)(복수의 광원(11a~11d) 중 발광시키는 광원(11))의 발광량을 미리 정해진 순서로 복수의 발광량 중에서 선택된 발광량으로 설정하고, 그 선택된 발광량으로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에 제2 동작을 수행하도록 구성되어 있다. 제2 동작에 있어서, 제어부(14)는 광원(복수의 광원(11a~11d) 중 발광시키는 광원(11))의 발광량을 설정해야 할 발광량으로 설정하고, 그 설정해야 할 발광량으로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)의 발광량을, 그 광원(11)에 대해 설정해야 할 발광량으로 결정한다.
〈동작〉
이어서, 도 58, 도 59를 참조하여, 실시 형태 12에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 12에 의한 촬상 장치(10)에서는, 복수의 광원(11a~11d)의 각각에 대해 이하의 처리가 수행된다. 또한, 도 58에 도시한 동작은 광원(11)에 대해 설정해야 할 발광량으로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응된다. 도 59에 도시한 동작은 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 또한, 이하의 설명에 있어서, 변수 J는 1 이상이고, 또한 상한치(Jmax) 이하의 정수이며, 처리의 대상이 되는 발광량의 번호(예컨대, 발광량의 단계를 나타낸 번호)를 나타내고 있다. 상한치(Jmax)는 2 이상의 정수이고, 광원(11)의 설정 가능한 발광량의 수(예컨대, 발광량의 변경 단계수)에 해당한다.
《스텝 ST3001》
광원(11)(본 처리의 대상으로 하고 있는 광원(11), 이하 동일)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광량을 이번 처리의 대상으로서 선택한다.
《스텝 ST3002》
이어서, 제어부(14)는 광원(11)의 발광량을 J번째의 발광량으로 설정한다.
《스텝 ST3003》
이어서, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상되었는지 여부를 판정한다. 예컨대, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1회의 촬상(피사계의 촬상)이 촬상부(12)에 의해 행해지고 적어도 1매의 촬상 화상이 취득되었는지 여부를 판정한다. J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상된 경우에는, 스텝 ST3004로 진행되고, 그렇지 않은 경우에는, 스텝 ST3003을 반복한다.
《스텝 ST3004》
이어서, 판정부(15)는 스텝 ST3003에서 취득된 촬상 화상으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST3005로 진행되고, 그렇지 않은 경우에는, 스텝 ST3006으로 진행된다.
《스텝 ST3005》
이어서, 설정부(18)는 스텝 ST3004에서 검출 대상 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광량을, 본 광원(11)에 대해 설정해야 할 발광량으로 결정한다. 즉, 설정부(18)는 스텝 ST3002에서 광원(11)의 이번 발광량으로 설정된 J번째의 발광량을, 본 광원(11)에 대해 설정해야 할 발광량으로 결정한다. 구체적으로 설정부(18)는 J번째의 발광량을 광원(11)에 대해 설정해야 할 발광량으로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 ST3006으로 진행된다.
《스텝 ST3006》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 발광량 중에 처리의 대상으로서 선택되지 않은 발광량이 남아 있는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST3007로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3008로 진행된다.
《스텝 ST3007》
스텝 ST3006에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 즉, 제어부(14)는 복수의 발광량 중에서 아직도 선택되지 않은 발광량을 다음 번의 처리 대상으로서 선택한다. 이어서, 스텝 ST3002로 진행된다.
《스텝 ST3008》
한편, 스텝 ST3006에서 변수 J가 상한치(Jmax)에 도달한 것으로 판정된 경우, 제어부(14)는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정한다. 구체적으로 제어부(14)는 광원(11)에서 복수의 발광량 중 설정해야 할 발광량으로서 설정부(18)(기억 영역)에 등록된 발광량이 있는지 여부를 판정한다. 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에는, 스텝 ST3101(도 59)로 진행되고, 그렇지 않은 경우에는, 스텝 ST3001로 진행된다.
《스텝 ST3101》
광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광량을 이번 처리의 대상으로서 선택한다.
《스텝 ST3102》
이어서, 제어부(14)는 광원(11)에 대해 J번째의 발광량(즉, 이번의 처리 대상으로 되어 있는 발광량)이 설정해야 할 발광량으로 결정되어 있는지 여부를 판정한다. J번째의 발광량이 설정해야 할 발광량으로 결정되지 않은 경우에는, 스텝 ST3103으로 진행되고, J번째의 발광량이 설정해야 할 발광량으로 결정되어 있는 경우에는, 스텝 ST3105로 진행된다.
《스텝 ST3103》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST3104로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3101로 진행된다.
《스텝 ST3104》
스텝 ST3103에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST3102로 진행된다.
《스텝 ST3105》
한편, 스텝 ST3102에 있어서, 광원(11)에 대해 J번째의 발광량이 설정해야 할 발광량으로 결정되어 있다고 판정된 경우, 제어부(14)는 광원(11)의 발광량을 J번째의 발광량으로 설정한다.
《스텝 ST3106》
이어서, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상되었는지 여부를 판정한다. J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상된 경우에는, 스텝 ST3107로 진행되고, 그렇지 않은 경우에는, 스텝 ST3106을 반복한다.
《스텝 ST3107》
이어서, 판정부(15)는 스텝 ST3106에서 취득된 촬상 화상(20)으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST3108으로 진행되고, 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST3110으로 진행된다.
《스텝 ST3108》
이어서, 설정부(18)는 스텝 ST3107에서 검출 대상 없음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시의 광원(11)의 발광량(즉, 스텝 ST3105에서 광원(11)의 이번의 발광량으로서 설정된 J번째의 발광량)을 설정해야 할 발광량으로 하는 결정을 해제한다. 구체적으로 설정부(18)는 광원(11)에 대해 설정부(18)(기억 영역)에서의 J번째의 발광량의 등록(설정해야 할 발광량으로서의 등록)을 삭제한다. 이어서, 스텝 ST3109로 진행된다.
《스텝 ST3109》
이어서, 제어부(14)는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정한다. 설정해야 할 발광량이 결정되어 있는 경우에는, 스텝 ST3110으로 진행되고, 그렇지 않은 경우에는, 스텝 ST3001(도 58)로 진행된다.
《스텝 ST3110, ST3111》
스텝 ST3109에서 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있다고 판정된 경우, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST3102로 진행된다. 한편, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3101로 진행된다.
〈실시 형태 12에 의한 효과〉
이상과 같이 구성한 경우에도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 검출 대상 유무의 판정에 적절한 발광량을 결정할 수 있고, 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 검출 대상 유무의 판정에 적절한 발광량으로 피사계를 촬상할 수 있다.
〔실시 형태 13〕
실시 형태 13에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)과 동일한 구성을 가지고 있다. 또한, 실시 형태 13에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 수행할 수 있다. 또한, 실시 형태 3에서는, 복수의 광원(11a~11d), 촬상부(12), 및 제어부(14)는 다음과 같이 구성되어 있다.
복수의 광원(11a~11d)은 각각이 발광량을 서로 다른 2개의 발광량(제1 발광량과, 제1 발광량 보다 적은 제2 발광량)으로 전환 가능하게 구성되어 있다.
촬상부(12)는 그 노광 시간을 서로 다른 2개의 노광 시간(제1 노광 시간과, 제1 노광 시간 보다 긴 제2 노광 시간)으로 전환 가능하게 구성되어 있다.
제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하도록 구성되어 있다. 또한, 제어부(14)는 판정부(15)에 의해 검출 대상 없음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광량을 제2 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제2 노광 시간으로 설정하도록 구성되어 있다.
〈동작〉
이어서, 도 60을 참조하여, 실시 형태 13에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 12에 의한 촬상 장치(10)에서는, 복수의 광원(11a~11d)의 각각에 대해 이하의 처리가 수행된다.
《스텝 ST4001》
우선, 제어부(14)는 광원(11)(본 처리의 대상으로 하고 있는 광원(11), 이하 동일)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다.
《스텝 ST4002》
이어서, 제어부(14)는 미리 설정된 발광량(구체적으로, 스텝 ST4001, ST4004, ST4005에서 설정된 발광량)으로 발광하고 있는 광원(11)에 의해 비추어진 피사계가 미리 설정된 노광 시간(구체적으로, 스텝 ST4001, ST4004, ST4005에서 설정된 노광 시간)으로 노광하고 있는 촬상부(12)에 촬상되었는지 여부를 판정한다. 예컨대, 제어부(14)는 광원(11)이 미리 설정된 발광량으로 발광하고 있는 기간 중에, 미리 설정된 노광 시간에 노광시킨 촬상부(12)에 의해 피사계의 촬상이 N회 연속 수행되어 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되었는지 여부를 판정한다. 미리 설정된 발광량으로 발광하고 있는 광원(11)에 의해 비추어진 피사계가 미리 설정된 노광 시간으로 노광하고 있는 촬상부(12)에 촬상된 경우에는, 스텝 ST4003으로 진행되고, 그렇지 않은 경우에는, 스텝 ST4002를 반복한다.
《스텝 ST4003》
이어서, 판정부(15)는 스텝 ST4002에서 취득된 촬상 화상(20)으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST4004로 진행되고, 그렇지 않은 경우에는, 스텝 ST4005로 진행된다.
《스텝 ST4004》
스텝 ST4003에서 검출 대상 있음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다. 이어서, 스텝 ST4006으로 진행된다.
《스텝 ST4005》
한편, 스텝 ST4003에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정한다. 이어서, 스텝 ST4006으로 진행된다.
《스텝 ST4006》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST4002로 진행된다.
〈실시 형태 13에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정함으로써, 광원(11)의 발광량이 항상 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정되어 촬상부(12)의 노광 시간이 항상 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정되어 있는 경우 보다 촬상부(12)에 의한 피사계의 촬상을 신속히 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 광원(11)의 발광량을 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정함과 동시에 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정함으로써, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우(즉, 광원(11)의 발광량이 제1 발광량으로 설정되어 촬상부(12)의 노광 시간이 제1 노광 시간으로 설정되어 있는 경우) 보다 광원(11)의 발광량을 낮출 수 있음과 더불어, 촬상부(12)의 노광 시간을 길게 할 수 있다. 이에 따라, 광원(11)의 소비 전력을 저감할 수 있다. 또한, 광원(11)의 발광량을 저하시키고, 한편 촬상부(12)의 노광 시간을 길게 함으로써, 광원(11)의 발광량 저하에 기인하는 촬상 화상의 밝기의 저하를 보상할 수 있다.
또한, 이상의 설명에서는, 스텝 ST4001에서 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정하는 경우를 예로 들었지만, 제어부(14)는 스텝 ST4001에서 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정하도록 구성될 수도 있다.
〔그 밖의 실시 형태〕
또한, 이상의 실시 형태 및 변형예를 적절히 조합하여 수행할 수도 있다. 이상의 실시 형태 및 변형예는, 본질적으로 바람직한 예시로서, 이 개시, 그 적용물, 또는 그 용도의 범위를 제한하는 것을 의도하는 것은 아니다.
예컨대, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 6에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 변경 가능하게 구성될 수도 있다. 그리고, 제어부(14)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(200)의 밝기에 기초하여 광원(11)의 발광량을 설정하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 6에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 7, 8에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)는 설정부(18)를 더 구비할 수도 있다. 또한, 복수의 광원(11a~11d)은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성될 수도 있다. 또한, 제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 그 광원(11)의 발광량을 미리 정해진 순서로 복수의 발광량 중에서 선택된 발광량으로 설정하여 선택된 발광량으로 발광(점등)시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제1 동작을 수행하고, 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 그 광원(11)의 발광량을 설정해야 할 발광량으로 설정하고, 설정해야 할 발광량으로 발광(점등)시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제2 동작을 수행하도록 구성될 수도 있다. 그리고, 설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시에 발광(점등)하고 있는 광원(11)의 발광량을, 그 광원(11)에 대해 설정해야 할 발광량으로 결정하도록 구성될 수도 있다. 예컨대, 제어부(14) 및 설정부(18)는, 실시 형태 7, 8에서의 제어부(14) 및 설정부(18)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 9에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 제1 발광량과 제2 발광량(제1 발광량 보다 적은 발광량)으로 전환 가능하게 구성될 수도 있다. 또한, 촬상부(12)는, 그 노광 시간을 제1 노광 시간과 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 전환 가능하게 구성될 수도 있다. 그리고, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하고, 판정부(15)에 의해 검출 대상 없음으로 판정된 화상 영역(200)에 대응되는 광원(11)의 발광량을 제2 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제2 노광 시간으로 설정하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 9에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
상술한 내용에는 본 발명의 다양한 예가 포함된다. 본 발명의 기재 목적으로는, 요소나 순서를 생각할 수 있는 모든 조합을 기재하는 것이 당연하나 불가능한 것으로서, 당업자라면 본 발명이 많은 새로운 조합 및 배열이 가능함을 알 수 있을 것이다. 따라서 본 발명은 특허 청구의 범위의 정신 및 범위에 들어가는 그러한 개변, 변경 및 변형예를 모두 포함하도록 의도된다.
이상 설명한 바와 같이, 상술한 촬상 장치는 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있으므로, 피사계를 촬상하여 피사계를 감시하는 촬상 장치 등으로서 유용하다.

Claims (25)

  1. 촬상 장치에 있어서,
    각각이 피사계의 서로 다른 영역을 향해 발광하는 복수의 광원;
    상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부;
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    미리 정해진 발광 순서로 광을 순차적으로 조사하도록 상기 복수의 광원을 제어하고,
    상기 복수의 광원의 각 광원이 광을 조사할 때 상기 피사계의 촬상 화상을 취득하도록 상기 촬상부를 제어하고,
    상기 광원이 상기 광을 조사하는 상기 피사계의 화상 영역을 획득하고,
    상기 촬상 화상의 상기 화상 영역에 검출 대상의 움직임이 존재하는지 여부를 판정하고,
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재하지 않는 것으로 판정됨에 따라, 상기 미리 정해진 발광 순서로 계속하여 상기 광을 조사하도록 상기 복수의 광원의 발광 제어를 수행하고,
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재하는 것으로 판정됨에 따라, 상기 복수의 광원 중에서 상기 검출 대상의 움직임을 포함하는 것으로 판정된 상기 화상 영역에 대응하는 광원의 발광 빈도가 증가되도록 상기 복수의 광원의 발광 제어를 수행하는, 촬상 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재함에 따라, 상기 검출 대상이 존재하는 것으로 판정된 화상 영역에 대응되는 광원이 발광하는 제1 발광 동작과 상기 미리 정해진 발광 순서에 기초하여 상기 검출 대상이 존재하지 않는 것으로 판정된 화상 영역에 대응되는 광원 중 하나 이상의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행하는, 촬상 장치.
  4. 제3항에 있어서,
    상기 제1 발광 동작에서는 상기 검출 대상의 움직임이 존재하는 것으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 또는 순차적으로 발광하는, 촬상 장치.
  5. 삭제
  6. 제1항 에 있어서,
    상기 적어도 하나의 프로세서는,
    검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물을 검출하는, 촬상 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역인 주목 영역 중 상기 검출 대상의 움직임이 존재하는 것으로 판정된 부위가 상기 주목 영역의 엣지부인 경우, 상기 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역을 포함하는 후보 영역으로부터 상기 미리 정해진 대상물을 검출하는, 촬상 장치.
  8. 제7항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 촬상 화상으로부터 상기 촬상 화상의 일부이고, 또한 상기 대상물을 포함하는 대상물 영역을 추출하고,
    상기 대상물 영역과 미리 등록된 조합 화상을 조합하여 상기 대상물을 식별하는,촬상 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 추출되는 대상물 영역이 상기 검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역인 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역에 걸쳐 있는 경우, 상기 복수의 광원 중 상기 주목 영역 및 상기 인접 영역에 대응되는 광원을 발광시켜 상기 촬상부에 상기 피사계를 촬상시키고,
    상기 주목 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고,
    상기 주목 영역 및 상기 인접 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 이러한 조합 결과에 기초하여 상기 대상물을 식별하는, 촬상 장치.
  10. 제1항에 있어서,
    상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고,
    상기 적어도 하나의 프로세서는,
    상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 중 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고,
    상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역이고, 또한 상기 적어도 하나의 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 상기 검출 대상의 유무를 판정하는,촬상 장치.
  11. 제10항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서 및 점등 순서로 발광하도록 상기 발광 제어를 수행하고,
    상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역에 대응되는 광원이 상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록 상기 발광 제어를 수행하는, 촬상 장치.
  12. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역이 존재하는 경우, 상기 검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역에 대응되는 광원이 상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 제1 발광 동작과 미리 정해진 발광 순서 및 점등 순서에 기초하여 상기 검출 대상이 존재하지 않는 것으로 판정된화상 영역에 대응되는 광원 중 하나의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행하는, 촬상 장치.
  13. 제12항에 있어서,
    상기 제1 발광 동작에서는, 상기 상기 검출 대상의 움직임이 존재하는 것으로판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 또는 순차적으로 점등하는,촬상 장치.
  14. 삭제
  15. 제1항에 있어서,
    상기 복수의 광원은 각각 발광량을 변경 가능하게 구성되고,
    상기 적어도 하나의 프로세서는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하지 않은 광원에 대응되는 화상 영역의 밝기에 기초하여 상기 광원의 발광량을 설정하는, 촬상 장치.
  16. 제1항에 있어서,
    상기 복수의 광원은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성되고,
    상기 적어도 하나의 프로세서는,
    상기 복수의 광원 중 발광시키는 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 수행하고,
    상기 검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역을 포함하는 촬상 화상을 취득하기 위한 촬상시에 발광하고 있는 광원의 발광량을 상기 광원에 대해 설정해야 할 발광량으로 결정하는, 촬상 장치.
  17. 제1항에 있어서,
    상기 복수의 광원은 각각 발광량을 제1 발광량과 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고,
    상기 촬상부는 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고,
    상기 적어도 하나의 프로세서는,
    상기 검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고,
    상기 검출 대상의 움직임이 존재하지 않는 것으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는, 촬상 장치.
  18. 제1항에 있어서,
    　　　　상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고,
    상기 적어도 하나의 프로세서는,
    상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고,
    상기 적어도 하나의 프로세서는, 상기 복수의 광원중 발광된 광원 및 상기 발광된 광원이 점등되어 있는 기간에 기초해서, 상기 촬상부에 의해 취득된 촬상 화상 중 상기 미리 정해진 검출 대상의 유무를 판정할 상기 화상 영역을 결정하는, 촬상 장치.
  19. 제 18항에 있어서,
    　　　　　상기 촬상부에 의해 취득된 촬상 화상은 복수의 행 영역과 복수의 열 영역으로 구분되며,
    　　　　　상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응하여 상기 복수의 열 영역중 하나의 열 영역이 결정되고,
    　　　　　상기 발광하는 광원이 점등되어 있는 기간에 대응하여 상기 복수의 행 영역중 하나의 행 영역이 결정되는, 촬상 장치.
  20. 각각 피사계의 서로 다른 영역을 향해 발광하는 복수의 광원과, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부를 이용하는 촬상 방법으로서,
    미리 정해진 발광 순서로 광을 순차적으로 조사하도록 상기 복수의 광원을 제어하는 동작,
    상기 복수의 광원의 각 광원이 광을 조사할 때 상기 피사계의 촬상 화상을 취득하도록 상기 촬상부를 제어하는 동작,
    상기 광원이 상기 광을 조사하는 상기 피사계의 화상 영역을 획득하는 동작,
    상기 촬상 화상의 상기 화상 영역에 검출 대상의 움직임이 존재하는지 여부를 판정하는 동작,
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재하지 않는 것으로 판정됨에 따라, 상기 미리 정해진 발광 순서로 계속하여 상기 광을 조사하도록 상기 복수의 광원의 발광 제어를 수행하는 동작, 및
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재하는 것으로 판정됨에 따라, 상기 복수의 광원 중에서 상기 검출 대상의 움직임을 포함하는 것으로 판정된 상기 화상 영역에 대응하는 광원의 발광 빈도가 증가되도록 상기 복수의 광원의 발광 제어를 수행하는 동작을 포함하는, 촬상 방법.
  21. 제20항에 있어서,
    상기 촬상 화상의 상기 화상 영역에 상기 검출 대상의 움직임이 존재함에 따라, 상기 검출 대상이 존재하는 것으로 판정된 화상 영역에 대응되는 광원이 발광하는 제1 발광 동작과 상기 미리 정해진 발광 순서에 기초하여 상기 검출 대상이 존재하지 않는 것으로 판정된 화상 영역에 대응되는 광원 중 하나 이상의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행하는 동작을 더 포함하는, 촬상 방법.
  22. 제21항에 있어서,
    상기 제1 발광 동작에서는 상기 검출 대상의 움직임이 존재하는 것으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 또는 순차적으로 발광하는, 촬상 방법.
  23. 제20항에 있어서,
    검출 대상의 움직임이 존재하는 것으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물을 검출하는 동작을 더 포함하는, 촬상 방법.
  24. ◈청구항 24은(는) 설정등록료 납부시 포기되었습니다.◈
    제23항에 있어서,
    상기 검출 대상의 움직임이 존재하는 것으로판정된 화상 영역인 주목 영역 중 상기 검출 대상의 움직임이 존재하는 것으로 판정된 부위가 상기 주목 영역의 엣지부인 경우, 상기 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역을 포함하는 후보 영역으로부터 상기 미리 정해진 대상물을 검출하는 동작을 더 포함하는, 촬상 방법.
  25. ◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈
    제24항에 있어서,
    상기 촬상 화상으로부터 상기 촬상 화상의 일부이고, 또한 상기 대상물을 포함하는 대상물 영역을 추출하는 동작, 및
    상기 대상물 영역과 미리 등록된 조합 화상을 조합하여 상기 대상물을 식별하는 동작을 더 포함하는,촬상 방법.

KR1020187011306A 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법 KR102642925B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2015241748 2015-12-11
JPJP-P-2015-241748 2015-12-11
JPJP-P-2015-243739 2015-12-15
JP2015243739 2015-12-15
JP2015253407 2015-12-25
JPJP-P-2015-253407 2015-12-25
JPJP-P-2015-257027 2015-12-28
JP2015257027 2015-12-28
JPJP-P-2016-223449 2016-11-16
JP2016223449A JP2017121041A (ja) 2015-12-11 2016-11-16 撮像装置
PCT/KR2016/014436 WO2017099517A1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법

Publications (2)

Publication Number Publication Date
KR20180083314A KR20180083314A (ko) 2018-07-20
KR102642925B1 true KR102642925B1 (ko) 2024-03-05

Family

ID=59272550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011306A KR102642925B1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법

Country Status (5)

Country Link
US (1) US11044403B2 (ko)
EP (1) EP3367663B1 (ko)
JP (1) JP2017121041A (ko)
KR (1) KR102642925B1 (ko)
CN (1) CN108370413B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) * 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
KR102050632B1 (ko) * 2017-08-02 2019-12-03 주식회사 에스오에스랩 다채널 라이다 센서 모듈
US11232688B1 (en) * 2017-11-29 2022-01-25 Amazon Technologies, Inc. Auto-configuration for a motion detector of a security device
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
CN111182287A (zh) * 2018-11-13 2020-05-19 南昌欧菲生物识别技术有限公司 发射模组、成像装置和电子装置
WO2020170914A1 (ja) * 2019-02-18 2020-08-27 日本電気株式会社 照明制御装置、方法、システム、及びコンピュータ可読媒体
KR20200125215A (ko) * 2019-04-26 2020-11-04 엘지이노텍 주식회사 카메라 모듈
KR20220033924A (ko) * 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
US20220353412A1 (en) * 2021-04-30 2022-11-03 Zebra Technologies Corporation Power Manager to Support Less-than-Nominal Conditions in a Machine Vision System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206050A1 (en) * 2002-07-12 2012-08-16 Yechezkal Evan Spero Detector Controlled Illuminating System
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム
KR101297759B1 (ko) * 2013-04-09 2013-08-20 한국씨텍(주) 감시 카메라 시스템의 적외선 ｌｅｄ 제어장치 및 그 제어방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350171A (ja) 2000-06-08 2001-12-21 Canon Inc カメラ
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
JP2004240799A (ja) 2003-02-07 2004-08-26 Optex Co Ltd ダミー発光機能を有する監視カメラシステム
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
US9215781B2 (en) 2008-04-16 2015-12-15 Avo Usa Holding 2 Corporation Energy savings and improved security through intelligent lighting systems
JP5486242B2 (ja) 2009-08-26 2014-05-07 パナソニック株式会社 撮像装置
JP2011125404A (ja) * 2009-12-15 2011-06-30 Olympus Corp 光制御装置、制御装置、光学スコープ及び光走査型光学装置
KR20110131772A (ko) 2010-05-31 2011-12-07 주식회사 케이씨씨 자외선 경화성 점착수지 조성물 및 이를 포함하는 다이싱용 또는 표면보호용 점착 테이프
KR101052803B1 (ko) 2011-01-05 2011-07-29 김도연 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템
JP2012174421A (ja) 2011-02-18 2012-09-10 Panasonic Corp 照明装置
JP6006147B2 (ja) 2012-03-28 2016-10-12 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
CN104135908B (zh) 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
JP5658772B2 (ja) 2013-01-25 2015-01-28 株式会社ソフイア 遊技機
JP6162466B2 (ja) * 2013-04-24 2017-07-12 株式会社日立情報通信エンジニアリング 照明制御システム及び照明制御方法
TWI532413B (zh) * 2013-09-11 2016-05-01 晶睿通訊股份有限公司 照明補光系統及方法
JP6104198B2 (ja) 2014-03-11 2017-03-29 三菱電機株式会社 物体認識装置
US9838612B2 (en) * 2015-07-13 2017-12-05 Test Research, Inc. Inspecting device and method for inspecting inspection target
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206050A1 (en) * 2002-07-12 2012-08-16 Yechezkal Evan Spero Detector Controlled Illuminating System
JP2013004490A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 照明システム
KR101297759B1 (ko) * 2013-04-09 2013-08-20 한국씨텍(주) 감시 카메라 시스템의 적외선 ｌｅｄ 제어장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20180083314A (ko) 2018-07-20
EP3367663A1 (en) 2018-08-29
CN108370413A (zh) 2018-08-03
EP3367663A4 (en) 2018-10-10
EP3367663B1 (en) 2020-07-29
CN108370413B (zh) 2020-11-06
US11044403B2 (en) 2021-06-22
US20180359424A1 (en) 2018-12-13
JP2017121041A (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
KR102642925B1 (ko) 촬상 장치 및 촬상 장치의 동작 방법
US8710746B2 (en) Lighting control device and lighting control method
CN103250418B (zh) 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
KR100970750B1 (ko) 외부환경 조건을 이용한 감시카메라의 작동장치 및작동방법
EP1978725A2 (en) Synchronous imaging using segmented illumination
JP7297850B2 (ja) 動画のためのｌｅｄフリッカ軽減
KR101453806B1 (ko) 영상데이터를 이용한 조명장치의 디밍제어시스템
US11328136B2 (en) Optical communication device and method for transmitting and receiving information
KR20100079831A (ko) 디지털 카메라 및 그 제어방법
JP2013096947A (ja) 人センサ及び負荷制御システム
WO2019120053A1 (zh) 包含参考光源的光通信装置及相应的信息传输和接收方法
JP2005174280A5 (ko)
JP7013730B2 (ja) 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
JP5114262B2 (ja) 照明システム
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
JP2010026858A (ja) 認証用画像撮像装置
RU2362275C1 (ru) Телевизионная камера для наблюдения в условиях сложной освещенности и/или сложной яркости объектов
JP2013182811A (ja) 照明制御装置及び照明システム
CN104954662A (zh) 传感器装置及使用传感器装置的控制系统
JP2011049004A (ja) 照明制御システム
TW201914368A (zh) 照明控制系統及照明控制方法
TW201703510A (zh) 攝像裝置
JP2010210265A (ja) 通過検出装置
JP2008199195A (ja) カメラ装置及びその制御方法
JPWO2020179898A1 (ja) 撮影装置、撮影方法、プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant