KR20230074121A - 정보 처리 장치 및 정보 처리 시스템 - Google Patents

정보 처리 장치 및 정보 처리 시스템 Download PDF

Info

Publication number
KR20230074121A
KR20230074121A KR1020237007406A KR20237007406A KR20230074121A KR 20230074121 A KR20230074121 A KR 20230074121A KR 1020237007406 A KR1020237007406 A KR 1020237007406A KR 20237007406 A KR20237007406 A KR 20237007406A KR 20230074121 A KR20230074121 A KR 20230074121A
Authority
KR
South Korea
Prior art keywords
event
droplet
image
information processing
pixel
Prior art date
Application number
KR1020237007406A
Other languages
English (en)
Inventor
히로타카 니이쿠라
요시타카 미야타니
아츠타케 고스게
다이키 나카가와
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230074121A publication Critical patent/KR20230074121A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1005—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to condition of liquid or other fluent material already applied to the surface, e.g. coating thickness, weight or pattern
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/02—Arrangements for controlling delivery; Arrangements for controlling the spray area for controlling time, or sequence, of delivery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/082—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to a condition of the discharged jet or spray, e.g. to jet shape, spray pattern or droplet size
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B5/00—Electrostatic spraying apparatus; Spraying apparatus with means for charging the spray electrically; Apparatus for spraying liquids or other fluent materials by other electric means
    • B05B5/005—Electrostatic spraying apparatus; Spraying apparatus with means for charging the spray electrically; Apparatus for spraying liquids or other fluent materials by other electric means the high voltage supplied to an electrostatic spraying apparatus being adjustable during spraying operation, e.g. for modifying spray width, droplet size
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F22/00—Methods or apparatus for measuring volume of fluids or fluent solid material, not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B05B12/122—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to presence or shape of target

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Fluid Mechanics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Coating Apparatus (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 기술은, 디스펜서에 의한 액적을 적확하게 검출할 수 있도록 하는 정보 처리 장치 및 정보 처리 시스템에 관한 것이다. 정보 처리 장치는, 광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 화소 신호에 기초하여, 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와, 이벤트 신호에 기초하여, 디스펜서로부터 분사된 액적을 검출하는 프로세서를 구비한다. 본 기술은, 예를 들어, 디스펜서를 제어하는 디스펜서 제어 시스템 등에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 시스템
본 기술은, 정보 처리 장치 및 정보 처리 시스템에 관한 것으로서, 특히, 디스펜서에 의한 액적을 적확하게 검출할 수 있도록 한 정보 처리 장치 및 정보 처리 시스템에 관한 것이다.
반도체 제조 공정에 있어서, 디스펜서를 사용하여, 접착제 등의 액체를 기판이나 리드 프레임 등에 도포하는 공정이 있다. 카메라에 의해 디스펜서로부터 토출되는 액적의 체적을 측정하고, 디스펜서에 파라미터를 피드백 제어함으로써, 액적량의 조정을 행하는 적하량 측정 시스템이 제안되어 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2006-195402호 공보
디스펜서로부터 토출되는 액적을 촬영하는 카메라로서, 프레임 레이트가 1000fps 정도의 고속 카메라를 사용한 경우, 1개의 액적에 대하여 3장 정도밖에 촬영할 수 없기 때문에, 액적을 정확하게 인식하는 것이 어렵다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 디스펜서에 의한 액적을 적확하게 검출할 수 있도록 하는 것이다.
본 기술의 제1 측면의 정보 처리 장치는, 광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와, 상기 이벤트 신호에 기초하여, 디스펜서로부터 분사된 액적을 검출하는 프로세서를 구비한다.
본 기술의 제2 측면의 정보 처리 시스템은, 소정의 액체를 분사하는 디스펜서와, 광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와, 상기 이벤트 신호에 기초하여, 상기 디스펜서로부터 분사된 액적을 검출하는 프로세서를 구비한다.
본 기술의 제1 및 제2 측면에 있어서는, 광신호를 광전 변환하여, 화소 신호를 출력하는 화소가 이벤트 센서에 마련되고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화가 이벤트 신호로서 출력되고, 상기 이벤트 신호에 기초하여, 디스펜서로부터 분사된 액적이 검출된다.
정보 처리 장치, 촬상 장치 및 제어 시스템은, 독립된 장치여도 되고, 다른 장치에 내장되는 모듈이어도 된다.
도 1은 본 기술을 적용한 디스펜서 제어 시스템의 제1 실시 형태의 구성예를 도시하는 도면이다.
도 2는 도 1의 디스펜서 제어 시스템에 의한 액적 제어를 설명하는 도면이다.
도 3은 EVS 카메라가 출력하는 이벤트 데이터의 예를 도시하는 도면이다.
도 4는 이벤트 데이터의 프레임 데이터를 생성하는 방법을 설명하는 도면이다.
도 5는 이벤트 데이터에 기초하여 생성한 이벤트 화상의 예를 도시하는 도면이다.
도 6은 조명 장치의 제1 배치예를 도시하는 도면이다.
도 7은 조명 장치의 제2 배치예를 도시하는 도면이다.
도 8은 액적의 이동 방향에 대한 EVS 카메라의 촬영 방향을 도시하는 도면이다.
도 9는 액적의 체적을 계측하는 경우의 촬영 방법을 설명하는 도면이다.
도 10은 제어 장치의 기능적 구성예를 도시하는 블록도이다.
도 11은 제1 프레임 처리부에 의한 이벤트 화상과 표시용 화상의 생성을 설명하는 도면이다.
도 12는 제1 프레임 처리부에 의한 이벤트 화상과 표시용 화상의 생성을 설명하는 도면이다.
도 13은 제1 프레임 처리부에 의한 이벤트 화상과 표시용 화상의 생성을 설명하는 도면이다.
도 14는 제1 프레임 처리부에 의한 제1 프레임화 처리를 설명하는 흐름도이다.
도 15는 제2 프레임 처리부에 의한 재구성 화상의 생성을 설명하는 도면이다.
도 16은 제2 프레임 처리부에 의한 재구성 화상의 생성을 설명하는 도면이다.
도 17은 제2 프레임 처리부에 의한 제2 프레임화 처리를 설명하는 흐름도이다.
도 18은 일정 시간 경과 후의 재구성 화상의 예를 도시하는 도면이다.
도 19는 제2 프레임화 처리에 있어서의 노이즈 제거 처리의 예를 설명하는 도면이다.
도 20은 노이즈 제거 처리부에 의한 노이즈 제거 처리를 설명하는 도면이다.
도 21은 액적 검출부에 의한 액적 검출 처리를 설명하는 도면이다.
도 22는 액적 검출부에 의한 액적 검출 처리를 설명하는 도면이다.
도 23은 액적 검출부에 의한 액적 검출 처리를 설명하는 도면이다.
도 24는 액적의 사이즈의 산출 방법을 설명하는 도면이다.
도 25는 액적 검출부에 의한 액적 검출 처리를 설명하는 흐름도이다.
도 26은 액적 추적부에 의한 탐색 처리를 설명하는 도면이다.
도 27은 액적 추적부에 의한 탐색 처리를 설명하는 도면이다.
도 28은 액적 추적부에 의한 액적 추적 처리를 설명하는 흐름도이다.
도 29는 디스펜서 제어 시스템에 의한 액적 제어 처리를 설명하는 흐름도이다.
도 30은 DNN을 설명하는 도면이다.
도 31은 DNN을 사용한 액적 제어 처리를 설명하는 흐름도이다.
도 32는 DNN을 사용한 액적 제어 처리를 설명하는 흐름도이다.
도 33은 본 기술을 적용한 디스펜서 제어 시스템의 제2 실시 형태의 구성예를 도시하고 있다.
도 34는 제2 실시 형태에 있어서의 EVS 카메라와 RGB 카메라의 다른 배치예를 도시하는 도면이다.
도 35는 본 기술을 적용한 디스펜서 제어 시스템의 제3 실시 형태의 구성예를 도시하고 있다.
도 36은 EVS 카메라의 구성예를 도시하는 블록도이다.
도 37은 촬상 소자의 개략 구성예를 도시하는 사시도이다.
도 38은 수광 칩의 구성예를 도시하는 평면도이다.
도 39는 검출 칩의 구성예를 도시하는 평면도이다.
도 40은 어드레스 이벤트 검출부의 상세를 도시하는 평면도이다.
도 41은 어드레스 이벤트 검출 회로의 구성예를 도시하는 블록도이다.
도 42는 전류 전압 변환 회로의 상세 구성을 도시하는 도면이다.
도 43은 감산기 및 양자화기의 상세 구성을 도시하는 도면이다.
도 44는 수광 칩과 검출 칩의 다른 배치예를 도시하는 도면이다.
도 45는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 첨부 도면을 참조하면서, 본 기술을 실시하기 위한 형태(이하, 실시 형태라고 한다)에 대하여 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다. 설명은 이하의 순서로 행한다.
1. 디스펜서 제어 시스템의 제1 실시 형태
2. 이벤트 데이터의 예
3. 액적의 촬영 방법
4. 제어 장치의 구성예
5. 제1 프레임 처리부의 처리
6. 제2 프레임 처리부의 처리
7. 노이즈 제거 처리부의 처리
8. 액적 검출부의 처리
9. 액적 추적부의 처리
10. 디스펜서 제어 시스템의 액적 제어 처리
11. DNN의 적용
12. 디스펜서 제어 시스템의 제2 실시 형태
13. 디스펜서 제어 시스템의 제3 실시 형태
14. 정리
15. 컴퓨터 구성예
<1. 디스펜서 제어 시스템의 제1 실시 형태>
도 1은, 본 기술을 적용한 디스펜서 제어 시스템의 제1 실시 형태의 구성예를 도시하고 있다.
도 1의 디스펜서 제어 시스템(1)은 디스펜서(11), EVS 카메라(12), 제어 장치(13) 및 디스플레이(14)를 갖고, 디스펜서(11)에 의한 액적의 분사를 제어하는 시스템이다.
디스펜서(11)는 컨베이어(22) 상에 적재되어서 반송되는 기판(21)을 타깃으로 하여 소정의 액체를 분사한다. 디스펜서(11)로부터 분사된 액체는, 액적(10)이 되어서 기판(21)을 향하여 낙하한다.
EVS 카메라(12)는 광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 화소 신호에 기초하여, 광신호의 시간적 휘도 변화를 이벤트 신호(이벤트 데이터)로서 출력하는 이벤트 센서를 구비하는 카메라이다. 이러한 이벤트 센서는, EVS(event-based vision sensor)라고도 불린다. 일반적인 이미지 센서를 구비하는 카메라는, 수직 동기 신호에 동기하여 촬영을 행하고, 그 수직 동기 신호의 주기로 1 프레임(화면)의 화상 데이터인 프레임 데이터를 출력하는데, EVS 카메라(12)는 이벤트가 발생한 타이밍에 있어서만 이벤트 데이터를 출력하기 때문에, 비동기형(또는 어드레스 제어형)의 카메라라고 할 수 있다.
EVS 카메라(12)는 디스펜서(11)로부터 분사된 액적(10)에 기초하는 시간적 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 제어 장치(13)로 출력한다.
제어 장치(13)는 EVS 카메라(12)로부터 출력되어 온 이벤트 데이터에 기초하여, 디스펜서(11)에 의한 액적(10)을 검출하고, 액적(10)의 분사를 제어하는 제어 정보를 생성하고, 디스펜서(11)로 출력한다. 또한, 제어 장치(13)는 EVS 카메라(12)로부터 출력된 이벤트 데이터에 기초하여, 작업자가 모니터링하기 위한 표시용 화상을 생성하여, 디스플레이(14)에 표시시킨다.
도 2는, 디스펜서 제어 시스템(1)에 의한 액적 제어를 설명하는 도면이다.
디스펜서(11)가 액적(10)을 분사하는 타이밍이나 액적(10)의 속도 등이 적절하지 않은 경우, 도 2의 좌측과 같이, 컨베이어(22) 상에 흘러가는 기판(21)에 액적(10)이 적확하게 도포되지 않는다. 제어 장치(13)는 EVS 카메라(12)로부터 출력되어 온 이벤트 데이터에 기초하여, 액적(10)의 위치, 속도, 이동 방향 등의 적어도 하나를 포함하는 액적(10)의 궤적 정보를 산출한다. 그리고, 제어 장치(13)는 산출한 액적(10)의 궤적 정보에 기초하여, 액적(10)의 분출 타이밍이나 분출의 강도, 분사 방향, 등을 제어하는 파라미터를, 피드백 제어 정보로서 디스펜서(11)에 피드백한다. 또한, 제어 장치(13)는 이벤트 데이터에 기초하여 액적(10)의 사이즈나 체적 등도 산출하고, 액적(10)의 양이나 점도도 제어할 수 있다. 이에 의해, 도 2의 우측에 도시하는 바와 같이, 적절한 타이밍이나 양의 액적(10)을 기판(21)에 도포할 수 있다. 피드백 제어 정보로서 어떤 파라미터를 디스펜서(11)에 공급할지는 적절히 결정할 수 있다. 또한, 도전성 물체가 비산하면 쇼트로 이어져서, 불량품이 되기 때문에, 새틀라이트라고 불리는 액적(10) 본체 이외의 액적 등도 검출할 수 있다.
<2. 이벤트 데이터의 예>
도 3은, EVS 카메라(12)가 출력하는 이벤트 데이터의 예를 도시하고 있다.
EVS 카메라(12)는 예를 들어, 도 3에 도시된 바와 같이, 이벤트가 발생한 시각 ti, 이벤트가 발생한 화소의 위치를 나타내는 좌표(xi, yi) 및 이벤트로서의 휘도 변화의 극성 pi를 포함하는 이벤트 데이터를 출력한다.
이벤트의 시각 ti는, 이벤트가 발생했을 때의 시각을 나타내는 타임 스탬프이며, 예를 들어, 센서 내의 소정의 클럭 신호에 기초하는 카운터의 카운트값으로 표현된다. 이벤트가 발생한 타이밍에 대응하는 타임 스탬프는, 이벤트끼리의 간격이 이벤트의 발생 시 그대로 유지되고 있는 한, 이벤트가 발생한(상대적인) 시각을 나타내는 시각 정보라고 할 수 있다.
극성 pi는, 소정의 역치를 초과하는 휘도 변화(광량 변화)가 이벤트로서 발생한 경우의 휘도 변화의 방향을 나타내고, 휘도 변화가 플러스 방향의 변화(이하, 포지티브라고도 한다.)인지, 또는, 마이너스 방향의 변화(이하, 네거티브라고도 한다.)인지를 나타낸다. 이벤트의 극성 pi는, 예를 들어, 포지티브일 때 "1로 표현되고, 네거티브일 때 "0"으로 표현된다.
도 3의 이벤트 데이터에 있어서, 어떤 이벤트의 시각 ti와, 그 이벤트에 인접하는 이벤트의 시각 ti+1의 간격은, 일정하다고는 할 수 없다. 즉, 이벤트의 시각 ti와 ti+1은, 동일한 시각인 경우도 있고, 다른 시각인 경우도 있다. 단, 이벤트의 시각 ti 및 ti+1에 대해서는, 식 ti<=ti+1로 표현되는 관계가 있는 것으로 한다.
이벤트 데이터는, 수직 동기 신호에 동기하여, 프레임 주기로 출력되는 프레임 형식의 화상 데이터(프레임 데이터)와 달리, 이벤트의 발생마다 출력된다. 그 때문에, 이벤트 데이터에 대해서는, 그 상태에서는 프레임 데이터에 대응하는 화상을 표시하는 프로젝터 등의 디스플레이에서 화상을 표시하는 것이나, 식별기(분류기)에 입력하여 화상 처리에 사용할 수 없다. 이벤트 데이터는, 프레임 데이터로 변환할 필요가 있다.
도 4는, 이벤트 데이터로부터 프레임 데이터를 생성하는 방법의 예를 설명하는 도면이다.
도 4에서는, x축, y축 및 시간축 t로 구성되는 3차원 (시)공간에 있어서, 이벤트 데이터로서의 점이, 그 이벤트 데이터에 포함되는 이벤트의 시각 t 및 이벤트의 화소로서의 좌표(x, y)에 플롯되어 있다.
즉, 이벤트 데이터에 포함되는 이벤트의 시각 t 및 이벤트의 화소(x, y)로 표현되는 3차원 공간 상의 위치(x, y,t)를 이벤트의 시공간 위치라고 하는 것으로 하면, 도 4에서는, 이벤트 데이터가, 이벤트의 시공간 위치(x, y,t)에 점으로서 플롯되어 있다.
EVS 카메라(12)로부터 출력되는 이벤트 데이터를 화소값으로 하여, 소정의 프레임 간격마다, 소정의 프레임 간격의 선두로부터 소정의 프레임 폭 내의 이벤트 데이터를 사용하여, 이벤트 화상을 생성할 수 있다.
프레임 폭 및 프레임 간격은, 시간에 의한 지정으로 할 수도 있고, 이벤트 데이터의 수에 의한 지정으로 할 수도 있다. 프레임 폭 및 프레임 간격의 한쪽이, 시간에 의한 지정이며, 다른 쪽이, 이벤트 데이터의 수에 의한 지정이어도 된다.
여기서, 프레임 폭 및 프레임 간격이, 시간에 의한 지정이며, 프레임 폭과 프레임 간격이 동일한 경우, 프레임 볼륨은, 간극 없이 접한 상태로 된다. 또한, 프레임 간격이 프레임 폭보다 클 경우, 프레임 볼륨은, 간극을 두고 배열된 상태로 된다. 프레임 폭이 프레임 간격보다 클 경우, 프레임 볼륨은, 일부가 중복되는 형으로 배열된 상태로 된다.
이벤트 화상의 생성은, 예를 들어, 이벤트의 위치(x, y)의 프레임의 화소(의 화소값)를 백색으로, 프레임의 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써 행할 수 있다.
기타, 프레임 데이터의 생성은, 이벤트 데이터에 대해서, 이벤트로서의 광량 변화의 극성을 구별하는 경우에는, 예를 들어, 극성이 포지티브일 경우에는 화소를 백색으로 세트하고, 극성이 네거티브인 경우에는 화소를 흑색으로 세트하고, 프레임의 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써 행할 수 있다.
도 5는, 이벤트 데이터에 기초하여 생성한 이벤트 화상의 예를 도시하고 있다.
도 5의 화상(31)은 EVS 카메라(12)의 검출 대상을, RGB 화상을 출력하는 이미지 센서로 촬영한 화상이다. 화상(31)에는, 배경인 책장의 앞에서 인물이 걷는 씬이 촬영되어 있다. 이 촬영 씬을 EVS 카메라(12)로 검출하고, 출력된 이벤트 데이터에 기초하여 프레임 데이터를 생성하면, 이벤트 화상(32)과 같이 된다. 이벤트 화상(32)은 극성이 포지티브인 화소에 백색이 세트되고, 극성이 네거티브인 화소에 흑색이 세트되고, 프레임의 다른 위치의 화소에는 그레이가 세트되어서 생성되어 있다.
<3. 액적의 촬영 방법>
도 6 및 도 7은, EVS 카메라(12)와 조명 장치의 배치 관계의 예를 도시하고 있다.
조명 장치(61)는 액적(10)의 배경이 균일해지고, 또한, 액적(10)과의 콘트라스트가 발생하는 위치로 설정되고, 액적(10)에 광을 조사한다.
도 6은, 조명 장치(61)의 제1 배치예를 도시하는 도면이다.
제1 배치예에서는, 도 6의 A에 도시하는 바와 같이, EVS 카메라(12)와 조명 장치(61)가 액적(10)을 사이에 두도록 대향하여 배치된다. 바꾸어 말하면, 조명 장치(61)는 액적(10)의 뒤로부터 조명하고, EVS 카메라(12)는 배면으로부터 조명된 액적(10)의 휘도 변화를 검출한다. 조명 장치(61) 앞에는, 확산판(62)이 배치되어 있다. 이 배치에서 액적(10)이 촬영된 경우, 도 6의 B에 도시하는 바와 같이, 액적(10)은, 흑색의 실루엣으로서 인식된다.
도 7은, 조명 장치(61)의 제2 배치예를 도시하는 도면이다.
제2 배치예에서는, 도 7의 A에 도시하는 바와 같이, 액적(10)에 대하여 EVS 카메라(12)와 조명 장치(61)가 동일한 방향으로 배치된다. 액적(10)의 배경측에는, 흑색의 반사 방지판(63) 등이 배치되어, 광의 반사가 방지된다. 이 배치에서 액적(10)이 촬영된 경우, 도 7의 B에 도시하는 바와 같이, 액적(10)은, 백색의 실루엣으로서 인식된다.
본 실시 형태에서는, 조명 장치(61)의 배치로서, 도 7에 도시한 제2 배치예를 채용하는 것으로 하고, EVS 카메라(12)가 조명 장치(61)와 동일한 방향으로부터 액적(10)을 촬영한다.
도 8은, 액적(10)의 이동 방향에 대한 EVS 카메라(12)의 촬영 방향을 도시하는 도면이다.
EVS 카메라(12)는 휘도 변화를 검출하는 화소가 행렬상으로 2차원 배치된 수광부(51)를 갖는다. 수광부(51)의 도 8에 있어서의 세로 방향을 x축 방향, 도 8에 있어서의 가로 방향을 y축 방향으로 하면, EVS 카메라(12)는 이벤트가 발생했을 때, 수광부(51)의 x축 방향의 열 단위로, 신호를 읽어내는 읽어내기 동작을 행한다. 이 경우, 도 8에 도시하는 바와 같이, 화소 신호의 읽어내기 방향과, 액적(10)의 이동 방향이 일치하도록, EVS 카메라(12)의 방향이 배치된다. 이에 의해, 예를 들어, EVS 카메라(12)의 수광부(51) 내를 복수의 액적(10)이 통과하는 경우, 화소 신호의 읽어내기 방향을 따라서 복수의 액적(10)이 배치되므로, 1열의 화소 신호의 읽어내기에서, 복수의 액적(10)의 신호를 동시에 취득할 수 있다.
또한, EVS 카메라(12)는 수광부(51)의 전체 영역에 대하여 소정의 주목 영역(52)을 설정하고, 설정된 주목 영역(52)의 신호만을 읽어내게 할 수 있다. 화소의 읽어내기 방향과 액적(10)의 이동 방향이 일치하도록 배치한 것에 의해, 신호의 읽어내기를 행하는 열수(y축 방향의 화소수)를 적게 하여, 읽어내기 속도(검출 속도)를 향상시킬 수 있다.
도 9는, 액적(10)의 체적을 계측하는 경우의 촬영 방법을 설명하는 도면이다.
액적(10)의 체적을 계측하는 경우, 액적(10)의 낙하 방향에 대하여 수직한 평면에 있어서의 액적(10)의 면적을 계측할 필요가 있다. 그 때문에, EVS 카메라(12)는 도 9의 A 또는 B의 어느 방법으로, 직교하는 2 방향으로부터 액적(10)을 검출한다. 도 9에 있어서, 지면에 수직인 방향이 액적(10)의 낙하 방향을 나타낸다.
도 9의 A는, 체적을 계측하는 경우의 액적(10)의 제1 촬영 방법의 예이다.
제1 촬영 방법은, EVS 카메라(12)의 전방에 프리즘(41)을 배치하고, 하나의 EVS 카메라(12)가 액적(10)을 직시하는 제1 방향과, 프리즘(41)을 통하여 제1 방향에 직교하는 제2 방향의 2 방향의 액적(10)을 한번에 검출하는 방법이다.
도 9의 B는, 체적을 계측하는 경우의 액적(10)의 제2 촬영 방법의 예이다.
제2 촬영 방법은, 2대의 EVS 카메라(12A 및 12B)를 직교하는 방향으로 배치하고, 2대의 EVS 카메라(12A 및 12B) 각각이 1 방향으로부터 촬영함으로써, 직교하는 2 방향의 액적(10)을 검출하는 방법이다. EVS 카메라(12A 및 12B)의 타임 스탬프는 동기하여 촬영된다.
후술하는 액적 제어 처리에서는, 액적(10)의 가로 폭을 산출하는 것으로 하고 체적의 산출은 생략하지만, 액적(10)의 체적을 산출하는 경우에는, 상술한 제1 또는 제2 촬영 방법으로 촬영한 결과로부터 산출되는 액적(10)의 면적과, 액적(10)의 이동 방향의 길이로부터, 액적(10)의 체적이 산출된다.
<4. 제어 장치의 구성예>
도 10은, 제어 장치(13)의 기능적 구성예를 도시하는 블록도이다.
제어 장치(13)는 전처리부(101), 화상 출력부(102), 액적 검출부(103), 액적 추적부(104) 및 파라미터 판정부(105)를 구비한다.
전처리부(101)는 액적(10)을 검출하기 위한 전처리로서, EVS 카메라(12)로부터 출력되어 오는 이벤트 데이터에 기초하여, 이벤트 화상, 재구성 화상 및 표시용 화상의 3종류의 화상을 생성한다.
전처리부(101)는 프레임화 처리부(111)와 노이즈 제거 처리부(112)를 구비하고, 프레임화 처리부(111)는 제1 프레임 처리부(121)와 제2 프레임 처리부(122)를 구비한다.
제1 프레임 처리부(121)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 이벤트 화상을 생성한다. 제1 프레임 처리부(121)는 이벤트 화상으로서, 포지티브 이벤트에 기초하는 포지티브 이벤트 화상과, 네거티브 이벤트에 기초하는 네거티브 이벤트 화상을 생성한다. 또한, 제1 프레임 처리부(121)는 포지티브 이벤트 화상과 네거티브 이벤트 화상에 기초하여, 표시용 화상도 생성한다.
제2 프레임 처리부(122)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 휘도값을 추정하여 구성한 재구성 화상을 생성한다.
프레임화 처리부(111)는 생성한 이벤트 화상과 재구성 화상을 노이즈 제거 처리부(112)에 공급함과 함께, 표시용 화상을 화상 출력부(102)에 공급한다. 도 13 및 도 18에서 후술하는 바와 같이, 이벤트 화상과 재구성 화상은, 백색과 흑색의 2치 화상으로 구성되고, 표시용 화상은, 백색, 흑색 및 그레이의 3치 화상으로 구성된다.
노이즈 제거 처리부(112)는 2치 화상인 이벤트 화상과 재구성 화상 각각에 대하여 노이즈를 제거하는 노이즈 제거 처리를 행한다. 구체적인 처리에 대해서는 도 20을 참조하여 후술하겠지만, 노이즈 제거 처리부(112)는 노이즈 제거 처리로서, 백색 화소에 대한 팽창 처리와 수축 처리를 사용한 필터 처리를 행한다. 노이즈 제거 처리 후의 이벤트 화상과 재구성 화상은, 액적 검출부(103) 및 액적 추적부(104)에 공급된다.
화상 출력부(102)는 프레임화 처리부(111)로부터 공급되는 표시용 화상을 디스플레이(14)에 공급한다.
액적 검출부(103)는 전처리부(101)로부터 공급되는 이벤트 화상과 재구성 화상 각각으로부터 액적(10)을 검출한다. 액적 검출부(103)는 이벤트 화상으로부터 검출된 액적(10)에 관한 정보를 추적 대상의 정보로서, 액적 추적부(104)에 공급한다. 또한, 액적 검출부(103)는 재구성 화상으로부터 검출된 액적(10)으로부터, 액적(10)의 사이즈를 산출하고, 파라미터 판정부(105)에 공급한다.
액적 추적부(104)는 액적 검출부(103)에 있어서 이벤트 화상으로부터 검출된 액적(10)을 추적하고, 액적(10)의 위치, 속도, 이동 방향 등의 적어도 하나를 포함하는 액적(10)의 궤적 정보를 산출하고, 파라미터 판정부(105)에 공급한다.
파라미터 판정부(105)는 액적 추적부(104)로부터 공급되는 액적(10)의 궤적 정보에 기초하여, 토출 타이밍이나 분사 방향 등을 제어하는 디스펜서(11)의 파라미터가 정상적인 범위 내인지의 여부를 판정한다. 또한, 파라미터 판정부(105)는 액적 검출부(103)로부터 공급되는 액적(10)의 사이즈(폭)나 체적에 기초하여, 1회당의 토출량이 정상적인 범위 내인지의 여부를 판정한다. 파라미터 판정부(105)는 파라미터가 정상적인 범위 내가 아니라고 판정된 경우, 파라미터를 수정하기 위한 제어 정보를, 피드백 제어 정보로서 생성하여, 디스펜서(11)로 출력한다.
이하, 제어 장치(13)의 각 부가 실행하는 처리에 대해서, 보다 상세하게 설명한다.
<5. 제1 프레임 처리부의 처리>
처음에, 도 11 내지 도 14를 참조하여, 제1 프레임 처리부(121)에 의한 이벤트 화상과 표시용 화상의 생성에 대하여 설명한다.
제1 프레임 처리부(121)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여, 포지티브 이벤트에 기초하는 포지티브 이벤트 화상과, 네거티브 이벤트에 기초하는 네거티브 이벤트 화상을 생성한다.
도 11은, 제1 프레임 처리부(121)가 이벤트 화상을 생성하는 경우의 각 이벤트 화상의 생성 단위를 도시하는 도면이다.
제1 프레임 처리부(121)는 시각 T0에 있어서 이벤트의 검출(액적(10)의 촬영)을 개시하고, 시각 Ti(i는 양의 정수)에 i 프레임째의 프레임화, 즉 이벤트 화상의 생성을 행한다. 시각 Ti-1부터 시각 Ti까지의 시간 Δt는, 도 4에서 설명한 프레임 간격에 상당하고, 1초간에 프레임화하는 이벤트 화상의 매수인 프레임 레이트FPS의 역수에 상당한다. 시간 Δt는, 프레임 레이트에 대응한 1 프레임의 기간이며, 1 프레임 기간 Δt라고도 칭한다.
제1 프레임 처리부(121)는 i 프레임째의 프레임화를 행하는 시각 Ti에 있어서, EVS 카메라(12)로부터의 이벤트 데이터를 소정의 적분 시간 h 단위로 통합한 화상을, i 프레임째의 이벤트 화상으로서 생성한다. 보다 구체적으로는, 제1 프레임 처리부(121)는 시각 t가 시각 (Ti-h)부터 시각 Ti까지의 이벤트 데이터에 기초하여, i 프레임째의 이벤트 화상을 생성한다.
여기서, 소정의 적분 시간 h는, 1 프레임 기간 Δt보다도 짧은 시간이다. 소정의 적분 시간 h를 변경하면, 도 12에 도시하는 바와 같이, 이벤트 화상에 있어서의 액적(10)의 형상이 변화한다. 적분 시간 h를 1 프레임 기간 Δt에 고정하지 않고(h=Δt로 고정하지 않고), 적분 시간 h를 1 프레임 기간 Δt와는 별도로 설정함으로써, 프레임화의 빈도(프레임 레이트)와, 이벤트 화상에 있어서의 액적(10)의 형상을 따로따로 설정할 수 있다.
제1 프레임 처리부(121)는 시각 (Ti-h)부터 시각 Ti까지의 소정의 적분 시간 h에 있어서, 포지티브 이벤트가 검출된 화소(x, y)의 화소값을 1(백색), 기타의 화소의 화소값을 0(흑색)으로 하는 2치 화상을 생성하여, i 프레임째의 포지티브 이벤트 화상으로 한다.
또한, 제1 프레임 처리부(121)는 시각 (Ti-h)부터 시각 Ti까지의 소정의 적분 시간 h에 있어서, 네거티브 이벤트가 검출된 화소(x, y)의 화소값을 1(백색), 기타의 화소의 화소값을 0(흑색)으로 하는 2치 화상을 생성하여, i 프레임째의 네거티브 이벤트 화상으로 한다.
또한, 제1 프레임 처리부(121)는 i 프레임째의 포지티브 이벤트 화상에 있어서 1(백색)의 화소의 화소값을 255(백색), i 프레임째의 네거티브 이벤트 화상에 있어서 1(백색)의 화소의 화소값을 0(흑색), 기타의 화소의 화소값을 128(그레이)로 하는 3치 화상을 생성하여, i 프레임째의 표시용 화상으로 한다.
도 13은, 제1 프레임 처리부(121)에 의해 생성되는, 포지티브 이벤트 화상, 네거티브 이벤트 화상 및 표시용 화상의 예를 도시하고 있다.
도 14의 흐름도를 참조하여, 제1 프레임 처리부(121)에 의해 실행되는 제1 프레임화 처리에 대하여 설명한다. 이 처리는, 예를 들어, EVS 카메라(12)의 촬영 개시와 동시에 개시된다.
제1 프레임 처리부(121)는 이벤트가 검출된 타이밍에서 EVS 카메라(12)로부터 공급되는 이벤트 데이터를 취득하면서, 도 14의 제1 프레임화 처리를 실행한다. 시각 정보(시각 t)는 EVS 카메라(12)와 제어 장치(13)에서 동기하고 있다.
처음에, 스텝 S11에 있어서, 제1 프레임 처리부(121)는 프레임 번호를 식별하는 변수 i에 1을 설정한다.
스텝 S12에 있어서, 제1 프레임 처리부(121)는 시각 t가 시각 (Ti-h)보다 크고, 시각 Ti 이하인지를 판정하고, 시각 t가 시각 (Ti-h)보다 크고, 시각 Ti 이하라고 판정될 때까지, 스텝 S12의 판정 처리를 반복한다.
그리고, 스텝 S12에 있어서, 시각 t가 시각 (Ti-h)보다 크고, 시각 Ti 이하라고 판정된 경우, 처리는 스텝 S13으로 진행하여, EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 포지티브인지를 판정한다.
스텝 S13에서, EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 포지티브라고 판정된 경우, 처리는 스텝 S14로 진행하여, 제1 프레임 처리부(121)는 EVS 카메라(12)로부터 공급된 이벤트 데이터의 이벤트 발생 개소에 대응하는 포지티브 이벤트 화상의 화소의 화소값을 "1"로 설정한다.
한편, 스텝 S13에서, EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 네거티브라고 판정된 경우, 처리는 스텝 S15로 진행하여, 제1 프레임 처리부(121)는 EVS 카메라(12)로부터 공급된 이벤트 데이터의 이벤트 발생 개소에 대응하는 네거티브 이벤트 화상의 화소의 화소값을 "1"로 설정한다.
스텝 S14 또는 S15 후, 처리는 스텝 S16으로 진행하여, 제1 프레임 처리부(121)는 시각 t가 시각 Ti를 초과했는지를 판정한다. 스텝 S16에서, 시각 t가 아직 시각 Ti를 초과하고 있지 않다고 판정된 경우, 처리는 스텝 S13으로 되돌아가서, 상술한 스텝 S13 내지 S16의 처리가 반복된다.
한편, 스텝 S16에서, 시각 t가 시각 Ti를 초과했다고 판정된 경우, 처리는 스텝 S17로 진행하여, 제1 프레임 처리부(121)는 i 프레임째의 포지티브 이벤트 화상, 네거티브 이벤트 화상 및 표시용 화상을 생성한다. 보다 구체적으로는, 제1 프레임 처리부(121)는 포지티브 이벤트 화상으로서, 상술한 스텝 S14에 있어서 화소값을 "1"로 설정한 화소를 백색, 기타의 화소를 흑색으로 하는 2치 화상을 생성한다. 또한, 제1 프레임 처리부(121)는 네거티브 이벤트 화상으로서, 상술한 스텝 S15에 있어서 화소값을 "1"로 설정한 화소를 백색, 기타의 화소를 흑색으로 하는 2치 화상을 생성한다. 또한, 제1 프레임 처리부(121)는 표시용 화상으로서, 포지티브 이벤트 화상에 있어서 화소값을 "1"로 설정한 화소의 화소값을 255(백색), 네거티브 이벤트 화상에 있어서 화소값을 "1"로 설정한 화소의 화소값을 0(흑색), 기타의 화소의 화소값을 128(그레이)로 하는 3치 화상을 생성한다.
이어서, 스텝 S18에 있어서, 제1 프레임 처리부(121)는 프레임 번호를 식별하는 변수 i를 1만큼 인크리먼트시킨 후, 처리를 스텝 S12로 되돌린다. 그 후, 상술한 스텝 S12 내지 S18의 처리가 반복하여 실행되고, 디스펜서 제어 시스템(1) 전체 또는 제어 장치(13)의 동작 종료가 지시되었을 때, 도 14의 제1 프레임화 처리가 종료한다.
이상과 같이, 제1 프레임화 처리에 의하면, 이벤트의 발생 개소에 따라서 소정의 화소값을 설정함으로써, 포지티브 이벤트 화상 및 네거티브 이벤트 화상이 생성된다.
<6. 제2 프레임 처리부의 처리>
이어서, 도 15 내지 도 18을 참조하여, 제2 프레임 처리부(122)에 의한 재구성 화상의 생성에 대하여 설명한다.
제2 프레임 처리부(122)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 휘도값을 추정하여 구성한 재구성 화상을 생성한다.
포지티브 이벤트 화상과 네거티브 이벤트 화상은, 도 13에 도시한 바와 같이, 배경과의 휘도 변화에 의해, 액적(10)의 이동 방향의 선단과 후단에 대응하는 부분이 추출되기 때문에, 액적(10) 전체의 형상이나 사이즈는 모른다. 그래서, 제2 프레임 처리부(122)는 공급되는 이벤트 데이터로부터 휘도값을 간이적으로 복원함으로써 재구성 화상을 생성하여, 액적(10) 전체의 실루엣을 인식할 수 있도록 한다.
예를 들어, 도 15의 좌측 그래프에 도시하는 바와 같이, 소정의 화소(x, y)에 있어서, 시각 t1부터 시각 t2에서 포지티브 이벤트("1")가 발생하고, 시각 t2부터 시각 t3에서 포지티브 이벤트("1")가 발생하고, 시각 t4부터 시각 t5에서 네거티브 이벤트("0")가 발생하고, 시각 t5부터 시각 t6에서 네거티브 이벤트("0")가 발생한 것으로 한다.
포지티브 이벤트의 휘도 역치가 d1, 네거티브 이벤트의 휘도 역치가 d2일 경우, 제2 프레임 처리부(122)는 도 15의 우측 그래프에 도시하는 바와 같이, 화소(x, y)의 휘도값으로서, 시각 t1부터 시각 t2의 포지티브 이벤트에 따라서 d1을 가산하고, 시각 t2부터 시각 t3의 포지티브 이벤트에 따라서 d1을 가산하고, 시각 t4부터 시각 t5의 네거티브 이벤트에 따라서 d2를 감산하고, 시각 t5부터 시각 t6의 네거티브 이벤트에 따라서 d2를 감산한 값을, 화소(x, y)의 휘도값으로 추정한다. 이와 같이, 과거에 발생한 이벤트에 따른 휘도를 누적함으로써, 휘도값을 간이적으로 복원하여, 재구성 화상을 생성할 수 있다. 또한, 역치 d1과 역치 d2는, 동일값이어도 되고, 다르게 되어 있어도 된다.
본 실시 형태에서는, 도 7에 도시한 조명 배치에 의해 액적(10)을 촬영하고 있으므로, 배경이 가장 어두운 상태가 된다. 배경의 휘도값을 0으로 하면, 휘도값이 0보다도 작은 음의 값이 될 일은 없기 때문에, 제2 프레임 처리부(122)는 상술한 휘도값의 누적에 의해, 휘도값이 음의 값이 된 경우에는, 0으로 리셋하는 처리를 행한다.
도 16은, 제2 프레임 처리부(122)가 재구성 화상을 생성하는 경우의 구체적 처리를 설명하는 도면이다.
제2 프레임 처리부(122)는 시각 Ti마다, 즉, 프레임 레이트에 대응하는 프레임 레이트 기간 단위로 재구성 화상을 생성한다. 예를 들어, i 프레임째의 재구성 화상을 생성하는 경우, 제2 프레임 처리부(122)는 이벤트 검출을 개시한 시각 T0부터, i 프레임째의 프레임화를 행하는 시각 Ti까지의 과거의 모든 이벤트를 누적함으로써, 휘도값을 추정한 재구성 화상을 생성한다.
보다 구체적으로는, 예를 들어, 도 16의 상단에 도시하는 바와 같이, 1 프레임째의 재구성 화상 FR1은, 시각 T0부터 시각 T1까지의 이벤트를 누적함으로써 생성된다. 2 프레임째의 재구성 화상 FR2는, 시각 T0부터 시각 T2까지의 이벤트를 누적함으로써 생성된다. 3 프레임째의 재구성 화상 FR3은, 시각 T0부터 시각 T3까지의 이벤트를 누적함으로써 생성된다.
단, 실제의 계산에서는, 도 16의 하단에 도시하는 바와 같이, i 프레임째의 재구성 화상 FRi를 생성하는 경우, 그 전의 프레임의 재구성 화상 FRi-1의 휘도값에, 다음 프레임 레이트 기간(시각 Ti-1부터 시각 Ti까지)의 이벤트를 누적함으로써 생성된다.
도 17의 흐름도를 참조하여, 제2 프레임 처리부(122)에 의해 실행되는 제2 프레임화 처리에 대하여 설명한다. 이 처리는, 예를 들어, EVS 카메라(12)의 촬영 개시와 동시에 개시된다.
제2 프레임 처리부(122)는 이벤트가 검출된 타이밍에서 EVS 카메라(12)로부터 공급되는 이벤트 데이터를 취득하면서, 도 17의 제2 프레임화 처리를 실행한다. 시각 정보(시각 t)는 EVS 카메라(12)와 제어 장치(13)에서 동기하고 있다.
처음에, 스텝 S41에 있어서, 제2 프레임 처리부(122)는 프레임 번호를 식별하는 변수 i에 1을 설정한다.
스텝 S42에 있어서, 제2 프레임 처리부(122)는 변수 i가 2 이상인지, 즉, 현재의 프레임이 2 프레임째 이후인지를 판정한다.
스텝 S42에서, 현재의 프레임이 2 프레임째 이후가 아니라고, 즉, 현재의 프레임이 1 프레임째라고 판정된 경우, 처리는 스텝 S43으로 진행하여, 제2 프레임 처리부(122)는 전체 화소의 화소값을 0으로 설정한 1 프레임째의 재구성 화상을 설정한다.
한편, 스텝 S42에서, 현재의 프레임이 2 프레임째 이후라고 판정된 경우, 처리는 스텝 S44로 진행하여, 제2 프레임 처리부(122)는 전 프레임의 재구성 화상을 초기값으로 설정한 i 프레임째의 재구성 화상을 설정한다.
스텝 S45에 있어서, 제2 프레임 처리부(122)는 EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 포지티브인지를 판정한다.
스텝 S45에서, EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 포지티브라고 판정된 경우, 처리는 스텝 S46으로 진행하여, 제2 프레임 처리부(122)는 EVS 카메라(12)로부터 공급된 이벤트 데이터의 이벤트 발생 개소에 대응하는 재구성 화상의 화소의 화소값을 d1만큼 가산한다.
한편, 스텝 S45에서, EVS 카메라(12)로부터 공급된 이벤트 데이터의 극성 p가 네거티브라고 판정된 경우, 처리는 스텝 S47로 진행하여, 제2 프레임 처리부(122)는 EVS 카메라(12)로부터 공급된 이벤트 데이터의 이벤트 발생 개소에 대응하는 재구성 화상의 화소의 화소값을 d2만큼 감산한다.
스텝 S46 또는 S47 후, 처리는 스텝 S48로 진행하여, 제2 프레임 처리부(122)는 화소값이 부로 되어 있는 화소가 있는지를 판정하고, 부로 되어 있는 화소가 없다고 판정된 경우, 다음 스텝 S49의 처리를 스킵한다.
한편, 스텝 S48에서, 화소값이 부로 되어 있는 화소가 있다고 판정된 경우, 처리는 스텝 S49로 진행하여, 제2 프레임 처리부(122)는 부로 되어 있는 화소값을 0으로 리셋한다.
계속해서, 스텝 S50에 있어서, 1 프레임의 기간에 상당하는 Δt 시간이 경과했는지를 판정하여, 아직 Δt 시간이 경과하지 않았다고 판정된 경우, 처리는 스텝 S45로 되돌아가서, 상술한 스텝 S45 내지 S50의 처리가 반복된다.
한편, 스텝 S50에서, Δt 시간이 경과했다고 판정된 경우, 처리는 스텝 S51로 진행하여, 제2 프레임 처리부(122)는 i 프레임째의 재구성 화상을 출력한다.
이어서, 스텝 S52에 있어서, 제2 프레임 처리부(122)는 프레임 번호를 식별하는 변수 i를 1만큼 인크리먼트시킨 후, 처리를 스텝 S42로 되돌린다. 그 후, 상술한 스텝 S42 내지 S52의 처리가 반복하여 실행되어, 디스펜서 제어 시스템(1) 전체 또는 제어 장치(13)의 동작 종료가 지시되었을 때, 도 17의 제2 프레임화 처리가 종료한다.
이상과 같이, 제2 프레임화 처리에 의하면, 휘도의 역치 d1 및 d2에 대응하여 화소값을 누적함으로써, 휘도값을 추정한 재구성 화상이 생성된다.
또한, 상술한 바와 같이, 재구성 화상의 생성에서는, 촬영을 개시한 시각 T0부터, i 프레임째의 프레임화를 행하는 시각 Ti까지의 과거의 모든 이벤트를 누적하기 때문에, 촬영 개시 시에 존재하지 않고, 도중부터 찍은 물체는, 재구성 화상에 있어서 계속하여 남는다. 노이즈도 축적되어서 계속하여 남는다.
도 18은, 촬영을 개시한 시각 T0에 가까운 초기의 재구성 화상과, 일정 시간이 경과한 후의 재구성 화상의 예를 도시하고 있다.
일정 시간 경과 후의 재구성 화상에는, 액적(10)이나 노이즈가 일정한 개소에 머물러서 계속하여 남은 부분이 발생하고 있다.
검출 대상인 액적(10)은 동체이기 때문에, 일정 기간 정지하고 있는 물체는 제거하는 것이 바람직하다.
그래서, 제2 프레임 처리부(122), 제2 프레임화 처리의 일부로서, 다음과 같은 노이즈 제거 처리를 행할 수 있다.
예를 들어, 제2 프레임 처리부(122)가 도 19에 도시하는 바와 같이, 시각 Tn에 n 프레임째의 재구성 화상을 생성하는 경우, 시각 Tn을 기준으로 과거의 소정 기간 TNR에 있어서 이벤트가 발생하지 않은 화소의 화소값은 0으로 하는 노이즈 제거 처리를 행함으로써, 소정 기간 TNR 이상 정지하고 있는 물체를 제거할 수 있다. 여기서, 소정 기간 TNR은, 물체의 통과 시간보다 크고, 액적(10)의 토출 간격보다도 짧은 기간(물체의 통과 시간<TNR<액적(10)의 토출 간격)으로 설정된다. 물체의 통과 시간이란, 물체가 액적(10)의 이동 방향의 거리를 통과하는 시간이다.
과거의 소정 기간 TNR에 있어서 이벤트가 발생하지 않은 화소의 화소값을 0으로 하는 노이즈 제거 처리는, 어떤 알고리즘으로 실행해도 된다. 예를 들어, 각 화소에서 마지막으로 발생한 이벤트의 시각 정보를 유지해 두고, 마지막으로 발생한 이벤트의 시각이, 프레임화를 행하는 시각 Tn으로부터 소정 기간 TNR보다도 오래된 시각일 경우에, 그 화소의 화소값을 0으로 하는 처리를 채용할 수 있다.
<7. 노이즈 제거 처리부의 처리>
이어서, 노이즈 제거 처리부(112)에 의한 노이즈 제거 처리에 대하여 설명한다.
노이즈 제거 처리부(112)는 2치 화상인 이벤트 화상과 재구성 화상 각각에 대하여 백색 화소에 대한 팽창 처리와 수축 처리를 사용한 필터 처리를, 노이즈 제거 처리로서 행한다.
처음에, 노이즈 제거 처리부(112)는 이벤트 화상과 재구성 화상 각각에 대하여 백색 화소의 수축 처리 및 팽창 처리의 순서로 실행하는 오프닝 처리를 실행하고, 그 후, 백색 화소의 팽창 처리 및 수축 처리의 순서로 실행하는 클로징 처리를 실행한다. 필터 사이즈는 예를 들어, 5 화소 등으로 된다.
도 20은, 노이즈 제거 처리부(112)가 노이즈 제거 처리를 행하기 전과 후의 재구성 화상의 예를 도시하고 있다. 노이즈 제거 처리부(112)의 노이즈 제거 처리에 의해, 노이즈라고 추측되는 작은 백색 화소가 소거되어 있다.
<8. 액적 검출부의 처리>
이어서, 액적 검출부(103)의 처리에 대하여 설명한다.
액적 검출부(103)는 전처리부(101)로부터 공급되는 이벤트 화상과 재구성 화상 각각으로부터 액적(10)을 검출한다. 예를 들어, 액적 검출부(103)는 이벤트 화상으로부터 액적(10)을 검출하고, 추적 대상의 정보로서 액적 추적부(104)에 공급한다. 또한, 액적 검출부(103)는 재구성 화상으로부터 액적(10)을 검출하고, 검출한 액적(10)의 사이즈를 산출하고, 파라미터 판정부(105)에 공급한다. 또한, 재구성 화상으로부터 검출된 액적(10)의 결과를, 추적 대상의 정보로서 액적 추적부(104)에 공급하도록 해도 되고, 이벤트 화상으로부터 검출된 액적(10)으로부터, 액적(10)의 사이즈를 산출해도 된다.
도 21은, 액적 검출부(103)에 의한 액적 검출 처리를 설명하는 도면이다.
액적 검출부(103)는 전처리부(101)로부터 공급되는 이벤트 화상 또는 재구성 화상의 2치 화상(151)에 대하여 라벨링 처리를 실행하고, 2치 화상(151) 내의 액적(10)에 라벨(161)을 붙인다. 도 21의 예에서는, 2치 화상(151) 내에 3개의 액적(10)에 대하여 라벨(161A 내지 161C)이 붙여져 있다.
액적 검출부(103)는 검출된 라벨(161A 내지 161C)이, 2치 화상(151)에 대하여 미리 설정된 2개의 경계선(171)을 걸치는지를 판정하고, 2개의 경계선(171)을 걸치는 라벨을 검출 후보로서 선택한다. 도 21의 예에서는, 라벨(161A)이 2개의 경계선(171)을 걸치고 있어, 라벨(161A)의 액적(10)이 검출 후보로서 선택된다.
이어서, 도 22에 도시하는 바와 같이, 2개의 경계선(171) 중, 액적(10)의 이동 방향에 대하여 반대의 상측을 경계선(171A), 하측을 경계선(171B)으로 하면, 액적 검출부(103)는 상측의 경계선(171A)으로부터 액적(10)의 하측 영역을 둘러싸는 직사각형 영역(181)에 대하여 경계선(171A)보다 하측의 주위를 일정 폭 확대한 영역(182)의 화상을, 템플릿 화상으로서 등록(보존)한다. 액적 검출부(103)는 등록한 템플릿 화상을, 추적 대상의 정보로서 액적 추적부(104)에 공급한다. 이와 같이, 액적(10)의 선단의 일부를 템플릿 화상으로서 등록하고, 추적 대상으로 함으로써, 액적(10)이 꼬리를 끄는 형상이더라도 추적할 수 있다.
또한, 프레임 레이트의 설정에 따라서는, 도 23에 도시하는 바와 같이, 예를 들어, 템플릿 화상을 등록한 다음 프레임 등에 있어서, 이미 등록 완료이고 액적 추적부(104)에서 추적 중인 템플릿 화상과 동일한 액적(10)이 검출되는 경우가 있다. 이 경우, 액적 검출부(103)는 템플릿 화상으로서 등록(보존)하지 않는다.
도 23을 참조하여 구체적으로 설명하면, 소정의 프레임에 있어서, 경계선(171A)으로부터 액적(10)의 하측 영역을 둘러싸는 직사각형 영역(181)에 기초하여, 도 23의 좌측에 도시되는 템플릿 화상(183)이 등록된다. 그리고, 그 다음 프레임에 있어서, 동일한 액적(10)이 검출 후보로서 선택되어, 경계선(171A)으로부터 하측의 액적(10)의 영역을 둘러싸는 직사각형 영역(181')이 설정된다. 그러나, 이 직사각형 영역(181')은, 추적 중인 템플릿 화상(183)과 겹치기 때문에, 템플릿 화상으로서 등록되지 않는다.
도 24는, 액적(10)의 사이즈의 산출 방법의 예를 설명하는 도면이다.
액적 검출부(103)는 등록한 템플릿 화상(183)의 1행째에 있어서의 액적(10)의 폭(184)을, 액적(10)의 사이즈로서 산출한다. 보다 구체적으로는, 액적 검출부(103)는 등록한 템플릿 화상(183)의 1행째에 있어서의 액적(10)의 화소수를, 액적(10)의 폭(184)으로 한다.
또한, 상술한 바와 같이, 등록한 템플릿 화상(183)의 1행째에 있어서의 액적(10)의 폭(184)을 액적(10)의 사이즈로서 산출해도 되고, 기타의 산출 방법으로 액적(10)의 사이즈를 구해도 된다. 예를 들어, 등록한 템플릿 화상(183)에 차지하는 액적(10)의 화소수나, 등록한 템플릿 화상(183)의 세로 방향과 가로 방향의 화소수 등을, 사이즈로서 산출해도 된다. 또한, 도 9를 참조하여 설명한 체적을 사이즈로서 산출해도 된다.
이어서, 도 25의 흐름도를 참조하여, 액적 검출부(103)에 의해 실행되는 액적 검출 처리에 대하여 설명한다. 이 처리는, 예를 들어, 이벤트 화상 또는 재구성 화상의 2치 화상(151)이 전처리부(101)로부터 최초로 공급되었을 때 개시된다. 도 25의 액적 검출 처리는, 전처리부(101)로부터 공급되는 1매의 2치 화상(151)에 대한 처리이다.
처음에, 스텝 S71에 있어서, 액적 검출부(103)는 전처리부(101)로부터 공급된 1매의 2치 화상(151)에 대하여 라벨링 처리를 실행한다. 이에 의해 1매의 2치 화상(151)에 포함되는 모든 액적(10)에 대하여 라벨(161)이 붙여진다.
스텝 S72에 있어서, 액적 검출부(103)는 2치 화상(151)에 포함되는 1 이상의 라벨(161)(액적(10)) 중에서, 소정의 하나의 라벨(161)을 선택한다.
스텝 S73에 있어서, 액적 검출부(103)는 선택한 라벨(161)이 2개의 경계선(171)을 걸치는지를 판정한다.
스텝 S73으로, 선택한 라벨(161)이 2개의 경계선(171)을 걸치지 않는다고 판정된 경우, 처리는 스텝 S77로 진행한다.
한편, 스텝 S73에서, 선택한 라벨(161)이 2개의 경계선(171)을 걸친다고 판정된 경우, 처리는 스텝 S74로 진행하여, 액적 검출부(103)는 선택한 라벨(161)이 추적 중인 템플릿 화상과 겹치는지를 판정한다. 보다 구체적으로는, 도 23에서 설명한 바와 같이, 선택한 라벨(161)의 상측 경계선(171A)으로부터 하측의 액적(10)의 영역을 둘러싸는 직사각형 영역(181)이 추적 중인 템플릿 화상(183)과 겹치는지가 판정된다.
스텝 S74에서, 선택한 라벨(161)이 추적 중인 템플릿 화상과 겹친다고 판정된 경우, 처리는 스텝 S77로 진행한다.
한편, 스텝 S74에서, 선택한 라벨(161)이 추적 중인 템플릿 화상과 겹치지 않는다고 판정된 경우, 처리는 스텝 S75로 진행하여, 액적 검출부(103)는 선택한 라벨(161)의 선단의 일부를 템플릿 화상(183)으로서 등록한다. 보다 상세하게는, 액적 검출부(103)는 선택한 라벨(161)의 상측 경계선(171A)으로부터 하측의 액적(10)의 영역을 둘러싸는 직사각형 영역(181)에 대하여 경계선(171A)보다 하측의 주위를 일정 폭 확대한 영역(182)을 템플릿 화상(183)으로서 등록한다. 등록된 템플릿 화상(183)은 액적 추적부(104)에 공급된다.
스텝 S76에 있어서, 액적 검출부(103)는 액적(10)의 사이즈로서, 등록한 템플릿 화상(183)의 1행째에 있어서의 액적(10)의 폭(184)을 산출한다. 산출된 액적(10)의 폭(184)은, 파라미터 판정부(105)에 공급된다.
스텝 S77에 있어서, 액적 검출부(103)는 모든 라벨(161)을 선택했는지를 판정한다.
스텝 S77에서, 모든 라벨(161)을 아직 선택하고 있지 않다고 판정된 경우, 처리는 스텝 S72로 되돌아가서, 상술한 스텝 S72 내지 S77이 다시 실행된다. 즉, 아직 선택하고 있지 않은 라벨(161)이 선택되어, 2개의 경계선(171)을 걸치는지, 추적 중인 템플릿 화상과 겹치는지 등이 판정된다.
한편, 스텝 S77에서, 모든 라벨(161)을 선택했다고 판정된 경우, 도 25의 액적 검출 처리가 종료한다.
도 25의 액적 검출 처리는, 전처리부(101)로부터 공급되는 1매의 2치 화상(151)에 대한 처리이며, 전처리부(101)로부터 순차 공급되는 2치 화상(151)에 대하여 상술한 액적 검출 처리가 실행된다.
<9. 액적 추적부의 처리>
이어서, 액적 추적부(104)의 처리에 대하여 설명한다.
액적 추적부(104)는 액적 검출부(103)에 있어서 검출된 액적(10)을 추적하고, 액적(10)의 궤적 정보를 산출하고, 파라미터 판정부(105)에 공급한다. 보다 구체적으로는, 액적 추적부(104)는 템플릿 화상(183)이 등록된 프레임의 다음 이후의 프레임에 대해서, 액적 검출부(103)로부터 공급되는 템플릿 화상(183)을 사용한 템플릿 매칭에 의해 액적(10)을 탐색한다.
도 26은, 템플릿 화상이 등록된 프레임으로부터 1 프레임째의 액적(10)의 탐색 처리를 설명하는 도면이다.
도 26에 있어서, 파선으로 나타내지는 액적(10)은, 현재의 프레임의 하나 전의 프레임, 즉, 템플릿 화상(183)이 등록된 프레임에 있어서의 액적(10)의 위치를 나타내고 있다.
액적 추적부(104)는 하나 전의 프레임에 있어서의 템플릿 화상(183)의 중심(191)으로부터 소정의 반경 r1의 범위를 탐색 범위로 하여, 현재의 프레임의 액적(10)을, 템플릿 매칭에 의해 탐색한다.
도 27은, 템플릿 화상이 등록된 프레임으로부터 2 프레임째 이후의 액적(10)의 탐색 처리를 설명하는 도면이다.
도 27에 있어서, 파선으로 나타내지는 액적(10)은, 현재의 프레임의 하나 전의 프레임에서 탐색된 액적(10)의 위치를 나타내고 있다. 위치(192)는 파선의 액적(10)에 대하여 탐색된 템플릿 화상(183)의 중심에 대응한다. 현재의 프레임이, 템플릿 화상이 등록된 프레임으로부터 2 프레임째일 경우, 도 27의 위치(192)가 도 26의 중심(191)에 상당한다.
2 프레임째 이후의 탐색에서는, 액적 추적부(104)는 1 프레임 기간 Δt의 액적(10)의 이동량(193)을 산출한다. 1 프레임 기간 Δt의 액적(10)의 이동량(193)은, 하나 전의 프레임에서 검출된 템플릿 화상(183)의 중심 위치와, 2개 전의 프레임에서 검출된 템플릿 화상(183)의 중심 위치의 거리로 산출된다.
그리고, 액적 추적부(104)는 하나 전의 프레임의 템플릿 화상(183)의 위치(192)로부터, 1 프레임 기간 Δt의 액적(10)의 이동량(193)만큼 이동한 위치(194)를 액적(10)의 예측 위치로서 산출하고, 그 예측 위치를 중심으로 소정의 반경 r2의 범위를 탐색 범위로 하여 액적(10)을 탐색한다. 여기서, 2 프레임째 이후의 탐색 범위를 설정하는 반경 r2는, 1 프레임째의 탐색 범위를 설정하는 반경 r1보다도 작게 설정된다(r2<r1).
이상과 같이, 템플릿 화상(183)이 등록된 프레임의 다음 프레임(1 프레임째)에서는, 액적(10)의 이동량을 예측할 수 없기 때문에, 템플릿 화상(183)의 등록 시의 중심(191)으로부터 반경 r1의 범위를 탐색 범위로 하여, 템플릿 매칭에 의해, 액적(10)이 탐색된다.
한편, 템플릿 화상(183)이 등록된 프레임으로부터 2 프레임째 이후에는, 그것보다 전의 탐색 결과로부터 액적(10)의 이동량을 산출할 수 있기 때문에, 산출한 이동량에 기초하는 예측 위치를 중심으로 반경 r1보다도 작은 반경 r2를 탐색 범위로 하여, 템플릿 매칭에 의해 액적(10)이 탐색된다.
도 28의 흐름도를 참조하여, 액적 추적부(104)에 의해 실행되는 액적 추적 처리에 대하여 설명한다. 이 처리는, 예를 들어, 이벤트 화상 또는 재구성 화상의 2치 화상(151)이 전처리부(101)로부터 최초로 공급되었을 때 개시된다. 도 28의 액적 추적 처리는, 전처리부(101)로부터 공급되는 1매의 2치 화상(151)에 대한 처리이다.
처음에, 스텝 S101에 있어서, 액적 추적부(104)는 탐색 중의 액적(10)이, 템플릿 화상(183)이 등록된 프레임으로부터 2 프레임째 이후의 탐색인지를 판정한다.
스텝 S101에서, 탐색 중의 액적(10)이 2 프레임째 이후의 탐색이 아니라고, 즉, 템플릿 화상(183)이 등록된 프레임의 다음 프레임의 탐색이라고 판정된 경우, 처리는 스텝 S102로 진행하여, 액적 추적부(104)는 하나 전의 프레임에 있어서의 템플릿 화상(183)의 중심(191)으로부터 소정의 반경 r1의 범위를 탐색 범위로 설정한다.
한편, 스텝 S101에서, 탐색 중의 액적(10)이 2 프레임째 이후의 탐색이라고 판정된 경우, 처리는 스텝 S103으로 진행하여, 액적 추적부(104)는 하나 전의 프레임에서 검출된 템플릿 화상(183)의 중심 위치와, 2개 전의 프레임에서 검출된 템플릿 화상(183)의 중심 위치에 기초하여, 1 프레임 기간 Δt의 액적(10)의 이동량(193)을 산출한다.
계속해서, 스텝 S104에 있어서, 액적 추적부(104)는 하나 전의 프레임의 템플릿 화상(183)의 위치(192)로부터, 1 프레임 기간 Δt의 액적(10)의 이동량(193)만큼 이동한 위치(194)를 액적(10)의 예측 위치로서 산출하고, 그 예측 위치를 중심으로 소정의 반경 r2의 범위를 탐색 범위로 설정한다.
스텝 S105에 있어서, 액적 추적부(104)는 스텝 S102 또는 스텝 S104에서 설정된 탐색 범위 내의 액적(10)을, 템플릿 매칭에 의해 탐색한다. 템플릿 매칭에서는, 예를 들어, 액적 추적부(104)는 정규화 상호 상관에 의한 상관값을 계산하고, 상관값이 가장 높은 좌표를 구한다.
스텝 S106에 있어서, 액적 추적부(104)는 상관값이 소정의 역치 이상인 화상이 검출되었는지를 판정한다. 스텝 S106에서는, 스텝 S105에서 검출된, 상관값이 가장 높은 화상의 상관값이 소정의 역치보다 작은 경우, 상관값이 소정의 역치 이상인 화상이 검출되지 않았다고 판정된다. 한편, 스텝 S105에서 검출된, 상관값이 가장 높은 화상의 상관값이 소정의 역치 이상인 경우, 상관값이 소정의 역치 이상인 화상이 검출되었다고 판정된다.
스텝 S106에서, 상관값이 소정의 역치 이상인 화상이 검출되었다고 판정된 경우, 처리는 스텝 S107로 진행하여, 액적 추적부(104)는 추적 중인 액적(10)의 궤적 정보를 갱신한다. 구체적으로는, 액적 추적부(104)는 추적 중인 액적(10)의 궤적 정보로서 보존해 둔, 전 프레임까지의 각 프레임의 액적(10)의 위치 정보에, 현재의 프레임에 있어서의 액적(10)의 탐색 결과인 위치 정보를 추가한다.
스텝 S108에 있어서, 액적 추적부(104)는 템플릿 매칭에서 사용하는 템플릿 화상을, 현재의 프레임에서 검출된 화상으로 갱신한다. 또한, 스텝 S108의 처리는 생략하고, 액적 검출부(103)로부터 공급된 템플릿 화상을 계속하여 사용해도 된다.
한편, 스텝 S106에서, 상관값이 소정의 역치 이상인 화상이 검출되지 않았다고 판정된 경우, 처리는 스텝 S109로 진행하여, 액적 추적부(104)는 액적(10)을 로스트하였다고 간주하고, 그것까지의 검출에서 보존된 액적(10)의 궤적 정보를 파라미터 판정부(105)에 공급한다.
도 28의 액적 추적 처리는, 전처리부(101)로부터 공급되는 1매의 2치 화상(151)에 대한 처리이며, 전처리부(101)로부터 순차 공급되는 2치 화상(151)에 대하여 상술한 액적 검출 처리가 실행된다. 추적 중인 액적(10)이 로스트되었다고 간주될 때까지, 후속의 2치 화상(151)에 대하여 템플릿 매칭에 의해 액적(10)이 탐색되어, 궤적 정보가 갱신된다.
또한, 각 프레임의 액적(10)의 위치 정보를 보존하고, 액적(10)의 궤적 정보로서, 파라미터 판정부(105)에 공급하는 것으로 했지만, 액적(10)의 궤적 정보는, 기타의 정보여도 된다. 예를 들어, 각 프레임의 액적(10)의 위치로부터 산출된 액적(10)의 속도나 이동 방향 등을, 액적(10)의 궤적 정보로 해도 된다.
<10. 디스펜서 제어 시스템의 액적 제어 처리>
이어서, 도 29의 흐름도를 참조하여, 디스펜서 제어 시스템(1) 전체에 의한 액적 제어 처리에 대하여 설명한다. 이 처리는, 예를 들어, 디스펜서 제어 시스템(1)에 대하여 소정의 제어 개시 조작이 행해졌을 때 개시된다.
처음에, 스텝 S141에 있어서, EVS 카메라(12)는 디스펜서(11)로부터 분사된 액적(10)에 기초하는 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 제어 장치(13)로 출력한다.
스텝 S142에 있어서, 제어 장치(13)의 제1 프레임 처리부(121)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 이벤트 화상과 표시용 화상을 생성하는 제1 프레임화 처리를 실행한다. 구체적으로는, 제1 프레임 처리부(121)는 도 14를 참조하여 설명한 제1 프레임화 처리를 실행한다.
스텝 S143에 있어서, 제어 장치(13)의 제2 프레임 처리부(122)는 EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 휘도값을 추정한 재구성 화상을 생성하는 제2 프레임화 처리를 실행한다. 구체적으로는, 제2 프레임 처리부(122)는 도 17을 참조하여 설명한 제2 프레임화 처리를 실행한다.
스텝 S144에 있어서, 노이즈 제거 처리부(112)는 프레임화 처리부(111)에 의해 생성된 이벤트 화상 또는 재구성 화상 각각에 대해서, 팽창 처리와 수축 처리의 필터 처리에 의한 노이즈 제거 처리를 실행한다.
스텝 S145에 있어서, 디스플레이(14)는, 프레임화 처리부(111)에 의해 생성된 표시용 화상을 제어 장치(13)로부터 취득하여 표시한다.
스텝 S146에 있어서, 제어 장치(13)의 액적 검출부(103)는 전처리부(101)로부터 공급된 이벤트 화상과 재구성 화상 각각으로부터, 추적 대상으로서의 액적(10)을 검출하는 액적 검출 처리를 실행한다. 구체적으로는, 액적 검출부(103)는 도 25를 참조하여 설명한 액적 검출 처리를 실행한다. 액적 검출 처리에서는, 액적(10)의 템플릿 화상이 액적 추적부(104)에 공급되는 외에, 액적(10)의 폭(184)이 산출되어서 파라미터 판정부(105)에 공급된다.
스텝 S147에 있어서, 제어 장치(13)의 액적 추적부(104)는 액적 검출부(103)에 있어서 검출된 액적(10)을 추적하고, 액적(10)의 궤적 정보를 산출하고, 파라미터 판정부(105)에 공급하는 액적 추적 처리를 실행한다. 구체적으로는, 액적 추적부(104)는 도 28을 참조하여 설명한 액적 검출 처리를 실행하고, 액적(10)의 궤적 정보를 파라미터 판정부(105)에 공급한다.
스텝 S148에 있어서, 제어 장치(13)의 파라미터 판정부(105)는 디스펜서(11)의 제어 파라미터가 정상적인 범위 내인지의 여부를 판정하는 이상 판정 처리를 실행한다. 예를 들어, 파라미터 판정부(105)는 이상 판정 처리로서, 액적 검출부(103)로부터 공급된 액적(10)의 폭(184), 액적 추적부(104)로부터 공급된 액적(10)의 궤적 정보에 기초하여, 디스펜서(11)의 토출 타이밍, 토출량이 적정 범위 내인지의 여부를 판정한다.
스텝 S149에 있어서, 파라미터 판정부(105)는 디스펜서(11)의 제어 파라미터를 변경할지를 판정한다. 예를 들어, 파라미터 판정부(105)는 디스펜서(11)의 토출 타이밍 또는 토출량이 적정 범위 내가 아니라고 판정된 경우, 제어 파라미터를 변경한다고 판정된다.
스텝 S149에서, 제어 파라미터를 변경한다고 판정된 경우, 처리는 스텝 S150으로 진행하여, 파라미터 판정부(105)는 파라미터를 수정하기 위한 제어 정보를, 피드백 제어 정보로서 생성하여, 디스펜서(11)로 출력한다.
한편, 스텝 S149에서, 제어 파라미터를 변경하지 않는다고 판정된 경우, 스텝 S150의 처리는 스킵된다.
스텝 S151에 있어서, 제어 장치(13)는 제어를 종료할 것인지 여부를 판정한다. 예를 들어, 제어 장치(13)의 파라미터 판정부(105)는 제어 종료 조작이 행해진 것이 검출된 경우, 제어를 종료한다고 판정하고, 그 이외의 경우, 아직 제어를 종료하지 않는다고 판정한다.
스텝 S151에서, 아직 제어를 종료하지 않는다고 판정된 경우, 처리는 스텝 S141로 되돌아가서, 상술한 스텝 S141 내지 S151이 반복된다.
한편, 스텝 S151에서, 제어를 종료한다고 판정된 경우, 도 29의 액적 제어 처리가 종료한다.
액적 제어 처리로서 설명한 도 29의 각 스텝의 처리는, 설명의 편의상, 시퀀셜한 처리로서 설명했지만, 실제로는, 각 스텝의 처리가 병렬로 실행되어, 실행 결과가 후단으로 순차 출력된다.
<11. DNN의 적용>
상술한 액적 제어 처리에서는, EVS 카메라(12)로부터의 이벤트 데이터에 기초하여 이벤트 화상 및 재구성 화상을 생성하고, 생성한 이벤트 화상 또는 재구성 화상으로부터 액적(10)의 위치, 속도, 이동 방향 등을 산출하고, 디스펜서(11)의 제어 파라미터가 정상적인 범위 내인지의 여부를 판정하였다.
이에 반해, 예를 들어, DNN(Deep Neural Network)을 사용하여 디스펜서(11)의 제어 파라미터를 식별하는 처리를 실행하고, 디스펜서(11)의 제어 파라미터가 정상적인 범위 내인지의 여부를 판정해도 된다.
DNN은, 도 30에 도시하는 바와 같이, 입력 데이터에 대하여 특징 추출 처리를 실행하여 특징량을 추출하고, 추출된 특징량에 기초하여 식별 처리를 실행함으로써, 식별 결과를 얻는다.
예를 들어, 제어 장치(13)는 입력 데이터로서, 이벤트 화상 또는 재구성 화상의 적어도 하나를 DNN에 부여하고, 식별 결과로서, 디스펜서(11)의 제어 파라미터를 출력하는 DNN을 학습에 의해 생성하여 사용할 수 있다.
도 31은, 이벤트 화상 및 재구성 화상을 입력 데이터로 하여 DNN이 식별 처리를 행하도록 한 경우의 액적 제어 처리의 흐름도를 도시하고 있다.
도 31의 스텝 S201 내지 S205 및 S207 내지 S209는, 도 29의 스텝 S141 내지 S145 및 S149 내지 S151과 동일한 처리이며, 도 29의 스텝 S146 내지 S148의 처리가, 도 31의 스텝 S206에 있어서의 DNN에 의한 제어 파라미터 식별 처리로 변경되어 있다.
스텝 S206에 있어서, 예를 들어, 제어 장치(13)의 DNN 처리부는, 전처리부(101)로부터 공급된 이벤트 화상 및 재구성 화상에 기초하여, 디스펜서(11)의 제어 파라미터를 식별하고, 파라미터 판정부(105)로 출력한다. 파라미터 판정부(105)는 스텝 S207에 있어서, 식별 결과로서의 제어 파라미터에 기초하여, 제어 파라미터를 변경할 것인지 여부를 판정한다.
혹은 또한, 입력 데이터로서, EVS 카메라(12)로부터의 이벤트 데이터를 그대로 DNN에 부여하고, 식별 결과로서, 디스펜서(11)의 제어 파라미터를 출력하는 DNN을 학습에 의해 생성하여 사용해도 된다.
도 32는, 이벤트 데이터를 입력 데이터로 하여 DNN이 식별 처리를 행하도록 한 경우의 액적 제어 처리의 흐름도를 나타내고 있다.
도 32의 스텝 S221 및 S223 내지 S225는, 도 29의 스텝 S141 및 S149 내지 S151과 동일한 처리이며, 도 29의 스텝 S142 내지 S148의 처리가, 도 32의 스텝 S222에 있어서의 DNN에 의한 제어 파라미터 식별 처리로 변경되어 있다.
스텝 S222에 있어서, 예를 들어, 제어 장치(13)의 DNN 처리부는, EVS 카메라(12)로부터 공급된 이벤트 데이터에 기초하여, 디스펜서(11)의 제어 파라미터를 식별하고, 파라미터 판정부(105)로 출력한다. 파라미터 판정부(105)는 스텝 S223에 있어서, 식별 결과로서의 제어 파라미터에 기초하여, 제어 파라미터를 변경할 것인지 여부를 판정한다.
이벤트 데이터가 소정의 압축 형식으로 압축된 데이터이며 EVS 카메라(12)로부터 출력되는 경우에는, 소정의 압축 형식으로 압축된 이벤트 데이터를 입력 데이터로 하여 그대로 학습하고, 제어 파라미터를 식별할 수 있도록 해도 된다.
식별 처리를 실행하는 기계 학습은, DNN 외에, SNN(Spiking Neural Network)을 사용해도 된다.
이상의 제1 실시 형태에 의하면, EVS 카메라(12)가 디스펜서(11)로부터 분사된 액적(10)에 기초하는 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 제어 장치(13)로 출력한다. 제어 장치(13)는 EVS 카메라(12)로부터 출력되어 온 이벤트 데이터에 기초하여, 디스펜서(11)의 액적(10)의 분사를 제어하는 제어 정보를 생성하여, 디스펜서(11)로 출력한다. 이에 의해, 디스펜서(11)에 의한 액적을 적확하게 검출하고, 액적의 분사를 고정밀도로 제어할 수 있다.
<12. 디스펜서 제어 시스템의 제2 실시 형태>
도 33은, 본 기술을 적용한 디스펜서 제어 시스템의 제2 실시 형태의 구성예를 도시하고 있다.
도 33에 있어서, 도 1에 도시한 제1 실시 형태와 대응하는 부분에 대해서는 동일한 부호를 부여하고 있어, 그 부분의 설명은 적절히 생략하고, 다른 부분에 주목하여 설명한다.
도 33의 디스펜서 제어 시스템(1)에서는, 액적(10)을 촬영하여 RGB 화상(컬러 화상)을 출력하는 RGB 카메라(201)가 더 추가되어 있다. RGB 카메라(201)는 예를 들어, 도 33에 도시하는 바와 같이, 액적(10)의 이동 방향으로 EVS 카메라(12)와 함께 배치된다. EVS 카메라(12)의 촬영 범위와 다른 범위가, RGB 카메라(201)의 촬영 범위로서 설정된다.
제어 장치(13)는 RGB 카메라(201)로부터 공급되는 RGB 화상에 대하여 라벨링 처리, 템플릿 매칭 등을 행함으로써, 액적(10)을 검출 및 추적한다. 또한, 제어 장치(13)는 RGB 카메라(201)로부터 공급되는 RGB 화상에 기초하여, 액적(10)의 색 및 형상 등을 해석한다. 제어 장치(13)는 EVS 카메라(12)의 이벤트 데이터에 기초하는 액적(10)의 궤적 정보와의 대응을 취하고, 이벤트 화상 또는 재구성 화상의 액적(10)의 검출 정보와, RGB 화상에 기초하는 액적(10)의 검출 정보를 통합한다. 제어 장치(13)는 통합한 검출 정보에 기초하여, 제어 파라미터가 정상인지 여부를 판정하고, 피드백할 수 있다.
또한, EVS 카메라(12)와 RGB 카메라(201)의 배치는, 도 33과 같이, 액적(10)의 이동 방향으로 배열하여 배치시키는 구성 이외에, 예를 들어, 도 34와 같이, 하프 미러(211)를 통하여 동일한 촬영 범위를 촬영하는 구성으로 해도 된다.
도 33과 같이, EVS 카메라(12)와 RGB 카메라(201)에서 다른 촬영 범위로 되도록 배치한 경우에는, EVS 카메라(12)와 RGB 카메라(201)에서 다른 조명 조건을 설정할 수 있으므로, 각각의 카메라에 적합한 조명을 사용할 수 있다.
한편, 도 34와 같이, EVS 카메라(12)와 RGB 카메라(201)에서 동일한 촬영 범위를 촬영하는 배치로 한 경우에는, 각 카메라에서 검출되는 액적(10)의 대응 관계의 인식이 용이하게 된다.
이상의 제2 실시 형태에 의하면, EVS 카메라(12)가 디스펜서(11)로부터 분사된 액적(10)에 기초하는 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 제어 장치(13)로 출력한다. 제어 장치(13)는 EVS 카메라(12)로부터 출력되어 온 이벤트 데이터에 기초하여, 디스펜서(11)의 액적(10)의 분사를 제어하는 제어 정보를 생성하여, 디스펜서(11)로 출력한다. 이에 의해, 디스펜서(11)에 의한 액적을 적확하게 검출하고, 액적의 분사를 고정밀도로 제어할 수 있다. 또한, RGB 카메라(201)가 촬영한 RGB 화상도 사용하여, 액적(10)을 적확하게 검출하고, 액적의 분사를 제어할 수 있다.
<13. 디스펜서 제어 시스템의 제3 실시 형태>
도 35는, 본 기술을 적용한 디스펜서 제어 시스템의 제3 실시 형태의 구성예를 도시하고 있다.
도 35에 있어서, 도 1에 도시한 제1 실시 형태와 대응하는 부분에 대해서는 동일한 부호를 부여하고 있어, 그 부분의 설명은 적절히 생략하고, 다른 부분에 주목하여 설명한다.
도 35에 도시되는 제3 실시 형태를, 도 1에 도시한 제1 실시 형태와 비교하면, 제3 실시 형태에 있어서의 디스펜서 제어 시스템(1)은 제1 실시 형태에 있어서의 EVS 카메라(12)와 제어 장치(13)가 EVS 카메라(300)로 치환된 구성으로 되어 있다.
EVS 카메라(300)는 이벤트 센서와, 제1 실시 형태에 있어서의 제어 장치(13)의 기능을 실행하는 처리부를 구비하는 촬상 장치이다. 즉, EVS 카메라(300)는 디스펜서(11)로부터 분사된 액적(10)에 기초하는 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 생성한다. 또한, EVS 카메라(300)는 이벤트 데이터에 기초하여, 디스펜서(11)의 액적(10)의 분사를 제어하는 피드백 제어 정보를 생성하여, 디스펜서(11)로 출력한다. 또한, EVS 카메라(300)는 이벤트 데이터에 기초하여, 작업자가 모니터링하기 위한 표시용 화상을 생성하여, 디스플레이(14)에 표시시킨다.
<EVS 카메라의 구성예>
도 36은, 도 35의 EVS 카메라(300)의 구성예를 도시하는 블록도이다.
EVS 카메라(300)는 광학부(311), 촬상 소자(312), 기록부(313) 및 제어부(314)를 구비한다.
광학부(311)는 피사체로부터의 광을 집광하여 촬상 소자(312)에 입사시킨다. 촬상 소자(312)는 화소의 휘도 변화를 이벤트로 하여, 이벤트가 발생한 경우에, 이벤트의 발생을 나타내는 이벤트 데이터를 출력하는 이벤트 센서이다.
촬상 소자(312)는 광학부(311)를 통하여 입사되는 입사광을 광전 변환하여 이벤트 데이터를 생성하여, 기록부(313)에 기록시킨다. 또한, 촬상 소자(312)는 이벤트 데이터에 기초하여, 디스펜서(11)의 액적(10)의 분사를 제어하는 피드백 제어 정보를 생성하여, 디스펜서(11)로 출력한다. 또한, 촬상 소자(312)는 이벤트 데이터에 기초하여 표시용 화상을 생성하여, 디스플레이(14)로 출력한다.
기록부(313)는 촬상 소자(312)로부터 공급되는 이벤트 데이터, 이벤트 화상 등을 소정의 기록 매체에 기록하여 축적한다. 제어부(314)는 촬상 소자(312)를 제어한다. 예를 들어, 제어부(314)는 촬상 소자(312)에 대하여 촬상의 개시 및 종료를 지시하거나, 이벤트 화상의 프레임 레이트 등을 지정한다.
도 37은, 촬상 소자(312)의 개략 구성예를 도시하는 사시도이다.
촬상 소자(312)는 수광 칩(321)과, 검출 칩(322)을 접합하여 적층한 적층 구조로 구성되어 있다. 수광 칩(321)과 검출 칩(322)은, 예를 들어, 비아, Cu-Cu 접합이나 범프 등의 접속부를 통하여 전기적으로 접속되어 있다.
도 38은, 수광 칩(321)의 구성예를 도시하는 평면도이다.
수광 칩(321)은, 칩 중앙부에 형성된 수광부(341)와, 수광부(341)의 외측 외주부에 형성된 1 이상의 비아 배치부(342)를 구비한다. 도 38의 예에서는, 3개의 비아 배치부(342)가 칩 외주의 모퉁이부에 마련되어 있다.
수광부(341)에는, 복수의 포토다이오드(351)가 이차원 격자상으로 배열되어 있다. 포토다이오드(351)는 입사광을 광전 변환하여 광 전류를 생성한다. 포토다이오드(351) 각각에는, 행 어드레스 및 열 어드레스를 포함하는 화소 어드레스가 할당되고, 화소로서 취급된다. 비아 배치부(342)에는, 검출 칩(322)과 전기적으로 접속되는 비아가 배치되어 있다.
도 39는, 검출 칩(322)의 구성예를 도시하는 평면도이다.
검출 칩(322)은, 1 이상의 비아 배치부(361)와, 어드레스 이벤트 검출부(362), 행 구동 회로(363), 열 구동 회로(364) 및 신호 처리 회로(365)를 구비한다.
비아 배치부(361)는 수광 칩(321)의 비아 배치부(342)와 대응하는 위치에 마련되고, 비아를 통하여 수광 칩(321)과 전기적으로 접속한다. 도 39에서는, 도 38에 3개의 비아 배치부(342)에 대응하는 위치에, 각각, 비아 배치부(361)가 마련되어 있고, 합계 3개의 비아 배치부(361)가 검출 칩(322) 상에 형성되어 있다.
어드레스 이벤트 검출부(362)는 수광 칩(321)의 복수의 포토다이오드(351) 각각의 광 전류로부터 검출 신호를 생성하여, 신호 처리 회로(365)로 출력한다. 검출 신호는, 입사광의 광량이 소정의 역치를 초과한 취지를 어드레스 이벤트로서 검출했는지의 여부를 나타내는 1비트의 신호이다.
행 구동 회로(363)는 어드레스 이벤트 검출부(362)의 소정의 행 어드레스를 선택하고, 선택한 행 어드레스의 검출 신호를 신호 처리 회로(365)로 출력시킨다.
열 구동 회로(364)는 어드레스 이벤트 검출부(362)의 소정의 열 어드레스를 선택하고, 선택한 열 어드레스의 검출 신호를 신호 처리 회로(365)로 출력시킨다.
신호 처리 회로(365)는 어드레스 이벤트 검출부(362)로부터 출력되어 오는 검출 신호에 대하여 소정의 신호 처리를 실행한다. 예를 들어, 신호 처리 회로(365)는 어드레스 이벤트 검출부(362)로부터 출력되어 오는 검출 신호에 기초하여, 이벤트 데이터를 생성하고, 또한, 이벤트 화상, 재구성 화상 및 표시용 화상을 생성하는 처리를 실행한다. 또한, 신호 처리 회로(365)는 생성한 이벤트 화상 및 재구성 화상에 기초하여, 디스펜서(11)의 제어 파라미터가 정상 범위 내인지의 여부를 판정하고, 정상 범위 외라고 판정된 경우에, 피드백 제어 정보를 생성하여 출력한다. 따라서, 제3 실시 형태에 있어서는, 도 1의 제어 장치(13)에서 실행되는 처리가, 신호 처리 회로(365)에서 실행된다.
도 40은, 어드레스 이벤트 검출부(362)의 상세를 도시하는 평면도이다.
어드레스 이벤트 검출부(362)에는, 복수의 어드레스 이벤트 검출 회로(371)가 이차원 격자상으로 배열되어 있다. 어드레스 이벤트 검출 회로(371)는 예를 들어, 수광 칩(321) 상의 포토다이오드(351)와 일대일로 배치된다. 각 어드레스 이벤트 검출 회로(371)는 대응하는 포토다이오드(351)와, 비아나 Cu-Cu 접합 등에 의해 전기적으로 접속되어 있다.
도 41은, 어드레스 이벤트 검출 회로(371)의 구성예를 도시하는 블록도이다.
어드레스 이벤트 검출 회로(371)는 전류 전압 변환 회로(381), 버퍼(382), 감산기(383), 양자화기(384) 및 전송 회로(385)를 구비한다.
전류 전압 변환 회로(381)는 대응하는 포토다이오드(351)로부터의 광 전류를 전압 신호로 변환한다. 전류 전압 변환 회로(381)는 광 전류의 대수값에 따른 전압 신호를 생성하여, 버퍼(382)로 출력한다.
버퍼(382)는 전류 전압 변환 회로(381)로부터의 전압 신호를 버퍼링하고, 감산기(383)로 출력한다. 이 버퍼(382)에 의해, 후단의 스위칭 동작에 수반하는 노이즈의 아이솔레이션을 확보함과 함께, 후단을 구동하는 구동력을 향상시킬 수 있다. 또한, 이 버퍼(382)는 생략할 수도 있다.
감산기(383)는 행 구동 회로(363)로부터의 행 구동 신호에 따라서 버퍼(382)로부터의 전압 신호의 레벨을 저하시킨다. 감산기(383)는 저하 후의 전압 신호를 양자화기(384)로 출력한다.
양자화기(384)는 감산기(383)로부터의 전압 신호를 디지털 신호로 양자화하고, 검출 신호로서 전송 회로(385)에 공급한다. 전송 회로(385)는 열 구동 회로(364)로부터의 열 구동 신호에 따라서, 검출 신호를 신호 처리 회로(365)로 전송(출력)한다.
도 42는, 전류 전압 변환 회로(381)의 상세 구성을 나타내는 회로이다. 전류 전압 변환 회로(381)는 검출 칩(322)에 배치되는데, 도 42에서는, 전류 전압 변환 회로(381)와 접속되어 있는 수광 칩(321)의 포토다이오드(351)도 도시되어 있다.
전류 전압 변환 회로(381)는 FET(411 내지 413)로 구성된다. FET(411 및 413)로서는, 예를 들어, N형의 MOS(NMOS) FET를 채용할 수 있고, FET(412)로서는, 예를 들어, P형의 MOS(PMOS) FET를 채용할 수 있다.
수광 칩(321)의 포토다이오드(351)는, 입사하는 광을 수광하고, 광전 변환을 행하고, 전기 신호로서의 광 전류를 생성하여 흘린다. 전류 전압 변환 회로(381)는 포토다이오드(351)로부터의 광 전류를, 그 광 전류의 대수에 대응하는 전압(이하, 광전압이라고도 한다) Vo로 변환하고, 버퍼(382)(도 41)로 출력한다.
FET(411)의 소스는, FET(413)의 게이트와 접속되고, FET(411)의 소스와 FET(413)의 게이트의 접속점에는, 포토다이오드(351)에 의한 광 전류가 흐른다. FET(411)의 드레인은, 전원 VDD에 접속되고, 그의 게이트는, FET(413)의 드레인에 접속된다.
FET(412)의 소스는, 전원 VDD에 접속되고, 그의 드레인은, FET(411)의 게이트와 FET(413)의 드레인의 접속점에 접속된다. FET(412)의 게이트에는, 소정의 바이어스 전압 Vbias가 인가된다. FET(413)의 소스는 접지된다.
FET(411)의 드레인은 전원 VDD측에 접속되어 있고, 소스 폴로워로 되어 있다. 소스 폴로워로 되어 있는 FET(411)의 소스에는, 포토다이오드(351)가 접속되고, 이에 의해, FET(411)(의 드레인으로부터 소스)에는, 포토다이오드(351)의 광전 변환에 의해 생성되는 전하에 의한 광 전류가 흐른다. FET(411)는, 서브스레숄드 영역에서 동작하고, FET(411)의 게이트에는, 그 FET(411)에 흐르는 광 전류의 대수에 대응하는 광전압 Vo가 나타난다. 이상과 같이, 포토다이오드(351)에서는, FET(411)에 의해, 포토다이오드(351)로부터의 광 전류가, 그 광 전류의 대수에 대응하는 광전압 Vo로 변환된다.
광전압 Vo는, FET(411)의 게이트와 FET(413)의 드레인의 접속점에서, 버퍼(382)를 통하여, 감산기(383)로 출력된다.
도 43은, 감산기(383) 및 양자화기(384)의 상세 구성을 도시하고 있다.
감산기(383)는 전류 전압 변환 회로(381)로부터의 광전압 Vo에 대해서, 현재의 광전압과, 현재와 미소 시간만큼 다른 타이밍의 광전압의 차를 연산하고, 그 차에 대응하는 차 신호 Vout를 출력한다.
감산기(383)는 콘덴서(431), 연산 증폭기(432), 콘덴서(433) 및 스위치(434)를 구비한다. 양자화기(384)는 비교기(451)를 구비한다.
콘덴서(431)의 일단은, 버퍼(382)(도 41)의 출력에 접속되고, 타단은, 연산 증폭기(432)의 입력 단자에 접속된다. 따라서, 연산 증폭기(432)의 (반전) 입력 단자에는, 콘덴서(431)를 통하여 광전압 Vo가 입력된다.
연산 증폭기(432)의 출력 단자는, 양자화기(384)의 비교기(451)의 비반전 입력 단자(+)에 접속된다.
콘덴서(433)의 일단은, 연산 증폭기(432)의 입력 단자에 접속되고, 타단은, 연산 증폭기(432)의 출력 단자에 접속된다.
스위치(434)는 콘덴서(433)의 양단의 접속을 온/오프하도록, 콘덴서(433)에 접속된다. 스위치(434)는 행 구동 회로(363)의 행 구동 신호에 따라서 온/오프함으로써, 콘덴서(433)의 양단의 접속을 온/오프한다.
콘덴서(433) 및 스위치(434)는 스위치드 캐패시터를 구성한다. 오프로 되어 있는 스위치(434)가 일시적으로 온으로 되고, 다시, 오프로 됨으로써, 콘덴서(433)는 전하가 방전되어, 새롭게 전하를 축적할 수 있는 상태로 리셋된다.
스위치(434)를 온했을 때의 콘덴서(431)의, 포토다이오드(351) 측의 광전압 Vo를 Vinit로 나타냄과 동시에, 콘덴서(431)의 용량(정전 용량)을 C1로 나타내는 것으로 한다. 연산 증폭기(432)의 입력 단자는 가상 접지로 되어 있고, 스위치(434)가 온일 경우에 콘덴서(431)에 축적되는 전하 Qinit는, 식 (1)에 의해 표현된다.
Qinit=C1×Vinit …(1)
또한, 스위치(434)가 온일 경우에는, 콘덴서(433)의 양단은 단락되기 때문에, 콘덴서(433)에 축적되는 전하는 제로가 된다.
그 후, 스위치(434)가 오프로 된 경우의, 콘덴서(431)의, 포토다이오드(351) 측의 광전압 Vo를 Vafter로 나타내는 것으로 하면, 스위치(434)가 오프로 된 경우에 콘덴서(431)에 축적되는 전하 Qafter는, 식 (2)에 의해 표현된다.
Qafter=C1×Vafter …(2)
콘덴서(433)의 용량을 C2로 나타내는 것으로 하면, 콘덴서(433)에 축적되는 전하 Q2는, 연산 증폭기(432)의 출력 전압인 차 신호 Vout를 사용하여, 식 (3)에 의해 표현된다.
Q2=-C2×Vout …(3)
스위치(434)가 오프하는 전후에서, 콘덴서(431)의 전하와 콘덴서(433)의 전하를 합친 총전하량은 변화하지 않기 때문에, 식 (4)가 성립한다.
Qinit=Qafter+Q2 …(4)
식 (4)에 식 (1) 내지 식 (3)을 대입하면, 식 (5)가 얻어진다.
Vout=-(C1/C2)×(Vafter-Vinit) …(5)
식 (5)에 의하면, 감산기(383)에서는, 광전압 Vafter 및 Vinit의 감산, 즉, 광전압 Vafter와 Vinit의 차(Vafter-Vinit)에 대응하는 차 신호 Vout의 산출이 행해진다. 식 (5)에 의하면, 감산기(383)의 감산 게인은 C1/C2가 된다. 따라서, 감산기(383)는 콘덴서(433)의 리셋 후의 광전압 Vo의 변화를 C1/C2배한 전압을, 차 신호 Vout로서 출력한다.
감산기(383)는, 행 구동 회로(363)가 출력하는 행 구동 신호에 의해, 스위치(434)가 온/오프됨으로써, 차 신호 Vout를 출력한다.
양자화기(384)의 비교기(451)는 감산기(383)로부터의 차 신호 Vout와, 반전 입력 단자(-)에 입력되는 소정의 역치 전압 Vth를 비교하여, 비교 결과를 검출 신호로서, 전송 회로(385)로 출력한다.
또한, 도 42의 구성예에서는, 수광 칩(321)에, 수광부(341)의 포토다이오드(351)만이 배치되고, 검출 칩(322)에, 전류 전압 변환 회로(381)를 포함하는 어드레스 이벤트 검출 회로(371)가 배치되었다. 이 경우, 화소수의 증대에 수반하여, 검출 칩(322) 내의 회로 규모가 증대할 우려가 있다. 그 때문에, 어드레스 이벤트 검출 회로(371)의 일부는, 수광 칩(321)의 수광부(341)에 배치해도 된다.
예를 들어, 도 44에 도시하는 바와 같이, 어드레스 이벤트 검출 회로(371)의 전류 전압 변환 회로(381)의 일부, 예를 들어, N형의 MOS(NMOS) FET로 구성되는 FET(411 및 413)를, 수광 칩(321)의 수광부(341)에 배치한 구성을 채용해도 된다. 이 경우, 수광 칩(321)은, N형의 MOS FET만이 되고, 검출 칩(322)의 전류 전압 변환 회로(381)는 P형의 MOS FET만이 되므로, P형과 N형을 혼재시키는 경우와 비교하여, 트랜지스터를 형성할 때의 공정수를 삭감할 수 있다. 이에 의해 수광 칩(321)의 제조 비용을 삭감할 수 있다.
이상의 제3 실시 형태에 의하면, EVS 카메라(300)가 자체에서 생성한 이벤트 데이터에 기초하여, 디스펜서(11)의 액적(10)을 검출하고, 액적(10)의 분사를 제어하는 제어 정보를 생성하여, 디스펜서(11)로 출력할 수 있다. 이에 의해, 디스펜서(11)에 의한 액적을 적확하게 검출하여, 액적의 분사를 고정밀도로 제어할 수 있다.
<14. 정리>
이상 설명한 디스펜서 제어 시스템(1)의 각 실시 형태에 의하면, 휘도 변화를 이벤트로서 검출하여 비동기로 출력하는 EVS 카메라(12)를 사용함으로써, 프레임 레이트가 1000fps 정도의 고속 카메라보다도, 연산량이나 통신량을 대폭으로 삭감할 수 있어, 고속으로 액적(10)을 촬영할 수 있다. 또한, 이벤트 데이터에 기초하여 생성하는 이벤트 화상 또는 재구성 화상은 2치 화상이므로, 연산량이 적어, 소비 전력도 저감할 수 있다.
디스펜서 제어 시스템(1)의 액적 제어 처리에 의하면, 이벤트 데이터에 기초하여 생성하는 이벤트 화상 또는 재구성 화상으로부터 액적(10)의 궤적 정보나 사이즈(폭), 체적 등을 고속으로 검출할 수 있고, 디스펜서(11)의 제어 파라미터를 고정밀도로 제어할 수 있다. 이에 의해, 디스펜서(11)에 의한 액적(10)을 적확하게 검출하고, 액적(10)의 분사를 고정밀도로 제어할 수 있다. 디스펜서(11)에 의한 액적(10)의 분사의 양호, 불량의 판정을 실시간으로 행할 수 있다.
<15. 컴퓨터 구성예>
상술한 제어 장치(13)가 실행하는 액적(10)의 제어 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 마이크로컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 45는, 상술한 일련의 액적 제어 처리를 프로그램에 의해 실행하는 정보 처리 장치로서의 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기억부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(507)는 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(508)는 하드 디스크, RAM 디스크, 불휘발성의 메모리 등을 포함한다. 통신부(509)는 네트워크 인터페이스 등을 포함한다. 드라이브(510)는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어, 기억부(508)에 기억되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기억부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)로 수신하고, 기억부(508)에 인스톨할 수 있다. 기타, 프로그램은, ROM(502)이나 기억부(508)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 상술한 복수의 실시 형태의 모두 또는 일부를 적절히 조합한 형태를 채용할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치로 실행하는 외에, 복수의 장치에 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 외에, 복수의 장치에 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니라, 본 명세서에 기재된 것 이외의 효과가 있어도 된다.
또한, 본 기술은, 이하의 구성을 취할 수 있다.
(1)
광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와,
상기 이벤트 신호에 기초하여, 디스펜서로부터 분사된 액적을 검출하는 프로세서
를 구비하는 정보 처리 장치.
(2)
상기 이벤트 센서는, 상기 화소 신호의 읽어내기 방향과 상기 액적의 이동 방향이 일치하도록 배치되어 있는
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 이벤트 센서는, 직교하는 2 방향으로부터 상기 액적을 검출하는
상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 직교하는 2 방향은, 다른 상기 이벤트 센서로 검출되는
상기 (1) 내지 (3)의 어느 것에 기재된 정보 처리 장치.
(5)
상기 직교하는 2 방향은, 하나의 상기 이벤트 센서로 검출되는
상기 (1) 내지 (3)의 어느 것에 기재된 정보 처리 장치.
(6)
상기 프로세서는, 또한, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하여 출력하는
상기 (1) 내지 (5)의 어느 것에 기재된 정보 처리 장치.
(7)
상기 프로세서는, 상기 이벤트 센서로부터의 상기 이벤트 신호를 소정의 적분 시간 단위로 통합한 이벤트 화상을 생성하고, 생성한 상기 이벤트 화상에 기초하여, 상기 제어 정보를 생성하는
상기 (6)에 기재된 정보 처리 장치.
(8)
상기 프로세서는, 상기 이벤트 화상으로서, 제1 극성의 휘도 변화인 제1 이벤트의 상기 이벤트 신호에 기초하는 제1 이벤트 화상과, 상기 제1 극성과 반대의 극성인 제2 극성의 휘도 변화인 제2 이벤트의 상기 이벤트 신호에 기초하는 제2 이벤트 화상을 생성하는
상기 (7)에 기재된 정보 처리 장치.
(9)
상기 이벤트 화상은, 상기 이벤트 신호가 발생한 화소의 화소값을 1, 상기 이벤트 신호가 발생하지 않는 화소의 화소값을 0으로 하는 2치 화상인
상기 (7) 또는 (8)에 기재된 정보 처리 장치.
(10)
상기 소정의 적분 시간은, 프레임 레이트에 대응하는 1 프레임 기간보다도 짧은 시간인
상기 (7) 내지 (9)의 어느 것에 기재된 정보 처리 장치.
(11)
상기 프로세서는, 상기 제1 이벤트가 발생한 화소의 화소값을 제1 휘도값, 상기 제2 이벤트가 발생한 화소의 화소값을 제2 휘도값, 기타의 화소의 화소값을 제3 휘도값으로 한 표시용 화상을 또한 생성하는
상기 (8) 내지 (10)의 어느 것에 기재된 정보 처리 장치.
(12)
상기 프로세서는, 상기 제1 이벤트 화상에 기초하여, 상기 액적의 궤적 정보를 산출하고, 산출한 상기 궤적 정보에 기초하여, 상기 제어 정보를 생성하는
상기 (8) 내지 (11)의 어느 것에 기재된 정보 처리 장치.
(13)
상기 프로세서는, 상기 제1 이벤트 화상의 노이즈를 제거하는 노이즈 제거 처리를 행하는
상기 (8) 내지 (12)의 어느 것에 기재된 정보 처리 장치.
(14)
상기 프로세서는, 프레임 레이트에 대응하는 프레임 레이트 기간 단위로, 상기 이벤트 신호에 기초하여 휘도값을 추정한 재구성 화상을 생성하는
상기 (1) 내지 (13)의 어느 것에 기재된 정보 처리 장치.
(15)
상기 프로세서는, 과거의 모든 상기 이벤트 신호를 사용하여, 상기 재구성 화상을 생성하는
상기 (14)에 기재된 정보 처리 장치.
(16)
상기 프로세서는, 상기 재구성 화상에 기초하여 상기 액적의 폭을 산출하고, 산출한 상기 폭에 기초하여, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하는
상기 (14) 또는 (15)에 기재된 정보 처리 장치.
(17)
상기 프로세서는, 상기 재구성 화상에 기초하여 상기 액적의 체적을 산출하고, 산출한 상기 체적에 기초하여, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하는
상기 (14) 내지 (16)의 어느 것에 기재된 정보 처리 장치.
(18)
상기 프로세서는, 상기 재구성 화상의 생성 타이밍보다 전의 일정 기간 내에 이벤트가 발생하지 않은 화소의 화소값을 제로로 하는 노이즈 제거 처리를 행하는
상기 (14) 내지 (17)의 어느 것에 기재된 정보 처리 장치.
(19)
상기 프로세서는, 이미지 센서로 상기 액적을 촬영한 RGB 화상에도 기초하여, 상기 액적을 검출하는
상기 (1) 내지 (17)의 어느 것에 기재된 정보 처리 장치.
(20)
소정의 액체를 분사하는 디스펜서와,
광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와,
상기 이벤트 신호에 기초하여, 상기 디스펜서로부터 분사된 액적을 검출하는 프로세서
를 구비하는 정보 처리 시스템.
1: 디스펜서 제어 시스템
10: 액적
11: 디스펜서
12: EVS 카메라
13: 제어 장치
14: 디스플레이
21: 기판
22: 컨베이어
61: 조명 장치
101: 전처리부
102: 화상 출력부
103: 액적 검출부
104: 액적 추적부
105: 파라미터 판정부
111: 프레임화 처리부
112: 노이즈 제거 처리부
121: 제1 프레임 처리부
122: 제2 프레임 처리부
201: RGB 카메라
300: EVS 카메라
312: 촬상 소자
365: 신호 처리 회로
501: CPU
502: ROM
503: RAM
506: 입력부
507: 출력부
508: 기억부
509: 통신부

Claims (20)

  1. 광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와,
    상기 이벤트 신호에 기초하여, 디스펜서로부터 분사된 액적을 검출하는 프로세서
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서, 상기 이벤트 센서는, 상기 화소 신호의 읽어내기 방향과 상기 액적의 이동 방향이 일치하도록 배치되어 있는
    정보 처리 장치.
  3. 제1항에 있어서, 상기 이벤트 센서는, 직교하는 2 방향으로부터 상기 액적을 검출하는
    정보 처리 장치.
  4. 제3항에 있어서, 상기 직교하는 2 방향은, 다른 상기 이벤트 센서로 검출되는
    정보 처리 장치.
  5. 제3항에 있어서, 상기 직교하는 2 방향은, 하나의 상기 이벤트 센서로 검출되는
    정보 처리 장치.
  6. 제1항에 있어서, 상기 프로세서는, 또한, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하여 출력하는
    정보 처리 장치.
  7. 제6항에 있어서, 상기 프로세서는, 상기 이벤트 센서로부터의 상기 이벤트 신호를 소정의 적분 시간 단위로 통합한 이벤트 화상을 생성하고, 생성한 상기 이벤트 화상에 기초하여, 상기 제어 정보를 생성하는
    정보 처리 장치.
  8. 제7항에 있어서, 상기 프로세서는, 상기 이벤트 화상으로서, 제1 극성의 휘도 변화인 제1 이벤트의 상기 이벤트 신호에 기초하는 제1 이벤트 화상과, 상기 제1 극성과 반대의 극성인 제2 극성의 휘도 변화인 제2 이벤트의 상기 이벤트 신호에 기초하는 제2 이벤트 화상을 생성하는
    정보 처리 장치.
  9. 제8항에 있어서, 상기 이벤트 화상은, 상기 이벤트 신호가 발생한 화소의 화소값을 1, 상기 이벤트 신호가 발생하지 않는 화소의 화소값을 0으로 하는 2치 화상인
    정보 처리 장치.
  10. 제7항에 있어서, 상기 소정의 적분 시간은, 프레임 레이트에 대응하는 1 프레임 기간보다도 짧은 시간인
    정보 처리 장치.
  11. 제8항에 있어서, 상기 프로세서는, 상기 제1 이벤트가 발생한 화소의 화소값을 제1 휘도값, 상기 제2 이벤트가 발생한 화소의 화소값을 제2 휘도값, 기타의 화소의 화소값을 제3 휘도값으로 한 표시용 화상을 또한 생성하는
    정보 처리 장치.
  12. 제8항에 있어서, 상기 프로세서는, 상기 제1 이벤트 화상에 기초하여, 상기 액적의 궤적 정보를 산출하고, 산출한 상기 궤적 정보에 기초하여, 상기 제어 정보를 생성하는
    정보 처리 장치.
  13. 제8항에 있어서, 상기 프로세서는, 상기 제1 이벤트 화상의 노이즈를 제거하는 노이즈 제거 처리를 행하는
    정보 처리 장치.
  14. 제1항에 있어서, 상기 프로세서는, 프레임 레이트에 대응하는 프레임 레이트 기간 단위로, 상기 이벤트 신호에 기초하여 휘도값을 추정한 재구성 화상을 생성하는
    정보 처리 장치.
  15. 제14항에 있어서, 상기 프로세서는, 과거의 모든 상기 이벤트 신호를 사용하여, 상기 재구성 화상을 생성하는
    정보 처리 장치.
  16. 제14항에 있어서, 상기 프로세서는, 상기 재구성 화상에 기초하여 상기 액적의 폭을 산출하고, 산출한 상기 폭에 기초하여, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하는
    정보 처리 장치.
  17. 제14항에 있어서, 상기 프로세서는, 상기 재구성 화상에 기초하여 상기 액적의 체적을 산출하고, 산출한 상기 체적에 기초하여, 상기 디스펜서에 의한 상기 액적의 분사를 제어하는 제어 정보를 생성하는
    정보 처리 장치.
  18. 제14항에 있어서, 상기 프로세서는, 상기 재구성 화상의 생성 타이밍보다 전의 일정 기간 내에 이벤트가 발생하지 않은 화소의 화소값을 제로로 하는 노이즈 제거 처리를 행하는
    정보 처리 장치.
  19. 제1항에 있어서, 상기 프로세서는, 이미지 센서로 상기 액적을 촬영한 RGB 화상에도 기초하여, 상기 액적을 검출하는
    정보 처리 장치.
  20. 소정의 액체를 분사하는 디스펜서와,
    광신호를 광전 변환하여, 화소 신호를 출력하는 화소를 갖고, 상기 화소 신호에 기초하여, 상기 광신호의 시간적 휘도 변화를 이벤트 신호로서 출력하는 이벤트 센서와,
    상기 이벤트 신호에 기초하여, 상기 디스펜서로부터 분사된 액적을 검출하는 프로세서
    를 구비하는 정보 처리 시스템.
KR1020237007406A 2020-09-25 2021-09-10 정보 처리 장치 및 정보 처리 시스템 KR20230074121A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020161034A JP7317783B2 (ja) 2020-09-25 2020-09-25 情報処理装置
JPJP-P-2020-161034 2020-09-25
PCT/JP2021/033275 WO2022065076A1 (ja) 2020-09-25 2021-09-10 情報処理装置および情報処理システム

Publications (1)

Publication Number Publication Date
KR20230074121A true KR20230074121A (ko) 2023-05-26

Family

ID=80846532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237007406A KR20230074121A (ko) 2020-09-25 2021-09-10 정보 처리 장치 및 정보 처리 시스템

Country Status (7)

Country Link
US (1) US20230353893A1 (ko)
EP (1) EP4219023A4 (ko)
JP (1) JP7317783B2 (ko)
KR (1) KR20230074121A (ko)
CN (1) CN116209527A (ko)
DE (1) DE112021005088T5 (ko)
WO (1) WO2022065076A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023096643A (ja) * 2021-12-27 2023-07-07 株式会社Ｓｃｒｅｅｎホールディングス 動作監視方法および製造装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195402A (ja) 2005-01-13 2006-07-27 Samsung Electronics Co Ltd 液晶滴下量測定システム及びこれを利用した液晶滴下量の測定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2704058B1 (fr) * 1993-04-13 1995-10-13 Toxot Science & Appl Dispositif d'analyse tridimensionnelle et procede de commande de la position des gouttes de liquide dans l'espace.
WO2002040273A2 (en) * 2000-11-09 2002-05-23 Therics, Inc. Method and apparatus for obtaining information about a dispensed fluid during printing
JP2005022222A (ja) 2003-07-01 2005-01-27 Seiko Epson Corp 液滴飛行状態観測方法および液滴飛行状態観測装置
WO2006007706A1 (en) * 2004-07-16 2006-01-26 Dofasco Inc. Monitor system for coating apparatus
US20060071957A1 (en) 2004-10-05 2006-04-06 Applied Materials, Inc. Droplet visualization of inkjetting
JP6867930B2 (ja) 2017-10-30 2021-05-12 株式会社Ｓｃｒｅｅｎホールディングス 液滴撮像装置、液滴特性測定装置、液滴吐出装置、液滴撮像方法、液滴特性測定方法、および液滴吐出方法
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
JP7369517B2 (ja) 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP7285058B2 (ja) 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路
JP2020099015A (ja) 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
US20200005468A1 (en) 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing
CN116018510A (zh) * 2020-08-24 2023-04-25 马兹利特股份有限公司 用于快速移动粒子表征的方法、系统和照明模块

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195402A (ja) 2005-01-13 2006-07-27 Samsung Electronics Co Ltd 液晶滴下量測定システム及びこれを利用した液晶滴下量の測定方法

Also Published As

Publication number Publication date
EP4219023A1 (en) 2023-08-02
DE112021005088T5 (de) 2023-08-17
JP7317783B2 (ja) 2023-07-31
JP2022054057A (ja) 2022-04-06
EP4219023A4 (en) 2024-03-13
CN116209527A (zh) 2023-06-02
WO2022065076A1 (ja) 2022-03-31
US20230353893A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US12010447B2 (en) Dynamic vision sensor architecture
US20060197664A1 (en) Method, system and apparatus for a time stamped visual motion sensor
CN101300830B (zh) 用于实现运动驱动的多张拍摄图像稳定性的系统和方法
US8223235B2 (en) Digital imager with dual rolling shutters
Sarkar et al. Biologically inspired CMOS image sensor for fast motion and polarization detection
CN109903324B (zh) 一种深度图像获取方法及装置
CN111951313B (zh) 图像配准方法、装置、设备及介质
CN103733607A (zh) 用于检测运动物体的装置和方法
CN103379296A (zh) 固体图像传感器和电子设备
KR20210003118A (ko) 비동기식 시간 기반 이미지 감지를 위한 시스템 및 방법
CN102883112A (zh) 固态成像设备、驱动其的方法、以及使用其的电子装置
KR20230074121A (ko) 정보 처리 장치 및 정보 처리 시스템
Ma et al. Burst vision using single-photon cameras
JP3386025B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
US6476860B1 (en) Center of mass detection via an active pixel sensor
EP3872463A1 (en) Light sensor module, method for acquiring light sensor data, electronic equipment, and storage medium
JP7318150B2 (ja) 情報処理装置および情報処理システム
JP2013179614A (ja) 撮像装置
Meynants et al. Sensor for optical flow measurement based on differencing in space and time
JP2019114956A (ja) 画像処理装置、撮像システム、移動体
El Shair et al. High Speed Hybrid Object Tracking Algorithm using Image and Event Data
WO2023099143A1 (en) Sensor device and method for operating a sensor device
Zhang The time stamped architecture for CMOS visual motion sensors
Zhang et al. Novel time-stamped pixel structure for high-speed 2D CMOS visual motion sensor
Gruev et al. On-chip normal flow computation with aperture problem compensation circuitry