KR20230148154A - 정보 처리 장치 - Google Patents

정보 처리 장치 Download PDF

Info

Publication number
KR20230148154A
KR20230148154A KR1020237027354A KR20237027354A KR20230148154A KR 20230148154 A KR20230148154 A KR 20230148154A KR 1020237027354 A KR1020237027354 A KR 1020237027354A KR 20237027354 A KR20237027354 A KR 20237027354A KR 20230148154 A KR20230148154 A KR 20230148154A
Authority
KR
South Korea
Prior art keywords
event
event data
information processing
processing device
grindstone
Prior art date
Application number
KR1020237027354A
Other languages
English (en)
Inventor
다츠야 히가시사카
사토시 이하라
마사루 오자키
야스유키 사토
도모히로 다카하시
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤, 소니그룹주식회사 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230148154A publication Critical patent/KR20230148154A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/003—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving acoustic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/10—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving electrical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B53/00—Devices or means for dressing or conditioning abrasive surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B53/00—Devices or means for dressing or conditioning abrasive surfaces
    • B24B53/001—Devices or means for dressing or conditioning abrasive surfaces involving the use of electric current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)

Abstract

본 기술은, 이벤트 데이터를 사용하여, 보다 간단하게 메인터넌스의 타이밍을 판정할 수 있도록 하는 정보 처리 장치에 관한 것이다. 정보 처리 장치는, 광 신호를 광전 변환한 전기 신호의 시간적 변화를 이벤트 데이터로서 출력하는 이벤트 센서로부터의 이벤트 데이터를 사용하여 지석의 상태를 추정하고, 추정 결과를 출력하는 상태 추정부를 구비한다. 본 기술은, 예를 들어 공작 기계의 지석 메인터넌스 타이밍을 통지하는 정보 처리 시스템 등에 적용할 수 있다.

Description

정보 처리 장치
본 기술은, 정보 처리 장치에 관한 것으로, 특히 이벤트 데이터를 사용하여, 보다 간단하게 메인터넌스의 타이밍을 판정할 수 있도록 한 정보 처리 장치에 관한 것이다.
특허문헌 1에는, 기외 계측 장치에 의해 계측되는 실 표면 조도를 목적 변수, 기내 계측 장치에 의한 계측 데이터를 설명 변수로 한 학습 데이터 세트를 사용하여 기계 학습을 행함으로써 학습 모델을 생성하고, 비접촉식 변위 센서 등의 기내 계측 장치에서 얻어진 계측 데이터로부터, 공작 기계의 메인터넌스의 지원 처리를 행하는 메인터넌스 지원 장치가 개시되어 있다.
일본 특허 공개 제2020-114615호 공보
공작 기계의 메인터넌스의 타이밍은, 보다 간단하게 판정할 수 있는 것이 바람직하다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 이벤트 데이터를 사용하여, 보다 간단하게 메인터넌스의 타이밍을 판정할 수 있도록 하는 것이다.
본 기술의 일 측면의 정보 처리 장치는, 광 신호를 광전 변환한 전기 신호의 시간적 변화를 이벤트 데이터로서 출력하는 이벤트 센서로부터의 상기 이벤트 데이터를 사용하여 지석의 상태를 추정하고, 추정 결과를 출력하는 상태 추정부를 구비한다.
본 기술의 일 측면에 있어서는, 광 신호를 광전 변환한 전기 신호의 시간적 변화가 이벤트 데이터로서 출력되어, 상기 이벤트 데이터를 사용하여 지석의 상태가 추정되고, 추정 결과가 출력된다.
정보 처리 장치는, 독립된 장치여도 되고, 다른 장치에 내장되는 모듈이어도 된다.
도 1은 본 기술을 적용한 정보 처리 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 이벤트 데이터의 예를 도시하는 도면이다.
도 3은 이벤트 데이터로부터 프레임 데이터를 생성하는 방법의 예를 설명하는 도면이다.
도 4는 낙하하는 스파크를 포착한 이벤트 화상을 설명하는 도면이다.
도 5는 정보 처리 장치의 상세 구성예를 도시하는 블록도이다.
도 6은 계측 파라미터와 물리량의 관계를 설명하는 도면이다.
도 7은 계측 파라미터와 물리량의 상관관계를 나타내는 테이블이다.
도 8은 정보 처리 시스템에 의한 메인터넌스 타이밍 판정 처리를 설명하는 흐름도이다.
도 9는 역치 갱신 처리를 설명하는 흐름도이다.
도 10은 본 기술을 적용한 정보 처리 시스템의 제2 실시 형태의 EVS 카메라의 구성예를 도시하는 블록도이다.
도 11은 촬상 소자의 개략 구성예를 도시하는 블록도이다.
도 12는 어드레스 이벤트 검출 회로의 구성예를 도시하는 블록도이다.
도 13은 전류 전압 변환 회로, 감산기 및 양자화기의 상세 구성을 도시하는 회로이다.
도 14는 어드레스 이벤트 검출 회로의 보다 상세한 회로 구성예를 도시하는 도면이다.
도 15는 양자화기의 그 밖의 구성예를 도시하는 회로도이다.
도 16은 도 15의 양자화기를 채용한 경우의 어드레스 이벤트 검출 회로의 보다 상세한 회로 구성예를 도시하는 도면이다.
도 17은 컴퓨터 하드웨어의 구성예를 도시하는 블록도이다.
이하, 첨부 도면을 참조하면서, 본 기술을 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 붙임으로써 중복 설명을 생략한다. 설명은 이하의 순서로 행한다.
1. 정보 처리 시스템의 제1 실시 형태
2. 이벤트 데이터의 예
3. 정보 처리 장치의 구성예
4. 계측 파라미터와 물리량의 관계
5. 메인터넌스 타이밍 판정 처리의 흐름도
6. 역치 갱신 처리의 흐름도
7. 정보 처리 시스템의 제2 실시 형태
8. 정리
9. 컴퓨터 구성예
<1. 정보 처리 시스템의 제1 실시 형태>
도 1은, 본 기술을 적용한 정보 처리 시스템의 제1 실시 형태의 구성예를 도시하고 있다.
도 1의 정보 처리 시스템(1)은, EVS 카메라(11), 정보 처리 장치(12) 및 디스플레이(13)를 갖고, 공작 기계(21)의 지석(22)의 상태를 추정하고, 메인터넌스 타이밍을 통지하는 시스템이다.
공작 기계(21)는, 가공물 W에 대하여, 원통 연삭, 내면 연삭, 평면 연삭 등의 연삭 가공을 행하는 공작 기계이고, 소위 연삭반이다. 공작 기계(21)는, 지석(22)을 고속으로 회전시켜, 가공물 W를 연삭한다. 지석(22)과 가공물 W의 접촉부에는, 상방의 노즐로부터 쿨런트 액(23)이 공급된다. 지석(22)에 의한 가공물 W의 연삭 가공 중, 지석(22)과 가공물 W의 접촉부로부터, 스파크(24)가 발생한다. 스파크(24) 외에, 쿨런트 액(23)도 적하한다.
EVS 카메라(11)는, 광 신호를 광전 변환한 전기 신호의 시간적 변화를 이벤트 데이터로서 출력하는 이벤트 센서를 구비하는 카메라이다. 이러한 이벤트 센서는, EVS(event-based vision sensor)라고도 불린다. 일반적인 이미지 센서를 구비하는 카메라는, 수직 동기 신호에 동기하여 촬영을 행하고, 그 수직 동기 신호의 주기로 1프레임(화면)의 화상 데이터인 프레임 데이터를 출력하거나, EVS 카메라(11)는, 이벤트가 발생한 타이밍에 있어서만 이벤트 데이터를 출력하기 때문에, 비동기형 또는 어드레스 제어형의 카메라라고 할 수 있다.
EVS 카메라(11)는, 연삭 가공 중의 가공물 W와 지석(22)이 촬상 범위가 되도록 설치되어 있고, 연삭 중에 발생하는 스파크(24)나, 낙하하는 쿨런트 액(23)에 의한 광(휘도)의 변화를 이벤트로서 검출하고, 이벤트 데이터를 정보 처리 장치(12)에 출력한다.
정보 처리 장치(12)는, EVS 카메라(11)로부터 출력되어 온 이벤트 데이터에 기초하여, 지석(22)의 상태를 추정한다. 예를 들어, 정보 처리 장치(12)는, 이벤트 데이터를 처리함으로써, 지석(22)에 클로깅이 발생하고 있는 상태인지의 여부를 판정한다. 정보 처리 장치(12)는, 지석(22)에 클로깅이 발생하고 있다고 판정한 경우, 지석(22)의 클로깅 발생의 경고를 출력한다. 경고로서는, 버저 등의 음성 출력이어도 되고, 신호 등의 점등이어도 되고, 경고 메시지의 표시 등, 임의의 방법을 선택할 수 있다. 본 실시 형태에서는, 정보 처리 장치(12)는, 「클로깅 발생. 메인터넌스가 필요합니다.」 등의 메시지(문자)를 디스플레이(13)에 표시시킨다. 또한, 정보 처리 장치(12)는, EVS 카메라(11)로부터의 이벤트 데이터를 사용한 표시용 화상을 생성하고, 디스플레이(13)에 표시시킨다.
<2. 이벤트 데이터의 예>
도 2는, EVS 카메라(11)가 출력하는 이벤트 데이터의 예를 도시하고 있다.
EVS 카메라(11)는, 예를 들어 도 2에 도시되는 바와 같이, 이벤트가 발생한 시각 ti, 이벤트가 발생한 화소의 위치를 나타내는 좌표(xi, yi) 및 이벤트로서의 휘도 변화의 극성 pi를 포함하는 이벤트 데이터를 출력한다.
이벤트의 시각 ti는, 이벤트가 발생했을 때의 시각을 나타내는 타임 스탬프이고, 예를 들어 센서 내의 소정의 클럭 신호에 기초하는 카운터의 카운트값으로 표시된다. 이벤트가 발생한 타이밍에 대응하는 타임 스탬프는, 이벤트끼리의 간격이 이벤트의 발생 시인채로 유지되고 있는 한, 이벤트가 발생한 (상대적인) 시각을 나타내는 시각 정보라고 할 수 있다.
극성 pi는, 소정의 역치(이하, 이벤트 역치라고 칭함)를 초과하는 휘도 변화(광량 변화)가 이벤트로서 발생한 경우의 휘도 변화의 방향을 나타내고, 휘도 변화가 플러스 방향의 변화(이하, 포지티브라고도 함)인지, 또는, 마이너스 방향의 변화(이하, 네거티브라고도 함)인지를 나타낸다. 이벤트의 극성 pi는, 예를 들어 포지티브일 때 "1"로 표시되고, 네거티브일 때 "0"으로 표시된다.
도 2의 이벤트 데이터에 있어서, 어떤 이벤트의 시각 ti와, 그 이벤트에 인접하는 이벤트의 시각 ti+1의 간격은, 일정하다고는 할 수 없다. 즉, 이벤트의 시각 ti와 ti+1,은 동일한 시각인 것도 있고, 다른 시각인 것도 있다. 단, 이벤트의 시각 ti 및 ti+1에 대해서는, 식 ti<=ti+1로 표시되는 관계가 있는 것으로 한다.
EVS 카메라(11)는, 휘도 변화를 검출한 화소의 위치 좌표, 극성 및 시간 정보만을 출력한다. EVS 카메라(11)는, 위치 좌표, 극성 및 시간 정보라고 하는 정미의 변화(차분)만 생성하여 출력하기 때문에, 데이터의 정보량에 용장도가 없고, μsec 오더의 고시간 분해능을 갖는다. 이에 의해, 순간적으로 발생하는 스파크(24)나 쿨런트 액(23) 등을 적확하게 파악할 수 있다.
이벤트 데이터는, 수직 동기 신호에 동기하여, 프레임 주기로 출력되는 프레임 형식의 화상 데이터(프레임 데이터)와 다르게, 이벤트의 발생마다 출력된다. 그 때문에, 이벤트 데이터에 대해서는, 그 상태에서는 프레임 데이터에 대응하는 화상을 표시하는 디스플레이(13)에서 화상을 표시하는 것이나, 식별기(분류기)에 입력하여 화상 처리에 사용할 수 없다. 이벤트 데이터를 디스플레이(13)에 표시시키기 위해서는, 프레임 데이터로 변환할 필요가 있다.
도 3은, 이벤트 데이터로부터 프레임 데이터를 생성하는 방법의 예를 설명하는 도면이다.
도 3에서는, x축, y축 및 시간축 t로 구성되는 3차원 (시)공간에 있어서, 이벤트 데이터로서의 점이, 그 이벤트 데이터에 포함되는 이벤트의 시각 t 및 이벤트의 화소로서의 좌표(x, y)에 플롯되어 있다.
즉, 이벤트 데이터에 포함되는 이벤트의 시각 t 및 이벤트의 화소(x, y)로 표시되는 3차원 공간 상의 위치(x, y, t)를, 이벤트의 시공간 위치라고 하는 것으로 하면, 도 3에서는, 이벤트 데이터가, 이벤트의 시공간 위치(x, y, t)에, 점으로서 플롯되어 있다.
EVS 카메라(11)로부터 출력되는 이벤트 데이터를 화소값으로서, 소정의 프레임 간격마다, 소정의 프레임 간격의 선두로부터 소정의 프레임 폭 내의 이벤트 데이터를 사용하여, 이벤트 화상을 생성할 수 있다.
프레임 폭 및 프레임 간격은, 시간에 의한 지정으로 할 수도 있고, 이벤트 데이터의 수에 의한 지정으로 할 수도 있다. 프레임 폭 및 프레임 간격의 한쪽이, 시간에 의한 지정이고, 다른 쪽이, 이벤트 데이터의 수에 의한 지정이어도 된다.
여기서, 프레임 폭 및 프레임 간격이, 시간에 의한 지정이며, 프레임 폭과 프레임 간격이 동일한 경우, 프레임 볼륨은, 간극 없이 접한 상태로 된다. 또한, 프레임 간격이 프레임 폭보다 큰 경우, 프레임 볼륨은, 간극을 두고 배열한 상태로 된다. 프레임 폭이 프레임 간격보다 큰 경우, 프레임 볼륨은, 일부가 중복되는 형으로 배열한 상태로 된다.
이벤트 화상의 생성은, 예를 들어 이벤트의 위치(x, y)의 프레임의 화소(의 화소값)를 백색으로, 프레임의 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써 행할 수 있다.
그 밖에, 프레임 데이터의 생성은, 이벤트 데이터에 대해서, 이벤트로서의 광량 변화의 극성을 구별하는 경우에는, 예를 들어 극성이 포지티브인 경우에는 화소를 백색으로 세트하고, 극성이 네거티브인 경우에는 화소를 흑색으로 세트하고, 프레임의 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써 행할 수 있다.
도 4는, 낙하하는 하나의 스파크(24)를 포착한 이벤트 화상의 예를 도시하고 있다.
스파크(24)는, 주변의 배경보다도 밝은 광량이 된다. 그 때문에, 하나의 스파크(24)가, 파선의 위치로부터 실선의 위치로 낙하하는 상태를 EVS 카메라(11)가 파악했을 경우, 도 4에 도시되는 바와 같이, 스파크(24)의 진행 방향인 하측 영역에서는, 암에서 명으로의 휘도 변화(광량 변화)가 발생하고, 포지티브 이벤트가 발생한다. 한편, 진행 방향과 반대인 스파크(24)의 상측 영역에서는, 명에서 암으로의 휘도 변화(광량 변화)가 발생하고, 네거티브 이벤트가 발생한다.
디스플레이(13)에 표시되는 표시용 화상으로서, 극성이 포지티브인 화소에 백색을 세트하고, 극성이 네거티브인 화소에 흑색을 세트하고, 프레임이 다른 위치의 화소에는 그레이를 세트한 화상을 생성하면, 도 4의 가장 우측의 화상과 같아진다.
<3. 정보 처리 장치의 구성예>
도 5는, 정보 처리 장치(12)의 상세 구성예를 도시하는 블록도이다.
또한, 도 5에는, EVS 카메라(11) 및 디스플레이(13) 이외에, 옵션으로서 추가 가능한 외부 센서(14)도 도시하고 있다.
정보 처리 장치(12)는, 데이터 취득부(50), 이벤트 데이터 처리부(51), 이벤트 데이터 기억부(52), 화상 생성부(53), 화상 기억부(54) 및 화상 데이터 처리부(55)를 갖고 있다. 또한, 정보 처리 장치(12)는, 지석 상태 추정부(56), 카메라 설정 변경부(57), 특징량 기억부(58) 및 출력부(59)를 갖고 있다.
데이터 취득부(50)는, EVS 카메라(11)로부터 임의의 타이밍에서 출력되어 오는 이벤트 데이터를 취득하고, 이벤트 데이터 처리부(51)와 이벤트 데이터 기억부(52)에 공급한다.
이벤트 데이터 처리부(51)는, 데이터 취득부(50)로부터 공급되는 이벤트 데이터를 사용한 소정의 이벤트 데이터 처리를 실행하고, 처리 후의 데이터를 지석 상태 추정부(56)에 공급한다. 예를 들어, 이벤트 데이터 처리부(51)는, 이벤트 데이터의 발생 빈도인 이벤트 레이트를 산출하고, 지석 상태 추정부(56)에 공급한다.
이벤트 데이터 기억부(52)는, 데이터 취득부(50)로부터 공급되는 이벤트 데이터를 일정 기간 기억하고, 화상 생성부(53)에 공급한다. 화상 생성부(53)는, 이벤트 데이터 기억부(52)에 기억된 이벤트 데이터를 사용하여, 이벤트 화상을 생성한다. 즉, 화상 생성부(53)는, 이벤트 데이터 기억부(52)에 기억된 이벤트 데이터 중, 소정의 프레임 간격의 선두로부터 소정의 프레임 폭 내의 이벤트 데이터를 사용하여, 이벤트 화상을 생성한다. 소정의 프레임 간격마다 생성되는 이벤트 화상은, 화상 기억부(54)에 공급된다. 화상 기억부(54)는, 화상 생성부(53)로부터 공급되는 이벤트 화상을 기억한다.
화상 데이터 처리부(55)는, 화상 기억부(54)에 기억되어 있는 이벤트 화상을 사용한 소정의 화상 데이터 처리를 실행한다. 예를 들어, 화상 데이터 처리부(55)는, 이벤트 화상 내의 스파크(24)의 수, 사이즈, 속도, 비상 거리 및 비상 각도를 산출하고, 산출 결과를 지석 상태 추정부(56)에 공급한다. 스파크(24)의 수는, 예를 들어 이벤트 화상 내에서 검출된 스파크(24)의 개수를 나타낸다. 스파크(24)의 사이즈는, 예를 들어 이벤트 화상 내에서 검출된 스파크(24)의 외형 사이즈(세로 사이즈와 가로 사이즈)를 나타낸다. 스파크(24)의 속도는, 복수매의 이벤트 화상에 있어서 검출되는 동일한 스파크(24)의 위치로부터 산출되는 이동 속도를 나타낸다. 스파크(24)의 비상 거리는, 스파크(24)가 최초에 검출된 위치로부터, 소멸하기 직전의 위치까지의 거리를 나타낸다. 스파크(24)의 비상 각도는, 스파크(24)가 최초에 검출된 위치를 시점, 소멸하는 직전의 위치를 종점으로 하는 방향과, 연직 하측 방향 사이의 각도를 나타낸다.
정보 처리 장치(12)는, 이벤트 역치의 설정값에 따라서는, 스파크(24)뿐만 아니라, 쿨런트 액(23)도 이벤트로서 검출할 수 있다. 이벤트 데이터로서 쿨런트 액(23)도 검출하는 것과 같은 역치 설정의 경우에는, 화상 데이터 처리부(55)는, 이벤트 화상에 기초하여, 쿨런트 액(23)의 수, 사이즈 및 속도도 산출하고, 산출 결과를 지석 상태 추정부(56)에 공급한다.
이하에서는, 스파크(24)와 쿨런트 액(23)의 수, 사이즈 및 속도를 구별하기 위해서, 스파크(24)에 대해서는, 스파크 수, 스파크 사이즈, 스파크 속도라고 칭하고, 쿨런트 액(23)에 대해서는, 액적 수, 액적 사이즈, 액적 속도라고 칭하는 경우가 있다.
지석 상태 추정부(56)는, 이벤트 데이터 처리부(51) 또는 화상 데이터 처리부(55)로부터 공급되는 이벤트 처리 데이터를 사용하여, 지석(22)의 상태를 추정한다. 구체적으로는, 지석 상태 추정부(56)는, 이벤트 레이트, 스파크 수, 스파크 사이즈 및 스파크 속도 중 적어도 하나의 특징량을 사용하여, 지석(22)에 클로깅이 발생하고 있는 상태인지의 여부를 판정한다.
예를 들어, 지석 상태 추정부(56)는, 스파크 사이즈가, 미리 결정된 제1 상태 판정 역치 VS1 이하인지의 여부를 판정하고, 스파크 사이즈가 제1 상태 판정 역치 VS1 이하라고 판정된 경우, 지석(22)에 클로깅이 발생하고 있다고 판정한다.
또한 예를 들어, 지석 상태 추정부(56)는, 스파크 수와 스파크 사이즈를, 미리 결정된 상태 판정 역치와 비교한다. 구체적으로는, 지석 상태 추정부(56)는, 스파크 수가 제1 상태 판정 역치 VS2 이하이고, 또한, 스파크 사이즈가 제2 상태 판정 역치 VS3 이하인지의 여부를 판정한다. 스파크 수가 제1 상태 판정 역치 VS2 이하이고, 또한, 스파크 사이즈가 제2 상태 판정 역치 VS3 이하라고 판정된 경우, 지석 상태 추정부(56)는, 지석(22)에 클로깅이 발생하고 있다고 판정한다.
지석 상태 추정부(56)는, 지석(22)에 클로깅이 발생하고 있다고 판정된 경우, 「클로깅 발생. 메인터넌스가 필요합니다.」 등의 경고 화상을 생성하고, 출력부(59)를 통해, 디스플레이(13)에 출력한다. 또한, 지석 상태 추정부(56)는, 지석(22)의 상태가 정상 상태라고 판정되어 있는 경우에는, 표시용 화상을 소정의 프레임 레이트로 생성하고, 출력부(59)를 통해, 디스플레이(13)에 출력해도 된다.
또한, 지석 상태 추정부(56)는, 이벤트 데이터 처리부(51) 또는 화상 데이터 처리부(55)로부터 공급되는 이벤트 처리 데이터에 기초하여, EVS 카메라(11)의 이벤트 역치를 조정하는 기능도 갖고 있다. 예를 들어, 지석 상태 추정부(56)는, 이벤트 데이터 처리부(51)로부터 공급되는 이벤트 레이트에 기초하여, 이벤트 역치의 증감을 카메라 설정 변경부(57)에 지시한다. 카메라 설정 변경부(57)는, 지석 상태 추정부(56)로부터의 이벤트 역치의 증감의 지시에 기초하여, EVS 카메라(11)의 이벤트 역치를 변경한다.
특징량 기억부(58)는, 지석 상태 추정부(56)가 이벤트 데이터 처리부(51) 또는 화상 데이터 처리부(55)로부터 취득한 특징량을 기억하는 기억부이다.
출력부(59)는, 지석 상태 추정부(56)로부터 공급되는 경고 화상을 디스플레이(13)에 출력한다. 또한, 출력부(59)는, 이벤트 화상이나 표시용 화상을 디스플레이(13)에 출력해도 된다.
정보 처리 장치(12)는, 이상과 같이 구성되고, EVS 카메라(11)로부터 출력되어 온 이벤트 데이터에 기초하여, 지석(22)의 상태를 추정하고, 지석(22)의 클로깅 발생 등을 검출할 수 있다. 정보 처리 장치(12)는, 경고 화상을 디스플레이(13)에 표시시킴으로써, 작업자에게 메인터넌스를 재촉할 수 있다.
또한, 정보 처리 장치(12)는, 외부 센서(14)를 접속하고, EVS 카메라(11)로부터 출력되어 오는 이벤트 데이터에 추가하여, 외부 센서(14)에서 얻어지는 센서 데이터도 사용하여, 지석(22)의 상태를 추정할 수도 있다. 외부 센서(14)로서는, 예를 들어 연삭 중의 소리를 검지하는 마이크로폰이나, 온도를 측정하는 원적외선 센서 등을 채용할 수 있다. 물론, 외부 센서(14)는, 마이크로폰, 원적외선 센서 이외의 센서여도 된다.
외부 센서(14)가 정보 처리 장치(12)에 접속된 경우, 외부 센서(14)에서 생성된 센서 데이터는, 지석 상태 추정부(56)에 공급된다. 지석 상태 추정부(56)는, 외부 센서(14)로부터 공급되는 센서 데이터와, 이벤트 데이터 처리부(51) 또는 화상 데이터 처리부(55)로부터 공급되는 이벤트 처리 데이터를 사용하여, 지석(22)의 상태를 추정한다.
<4. 계측 파라미터와 물리량의 관계>
도 6은, EVS 카메라(11)(이벤트 센서)로 측정 가능한 파라미터(계측 파라미터)와, 공작 기계(21)의 연삭 가공에 관한 물리량의 관계를 설명하는 도면이다.
도 6에서는, EVS 카메라(11)로 계측 가능한 항목이, 굵은 선으로 둘러싸여 나타나 있다.
공작 기계(21)의 메인터넌스의 필요 여부를 판정하기 위한 측정 장치로서는, 예를 들어 도 6의 가장 우측의 열에 기재되는 것과 같은, 표면 조도계, RGB 카메라, 열전대, 서모그래피 등을 들 수 있다. 본 실시 형태에서는, 이들의 측정 장치 대신에 EVS 카메라(11)(이벤트 센서)가 채용된다.
EVS 카메라(11)는, 이벤트 데이터를 생성하여 출력할 수 있다. 이벤트 데이터에는, 스파크(24)의 이벤트 데이터와 쿨런트 액(23)의 이벤트 데이터가 포함된다. 환경 광이나 장치의 진동에 기인하는 이벤트가 검출되는 경우도 있다. 환경 광이나 장치의 진동에 기인하는 이벤트는 노이즈에 상당하므로, 이벤트 역치를 적절하게 설정함으로써 제외할 수 있다.
스파크(24)의 이벤트 데이터에서는, 계측 파라미터로서, 스파크 수, 스파크 사이즈, 스파크 속도 및 스파크 파열 모드를 측정할 수 있다. 스파크 파열 모드는, 스파크(24)의 파열(갈라진 형태)의 특징을 나타내는 분류이다. 가공물 W의 재질에 의해 스파크 파열 모드가 다르다. 스파크 파열 모드를 검출함으로써, 가공물 W의 재질을 특정할 수 있다.
스파크 수는, 지립 탈락 빈도나 연삭 주속도, 가공 조건인 이송 속도에 관계된다. 스파크 사이즈는, 지석(22)의 지립의 입경, 가공 조건인 이송 속도나 절입량에 관계된다. 스파크 속도는, 연삭 주속도에 관계된다. 지립 탈락 빈도는, 지석(22)의 결합제의 결합도나 기공의 기공률에 관계되고, 연삭 주속도는, 가공 조건인 가공물 W의 주속도, 지석(22)의 주속도에 관계된다.
쿨런트 액(23)의 이벤트 데이터에서는, 계측 파라미터로서, 액적 수, 액적 사이즈 및 액적 속도를 측정할 수 있다. 액적 수, 액적 사이즈 및 액적 속도는, 쿨런트 액(23)의 유량에 관계된다.
공작 기계(21)의 지석(22)의 메인터넌스로서, 특히 지석(22)의 클로깅에 착안하면, 지석(22)의 클로깅은, 스파크(24)의 이벤트 데이터에서 측정 가능한 스파크 사이즈가 크게 관련된다. 스파크 사이즈는, 물리량으로 말하면, 지립의 입경에 크게 관계된다.
도 7은, 도 6에 있어서 굵은 선 프레임으로 나타낸, 이벤트 데이터에 기초하여 측정 가능한 계측 파라미터와, 거기에 관련되는 물리량의 상관관계를 나타내는 테이블이다.
도 7에서는, 테이블의 좌측에 나타낸 물리량의 값과, 테이블의 상측에 나타낸 계측 파라미터 사이에 정의 상관이 있는 경우에는, "+"로 표시되고, 부의 상관이 있는 경우에는, "-"로 표시되고, 정부 이외의 상관이 있는 경우에는, "○"로 표시되어 있다.
예를 들어, 지석(22)의 지립 입경과 스파크 사이즈는, 지립이 커지면, 스파크 사이즈도 커지는 상관관계를 갖는다. 결합제의 결합도와 스파크 수는, 결합도가 높아지면, 스파크 수가 커지는 상관관계를 갖는다. 기공의 기공률과 스파크 수 및 스파크 사이즈는, 기공률이 높아지면, 스파크 수 및 스파크 사이즈가 적어지는 상관관계를 갖는다.
예를 들어, 쿨런트 액(23)의 유량과 액적 수 및 액적 속도는, 유량이 커지면, 액적 수 및 액적 속도도 커지는 상관관계를 갖는다.
도 7에 도시되는 바와 같은, 이벤트 데이터에서 측정 가능한 계측 파라미터와, 물리량의 상관관계에 따라, 지석 상태 추정부(56)는, 이벤트 데이터의 데이터 처리 결과로부터, 물리량을 추정하고, 메인터넌스의 타이밍을 판정할 수 있다.
<5. 메인터넌스 타이밍 판정 처리의 흐름도>
이어서, 도 8의 흐름도를 참조하여, 정보 처리 시스템(1)에 의한 메인터넌스 타이밍 판정 처리에 대하여 설명한다. 이 처리는, 예를 들어 EVS 카메라(11) 및 정보 처리 장치(12)가 기동(전원 온)되었을 때 개시된다.
처음에, 스텝 S11에 있어서, 데이터 취득부(50)는, EVS 카메라(11)로부터 임의의 타이밍에서 출력되어 오는 이벤트 데이터를 취득하고, 이벤트 데이터 처리부(51)와 이벤트 데이터 기억부(52)에 공급한다.
스텝 S12에 있어서, 이벤트 데이터 처리부(51)는, 데이터 취득부(50)로부터 공급된 이벤트 데이터를 사용한 소정의 이벤트 데이터 처리를 실행하고, 처리 후의 데이터를 지석 상태 추정부(56)에 공급한다. 예를 들어, 이벤트 데이터 처리부(51)는, 이벤트 데이터의 발생 빈도인 이벤트 레이트를 산출하고, 지석 상태 추정부(56)에 공급한다.
스텝 S13에 있어서, 이벤트 데이터 기억부(52)는, 데이터 취득부(50)로부터 공급된 이벤트 데이터를 일정 기간 기억하고, 화상 생성부(53)에 공급한다. 화상 생성부(53)는, 이벤트 데이터 기억부(52)에 기억된 이벤트 데이터를 사용하여, 이벤트 화상을 생성하고, 화상 기억부(54)에 공급한다.
스텝 S14에 있어서, 화상 데이터 처리부(55)는, 화상 기억부(54)에 기억되어 있는 이벤트 화상을 사용한 소정의 화상 데이터 처리를 실행한다. 예를 들어, 화상 데이터 처리부(55)는, 이벤트 화상 내의 스파크(24)의 수, 사이즈, 속도, 비상 거리 및 비상 각도를 산출하고, 산출 결과를 지석 상태 추정부(56)에 공급한다.
스텝 S15에 있어서, 지석 상태 추정부(56)는, 이벤트 데이터 처리부(51) 또는 화상 데이터 처리부(55)로부터 공급된 이벤트 처리 데이터를 사용하여, 지석(22)의 상태를 추정하는 지석 상태 추정 처리를 실행한다. 예를 들어, 지석 상태 추정부(56)는, 지석 상태 추정 처리로서, 스파크 사이즈가 제1 상태 판정 역치 VS1 이하인지의 여부를 판정한다. 혹은 또한, 지석 상태 추정부(56)는, 지석 상태 추정 처리로서, 스파크 수가 제1 상태 판정 역치 VS2 이하이고, 또한, 스파크 사이즈가 제2 상태 판정 역치 VS3 이하인지의 여부를 판정한다.
스텝 S16에 있어서, 지석 상태 추정부(56)는, 지석 상태 추정 처리의 결과에 기초하여, 지석(22)에 클로깅이 발생하고 있는지의 여부를 판정한다.
스텝 S16에서, 지석(22)에 클로깅이 발생하고 있지 않다고 판정된 경우, 처리는 스텝 S11로 복귀하고, 상술한 스텝 S11 내지 S16의 처리가 다시 실행된다. 또한, 지석(22)에 클로깅이 발생하고 있지 않은 정상 상태인 경우에는, 이벤트 데이터에 기초하여 생성된 표시용 화상이나, 화상 생성부(53)에서 생성된 이벤트 화상 등을, 출력부(59)를 통해 디스플레이(13)에 공급하고, 표시시켜도 된다.
한편, 스텝 S16에서, 지석(22)에 클로깅이 발생하고 있다고 판정된 경우, 처리는 스텝 S17로 진행되고, 지석 상태 추정부(56)는, 지석(22)의 클로깅 경고를 통지한다. 예를 들어, 지석 상태 추정부(56)는, 「클로깅 발생. 메인터넌스가 필요합니다.」 등의 경고 화상을 생성하고, 출력부(59)를 통해, 디스플레이(13)에 출력한다. 디스플레이(13)는, 정보 처리 장치(12)로부터 공급되는 경고 화상을 표시한다.
정보 처리 시스템(1)에 의한 메인터넌스 타이밍 판정 처리는, 이상과 같이 실행된다. 상기 처리에 의해, 디스플레이(13)에 표시된 경고 화상을 확인한 작업자는, 메인터넌스의 타이밍인 것을 파악하고, 지석(22)의 드레싱 등을 행한다.
<학습 모델을 사용한 지석 상태 추정 처리>
상술한 지석 상태 추정 처리에서는, 스파크(24)의 수, 사이즈, 속도, 비상 거리 및 비상 각도나, 쿨런트 액(23)의 수, 사이즈 및 속도의 적어도 하나를 특징량으로서 사용하여, 특징량을, 미리 결정한 소정의 역치로 판정하는 역치 판정 처리에 의해, 지석(22)의 상태가 추정되었다.
그 밖에, 지석(22)의 상태를 추정하는 지석 상태 추정 처리로서, 기계 학습을 행함으로써 생성한 학습 모델을 사용하여, 지석(22)의 상태를 추정하고, 메인터넌스의 타이밍을 판정해도 된다. 예를 들어, 지석 상태 추정부(56)는, 지석(22)에 클로깅 등이 발생하고, 메인터넌스가 필요한 지석(22)을 사용한 연삭 중에 얻어진 이벤트 데이터와, 지석(22)이 정상 상태(메인터넌스 불필요의 상태)일 때의 연삭 중에 얻어진 이벤트 데이터를 사용하여, 메인터넌스의 필요 여부를 교사 데이터로 하는 기계 학습에 의해 학습 모델을 생성한다. 지석 상태 추정부(56)는, 생성된 학습 모델을 사용하여, 입력되는 이벤트 데이터에 기초하여, 지석(22)의 메인터넌스의 필요 여부를 추정한다. 혹은 또한, 학습 모델을 생성할 때의 교사 데이터로서, 이벤트 데이터 자체가 아닌, 스파크(24)의 수, 사이즈, 속도, 비상 거리 및 비상 각도 등의 특징량을 사용해도 된다. 학습 모델은, 메인터넌스의 필요 여부뿐만 아니라, 클로깅되고, 둘링, 셰딩 등의 지석(22)의 상태를 판정할 수 있도록 학습해도 된다.
<외부 센서 데이터를 사용한 지석 상태 추정 처리>
또한, 정보 처리 장치(12)에 외부 센서(14)가 접속되어 있는 경우에는, 이벤트 데이터의 데이터 처리 결과에 추가하여, 외부 센서(14)에서 얻어지는 센서 데이터도 사용하여, 지석(22)의 상태를 추정해도 된다. 이벤트 데이터의 데이터 처리 결과와 센서 데이터를 사용한 지석 상태 추정 처리는, 역치 판정 처리여도 되고, 학습 모델을 사용한 판정 처리여도 된다.
<6. 역치 갱신 처리의 흐름도>
이어서, 도 9의 흐름도를 참조하여, 이벤트 역치를 동적으로 변경하는 역치 갱신 처리에 대하여 설명한다. 이 처리는, 예를 들어 도 8에서 설명한 메인터넌스 타이밍 판정 처리와 함께 개시되고, 메인터넌스 타이밍 판정 처리와 병행하여 실행된다.
처음에, 스텝 S31에 있어서, 지석 상태 추정부(56)는, 이벤트 데이터 또는 이벤트 화상의 데이터 처리 결과를 취득한다. 이 스텝 S31의 처리는, 병행하여 실행되는 도 8의 메인터넌스 타이밍 판정 처리에 포함되기 때문에, 실질적으로는 생략할 수 있다. 또한, 지석 상태 추정부(56)는, EVS 카메라(11)로부터 출력되어 온 이벤트 데이터 자체에 대해서도, 이벤트 데이터 처리부(51)를 통해 취득해도 된다.
스텝 S32에 있어서, 지석 상태 추정부(56)는, 취득한 데이터 처리 결과를 사용하여, 쿨런트 액(23)의 영향도를 산출한다. 예를 들어, 지석 상태 추정부(56)는, 이벤트 데이터 처리부(51)로부터 공급된 이벤트 레이트를 사용하는 경우, 스파크(24)가 나오고 있지 않은 상태의 이벤트 레이트로부터, 쿨런트 액(23)의 영향도를 산출할 수 있다. 또한 예를 들어, 이벤트 화상의 데이터 처리 결과를 사용하는 경우, 지석 상태 추정부(56)는, 스파크 수와 액적 수의 비율에 기초하여, 쿨런트 액(23)의 영향도를 산출할 수 있다. 스파크(24)와 쿨런트 액(23)은, 예를 들어 사이즈에 의해 분류할 수 있다.
스텝 S33에 있어서, 지석 상태 추정부(56)는, 이벤트 역치를 변경할지의 여부를 판정한다. 예를 들어, 지석 상태 추정부(56)는, 현 상황, 스파크(24)와 쿨런트 액(23)의 양쪽이 이벤트로서 검출되고 있는 상태로부터, 스파크(24)만을 검출하고 싶은 경우, 이벤트 역치를 변경한다고 판정한다. 이 경우, 이벤트 역치는 현재의 값으로부터 올라가는 방향으로 조정된다. 혹은 또한, 현 상황, 스파크(24)만이 검출되고 있는 상태로부터, 스파크(24)와 쿨런트 액(23)의 양쪽을 검출하도록 하고자 하는 경우, 이벤트 역치를 변경한다고 판정한다. 이 경우, 이벤트 역치는 현재의 값으로부터 내려가는 방향으로 조정된다.
스텝 S33에서, 이벤트 역치를 변경하지 않는다고 판정된 경우, 처리는 스텝 S31로 복귀하고, 상술한 스텝 S31 내지 S33의 처리가 다시 실행된다.
한편, 스텝 S33에서, 이벤트 역치를 변경한다고 판정된 경우, 처리는 스텝 S34로 진행하고, 지석 상태 추정부(56)는, 이벤트 역치의 증감을 카메라 설정 변경부(57)에 지시한다. 카메라 설정 변경부(57)는, 새로운 이벤트 역치를 EVS 카메라(11)에 공급함으로써, 새로운 이벤트 역치를 설정한다. 새로운 이벤트 역치는, 예를 들어 지시된 증감 방향으로 미리 결정된 변경 폭으로 변경한 값이 된다.
이상의 역치 갱신 처리에 의하면, 지석 상태 추정 처리와 병행하여, 이벤트의 검출 상황에 기초하여 이벤트 역치를 조정할 수 있다. 스파크(24)와 쿨런트 액(23)의 양쪽을 이벤트로서 검출할지, 또는, 스파크(24)만을 이벤트로서 검출할지는, 예를 들어 동작 모드의 설정에 의해, 미리 정보 처리 장치(12)에 지정해 둘 수 있다.
<7. 정보 처리 시스템의 제2 실시 형태>
이어서, 본 기술을 적용한 정보 처리 시스템의 제2 실시 형태에 대하여 설명한다.
도 1에 도시한 정보 처리 시스템의 제1 실시 형태에서는, EVS 카메라(11)가 스파크(24) 등의 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 정보 처리 장치(12)에 출력하고, 정보 처리 장치(12)가, 이벤트 데이터를 사용하여 지석(22)의 상태를 추정하는 처리를 실행하였다.
이에 비해, 이하에서 설명하는 제2 실시 형태의 정보 처리 시스템(1)에서는, 이벤트 데이터를 사용하여 지석(22)의 상태를 추정하는 처리도, EVS 카메라 내에서 행해진다. 바꾸어 말하면, 제1 실시 형태에 있어서의 EVS 카메라(11)와 정보 처리 장치(12)가, 도 10에 도시하는 1대의 EVS 카메라(300)로 치환된다.
<EVS 카메라의 구성예>
도 10에 도시되는 EVS 카메라(300)는, 이벤트 센서와, 제1 실시 형태에 있어서의 정보 처리 장치(12)의 기능을 실행하는 처리부를 구비하는 촬상 장치이다. EVS 카메라(300)는, 도 1의 EVS 카메라(11)와 동일 위치에 설치되어, 스파크(24)가나 쿨런트 액(23)의 휘도 변화를 이벤트로서 검출하고, 이벤트 데이터를 생성한다. 또한, EVS 카메라(300)는, 이벤트 데이터에 기초하여, 지석(22)의 상태를 추정하는 지석 상태 추정 처리를 실행하고, 지석 상태 추정 처리의 결과에 기초하여, 메인터넌스 경고를 출력한다. 예를 들어, 메인터넌스가 필요하다고 판정된 경우, EVS 카메라(300)는, 「클로깅 발생. 메인터넌스가 필요합니다.」 등의 경고 화상을 디스플레이(13)에 표시시킨다. 또한, EVS 카메라(300)는, 이벤트 데이터에 기초하여, 작업자가 모니터링하기 위한 표시용 화상을 생성하고, 디스플레이(13)에 표시시킬 수도 있다.
EVS 카메라(300)는, 광학부(311), 촬상 소자(312), 제어부(313), 및 데이터 처리부(314)를 구비한다.
광학부(311)는, 피사체로부터의 광을 집광하여 촬상 소자(312)에 입사시킨다. 촬상 소자(312)는, 광학부(311)를 통해 입사되는 입사광을 광전 변환하여 이벤트 데이터를 생성하고, 데이터 처리부(314)에 공급한다. 촬상 소자(312)는, 화소의 휘도 변화를 이벤트로서, 이벤트의 발생을 나타내는 이벤트 데이터를 출력하는 수광 소자이다.
제어부(313)는, 촬상 소자(312)를 제어한다. 예를 들어, 제어부(313)는, 촬상 소자(312)에 대하여 촬상의 개시 및 종료를 지시한다.
데이터 처리부(314)는, 예를 들어 FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor), 마이크로프로세서 등에 의해 구성되고, 제1 실시 형태에 있어서 정보 처리 장치(12)가 행하는 처리를 실행한다. 데이터 처리부(314)는, 이벤트 데이터 처리부(321)와 기록부(322)를 구비한다. 예를 들어, 이벤트 데이터 처리부(321)는, 촬상 소자(312)로부터 공급되는 이벤트 데이터를 사용한 이벤트 데이터 처리, 이벤트 화상을 사용한 화상 데이터 처리, 지석(22)의 상태를 추정하는 지석 상태 추정 처리 등을 행한다. 기록부(322)는, 제1 실시 형태에 있어서의 이벤트 데이터 기억부(52), 화상 기억부(54), 및 특징량 기억부(58)에 상당하고, 소정의 데이터를 필요에 따라서 소정의 기록 매체에 기록하여 축적한다.
<촬상 소자의 구성예>
도 11은, 촬상 소자(312)의 개략 구성예를 도시하는 블록도이다.
촬상 소자(312)는, 화소 어레이부(341), 구동부(342), Y 아비터(343), X 아비터(344) 및 출력부(345)를 구비한다.
화소 어레이부(341)에는, 복수의 화소(361)가 이차원 격자상으로 배열되어 있다. 각 화소(361)는, 광전 변환 소자로서의 포토다이오드(371)와, 어드레스 이벤트 검출 회로(372)를 구비한다. 어드레스 이벤트 검출 회로(372)는, 포토다이오드(371)의 광전 변환에 의해 생성되는 전기 신호로서의 광전류에 소정의 역치를 초과하는 변화가 발생한 경우에, 그 광전류의 변화를 이벤트로서 검출한다. 이벤트가 검출된 경우, 어드레스 이벤트 검출 회로(372)는, 이벤트의 발생을 나타내는 이벤트 데이터의 출력을 요구하는 리퀘스트를 Y 아비터(343) 및 X 아비터(344)에 출력한다.
구동부(342)는, 화소 어레이부(341)의 각 화소(361)에 제어 신호를 공급함으로써, 화소 어레이부(341)를 구동한다.
Y 아비터(343)는, 화소 어레이부(341) 내의 동일 행의 화소(361)로부터의 리퀘스트를 조정하고, 이벤트 데이터의 출력 허가 또는 불허가를 나타내는 응답을, 리퀘스트를 송신해 온 화소(361)에 돌려준다. X 아비터(344)는, 화소 어레이부(341) 내의 동일 열의 화소(361)로부터의 리퀘스트를 조정하고, 이벤트 데이터의 출력 허가 또는 불허가를 나타내는 응답을, 리퀘스트를 송신해 온 화소(361)에 돌려준다. Y 아비터(343)와 X 아비터(344)의 양쪽으로부터 허가의 응답이 회신된 화소(361)가, 이벤트 데이터를 출력부(345)에 출력할 수 있다.
또한, 촬상 소자(312)는, Y 아비터(343)와 X 아비터(344)의 어느 한쪽만을 구비하는 구성으로 해도 된다. 예를 들어, X 아비터(344)만으로 구성되는 경우, 리퀘스트를 송신해 온 화소(361)를 포함하는 동일 열의 모든 화소(361)의 데이터가 출력부(345)에 전송된다. 그리고, 출력부(345) 또는 후단의 데이터 처리부(314)(도 10)에 있어서, 실제로 이벤트를 발한 화소(361)의 이벤트 데이터만이 선택된다. Y 아비터(343)만으로 구성되는 경우에는, 행 단위로 화소 데이터가 출력부(345)에 전송되고, 후단에서 필요한 화소(361)의 이벤트 데이터만이 선택된다.
출력부(345)는, 화소 어레이부(341)를 구성하는 각 화소(361)가 출력하는 이벤트 데이터에 필요한 처리를 실시하고, 데이터 처리부(314)(도 10)에 공급한다.
<어드레스 이벤트 검출 회로의 구성예>
도 12는, 어드레스 이벤트 검출 회로(372)의 구성예를 도시하는 블록도이다.
어드레스 이벤트 검출 회로(372)는, 전류 전압 변환 회로(381), 버퍼(382), 감산기(383), 양자화기(384) 및 전송 회로(385)를 구비한다.
전류 전압 변환 회로(381)는, 대응하는 포토다이오드(371)로부터의 광전류를 전압 신호로 변환한다. 전류 전압 변환 회로(381)는, 광전류의 대수값에 따른 전압 신호를 생성하고, 버퍼(382)에 출력한다.
버퍼(382)는, 전류 전압 변환 회로(381)로부터의 전압 신호를 버퍼링하고, 감산기(383)에 출력한다. 이 버퍼(382)에 의해, 후단의 스위칭 동작에 수반하는 노이즈의 아이솔레이션을 확보함과 함께, 후단을 구동하는 구동력을 향상시킬 수 있다. 또한, 이 버퍼(382)는, 생략할 수도 있다.
감산기(383)는, 구동부(342)로부터의 제어 신호를 따라서 버퍼(382)로부터의 전압 신호의 레벨을 저하시킨다. 감산기(383)는, 저하 후의 전압 신호를 양자화기(384)에 출력한다.
양자화기(384)는, 감산기(383)로부터의 전압 신호를 디지털 신호로 양자화하고, 이벤트 데이터로서 전송 회로(385)에 공급한다. 전송 회로(385)는, 이벤트 데이터를, 출력부(345)에 전송(출력)한다. 즉, 전송 회로(385)는, 이벤트 데이터의 출력을 요구하는 리퀘스트를, Y 아비터(343) 및 X 아비터(344)에 공급한다. 그리고, 전송 회로(385)는 리퀘스트에 대하여, 이벤트 데이터의 출력을 허가하는 취지의 응답을 Y 아비터(343) 및 X 아비터(344)로부터 수취하면, 이벤트 데이터를 출력부(345)에 전송한다.
<어드레스 이벤트 검출 회로의 상세 구성예>
도 13은, 전류 전압 변환 회로(381), 감산기(383) 및 양자화기(384)의 상세 구성을 도시하는 회로이다. 도 13에서는, 전류 전압 변환 회로(381)와 접속되어 있는 포토다이오드(371)도 도시되어 있다.
전류 전압 변환 회로(381)는, FET(411 내지 413)로 구성된다. FET(411 및 413)로서는, 예를 들어 N형의 MOS(NMOS) FET를 채용할 수 있고, FET(412)로서는, 예를 들어 P형의 MOS(PMOS) FET를 채용할 수 있다.
포토다이오드(371)는, 입사하는 광을 수광하고, 광전 변환을 행하여, 전기 신호로서의 광전류를 생성하여 흘린다. 전류 전압 변환 회로(381)는 포토다이오드(371)로부터의 광전류를, 그 광전류의 대수에 대응하는 전압(이하, 광전압이라고도 함) VLOG로 변환하고, 버퍼(382)에 출력한다.
FET(411)의 소스는, FET(413)의 게이트와 접속되고, FET(411)의 소스와 FET(413)의 게이트의 접속점에는, 포토다이오드(371)에 의한 광전류가 흐른다. FET(411)의 드레인은, 전원 VDD에 접속되고, 그 게이트는, FET(413)의 드레인에 접속된다.
FET(412)의 소스는, 전원 VDD에 접속되고, 그 드레인은, FET(411)의 게이트와 FET(413)의 드레인의 접속점에 접속된다. FET(412)의 게이트에는, 소정의 바이어스 전압 Vbias가 인가된다. FET(413)의 소스는 접지된다.
FET(411)의 드레인은 전원 VDD측에 접속되어 있고, 소스 폴로워가 되고 있다. 소스 폴로워가 되고 있는 FET(411)의 소스에는, 포토다이오드(371)가 접속되고, 이에 의해, FET(411)(의 드레인으로부터 소스)에는, 포토다이오드(371)의 광전 변환에 의해 생성되는 전하에 의한 광전류가 흐른다. FET(411)는, 서브스레숄드 영역에서 동작하고, FET(411)의 게이트에는, 그 FET(411)에 흐르는 광전류의 대수에 대응하는 광전압 VLOG가 나타난다. 이상과 같이, 포토다이오드(371)에서는, FET(411)에 의해, 포토다이오드(371)로부터의 광전류가, 그 광전류의 대수에 대응하는 광전압 VLOG로 변환된다.
광전압 VLOG는, FET(411)의 게이트와 FET(413)의 드레인의 접속점으로부터, 버퍼(382)를 통해, 감산기(383)에 출력된다.
감산기(383)는, 전류 전압 변환 회로(381)로부터의 광전압 VLOG에 대해서, 현재의 광전압과, 현재와 미소 시간만큼 다른 타이밍의 광전압의 차를 연산하여, 그 차에 대응하는 차 신호 Vdiff를 출력한다.
감산기(383)는, 콘덴서(431), 연산 증폭기(432), 콘덴서(433) 및 스위치(434)를 구비한다. 양자화기(384)는, 비교기(451 및 452)를 구비한다.
콘덴서(431)의 일단부는, 버퍼(382)의 출력에 접속되고, 타단부는, 연산 증폭기(432)의 입력 단자에 접속된다. 따라서, 연산 증폭기(432)의 (반전) 입력 단자에는, 콘덴서(431)를 통해 광전압 VLOG가 입력된다.
연산 증폭기(432)의 출력 단자는, 양자화기(384)의 비교기(451 및 452)의 비반전 입력 단자(+)에 접속된다.
콘덴서(433)의 일단부는, 연산 증폭기(432)의 입력 단자에 접속되고, 타단부는, 연산 증폭기(432)의 출력 단자에 접속된다.
스위치(434)는, 콘덴서(433)의 양단부의 접속을 온/오프하도록, 콘덴서(433)에 접속된다. 스위치(434)는, 구동부(342)의 제어 신호를 따라서 온/오프함으로써, 콘덴서(433)의 양단부의 접속을 온/오프한다.
콘덴서(433) 및 스위치(434)는, 스위치드 캐패시터를 구성한다. 오프로 되어 있는 스위치(434)가 일시적으로 온으로 되고, 다시, 오프로 됨으로써, 콘덴서(433)는, 전하가 방전되어, 새롭게 전하를 축적할 수 있는 상태로 리셋된다.
스위치(434)를 온했을 때의 콘덴서(431)의, 포토다이오드(371)측의 광전압 VLOG를 Vinit로 나타냄과 함께, 콘덴서(431)의 용량(정전 용량)을 C1로 나타내는 것으로 한다. 연산 증폭기(432)의 입력 단자는, 가상 접지가 되고 있고, 스위치(434)가 온인 경우에 콘덴서(431)에 축적되는 전하 Qinit는, 식 (1)에 의해 표시된다.
Qinit =C1×Vinit ···(1)
또한, 스위치(434)가 온인 경우에는, 콘덴서(433)의 양단은 단락되기 때문에, 콘덴서(433)에 축적되는 전하는 제로가 된다.
그 후, 스위치(434)가 오프가 된 경우의, 콘덴서(431)의, 포토다이오드(371)측의 광전압 VLOG를, Vafter로 나타내는 것으로 하면, 스위치(434)가 오프가 된 경우에 콘덴서(431)에 축적되는 전하 Qafter는, 식 (2)에 의해 표시된다.
Qafter=C1×Vafter ···(2)
콘덴서(433)의 용량을 C2로 나타내는 것으로 하면, 콘덴서(433)에 축적되는 전하 Q2는, 연산 증폭기(432)의 출력 전압인 차 신호 Vdiff를 사용하여, 식 (3)에 의해 표시된다.
Q2=-C2×Vdiff ···(3)
스위치(434)가 오프하는 전후에서, 콘덴서(431)의 전하와 콘덴서(433)의 전하를 맞춘 총 전하량은 변화되지 않기 때문에, 식 (4)가 성립한다.
Qinit =Qafter+Q2 ···(4)
식 (4)에 식 (1) 내지 식 (3)을 대입하면, 식 (5)가 얻어진다.
Vdiff =-(C1/C2)×(Vafter-Vinit) ···(5)
식 (5)에 의하면, 감산기(383)에서는, 광전압 Vafter 및 Vinit의 감산, 즉, 광전압 Vafter와 Vinit의 차(Vafter-Vinit)에 대응하는 차 신호 Vdiff의 산출이 행해진다. 식 (5)에 의하면, 감산기(383)의 감산 게인은 C1/C2가 된다. 따라서, 감산기(383)는, 콘덴서(433)의 리셋 후의 광전압 VLOG의 변화를 C1/C2배 한 전압을, 차 신호 Vdiff로서 출력한다.
감산기(383)는, 구동부(342)가 출력하는 제어 신호에 의해 스위치(434)가 온/오프됨으로써, 차 신호 Vdiff를 출력한다.
감산기(383)로부터 출력되는 차 신호 Vdiff는, 양자화기(384)의 비교기(451 및 452)의 비반전 입력 단자(+)에 공급된다.
비교기(451)는, 감산기(383)로부터의 차 신호 Vdiff와, 반전 입력 단자(-)에 입력되는 +측 역치 Vrefp를 비교한다. 비교기(451)는, +측 역치 Vrefp를 초과했는지의 여부를 나타내는, H(High) 레벨 또는 L(Low) 레벨의 검출 신호 DET(+)를, 차 신호 Vdiff의 양자화 값으로서 전송 회로(385)에 출력한다.
비교기(452)는, 감산기(383)로부터의 차 신호 Vdiff와, 반전 입력 단자(-)에 입력되는 -측 역치 Vrefn을 비교한다. 비교기(452)는, -측 역치 Vrefn을 초과했는지의 여부를 나타내는, H(High) 레벨 또는 L(Low) 레벨의 검출 신호 DET(-)를, 차 신호 Vdiff의 양자화 값으로서 전송 회로(385)에 출력한다.
도 14는, 도 13에 도시한 전류 전압 변환 회로(381), 버퍼(382), 감산기(383) 및 양자화기(384)의, 보다 상세한 회로 구성예를 도시하고 있다.
도 15는, 양자화기(384)의 그 밖의 구성예를 도시하는 회로도이다.
도 14에 도시한 양자화기(384)는, 감산기(383)로부터의 차 신호 Vdiff를, 상시, +측 역치(전압) Vrefp와 -측 역치(전압) Vrefn의 양쪽과 비교하여, 비교 결과를 출력하였다.
이에 비해, 도 15의 양자화기(384)는, 1개의 비교기(453)와, 스위치(454)를 구비하고, 스위치(454)로 전환되는 2개의 역치(전압) VthON 또는 VthOFF의 어느 쪽인가와 비교한 비교 결과를 출력한다.
스위치(454)는, 비교기(453)의 반전 입력 단자(-)에 접속되어 있고, 구동부(342)로부터의 제어 신호에 따라, 단자 a 또는 b를 선택한다. 단자 a에는, 역치로서의 전압 VthON이 공급되고, 단자 b에는, 역치로서의 전압 VthOFF(<VthON)가 공급된다. 따라서, 비교기(453)의 반전 입력 단자에는, 전압 VthON 또는 VthOFF가 공급된다.
비교기(453)는, 감산기(383)로부터의 차 신호 Vdiff와, 전압 VthON 또는 VthOFF를 비교하고, 그 비교 결과를 나타내는 H 레벨 또는 L 레벨의 검출 신호 DET를, 차 신호 Vdiff의 양자화 값으로서 전송 회로(385)에 출력한다.
도 16은, 도 15에 도시한 양자화기(384)를 채용한 경우의 전류 전압 변환 회로(381), 버퍼(382), 감산기(383) 및 , 양자화기(384)의, 보다 상세한 회로 구성예를 도시하고 있다.
도 16의 회로 구성에서는, 스위치(454)의 단자로서, 전압 VthON 및 전압 VthOFF 이외에, 초기화(AutoZero)할 때의 단자 VAZ도 추가되어 있다. 감산기(383)에 있어서 N형의 MOS(NMOS) FET로 구성되는 FET(471)의 게이트에 H(High) 레벨의 초기화 신호 AZ가 공급되는 타이밍에서, 양자화기(384)의 스위치(454)는 단자 VAZ를 선택하고, 초기화 동작을 실행한다. 그 후, 스위치(454)는, 구동부(342)로부터의 제어 신호에 기초하여, 전압 VthON 또는 전압 VthOFF의 단자를 선택하고, 선택된 역치와의 비교 결과를 나타내는 검출 신호 DET가, 양자화기(384)로부터 전송 회로(385)에 출력된다.
제2 실시 형태에 있어서의 메인터넌스 타이밍 판정 처리 및 역치 갱신 처리는, 정보 처리 장치(12)가 실행되는 것은 아니고, EVS 카메라(300) 자신이 실행하는 점을 제외하고, 상술한 제1 실시 형태와 마찬가지이다. 이에 의해, 연삭 중에 발생하는 스파크(24)가나 쿨런트 액(23)을 이벤트로서 검출하고, 메인터넌스의 타이밍을 적확하게 통지할 수 있다.
<8. 정리>
이상 설명한 정보 처리 시스템(1)의 각 실시 형태에 의하면, 스파크(24) 등의 휘도 변화를 이벤트로서 검출하여 비동기에 출력하는 이벤트 센서(EVS 카메라(11) 또는 EVS 카메라(300))를 사용함으로써, 보다 간단하게 메인터넌스의 타이밍을 판정할 수 있다. 또한, 이벤트의 검출 상황에 따라, 이벤트 역치를 동적으로 변경할 수 있다.
상술한 실시 형태에서는, 공작 기계(21)가 연삭반인 예를 설명했지만, 공작 기계(21)는 절삭, 연삭, 절단, 단조, 절곡 등의 임의의 가공을 실시하는 기계이면 된다.
<9. 컴퓨터 구성예>
상술한 정보 처리 장치(12)가 실행하는 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 마이크로컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 17은, 상술한 일련의 처리를 프로그램에 의해 실행하는 정보 처리 장치로서의 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기억부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(508)는, 하드 디스크, RAM 디스크, 불휘발성의 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기억부(508)에 기억되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행하는 데에 있어서 필요한 데이터 등도 적절히 기억된다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라고 하는, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기억부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하고, 기억부(508)에 인스톨할 수 있다. 기타, 프로그램은, ROM(502)이나 기억부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 상술한 복수의 실시 형태의 모두 또는 일부를 적절히 조합한 형태를 채용할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 본 명세서에 기재된 것 이외의 효과가 있어도 된다.
또한, 본 기술은, 이하의 구성을 취할 수 있다.
(1)
광 신호를 광전 변환한 전기 신호의 시간적 변화를 이벤트 데이터로서 출력하는 이벤트 센서로부터의 상기 이벤트 데이터를 사용하여 지석의 상태를 추정하고, 추정 결과를 출력하는 상태 추정부
를 구비하는 정보 처리 장치.
(2)
상기 상태 추정부는, 상기 지석과 공작물에서 발생하는 스파크를 포착한 상기 이벤트 데이터를 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 상태 추정부는, 상기 이벤트 데이터의 특징량에 기초하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 이벤트 데이터의 특징량은, 이벤트 레이트인
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 이벤트 데이터로부터 이벤트 화상을 생성하는 화상 생성부를 더 구비하고,
상기 이벤트 데이터의 특징량은, 상기 이벤트 화상으로부터 검출되는 특징량인
상기 (3)에 기재된 정보 처리 장치.
(6)
상기 이벤트 데이터의 특징량은, 스파크의 수, 사이즈, 속도, 비상 거리 및 비상 각도의 적어도 하나를 포함하는
상기 (5)에 기재된 정보 처리 장치.
(7)
상기 이벤트 데이터의 특징량은, 쿨런트 액의 수, 사이즈 및 속도의 적어도 하나를 포함하는
상기 (5) 또는 (6)에 기재된 정보 처리 장치.
(8)
상기 상태 추정부는, 상기 추정 결과에 기초하여, 경고를 출력하는
상기 (1) 내지 (7)의 어느 것에 기재된 정보 처리 장치.
(9)
상기 상태 추정부는, 상기 지석의 상태를 추정하는 추정 처리와 병행하여, 상기 이벤트 데이터에 기초하여 이벤트 역치를 조정하는
상기 (1) 내지 (8)의 어느 것에 기재된 정보 처리 장치.
(10)
상기 상태 추정부는, 상기 이벤트 데이터를 사용하여 기계 학습에 의해 생성한 학습 모델을 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
상기 (1) 내지 (9)의 어느 것에 기재된 정보 처리 장치.
(11)
상기 상태 추정부는, 외부 센서에서 취득된 센서 데이터와, 상기 이벤트 데이터를 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
상기 (1) 내지 (10)의 어느 것에 기재된 정보 처리 장치.
1: 정보 처리 시스템
11: EVS 카메라
12: 정보 처리 장치
13: 디스플레이
14: 외부 센서
21: 공작 기계
22: 지석
23: 쿨런트 액
24: 스파크
50: 데이터 취득부
51: 이벤트 데이터 처리부
52: 이벤트 데이터 기억부
53: 화상 생성부
54: 화상 기억부
55: 화상 데이터 처리부
56: 지석 상태 추정부
57: 카메라 설정 변경부
58: 특징량 기억부
59: 출력부
300: EVS 카메라
311: 광학부
312: 촬상 소자
313: 제어부
314: 데이터 처리부
321: 이벤트 데이터 처리부
322: 기록부
501: CPU
502: ROM
503: RAM
508: 기억부

Claims (11)

  1. 광 신호를 광전 변환한 전기 신호의 시간적 변화를 이벤트 데이터로 하여 출력하는 이벤트 센서로부터의 상기 이벤트 데이터를 사용하여 지석의 상태를 추정하고, 추정 결과를 출력하는 상태 추정부
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서, 상기 상태 추정부는, 상기 지석과 공작물에서 발생하는 스파크를 포착한 상기 이벤트 데이터를 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
    정보 처리 장치.
  3. 제1항에 있어서, 상기 상태 추정부는, 상기 이벤트 데이터의 특징량에 기초하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 이벤트 데이터의 특징량은, 이벤트 레이트인
    정보 처리 장치.
  5. 제3항에 있어서, 상기 이벤트 데이터로부터 이벤트 화상을 생성하는 화상 생성부를 더 구비하고,
    상기 이벤트 데이터의 특징량은, 상기 이벤트 화상으로부터 검출되는 특징량인
    정보 처리 장치.
  6. 제5항에 있어서, 상기 이벤트 데이터의 특징량은, 스파크의 수, 사이즈, 속도, 비상 거리 및 비상 각도의 적어도 하나를 포함하는
    정보 처리 장치.
  7. 제5항에 있어서, 상기 이벤트 데이터의 특징량은, 쿨런트 액의 수, 사이즈 및 속도의 적어도 하나를 포함하는
    정보 처리 장치.
  8. 제1항에 있어서, 상기 상태 추정부는, 상기 추정 결과에 기초하여, 경고를 출력하는
    정보 처리 장치.
  9. 제1항에 있어서, 상기 상태 추정부는, 상기 지석의 상태를 추정하는 추정 처리와 병행하여, 상기 이벤트 데이터에 기초하여 이벤트 역치를 조정하는
    정보 처리 장치.
  10. 제1항에 있어서, 상기 상태 추정부는, 상기 이벤트 데이터를 사용하여 기계 학습에 의해 생성한 학습 모델을 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
    정보 처리 장치.
  11. 제1항에 있어서, 상기 상태 추정부는, 외부 센서에서 취득된 센서 데이터와, 상기 이벤트 데이터를 사용하여 상기 지석의 상태를 추정하고, 추정 결과를 출력하는
    정보 처리 장치.
KR1020237027354A 2021-02-26 2022-01-13 정보 처리 장치 KR20230148154A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2021-030435 2021-02-26
JP2021030435 2021-02-26
PCT/JP2022/000819 WO2022181098A1 (ja) 2021-02-26 2022-01-13 情報処理装置

Publications (1)

Publication Number Publication Date
KR20230148154A true KR20230148154A (ko) 2023-10-24

Family

ID=83048811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237027354A KR20230148154A (ko) 2021-02-26 2022-01-13 정보 처리 장치

Country Status (6)

Country Link
US (1) US20240139907A1 (ko)
JP (1) JPWO2022181098A1 (ko)
KR (1) KR20230148154A (ko)
CN (1) CN116867607A (ko)
DE (1) DE112022001268T5 (ko)
WO (1) WO2022181098A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355128B2 (ja) * 2021-03-04 2023-10-03 Ｊｆｅスチール株式会社 被研削材の表面状態判定方法、被研削材の表面状態判定装置、研削装置、被研削材の研削方法及び金属材の製造方法
EP4346222B1 (de) * 2022-09-27 2024-08-07 Sick Ag Kamera und verfahren zur erkennung von blitzen
JP2024090012A (ja) * 2022-12-22 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、及び撮像システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020114615A (ja) 2019-01-18 2020-07-30 株式会社ジェイテクト 工作機械のメンテナンス支援装置および工作機械システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07164318A (ja) * 1993-12-14 1995-06-27 Nippon Steel Corp ベルト研削方法
JPH08323617A (ja) * 1995-05-25 1996-12-10 Hitachi Ltd 研削作業状態検出装置
JP6924992B2 (ja) * 2017-08-31 2021-08-25 三菱重工工作機械株式会社 研削盤
JP2020136958A (ja) * 2019-02-21 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
JP2020162016A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020114615A (ja) 2019-01-18 2020-07-30 株式会社ジェイテクト 工作機械のメンテナンス支援装置および工作機械システム

Also Published As

Publication number Publication date
JPWO2022181098A1 (ko) 2022-09-01
DE112022001268T5 (de) 2023-12-21
CN116867607A (zh) 2023-10-10
WO2022181098A1 (ja) 2022-09-01
US20240139907A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
KR20230148154A (ko) 정보 처리 장치
CN110192387B (zh) 用于基于事件的视觉传感器的数据速率控制
KR102523510B1 (ko) 이벤트 카메라를 이용한 정적 이미지들의 생성
US20120057029A1 (en) Capture of video with motion-speed determination and variable capture rate
WO2006078861A2 (en) Method, system and apparatus for a time stamped visual motion sensor
US8810695B2 (en) Image sensing apparatus and defective pixel detection method
US20110019909A1 (en) Device and method for detecting whether an image is blurred
US20170366754A1 (en) Dual mode image sensor and method of using same
US9165352B2 (en) Precipitation removal for vision-based parking management systems
JP2022076837A (ja) 情報処理装置、情報処理方法およびプログラム
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
US20210185258A1 (en) Dynamic vision sensor system
JP7518629B2 (ja) 撮像装置、撮像装置の制御方法、システム、及び、プログラム
US20220182567A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, moving body, semiconductor substrate, and method for driving photoelectric conversion apparatus
US11258966B2 (en) Photoelectric conversion device, camera, movable object, and signal processing device
CN114666521B (zh) 具有用于影像取样的可调整参数的影像感测装置
JP2004304375A (ja) 撮像装置
CN106101568B (zh) 一种基于智能分析的强光抑制方法及装置
US20200099877A1 (en) Control apparatus and imaging apparatus
JP2004350153A (ja) 撮像装置
WO2018130600A1 (en) Method for operating a camera with a first operating mode and a second operating mode, camera and motor vehicle