KR20220023989A - 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20220023989A
KR20220023989A KR1020217040435A KR20217040435A KR20220023989A KR 20220023989 A KR20220023989 A KR 20220023989A KR 1020217040435 A KR1020217040435 A KR 1020217040435A KR 20217040435 A KR20217040435 A KR 20217040435A KR 20220023989 A KR20220023989 A KR 20220023989A
Authority
KR
South Korea
Prior art keywords
sensor
event signal
filter
wavelength band
processing
Prior art date
Application number
KR1020217040435A
Other languages
English (en)
Other versions
KR102645637B1 (ko
Inventor
데츠고 이나다
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20220023989A publication Critical patent/KR20220023989A/ko
Application granted granted Critical
Publication of KR102645637B1 publication Critical patent/KR102645637B1/ko

Links

Images

Classifications

    • H04N9/04553—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/351—
    • H04N9/04555—
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와, 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부, 및 제2 이벤트 신호에 기초하여 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 갖는 정보 처리 장치를 구비하는 시스템이 제공된다.

Description

시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
본 발명은 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
입사하는 광의 강도 변화를 검출한 픽셀이 시간 비동기적으로 신호를 생성하는, 이벤트 구동형 비전 센서가 알려져 있다. 이벤트 구동형 비전 센서는 소정의 주기마다 전체 픽셀을 스캔하는 프레임형 비전 센서, 구체적으로는 CCD나 CMOS 등의 이미지 센서에 비하여, 저전력으로 고속으로 동작 가능한 점에서 유리하다. 이러한 이벤트 구동형 비전 센서에 관한 기술은, 예를 들어 특허문헌 1 및 특허문헌 2에 기재되어 있다.
일본특허공표 제2014-535098호 공보 일본특허공개 제2018-85725호 공보
그러나, 이벤트 구동형 비전 센서에 대해서는, 상기와 같은 이점은 알려져 있지만, 종래의 비전 센서, 예를 들어 프레임형 비전 센서와는 다른 특성을 고려한 주변 기술에 대해서는, 아직 충분히 제안되어 있다고는 하기 어렵다.
그래서, 본 발명은 이벤트 구동형 비전 센서에 있어서 광의 강도 변화가 검출되었을 때에 생성되는 이벤트 신호에 기초하여 처리를 실행함에 있어서, 강도 변화가 발생한 광의 파장 대역에 따라서 다른 처리를 실행하는 것이 가능한, 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 한 관점에 따르면, 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와, 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부, 및 제2 이벤트 신호에 기초하여 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 갖는 정보 처리 장치를 구비하는 시스템이 제공된다.
본 발명의 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부와, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 구비하는 정보 처리 장치가 제공된다.
본 발명의 또 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 스텝과, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 제1 처리와는 다른 제2 처리를 실행하는 스텝을 포함하는 정보 처리 방법이 제공된다.
본 발명의 또 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부와, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 구비하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한 프로그램이 제공된다.
상기의 구성에 따르면, 이벤트 구동형 비전 센서에 있어서 광의 강도 변화가 검출되었을 때에 생성되는 이벤트 신호에 기초하여 처리를 실행함에 있어서, 강도 변화가 발생한 광의 파장 대역에 따라서 다른 처리를 실행할 수 있다.
도 1은 본 발명의 제1 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다.
도 2는 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 흐름도이다.
도 3은 본 발명의 제1 실시 형태에 있어서의 필터 및 센서의 배열 패턴의 다른 예를 도시하는 도면이다.
도 4는 본 발명의 제2 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다.
도 5는 제2 실시 형태의 구체적인 예에 있어서의 마커의 점멸 패턴의 예를 나타내는 도면이다.
도 6은 광의 파장 대역을 다르게 하지 않는 경우의 마커의 점멸 패턴을 도시하는 도면이다.
도 7은 본 발명의 제2 실시 형태에 있어서의 필터 및 센서의 배열 패턴의 다른 예를 도시하는 도면이다.
도 8은 본 발명의 제3 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다.
도 9는 제3 실시 형태의 구체적인 예에 있어서의 마커의 점멸 패턴의 예를 나타내는 도면이다.
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대해서 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복된 설명을 생략한다.
(제1 실시 형태)
도 1은 본 발명의 제1 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 시스템(10)은 이벤트 구동형 비전 센서(100)와, 정보 처리 장치(200)를 포함한다. 비전 센서(100)는, 도시하지 않은 광학계를 통해 입사하는 광의 강도 변화, 보다 구체적으로는 휘도 변화를 검출했을 때에 이벤트 신호를 생성하는 센서(110)가 배열된 센서 어레이(120)를 포함한다. 광의 강도 변화를 검출하지 않은 센서(110)는 이벤트 신호를 생성하지 않기 때문에, 비전 센서(100)에 있어서 이벤트 신호는 시간 비동기적으로 생성된다. 비전 센서(100)로부터 출력되는 이벤트 신호는, 센서의 식별 정보(예를 들어 픽셀의 위치)와, 휘도 변화의 극성(상승 또는 저하)과, 타임 스탬프를 포함한다.
본 실시 형태에서는, 비전 센서(100)에 대응하는 필터(300)가 배치된다. 필터(300)는 제1 파장 대역을 선택적으로 투과시키는 제1 필터(310)와, 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터(320)를 포함한다. 제1 필터(310)와 제2 필터(320)는, 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열된다. 필터(300)는 제1 필터(310) 및 제2 필터(320)가 각각 비전 센서(100)의 1개 또는 복수 센서(110)에 대응하도록 배치된다.
따라서, 본 실시 형태에 있어서, 센서(110)는 제1 필터(310)를 투과해서 광이 입사하는 제1 센서(111)와, 제2 필터(320)를 투과해서 광이 입사하는 제2 센서(112)를 포함하고, 제1 센서(111) 및 제2 센서(112)는 센서 어레이(120)에 있어서 소정의 패턴, 구체적으로는 필터(300)에 있어서의 제1 필터(310) 및 제2 필터(320)의 배열 패턴과 동일한 패턴으로 배열된다. 제1 센서(111)가 생성한 제1 이벤트 신호와, 제2 센서(112)가 생성한 제2 이벤트 신호는 이벤트 신호에 포함되는 센서의 식별 정보에 의해 구별할 수 있다.
정보 처리 장치(200)는, 예를 들어 통신 인터페이스, 프로세서 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장되거나, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 제1 처리부(210) 및 제2 처리부(220)의 기능 부분을 포함한다. 제1 처리부(210)는 비전 센서(100)의 제1 센서(111)가 생성한 제1 이벤트 신호에 기초하여 제1 처리를 실행한다. 또한, 제2 처리부(220)는 비전 센서(100)의 제2 센서(112)가 생성한 제2 이벤트 신호에 따라서 제2 처리와는 다른 제2 처리를 실행한다. 즉, 비전 센서(100)의 화각 내의 어느 위치에서 제1 파장 대역에만 광의 강도 변화(이벤트)가 발생한 경우, 제1 센서(111)만이 제1 이벤트 신호를 생성하고, 제1 처리부(210)만이 처리를 실행한다. 또한, 비전 센서(100)의 화각 내의 다른 위치에서 제2 파장 대역에만 이벤트가 발생한 경우, 제2 센서(112)만이 제2 이벤트 신호를 생성하고, 제2 처리부(220)만이 처리를 실행한다.
또한, 정보 처리 장치(200)는, 예를 들어 비전 센서(100)와 동일한 장치 내에 내장되어 있어도 되고, 비전 센서(100)와 동일한 공간 내에 배치되어 비전 센서(100)와 통신하는 단말 장치여도 되고, 비전 센서(100)에 네트워크를 통해서 접속되는 서버 장치여도 된다. 또한, 정보 처리 장치(200)의 기능의 일부가 단말 장치에 있어서 실장되고, 다른 기능이 서버 장치에 실장되어도 된다.
상기와 같은 시스템(10)은, 예를 들어 게임 컨트롤러에 비전 센서(100) 및 필터(300)를 탑재하고, 비전 센서(100)가 검출한 이벤트에 기초하여 컨트롤러의 자기 위치를 추정하는 처리에 이용할 수 있다. 이 경우, 필터(300)의 제1 필터(310)는 가시광 영역을 선택적으로 투과시키고, 제2 필터(320)는 적외광 영역을 선택적으로 투과시킨다. 정보 처리 장치(200)에서는, 제1 처리부(210)가 제1 센서(111)가 가시광의 이벤트를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여, 주변 환경 정보를 사용한 위치 자세 산출 처리를 실행한다. 한편, 제2 처리부(220)는, 제2 센서(112)가 컨트롤러의 주변에 배치된 IR 마커가 사출하는 적외광의 이벤트를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여, 제1 처리부(210)의 처리에 의해 산출된 위치 및 자세를 수정한다. 이 수정에 의해, 주변 환경 정보를 사용한 위치 자세 산출 처리만을 실행한 경우에 발생하는 드리프트 오차를 억제할 수 있다.
도 2는 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 흐름도이다. 도시된 예에서는, 정보 처리 장치(200)에 있어서 이벤트 신호가 수신되었을 때에(스텝 S101), 수신된 이벤트 신호가 비전 센서(100)의 제1 센서(111)에서 생성된 제1 이벤트 신호인 경우(스텝 S102의 예), 제1 처리부(210)가 제1 처리를 실행한다(스텝 S103). 한편, 수신된 이벤트 신호가 제1 이벤트 신호가 아닌, 즉 비전 센서(100)의 제2 센서(112)에서 생성된 제2 이벤트 신호인 경우(스텝 S102의 아니오), 제2 처리부(220)가 제2 처리를 실행한다(스텝 S104).
도 3은 본 발명의 제1 실시 형태에 있어서의 필터 및 센서의 배열 패턴의 다른 예를 도시하는 도면이다. 도 3에 도시한 예에서는, 필터(300)에 있어서, 제1 필터(310)와 제2 필터(320)가 불균등하게 배열된다. 구체적으로는, 제1 필터(310) 및 제2 필터(320)는 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열되고 있지만, 각각의 방향에 대해서, 제1 필터(310)와 제2 필터(320)의 비율은 2:1이다. 센서(110)에서도, 제1 및 제2 센서(111, 112)가 마찬가지 불균등한 패턴으로 배열된다. 예를 들어, 상기의 자기 위치 추정의 처리에 있어서, IR 마커가 충분한 사이즈를 갖기 때문에 적외광 영역의 이벤트가 x 방향 및 y 방향에 대해서 필터 사이즈의 3배 이상의 크기의 영역에서 발생하는 경우, 도 3에 도시한 예와 같이 배열 패턴에 있어서의 제2 필터(320)의 간격을 두어도 적외광 영역의 이벤트가 확실하게 검출된다. 이 경우, 상기와 같은 불균등한 패턴으로 필터 및 센서를 배열함으로써, 제1 필터(310)의 영역을 상대적으로 크게 하여, 가시광 영역의 이벤트 해상도를 높일 수 있다.
(제2 실시 형태)
도 4는 본 발명의 제2 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 시스템(20)은 이벤트 구동형 비전 센서(100)와, 정보 처리 장치(400)를 포함한다. 본 실시 형태에서는, 비전 센서(100)의 구성 자체는 상기의 제1 실시 형태와 마찬가지이지만, 비전 센서(100)에 대응해서 배치되는 필터(500)가, 각각 다른 4개의 파장 대역을 선택적으로 투과시키는 제1 내지 제4 필터(510 내지 540)를 포함한다. 제1 내지 제4 필터(510 내지 540)는, 각각 비전 센서(100)의 1개 또는 복수 센서(110)에 대응하도록, 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배치되는 패턴으로 배열된다.
따라서, 본 실시 형태에 있어서, 센서(110)는 제1 내지 제4 필터(510 내지 540)의 각각을 투과해서 광이 입사하는 제1 내지 제4 센서(111 내지 114)로 구분되고, 제1 내지 제4 센서(111 내지 114)는 센서 어레이(120)에 있어서 소정의 패턴, 구체적으로는 필터(500)에 있어서의 제1 내지 제4 필터(510 내지 540)의 배열 패턴과 동일한 패턴으로 배열된다. 상기의 제1 실시 형태와 마찬가지로, 제1 내지 제4 센서(111 내지 114)가 각각 생성한 제1 내지 제4 이벤트 신호는 이벤트 신호에 포함되는 센서의 식별 정보에 의해 구별할 수 있다.
정보 처리 장치(400)는, 예를 들어 통신 인터페이스, 프로세서 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장되거나, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 제1 내지 제8 처리부(410 내지 480)의 기능 부분을 포함한다. 이 중, 제1 내지 제4 처리부(410 내지 440)는, 상기의 제1 실시 형태에 있어서의 제1 및 제2 처리부(210, 220)와 마찬가지로, 비전 센서(100)의 제1 내지 제4 센서(111 내지 114)가 각각 생성한 제1 내지 제4 이벤트 신호에 기초하여, 각각 다른 제1 내지 제4 처리를 실행한다.
한편, 정보 처리 장치(400)의 제5 내지 제8 처리부(450 내지 480)는, 비전 센서(100)의 제1 내지 제4 센서(111 내지 114) 중 2개 이상이 동시에, 또는 소정의 시간차 이내에서 연속해서 생성한 이벤트 신호에 기초하여, 각각 다른(상기의 제1 내지 제4 처리 모두 다른) 제5 내지 제8 처리를 실행한다. 예를 들어, 비전 센서(100)의 화각 내의 어느 위치에서 2개의 파장 대역을 포함하는 파장의 광 강도 변화가 발생한 경우, 각각의 파장 대역을 선택적으로 투과시키는 필터를 투과해서 광이 입사하는 센서가 이벤트 신호를 생성한다. 그래서, 제5 내지 제8 처리부(450 내지 480)는, 제1 내지 제4 센서(111 내지 114)의 배치 패턴에 있어서 인접 또는 근접하는 2종류 이상의 센서가 동시에, 또는 소정의 시간차 내에서 생성한 이벤트 신호에 기초해서 소정의 처리를 실행한다.
상기와 같은 시스템(20)은, 예를 들어 비전 센서(100)의 화각 내에서 이동하는 복수의 오브젝트에 각각 다른 파장의 광을 사출하는 마커를 설치하고, 이들 마커를 트래킹하는 처리에 이용할 수 있다. 예를 들어, 제1 내지 제4 필터(510 내지 540)가 각각 녹색광 영역, 청색광 영역, 적색광 영역 및 적외광 영역을 선택적으로 투과시키는 경우, 도 5에 도시한 바와 같은 8가지의 파장의 광을 소정의 점멸 패턴으로 사출하는 마커를 식별하면서 트래킹할 수 있다. 예를 들어, 본 실시 형태와 같이 광의 파장 대역을 다르게 하는 것이 아닌 경우, 이벤트 신호를 사용해서 마커를 식별하기 위해서는 도 6에 도시한 바와 같이 마커의 점멸 패턴을 다르게 할 필요가 있다. 그러나, 이 경우에는 식별하는 마커의 종류가 증가할수록 점멸 패턴의 주기가 길어져서, 동작이 고속의 이벤트 구동형 비전 센서를 사용하고 있음에도 불구하고 레이턴시가 길어져버린다. 본 실시 형태의 예에서는, 도 5에 도시한 바와 같이 각 마커의 점멸 패턴을 동일하게 해서 레이턴시를 유지하면서, 예를 들어 8종류의 마커를 식별하는 것이 가능하다. 이 경우, 정보 처리 장치(400)의 제1 내지 제8 처리부(410 내지 480)는, 각각 다른 종류의 마커 트래킹 처리를 실행한다.
도 7은 본 발명의 제2 실시 형태에 있어서의 필터 및 센서의 배열 패턴의 다른 예를 도시하는 도면이다. 상기에서 도 4에 도시한 예에서는, 필터(500)의 제1 내지 제4 필터(510 내지 540)가 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열되었지만, 도 7에 도시한 예에서는, 제1 내지 제4 필터(510 내지 540)가 x 방향에 대해서만 교대로 배열된다. 즉, 제1 내지 제4 필터(510 내지 540)는, y 방향에 대해서 띠상의 패턴으로 배열된다. 센서(110)에서도, 제1 내지 제4 센서(111 내지 114)가 마찬가지 띠상의 패턴으로 배열된다. 이 경우, x 방향에서는 필터 사이즈의 4배 미만의 크기의 영역에서 발생한 이벤트가 파장 대역이 맞지 않는 필터에 의해 차단될 가능성이 있지만, y 방향에서는 그러한 차단이 발생하지 않는다. 한편, 상기에서 도 4에 도시한 예에서는, x 방향, y 방향 모두, 필터 사이즈의 2배 이상의 크기의 영역에서 발생한 이벤트이면 차단되지 않고 검출된다. 이와 같이, 필터 및 센서의 배열 패턴은, 예를 들어 각각의 방향에 있어서의 검출하고자 하는 이벤트의 크기에 따라서 적절히 변경하는 것이 가능하다.
(제3 실시 형태)
도 8은 본 발명의 제3 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 시스템(30)은 이벤트 구동형 비전 센서(600)와, 정보 처리 장치(700)를 포함한다. 본 실시 형태에서는, 비전 센서(600)에 대응해서 배치되는 필터(500)의 구성은 상기의 제2 실시 형태와 마찬가지이지만, 비전 센서(600)의 센서 어레이(620)에 배열되는 센서가, 광의 강도 변화의 검출 역치가 제1 역치로 설정된 제1 서브 그룹의 센서(610A)와, 광의 강도 변화의 검출 역치가 제1 역치보다 작은 제2 역치로 설정된 제2 서브 그룹의 센서(610B)를 포함한다. 제1 서브 그룹의 센서(610A)와 제2 서브 그룹의 센서(610B)는, 각각이 제1 내지 제4 필터(510 내지 540)를 투과해서 광이 입사하는 제1 내지 제4 센서(611A 내지 614A, 611B 내지 614B)를 포함하도록 배치된다. 즉, 본 실시 형태에 있어서, 제1 센서(611A, 611B)는 제1 서브 그룹의 센서(611A) 및 제2 서브 그룹의 센서(611B)를 포함하고, 제2 내지 제4 센서에 대해서도 마찬가지이다.
정보 처리 장치(700)는, 예를 들어 통신 인터페이스, 프로세서 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장되거나, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 16개의 처리부(710-1, 710-2, …, 710-16)의 기능 부분을 포함한다. 이들 기능 부분 중, 처리부(710-1)는 비전 센서(600)의 제1 센서(611A, 611B) 중 제1 서브 그룹의 센서(611A) 및 제2 서브 그룹의 센서(611B)의 양쪽이 이벤트 신호를 생성했을 때에 소정의 처리를 실행한다. 처리부(710-2)는 제1 서브 그룹의 센서(611A)가 이벤트 신호를 생성하지 않고 제2 서브 그룹의 센서(611B)가 이벤트 신호를 생성했을 때에 처리부(710-1)와는 다른 처리를 실행한다. 바꾸어 말하면, 본 실시 형태에서는, 제1 센서(611A, 611B)가 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부(제2 실시 형태에 있어서의 제1 처리부(410))가, 상기와 같이 각각의 서브 그룹의 센서(611A, 611B)에 의한 이벤트 신호의 생성 유무 조합에 따라서 2개의 다른 서브 처리를 실행한다. 처리부(710-3 내지 710-16)와, 제2 실시 형태에 있어서의 제2 처리부(420) 내지 제8 처리부(480)의 관계에 대해서도 마찬가지이다. 또한, 서브 처리라고 하는 용어는, 제1 및 제2 실시 형태에서 제1 처리부 등이 실행하는 처리와의 대비를 위해서 사용되고 있는 것에 지나지 않으며, 각각의 서브 처리의 구체적인 내용은, 예를 들어 제1 및 제2 실시 형태에서 제1 처리부 등이 실행하는 처리와 동일해도 된다.
상기와 같은 시스템(30)은, 예를 들어 상기의 제2 실시 형태와 마찬가지로, 비전 센서(600)의 화각 내에서 이동하는 복수의 오브젝트에 각각 설치된 마커를 트래킹하는 처리에 이용할 수 있다. 예를 들어, 도 9에 도시한 바와 같이, 8가지의 파장의 광을, 광의 강도가 다른 2종류의 점멸 패턴으로 각각 사출하는 16종류의 마커를 식별하면서 트래킹할 수 있다. 상기의 2종류의 점멸 패턴은, 구체적으로는, 제1 서브 그룹의 센서(610A)의 검출 역치 이상의 강도로 점멸하는 제1 패턴과, 제1 서브 그룹의 센서(610A)의 검출 역치보다 작고, 또한 제2 서브 그룹의 센서(610B)의 검출 역치 이상의 강도로 점멸하는 제2 패턴을 포함한다. 본 실시 형태의 예에서는, 제2 실시 형태와 마찬가지로, 각 마커의 점멸 패턴을 동일하게 해서 레이턴시를 유지하면서, 보다 많은 종류의 마커를 식별하는 것이 가능하다. 이 경우, 정보 처리 장치(700)의 처리부(710-1 내지 710-16)는, 각각 다른 종류의 마커 트래킹 처리를 실행한다. 예를 들어, 마커의 점멸 강도를 3단계 이상으로 설정하고, 각각의 점멸 강도에 대응하는 역치를 갖는 3개 이상의 센서의 서브 그룹을 설정함으로써, 보다 많은 종류의 처리, 구체적으로는 다른 종류의 마커 트래킹을 실행해도 된다.
이상으로 설명한 바와 같은 본 발명의 실시 형태에서는, 이벤트 구동형 비전 센서에 대응해서 소정의 파장 대역을 선택적으로 투과시키는 필터를 배치하고, 정보 처리 장치에 있어서 각각의 필터에 대응하는 센서가 생성한 이벤트 신호에 기초하여 처리를 실행함으로써, 강도 변화가 발생한 광의 파장 대역에 따라서 다른 처리를 실행할 수 있다. 필터의 종류가 증가할수록 이벤트 검출의 해상도는 저하되지만, 예를 들어 보간이나 외삽 등의 공지된 기술에 의해 보충할 수 있다.
또한, 상기의 각 실시 형태에서 설명된 변형은, 다른 실시 형태에도 적용 가능하다. 예를 들어, 제1 실시 형태에 대해서 도 3을 참조하여 설명한 바와 같은 필터 및 센서의 불균등한 배열 패턴은, 제2 및 제3 실시 형태에도 적용 가능하다. 또한, 제2 실시 형태에 대해서 도 7을 참조하여 설명한 바와 같은 필터 및 센서의 띠상의 배열 패턴은, 제1 및 제3 실시 형태에도 적용 가능하다. 제3 실시 형태에 있어서, 제1 서브 그룹의 센서(610A)와 제2 서브 그룹의 센서(610B)를, x 방향 및 y 방향 각각에 대해서 교대로 배열하는 것이 아니고, x 방향 또는 y 방향에 띠상의 패턴으로 배열해도 된다.
본 발명의 실시 형태는, 예를 들어 게임 컨트롤러, 스마트폰, 각종 이동체(자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등)로 주변 환경의 정보를 취득하거나, 주변의 오브젝트 위치로부터 자기 위치를 추정하거나, 비래하는 오브젝트를 검출해서 회피 행동을 취하거나 하기 위해서 이용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대해서 상세히 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술의 분야에 있어서의 통상의 지식을 갖는 자이면, 청구범위에 기재된 기술적 사상의 범위 내에 있어서, 각종 변형예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10, 20, 30 : 시스템
100, 600 : 이벤트 구동형 비전 센서
110 : 센서
120 : 센서 어레이
200, 400, 700 : 정보 처리 장치
210 : 제1 처리부
220 : 제2 처리부
300, 500 : 필터

Claims (10)

  1. 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 상기 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와,
    상기 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부, 및
    상기 제2 이벤트 신호에 기초하여 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    갖는 정보 처리 장치를
    구비하는 시스템.
  2. 제1항에 있어서, 상기 제1 필터는 가시광 영역을 선택적으로 투과시키고,
    상기 제2 필터는 적외광 영역을 선택적으로 투과시키는, 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 센서 어레이에서는, 상기 제1 파장 대역 및 상기 제2 파장 대역과는 다른 제3 파장 대역을 선택적으로 투과시키는 제3 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 제3 이벤트 신호를 생성하는 제3 센서가, 상기 제1 센서 및 상기 제2 센서와 함께 상기 소정의 패턴에 따라서 배열되고,
    상기 정보 처리 장치는, 상기 제3 이벤트 신호에 기초하여 제3 처리를 실행하는 제3 처리부를 더 갖는, 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 정보 처리 장치는, 상기 소정의 패턴에 있어서 인접 또는 근접하는 상기 제1 센서 및 상기 제2 센서가 동시에, 또는 소정의 시간차 이내에서 연속해서 생성한 상기 제1 이벤트 신호 및 상기 제2 이벤트 신호에 기초하여 제4 처리를 실행하는 제4 처리부를 더 갖는, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 적어도 상기 제1 센서는, 광의 강도 변화의 검출 역치가 제1 역치로 설정된 제1 서브 그룹의 센서 및 상기 검출 역치가 상기 제1 역치보다 작은 제2 역치로 설정된 제2 서브 그룹의 센서를 포함하고,
    적어도 상기 제1 처리부는, 상기 제1 서브 그룹의 센서 및 상기 제2 서브 그룹의 센서 양쪽이 상기 제1 이벤트 신호를 생성했을 때에 제1 서브 처리를 실행하고, 상기 제1 서브 그룹의 센서가 상기 제1 이벤트 신호를 생성하지 않고 상기 제2 서브 그룹의 센서가 상기 제1 이벤트 신호를 생성했을 때에 상기 제1 서브 처리와는 다른 제2 서브 처리를 실행하는, 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 센서 어레이에 있어서, 상기 제1 센서 및 상기 제2 센서는 제1 방향 및 상기 제1 방향에 직교하는 제2 방향으로 각각 배열되고,
    상기 소정의 패턴에서는, 상기 제1 센서 및 상기 제2 센서가 상기 제1 방향 및 상기 제2 방향에 대해서 각각 교대로 배열되는, 시스템.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 센서 어레이에 있어서, 상기 제1 센서 및 상기 제2 센서는 제1 방향 및 상기 제1 방향에 직교하는 제2 방향으로 각각 배열되고,
    상기 소정의 패턴에서는, 상기 제1 센서 및 상기 제2 센서가 상기 제1 방향에 대해서만 교대로 배열되는, 시스템.
  8. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부와,
    상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    구비하는 정보 처리 장치.
  9. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 스텝과,
    상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 상기 제1 처리와는 다른 제2 처리를 실행하는 스텝을
    포함하는 정보 처리 방법.
  10. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 파장 대역을 선택적으로 투과시키는 제1 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호에 기초하여 제1 처리를 실행하는 제1 처리부와,
    상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 파장 대역과는 다른 제2 파장 대역을 선택적으로 투과시키는 제2 필터를 투과해서 입사하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호에 기초하여 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    구비하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한 프로그램.
KR1020217040435A 2019-06-26 2019-06-26 시스템, 비전 센서, 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102645637B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025306 WO2020261408A1 (ja) 2019-06-26 2019-06-26 システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20220023989A true KR20220023989A (ko) 2022-03-03
KR102645637B1 KR102645637B1 (ko) 2024-03-11

Family

ID=74060840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217040435A KR102645637B1 (ko) 2019-06-26 2019-06-26 시스템, 비전 센서, 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11985396B2 (ko)
EP (1) EP3993398A4 (ko)
JP (1) JP7323614B2 (ko)
KR (1) KR102645637B1 (ko)
CN (1) CN114041284A (ko)
WO (1) WO2020261408A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022147021A (ja) * 2021-03-23 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法
US20230401723A1 (en) * 2022-06-10 2023-12-14 Sony Interactive Entertainment Inc. Synchronous dynamic vision sensor led ai tracking system and method
US11995226B2 (en) 2022-06-10 2024-05-28 Sony Interactive Entertainment Inc. Dynamic vision sensor tracking based on light source occlusion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
KR20160079532A (ko) * 2014-12-26 2016-07-06 삼성전자주식회사 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7435943B1 (en) 2007-03-29 2008-10-14 Avago Technologies Ecbu Ip Pte Ltd Color sensor with infrared correction having a filter layer blocking a portion of light of visible spectrum
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors
CN109461173B (zh) * 2018-10-25 2022-03-04 天津师范大学 一种用于时域视觉传感器信号处理的快速角点检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
KR20160079532A (ko) * 2014-12-26 2016-07-06 삼성전자주식회사 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Also Published As

Publication number Publication date
WO2020261408A1 (ja) 2020-12-30
JP7323614B2 (ja) 2023-08-08
CN114041284A (zh) 2022-02-11
KR102645637B1 (ko) 2024-03-11
JPWO2020261408A1 (ko) 2020-12-30
EP3993398A4 (en) 2023-01-25
US20220217288A1 (en) 2022-07-07
US11985396B2 (en) 2024-05-14
EP3993398A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US11030760B2 (en) Image processing device, ranging device and method
KR20220023989A (ko) 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6971934B2 (ja) 画像処理装置
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
US11678074B2 (en) Sensor control apparatus, sensor control method, and program
WO2016152755A1 (ja) 物体認識装置
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
JP2018078514A (ja) 撮像装置及び自動制御システム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
WO2016152317A1 (ja) 映像処理システム、映像処理方法および映像処理プログラム
JP2020024563A (ja) 画像処理装置及び撮像装置
JP2019004204A (ja) 画像処理装置、画像出力装置およびコンピュータプログラム
JPWO2020261408A5 (ja) システム、ビジョンセンサ、情報処理装置、情報処理方法およびプログラム
JP7401630B2 (ja) センサアレイ
US20150161795A1 (en) Distance determination using a monoscopic imager in a vehicle
WO2017090097A1 (ja) 車両用外界認識装置
JP6387710B2 (ja) カメラシステム、測距方法、およびプログラム
CN113994168A (zh) 位置检测系统、图像处理设备、位置检测方法以及位置检测程序
JP2014035294A (ja) 情報取得装置および物体検出装置
JP2009104363A (ja) 物体識別装置
JP6169446B2 (ja) 視線検出装置
JP2005251197A (ja) 環境から情報を収集するためのシステムおよび方法
JP7311597B2 (ja) システム、位置検出装置、位置検出方法およびプログラム
KR102676085B1 (ko) 센서 제어 장치, 센서 제어 방법 및 프로그램
JP5081639B2 (ja) 車両用外界表示装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant