KR20220161295A - 센서 장치, 센서 탑재 디바이스, 센서 장치의 처리 방법 - Google Patents

Abstract

센서 장치는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와, 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 연산부를 구비한다.

Description

센서 장치, 센서 탑재 디바이스, 센서 장치의 처리 방법

본 기술은 센서 장치, 센서 탑재 디바이스, 센서 장치의 처리 방법에 관한 것으로, 특히 센서 장치와 센서 탑재 디바이스 간의 입출력을 수반하는 기술에 관한 것이다.

하기 특허문헌 1에는, 이미지 센서가, 가속도 센서 등 복수의 센서와의 인터페이스를 갖고, 이미지 센서 탑재 디바이스(예를 들어 스마트폰 등)의 거동을 감지하여, 애플리케이션 프로세서가 기동하고 있지 않은 상태에서도 촬영을 행하는 것을 가능하게 하는 기술이 개시되어 있다.

일본 특허 공개 제2017-228975호 공보

특허문헌 1의 기술은, 이미지 센서를 외부 센서의 입력을 트리거로 하여 촬영을 행하는 기능을 갖는 점에서 유용하지만, 이미지 센서 탑재 디바이스의 배터리 잔량이나 통신 상황 등에 따라, 이미지 센서의 동작 파라미터를, 환경이나 애플리케이션에 맞는 최적의 설정으로 변경하는 것은 실현할 수 없다.

그래서 본 개시에서는, 센서 장치가 디바이스의 상황이나 동작에 따라 자율적으로 처리를 최적화할 수 있도록 하는 기술을 제안한다.

본 기술에 관한 센서 장치는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 연산부를 구비한다.

즉 어레이 센서에 의해 얻어진 검출 신호에 대하여, 신호 처리부에서 신호 처리를 실시하여 출력하지만, 신호 처리부에 있어서의 처리 동작은 물체 검출에 기초하여 제어되도록 한다. 또한 이 센서 장치 자체가 탑재되어 있는 센서 탑재 디바이스의 디바이스 정보에 기초하여, 신호 처리부나 연산부에 있어서의 처리 내용이 전환되도록 한다. 예를 들어 처리 자체의 실행/불실행이나, 실행할 처리의 종별이나, 처리의 파라미터 설정 등이 전환되도록 한다.

또한 어레이 센서의 검출 신호로부터 검출되는 물체란, 물체 검출 대상이 되는 물체를 말하며, 온갖 물체가, 여기서 말하는 검출 대상인 물체로 될 가능성이 있다. 예를 들어 사람, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업 제품/부품, 건조물, 시설, 산, 바다, 강, 별, 태양, 구름 등, 온갖 물체를 대상으로 할 수 있다.

또한 어레이 센서의 검출 소자는, 가시광 또는 비가시광의 촬상 소자, 음파를 검출하는 음파 검출 소자, 또는 촉각을 검출하는 촉각 센서 소자 등이 상정된다.

어레이 센서에 의한 검출 신호에 대한 신호 처리란 어레이 센서로부터의 검출 신호의 판독 처리로부터, 센서 장치로부터의 출력 처리에 이르기까지의 모든 처리를 포함할 수 있는 것이다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 물체 검출, 또는 상기 신호 처리부의 처리 동작에 기초하여, 센서 동작 정보를 생성하여, 상기 센서 탑재 디바이스 측으로 송신하는 처리를 행하는 것을 생각할 수 있다.

신호 처리부에 있어서의 동작 상태나 물체 검출의 상태로서는, 물체 검출의 컨피던스 레이트, 클래스, 오브젝트 에어리어 등의 정보나, 프레임 레이트, 처리 파라미터, 화질 파라미터, 해상도, 그 외 각종 정보가 있다. 예를 들어 이들 정보를 디바이스 측으로 송신한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 미리 등록된 상기 센서 탑재 디바이스에 관한 등록 정보 또는 동작 전환 조건으로서의 등록 정보에 기초하여, 상기 전환 처리를 행하는 것을 생각할 수 있다.

디바이스 종별이나 디바이스에 있어서의 애플리케이션의 종별에 따라 각종 사정이 다르기 때문에, 미리 설정된 등록 정보에 기초하여 전환 처리가 행해지도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 디바이스 정보로서, 전원 정보를 취득하는 것을 생각할 수 있다.

전원 정보란, 예를 들어 디바이스의 배터리 잔량, 배터리 전압, 배터리 온도, 전원 회로의 스테이터스 등이 상정된다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 디바이스 정보로서, 통신 스테이터스 정보를 취득하는 것을 생각할 수 있다.

통신 스테이터스 정보란, 예를 들어 통신 접속 방법, 실행 스루풋, 커넥션 가부 등이 상정된다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 디바이스 정보로서, 상기 센서 탑재 디바이스의 하드웨어 또는 애플리케이션에 관한 정보를 취득하는 것을 생각할 수 있다.

디바이스의 하드웨어 또는 애플리케이션에 관한 정보란, 예를 들어 MCU(Micro Control Unit)의 유무, MCU의 능력, 기내 온도, 센서 정보, 메모리 사이즈 등의 하드웨어 구성에 관한 정보나, 애플리케이션의 타깃 정보나 필요한 메타데이터의 정보 등이 상정된다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 어레이 센서에 의한 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 식별된 클래스에 기초하여 상기 신호 처리부의 신호 처리에 사용되는 파라미터를 선택하는 처리를 행하는 것을 생각할 수 있다.

즉 어레이 센서에 의해 얻어진 신호, 예를 들어 화상 신호에 대한 신호 처리 파라미터가, 검출 물체의 클래스 식별에 기초하여 설정되도록 한다.

또한, 전환 처리와 관련된 처리란, 실행/불실행이 전환되는 처리이거나, 전환 처리에 의해 처리 내용이나 파라미터가 전환되는 처리이거나, 전환 처리에 의해 다른 처리와 선택적으로 실행되는 처리이거나 하는 등, 어떠한 전환의 대상이 되는 처리를 말한다.

또한, 클래스란, 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들어 「사람」 「자동차」 「비행기」 「배」 「트럭」 「새」 「고양이」 「개」 「사슴」 「개구리」 「말」 등과 같이 검출해야 할 물체를 클래스 분류하는 것이다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 디바이스 정보에 기초하여, 상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대한 역치를 설정하고, 상기 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 하는 것을 생각할 수 있다.

역치를 설정하고, 화상 처리부나 어레이 센서 등에서 사용되는 파라미터를 역치에 기초하여 변경할 수 있도록 한다.

어레이 센서의 검출 처리에 관한 파라미터로서는, 예를 들어 어레이 센서에 있어서의 노광 시간이나 어레이 센서로부터의 판독 타이밍, 프레임 레이트 등이 있다.

신호 처리에 관한 파라미터로서는, 예를 들어 화상의 해상도나 색 계조수 등이 있다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는 것을 생각할 수 있다.

즉 어레이 센서에 의해 얻어진 검출 신호에 대하여, 신호 처리부에서 신호 처리를 실시하여 출력부로부터 출력하지만, 신호 처리부에 있어서의 어레이 센서로부터의 검출 신호의 취득 또는 신호 처리에 관한 영역 정보가 물체 검출에 기초하여 설정되도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시함과 함께, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성하는 처리를 행하는 것을 생각할 수 있다.

예를 들어 「사람」 「자동차」 등의 각 클래스에 따른 영역 정보의 템플릿을 준비해 두고, 클래스 식별에 따라 선택하여 사용한다. 예를 들어 템플릿은, 클래스에 따라 어레이 센서의 검출 소자 중에서, 검출 정보를 취득해야 할 검출 소자를 나타내는 것 등이다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하고, 상기 템플릿으로 나타내어지는 영역 정보에 대한 처리의 파라미터를 상기 역치에 기초하여 설정하는 처리를 행하는 것을 생각할 수 있다.

역치를 설정하고, 템플릿으로 나타내어지는 영역의 처리 파라미터를 역치에 기초하여 변경할 수 있도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 전환 처리와 관련된 처리로서, 상기 연산부는, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하고, 상기 신호 처리부는, 상기 연산부에서의 영역 정보에 기초하여, 상기 어레이 센서로부터의 검출 신호에 대하여, 영역마다 상이한 압축률에 의한 압축 처리를 행하는 것을 생각할 수 있다.

즉 신호 처리부는, 영역 정보를 사용하여, 영역마다 압축률을 설정한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득되는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는 것을 생각할 수 있다.

즉 영역 정보를 생성하기 위한 물체 검출을, 어레이 센서의 전체 영역으로부터가 아니라, 액티브 에어리어로 된 영역의 정보에 의해 행하도록 한다.

또한 영역 정보에 관한 정보란, 영역 정보의 바탕이 되는 물체의 검출 영역의 정보나, 영역 정보 그 자체 등이다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 상기 어레이 센서로부터의 검출 신호의 프레임 레이트를 가변 지시하는 처리를 행하는 것을 생각할 수 있다.

즉 어레이 센서에 의해 얻어지는 검출 신호의 프레임 레이트를, 물체 검출 결과에 따라 가변한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 전환 처리와 관련된 처리로서, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 식별되는 클래스에 따라 상기 프레임 레이트의 역치를 설정하고, 상기 역치에 기초하여 설정된 프레임 레이트를 사용한 처리가 행해지도록 하는 것을 생각할 수 있다.

예를 들어 클래스에 따라, 물체 검출에 적절하며 또한 데이터양을 적게 할 수 있는 프레임 레이트를 설정할 수 있도록 한다.

본 기술에 관한 센서 탑재 디바이스는, 상기 센서 장치와 통신 가능한 제어부를 구비하고, 상기 센서 장치는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와, 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 상기 제어부로부터 입력되는 디바이스 정보에 기초하여 상기 신호 처리부의 동작 설정의 전환 처리를 행하는 연산부를 구비한다.

즉 센서 탑재 디바이스의 디바이스 정보를 제어부가 센서 장치 내의 연산부에 입력하도록 한다.

상기한 본 기술에 관한 센서 탑재 디바이스에 있어서는, 상기 연산부는, 상기 신호 처리부의 처리 동작의 상태, 또는 물체 검출의 상태에 기초한 센서 동작 정보를 생성하여, 상기 제어부로 송신하는 처리를 행하고, 상기 제어부는, 상기 센서 동작 정보에 기초하여 디바이스 동작의 제어를 행하는 것을 생각할 수 있다.

즉 센서 장치 내의 연산부가, 센서 탑재 디바이스 측의 제어부에 각종 정보를 출력하도록 한다.

본 기술에 관한 센서 장치의 처리 방법은, 센서 장치에 있어서의 상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 것이다.

즉 센서 탑재 디바이스 측의 정보에 따라 센서 장치 자체가 처리를 전환한다.

도 1은 본 기술의 실시 형태 센서 탑재 디바이스의 설명도이다.
도 2는 실시 형태의 센서 탑재 디바이스와 센서 장치의 설명도이다.
도 3은 실시 형태의 센서 탑재 디바이스 및 센서 장치의 블록도이다.
도 4는 실시 형태의 화상 적응화 처리를 위한 역치 설정의 설명도이다.
도 5는 실시 형태의 에어리어 클리핑된 프레임의 설명도이다.
도 6은 실시 형태의 에어리어 클리핑 해석 및 ROI(Region of Interest)의 설명도이다.
도 7은 실시 형태의 어드밴스드 ROI(Advanced ROI: AROI)의 설명도이다.
도 8은 실시 형태의 어드밴스드 ROI의 설명도이다.
도 9는 실시 형태의 어드밴스드 ROI와 역치의 설명도이다.
도 10은 실시 형태의 인텔리전트 컴프레션의 설명도이다.
도 11은 실시 형태의 액티브 에어리어 클리핑의 설명도이다.
도 12는 실시 형태의 액티브 에어리어 클리핑의 설명도이다.
도 13은 실시 형태의 액티브 샘플링의 설명도이다.
도 14는 실시 형태의 액티브 샘플링의 설명도이다.
도 15는 실시 형태의 액티브 샘플링의 설명도이다.
도 16은 실시 형태의 제1 처리예의 흐름도이다.
도 17은 실시 형태의 제2 처리예의 흐름도이다.
도 18은 실시 형태의 제3 처리예의 흐름도이다.
도 19는 실시 형태에 적용될 수 있는 다른 구성예의 블록도이다.
도 20은 실시 형태에 적용될 수 있는 또 다른 구성예의 블록도이다.

이하, 실시 형태를 다음의 순서로 설명한다.

<1. 센서 탑재 디바이스와 센서 장치의 구성>

<2. 각종 처리>

[2-1: 분류 화상 적응화]

[2-2: 역치 설정에 의한 화상 적응화]

[2-3: 에어리어 클리핑]

[2-4: AROI를 사용한 에어리어 클리핑]

[2-5: 역치 설정과 AROI를 사용한 에어리어 클리핑]

[2-6: 인텔리전트 컴프레션]

[2-7: 액티브 에어리어 클리핑]

[2-8: 액티브 샘플링]

[2-9: 역치 설정에 의한 액티브 샘플링]

<3. 입출력 정보에 의한 동작 개요>

<4. 처리예>

[4-1: 처리예 1]

[4-2: 처리예 2]

[4-3: 처리예 3]

<5. 센서 장치의 다른 구성예>

<6. 정리 및 각 처리에 대한 적용예>

또한 이하의 설명하는 실시 형태로서는, 촬상 소자 어레이를 갖고, 검출 신호로서 화상 신호를 출력하는 이미지 센서로서의 센서 장치(1)를 예로 든다. 특히 실시 형태의 센서 장치(1)는 화상 해석에 의한 물체 검출 기능을 구비하는 것으로 하고, 인텔리전트 어레이 센서(IAS: intelligent array sensor)라고 칭할 수 있는 장치이다.

<1. 센서 탑재 디바이스와 센서 장치의 구성>

도 1은 실시 형태의 센서 탑재 디바이스(100)의 예를 도시하고 있다. 이 센서 탑재 디바이스(100)는 상기의 IAS라고 칭하는 센서 장치를 탑재한 디바이스이고, 도시한 바와 같이, 일례로서, 자주 로봇(101), 드론 등의 소형의 비행체(102), 에이전트 장치나 IoT 기기라고 불리는 통신 기기(103), 감시 카메라(104) 등이 있다. 또한, 이들 이외에도, 안경형, 헤드셋형, 손목 시계형 등의 웨어러블 디바이스나, 각종 가전 기기 등도 있다.

이들을 총칭하여 센서 탑재 디바이스(100)라고 한다. 또한 단순히 「디바이스(100)」라고도 표기한다.

도 2에 센서 탑재 디바이스(100)에 있어서의 센서 장치(1)와 디바이스 측 처리부(50)를 도시하고 있다.

디바이스 측 처리부(50)는 센서 탑재 디바이스(100)에 있어서의 제어부로서 기능하는 프로세서, 마이크로컴퓨터 등이 상정된다. 디바이스 측 처리부(50)는 복수의 프로세서에 의해 구성되는 경우도 있다. 또한 프로세서, 마이크로컴퓨터 등의 연산 처리 장치가 아니라, 센서, 로직 회로, 액추에이터 구동 회로 등이 디바이스 측 처리부(50)로서 상정되는 경우도 있다.

IAS로서의 센서 장치(1)는, 상세하게는 도 3에서 설명하지만, 디바이스(100)에 탑재되어 화상 촬상을 행함과 함께, 화상으로부터의 물체 검출 및 그와 관련된 각종 연산 처리가 가능하게 된다. 또한, 센서 장치(1)에 있어서의 물체 검출은, 디바이스(100)로서 행하는 물체 검출이 아니라, 처리의 효율화나 전력 절약화를 위한 처리로 평가되는 경우도 있다. 예를 들어 디바이스 측 처리부(50)에서 물체 검출을 행하는 디바이스(100)의 경우, 그 디바이스 측 처리부(50)의 처리의 효율화나 검출 정밀도 향상을 위해 센서 장치(1) 내에서의 물체 검출이 행해진다. 이러한 처리예에 대해서는 후술한다.

물론, 디바이스 측 처리부(50)에서 물체 검출을 행하지 않는 디바이스(100)의 경우나, 혹은 물체 검출을 행하는 경우에도, 센서 장치(1)에서 행해지는 물체 검출의 결과가 디바이스(100)의 어떠한 처리에 사용되어도 된다.

센서 장치(1)와 디바이스 측 처리부(50) 사이에는, 각종 데이터를 서로 입출력하는 인터페이스가 형성되어 있다.

일반적으로 센서 장치가 탑재되는 디바이스에서는, 센서 장치에 의한 센싱 신호(화상 신호, 검출 신호 등)가 디바이스 측의 처리부에 공급되는 것은 당연하지만, 여기서 말하는 인터페이스란, 그러한 센싱 신호의 인터페이스라는 의미는 아니고, 센싱 신호 이외, 예를 들어 도시한 바와 같이 디바이스 정보나 센서 동작 정보의 인터페이스라는 의미이다.

센서 장치(1)로부터 보면, 디바이스 측 처리부(50)로부터는 디바이스 정보가 입력된다. 디바이스 정보로서는, 예를 들어 디바이스(100)의 전원 정보, 통신 스테이터스 정보, 하드웨어/애플리케이션 정보 등이 있다.

또한 센서 장치(1)는, 센서 동작 정보를 디바이스 측 처리부(50)에 대하여 출력한다. 센서 동작 정보란, 센서 장치(1)에 있어서의 센싱 신호의 신호 처리 동작의 상태를 나타내는 정보나, 물체 검출에 기초한 정보이다.

신호 처리 동작의 상태를 나타내는 정보로서는, 예를 들어 화상의 프레임 레이트, 처리 파라미터, 화질 파라미터, 해상도, 그 외 신호 처리에 관한 파라미터 등의 각종 정보가 있다.

물체 검출에 기초한 정보로서는, 물체 검출의 컨피던스 레이트, 클래스, 오브젝트 에어리어 등의 정보 등이 있다.

도 3에 의해, 주로 센서 장치(1)의 상세한 구성예를 나타낸다.

도 3에 있어서는 센서 장치(1)와 데이터 통신을 행하는 장치로서 프로세서(11), 외부 센서(12)도 도시하고 있다. 이 예에서는, 프로세서(11)가 도 2의 디바이스 측 처리부(50)에 상당하는 것으로 한다.

센서 장치(1)는, 하드웨어로서는, 이미지 센서 디바이스, DRAM(Dynamic Random Access Memory) 등의 기억 영역, AI(artificial intelligence) 기능 프로세서로서의 구성 부위를 가지고 있다. 그리고 이들 3개가 3레이어 적층 구조로 되거나, 1레이어로 소위 수평 배치 구성으로 되거나, 혹은 2레이어(예를 들어 DRAM과 AI 기능 프로세서가 동일 레이어) 적층 구조로 되거나 하는 등으로서 일체형의 디바이스로 된다.

도 3과 같이 센서 장치(1)는, 어레이 센서(2), ADC(Analog to Digital Converter)/픽셀 셀렉터(3), 버퍼(4), 로직부(5), 메모리(6), 인터페이스(I/F)부(7), 연산부(8)를 갖는다.

ADC/픽셀 셀렉터(3), 버퍼(4), 로직부(5)는 어레이 센서(2)로 얻어지는 검출 신호를 외부로의 출력을 위해 신호 처리하는 신호 처리부(30)가 된다.

어레이 센서(2)는 검출 소자가 가시광 또는 비가시광의 촬상 소자로 되고, 복수의 촬상 소자가 1차원 또는 2차원으로 배열되어 구성되어 있다. 예를 들어 행방향 및 열방향의 2차원으로 다수의 촬상 소자가 배열되고, 각 촬상 소자에 있어서의 광전 변환에 의해 이차원 화상 신호를 출력하는 구성으로 된다.

ADC/픽셀 셀렉터(3)는 어레이 센서(2)에 의해 광전 변환된 전기 신호를 디지털 데이터화하여, 디지털 데이터로서의 화상 신호를 출력한다.

또한 ADC/픽셀 셀렉터(3)는 어레이 센서(2)의 화소(촬상 소자)에 대한 픽셀 선택의 기능을 가짐으로써, 어레이 센서(2)에 있어서 선택된 화소만에 대하여, 광전 변환 신호를 판독하여 디지털 데이터화하여 출력할 수 있도록 해도 된다. 즉 ADC/픽셀 셀렉터(3)는, 통상은 1프레임의 화상을 구성하는 유효한 화소의 전부에 대하여 광전 변환 신호의 디지털 데이터화 출력을 행하지만, 선택된 화소만에 대한 광전 변환 신호의 디지털 데이터화 출력을 행할 수도 있다.

ADC/픽셀 셀렉터(3)에 의해, 프레임 단위로 화상 신호가 판독되지만, 이 각 프레임의 화상 신호는 버퍼(4)에 일시 기억되고, 적절한 타이밍에 판독되어 로직부(5)의 처리에 제공된다.

로직부(5)에서는, 입력되는 각 프레임 화상 신호에 대하여 각종 필요한 신호 처리(화상 처리)를 행한다.

예를 들어 로직부(5)에서는, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 콘트라스트 조정 처리, 샤프니스 조정 처리, 그레이 레벨 조정 처리 등의 처리에 의해 화질 조정을 행하는 것이 상정된다.

또한 로직부(5)에서는 데이터 압축 처리, 해상도 변환, 프레임 레이트 변환, 종횡 비율 변환, 샘플링 레이트 변경 등, 데이터 사이즈를 변경하는 처리를 행하는 것도 상정된다.

이들 로직부(5)에서 행해지는 각 처리에 대해서는, 각각의 처리에 사용되는 파라미터가 설정된다. 예를 들어 색이나 휘도의 보정 계수, 게인값, 압축률, 프레임 레이트, 해상도, 처리 대상의 영역, 샘플링 레이트 등의 설정값이 있다. 로직부(5)에서는, 각각의 처리에 대하여 설정된 파라미터를 사용하여 필요한 처리를 행한다. 본 실시 형태에서는, 이들 파라미터를 연산부(8)가 설정하는 경우가 있다.

로직부(5)에서 처리된 화상 신호는 메모리(6)에 기억된다.

메모리(6)에 기억된 화상 신호는, 필요한 타이밍에 인터페이스부(7)에 의해 프로세서(11) 등으로 송신 출력된다.

또한, 메모리(6)로서는 DRAM, SRAM(Static Random Access Memory), MRAM(Magneto resistive Random Access Memory: 자기 저항 메모리) 등이 상정된다.

또한 MRAM은 자기에 의해 데이터를 기억하는 메모리이고, 자기 코어 대신에 TMR 소자(tunneling magneto resistive)를 사용하는 것으로 알려져 있다. TMR 소자는 수 원자분이라는 극히 얇은 절연물의 층을 자성체 사이에 끼운 것으로, 자성체의 층의 자화의 방향에 의해 전기 저항이 변화한다. TMR 소자의 자화의 방향은 전원이 끊어져도 변화하지 않고, 불휘발성의 메모리가 된다. 미세화하면 할수록 기입 전류를 크게 할 필요가 있기 때문에, 메모리 셀을 미세화하기 위해서는, 자계를 사용하지 않고, 스핀이 정렬된 전자를 흘려서 기입하는 스핀 주입 자화 반전 방식(STT: spin torque transfer)을 사용한 STT-MRAM이 알려져 있다.

물론 메모리(6)의 구체예로서는, 이들 이외의 기억 소자여도 된다.

센서 장치(1)의 외부의 프로세서(11)에서는, 센서 장치(1)로부터 송신되어 온 화상 신호에 대하여, 화상 해석, 화상 인식 처리를 행하여, 필요한 물체 검출 등을 실행할 수 있다. 혹은 프로세서(11)는 화상 신호의 기억, 통신, 표시 등을 위한 신호 처리를 행하는 것으로 해도 된다.

프로세서(11)는 외부 센서(12)의 검출 정보를 참조할 수도 있다.

또한, 프로세서(11)는 센서 장치(1)와 함께 디바이스(100)에 탑재되어 있지만, 유선 또는 무선으로 센서 장치(1)와 접속되는 것을 생각할 수 있다.

연산부(8)는, 예를 들어 1개의 AI 프로세서로서 구성된다. 그리고 실행 가능한 연산 기능으로서 도시한 바와 같이 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84), 역치 설정부(85), 전환 판정부(86), 동작 정보 생성부(87)를 구비한다. 또한 이들 연산 기능이 복수의 프로세서에 의해 구성되어도 된다.

연산부(8)는 인터페이스부(7)를 통해 프로세서(11)와도 통신 가능하다. 예를 들어 연산부(8)는 도 2에 도시한 바와 같이 디바이스 정보를 프로세서(11)로부터 인터페이스부(7)를 통해 입력할 수 있다. 또한 연산부(8)는 인터페이스부(7)를 통해 센서 동작 정보를 프로세서(11)에 대하여 출력할 수 있다.

연산부(8)에 있어서의 키 프레임 선택부(81)는, 소정의 알고리즘 또는 지시에 따라, 동화상으로서의 화상 신호의 프레임 내에서 키 프레임을 선택하는 처리를 행한다.

물체 영역 인식부(82)는 어레이 센서(2)로 광전 변환되어, ADC/픽셀 셀렉터(3)에 의해 판독되는 화상 신호의 프레임에 대하여 검출의 후보가 되는 물체의 영역의 검출이나, 검출 대상인 물체에 대하여 화상(프레임) 내에서의 당해 물체의 면적의 인식 처리를 행한다.

화상 신호로부터 검출되는 물체란, 화상으로부터의 인식을 목적으로 하여 검출 대상이 될 수 있는 물체를 말한다. 센서 장치(1)나 프로세서(11)의 검출의 목적, 처리 능력, 애플리케이션 종별 등에 따라, 어떠한 물체가 검출 대상이 되는지는 다르지만, 온갖 물체가, 여기서 말하는 검출 대상인 물체로 될 가능성이 있다. 어디까지나 일부이지만 예시하면, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업 제품/부품, 건조물, 시설, 산, 바다, 강, 별, 태양, 구름 등이 해당할 가능성이 있다.

클래스 식별부(83)는 물체 영역 인식부(82)가 검출한 물체에 대하여 클래스 분류를 행한다.

클래스란, 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들어 「사람」 「자동차」 「비행기」 「배」 「트럭」 「새」 「고양이」 「개」 「사슴」 「개구리」 「말」 등과 같이 검출해야 할 물체를 클래스 분류하는 것이다.

파라미터 선택부(84)는 각 클래스에 따른 신호 처리용의 파라미터를 기억하고 있고, 클래스 식별부(83)가 식별한 검출 물체의 클래스나 그 면적 등을 사용하여, 대응하는 1개 또는 복수의 파라미터를 선택한다. 그리고 그 1개 또는 복수의 파라미터를 로직부(5)에 설정한다.

역치 설정부(85)는 DNN 엔진으로서의 기능을 갖고, 로직부(5)의 화상 처리 또는 어레이 센서(2)에 의한 촬상에 관한 촬상 처리(어레이 센서(2) 및 ADC/픽셀 셀렉터(3)의 처리)에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하는 처리를 행한다.

또한 역치 설정부(85)는 로직부(5), 어레이 센서(2), ADC/픽셀 셀렉터(3)의 전부 또는 일부에 있어서, 역치에 기초하여 변경된 파라미터를 사용한 처리가 행해지도록 한다.

구체적으로는 역치 설정부(85)는, 예를 들어 로직부(5)에서 화상 처리에 사용되는 파라미터를, 역치에 기초하여 변경하고, 변경한 파라미터를 로직부(5)에 설정한다.

또한 혹은, 역치 설정부(85)는, 예를 들어 어레이 센서(2)에서의 노광 동작이나 ADC/픽셀 셀렉터(3)의 판독 처리, AD 변환 처리 등의 촬상 처리에 사용되는 파라미터를, 역치에 기초하여 변경하여, 변경한 파라미터를 어레이 센서(2)나 ADC/픽셀 셀렉터(3)에 설정한다.

전환 판정부(86)는 프로세서(11)로부터 입력되는 디바이스 정보나, 미리 설정된 등록 정보(후술) 등에 기초하여, 센서 장치(1)의 처리 내용의 전환 판정을 행하고, 필요에 따라 처리 내용의 전환 제어를 행한다. 예를 들어 처리 자체의 실행/불실행이나, 실행할 처리의 종별이나, 처리의 파라미터 설정 등의 전환 제어를 행한다.

동작 정보 생성부(87)는 신호 처리부(30)의 처리 동작 또는 연산부(8)의 물체 검출에 기초한 센서 동작 정보를 생성하여, 프로세서(11)로 송신하는 처리를 행한다. 센서 동작 정보로서는, 예를 들어 물체 검출의 컨피던스 레이트, 클래스, 오브젝트 에어리어 등의 정보나, 프레임 레이트, 처리 파라미터, 화질 파라미터, 해상도, 그 외 각종 정보가 있다.

연산부(8)에 의한 이들 기능은, 통상 어레이 센서 내에서는 행하지 않은 처리이고, 본 실시 형태에서는, 물체 검출이나 클래스 인식, 착색 처리 등을 어레이 센서 내에서 실행한다. 이에 의해, 프로세서(11)에 공급할 화상 신호를 디바이스(100)에 있어서 적절한 것으로 한다.

또한 인터페이스부(7)는 프로세서(11)에 화상 신호를 출력하는 것 외에, 상술한 센서 동작 정보를, 예를 들어 메타데이터로서 화상 신호와 함께 출력하는 것이나, 혹은 화상 신호와는 독립적으로 출력할 수 있다. 또한 예를 들어 클래스의 정보만을 출력하는 등과 같은 것도 가능하다.

또한 예를 들어 프로세서(11) 측이, 인터페이스부(7)에 대하여 필요한 정보를 지시하고, 인터페이스부(7)가 그에 따른 정보를 연산부(8) 등에 전달하는 것도 생각할 수 있다.

<2. 각종 처리>

여기서, 연산부(8)를 갖는 센서 장치(1)에서 행할 수 있는 각종 처리를 설명한다. 이하, 처리예로서, 분류 화상 적응화, 역치 설정에 의한 화상 적응화, 에어리어 클리핑, AROI를 사용한 에어리어 클리핑, 역치 설정과 AROI를 사용한 에어리어 클리핑, 인텔리전트 컴프레션, 액티브 에어리어 클리핑, 액티브 샘플링, 역치 설정에 의한 액티브 샘플링 각각에 대하여 차례로 설명한다.

또한, 이들 처리는, 각각이, 전환 판정부(86)의 기능에 의한 전환 처리와 관련된 처리의 일례이다. 전환과 관련된 처리란, 그 자체의 실행/불실행이 전환되는 처리이거나, 전환 처리에 의해 처리 내용이나 파라미터가 전환되는 처리이거나, 전환 처리에 의해 다른 처리와 선택적으로 실행되는 처리이거나 하는 등, 어떠한 전환의 대상이 되는 처리를 말한다.

[2-1: 분류 화상 적응화]

분류 화상 적응화는, 신호 처리부(30)의 처리 파라미터를 물체 클래스에 따라 설정하는 처리이다.

키 프레임 선택부(81)는 키 프레임 선택 알고리즘에 따른 타이밍에 촬상되는 화상의 프레임 중에서 키 프레임을 선택하는 처리를 행한다.

센서 장치(1)는 어레이 센서(2)의 픽셀 어레이 출력 신호인 프레임 단위의 화상 신호로부터, 키 프레임을 선택하고, 화상 인식을 행함으로써, 촬상 대상의 피사체 클래스를 인식하게 된다. 키 프레임의 선택은 키 프레임 선택 알고리즘에 의해 행해지고, 이에 따라 정지 화상(어느 1프레임)이 선택된다.

키 프레임 선택 알고리즘의 예를 든다.

먼저, 지정한 시간의 간격마다 1프레임 선택하는 방법이 있다. 예를 들어 30초 간격으로 1프레임을 키 프레임으로 하는 등이다. 물론 30초라는 것은 일례이다.

또한 센서 장치(1)의 외부(프로세서(11) 등)로부터의 명령에 따른 타이밍으로서 키 프레임을 선택하는 것도 생각할 수 있다. 예를 들어 센서 장치(1)가 탑재되어 있는 디바이스, 기기 측으로부터의 지시에 따른 것으로 한다. 예를 들어 센서 장치(1)가 자동차에 탑재되어 있는 케이스에서, 주차장에 정지하고 있었지만, 주행을 개시한 타이밍 등에서 키 프레임을 선택하는 등이다.

또한 키 프레임의 선택 방법을 상황에 따라 변화시켜도 된다. 예를 들어 센서 장치(1)가 자동차에 탑재되는 경우에, 정차 시, 통상 주행 시, 고속 주행 시로 키 프레임의 간격을 변경하는 등이다.

키 프레임이 선택되면, 물체 영역 인식부(82)는 키 프레임 내의 물체의 후보가 되는 위치의 검출을 행한다.

즉 물체 영역 인식부(82)는 키 프레임의 화상에 있어서 검출해야 할 물체의 후보를 탐색하여, 1개 또는 복수의 후보 위치(화상 내의 위치 좌표)를 구한다.

클래스 식별부(83)는 검출 물체의 클래스 분류를 행한다. 즉 물체의 후보 각각에 대하여 클래스 식별을 행하고, 분류한다.

상술한 바와 같이 클래스란 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들어 검출한 물체에 대하여 「사람」 「꽃」과 같은 클래스 식별이 행해진다.

파라미터 선택부(84)는 클래스 식별 결과로서 얻어진 클래스에 따른 파라미터 제어를 행한다.

예를 들어 파라미터 선택부(84)는 물체의 클래스, 수, 면적 등에 기초하여 파라미터 세트를 선택한다.

화상 내에 예를 들어 1개의 클래스가 존재하는 경우에는, 파라미터 선택부(84)는 그 클래스에 대응하는 파라미터 세트를 선택한다. 예를 들어 식별된 클래스 중에 「사람」이 존재한 경우, 파라미터 선택부(84)는 사람의 화상에 적합한 파라미터 세트를 선택한다.

화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 이하의 예를 생각할 수 있다.

예를 들어, 각 클래스 중 가장 물체의 수가 많은 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 가장 면적이 큰 물체의 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 클래스마다 면적의 총계가 가장 커지는 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 클래스마다의 물체 수와 면적의 총계(또는 최댓값)로부터, 최우선의 클래스를 구하고, 그 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

물론 그 밖에도 파라미터 세트의 선택 방법은 각종 존재하지만, 어떻든 화면 내에서 지배적인 물체, 혹은 우선하여 검출해야 할 물체의 클래스에 따른 파라미터 세트가 선택되도록 하면 된다.

그리고 파라미터 선택부(84)는 선택한 파라미터 세트를 로직부(5)에 설정하는 처리를 행한다.

이에 의해 로직부(5)에서는 이후, 순차 입력되는 각 프레임의 화상 신호에 대하여, 설정된 파라미터 세트를 사용하여 각종 화상 처리를 행한다.

처리된 화상 신호나 설정된 파라미터, 혹은 식별된 클래스의 정보 등은 메모리(6)에 일시적으로 기억된다.

센서 장치(1)는, 프로세서(11)의 요구에 따라 화상 신호(정지 화상, 동화상), 클래스 식별 정보(클래스, 오브젝트 수 등), 사용된 파라미터 세트 등의 정보의 전부 또는 적어도 어느 것을 출력할 수 있다.

즉 메모리(6)에 일시 기억된 정보 중 어느 것이, 프로세서(11)의 요구에 따라 인터페이스부(7)에 의해 판독되어 송신된다.

이상의 처리에 의해, 프로세서(11)에는, 화상에 포함되는 물체로서의 클래스의 존재에 따라 파라미터 설정이 이루어진 화상 신호가 공급된다. 그 화상 신호는, 당해 클래스에 적합한 화질이 되도록 화상 처리가 행해진 화상 신호이거나, 당해 클래스의 물체 검출에 적합한 화상 처리가 행해진 화상 신호이거나 하는 것이 된다.

[2-2: 역치 설정에 의한 화상 적응화]

역치 설정에 의한 화상 적응화란, 상기의 분류 화상 적응화의 처리에, 또한 역치 설정에 따른 파라미터 변경이라는 사고 방식을 가하는 처리예이다.

여기서 말하는 파라미터의 일례로서는, 로직부(5)에서의 화상 처리에서 사용되는 파라미터가 상정되고, 로직부(5)에서 사용되는 화상 처리의 파라미터가, 예를 들어 센서 장치(1) 내에서 설정된 역치를 충족시키도록 설정(조정·변경)된다.

또한 파라미터로서는, ADC/픽셀 셀렉터(3)에서의 신호 판독이나 어레이 센서(2)에서의 노광 동작 등의 촬상 처리에 사용되는 파라미터도 상정된다. ADC/픽셀 셀렉터(3)나 어레이 센서(2)의 촬상 처리 동작의 제어 파라미터 등이, 예를 들어 센서 장치(1) 내에서 설정된 역치를 충족시키도록 설정(조정·변경)되도록 한다.

상술한 분류 화상 적응화에서는, 로직부(5)에서 사용되는 파라미터는 클래스 식별에 따라 선택되었지만, 이 선택된 파라미터가, 역치에 기초하여 설정(조정·변경)되는 것으로 할 수도 있다.

혹은, 반드시 클래스 식별에 기초하여 선택된 파라미터에 한정되지는 않고, 로직부(5)나 ADC/픽셀 셀렉터(3)나 어레이 센서(2)에서 사용되는 파라미터이면, 역치에 기초하여 설정되도록 하는 것을 생각할 수 있다.

이와 같이 역치에 기초하여 자동적으로 설정되는 촬상 처리에 관한 파라미터나 화상 처리에 관한 파라미터의 구체예를 나타낸다.

예를 들어 화상 처리에 관한 파라미터는 다음과 같이 예시된다.

· 화상의 종횡 비율

· 해상도

· 색 계조수(색수 또는 비트수)

· 콘트라스트 조정값

· 샤프니스 조정값

· 그레이 레벨 조정값

· 감마 보정값

· 샘플링 레이트 변환비

화상의 종횡 비율이나 해상도의 파라미터는, 후술하는 ROI(21)에도 반영된다.

색 계조수, 콘트라스트 조정값, 샤프니스 조정값, 그레이 레벨 조정값, 감마 보정값, 해상도는, 화질에 관한 파라미터가 된다.

샘플링 레이트 변환비는 시간 해상도의 파라미터가 된다.

또한 촬상 처리에 관한 파라미터로서는

· 샘플링 레이트

· 해상도(예를 들어 ADC/픽셀 셀렉터(3)의 판독 시점에 설정되는 해상도)

· 어레이 센서(2)의 셔터 스피드(노광 시간)

등이 있다.

물론 역치에 기초하여 자동적으로 설정되는 파라미터는 상기 열거 이외의 파라미터도 있다.

이러한 파라미터의 역치에 따른 설정은, 예를 들어 프로세서(11)에서 딥 뉴럴 네트워크(DNN: Deep Neural Network)를 사용한 학습에 기초하여 물체 검출을 행하는 경우에, 그 물체 검출의 출력에 대하여 실용 가능한 정밀도를 담보하면서, 데이터양 삭감, 처리의 고속화, 저소비 전력화 등을 도모하기 위해 행한다.

즉, 해상도나 색수 등의 파라미터를 변경하여 촬상 데이터양을 저감시키지만, 그에 의해서도 물체 검출의 정밀도가, 필요한 레벨로 유지되도록 한다.

도 4에서 역치에 기초한 파라미터 설정의 사고 방식을 설명한다.

예를 들어 센서 장치(1)로 사람을 촬상한 경우에, 그 출력 화상으로서는, 어레이 센서(2)의 모든 화소(모든 유효 화소)의 정보를 갖고, 예를 들어 프레임 레이트로서 60fps(frames per second)로 풀컬러의 화상 데이터를 출력하였다고 가정하자.

그리고, 그러한 화상 데이터에 대하여 예를 들어 프로세서(11)에서 물체 검출을 행한 경우에, 컨피던스 레이트 CR=0.98로서, 98％의 비율로, 올바르게 사람 검출을 할 수 있었다고 가정하자. 컨피던스 레이트란, 올바르게 물체를 판별하여 검출할 수 있는 확증성의 비율이다.

한편, 해상도를 약간 낮추고, 색의 계조수를 약간 낮추고, 프레임 레이트를 30fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트 CR=0.92가 되었다고 가정하자.

또한, 해상도를 보다 낮추고, 색의 계조수도 보다 낮추고, 프레임 레이트를 15fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트 CR=0.81이 되었다고 가정하자.

또한, 해상도를 대폭 낮추고, 색의 계조수도 대폭 낮추고, 프레임 레이트를 10fps로 한 화상 데이터를 출력한 경우, 컨피던스 레이트 CR=0.58이 되었다고 가정하자.

이상은 어디까지나 설명상의 예이지만, 이와 같이 해석 대상인 화상 데이터의 해상도나 색수, 시간 해상도 등의 촬상 또는 화질에 관계되는 파라미터의 변경을 행함으로써 컨피던스 레이트가 변동한다. 즉 화상 해석이나 물체 검출의 정밀도가 바뀐다.

그런데 물체 검출의 컨피던스 레이트는 높은 것보다 더 좋은 것은 없지만, 실제로는 항상 최고의 레이트가 요구되는 것은 아니다.

예를 들어 도 5의 A와 같이 공원을 부감 촬상하는 화상으로부터 대략적으로 사람의 수를 검출하고 싶은 경우를 고려했을 경우, 그다지 정확성은 요구되지 않는다. 예를 들어 수 명, 10명 전후, 20명 전후, 등과 같은 검출 결과를 구하는 경우에는, 컨피던스 레이트 CR=0.6 정도로 충분할지도 모른다.

한편, 방범 카메라 등으로 사람의 침입 등을 엄격하게 감시하고 싶은 경우, 컨피던스 레이트 CR=0.95 정도가 요구되는 경우도 있다.

또한 주간에는 컨피던스 레이트 CR=0.70으로도 되지만, 야간에는 컨피던스 레이트 CR=0.90 정도로 하고 싶은 요망도 있을 수 있다.

즉, 물체 검출의 정밀도로서 요구되는 컨피던스 레이트 CR은, 그 검출에 대한 목적, 대상, 기기/애플리케이션 프로그램의 종별, 시기, 지역 등, 다양한 요소에 따라 다른 것이 된다.

게다가, 컨피던스 레이트는, 프로세서(11)의 해석 능력, 학습 정도에 따라서도 변동하고, 검출 대상, 클래스에 따라서도 변동한다.

이러한 점에서, 예를 들어 구해지는 적절한 컨피던스 레이트를 기준으로 역치를 정하고, 그에 따라 파라미터를 변경함으로써, 물체 검출 등의 요구에 합치한 화상 신호의 출력을 행할 수 있다.

이제, 도 4의 예에 있어서, 컨피던스 레이트 CR=0.80 이상이 요구된다고 가정하자.

그 경우에, 컨피던스 레이트 CR으로서의 역치 0.80 이상이 되는 파라미터를 계산하고, 로직부(5) 등에서 사용되는 파라미터를 설정한다. 특히 역치보다 높지만, 비교적 데이터양이 적어지는 파라미터를 설정한다.

예를 들어 도시하는 컨피던스 레이트 CR=0.81이 되는 해상도, 색 계조수, 프레임 레이트 등의 파라미터가 설정되도록 한다.

그러면, 예를 들어 컨피던스 레이트 CR=0.98이 되도록 파라미터를 설정하여 화상 신호를 출력하는 경우에 비하여, 대폭 데이터양을 삭감하고, 게다가 필요한 물체 검출 정밀도를 유지할 수 있다.

또한, 「역치」란, 컨피던스 레이트로서의 요구되는 값으로 생각해도 되지만, 파라미터 조정을 위해 산출하는 역치라는 의미에서는, 요구되는 「역치」로서의 컨피던스 레이트를 얻기 위한 파라미터의 값으로도 생각할 수도 있다.

즉 기술적인 의미에서는, 「파라미터의 역치를 설정하고, 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 한다」라는 처리는, 다음 [1] [2]와 같은 처리 방법이 상정된다.

[1] 사용 양태나 사용 환경에 적합한 컨피던스 레이트 등의 지표값의 역치를 산출하고, 그 지표값의 역치를 초과하는 지표값이 얻어지는 파라미터값으로서 실제로 사용되는 파라미터를 설정한다. 즉 물체 검출의 지표값의 관점에서 파라미터의 역치를 설정한다.

[2] 컨피던스 레이트 등의 지표값으로서의 요구되는 값을 얻기 위한 파라미터 역치를 산출하고, 그 역치에 기초하여 실제로 사용되는 파라미터를 설정한다. 즉 파라미터 자체의 값이라는 관점에서 파라미터의 역치를 설정한다.

본 실시 형태에서는, 예를 들어 컨피던스 레이트에 기초하여 상기의 [1] 또는 [2]와 같이 역치를 설정하여, 실제로 사용되는 파라미터는, 화상 데이터양이 가능한 한 적어지도록 적응화된 파라미터로 한다. 이러한 파라미터를 리얼타임(예를 들어 촬상 중에 정기적으로 등)으로 산출하여, 다이내믹하게 파라미터 변경을 행하도록 하는 것이다.

예를 들어 센서 장치(1)의 용도, 타깃 클래스나 촬상 환경에 맞추어 DNN 처리에 의해 적절한 역치나 그에 따른 파라미터를 산출하고, 파라미터 변경을 행함으로써, 애플리케이션 등에 적응된 고속화, 저소비 전력화, 고정밀도화를 행한다.

특히, 파라미터 조정은 물체 검출의 컨피던스 레이트에 따른 역치를 마련하여, 그 역치에 가능한 한 가깝게, 또한 역치를 하회하지 않도록 하는 파라미터의 설정값을 산출하는 것으로 한다.

또한 역치 및 그에 따른 파라미터는, 클래스마다 행해지는 것이 적절하다. 예를 들어 「사람의 얼굴」 「로드 사인(도로 표지)」 등의 물체의 클래스에 따라서도, 화상 신호의 품질에 대한 검출 정밀도나 요구되는 정밀도는 다르기 때문에, 클래스에 따른 역치 설정이나 파라미터 변경을 행하는 것이 적절하다.

그리고 역치 및 그에 따른 파라미터를, 컨피던스 레이트의 최댓값을 사용하여 설정하거나, 배터리 잔량에 따라 변화시키거나, 물체 검출 시의 오브젝트 트래킹을 유지할 수 있도록 변화시키거나 한다.

이에 의해, 물체 검출의 목적이나 동작 상황, 환경 등에 따른 신호 처리를 실행할 수 있다.

[2-3: 에어리어 클리핑]

에어리어 클리핑은, 화상 전체 내의 특정 에어리어만을 처리 대상으로 하여 물체 검출을 행하는 처리예이다.

어레이 센서(2)에 의해 검출되는 화상 신호에 대해서는, 통상은, 각 프레임의 전체 화소의 정보를 프로세서(11)로 송신하여 화상 인식을 실행시키는 것을 생각할 수 있다.

그러나 전체 프레임의 전체 화소의 정보를 프로세서(11)로 전송하고, 프로세서(11)에서 물체 검출해 가면, 특히 어레이 센서(2)에 의한 촬상 화상의 고정밀화가 진행됨에 따라, 전송 정보량이 현저하게 증대되고, 전송 시간도 요하게 된다. 또한 클라우드 송신하는 경우에는 통신량의 증대는 통신 비용, 시간에 크게 영향을 미친다. 또한 프로세서(11)나 클라우드에 있어서의 스토리지양의 부담도 증가하고, 또한 해석 처리 부담, 처리 시간도 증가하여, 물체 검출 퍼포먼스가 저하될 우려가 있다.

그래서, 어떤 프레임의 화상에 있어서 필요한 물체를 인식하면, 다음 프레임 이후는, 대략 당해 물체의 영역 화소 레벨로 화상 신호의 취득이나 전송을 행하도록 하고, 다른 영역의 화소는 정보로서 존재하지 않도록 함으로써, 처리의 효율화를 도모하도록 한다.

도 6에 개요를 나타낸다.

도 6의 A에 어떤 프레임 F1의 화상을 도시하고 있다. 검출해야 할 물체로서 「사람」을 설정한 경우, 프레임 F1의 화상 내에서 사람의 영역을 검출한다. 그리고 사람이 검출된 영역을 관심 영역인 ROI(Region of Interest)(21)로 한다.

이후의 프레임 F2, F3 ··· Fn에서는, 어레이 센서(2)로부터, ROI(21)로 된 영역 내의 화소만을 판독하도록 한다. 그 화상은 도 6의 B와 같이 ROI(21)의 부분의 정보만을 포함하는 화상이 된다.

그리고 이러한 부분적인 화소의 정보를 포함하는 화상 신호에 기초하여 연산부(8)에 있어서의 해석이 행해지거나, 프로세서(11)로 전송되어 화상 해석이 행해지거나 하도록 한다.

구체적으로는 도 6의 A에 모식적으로 도시한 바와 같이, 어레이 센서(2)에 의해 얻어지는 화상 신호 중, N 프레임에 1매의 비율로서의 어떤 프레임 F1에 대해서는 전체 유효 화소의 정보를 포함하는 화상으로 한다. 그리고 연산부(8)에서 전체 화면을 스캔하여 대상물의 유무와 위치의 검출을 행한다. 그리고 ROI(21)를 설정한다.

후속의 프레임 F2를 취득할 때는, 도 6의 B와 같이 대상 에어리어로 된 ROI(21)의 화소만 AD 변환이 행해진 화상 신호가 취득되도록 한다. 또한 도면에 있어서 격자로 구획된 각 사각형은 화소를 나타낸다.

이와 같이 예를 들어 N 프레임마다 1프레임만 전체 화면 스캔하여 대상물의 검출을 행하고, 도 6의 C와 같이 이후의 프레임 F2, F3, F4 ···에서는 전 프레임의 대상물의 검출 에어리어만 화상 해석을 행한다.

이 프로세스를 행함으로써, 애플리케이션의 대상이 되는 물체 검출의 정밀도를 떨어뜨리지 않고, 해석 데이터양의 삭감, 통신 데이터양의 저감이 행해지고, 센서 장치(1)의 저소비 전력화와 센서 장치(1)를 탑재한 시스템 전체의 물체 검출에 관한 화상 해석의 고속화가 행해진다.

[2-4: AROI를 사용한 에어리어 클리핑]

어드밴스드 ROI(「AROI」라고도 표기함)란, 클래스에 따라 설정된 템플릿을 사용하여 설정되는 ROI이다.

어레이 센서(2)(이미지 센서)에서는 광전 변환에서 소비되는 전력이 가장 크다. 이 때문에 소비 전력 삭감에는, 가능한 한 광전 변환할 화소를 적게 하고 싶다.

또한 어레이 센서(2)에 의해 얻는 화상 신호는, 화상 해석을 위한 것이며 사람이 보는 것은 아니므로, 사람이 보고 인식할 수 있거나, 깨끗한 화상이거나 할 필요는 없다. 바꾸어 말하면, 고정밀도로 물체 검출할 수 있는 화상인 것이 중요하다.

예를 들어 상술한 에어리어 클리핑에서는, 검출한 물체에 대하여 클래스 식별을 행하지만, 이와 같이 클래스 식별을 행하는 것이면, 클래스에 따른, 인식을 위한 최저한의 에어리어가 ROI로서 설정되도록 하면 되게 된다. 그래서 도 7, 도 8에 도시한 바와 같은 AROI(22)를 설정한다.

도 7은 사람의 화상 영역에 대하여 「사람」이라는 클래스에 대응하는 템플릿을 사용하여 생성한 AROI(22)를 도시하고 있다. 도면의 격자는 화소(픽셀)이고, 짙은 화소가 AROI로 지정되는 화소로 하고 있다.

예를 들어 「사람」이라는 클래스에 대응하는 템플릿은, 얼굴의 부분을 고밀도로 필요 화소로 하고, 신체 부분은 필요 화소를 저밀도로 배치하여 전체를 커버할 수 있도록 하는 것으로 이루어진다.

또한 도 8은 「자동차」라는 클래스에 대응하는 템플릿을 사용하여 생성한 AROI(22)를 도시하고 있다. 이 예에서는, 자동차의 배면 화상에 적응하는 것으로, 예를 들어 번호판이 위치하는 부분을 고밀도로 필요 화소로 하고, 그 이외는 필요 화소를 저밀도로 배치하여 전체를 커버할 수 있도록 하는 것으로 이루어진다.

실제로는, 「사람」의 클래스도 세분화하여, 「옆을 향한 사람」 「정면을 향한 사람」 「앉아 있는 사람」 등으로서 템플릿을 세분화하거나, 「자동차」의 클래스에 대해서는 「측면 화상」 「정면 화상」 「배면 화상」 등으로서 템플릿을 세분화하거나 하는 것도 생각할 수 있다.

이와 같이 클래스에 따라 템플릿을 선택하고, 실제의 프레임 내의 영역 사이즈에 맞추어 템플릿을 확대 축소하여 AROI(22)를 생성한다.

클래스에 따라 설정된 템플릿을 사용하여 AROI(22)를 생성함으로써, 광전 변환할 화소를 대폭 적게 해도 클래스에 따라 물체 검출을 적확하게 행할 수 있는 정보를 얻을 수 있다.

[2-5: 역치 설정과 AROI를 사용한 에어리어 클리핑]

다음으로 AROI(22)를 사용한 에어리어 클리핑을 더욱 효율화하는 처리예를 설명한다.

템플릿을 사용한 AROI(22)를 사용하는 경우에, 검출하는 대상의 물체(클래스)나 부위 등에 대하여, 설정한 역치에 기초하여 파라미터를 설정한다. 즉 상술한 역치의 사고 방식을 도입하여, DNN의 산출하는 물체 검출의 정답율에 기초하여 역치를 결정하고, 파라미터를 설정한다.

예를 들어 AROI(22) 내의 주목 영역의 해상도의 분포를, 컨피던스 레이트를 사용하여 설정한 역치에 따라 정한다.

도 9에 예를 모식적으로 도시하고 있다. 사람을 타깃 클래스로 한 경우와, 얼굴을 타깃 클래스로 한 경우에 대하여 생각하자.

제1 해상도>제2 해상도>제3 해상도라고 가정하자.

얼굴 검출로서의 컨피던스 레이트 CR은, 제1 해상도로 0.95, 제2 해상도로 0.86, 제3 해상도로 0.66이었다고 가정하자.

사람(신체) 검출로서의 컨피던스 레이트 CR은, 제1 해상도로 0.98, 제2 해상도로 0.81, 제3 해상도로 0.65였다고 가정하자.

얼굴 검출로서의 역치 thF를 0.85로 한 경우, 화상 데이터양이 가능한 한 적어지도록 적응화된 파라미터로서 제2 해상도를 선택하고, 템플릿 내의 화소에 관한 화상 처리를 행한다.

또한 사람 검출로서의 역치 thP를 0.80으로 한 경우, 화상 데이터양이 가능한 한 적어지도록 적응화된 파라미터로서 제2 해상도를 선택하고, 템플릿 내의 화소에 관한 화상 처리를 행한다.

이 경우에는 어느 것이나 제2 해상도가 적합하지만, 경우에 따라서는 얼굴 검출의 경우에는 역치 thF가 0.94로서 제1 해상도가 설정되는 것이나, 사람 검출에 대해서는 역치 thP가 0.60으로 설정되어 제3 해상도가 설정된다고 하는 것도 상정된다.

즉 AROI(22)를 사용하는 경우에, 타깃 클래스마다 역치를 설정하여, AROI(22) 내의 화소에 대한 화상 처리나 판독 처리 등의 파라미터를 설정한다.

AROI(22)에 대해서도 예를 들어 컨피던스 레이트에 따른 파라미터 설정을 행하고, 해상도 등의 파라미터를 설정함으로써, 물체 검출 정밀도를 유지하면서 촬상 처리나 화상 처리를 효율화할 수 있다.

[2-6: 인텔리전트 컴프레션]

인텔리전트 컴프레션이란, 검출의 대상물을 특정하고, 대상물을 저압축률, 대상물 이외를 고압축률로 압축을 가하도록 하는 것이다.

구체예를 도 10에 나타낸다.

도 10의 A는 어떤 1프레임의 화상으로부터 타깃 클래스인 「자동차」의 클래스를 검출한 경우에, 각 자동차의 영역에 대응하여 ROI(21)를 생성한 상태를 나타내고 있다.

도 10의 B는 이 ROI(21)의 영역을 저압축률, 그 외를 고압축률로 압축한 화상 신호이다.

이렇게 함으로써, 물체 검출의 애플리케이션의 대상이 되는 물체의 검출 정밀도를 떨어뜨리지 않고, 해석 데이터양의 삭감이나 통신 데이터양의 저감이 행해지도록 한다.

또한 센서 장치(1)의 저소비 전력화와 센서 장치(1)를 탑재한 시스템 전체의 물체 검출에 관한 화상 해석의 고속화도 도모할 수 있다.

[2-7: 액티브 에어리어 클리핑]

상술한 에어리어 클리핑에서는, 검출 대상인 물체에 대하여 ROI(21)를 설정하고, 어레이 센서(2)로부터, ROI(21)로 된 영역 내의 화소만을 판독하도록 하는 예를 설명하였다.

여기서 ROI(21)로 되는 영역이, 화상 내의 특정 영역에 집중하는 경우가 있는 것에 착안한다.

도 11의 A는 예를 들어 건물 내에서의 감시 카메라의 화상을 예로 들고 있다. 사람을 검출 대상으로 하여 ROI(21)를 설정하고 있다고 가정하자. 도면에서는, 과거 소정 기간 내에 설정된 ROI(21)의 바탕이 된 바운딩 박스(20)의 화상 내에서의 위치를 도시하고 있다. 바운딩 박스(20)는 ROI(21)에 기초하여 설정된 영역이다. 예를 들어 ROI(21)를 약간 확장한 화소 범위 등으로 한다.

예를 들어 이 경우, 과거의 소정 기간 내에서는, 바운딩 박스(20)(및 ROI(21))의 설정 위치는, 화상 내에서 바닥에 가까운 영역이 되고 있다.

바꾸어 말하면, 화상 내의 천장 가까이의 영역에는 사람은 나타나지 않는다는 점에서, 천장 부근의 화상 영역에 대해서는 사람의 검출 처리를 행하지 않아도 된다고 할 수 있다.

그래서, 예를 들어 도 11의 B에 도시한 바와 같이 검출 대상인 「사람」이 나타나 있는 영역, 즉 과거 소정 기간에 바운딩 박스(20)가 설정된 실적이 있는 영역을 액티브 에어리어 RA로 하고, 검출 대상인 「사람」이 나타나 있지 않은 영역, 즉 과거 소정 기간에 바운딩 박스(20)가 설정되어 있지 않은 영역을 비액티브 에어리어 DA로 한다.

도 12의 A는, 예를 들어 고속도로 상에서 차를 검출 대상으로서 감시하는 감시 카메라의 화상의 예를 들고 있고, 과거 소정 기간에 설정된 바운딩 박스(20)의 위치를 도시하고 있다.

이 경우에도, 차는 노면 부근에 나타나게 되기 때문에, 도 12의 B와 같이 액티브 에어리어 RA와 비액티브 에어리어 DA를 설정 가능하게 된다.

이상의 도 11의 B, 도 12의 B의 예와 같이 액티브 에어리어 RA를 설정하고, 어레이 센서(2)에 의한 촬상 화소에 있어서의 액티브 에어리어 RA의 검출 신호로부터 물체 검출을 행하도록 한다. 그리고 물체의 검출에 기초하여 생성한 ROI(21)를, 상술한 에어리어 클리핑의 처리와 마찬가지로, 신호 처리부(30)에 대하여 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역으로서 지시한다.

즉 물체 검출 키 프레임에 대하여, 전체 화면 스캔이 아니라 물체 검출의 이력 정보에 기초하여 부분적으로 광전 변환을 행하여 물체 검출을 행하도록 한다.

또한 물체 검출 키 프레임이란, 에어리어 클리핑의 처리에서 물체 검출을 위해 어레이 센서(2)의 전체 유효 화소 영역에서 정보 취득을 행하는 것으로 한 프레임이다. 이 키 프레임에 있어서 액티브 에어리어 RA의 화소 영역에서만 정보 취득을 행하는 것이 액티브 에어리어 클리핑의 처리가 된다.

액티브 에어리어 클리핑의 처리를 적용하면, 연산부(8)의 물체 검출을, 1프레임의 전체 유효 화소 영역이 아니라, 액티브 에어리어 RA에서만 행할 수 있다. 그리고 액티브 에어리어 RA는 타깃 클래스의 물체 검출이 있을 수 있는 영역이다. 바꾸어 말하면 액티브 에어리어 RA 이외는, 타깃 클래스의 물체 검출이 거의 있을 수 없는 영역이다.

따라서, 물체 검출 키 프레임의 판독 화소수의 삭감, 검출 범위의 축소에 의해, 처리의 효율화, 소비 전력 삭감 등을 실현할 수 있다.

[2-8: 액티브 샘플링]

액티브 샘플링은, 대상물의 유무로 프레임 레이트를 다이내믹하게 변화시키는 처리를 가리키고 있다. 대상물의 유무에 따른 시간축 방향의 데이터양의 압축이라고 할 수 있다. 또한 센서 장치(1)의 전력 소비 삭감도 도모할 수 있다.

도 13에 의해 액티브 샘플링을 설명한다.

이제, 타깃 클래스를 「사람」으로 하여, 촬상 화상으로부터 사람의 검출을 행하는 것으로 한다. 예를 들어 빌딩 안에서 현관을 통하여 밖을 감시 카메라로 촬상하고 있는 경우를 상정한다.

도 13의 A는 촬상 화상에 사람이 포함되어 있지 않은 상태를 나타내고 있다. 이러한 경우에는, 프레임 레이트를 낮은 레이트, 예를 들어 1fps로 한다.

도 13의 B는, 촬상 화상 내에 사람이 검출되는 상태를 나타내고 있다. 이러한 경우에는, 프레임 레이트를 높은 레이트, 예를 들어 100fps로 변경한다.

즉, 검출 대상을 한정하여 프레임 레이트를 다이내믹하게 변화시킴으로써, 특히 필요가 없다고 여겨지는 때(사람이 검출되지 않을 때)는 프레임 레이트를 떨어뜨리고, 필요한 때(사람이 검출되고 있을 때)는 프레임 레이트를 높여서 정보량을 밀(密)하게 한다.

이러한 액티브 샘플링을 행하는 경우, 연산부(8)(키 프레임 선택부(81))는, 예를 들어 미리 연산부(8) 내에 기억되어 있는 아이들링 모드의 설정에 따라, ADC/픽셀 셀렉터(3)에 동화상 촬상의 설정을 행한다.

예를 들어 연산부(8) 내에서 파라미터 선택부(84)에는, 아이들링 모드의 설정과 노멀 모드의 설정이 기억되어 있도록 한다.

액티브 샘플링에는 아이들링 모드와 노멀 모드가 마련되어 있고, 아이들링 모드는, 타깃 클래스의 물체가 촬상 화면 내에 들어 있는 것이 확정되기 전의 모드이다.

이 아이들링 모드에서는 노멀 모드보다도 느린 프레임 레이트로 동화상 촬상이 행해진다.

아이들링 모드는 센서 장치(1)의 외부로부터의 명령으로 개시되는 것을 생각할 수 있다. 또한 아이들링 모드는, 센서 장치(1)의 외부로부터 아이들링 모드용 데이터 취득 타이밍 간격의 명령에 따르도록 해도 된다. 예를 들어 60sec의 지시가 있는 경우, 60sec의 간격으로 물체 검출 키 프레임 기록 타이밍이 된다.

노멀 모드는, 통상의 동화상 촬상 모드이다. 예를 들어 센서 장치(1)의 외부로부터의 노멀 모드용 데이터 취득 타이밍 간격의 명령에 따른다.

통상 아이들링 모드보다도 빠른 프레임 레이트로 동화상 촬영이 행해지는 것으로, 예를 들어 0.01sec의 지시가 있는 경우, 0.01sec의 간격(100fps)으로 촬상을 행하는 모드가 된다.

따라서 연산부(8)가 ADC/픽셀 셀렉터(3)에 아이들링 모드를 지시함으로써, 가령 아이들링 모드의 설정이 1fsp이면, 동화상 촬상은 예를 들어 1sec 간격으로 행해진다.

또한 아이들링 모드의 설정과 노멀 모드의 설정은, 반드시 연산부(8) 내에 기억되는 것은 아니고, 연산부(8)의 외부 메모리에 기억되어도 된다.

물론 아이들링 모드, 노멀 모드의 프레임 레이트는 일례이다.

연산부(8)(물체 영역 인식부(82))는, 취득된 화상에 대하여 물체의 후보가 되는 위치의 검출을 행한다.

연산부(8)(클래스 식별부(83))는, 후보로서 검출된 물체의 클래스 분류를 행한다.

또한 연산부(8)는 클래스 식별 결과로서 얻어진 클래스 내에 타깃 클래스가 존재하는지 여부를 확인한다.

타깃 클래스가 존재하지 않으면, 연산부(8)는 아이들링 모드로서의 다음 프레임의 화상을 취득하고, 마찬가지로 물체의 후보가 되는 위치의 검출이나 클래스 식별을 행한다. 이 경우에는, 예를 들어 1fps로 촬상이 행해지고 있다고 하면, 1초 후의 화상에 대하여 이들 처리를 행하게 된다.

예를 들어 「사람」이 타깃 클래스로 되어 있는 경우에, 식별된 클래스로서 「사람」이 존재하고 있는 경우, 연산부(8)는 기억되어 있는 노멀 모드의 설정에 따라, ADC/픽셀 셀렉터(3)에 동화상 촬상의 설정을 행하여, 노멀 모드의 촬상을 지시한다.

따라서 가령 노멀 모드의 설정이 100fsp이면, 동화상 촬상은 예를 들어 0.01sec 간격으로 행해지게 된다.

이와 같이 노멀 모드로 전환한 상태에서 연산부(8)는 물체 검출의 처리를 행한다.

그리고 촬상된 화상 내에 타깃 클래스가 존재하고 있는 한, 노멀 모드가 계속되고, 한편, 타깃 클래스가 존재하지 않게 되면 아이들링 모드로 전환할 수 있게 된다.

이상과 같이 액티브 샘플링으로서의 처리가 행해짐으로써, 특히 타깃 클래스가 존재하지 않는 기간에는, 프레임 레이트를 낮추어 데이터양 압축을 행하고, 또한 그에 따라 소비 전력이 삭감된다.

또한, 연산부(8)는 ADC/픽셀 셀렉터(3)에 프레임 레이트 변경을 지시하여 프레임 레이트를 가변시키는 것으로 했지만, 로직부(5)에 프레임 레이트 변환을 지시해도 된다.

예를 들어 어레이 센서(2)로부터의 판독은 항상 100fps로 행하고, 아이들링 모드의 경우에는, 로직부(5)에 프레임 씨닝을 지시한다. 이에 의해 프로세서(11)로의 전송에 관한 데이터양 삭감이 가능하다.

[2-9: 역치 설정에 의한 액티브 샘플링]

상기의 액티브 샘플링의 방법에 있어서, 시간 해상도를 DNN의 산출하는 물체 검출의 정답율에 기초하여 결정하는 방법을 부가하는 예를 설명한다.

즉 타깃 클래스의 단위 시간당 평균 이동량에 기초하여 프레임 레이트를 다이내믹하게 변화시키는 처리를 행하도록 한다.

상술한 액티브 샘플링에서는, 노멀 모드와 아이들링 모드를 준비하여 전환하도록 했지만, 이 처리에 더하여, 노멀 모드에 있어서의 프레임 레이트를, 타깃 클래스에 따라 설정하도록 한다.

도 14의 A는 센서 장치(1)가 고속도로 상을 촬상하는 감시 카메라에 있어서 사용되고 있는 경우의 화상의 예이다. 타깃 클래스를 차로 하여, 바운딩 박스(20)를 도시하고 있다. 파선 화살표는 어떤 차의 이동 방향을 도시하고 있다.

도 14의 B는 촬상되고 있는 차의 이동량을, 연속하는 프레임에 있어서의 바운딩 박스(20)의 화상 상에서의 위치(픽셀 위치)의 변화로서 도시하고 있다. 이러한 이동량을 다수의 차에 있어서 고려하면, 평균적인 이동량이 가령 1152픽셀/초였다고 가정하자.

이 경우에, 오브젝트 트래킹(연속하는 프레임 화상 상에서의 대상물의 추종)을 유지할 수 있는 샘플링 레이트를 산출하면 46fps였다고 가정하자(도 14의 C).

다음으로, 도 15의 A는 센서 장치(1)가 건물 내의 감시 카메라에 있어서 사용되고 있는 경우의 화상의 예이다. 타깃 클래스를 사람으로 하여, 바운딩 박스(20)를 도시하고 있다. 화살표는 어떤 사람의 이동 방향을 도시하고 있다.

도 15의 B는 촬상되고 있는 사람의 이동량을, 연속하는 프레임에 있어서의 바운딩 박스(20)의 화상 상에서의 위치(픽셀 위치)의 변화로서 도시하고 있다. 이러한 이동량을 다수의 사람에 있어서 고려하면, 평균적인 이동량이 가령 192픽셀/초였다고 가정하자.

이 경우에, 오브젝트 트래킹을 유지할 수 있는 프레임 레이트를 산출하면 5fps였다고 가정하자(도 15의 C).

예를 들어 이상과 같이 타깃 클래스가 차인 경우와 사람인 경우에서는, 오브젝트 트래킹을 유지할 수 있는 프레임 레이트가 상이하다.

그러면, 타깃 클래스에 따라 DNN에 의해 오브젝트 트래킹을 유지할 수 있는 프레임 레이트를 구하고, 그 역치(허용되는 프레임 레이트 하한)를 구하면, 가능한 한 적은 데이터양으로 하면서, 대상물을 추종하면서 검출하는 물체 검출의 정밀도를 유지 가능하게 된다.

또한 프레임 레이트는, 어레이 센서(2)의 판독 타이밍의 설정이나, ADC/픽셀 셀렉터(3)의 샘플링 레이트 설정에 의해 결정된다.

이 경우, 연산부(8)는 물체 검출 시에, 타깃 클래스에 대하여 프레임 레이트를 변경하면서 오브젝트 트래킹을 유지할 수 있는 역치(역치가 되는 프레임 레이트)를 산출한다.

그 후, 연산부(8)는 산출한 역치와 타깃 클래스, 및 역치 산출에 사용된 역치 산출 방침의 정보가 대응지어 기록되도록 한다. 예를 들어 연산부(8) 내부의 기록 영역에 기록시키거나, 메모리(6)의 소정 영역에 기록시키거나, 혹은 프로세서(11)로 전송하여 기록시킨다.

이에 의해 예를 들어 타깃 클래스에 따른 역치에 기초한 파라미터, 즉 오브젝트 트래킹을 유지할 수 있는 프레임 레이트로 가능한 한 낮은 프레임 레이트의 값이 설정된다. 즉 타깃 클래스에 따른 노멀 모드의 프레임 레이트 설정이 가능하게 된다. 그 후에, 상술한 액티브 샘플링으로서의 처리가 행해진다.

이상과 같이 액티브 샘플링으로서의 처리가 행해짐으로써, 타깃 클래스가 존재하지 않는 기간에는, 프레임 레이트를 낮추어 데이터양 압축을 행하고, 또한 그에 따라 소비 전력이 삭감된다.

또한 노멀 모드로 되어도, 타깃 클래스에 따라 적응화된 프레임 레이트로 처리가 행해지기 때문에, 클래스에 따라서는 상당히 낮은 프레임 레이트(상기의 5fps 등)로 된다. 따라서 노멀 모드에 있어서도 데이터양 압축 및 소비 전력 삭감이 행해진다.

<3. 입출력 정보에 의한 동작 개요>

도 2에서 설명한 바와 같이, 센서 장치(1)는, 디바이스 측 처리부(50)(예를 들어 프로세서(11))와의 사이에서 각종 정보의 입출력을 행한다. 이하에서는, 센서 장치(1)와 프로세서(11) 사이의 정보 입출력에 따른 처리에 대하여 설명한다.

먼저 센서 장치(1)가 디바이스 정보를 입력하는 것에 따른 처리에 대하여 설명한다.

디바이스 정보로서, 예를 들어 디바이스(100)의 전원 정보, 통신 스테이터스 정보, 하드웨어/애플리케이션 정보 등이 있다.

이들에 따른 센서 장치(1)의 처리로서 다음과 같은 처리를 생각할 수 있다.

예를 들어 프로세서(11)로부터 디바이스(100)의 배터리 잔량이 적다는 전원 정보를 수신한 경우, 센서 장치(1)의 연산부는, 예를 들어 다음과 같은 처리를 행한다.

· 상술한 「역치 설정에 의한 화상 적응화」의 처리에 있어서, 컨피던스 레이트를 떨어뜨려 역치 설정을 행하여 파라미터 조정한다.

· 상술한 「액티브 샘플링」에 있어서의 프레임 레이트를 낮춘다.

이들은 일례이지만, 디바이스(100) 내에서 동일한 배터리를 소비하고 있는 센서 장치(1)가 소비 전력을 감소시키는 처리를 행함으로써, 물체 검출의 정밀도는 약간 저하되는 경우도 있지만, 디바이스(100)의 동작 시간을 늘릴 수 있다.

또한 예를 들어 프로세서(11)로부터 통신 상황이 나쁘다는 통신 스테이터스 정보를 수신한 경우, 센서 장치(1)의 연산부는, 예를 들어 다음과 같은 처리를 행한다.

· 촬상 화상의 프레임 레이트를 떨어뜨린다.

· 촬상 화상의 압축률을 높인다.

· 촬상 화상의 해상도를 낮춘다.

이들은 일례이지만, 디바이스(100) 내의 센서 장치(1)로 촬상한 화상 데이터를 외부로 송신하는 경우, 통신 상황의 악화로 인해 데이터양을 삭감하는 것이 유효한 경우가 있다. 또한 프레임 레이트의 삭감 등은 센서 장치(1)의 소비 전력의 저감으로도 이어져, 디바이스(100)에 있어서는 통신 상황에 따른 최적의 스트리밍을 행함으로써 불필요하게 에너지를 소비하지 않도록 할 수 있게도 된다.

또한 예를 들어 프로세서(11)로부터 처리 부하가 큰 상황인 것을 수신한 경우, 센서 장치(1)의 연산부는, 예를 들어 다음과 같은 처리를 행한다.

· 촬상 화상의 해상도를 떨어뜨린다.

· 통상의 화상 촬상 처리를 하고 있던 상태로부터, 「분류 화상 적응화」 「역치 설정에 의한 화상 적응화」 「에어리어 클리핑」 「AROI를 사용한 에어리어 클리핑」 「역치 설정과 AROI를 사용한 에어리어 클리핑」 「인텔리전트 컴프레션」 「액티브 에어리어 클리핑」 「액티브 샘플링」 「역치 설정에 의한 액티브 샘플링」 중 어느 것, 또는 복수를 실행하는 상태로 전환한다. 혹은 이들을 실행하기보다 이들 중 선택적으로 전환한다.

이들은 일례이지만, 센서 장치(1)가 프로세서(11)의 부하를 저감시킬 수 있는 처리를 발동함으로써, 디바이스(100) 전체로서의 계산량도 저감시킬 수 있어, 원활한 처리를 촉진할 수 있다.

이상의 각 예와 같이, 센서 장치(1)는, 디바이스의 상태에 따른 적응적인 처리를 행함으로써, 센서 장치(1) 자체 및 디바이스(100) 전체로서 유리한 처리가 실행된다.

디바이스 정보의 구체예를 이하에 든다.

디바이스 정보 중 하나인 전원 정보로서 예를 들어 다음 정보가 있다.

· 배터리 잔량

· 배터리 전압

· 배터리 온도

디바이스 정보 중 하나인 통신 스테이터스 정보로서 예를 들어 다음 정보가 있다.

· 접속 방법

a. 게이트웨이/LAN/WAN

b. WiFi(등록상표)

c. 블루투스(Bluetooth: 등록상표)/비컨

d. 셀룰러(cellular: 등록상표)

e. 새틀라이트

f. 이더넷(Ethernet: 등록상표)

g. LPWA(Low Power Wide Area) 통신

· 실효 스루풋

· 커넥션 가·부

디바이스 정보 중 하나인 하드웨어/애플리케이션 정보에 대하여, 먼저 하드웨어에 관한 정보로서는, 예를 들어 다음 정보가 있다.

· MCU의 유무

· MCU 퍼포먼스(FROPS: Floating point Operation per Second)

· 기내 온도

· 기타 센서 정보

· 메모리 사이즈

· 디바이스 타입

a. 드론

b. 로봇

c. 카메라 팬틸터

d. 웨어러블 디바이스

e. 기타

· 디바이스 네임, 디바이스 ID

· 고정 디바이스/이동형 디바이스의 구별

· 액티브 상태/스탠바이 상태의 구별

하드웨어/애플리케이션 정보에 있어서의 애플리케이션에 관한 정보로서는, 예를 들어 다음 정보가 있다.

· 애플리케이션에 따른 타깃 클래스

· 센서 장치(1)로부터 수신하고 싶은 메타데이터(속성 특징량, 개체 특징량, 동선 데이터 등)

이 메타데이터에 관한 상세한 예는 이하와 같다.

먼저 속성 특징량, 개체 특징량으로서의 특징량 데이터로서는, ID 넘버마다 속성이나 개체의 특징량의 데이터가 있다.

ID 넘버란, 센서 장치(1)에 의해, ID 장르로 지정된 대상의 개체마다 자동적으로 번호 부여되도록 한다. 또한 ID 넘버는, 장르와 개체를 식별할 수 있는 숫자·알파벳·기호로 기재되는 코드이다.

ID마다의 속성 특징량은, 장르의 대상 속성을 나타내는 데이터이고, 센서 장치(1)로 추정된다.

예를 들어 장르명과 속성 특징량으로서 다음과 같은 예가 상정된다.

· 장르명 「사람」에 대한 속성 특징량으로서, 신장·성별·연령 등

· 장르명 「차」에 대한 속성 특징량으로서 색·보통차/대형차/버스 등의 종류 등

· 장르명 「파트」에 대한 속성 특징량으로서 파트의 타입

ID마다의 개체 특징량은, ID의 개체 인식을 할 수 있는 특징이 코드화된 데이터이고, 센서 장치(1)로 산출된다.

예를 들어 장르명과 개체 특징량으로서 다음과 같은 예가 상정된다.

· 장르명 「사람」에 대한 개체 특징량으로서, 인물의 외견적 특징(복장 특징, 안경의 유무)이나 걷는 방식 등의 움직임을 코드화한 특징량

· 장르명 「차」에 대한 개체 특징량으로서, 넘버·차종·승차 인물의 인원수나 외견적 특징량

· 장르명 「파트」에 대한 개체 특징량으로서, 파트에 인자된 넘버나 바코드 등

상기 메타데이터로서의 동선 데이터로서는, 시간(간격은 자유롭게 설정할 수 있음)마다의 ID 넘버나, ID의 화면 내 위치(좌표 정보)가 있다.

다음으로 센서 장치(1)가 센서 동작 정보를 출력하는 것에 대하여 설명한다.

예를 들어 물체 검출의 컨피던스 레이트, 클래스, 오브젝트 에어리어 등의 정보나, 프레임 레이트, 처리 파라미터, 화질 파라미터, 해상도 등의 정보를, 축차 프로세서(11)로 송신한다. 이 경우, 다음과 같은 예를 생각할 수 있다.

예를 들어 자주 로봇(101)이나 비행체(102)와 같이 이동 가능한 디바이스(100)의 경우에 있어서, 센서 장치(1)가 검출 대상인 물체가 화상 내에 있어서 작고, 컨피던스 레이트를 올릴 수 없다는 상황을 나타내는 센서 동작 정보를 프로세서(11)로 송신한다. 구체적으로는 연산부(8)가 동작 정보 생성부(87)의 기능에 의해 컨피던스 레이트의 값이나, 타깃 클래스의 오브젝트 에어리어의 정보(타깃의 화소수 등)로부터, 타깃이 멀리 있는 상황을 검지하고, 상기의 상황을 나타내는 센서 동작 정보를 생성하여 송신한다. 혹은, 컨피던스 레이트의 값이나, 타깃 클래스의 오브젝트 에어리어의 정보를 센서 동작 정보로서 송신하고, 프로세서(11)가 당해 상황을 판단하는 것이어도 된다.

이에 따라 프로세서(11)는 예를 들어 타깃 오브젝트에 접근하도록 디바이스 동작을 제어할 수 있다. 결과로서 타깃 오브젝트의 컨피던스 레이트가 향상된다.

또한 연산부(8)가 화상의 휘도가 낮고, 타깃 오브젝트의 컨피던스 레이트가 높아지지 않는 상황을 나타내는 센서 동작 정보를 프로세서(11)로 송신한다. 구체적으로는 연산부(8)가 촬상 화상의 평균 휘도나 컨피던스 레이트의 값으로부터, 암소 때문에 검출 정밀도가 저하되어 있다는 상황을 검지하고, 상기 상황을 나타내는 센서 동작 정보를 생성하여 송신한다. 혹은, 컨피던스 레이트의 값이나, 휘도 평균값 등을 센서 동작 정보로서 송신하고, 프로세서(11)가 당해 상황을 판단하는 것이어도 된다.

이에 따라 프로세서(11)는 예를 들어 조명을 온으로 하도록 디바이스 동작을 제어한다. 결과로서 타깃 오브젝트의 컨피던스 레이트가 향상된다.

또한 연산부(8)가 타깃 오브젝트가 화상 내에 있지 않은 상황을 나타내는 센서 동작 정보를 프로세서(11)로 송신한다. 구체적으로는 연산부(8)가 타깃 클래스의 물체의 검출을 할 수 없는 상태가 계속되는 것 등으로부터 상기 상황을 나타내는 센서 동작 정보를 생성하여 송신한다. 혹은, 타깃 클래스를 검출할 수 없다는 것을 계속하여 센서 동작 정보로서 송신하고, 프로세서(11)가 당해 상황을 판단하는 것이어도 된다.

예를 들어 감시 카메라(104)로서의 디바이스(100)의 경우, 이에 따라 프로세서(11)는 예를 들어 촬상 방향을 패닝이나 틸팅하도록 디바이스 동작을 제어한다. 결과로서 타깃 오브젝트를 검출할 수 있는 경우가 있다. 바꾸어 말하면, 감시 동작으로서 적절한 동작이 적응적으로 실행 가능하게 된다.

또한 연산부(8)가 타깃 오브젝트가 화상 내의 왼쪽으로 이동하여 화면으로부터 사라진 상황을 나타내는 센서 동작 정보를 프로세서(11)로 송신한다. 구체적으로는 연산부(8)가 타깃 클래스의 물체의 각 타이밍의 오브젝트 에어리어로부터 이동 방향을 검지하고, 또한 당해 물체의 검출을 할 수 없게 된 것 등에 의해, 상기 상황을 나타내는 센서 동작 정보를 생성하여 송신한다. 혹은, 각 타이밍의 오브젝트 에어리어의 정보나 타깃 클래스를 검출할 수 없다는 것의 정보를 계속하여 센서 동작 정보로서 송신하고, 프로세서(11)가 당해 상황을 판단하는 것이어도 된다.

예를 들어 감시 카메라(104)로서의 디바이스(100)의 경우, 이에 따라 프로세서(11)는 예를 들어 촬상 방향을 왼쪽으로 패닝하도록 디바이스 동작을 제어한다. 결과로서 타깃 오브젝트를 다시 촬상하고, 검출할 수 있게 되는 경우가 있다. 이것도 감시 동작으로서 적절한 추종 동작을 실행할 수 있다고 말할 수 있게 된다.

이상의 각 예와 같이, 센서 장치(1)는, 센서 동작 정보를 프로세서(11)로 송신함으로써, 센서 장치(1)에 의한 센싱에 적합한 상태를 얻거나, 디바이스(100) 전체로서 유리한 결과를 얻도록 한다.

센서 동작 정보의 구체예로서는 이하를 들 수 있다.

· 물체 검출 정보: 예를 들어 컨피던스 레이트, 클래스, 오브젝트 에어리어 등

· 프레임 레이트(FPS: Frames per second)

· 화질 파라미터

그런데, 센서 장치(1)가 이상과 같이 디바이스 정보에 따른 처리나 센서 동작 정보의 송신을 행하고, 디바이스(100)의 상황에 따른 처리를 실행하는 데에는, 미리 탑재된 디바이스(100)의 정보나 동작 전환 판정을 위한 조건이 등록되어 있는 것이 필요하게 된다.

그래서 센서 장치(1)에는, 예를 들어 메모리(6) 등에, 주로 연산부(8)의 전환 판정부(86)나 동작 정보 생성부(87)의 처리를 위해, 하드웨어/애플리케이션 정보나, 전환 조건 정보가 등록되도록 한다.

하드웨어/애플리케이션 정보의 내용 예는 상술했지만, 하드웨어/애플리케이션 정보가 등록됨으로써, 센서 장치(1)의 동작 정보 생성부(87)는 디바이스(100)에 따라 필요한, 혹은 적합한 센서 동작 정보를 생성하여, 예를 들어 프로세서(11)로 송신할 수 있게 된다.

또한 전환 조건 정보가 등록됨으로써, 전환 판정부(86)가 디바이스 정보에 따라 적절하게 센서 장치(1)의 동작의 전환 제어를 실행할 수 있다.

전환 조건 정보의 예를 나타낸다. 이하의 「제1 동작 설정」 내지 「제11 동작 설정」 각각 어떤 동작 설정의 상태를 나타내고 있다.

· 배터리 잔량에 대하여

20％ 미만: 제1 동작 설정

20％ 이상 90％ 미만: 제2 동작 설정

90％ 이상: 제3 동작 설정

· 배터리 전압에 대하여

3.2V 미만: 제4 동작 설정

3.2V 이상: 제5 동작 설정

· 배터리 온도에 대하여

10℃ 미만: 제6 동작 설정

10℃ 이상: 제7 동작 설정

· 접속 방법에 대하여

WiFi 시: 제8 동작 설정

블루투스 시: 제9 동작 설정

· 실효 스루풋에 대하여

800Mbps 미만: 제10 동작 설정

800Mbps 이상: 제11 동작 설정

예를 들어 이들과 같이 동작 설정의 전환 조건을 등록해 둠으로써, 디바이스(100)의 종별이나 동작 목적 등에 따라, 센서 장치(1)가 자립적으로 동작 설정을 전환할 수 있다.

<4. 처리예>

이하, 센서 장치(1)의 연산부(8)의 처리예, 특히 전환 판정부(86)와 동작 정보 생성부(87)의 기능에 의한 처리예를 설명한다.

[4-1: 처리예 1]

도 16에 처리예 1로서의 연산부(8)의 처리 흐름도를 나타낸다. 이는 연산부(8)가 입력될 디바이스(100)에 따라 전환 판정부(86)의 기능에 의해 실행하는 처리예이다.

스텝 S101에서 연산부(8)는 필요한 정보가 등록 완료인지 여부를 확인한다. 여기서 말하는 필요한 정보란, 예를 들어 상술한 등록 정보이고, 예를 들어 하드웨어/애플리케이션 정보나 전환 조건 정보이다.

만약 등록 완료가 아니면, 연산부(8)는 스텝 S102로 진행하여 정보 등록의 처리를 실행한다. 예를 들어 프로세서(11)와 통신을 행하고, 필요한 정보를 취득하여 등록을 행한다. 전환 조건 정보에 대해서는, 예를 들어 디폴트 설정값을 등록하면 된다.

또한, 전환 조건 정보는, 유저의 조작에 따라, 혹은 연산부(8)가 경시적 판정 등에 의해 갱신되어도 된다.

정보 등록이 되어 있으면, 스텝 S103 이후의 처리가 행해진다.

스텝 S103에서 연산부(8)는 센서 장치(1)의 동작 종료 타이밍인지 여부를 판정한다. 예를 들어 디바이스(100) 자체가 전원 오프로 된 경우나, 어떠한 사정으로 디바이스(100)의 프로세서(11)로부터 센서 장치(1)의 동작 오프의 지시가 이루어진 경우, 스텝 S108에서 처리 종료로 한다.

동작 계속 중에는, 연산부(8)는 스텝 S104로 진행하여, 디바이스 정보의 확인 타이밍인지 여부를 판정한다. 예를 들어 정기적으로 프로세서(11)로부터의 디바이스 정보의 취득 처리를 행하기 위함이다.

또한 프로세서(11)는 특히 연산부(8)와 동기되어 있지 않아도, 비동기의 타이밍에 디바이스 정보를 송신하여, 메모리(6)의 소정 영역에 저장시킬 수 있다.

확인 타이밍이 아니면, 연산부(8)는 스텝 S103으로 되돌아간다.

연산부(8)는 확인 타이밍이 될 때마다 스텝 S105로 진행하여, 메모리(6)를 확인하여, 디바이스 정보를 취득할 수 있다.

또한, 여기서 말하는 디바이스 정보란, 전원 정보나, 통신 스테이터스 정보 등, 축차 변동하는 정보이다. 하드웨어/애플리케이션 정보는, 주로 스텝 S122에서 취득하는 등록 정보가 되지만, 하드웨어나 애플리케이션 정보로서 축차 변동하는 정보가 있으면, 이 스텝 S105에서 취득하는 정보에 포함시키면 된다.

또한, 확인 타이밍이 되면 연산부(8)가 프로세서(11)에 디바이스 정보의 송신을 요구하고, 그에 따라 프로세서(11)가 디바이스 정보를 송신해 오는 처리 양태여도 된다.

디바이스 정보를 취득한 경우, 연산부(8)는 스텝 S106에서, 전환 조건에 해당하는 디바이스 정보의 변화가 있는지 여부를 판정한다.

예를 들어 상술한 배터리 잔량에 대한 예로 말하면, 배터리 잔량이 전회는 91％였던 것이, 금회 88％가 되어 있으면, 전환 조건에 해당하는 변화가 있다고 판정하게 된다.

전환 조건에 해당하는 변화가 없으면, 연산부(8)는 스텝 S103으로 되돌아간다.

전환 조건에 해당하는 변화가 있는 경우에는, 연산부(8)는 스텝 S107로 진행하여, 동작 설정의 전환 제어를 행한다.

예를 들어 컨피던스 레이트에 따른 역치를 낮추거나, 프레임 레이트를 낮추거나 하는 등, 적응적인 제어를 실행한다.

[4-2: 처리예 2]

도 17의 처리예 2로서는, 연산부(8)의 처리와 프로세서(11)의 처리를 나타내고 있다. 이는 연산부(8)가 동작 정보 생성부(87)의 기능에 의해 센서 동작 정보를 출력하고, 그에 따라 프로세서(11)가 디바이스 동작을 제어하는 예이다.

스텝 S121에서 연산부(8)는 필요한 정보가 등록 완료인지 여부를 확인한다. 이 경우의 필요한 정보란, 예를 들어 상술한 등록 정보에 있어서의 하드웨어/애플리케이션 정보이다.

만약 등록 완료가 아니면, 연산부(8)는 스텝 S122로 진행하여 정보 등록의 처리를 실행한다. 예를 들어 프로세서(11)와 통신을 행하고, 디바이스(100)의 하드웨어나 애플리케이션에 관하여 필요한 정보를 취득하여 등록을 행한다.

정보 등록이 되어 있으면, 스텝 S123 이후의 처리가 행해진다.

스텝 S123에서 연산부(8)는 센서 동작 정보를 출력하는 타이밍인지 여부를 판정한다. 예를 들어 정기적으로 출력하는 것으로 하면, 그 타이밍을 대기한다.

출력 타이밍이 되면, 연산부(8)는 스텝 S124로 진행하여, 센서 동작 정보를 생성하여 프로세서(11)에 출력한다.

스텝 S125에서 연산부(8)는 센서 장치(1)의 동작 종료 타이밍인지 여부를 판정한다. 예를 들어 디바이스(100) 자체가 전원 오프로 된 경우나, 어떠한 사정으로 디바이스(100)의 프로세서(11)로부터 센서 장치(1)의 동작 오프의 지시가 이루어진 경우, 스텝 S126에서 처리 종료로 한다.

동작이 계속되고 있는 기간에, 연산부(8)는 스텝 S123으로 되돌아간다. 따라서, 예를 들어 정기적으로 센서 동작 정보가 프로세서(11)로 송신되게 된다.

프로세서(11) 측은, 스텝 S201에서 센서 동작 정보의 수신을 대기하고 있다.

또한 스텝 S204에서 동작 종료 트리거의 발생을 감시하고 있다. 전원 오프의 트리거가 발생한 경우, 스텝 S205에서 전원 오프 처리를 행하고, 동작을 종료한다.

동작 기간 중에는, 프로세서(11)는 센서 동작 정보를 수신할 때마다 스텝 S202로 진행하여, 디바이스(100)의 동작 변경 조건에 해당하는 센서 동작 정보가 인식되는지 여부를 판정한다. 예를 들어 프로세서(11)는 센서 동작 정보로서, 이동, 패닝 등의 요구가 있는지, 혹은 이동이나 패닝 등이 필요하다고 추정되는 센서 장치(1)의 동작 상태가 관측되는지, 등을 판정하고, 동작 변경이 필요한지 여부를 판정한다.

그리고 동작 변경이 필요하다고 판정한 경우, 프로세서(11)는 스텝 S203으로 진행하여, 디바이스(100)의 동작 제어를 행한다. 예를 들어 자주용의 액추에이터를 제어하여 소정의 이동을 실행시키거나, 패닝/틸팅을 실행시키거나 한다.

[4-3: 처리예 3]

도 18의 처리예 3도 연산부(8)의 처리와 프로세서(11)의 처리를 나타내고 있다. 이는 연산부(8)가 전환 판정부(86)의 기능에 의한 전환 제어를 행함과 함께 동작 정보 생성부(87)의 기능에 의해 센서 동작 정보를 출력하고, 그에 따라 프로세서(11)가 디바이스 동작을 제어하는 예이다. 즉 처리예 1, 2를 합성한 처리예이다. 도 16, 도 17과 마찬가지의 처리는 동일한 스텝 번호를 부여하고 있다. 또한, 센서 장치(1)에 있어서 등록 정보의 등록은 완료된 것으로 하여, 그 이후의 처리를 나타내고 있다.

연산부(8)는 스텝 S123에서 센서 동작 정보를 출력하는 타이밍인지 여부를 판정한다.

출력 타이밍이 아니면, 연산부(8)는 스텝 S104로 진행한다.

출력 타이밍일 때는, 연산부(8)는 스텝 S124로 진행하여, 센서 동작 정보를 생성하여 프로세서(11)에 출력한다. 그리고 스텝 S104로 진행한다.

연산부(8)는 스텝 S104에서, 디바이스 정보의 확인 타이밍인지 여부를 판정한다. 확인 타이밍이 아니면 연산부(8)는 스텝 S130으로 진행한다.

연산부(8)는 확인 타이밍이 될 때마다 스텝 S104 내지 스텝 S105로 진행하여, 디바이스 정보를 취득한다.

디바이스 정보를 취득한 경우, 연산부(8)는 스텝 S106에서, 전환 조건에 해당하는 디바이스 정보의 변화가 있는지 여부를 판정한다.

전환 조건에 해당하는 변화가 없으면, 연산부(8)는 스텝 S130으로 진행한다.

전환 조건에 해당하는 변화가 있는 경우에는, 연산부(8)는 스텝 S107로 진행하여, 동작 설정의 전환 제어를 행한다.

스텝 S130에서 연산부(8)는 센서 장치(1)의 동작 종료 타이밍인지 여부를 판정한다. 동작 종료 타이밍이 된 경우, 스텝 S131에서 처리 종료로 한다.

동작이 계속되고 있는 기간에, 연산부(8)는 스텝 S123으로 되돌아간다.

프로세서(11) 측은, 스텝 S201에서 센서 동작 정보의 수신을 대기하고 있다. 수신이 없으면 스텝 S210으로 진행한다.

프로세서(11)는 센서 동작 정보를 수신할 때마다 스텝 S202로 진행하여, 디바이스(100)의 동작 변경 조건에 해당하는 센서 동작 정보가 인식되는지 여부를 판정한다.

동작 변경이 필요하지 않다고 판정한 경우, 프로세서(11)는 스텝 S210으로 진행한다.

한편, 동작 변경이 필요하다고 판정한 경우, 프로세서(11)는 스텝 S203으로 진행하여, 디바이스(100)의 동작 제어를 행한다. 예를 들어 자주용의 액추에이터를 제어하여 소정의 이동을 실행시키거나, 패닝/틸팅을 실행시키거나 한다. 그리고 스텝 S210으로 진행한다.

스텝 S210에서 프로세서(11)는 디바이스 정보의 출력 타이밍인지 여부를 확인한다. 출력 타이밍이 아니면 스텝 S204로 진행한다.

출력 타이밍이면 프로세서(11)는 스텝 S211로 진행하여, 디바이스 정보를 출력한다. 특히 전원 정보나, 통신 스테이터스 정보 등, 축차 변동하는 정보를 송신한다.

프로세서(11)는 스텝 S204에서 동작 종료 트리거의 발생을 감시하고 있다. 전원 오프의 트리거가 발생한 경우, 스텝 S205에서 전원 오프 처리를 행하고, 동작을 종료한다.

이상의 처리예 1, 2, 3과 같이, 센서 장치(1)와 프로세서(11)는 각각 디바이스 정보나 센서 동작 정보의 송수신을 행하고, 이에 의해 적응적인 처리를 실행한다.

<5. 센서 장치의 다른 구성예>

센서 장치(1)의 구성예로서는, 도 3에 한정되지 않고 다른 예를 생각할 수 있다.

도 19는 디바이스(100) 내에서, 센서 장치(1)와는 별체로 연산부(8)가 마련되어 있는 구성예이다. 연산부(8)는 센서 장치(1)와는 별도의 칩으로 되어 디바이스(100) 내에 마련되고, 센서 장치(1)나 프로세서(11)와 인터페이스부(7)를 통해 통신 가능하게 된다.

그리고 연산부(8)는 전환 판정부(86)나 동작 정보 생성부(87)로서의 기능을 구비함으로써, 상기 도 1의 경우와 마찬가지의 처리를 행할 수 있다.

도 20의 구성예는, 전환 판정부(86), 동작 정보 생성부(87)가 연산부(8)와는 별체로 된 구성이다.

또한 도시는 생략하지만, 도 19와 같이 센서 장치(1)와 연산부(8)가 별체인 구성에 있어서, 전환 판정부(86), 동작 정보 생성부(87)가 별체의 프로세서 등에 의해 구성되어도 된다.

또한 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84), 역치 설정부(85) 등에 대해서도, 센서 장치(1) 밖, 혹은 연산부(8) 밖에 배치되는 구성으로 하는 것도 생각할 수 있다.

또한, 연산부(8)는 도시하는 모든 기능을 구비할 필요는 없다. 예를 들어 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84), 역치 설정부(85)의 일부가 마련되지 않아도 된다. 또한 전환 판정부(86)와 동작 정보 생성부(87)는 한쪽만이 마련되는 예도 생각할 수 있다.

<6. 정리 및 각 처리에 대한 적용예>

이상의 실시 형태에서는, 다음과 같은 효과가 얻어진다.

실시 형태의 센서 장치(1)는, 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서(2)와, 어레이 센서(2)에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부(30)와, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 센서 장치(1) 자신이 탑재되어 있는 센서 탑재 디바이스(100)로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 연산부(8)(전환 판정부(86))를 구비하고 있다.

신호 처리부(30)에 있어서의 처리가, 물체 검출에 기초하여 연산부(8)에 의해 제어됨으로써, 검출 대상인 물체에 적합한 신호 처리 동작이 행해진다. 예를 들어 검출 대상인 물체에 따른 파라미터 설정이나, 샘플링 에어리어의 지정이나, 프레임 레이트 등으로서 효율적이며 전력 절약 효과가 높은 처리 제어가 행해진다.

그 후에, 디바이스(100)의 디바이스 정보에 따라 동작 설정의 전환이 행해짐으로써, 디바이스(100)의 상황에 적응된 처리 동작을 실행할 수 있고, 예를 들어 전력 절약 우선이나, 신뢰도 우선 등, 상황에 따라 전환할 수 있다. 따라서 디바이스 탑재형의 센서 장치(1)로서, 자율적으로 최적화를 행할 수 있다.

실시 형태에서는, 연산부(8)(동작 정보 생성부(87))는 물체 검출, 또는 신호 처리부(30)의 처리 동작에 기초하여, 센서 동작 정보를 생성하여, 디바이스(100) 측(예를 들어 프로세서(11))으로 송신하는 처리를 행하는 예를 나타내었다.

신호 처리부(30)의 처리나 연산부(8)에 있어서의 물체 검출에 대한 정보 등을 디바이스(100) 측으로 송신함으로써, 디바이스(100) 측에서 센서 장치(1)의 동작에 적합한 상태를 실행할 수 있게 된다. 예를 들어 촬상 대상에 접근하거나, 촬상 방향을 변경하거나 하는 것 등으로, 센서 장치(1)에 의한 센싱에 적합한 상태를 얻는다. 이에 의해서도 센서 장치(1)는, 자신을 탑재한 디바이스(100)와 연계하여 자율적으로 최적화를 행할 수 있다.

또한 프로세서(11) 측에서는, 센서 장치(1)의 물체 검출 기능에 의해 출력되는 메타데이터를 사용하여, 프로세스의 계산 비용을 낮추는 것도 실현할 수 있다. 그 때문에, 저소비 전력화나 저데이터양화에 유용하다. 또한 센서 장치(1)가 출력하는 메타데이터를 사용하여, 애플리케이션 측(프로세서(11))이 최적의 동작을 할 수 있고, 센서 탑재 디바이스(100)의 전체의 거동의 고성능화, 효율화를 행할 수도 있다.

실시 형태에서는, 연산부(8)(전환 판정부(86))는 미리 등록된 디바이스(100)에 관한 등록 정보(하드웨어/애플리케이션 정보) 또는 동작 전환 조건으로서의 등록 정보(전환 조건 정보)에 기초하여, 전환 처리를 행하는 예를 설명하였다.

디바이스(100)(프로세서(11))의 종별, 처리 능력, 동작 기능, 혹은 애플리케이션에 의한 동작 기능 등에 따라 적합한 센서 장치(1)의 처리 동작은 다르다. 또한 동작 상태의 전환의 조건도 다르다. 그래서, 이들 필요한 정보를 미리 등록해 두고, 그에 따라 전환 처리가 행해지도록 한다. 이에 의해 센서 장치(1)를 각종 디바이스(100)에 범용적으로 사용할 수 있음과 함께, 이들 디바이스(100)에 적합하도록 최적화를 할 수 있게 된다.

실시 형태에서는 연산부(8)는 디바이스 정보로서 전원 정보를 취득하는 예를 들었다.

디바이스 정보로서 디바이스(100) 측의 전원 정보를 취득함으로써, 센서 장치(1)에서는 전원 상태에 따른 처리를 행하는 전환 처리를 실행할 수 있다. 이에 의해 디바이스(100)의 전력 절약화, 동작 시간의 연장 등도 가능하게 된다.

실시 형태에서는 연산부(8)는 디바이스 정보로서, 통신 스테이터스 정보를 취득하는 예를 들었다.

디바이스 정보로서 통신 스테이터스 정보를 취득함으로써, 센서 장치(1)에서는 통신 상황에 따른 처리를 행하는 전환 처리를 실행할 수 있다. 예를 들어 통신 상황의 악화에 따라 프레임 레이트를 떨어뜨리거나 하여, 불필요한 에너지 소비를 삭감하거나, 디바이스(100)로부터 외부 기기로의 전송에서 패킷 결락 등이 발생하기 어렵도록 하거나 할 수 있다.

실시 형태에서는 연산부(8)는 디바이스 정보로서 하드웨어 또는 애플리케이션에 관한 정보를 취득하는 예를 들었다.

디바이스(100)의 하드웨어에 관한 정보를 취득함으로써, 센서 장치(1)에서는 디바이스(100)의 구성이나 기능에 따른 처리를 행할 수 있다. 또한 애플리케이션에 관한 정보를 취득함으로써, 애플리케이션에 따라 출력하는 메타데이터를 설정할 수 있다. 이들에 의해, 신호 처리부의 처리를, 하드웨어 구성이나 애플리케이션에 따라 적절한 것으로 하거나, 전환 처리를 할 수 있게 된다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 어레이 센서(2)에 의한 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 식별된 클래스에 기초하여 신호 처리부(30)의 신호 처리에 사용되는 파라미터를 선택하는 처리를 행하는 예를 들었다.

즉 「분류 화상 적응화」의 처리로서, 어레이 센서(2)에 의해 얻어진 화상 신호에 대하여 로직부(5)에서 화상 처리를 실시하지만, 그 화상 처리의 파라미터가 화상 신호에 있어서의 검출 물체의 클래스 식별에 기초하여 설정되도록 하고 있다.

화상으로부터의 물체 검출을 행하는 경우, 사람이 보아 고품위인 화상이, 반드시 인식 정밀도가 높아지는 화상이 되지는 않는다. 또한 인식할 물체의 클래스에 따라 바람직한 화질은 다르다. 즉, 시인상 고화질이 되도록 하는 통상의 파라미터 설정에 의한 화상 처리를 실시한 화상은, 반드시 물체 검출을 위해 적합한 화질은 아니다. 또한 인식할 물체의 클래스에 따라, 바람직한 화상 처리 파라미터는 다르다.

그래서, 미리 클래스마다 파라미터 세트를 보유해 두도록 하고, 촬상 화상에 있어서 검출 물체의 클래스 식별에 따라, 사용될 파라미터 세트를 선택한다. 이에 의해, 목적으로 하는 물체의 검출에 적합한 화상 처리가 행해진다. 이러한 화상 처리가 행해진 화상에 따르면, 물체 검출의 정밀도의 향상을 실현할 수 있다.

또한, 물체 검출에 바람직한 화질 조정은, 사람이 아름답다고 느끼도록 하는 화질 조정과는 다르기 때문에, 예를 들어 아름다움을 우선하기 위한 블러 필터 등은 사용되지 않는다. 이 때문에 설정되는 파라미터는 처리의 저부하화를 초래하는 것인 경우가 많다.

또한 클래스에 따른 파라미터(예를 들어 계조 변경이나 압축에 관한 파라미터 등)에 따라서는 데이터양이 저감되는 경우도 많고, 그 경우, 프로세서(11) 측의 계산이 고부하가 되기 때문에 처리가 지연되거나, 시스템 전체의 소비 전력이 상승하거나 하는 것도 회피된다.

그리고 디바이스 정보에 따른 전환 처리로서는, 클래스에 따른 파라미터 세트를 전환하는 것이 상정된다. 예를 들어 클래스 「사람」에 대응하는 파라미터 세트를 복수 준비해 두고, 디바이스 정보에 따라 전환하도록 함으로써, 신호 처리부(30)에서는, 클래스에 따른 파라미터 세트가, 또한 디바이스(100)의 상태에 따라서도 전환되게 된다.

또한 디바이스 정보에 따른 전환 처리로서, 분류 화상 적응화를 실행할지 여부가 전환되도록 해도 된다.

이들에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

또한, 물체 검출에서의 클래스의 정보, 컨피던스 레이트, 오브젝트 에어리어의 정보, 타깃 클래스의 검출 유무의 정보 등을 디바이스(100) 측에 출력할 수도 있다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 디바이스 정보에 기초하여, 신호 처리부(30)의 신호 처리 또는 어레이 센서(2)에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대한 역치를 설정하고, 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 하는 예를 들었다.

즉 「역치 설정에 의한 화상 적응화」로서 기술한 바와 같이, 로직부(5)의 화상 처리 또는 어레이 센서(2)에 의한 촬상에 관한 촬상 처리에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하고, 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 하는 역치 설정부(85)를 구비한다.

역치를 사용하여 파라미터를 설정(변경)함으로써, 예를 들어 화상 신호에 대하여, 물체 검출 등의 처리를 위한 필요 최소한의 품질 등(예를 들어 필요 최소한의 해상도 등)으로서 출력할 수 있다. 따라서, 출력할 화상 신호의 데이터양을 삭감하면서, 후단의 처리(물체 검출 등)의 처리의 성능, 정밀도 등을 저하시키지 않는다고 하는 것도 가능하게 된다.

그리고 디바이스 정보에 따라 역치 설정을 함으로써, 디바이스의 상태, 예를 들어 배터리 상태 등에 따라 저소비 전력화하거나, 디바이스(100)의 필요에 따라 처리를 고속화하거나 하는 것 등을 실현할 수 있다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는 예를 들었다.

「에어리어 클리핑」으로서 기술한 바와 같이, 센서 장치(1)의 연산부(8)는 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보(ROI(21)나 AROI(22))를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시한다.

즉 어레이 센서(2)에 의해 얻어진 검출 신호에 대하여, 신호 처리부(30)에서 신호 처리를 실시하여 인터페이스부(7)로부터 출력하지만, 신호 처리부(30)에 있어서의 어레이 센서(2)로부터의 검출 신호의 취득 또는 신호 처리에 관한 영역 정보가, 물체 검출에 기초하여 설정되도록 한다.

실시 형태와 같이 화상으로부터의 물체 검출을 행하는 경우에, 항상 각 프레임의 전체 화소의 정보가 필요하게 되는 것은 아니다. 예를 들어 사람을 검출하는 경우에는, 프레임 내에서 사람이 찍혀 있는 영역의 검출 정보가 있으면 된다. 그래서 연산부(8)에서 물체 검출에 기초하여 ROI(21)나 AROI(22)를 생성하고, 신호 처리부(30)의 처리, 즉 ADC/픽셀 셀렉터(3)에 의한 어레이 센서(2)로부터의 검출 신호의 취득이나, 로직부(5)에 있어서의 압축 처리가, ROI(21)나 AROI(22)를 사용하여 행해지도록 하고 있다.

이에 의해, 처리 대상의 데이터양의 삭감, 처리 속도의 향상을 실현할 수 있음과 함께, 검출 정밀도를 저하시키지 않는 화상 신호를 얻을 수 있다.

그리고 이러한 에어리어 클리핑을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

또한, 에어리어 클리핑을 행하고 있을 때 ROI(21)의 설정 범위를 디바이스 정보에 따라 전환하는 것도 생각할 수 있다.

또한 디바이스 정보에 따라, 전체 화면 스캔하는 키 프레임의 사이즈나 해상도의 전환을 행하도록 하는 것도 생각할 수 있다.

이들에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

또한, 화상 신호에 한정되지 않고, 음파 검출 신호, 촉각 검출 신호 등으로서 어레이 센서(2)로부터 얻어지는 검출 신호에 대해서도, 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보를 지시하도록 할 수도 있다.

이에 의해, 음파 센서 어레이, 접촉 센서 어레이를 사용하는 경우에 있어서도, 디바이스 정보에 따라, 처리 대상의 데이터양의 삭감, 처리 속도의 향상 등을 적응적으로 실현할 수 있음과 함께, 검출 정밀도를 저하시키지 않는 검출 신호를 얻는다는 효과가 얻어진다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시함과 함께, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성하는 처리를 행하는 예를 들었다.

「AROI를 사용한 에어리어 클리핑」으로서 기술한 바와 같이, 연산부(8)는 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보(AROI(22))를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성한다.

클래스에 대응하는 템플릿을 사용함으로써, 클래스마다 상이한 중요한 영역에 적응하는 AROI(22)를 생성 가능하게 된다.

특히 어레이 센서(2)가 촬상 소자에 의한 것인 경우, 광전 변환에서의 소비 전력은 가장 크다. 이 경우, 가능한 한 광전 변환할 화소를 적게 하고 싶게 된다. 템플릿에 따라 광전 변환할 화소를 줄임으로써, 검출 정밀도에 영향을 주지 않고 유효한 데이터양 삭감이 가능하게 된다. 특히 화상은, 사람이 보는 것이 아니라, 사람이 아름답다고 느끼는 화상보다도 프로세서(11)가 적확하게 물체를 인식할 수 있는 화상인 것이 중요하다. 템플릿을 사용하여 광전 변환 및 디지털 데이터화하는 화소를 지정한 화상은, 적은 데이터양으로 유효한 물체 검출에 적합한 것이 된다.

또한 템플릿은, 클래스마다, 검출 신호의 취득 영역을 나타낸 것이라고 하였다.

예를 들어 템플릿은, 「사람」 「자동차」 등의 각 클래스에 따라 어레이 센서의 검출 소자 중에서, 검출 정보를 취득해야 할 검출 소자를 나타내는 것으로 한다(도 7, 도 8 참조).

클래스에 대응하여 판독되어야 할 화소를 지정하는 템플릿을 사용함으로써, 클래스마다 어레이 센서(2)로부터의 적절한 정보의 판독이 가능하게 된다. 특히 도 7, 도 8의 예와 같이 일부(얼굴의 부분이나 번호판의 부분)가 고밀도화되어 있음으로써, 클래스마다, 특히 필요한 부분의 정보를 집중적으로 취득하는 것도 가능하게 된다.

그리고 이러한 AROI(22)를 사용한 에어리어 클리핑을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

혹은, 클래스마다의 템플릿을 복수 준비해 두고, 어떤 클래스에 대하여 사용할 템플릿을, 디바이스 정보에 따라 선택한다는 것도 생각할 수 있다.

이들에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 신호 처리부(30)의 신호 처리 또는 어레이 센서(2)에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하고, 템플릿으로 나타내어지는 영역 정보에 대한 처리의 파라미터를 역치에 기초하여 설정하는 처리를 행하는 예를 들었다.

「역치 설정과 AROI를 사용한 에어리어 클리핑」으로서 설명한 바와 같이, 연산부(8)는 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보(AROI(22))를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성한다. 이 경우에, 역치에 기초하여 해상도 등의 파라미터가 산출되어 기록되어 있는 AROI(22)가 사용된다.

역치를 사용하여 AROI(22)로 나타내어지는 취득 영역의 파라미터를 설정(변경)함으로써, 예를 들어 화상 신호에 대하여, 물체 검출 등의 처리를 위한 필요 최소한의 품질 등(예를 들어 필요 최소한의 해상도 등)으로서 출력할 수 있다.

또한 템플릿을 사용하여 광전 변환 및 디지털 데이터화하는 화소를 지정한 화상은, 적은 데이터양으로 유효한 물체 검출에 적합한 것이 된다.

따라서, 템플릿을 사용하는 것, 및 역치에 의해 예를 들어 해상도 등의 파라미터를 설정함으로써, 출력할 화상 신호의 데이터양을 삭감하면서, 후단의 처리(물체 검출 등)의 처리의 성능, 정밀도 등을 저하시키지 않는다고 하는 것도 가능하게 된다. 또한 이에 의해 저소비 전력화, 처리의 고속화도 실현할 수 있다.

또한 템플릿은, 「사람」 「자동차」 등의 클래스마다, 검출 신호의 취득 영역을 나타낸 것임으로써, 클래스마다, 특히 필요한 부분의 정보를 집중적으로 취득하는 것도 가능하게 된다.

그리고 이러한 역치 설정과 AROI(22)를 사용한 에어리어 클리핑을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

이에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

실시 형태에서는, 전환 처리와 관련된 처리로서, 연산부(8)는 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하고, 신호 처리부(30)는 연산부(8)로부터의 영역 정보에 기초하여, 어레이 센서(2)로부터의 검출 신호에 대하여 영역마다 상이한 압축률에 의한 압축 처리를 행하는 예를 들었다.

즉 「인텔리전트 컴프레션」으로서 설명한 바와 같이, 신호 처리부(30)에서는, 로직부(5)에서 어레이 센서(2)로부터의 검출 신호를 압축 처리하지만, 로직부(5)는 연산부(8)로부터의 영역 정보에 기초하여, 영역마다 상이한 압축률에 의한 압축 처리를 행한다(도 10 참조).

이에 의해 신호 처리부(30)(로직부(5))는 프레임 내에서 중요한 영역과, 그다지 중요하지 않은 영역에서 압축률을 상이하게 함으로써, 중요한 정보를 삭감하지 않도록 데이터 압축이 가능하게 된다.

예를 들어 로직부(5)는 영역 정보로 지정되는 영역에서는, 저압축률로 압축 처리를 행하고, 다른 영역은 고압축률로 압축 처리를 행한다.

신호 처리부(30)(로직부(5))는 물체 검출된 다음 프레임으로부터는, ROI(21)에 의해 지정되는 영역에서는 저압축률로 압축 처리를 행하고, 다른 영역은 고압축률로 데이터양을 삭감한다. ROI(21)는 물체 검출에 따라 생성되기 때문에, ROI(21)로 나타내어지는 영역은 프로세서(11)에서의 물체 검출에도 중요한 영역이고, 이 영역은 저압축률로 함으로써, 정보를 삭감하지 않는다. 이에 의해 검출 정밀도를 저하시키지 않는다. 한편, ROI(21)로 나타내어지는 영역 이외는, 물체 검출에 그다지 영향이 없는 영역이 되기 때문에, 고압축률로 압축하여 효율적으로 데이터양을 삭감할 수 있다.

그리고 이러한 인텔리전트 컴프레션으로서의 압축 처리를 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

혹은, 상시 인텔리전트 컴프레션을 행하는 경우에도, 디바이스 정보에 따라 압축률을 변화시키도록 전환 처리를 행할 수 있다.

이에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 과거의 영역 정보에 관한 정보에 기초하여 어레이 센서(2)로부터 취득하는 검출 신호에 관한 액티브 에어리어를 설정하고, 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는 예를 들었다.

「액티브 에어리어 클리핑」으로서 설명한 바와 같이, 연산부(8)는 과거의 영역 정보에 관한 정보(영역 정보의 바탕이 되는 물체의 검출 영역의 바운딩 박스(20)나 영역 정보 그 자체인 ROI(21)나 AROI(22))에 기초하여 어레이 센서(2)로부터 취득하는 검출 신호에 관한 액티브 에어리어 RA를 설정한다.

그리고 액티브 에어리어 RA의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성한 ROI(21)나 AROI(22)를 신호 처리부(30)에 대하여, 어레이 센서(2)로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시한다.

이에 의해 ROI(21)나 AROI(22)를 설정하기 위한 물체 검출의 처리 부담이 현저하게 저감된다. 따라서 처리 부담 삭감, 고속화, 소비 전력의 삭감이라는 효과를 얻을 수 있다.

그리고 이러한 액티브 에어리어 클리핑을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

이에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 어레이 센서(2)로부터의 검출 신호의 프레임 레이트를 가변 지시하는 처리를 행하는 예를 들었다.

「액티브 샘플링」으로서 설명한 바와 같이 연산부(8)는 어레이 센서(2)에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 어레이 센서(2)로부터의 검출 신호의 프레임 레이트를 가변 지시한다.

화상으로부터의 물체 검출을 행하는 경우에, 항상 높은 프레임 레이트의 화상 신호가 필요하게 되는 것은 아니다. 예를 들어 사람을 검출하는 경우에는, 사람이 찍혀 있지 않은 프레임에서는, 프레임 레이트는 낮아도 문제 없다. 반대로 사람이 등장하는 기간에서는 프레임 레이트가 높아짐으로써, 정보량이 풍부하게 되고, 물체(사람) 검출이나, 그에 부수하여 인식할 수 있는 정보도 증가시킬 수 있다.

즉 물체의 검출에 따라 프레임 레이트를 변화시킴으로써, 적응적으로 필요시에 데이터양을 많게 하고, 불필요시에 데이터양을 삭감할 수 있어, 물체 검출 성능을 저하시키지 않고 처리 데이터양이나 전송 데이터양을 삭감할 수 있다.

그리고 이러한 액티브 샘플링을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

또는 액티브 샘플링을 행하는 경우에 있어서, 노멀 모드, 아이들링 모드에서의 각 샘플링 레이트를, 디바이스 정보에 따라 전환할 수 있다.

이들에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

또한, 화상 신호에 한정되지 않고, 음파 검출 신호, 촉각 검출 신호 등으로서 어레이 센서(2)로부터 얻어지는 검출 신호에 대해서도, 물체 검출을 행하고, 물체의 검출에 기초하여 어레이 센서(2)로부터의 검출 신호의 프레임 레이트를 가변 지시할 수도 있다. 이에 의해, 음파 센서 어레이, 접촉 센서 어레이를 사용하는 경우에 있어서도, 적응적으로 필요시에 데이터양을 많게 하고, 불필요시에 데이터양을 삭감할 수 있어, 물체 검출 성능을 저하시키지 않고 처리 데이터양이나 전송 데이터양을 삭감할 수 있다는 효과가 얻어진다.

프레임이란, 어레이 센서(2)가 촬상 소자 어레이인 경우에는, 화상의 프레임이 되지만, 음파 검출 소자나 촉각 센서 소자인 경우도 동일한 의미이고, 어레이 센서(2)의 종별에 관계 없이, 어레이 센서(2)의 복수의 검출 소자로부터의 1회의 판독 기간에 판독되는 데이터 단위이다. 프레임 레이트는 이러한 프레임의 단위 시간 내의 밀도가 된다.

실시 형태에서는, 연산부(8)는 전환 처리와 관련된 처리로서, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 식별되는 클래스에 따라 프레임 레이트의 역치를 설정하고, 역치에 기초하여 설정된 프레임 레이트를 사용한 처리가 행해지도록 하는 예를 들었다.

「역치 설정에 의한 액티브 샘플링」으로서 설명한 바와 같이, 어레이 센서(2)로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 식별되는 클래스에 따라 프레임 레이트의 역치를 설정하고, 역치에 기초하여 설정된 프레임 레이트를 사용한 처리가 행해지도록 한다(도(14), 도 15 참조).

역치를 사용하여 프레임 레이트를 설정(변경)함으로써, 검출 대상의 클래스에 적합한 프레임 레이트를 적용할 수 있다. 구체적으로는 검출 대상의 클래스의 물체 검출의 성능을 저하시키지 않도록 하면서, 프레임 레이트를 떨어뜨림으로써 화상 신호의 데이터양의 삭감, 저소비 전력화, 처리의 고속화를 실현할 수 있다.

그리고 이러한 역치 설정에 의한 액티브 샘플링을 행할지 여부를, 디바이스 정보에 따라 전환할 수 있다.

혹은 역치 설정에 의한 액티브 샘플링을 행하는 경우에 있어서 샘플링 레이트를, 디바이스 정보에 따라 전환할 수 있다.

이들에 의해, 디바이스 정보에 따라 센서 장치(1)의 동작을 최적화할 수 있다.

본 개시의 기술은 실시 형태의 구성예에 한정되지 않고 각종 변형예가 상정된다.

센서 장치(1)의 구성은 도 3, 도 19, 도 20에 예시한 것으로 한정되지 않는다.

어레이 센서(2)는 가시광을 수광하는 화소에 한정되지 않고, 비가시광의 촬상 소자가 복수 마련되는 것이어도 된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것은 아니며, 또 다른 효과가 있어도 된다.

또한 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1)

복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,

상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 연산부를 구비한

센서 장치.

(2)

상기 연산부는, 상기 물체 검출, 또는 상기 신호 처리부의 처리 동작에 기초하여, 센서 동작 정보를 생성하여, 상기 센서 탑재 디바이스 측으로 송신하는 처리를 행하는

상기 (1)에 기재된 센서 장치.

(3)

상기 연산부는, 미리 등록된 상기 센서 탑재 디바이스에 관한 등록 정보 또는 동작 전환 조건으로서의 등록 정보에 기초하여, 상기 전환 처리를 행하는

상기 (1) 또는 (2)에 기재된 센서 장치.

(4)

상기 연산부는, 상기 디바이스 정보로서, 전원 정보를 취득하는

상기 (1) 내지 (3) 중 어느 것에 기재된 센서 장치.

(5)

상기 연산부는, 상기 디바이스 정보로서, 통신 스테이터스 정보를 취득하는

상기 (1) 내지 (4) 중 어느 것에 기재된 센서 장치.

(6)

상기 연산부는, 상기 디바이스 정보로서, 상기 센서 탑재 디바이스의 하드웨어 또는 애플리케이션에 관한 정보를 취득하는

상기 (1) 내지 (5) 중 어느 것에 기재된 센서 장치.

(7)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 어레이 센서에 의한 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 식별된 클래스에 기초하여 상기 신호 처리부의 신호 처리에 사용되는 파라미터를 선택하는 처리를 행하는

상기 (1) 내지 (6) 중 어느 것에 기재된 센서 장치.

(8)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 디바이스 정보에 기초하여, 상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대한 역치를 설정하고, 상기 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 하는

상기 (1) 내지 (7) 중 어느 것에 기재된 센서 장치.

(9)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는

상기 (1) 내지 (8) 중 어느 것에 기재된 센서 장치.

(10)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시함과 함께, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성하는 처리를 행하는

상기 (1) 내지 (9) 중 어느 것에 기재된 센서 장치.

(11)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하고, 상기 템플릿으로 나타내어지는 영역 정보에 대한 처리의 파라미터를 상기 역치에 기초하여 설정하는 처리를 행하는

상기 (10)에 기재된 센서 장치.

(12)

상기 전환 처리와 관련된 처리로서,

상기 연산부는,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하고,

상기 신호 처리부는,

상기 연산부에서의 영역 정보에 기초하여, 상기 어레이 센서로부터의 검출 신호에 대하여, 영역마다 상이한 압축률에 의한 압축 처리를 행하는

상기 (1) 내지 (11) 중 어느 것에 기재된 센서 장치.

(13)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득되는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는

상기 (1) 내지 (12) 중 어느 것에 기재된 센서 장치.

(14)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 상기 어레이 센서로부터의 검출 신호의 프레임 레이트를 가변 지시하는 처리를 행하는

상기 (1) 내지 (13) 중 어느 것에 기재된 센서 장치.

(15)

상기 연산부는,

상기 전환 처리와 관련된 처리로서,

상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 식별되는 클래스에 따라 상기 프레임 레이트의 역치를 설정하고, 상기 역치에 기초하여 설정된 프레임 레이트를 사용한 처리가 행해지도록 하는

상기 (14)에 기재된 센서 장치.

(16)

센서 장치와,

상기 센서 장치와 통신 가능한 제어부

를 구비하고,

상기 센서 장치는,

복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,

상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 상기 제어부로부터 입력되는 디바이스 정보에 기초하여 상기 신호 처리부의 동작 설정의 전환 처리를 행하는 연산부

를 구비한

센서 탑재 디바이스

(17)

상기 연산부는, 상기 신호 처리부의 처리 동작의 상태, 또는 물체 검출의 상태에 기초한 센서 동작 정보를 생성하여, 상기 제어부로 송신하는 처리를 행하고,

상기 제어부는, 상기 센서 동작 정보에 기초하여 디바이스 동작의 제어를 행하는

상기 (16)에 기재된 센서 장치.

(18)

복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부를 갖는 센서 장치의 처리 방법으로서,

상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는

센서 장치의 처리 방법.

1: 센서 장치
2: 어레이 센서
3: ADC/픽셀 셀렉터
4: 버퍼
5: 로직부
6: 메모리
7: 인터페이스부
8: 연산부
11: 프로세서
12: 외부 센서
30: 신호 처리부
50: 디바이스 측 처리부
81: 키 프레임 선택부
82: 물체 영역 인식부
83: 클래스 식별부
84: 파라미터 선택부
85: 역치 설정부
86: 전환 판정부
87: 동작 정보 생성부
100: 센서 탑재 디바이스

Claims (18)

1. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
   상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와,
   상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는 연산부를 구비한
   센서 장치.
2. 제1항에 있어서,
   상기 연산부는, 상기 물체 검출, 또는 상기 신호 처리부의 처리 동작에 기초하여, 센서 동작 정보를 생성하여, 상기 센서 탑재 디바이스 측으로 송신하는 처리를 행하는
   센서 장치.
3. 제1항에 있어서,
   상기 연산부는, 미리 등록된 상기 센서 탑재 디바이스에 관한 등록 정보 또는 동작 전환 조건으로서의 등록 정보에 기초하여, 상기 전환 처리를 행하는
   센서 장치.
4. 제1항에 있어서,
   상기 연산부는, 상기 디바이스 정보로서, 전원 정보를 취득하는
   센서 장치.
5. 제1항에 있어서,
   상기 연산부는, 상기 디바이스 정보로서, 통신 스테이터스 정보를 취득하는
   센서 장치.
6. 제1항에 있어서,
   상기 연산부는, 상기 디바이스 정보로서, 상기 센서 탑재 디바이스의 하드웨어 또는 애플리케이션에 관한 정보를 취득하는
   센서 장치.
7. 제1항에 있어서,
   상기 연산부는,
   상기 전환 처리와 관련된 처리로서,
   상기 어레이 센서에 의한 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 식별된 클래스에 기초하여 상기 신호 처리부의 신호 처리에 사용되는 파라미터를 선택하는 처리를 행하는
   센서 장치.
8. 제1항에 있어서,
   상기 연산부는,
   상기 전환 처리와 관련된 처리로서,
   상기 디바이스 정보에 기초하여, 상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대한 역치를 설정하고, 상기 역치에 기초하여 설정된 파라미터를 사용한 처리가 행해지도록 하는
   센서 장치.
9. 제1항에 있어서,
   상기 연산부는,
   상기 전환 처리와 관련된 처리로서,
   상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는
   센서 장치.
10. 제1항에 있어서,
    상기 연산부는,
    상기 전환 처리와 관련된 처리로서,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시함과 함께, 상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 클래스 식별을 행하고, 당해 물체에 대응하는 영역 정보를, 식별된 클래스에 대응하는 템플릿을 사용하여 생성하는 처리를 행하는
    센서 장치.
11. 제10항에 있어서,
    상기 연산부는,
    상기 전환 처리와 관련된 처리로서,
    상기 신호 처리부의 신호 처리 또는 상기 어레이 센서에 의한 검출 처리에 사용되는 파라미터의 전부 또는 일부에 대하여, 파라미터의 역치를 설정하고, 상기 템플릿으로 나타내어지는 영역 정보에 대한 처리의 파라미터를 상기 역치에 기초하여 설정하는 처리를 행하는
    센서 장치.
12. 제1항에 있어서,
    상기 전환 처리와 관련된 처리로서,
    상기 연산부는,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하고,
    상기 신호 처리부는,
    상기 연산부에서의 영역 정보에 기초하여, 상기 어레이 센서로부터의 검출 신호에 대하여, 영역마다 상이한 압축률에 의한 압축 처리를 행하는
    센서 장치.
13. 제1항에 있어서,
    상기 연산부는,
    상기 전환 처리와 관련된 처리로서,
    과거의 영역 정보에 관한 정보에 기초하여 상기 어레이 센서로부터 취득되는 검출 신호에 대한 액티브 에어리어를 설정하고, 상기 액티브 에어리어의 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 생성된 영역 정보를, 상기 신호 처리부에 대하여, 상기 어레이 센서로부터의 검출 신호의 취득 또는 검출 신호의 신호 처리에 관한 영역 정보로서 지시하는 처리를 행하는
    센서 장치.
14. 제1항에 있어서,
    상기 연산부는,
    상기 전환 처리와 관련된 처리로서,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체의 검출에 기초하여 상기 어레이 센서로부터의 검출 신호의 프레임 레이트를 가변 지시하는 처리를 행하는
    센서 장치.
15. 제14항에 있어서,
    상기 연산부는,
    상기 전환 처리와 관련된 처리로서,
    상기 어레이 센서로부터 얻어진 검출 신호로부터 검출되는 물체에 대하여 식별되는 클래스에 따라 상기 프레임 레이트의 역치를 설정하고, 상기 역치에 기초하여 설정된 프레임 레이트를 사용한 처리가 행해지도록 하는
    센서 장치.
16. 센서 장치와,
    상기 센서 장치와 통신 가능한 제어부
    를 구비하고,
    상기 센서 장치는,
    복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와,
    상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부와,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 상기 제어부로부터 입력되는 디바이스 정보에 기초하여 상기 신호 처리부의 동작 설정의 전환 처리를 행하는 연산부
    를 구비한
    센서 탑재 디바이스.
17. 제16항에 있어서,
    상기 연산부는, 상기 신호 처리부의 처리 동작의 상태, 또는 물체 검출의 상태에 기초한 센서 동작 정보를 생성하여, 상기 제어부로 송신하는 처리를 행하고,
    상기 제어부는, 상기 센서 동작 정보에 기초하여 디바이스 동작의 제어를 행하는
    센서 탑재 디바이스.
18. 복수의 검출 소자가 1차원 또는 2차원으로 배열된 어레이 센서와, 상기 어레이 센서에 의한 검출 신호에 대하여 신호 처리를 행하는 신호 처리부를 갖는 센서 장치의 처리 방법으로서,
    상기 어레이 센서에 의한 검출 신호로부터 물체 검출을 행하고, 물체 검출에 기초하여 상기 신호 처리부의 동작 제어를 행함과 함께, 자신이 탑재되어 있는 센서 탑재 디바이스로부터 입력되는 디바이스 정보에 기초하여 처리 내용을 변경하는 전환 처리를 행하는
    센서 장치의 처리 방법.

Images