KR20230156697A - 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템 - Google Patents

정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템 Download PDF

Info

Publication number
KR20230156697A
KR20230156697A KR1020237029717A KR20237029717A KR20230156697A KR 20230156697 A KR20230156697 A KR 20230156697A KR 1020237029717 A KR1020237029717 A KR 1020237029717A KR 20237029717 A KR20237029717 A KR 20237029717A KR 20230156697 A KR20230156697 A KR 20230156697A
Authority
KR
South Korea
Prior art keywords
information
unit
point cloud
vibration distribution
vibration
Prior art date
Application number
KR1020237029717A
Other languages
English (en)
Inventor
유스케 가와무라
가즈토시 기타노
고스케 다카하시
다케시 구보타
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230156697A publication Critical patent/KR20230156697A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 개시에 관한 정보 처리 장치는, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부(101)와, 광을 수신하여 수신 신호를 출력하는 광 수신부(103)를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부(11)에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부(122)와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부(125)와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부(20)를 구비한다.

Description

정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템
본 개시는, 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템에 관한 것이다.
물체 표면 등의 진동을 검지함으로써, 그 물체에 발생하는 이상을 검지할 수 있다. 종래부터, 피계측물 표면 등의 진동을 광학적인 수단을 사용하여 비접촉으로 검지하는 기술이 알려져 있다. 예를 들어, 레이저광을 대상에 조사하고, 그 반사광에 기초하여 진동을 검지하는 방법이나, 하이 스피드 카메라를 사용하여 피계측물을 촬영한 촬상 화상에 기초하여 진동을 검지하는 방법이 알려져 있다.
레이저광을 사용한 진동계로서, 도플러 효과를 이용하여 진동을 계측하는 레이저 도플러 진동계가 알려져 있다. 레이저 도플러 진동계는, 예를 들어 시간의 경과에 따라 펄스의 주파수를, 예를 들어 직선적으로 변화시킨 처프광으로서 사출하는 레이저광과, 사출된 레이저광의 반사광을 합성한 수신 신호에 대하여, 코히어런트 검출에 의해 측거를 행한다. 이러한, 처프광과 코히어런트 검출을 사용한 측거 방식을, FMCW-LiDAR(Frequency Modulated Continuous Wave-Laser Imaging Detectionand Ranging)이라고 칭한다.
FMCW-LiDAR에서는, 도플러 효과를 이용함으로써, 측거와 동시에 속도를 계측할 수 있다. 특허문헌 1에는, 주파수 연속 변조한 레이저광을 사용하여 측거를 행하여, 측거 시의 도플러 효과를 보정하기 위한 기술이 개시되어 있다.
또한, 하이 스피드 카메라를 사용한 방법의 하나로서, 피계측물을 촬영한 복수의 고해상 휘도 화상에 기초하여, 당해 고해상 휘도 화상에 있어서의 고속 변화점을 검출하여, 피계측물의 시야면 방향의 진동을 추정하는 방법이 알려져 있다.
일본 특허 공표 제2019-537012호 공보
레이저 도플러 진동계는, 대상 물체에 대하여 비접촉으로, 깊이 방향(레이저광의 조사 방향)의 진동을 계측할 수 있다. 그러나, 종래에는, 레이저 도플러 진동계는, 피계측물의 표면에 있어서의 1점만의 계측을 행하는 것이었기 때문에, 피측정물의 표면에 있어서의 진동의 분포의 계측을 행하는 것이 곤란했다.
또한, 하이 스피드 카메라를 사용한 방법에서는, 피계측물에 있어서의, 당해 하이 스피드 카메라에 의한 시야면 방향의 진동의 추측이 가능한 한편, 당해 피계측물의 깊이 방향의 진동을 검출하는 것이 곤란했다.
본 개시는, 피계측물의 이상을 깊이 방향 및 시야면 방향의 진동 분포에 기초하여 비접촉으로 검지 가능한 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템을 제공한다.
본 개시에 관한 정보 처리 장치는, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부를 구비한다.
본 개시에 관한 정보 처리 방법은, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝을 갖는다.
본 개시에 관한 센싱 시스템은, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와, 상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부를 구비한다.
도 1은 기존 기술에 의한, 광학적 수단을 사용한 대상물의 속도 검출을 설명하기 위한 모식도이다.
도 2는 기존 기술에 의한, FMCW-LiDAR에 의한 측거를 행하는 광 검출 측거 장치를 사용하여 대상물의 속도를 검출하는 예를 나타내는 모식도이다.
도 3은 본 개시에 적용 가능한, FMCW-LiDAR에 의한 시야 방향의 속도 검출을 설명하기 위한 모식도이다.
도 4는 본 개시에 관한 센싱 시스템에 대하여 설명하기 위한 모식도이다.
도 5는 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부의 일례의 구성을 나타내는 블록도이다.
도 6은 주사부에 의한 송신광의 주사의 일례를 개략적으로 나타내는 모식도이다.
도 7은 본 개시의 각 실시 형태에 적용 가능한 정보 처리 장치의 일례의 구성을 나타내는 블록도이다.
도 8은 본 개시에 관한 센싱 시스템의 일례의 구성을 더 상세하게 나타내는 블록도이다.
도 9는 제1 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 10은 제1 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 11은 제1 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.
도 12는 제2 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다.
도 13은 제2 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 14는 제2 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 15는 제2 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.
도 16은 제3 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다.
도 17은 제3 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 18은 제3 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 19는 제3 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.
이하, 본 개시의 실시 형태에 대하여, 도면에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써, 중복되는 설명을 생략한다.
이하, 본 개시의 실시 형태에 대하여, 하기의 순서에 따라 설명한다.
1. 기존 기술에 대하여
2. 본 개시의 개략
2-1. 본 개시에 적용 가능한 기술
2-2. 개시에 관한 센싱 시스템의 개요
3. 제1 실시 형태
4. 제2 실시 형태
5. 제3 실시 형태
(1. 기존 기술에 대하여)
본 개시는, 물체의 진동 분포에 기초하는 이상 검지에 사용하기에 적합한 기술에 관한 것이다. 본 개시의 각 실시 형태의 설명에 앞서, 이해를 용이하게 하기 위해, 본 개시의 기술에 관련하는 기존 기술에 대하여, 개략적으로 설명한다.
종래부터, 광학적 수단에 의해 대상물의 속도를 검출하고, 검출한 속도에 기초하여 대상물의 진동을 검출하는 기술이 알려져 있다. 도 1은, 기존 기술에 의한, 광학적 수단을 사용한 대상물의 속도 검출을 설명하기 위한 모식도이다.
도 1의 섹션 (a)는, 레이저 도플러 속도계(700)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 예를 들어, 레이저 도플러 속도계(700)는, 레이저광(720)을 이동하는 대상물(710)에 조사시켜, 그 반사광(730)을 수광한다. 레이저 도플러 속도계(700)는, 수광한 반사광(730)의 도플러 시프트양을 산출함으로써, 레이저광(720)의 광축 방향에 있어서의 대상물(710)의 속도를 계측할 수 있다. 이 계측을, 소정의 시간 간격으로 반복해서 실행함으로써, 대상물(710)의 속도의 변위를 구할 수 있고, 이 속도 변위에 기초하여 대상물(710)의, 레이저광(720)의 광축 방향에 있어서의 진동을 검출한다.
도 1의 섹션 (b)는, 밀리미터파(721)를 이용한 도플러 레이더(701)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 도플러 레이더(7001)는, 상술한 레이저 도플러 속도계(700)와 마찬가지로, 밀리미터파(721)를 이동하는 대상물(710)에 조사시켜, 그 반사파(731)를 수신한다. 도플러 레이더(701)는, 수신한 반사파(731)의 도플러 시프트양을 산출함으로써, 밀리미터파(721)의 조사 방향에 있어서의 대상물(710)의 속도를 계측할 수 있다.
도 1의 섹션 (c)는, 하이 스피드 카메라(702)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 하이 스피드 카메라(702)는, 고속 연속 촬영에 의해 대상물(710)을 촬상하여, 복수의 촬상 화상(722)을 얻는다. 이 복수의 촬상 화상(722)에 있어서의 에지 정보나 모양 등에 기초하여, 대상물(710)의, 하이 스피드 카메라(702)의 시야 방향의 속도를 검출할 수 있고, 속도의 변위에 기초하여, 대상물(710)의 당해 시야 방향의 진동을 검출할 수 있다.
(2. 본 개시의 개략)
이어서, 본 개시에 대하여, 개략적으로 설명한다.
(2-1. 본 개시에 적용 가능한 기술)
도 2는, 본 개시에 적용 가능한, FMCW-LiDAR에 의한 측거를 행하는 광 검출 측거 장치(703)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내는 모식도이다.
FMCW-LiDAR(Frequency Modulated Continuous Wave-Laser Imaging Detection and Ranging)은, 사출하는 레이저광으로서, 시간의 경과에 따라 펄스의 주파수를, 예를 들어 직선적으로 변화시킨 처프광을 사용한다. FMCW-LiDAR에서는, 처프광으로서 사출하는 레이저광과, 사출된 레이저광의 반사광을 합성한 수신 신호에 대하여, 코히어런트 검출에 의해 측거를 행한다. 또한, FMCW-LiDAR에서는, 도플러 효과를 이용함으로써, 측거와 동시에 속도를 계측할 수 있다.
도 2에 있어서, 광 검출 측거 장치(703)는, 처프광에 의한 레이저광(750)을, 소정의 주사 범위(740) 내에서 스캔시키면서, 각 포인트(741)에 있어서 계측값을 취득한다. 계측값은, 3차원 위치 정보(3D(Three-Dimensions) 좌표), 속도 정보, 휘도 정보를 포함한다. 광 검출 측거 장치(703)는, 주사 범위(740)의 각 포인트(741)의 계측값을, 점군으로서 출력한다. 즉, 점군은, 3D 좌표, 속도 정보 및 휘도 정보를 포함하는 점의 집합이다.
광 검출 측거 장치(703)에 의해, 대상물(710)을 포함하는 타깃 영역을 집중적으로 주사함으로써, 속도나 3D 좌표의 연속적 변화를 취득하여, 점군에 포함되는 각 점의 속도, 가속도, 시간당의 진동수, 변위 등을 측정하는 것이 가능하다. 이 타깃 영역으로부터 측정된 각 정보에 기초하여, 타깃 영역에 있어서의 진동 분포를 구할 수 있다.
또한, FMCW-LiDAR에서는, 점군의 속도 분포를 해석함으로써, 대상물(710)의 깊이 방향(레이저광의 광축 방향)의 속도뿐만 아니라, 시야 방향의 속도도 검출 가능하다. 또한, 시야 방향이란, 광 검출 측거 장치(703)로부터 사출각이 0°에서 사출되는 레이저광의 광축 방향에 교차하는 면의 방향을 말한다. 시야 방향은, 예를 들어 당해 광축 방향에 직각으로 교차하는 면의 방향으로 해도 된다.
도 3은, 본 개시에 적용 가능한, FMCW-LiDAR에 의한 시야 방향의 속도 검출을 설명하기 위한 모식도이다. 도 3의 섹션 (a)는, 대상물(710)이 광 검출 측거 장치(703)의 시야 방향에 있어서 좌측으로 이동하고 있는 예, 섹션 (b)는, 대상물(710)이 광 검출 측거 장치(703)의 시야 방향으로 직각의 방향에 있어서 아래로 이동하고 있는 예를 각각 나타내고 있다.
도 3의 섹션 (a)의 예에서는, 대상물(710)의 좌측의 포인트(741)는, 광 검출 측거 장치(703)로부터 멀어지는 움직임을 나타내기 때문에, 속도(760)는, 예를 들어 양의 값을 취한다. 한편, 대상물(710)의 우측의 포인트(741)는, 광 검출 측거 장치(703)에 접근하는 움직임을 나타내기 때문에, 속도(760)는, 예를 들어 음의 값을 취한다. 이들 속도(760)의 절댓값은, 포인트(741)의 위치가 광 검출 측거 장치(703)에 대응하는 위치로부터 이격됨에 따라 커진다. 도 3의 섹션 (b)의 예에서는, 대상물(710) 상의 각 포인트(741)의 광 검출 측거 장치(703)로부터의 거리에 따라, 속도(760)가 변화된다.
이들 각 포인트(741)에 의한 점군의 속도 분포를 해석함으로써, 시야 방향의 속도를 측정할 수 있다. 종래의, 예를 들어 R(적색), G(녹색) 및 B(청색)의 각 색의 색정보를 취득 가능한 이미지 센서를 사용한 경우, 촬상 화상에 있어서의 에지부나 모양 등 특징점을 추출하고, 추출한 특징점의 프레임 차분을 검출함으로써, 시야 방향의 속도를 측정할 수 있다. 이에 비해, FMCW-LiDAR에서는, 특징점을 갖지 않는 포인트에서도, 속도나 진동 분포를 취득하는 것이 가능하다.
(2-2. 본 개시에 관한 센싱 시스템의 개요)
이어서, 본 개시에 관한 센싱 시스템 개요에 대하여 설명한다.
도 4는, 본 개시에 관한 센싱 시스템에 대하여 설명하기 위한 모식도이다. 도 4에 있어서, 센싱 시스템(1)은, 센서 유닛(10)과, 신호 처리부(12)와, 이상 검지부(20)를 포함한다.
센서 유닛(10)은, FMCW-LiDAR에 의해 피측정물인 대상물(50)에 대한 측거를 행하는 광 검출 측거부(11)를 포함한다. 광 검출 측거부(11)는, 메커니컬 스캐너, MEMS(Micro Electro Mechanical Systems), OPA(Optical Phased Array) 등에 의한, 레이저광의 주사 기구를 갖는다. 광 검출 측거부(11)는, 처프광에 의한 레이저광을 소정의 주사 범위(40)에 있어서 주사선(41)을 따라 주사하고, 주사선(41)에 있어서의 각 계측 포인트의 정보를 포함하는 점군을 취득한다. 점군은, 대상물(50)에 있어서의 각 점에 있어서의 속도(60)를 나타내는 속도 정보, 각 점의 3D 좌표 등을 포함한다. 광 검출 측거부(11)는, 주사 범위(40)에 대한 1회의 주사로, 1프레임분의 점군(프레임 점군과 칭함)을 취득한다.
신호 처리부(12)는, 광 검출 측거부(11)에 의해 취득된 점군에 대하여 신호 처리를 실시하여, 대상물(50)에 있어서의 진동의 분포를 나타내는 진동 분포 정보를 취득한다. 이상 검지부(20)는, 신호 처리부(12)에 의해 취득된 대상물(50)의 진동 분포 정보에 기초하여, 대상물(50)에 있어서의 이상의 유무를 검지한다.
센싱 시스템(1)에 있어서, 신호 처리부(12) 및 이상 검지부(20)는, 예를 들어 CPU(Central Processing Unit)를 갖는 정보 처리 장치 상에서 정보 처리 프로그램이 실행됨으로써 구성해도 된다. 이에 한정되지 않고, 신호 처리부(12) 및 이상 검지부(20)의 한쪽 또는 양쪽을 하드웨어 장치로 구성해도 되고, 신호 처리부(12) 및 이상 검지부(20)를 다른 정보 처리 장치 상에서 구성해도 된다.
도 5는, 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부(11)의 일례의 구성을 나타내는 블록도이다. 도 5에 있어서, 광 검출 측거부(11)는, 주사부(100)와, 광 송신부(101)와, 광 수신부(103)와, 제1 제어부(110)와, 제2 제어부(115)와, 점군 생성부(130)와, 전단 처리부(140)와, 인터페이스(I/F)부(141)를 포함한다.
또한, 제1 제어부(110)는, 주사 제어부(111)와, 각도 검출부(112)를 포함하여, 주사부(100)에 의한 주사의 제어를 행한다. 제2 제어부(115)는, 송신광 제어부(116)와, 수신 신호 처리부(117)를 포함하고, 이 광 검출 측거부(11)에 의한 레이저광의 송신 제어와, 수신광에 대한 처리를 행한다.
광 송신부(101)는, 예를 들어 송신광인 레이저광을 발광하기 위한 레이저 다이오드 등의 광원과, 광원에서 발광된 광을 사출하기 위한 광학계와, 당해 광원을 구동하는 레이저 출력 변조 장치를 포함한다. 광 송신부(101)는, 후술하는 송신광 제어부(116)로부터 공급된 광 송신 제어 신호에 따라 광원을 발광시켜, 시간의 경과에 따라 소정 주파수 범위 내에서 주파수가 직선적으로 변화되는 처프광에 의한 송신광을 사출한다. 송신광은, 주사부(100)로 보내짐과 함께, 국부 발광으로서 광 수신부(103)로 보내진다.
송신광 제어부(116)는, 시간의 경과에 따라, 주파수가 소정 주파수 범위 내에서 직선적으로 변화(예를 들어, 증가)되는 신호를 생성한다. 이러한, 시간의 경과에 따라 소정 주파수 범위 내에서 주파수가 직선적으로 변화되는 신호를, 처프 신호라고 칭한다. 송신광 제어부(116)는, 이 처프 신호에 기초하여, 광 송신부(101)가 포함하는 레이저 출력 변조 장치에 입력되는 변조 동기 타이밍 신호인 광 송신 제어 신호를 생성한다. 송신광 제어부(116)는, 생성한 광 송신 제어 신호를, 광 송신부(101)와 점군 생성부(130)에 공급한다.
주사부(100)에 의해 수신된 수신광은, 광 수신부(103)에 입력된다. 광 수신부(103)는, 예를 들어 입력된 수신광을 수신(수광)하는 수광부와, 수광부를 구동하는 구동 회로를 포함한다. 수광부는, 예를 들어 각각 화소를 구성하는 포토다이오드 등의 수광 소자가 2차원 격자 형상으로 나열된 화소 어레이를 적용할 수 있다.
광 수신부(103)는, 입력된 수신광과, 광 송신부(101)로부터 보내진 국부 발광을 합성하는 합성부를 더 포함한다. 수신광이 송신광의 대상물로부터의 반사광이라면, 수신광은, 각각, 국부 발광에 대하여 대상물과의 거리에 따라 지연된 신호가 되고, 수신광과 국부 발광을 합성한 각 합성 신호는, 일정 주파수의 신호(비트 신호)가 된다. 광 수신부(103)는, 수신광에 대응한 신호를 수신 신호로서 수신 신호 처리부(117)에 공급한다.
수신 신호 처리부(117)는, 광 수신부(103)로부터 공급된 수신 신호에 대하여, 예를 들어 고속 푸리에 변환 등의 신호 처리를 행한다. 수신 신호 처리부(117)는, 이 신호 처리에 의해, 대상물까지의 거리와, 대상물의 속도를 나타내는 속도를 구하고, 이들 거리 및 속도를 각각 나타내는 거리 정보 및 속도 정보를 포함하는 계측 정보를 생성한다. 수신 신호 처리부(117)는, 또한, 수신 신호에 기초하여 대상물의 휘도를 나타내는 휘도 정보를 구하여 계측 정보에 포함시킨다. 수신 신호 처리부(117)는, 생성한 계측 정보를 점군 생성부(130)에 공급한다.
주사부(100)는, 광 송신부(101)로부터 보내지는 송신광을, 주사 제어부(111)로부터 공급되는 주사 제어 신호에 따른 각도로 송신함과 함께, 당해 각도로부터 입사되는 광을 수신광으로서 수신한다. 주사부(100)에 있어서, 송신광의 주사 기구로서, 예를 들어 2축 미러 스캔 장치를 적용한 경우, 주사 제어 신호는, 예를 들어 당해 2축 미러 스캔 장치의 각 축에 인가되는 구동 전압 신호가 된다.
주사 제어부(111)는, 주사부(100)에 의한 송수신의 각도를 소정의 각도 범위 내에서 변화시키는 주사 제어 신호를 생성하여, 주사부(100)에 공급한다. 주사부(100)는, 공급된 주사 제어 신호에 따라, 송신광에 의한 일정한 범위의 주사를 실행할 수 있다.
주사부(100)는, 사출하는 송신광의 사출 각도를 검출하는 센서를 갖고, 이 센서에 의해 검출된 송신광의 사출 각도를 나타내는 각도 검출 신호를 출력한다. 각도 검출부(112)는, 주사부(100)로부터 출력된 각도 검출 신호에 기초하여 송수신의 각도를 구하고, 구한 각도를 나타내는 각도 정보를 생성한다. 각도 검출부(112)는, 생성한 각도 정보를 점군 생성부(130)에 공급한다.
도 6은, 주사부(100)에 의한 송신광의 주사의 일례를 개략적으로 나타내는 모식도이다. 주사부(100)는, 소정의 각도 범위에 대응하는 주사 범위(40) 내에 있어서, 소정의 개수의 주사선(41)을 따라 주사를 행한다. 주사선(41)은, 주사 범위(40)의 좌측 단부와 우측 단부 사이를 주사한 하나의 궤적에 대응한다. 주사부(100)는, 주사 제어 신호에 따라, 주사선(41)을 따라 주사 범위(40)의 상단과 하단 사이를 주사한다.
이때, 주사부(100)는, 주사 제어 신호에 따라, 처프광의 사출 포인트를, 예를 들어 포인트 2201, 2202, 2203, …과 같이, 예를 들어 일정한 시간 간격(포인트 레이트)으로 주사선(41)을 따라 순차, 이산적으로 변화시킨다. 이때, 주사선(41)의 주사 범위(40)의 좌측 단부 및 우측 단부의 반환점 부근에서는, 2축 미러 스캔 장치에 의한 주사 속도가 느려진다. 그 때문에, 각 포인트 2201, 2202, 2203, …은, 주사 범위(40)에 있어서 격자 형상으로 나열하지 않게 된다. 또한, 광 송신부(101)는, 송신광 제어부(116)로부터 공급되는 광 송신 제어 신호에 따라, 하나의 사출 포인트에 대하여, 1 또는 복수회, 처프광을 사출해도 된다.
도 5의 설명으로 돌아가, 점군 생성부(130)는, 각도 검출부(112)로부터 공급되는 각도 정보와, 송신광 제어부(116)로부터 공급되는 광 송신 제어 신호와, 수신 신호 처리부(113)로부터 공급되는 계측 정보에 기초하여, 점군을 생성한다. 더 구체적으로는, 점군 생성부(130)는, 각도 정보와, 계측 정보에 포함되는 거리 정보에 기초하여, 각도와 거리에 의해 공간 중의 1점이 특정된다. 점군 생성부(130)는, 특정된 점의, 소정의 조건 하에 있어서의 집합으로서의 점군을 취득한다. 점군 생성부(130)는, 계측 정보에 포함되는 속도 정보 및 휘도 정보에 기초하여, 특정된 각 점의 속도 및 휘도를 가미하여 점군을 구한다. 즉, 점군은, 점군에 포함되는 각 점에 대하여, 3D 좌표와, 속도와, 휘도를 나타내는 정보를 포함한다.
점군 생성부(130)는, 구한 점군을 전단 처리부(140)에 공급한다. 전단 처리부(140)는, 공급된 점군에 대하여 포맷 변환 등 소정의 신호 처리를 실시한다. 전단 처리부(140)에 의해 신호 처리된 점군은, I/F부(141)를 통해 광 검출 측거부(11)의 외부에 출력된다. I/F부(141)로부터 출력되는 점군은, 점군에 포함되는 각 점에 있어서의 3D 좌표 정보, 속도 정보, 휘도 정보를 포함한다.
도 7은, 본 개시의 각 실시 형태에 적용 가능한 정보 처리 장치의 일례의 구성을 나타내는 블록도이다. 도 7에 있어서, 정보 처리 장치(1000)는, 버스(1020)에 의해 서로 통신 가능하게 접속된, CPU(1010)와, ROM(Read Only Memory)(1011)과, RAM(Random Access Memory)(1012)과, 표시부(1013)와, 스토리지 장치(1014)와, 입력 디바이스(1015)와, 통신 인터페이스(I/F)(1016)와, 센서 유닛 I/F(1017)를 포함한다.
스토리지 장치(1014)는, 하드디스크 드라이브나 불휘발성 메모리(플래시 메모리) 등을 적용할 수 있고, 각종 프로그램이나, 각종 데이터가 저장된다. CPU(1010)는, ROM(1011)이나 스토리지 장치(1014)에 저장되는 프로그램에 따라, RAM(1012)을 워크 메모리로서 사용하여, 이 정보 처리 장치(1000) 전체의 동작을 제어한다.
표시부(1013)는, CPU(1010)에 의해 생성된 표시 제어 정보에 기초하여 표시 신호를 생성하는 표시 제어부와, 표시 제어부에 의해 생성된 표시 신호에 따라 표시를 행하는 표시 디바이스를 포함한다. 표시 디바이스는, 정보 처리 장치(1000)에 대하여 외부 접속되어 사용되는 표시 장치여도 된다.
입력 디바이스(1015)는, 키보드 등 유저 입력을 접수한다. 입력 디바이스(1015)에 의해 접수된 유저 입력에 따른 정보는, CPU(1010)로 전달된다. 입력 디바이스(1015)는, 표시부(1013)에 포함되는 표시 디바이스와 일체적으로 구성된 터치 패널로 해도 된다.
통신 I/F(1016)는, 당해 정보 처리 장치(1000)가 외부 기기와 통신하기 위한 인터페이스이다. 통신 I/F(1016)에 의한 통신은, 네트워크를 통한 통신이어도 되고, 당해 정보 처리 장치(1000)에 대한 하드웨어 장치 등의 직접적인 접속에 의한 통신이어도 된다. 또한, 통신 I/F(1016)에 의한 통신은, 유선 통신이어도 되고, 무선 통신이어도 된다.
센서 유닛 I/F(1017)는, 센서 유닛(10)을 접속하기 위한 인터페이스이다. 센서 유닛(10)에 있어서, 광 검출 측거부(11)로부터 출력된 점군은, 센서 유닛 I/F(1017)를 통해 CPU(1010)로 전달된다.
정보 처리 장치(1000)에 있어서, CPU(1010)는, 본 개시에 관한 센싱 시스템(1)을 실현하기 위한 정보 처리 프로그램이 실행됨으로써, 상술한 신호 처리부(12) 및 이상 검지부(20)를, RAM(1012)에 있어서의 주기억 영역 상에, 각각 예를 들어 모듈로서 구성한다.
당해 정보 처리 프로그램은, 예를 들어 통신 I/F(1016)를 통한 통신에 의해 외부(예를 들어, 도시되지 않은 다른 서버 장치)로부터 취득하여, 당해 정보 처리 장치(1000) 상에 인스톨하는 것이 가능하게 되어 있다. 이에 한정되지 않고, 당해 정보 처리 프로그램은, CD(Compact Disk)나 DVD(Digital Versatile Disk), USB(Universal Serial Bus) 메모리와 같은 착탈 가능한 기억 매체에 기억되어 제공되어도 된다.
또한, 여기서는, 신호 처리부(12)와 이상 검지부(20)가 동일한 정보 처리 장치(1000) 상에 구성되는 것처럼 설명했지만, 이것은 이 예에 한정되지 않는다. 신호 처리부(12)와 이상 검지부(20)를 다른 하드웨어(정보 처리 장치 등)상에 각각 구성해도 된다.
(3. 제1 실시 형태)
이어서, 본 개시의 제1 실시 형태에 대하여 설명한다.
도 8은, 본 개시에 관한 센싱 시스템의 일례의 구성을 더 상세하게 나타내는 블록도이다. 도 8에 있어서, 센싱 시스템(1a)은, 센서 유닛(10), 신호 처리부(12a) 및 이상 검지부(20)를 포함한다. 센서 유닛(10)은, 광 검출 측거부(11) 및 신호 처리부(12a)를 포함한다. 신호 처리부(12a)는, 3D 물체 검출부(121)와, 3D 물체 인식부(122)와, I/F부(123)와, 진동 분포 생성부(125)와, 기억부(126)를 포함한다.
이들 3D 물체 검출부(121), 3D 물체 인식부(122), I/F부(123) 및 진동 분포 생성부(125)는, 예를 들어 정보 처리 장치(1000)에 있어서 CPU(1010)상에서 본 개시에 관한 정보 처리 프로그램이 실행됨으로써 구성할 수 있다. 이에 한정되지 않고, 이들 3D 물체 검출부(121), 3D 물체 인식부(122), I/F부(123) 및 진동 분포 생성부(125)의 일부 또는 전부를, 서로 협동하여 동작하는 하드웨어 회로에 의해 구성해도 된다.
광 검출 측거부(11)로부터 출력된 점군은, 신호 처리부(12a)에 입력되어, 신호 처리부(12a)에 있어서 I/F부(123) 및 3D 물체 검출부(121)에 공급된다.
3D 물체 검출부(121)는, 공급된 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다. 또한, 이하에는, 번잡함을 피하기 위해, 「점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다」 등의 표현을, 「점군에 포함되는 3D 물체를 검출한다」 등과 같이 기재한다.
3D 물체 검출부(121)는, 점군으로부터, 속도를 갖는 점군 및 당해 점군을 포함하고, 예를 들어 일정 이상의 밀도 관계를 갖는 등의 관계성이 보이는 점군을, 3D 물체에 대응하는 점군(국재 점군이라고 칭함)으로서 검출한다. 예를 들어, 3D 물체 검출부(121)는, 점군에 포함되는 정적 물체와 동적 물체를 변별하기 위해, 점군으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 3D 물체 검출부(121)는, 추출한 점에 의한 점군 중에서, 일정한 공간 범위(대상 물체의 크기에 상당)에 국재하는 점군의 집합을, 3D 물체에 대응하는 국재 점군으로서 검출한다. 3D 물체 검출부(121)는, 점군으로부터 복수의 국재 점군을 추출해도 된다.
3D 물체 검출부(121)는, 검출한 국재 점군에 있어서의 각 점의, 3D 좌표, 속도 정보 및 휘도 정보를 취득한다. 3D 물체 검출부(121)는, 이들 국재 점군에 관한 3D 좌표와, 속도 정보와, 휘도 정보를 3D 검출 결과를 나타내는 3D 검출 정보로서 출력한다. 또한, 3D 물체 검출부(121)는, 검출된 국재 점군의 영역에, 당해 국재 점군에 대응하는 3D 물체를 나타내는 라벨 정보를 부가하고, 부가한 라벨 정보를 3D 검출 결과에 포함시켜도 된다.
3D 물체 인식부(122)는, 3D 물체 검출부(121)로부터 출력된 3D 검출 정보를 취득한다. 3D 물체 인식부(122)는, 취득한 3D 검출 정보에 기초하여, 3D 검출 정보가 나타내는 국재 점군에 대한 물체 인식을 행한다. 예를 들어, 3D 물체 인식부(122)는, 3D 검출 정보가 나타내는 국재 점군에 포함되는 점의 수가, 대상 물체의 인식에 이용할 수 있는 소정수 이상인 경우에, 그 국재 점군에 대하여 점군 인식 처리를 행한다. 3D 물체 인식부(122)는, 이 점군 인식 처리에 의해, 인식된 물체에 관한 속성 정보를 추정한다.
3D 물체 인식부(122)는, 광 검출 측거부(11)로부터 출력된 점군 중 3D 물체에 대응하는 국재 점군에 대하여, 물체 인식 처리를 실행한다. 예를 들어, 3D 물체 인식부(122)는, 광 검출 측거부(11)로부터 출력된 점군 중 국재 점군 이외의 부분의 점군을 제거하여, 당해 부분에 대해서는 물체 인식 처리를 실행하지 않는다. 그 때문에, 3D 물체 인식부(122)에 의한 인식 처리의 부하를 삭감하는 것이 가능하다.
3D 물체 인식부(122)는, 추정된 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 당해 국재 점군에 대한 인식 결과를, 3D 인식 정보로서 출력한다. 3D 물체 인식부(122)는, 3D 인식 정보에, 당해 국재 점군에 관한 3D 좌표와, 3D 크기와, 속도 정보와, 속성 정보와, 신뢰도를 포함시킬 수 있다. 또한, 속성 정보는, 인식 처리의 결과, 점군의 점마다, 그 단위가 속하는 대상 물체의 종별이나 고유 분류 등의 대상 물체의 속성을 나타내는 정보이다.
3D 물체 인식부(122)로부터 출력된 3D 인식 정보는, I/F부(123)에 입력된다. I/F부(123)에는, 상술한 바와 같이, 광 검출 측거부(11)로부터 출력된 점군도 입력되어 있다. I/F부(123)는, 점군을 3D 인식 정보에 대하여 통합하여, 진동 분포 생성부(125)에 공급한다. 또한, I/F부(123)는, 광 검출 측거부(11)로부터 공급되는 점군을, 후술하는 이상 검지부(20)에 공급한다.
진동 분포 생성부(125)는, I/F부(123)로부터 공급된 점군 및 3D 인식 정보에 기초하여, 대상물(50)에 있어서의 진동의 분포를 추측하여, 진동 분포 정보를 생성한다. 진동 분포 생성부(125)는, 공급된 3D 인식 정보와, 기억부(126)에 기억되는, 당해 국재 점군에 관한 과거 3D 인식 정보를 사용하여 대상물(50)의 진동 분포를 추측해도 된다.
진동 분포 생성부(125)는, 추측한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 공급한다. 또한, 진동 분포 생성부(125)는, 점군(국재 점군)과, 3D 인식 정보를, 과거의 정보로서, 기억부(126)에 대하여 축적적으로 기억한다.
또한, 진동 분포 생성부(125)는, I/F부(123)로부터 공급된 점군 및 3D 인식 정보에 기초하여, 유저에게 제시하는 화상을 표시시키기 위한 표시 제어 정보를 생성할 수 있다.
이상 검지부(20)는, 신호 처리부(12a)로부터 공급된 점군과, 진동 분포 정보에 기초하여, 대상물(50)의 이상을 검지한다. 예를 들어, 이상 검지부(20)는, 진동 분포 정보에 기초하여 평가값을 생성하고, 생성한 평가값에 대하여 역치 판정을 행함으로써, 대상물(50)에 있어서의 이상의 유무를 판정해도 된다. 이상 검지부(20)는, 대상물(50)에 대한 이상의 검지 결과를, 예를 들어 외부에 출력한다.
도 9는, 제1 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 10은, 제1 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다.
도 9에 있어서, 스텝 S10에서, 센싱 시스템(1a)은, 센서 유닛(10)의 광 검출 측거부(11)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 다음의 스텝 S11에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S10의 주사로 취득된 점군에 기초하여 주사 범위(40)의 2차원(2D: Two-Dimensions) 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 점군은, 표시에 관해서는 휘도 정보만을 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은, 모노크롬의 화상이다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.
다음의 스텝 S12에서, 센싱 시스템(1a)은, 스텝 S10에서 취득되어 주사 범위(40) 내의 점군에 대하여 ROI(Region of Interest: 주목 영역)가 설정되었는지 여부를 판정한다.
예를 들어, 센싱 시스템(1a)은, 스텝 S11에서 표시부(1013)에 의해 표시된 2D 화상에 대한 유저 조작에 따라, ROI를 설정한다. 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S12, 「"아니오"」), 처리를 스텝 S12로 복귀시킨다. 한편, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, ROI 설정되었다고 판정한 경우(스텝 S12, 「"예"」), 처리를 스텝 S13으로 이행시킨다.
도 10의 좌측 상단에 나타나는 화상(300a)은, 직사각형에 의해 ROI(301)가 설정된 2D 화상의 예를 나타내고 있다. 화상(300a)은, 광 검출 측거부(11)에 의해 주사 범위(40)가 주사되어 취득한 점군에 기초하는 2D 화상이다. 그 때문에, 화상(300a)은, 주사 범위(40)에 있어서의 광 검출 측거부(11)에 의한 레이저광이 사출되는 포인트 2201, 2202, 2203, …(도 6 참조)에 따른 해상도를 갖는다.
도 9에 있어서, 스텝 S13에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 설정된 ROI(301)를 제시한다. 더 구체적으로는, 진동 분포 생성부(125)는, 설정된 ROI(301)를, 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 진동 분포 생성부(125)는, 3D 표시 모드에서는, 3D 물체 인식부(122)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(301)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.
도 10의 우측 상단에 나타나는 화상(300b)은, 동도 좌측 상단의 화상(300a)에 있어서의 ROI(301)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(300b)의 예에서는, 3D 인식 정보에 기초하여 타깃 영역의 후보로서 추출된 각 영역(310a 내지 310e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(310a 내지 310e)은, 예를 들어 3D 물체 인식부(122)에 의해, ROI(301) 내에 있어서 다른 부위라고 인식된 것이다.
도 9에 있어서, 다음의 스텝 S14에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S13에서 타깃 영역의 후보로서 제시된 각 영역(310a 내지 310e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.
예를 들어, 센싱 시스템(1a)은, 스텝 S13에서 표시부(1013)에 의해 표시된 화상(300b)에 대한 유저 조작에 따라, 각 영역(310a 내지 310e)으로부터, 진동 분포 검출의 대상이 될 타깃 영역을 선택한다. 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 타깃 영역이 설정되어 있지 않다고 판정한 경우(스텝 S14, 「"아니오"」), 처리를 스텝 S14로 복귀시킨다. 한편, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 타깃 영역이 선택되었다고 판정한 경우(스텝 S14, 「"예"」), 처리를 스텝 S15로 이행시킨다.
도 10의 좌측 하단에 나타나는 화상(300c)은, 스텝 S14에서 각 타깃 영역의 후보로부터 영역(310b)이 타깃 영역으로서 선택된 경우의 예를 나타내고 있다. 또한, 여기서는, 설명을 위해, 각각 타깃 영역의 후보인 복수의 영역(310a 내지 310e)으로부터, 진동 분포 검출의 타깃 영역으로서 하나의 영역(310b)을 선택하고 있지만, 이것은 이 예에 한정되지 않고, 타깃 영역으로서 복수의 영역을 선택하는 것도 가능하다.
스텝 S15에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S14에서 선택된 타깃 영역(이 예에서는 영역(310b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.
도 10의 우측 하단에 나타나는 화상(300d)은, 진동 분포 생성부(125)에 의해 생성된, 타깃 영역(이 예에서는 영역(310b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(300d)에 있어서, 타깃 영역인 영역(310b)이 진동의 정도에 따라 영역(320a 내지 320d)으로 구분되고, 영역(310b)에 있어서의 진동 분포가 나타나 있다. 화상(300d)은, 표시부(1013)에 표시시켜 유저에게 제시해도 되고, 진동 분포 생성부(125)가 내부적으로 갖는 정보로 해도 된다.
진동의 정도를 나타내는 진동 파라미터는, 예를 들어 진동수 F(㎐), 변위 D(㎜), 속도 v(m/s) 및 가속도 A(m/s2)여도 된다. 진동 분포는, 예를 들어 이들 진동수 F, 변위 D, 속도 v 및 가속도 A 중 어느 값을 대푯값으로서 사용하여 표현해도 되고, 이들 각 진동 파라미터 중 2 이상의 파라미터를 조합한 값으로 표현해도 된다. 이에 한정되지 않고, 예를 들어 이들 각 진동 파라미터의 각각에 대하여 분포를 구해도 된다.
다음의 스텝 S16에서, 센싱 시스템(1a)은, 이상 검지부(20)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.
센싱 시스템(1a)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S16, 「"예"」), 처리를 스텝 S17로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1a)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S16, 「"아니오"」), 처리를 스텝 S18로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.
스텝 S17 또는 스텝 S18의 처리 후, 도 9의 흐름도에 의한 일련의 처리가 종료된다.
도 11은, 제1 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 11에 나타내는 흐름도는, 상술한 도 9에 있어서의 스텝 S15의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125)에 있어서 실행된다.
도 11에 있어서, 좌측의 스텝 S100 내지 스텝 S104의 처리는, 점군의 속도 정보를 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 우측의 스텝 S110 내지 스텝 S114의 처리는, 점군의 휘도 정보를 사용하여 시야 방향의 진동 분포를 계측하는 처리이다. 이후, 속도 정보를 이용하는 경우, 적절히, 그 점군을 속도 점군이라고 칭하고, 휘도 정보를 이용하는 경우, 적절히, 그 점군을 휘도 점군이라고 칭한다.
우선, 스텝 S100 내지 스텝 S104의, 속도 점군을 사용한 깊이 방향 및 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.
도 11에 있어서, 스텝 S100에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 주사 범위(40)의 전역에 있어서의 속도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S101에서, 진동 분포 생성부(125)는, 이 속도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 이 3D 인식 정보는, 속도 점군에 의한 점군 프레임으로부터 인식된 대상의 3D 위치와, 3D 크기와, 속도와, 속성과, 신뢰도를 포함한다.
다음의 스텝 S102에서, 진동 분포 생성부(125)는, 점군 프레임으로부터, 타깃 영역의 속도 점군을 추출한다. 스텝 S102에서 추출되는 속도 점군은, 3D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 속도 점군을 기억부(126)에 기억시켜도 된다.
다음의 스텝 S103에서, 진동 분포 생성부(125)는, 깊이 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S103, 「"아니오"」), 처리를 스텝 S100으로 복귀시키고, 다음의 점군 프레임을 취득하여, 취득한 점군 프레임에 대한 측정을 실행(스텝 S101, 스텝 S102) 한다.
한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S103, 「"예"」), 처리를 스텝 S104로 이행시킨다.
스텝 S104에서, 진동 분포 생성부(125)는, 스텝 S103까지의 처리에서 취득된 속도 점군에 기초하여, 예를 들어 도 2 및 도 3을 사용하여 설명한 방법에 의해, 깊이 방향의 진동 분포(도 2 참조)와, 시야 방향의 진동 분포(도 3 참조)를 산출한다.
이어서, 스텝 S110 내지 스텝 S114의, 휘도 점군을 사용한 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.
도 11에 있어서, 스텝 S110에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 주사 범위(40)의 전역에 있어서의 휘도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S111에서, 진동 분포 생성부(125)는, 이 휘도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 이 3D 인식 정보는, 휘도 점군에 의한 점군 프레임으로부터 인식된 대상의 3D 위치와, 3D 크기와, 속도와, 속성과, 신뢰도를 포함한다. 다음의 스텝 S112에서, 진동 분포 생성부(125)는, 점군 프레임으로부터, 타깃 영역의 휘도 점군을 추출한다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 휘도 점군을 기억부(126)에 기억시켜도 된다.
진동 분포 생성부(125)는, 휘도 점군에 의한 점군 프레임으로부터, 2D 정보를 취득한다. 예를 들어, 진동 분포 생성부(125)는, 당해 점군 프레임에 포함되는 각 점의 정보를, 시야 방향의 면에 투영한다. 따라서, 스텝 S112에서 추출되는 휘도 점군은 2D 정보를 갖는다.
다음의 스텝 S113에서, 진동 분포 생성부(125)는, 시야 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S113, 「"아니오"」), 처리를 스텝 S100로 복귀시키고, 다음의 점군 프레임을 취득하여, 취득한 점군 프레임에 대한 측정을 실행(스텝 S111, 스텝 S112)한다.
한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S113, 「"예"」), 처리를 스텝 S114로 이행시킨다.
스텝 S114에서, 진동 분포 생성부(125)는, 스텝 S113까지의 처리에서 취득된, 각각 2D 정보인 복수 프레임분의 휘도 점군에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.
진동 분포 생성부(125)는, 스텝 S104 및 스텝 S114의 처리 종료 후, 처리를 스텝 S120으로 이행시킨다. 스텝 S120에서, 진동 분포 생성부(125)는, 스텝 S104에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S114에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 대하여 출력한다.
또한, 도 11의 흐름도에서는, 스텝 S100의 처리와, 스텝 S110의 처리는, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S100 및 스텝 S110의 처리를 동기시켜 실행해도 된다. 또한, 이들 스텝 S100 및 스텝 S110을, 주사 범위(40)에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S103 및 스텝 S113에 있어서 판정되는 소정수는, 스텝 S101 및 스텝 S113에서 동일한 수가 된다.
이와 같이, 제1 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 그 때문에, 타깃 영역 내의 진동 분포를 계측하는 것이 가능하여, 계측된 진동 분포에 기초하여 대상물의 이상을 검지할 수 있다.
(4. 제2 실시 형태)
이어서, 본 개시의 제2 실시 형태에 대하여 설명한다. 제2 실시 형태는, ROI에 대하여 다시 타깃 영역을 설정하고, 광 검출 측거부(11)에 의한 주사 범위를, 이 타깃 영역에 한정한다. 이렇게 주사 범위를 한정함으로써, 주사 범위에 있어서의 해상도를 가변으로 할 수 있고, 예를 들어 원거리에 있는 대상물에 대해서도, 진동 분포의 검출이 가능해진다.
도 12는, 제2 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다. 또한, 이하에 있어서, 상술한 도 8과 공통되는 부분에 대해서는, 상세한 설명을 생략한다.
도 12에 있어서, 제2 실시 형태에 관한 센싱 시스템(1b)은, 센서 유닛(10a)과 신호 처리부(12b)와 이상 검지부(20)를 포함한다. 센서 유닛(10a)은, 광 검출 측거부(11a)를 포함한다. 광 검출 측거부(11a)는, 도 5를 사용하여 설명한 광 검출 측거부(11)와 동등한 구성을 갖고, 내부에서 생성되는 주사 제어 신호에 더하여, 외부로부터 공급되는 국소 주사 제어 신호에 따라, 주사부(100)가 주사를 행하는 주사 범위를 제어 가능하게 되어 있다. 예를 들어, 주사부(100)는, 국소 주사 제어 신호에 따라, 광 검출 측거부(11a)의 전역의 주사 범위(40) 내의 임의의 영역을, 새로운 주사 범위로 하여 집중적으로 주사하는 것이 가능하게 되어 있다.
신호 처리부(12b)는, 도 8에 나타낸 제1 실시 형태에 관한 센싱 시스템(1a)에 있어서의 신호 처리부(12a)에 대하여, 국소 주사 제어부(170)를 추가한 구성으로 되어 있다. 국소 주사 제어부(170)는, 타깃 영역 설정 정보와, 3D 물체 인식부(122)로부터 출력되는 3D 인식 정보에 기초하여, 광 검출 측거부(11)에 의한 전역의 주사 범위(40)에 대하여 좁은 주사 범위인 타깃 영역을, 주사 범위(40) 내로 설정한다. 국소 주사 제어부(170)는, 설정한 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 출력한다.
도 13은, 제2 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 14는, 제2 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다. 또한, 도 13의 설명에 있어서, 상술한 도 9의 흐름도와 공통되는 부분은, 적절히 설명을 생략한다.
도 13에 있어서, 스텝 S20에서, 센싱 시스템(1b)은, 센서 유닛(10)의 광 검출 측거부(11)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 다음의 스텝 S21에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S20의 주사로 취득된 점군에 기초하여 주사 범위(40)의 2D 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 점군은, 표시에 관해서는 휘도 정보만을 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은 모노크롬의 화상이다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.
다음의 스텝 S22에서, 센싱 시스템(1b)은, 스텝 S20에서 취득되어 주사 범위(40) 내의 점군에 대하여 ROI가 설정되었는지 여부를 판정한다. ROI는, 예를 들어 도 9의 흐름도의 스텝 S12에서 설명한 바와 같이, 유저 조작에 따라 설정해도 된다. 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S22, 「"아니오"」), 처리를 스텝 S22로 복귀시킨다. 한편, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, ROI 설정되었다고 판정한 경우(스텝 S22, 「"예"」), 처리를 스텝 S23으로 이행시킨다.
도 14의 좌측 상단에 나타나는 화상(400a)은, 직사각형에 의해 ROI(401)가 설정된 2D 화상의 예를 나타내고 있다. 화상(400a)은, 광 검출 측거부(11a)에 의해 전 영역의 주사 범위(40)가 주사되어 취득한 점군에 기초하는 2D 화상이다. 그 때문에, 화상(400a)은, 주사 범위(40)에 있어서의 광 검출 측거부(11a)에 의한 레이저광이 사출되는 포인트 2201, 2202, 2203, …에 따른 해상도를 갖는다.
스텝 S23에서, 센싱 시스템(1b)은, 광 검출 측거부(11)에 의해, ROI(401)를 주사한다. 더 구체적으로는, 센싱 시스템(1b)은, 국소 주사 제어부(170)에 의해 ROI(401)를 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, ROI(401)를 주사한다.
스텝 S23에 있어서, 광 검출 측거부(11a)는, ROI(401)의 주사를, 스텝 S20에 있어서의 전 영역의 주사에 대하여, 더 고밀도로 행할 수 있다. 예를 들어, 국소 주사 제어부(170)는, 처프광의 사출 포인트의 간격을, 전 영역을 주사하는 경우와 비교하여 좁아지도록 광 검출 측거부(11a)를 제어하는 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 공급한다. 이와 같이, 전 영역에 대한 주사에 대하여 고밀도로 주사를 행함으로써, 전 영역에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.
다음의 스텝 S24에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S23의 ROI의 주사로 취득된 점군에 기초하여, ROI(401)의 화상을 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 스텝 S23에서 ROI(401)를 고밀도로 주사하고 있기 때문에, 여기서 표시되는 화상은, 스텝 S21에서 표시되는 2D 화상에 비해 고해상도로 되어 있다. 진동 분포 생성부(125)는, 3D 표시 모드에서는, 3D 물체 인식부(122)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(401)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.
도 14의 우측 상단에 나타나는 화상(400b)은, 동도 좌측 상단의 화상(400a)에 있어서의 ROI(401)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(400b)의 예에서는, 3D 인식 정보에 기초하여 타깃 후보로서 추출된 각 영역(410a 내지 410e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(410a 내지 410e)은, 예를 들어 3D 물체 인식부(122)에 의해, ROI(401) 내에 있어서 다른 부위라고 인식된 것이다.
도 13에 있어서, 다음의 스텝 S25에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S24에서 타깃 후보로서 제시된 각 영역(410a 내지 410e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.
예를 들어, 센싱 시스템(1b)은, 스텝 S24에서 표시부(1013)에 의해 표시된 화상(400b)에 대한 유저 조작에 따라, 각 영역(410a 내지 410e)으로부터, 진동 분포 검출의 대상이 될 타깃을 선택한다. 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 타깃이 설정되어 있지 않다고 판정한 경우(스텝 S25, 「"아니오"」), 처리를 스텝 S25로 복귀시킨다. 한편, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 타깃이 선택되었다고 판정한 경우(스텝 S25, 「"예"」), 처리를 스텝 S26으로 이행시킨다.
도 14의 좌측 하단에 나타나는 화상(400c)은, 스텝 S25에서 각 타깃 후보로부터 영역(410b)이 타깃으로서 선택된 경우의 예를 나타내고 있다. 또한, 타깃으로서 복수의 영역을 선택하는 것도 가능하다.
다음의 스텝 S26에서, 센싱 시스템(1b)은, 광 검출 측거부(11)에 의해, 스텝 S25에서 선택된 타깃 영역(이 예에서는 영역(410b))을 주사한다. 더 구체적으로는, 센싱 시스템(1b)은, 국소 주사 제어부(170)에 의해 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, 타깃 영역을 주사한다.
스텝 S26에 있어서, 광 검출 측거부(11a)는, 타깃 영역의 주사를, 스텝 S20에 있어서의 전 영역의 주사나, 스텝 S23에 있어서의 ROI(401)의 주사에 대하여, 더 고밀도로 행할 수 있다. 예를 들어, 국소 주사 제어부(170)는, 처프광의 사출 포인트의 간격을, ROI(401) 전 영역을 주사하는 경우와 비교하여 더 좁아지도록 광 검출 측거부(11a)를 제어하는 국소 주사 제어 신호를 생성할 수 있다. 이와 같이, 타깃 영역에 대한 주사를, 전 영역이나 ROI(401)에 대한 주사에 대하여 고밀도로 행함으로써, 전 영역에 대한 주사나 ROI(401)에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.
다음의 스텝 S27에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S26에서 주사된 타깃 영역(이 예에서는 영역(410b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.
도 14의 우측 하단에 나타나는 화상(400d)은, 진동 분포 생성부(125)에 의해 생성된, 타깃 영역(이 예에서는 영역(410b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(400d)에 있어서, 타깃 영역인 영역(410b)이 진동의 정도에 따라 영역(420a 내지 420d)으로 구분되어, 영역(410b)에 있어서의 진동 분포가 나타나 있다.
다음의 스텝 S28에서, 센싱 시스템(1b)은, 이상 검지부(20)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.
센싱 시스템(1b)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S28, 「"예"」), 처리를 스텝 S29로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1b)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S28, 「"아니오"」), 처리를 스텝 S30으로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.
스텝 S29 또는 스텝 S30의 처리 후, 도 13의 흐름도에 의한 일련의 처리가 종료된다.
도 15는, 제2 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 15에 나타내는 흐름도는, 상술한 도 13에 있어서의 스텝 S26 및 스텝 S27의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125)에 있어서 실행된다. 또한, 도 15의 설명에 있어서, 상술한 도 11의 흐름도와 공통되는 부분은 적절히 설명을 생략한다.
도 15에 있어서, 좌측의 스텝 S200 내지 스텝 S204의 처리는, 속도 점군을 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 우측의 스텝 S210 내지 스텝 S214의 처리는, 휘도 점군을 사용하여 시야 방향의 진동 분포를 계측하는 처리이다.
우선, 스텝 S200 내지 스텝 S204의, 속도 점군을 사용한 깊이 방향 및 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.
도 15에 있어서의 스텝 S200의 처리는, 도 13의 흐름도에 있어서의 스텝 S26의 처리에 대응한다. 스텝 S200에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 타깃 영역에 있어서의 속도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S201에서, 진동 분포 생성부(125)는, 이 속도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 다음의 스텝 S202에서, 진동 분포 생성부(125)는, 점군 프레임으로부터 속도 점군을 추출한다. 스텝 S02에서 추출되는 속도 점군은, 3D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 속도 점군을 기억부(126a)에 기억시켜도 된다.
다음의 스텝 S203에서, 진동 분포 생성부(125)는, 깊이 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S203, 「"아니오"」), 처리를 스텝 S200으로 복귀시켜, 다음의 점군 프레임을 취득하고, 취득한 점군 프레임에 대한 측정을 실행(스텝 S201, 스텝 S202)한다.
한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S203, 「"예"」), 처리를 스텝 S204로 이행시킨다.
스텝 S204에서, 진동 분포 생성부(125)는, 스텝 S203까지의 처리에서 취득된 속도 점군에 기초하여, 예를 들어 도 2 및 도 3을 사용하여 설명한 방법에 의해, 깊이 방향의 진동 분포와, 시야 방향의 진동 분포를 산출한다.
이어서, 스텝 S210 내지 스텝 S214의, 휘도 점군을 사용한 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.
도 15에 있어서의 스텝 S210의 처리는, 도 13의 흐름도에 있어서의 스텝 S26의 처리에 대응한다. 스텝 S210에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 타깃 영역에 있어서의 휘도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S211에서, 진동 분포 생성부(125)는, 이 휘도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다.
다음의 스텝 S212에서, 진동 분포 생성부(125)는, 점군 프레임으로부터 휘도 점군을 추출한다. 진동 분포 생성부(125)는, 휘도 점군에 의한 점군 프레임으로부터, 2D 정보를 추출한다. 예를 들어, 진동 분포 생성부(125)는, 당해 점군 프레임에 포함되는 각 점의 정보를, 시야 방향의 면에 투영한다. 따라서, 스텝 S212에서 추출되는 휘도 점군은 2D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 2D 정보를 기억부(126a)에 기억시켜도 된다.
다음의 스텝 S213에서, 진동 분포 생성부(125)는, 시야 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S213, 「"아니오"」), 처리를 스텝 S200으로 복귀시켜, 다음의 점군 프레임을 취득하고, 취득한 점군 프레임에 대한 측정을 실행(스텝 S211, 스텝 S212)한다.
한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S213, 「"예"」), 처리를 스텝 S214로 이행시킨다.
스텝 S214에서, 진동 분포 생성부(125)는, 스텝 S213까지의 처리에서 취득된, 각각 2D 정보인 복수 프레임분의 휘도 점군에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.
진동 분포 생성부(125)는, 스텝 S204 및 스텝 S214의 처리 종료 후, 처리를 스텝 S220으로 이행시킨다. 스텝 S220에서, 진동 분포 생성부(125)는, 스텝 S204에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S214에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 대하여 출력한다.
또한, 도 11의 흐름도와 마찬가지로, 도 15의 흐름도에서는, 스텝 S200 내지 스텝 S204의 처리와, 스텝 S210 내지 스텝 S214의 처리는, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214의 처리를 동기시켜 실행해도 된다. 또한, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214를, 공통의 주사 범위에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S203 및 스텝 S213에 있어서 판정되는 소정수는, 스텝 S201 및 스텝 S213에서 동일한 수가 된다.
이와 같이, 제2 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11a)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 이때, 제2 실시 형태에서는, 광 검출 측거부(11a)의 전 영역에 대한 주사 범위(40)에 대하여 좁은 범위를 타깃 영역으로 하고, 타깃 영역에 대한 조작을, 주사 범위(40)에 대한 주사에 대하여 고밀도로 실행한다. 그 때문에, 타깃 영역 내의 진동 분포를 더 고정밀도로 계측하는 것이 가능하여, 계측된 진동 분포에 기초하는 대상물의 이상 검지를 더 고정밀도로 실행할 수 있다.
(5. 제3 실시 형태)
이어서, 본 개시의 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 상술한 제2 실시 형태에 관한 센서 유닛(10a)에 있어서, 광 검출 측거부(11a)에 더하여 촬상 장치를 마련하여, 광 검출 측거부(11a)에 의해 취득한 점군과, 촬상 장치에 의해 촬상한 촬상 화상을 사용하여 물체 인식을 행하여, 인식 정보를 얻도록 한 예이다.
R(적색), G(녹색), B(청색)의 각 색의 정보를 갖는 촬상 화상을 취득 가능한 촬상 장치는, 일반적으로, FMCW-LiDAR에 의한 광 검출 측거부(11a)와 비교하여, 해상도가 훨씬 높다. 따라서, 광 검출 측거부(11a)와 촬상 장치를 사용하여 인식 처리를 행함으로써, 광 검출 측거부(11a)에 의한 점군 정보만을 사용하여 검출, 인식 처리를 행하는 경우에 비해, 더 고정밀도로 검출, 인식 처리를 실행하는 것이 가능해진다.
도 16은, 제3 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다. 또한, 이하에 있어서, 상술한 도 12와 공통되는 부분에 대해서는, 상세한 설명을 생략한다.
도 16에 있어서, 제3 실시 형태에 관한 센싱 시스템(1c)은, 센서 유닛(10b)과 신호 처리부(12c)와 이상 검지부(20a)를 포함한다.
센서 유닛(10b)은, 광 검출 측거부(11a)와 카메라(13)를 포함한다. 카메라(13)는, 상술한 RGB 각 색의 정보(이하, 적절히, 색정보라고 칭함)를 갖는 촬상 화상을 취득 가능한 이미지 센서를 포함하는 촬상 장치이며, 외부로부터 공급되는 화각 제어 신호에 따라, 화각 및 전 화각에 있어서의 촬상 범위를 제어 가능하게 되어 있다.
이미지 센서는, 예를 들어 각각 수광한 광에 따른 신호를 출력하는 화소가 2차원 격자 형상으로 나열되는 화소 어레이와, 당해 화소 어레이에 포함되는 각 화소를 구동하기 위한 구동 회로를 포함한다. 또한, 카메라(13)는, 예를 들어 줌 기구 및 촬상 방향 제어 기구를 포함하고, 화각 제어 신호에 따라, 화각이나 촬상 방향을 변경하여, 소정의 제한 내에 있어서 원하는 피사체를 확대하여 촬상하는 것이 가능하게 되어 있다. 이들 줌 기구 및 촬상 방향 제어 기구는, 광학적인 것이어도 되고, 전자적인 것이어도 된다.
도 16에 있어서, 신호 처리부(12c)는, 점군 합성부(160)와, 3D 물체 검출부(121a)와, 3D 물체 인식부(122a)와, 화상 합성부(150)와, 2D(TwoDimensions) 물체 검출부(151)와, 2D 물체 인식부(152)와, I/F부(123a)를 포함한다.
점군 합성부(160), 3D 물체 검출부(121a) 및 3D 물체 인식부(122a)는, 점군 정보에 관한 처리를 행한다. 또한, 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)는, 촬상 화상에 관한 처리를 행한다.
점군 합성부(160)는, 광 검출 측거부(11a)로부터 점군을 취득하고, 카메라(13)로부터 촬상 화상을 취득한다. 점군 합성부(160)는, 점군과 촬상 화상에 기초하여, 색정보나 그밖의 정보를 조합하여, 점군의 각 계측점에 대하여 새로운 정보 등을 추가한 점군인 합성 점군을 생성한다.
더 구체적으로는, 점군 합성부(160)는, 점군에 있어서의 각 계측점의 각도 좌표에 대응하는 촬상 화상의 화소를, 좌표계 변환에 의해 참조하고, 각 계측점에 대하여, 그 점을 대표하는 색정보를 취득한다. 계측점은, 도 6을 사용하여 설명한 각 포인트 2201, 2202, 2203, …에 대하여 반사광이 수신된 포인트에 대응한다. 점군 합성부(160)는, 취득한 각 계측점의 각 색정보를, 각 계측점의 계측 정보에 부가한다. 점군 합성부(160)는, 각 계측점이 3D 좌표 정보, 속도 정보, 휘도 정보 및 색정보를 갖는 합성 점군을 출력한다.
또한, 점군과 촬상 화상 사이의 좌표계 변환은, 예를 들어 미리 광 검출 측거부(11a) 및 카메라(13)의 위치 관계에 기초한 교정 처리를 행하고, 이 교정 결과를, 속도 점군의 각도 좌표와, 촬상 화상에 있어서의 화소의 좌표에 반영한 후에, 실행하는 것이 바람직하다.
3D 물체 검출부(121a)는, 점군 합성부(160)로부터 출력된 합성 점군을 취득하여, 취득한 합성 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다. 3D 물체 검출부(121a)는, 합성 점군으로부터 검출한 3D 물체를 나타내는 계측점에 의한 점군을, 국재 점군으로서 추출한다. 3D 물체 검출부(121a)에 의한 국재 점군의 추출 처리 및 영역 정보의 생성 처리는, 도 8을 사용하여 설명한 3D 물체 검출부(121)에 있어서의 각 처리와 동등하므로, 여기서의 상세한 설명을 생략한다.
3D 물체 검출부(121a)는, 국재 점군과, 당해 국재 점군에 관한 3D 좌표와, 속도 정보와, 휘도 정보를 3D 검출 결과를 나타내는 3D 검출 정보로서 출력한다. 3D 검출 정보는, 3D 물체 인식부(122a) 및 후술하는 2D 물체 검출부(151)에 공급된다. 이때, 3D 물체 검출부(121a)는, 검출된 국재 점군의 영역에, 당해 국재 점군에 대응하는 3D 물체를 나타내는 라벨 정보를 부가하고, 부가한 라벨 정보를 3D 검출 결과에 포함시켜도 된다.
3D 물체 인식부(122a)는, 3D 물체 검출부(121a)로부터 출력된 3D 검출 정보를 취득한다. 또한, 3D 물체 인식부(122a)는, 후술하는 2D 물체 인식부(152)로부터 출력된 영역 정보 및 속성 정보를 취득한다. 3D 물체 인식부(122a)는, 취득한 3D 검출 정보와, 2D 물체 인식부(152)로부터 취득한 영역 정보에 기초하여, 국재 점군에 대한 물체 인식을 행한다.
3D 물체 인식부(122a)는, 3D 검출 정보와 영역 정보에 기초하여, 국재 점군에 포함되는 점의 수가, 대상 물체의 인식에 이용할 수 있는 소정수 이상인 경우에, 그 국재 속도 점군에 대하여 점군 인식 처리를 행한다. 3D 물체 인식부(122a)는, 이 점군 인식 처리에 의해, 인식된 물체에 관한 속성 정보를 추정한다. 이하에서는, 점군에 기초하는 속성 정보를, 3D 속성 정보라고 칭한다.
3D 물체 인식부(122a)는, 광 검출 측거부(11a)로부터 출력된 점군 중 3D 물체에 대응하는 국재 점군에 대하여, 물체 인식 처리를 실행해도 된다. 예를 들어, 3D 물체 인식부(122a)는, 광 검출 측거부(11a)로부터 출력된 점군 중 국재 점군 이외의 부분의 점군을 제거하여, 당해 부분에 대해서는 물체 인식 처리를 실행하지 않도록 할 수 있다. 이에 의해, 3D 물체 인식부(122a)에 의한 인식 처리의 부하를 삭감하는 것이 가능하다.
3D 물체 인식부(122a)는, 추정된 3D 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 계측을 행한 시각을 나타내는 시각 정보와, 3D 영역 정보와, 3D 속성 정보를 통합하여, 3D 인식 정보로서 출력한다.
또한, 속성 정보는, 인식 처리의 결과, 점군의 점이나 화상의 화소마다, 그 단위가 속하는 대상 물체의 종별이나 고유 분류 등의 대상 물체의 속성을 나타내는 정보이다. 3D 속성 정보는, 대상 물체가 사람이라면, 예를 들어 점군의 각 점에 대하여 부여된, 그 사람에 속하는 고유 수치로서 표현할 수 있다.
화상 합성부(150)는, 광 검출 측거부(11a)로부터 속도 점군을 취득하고, 카메라(13)로부터 촬상 화상을 취득한다. 화상 합성부(150)는, 속도 점군과 촬상 화상에 기초하여, 거리 화상 및 속도 화상을 생성한다. 거리 화상은, 계측점으로부터의 거리를 나타내는 정보를 포함하는 화상이다. 또한, 속도 화상은, 도플러 효과에 의한 화상이며, 예를 들어 계측점에 대한 속도 및 속도의 방향을 나타내는 정보를 포함한다.
화상 합성부(150)는, 거리 화상 및 속도 화상과, 촬상 화상을, 좌표계 변환에 의해 좌표를 일치시키면서 합성하고, RGB 화상에 의한 합성 화상을 생성한다. 여기서 생성된 합성 화상은, 각 화소가 색, 거리 및 속도의 정보를 갖는 화상이다. 또한, 거리 화상 및 속도 화상은, 카메라(13)로부터 출력되는 촬상 화상보다도 해상도가 낮다. 그 때문에, 화상 합성부(150)는, 거리 화상 및 속도 화상에 대하여 업 스케일링 등의 처리에 의해, 해상도를 촬상 화상에 일치시켜도 된다.
화상 합성부(150)는, 생성한 합성 화상을 출력한다. 또한, 합성 화상은, 거리, 속도나 그밖의 정보를 조합하여, 화상의 각 화소에 대하여 새로운 정보를 추가한 화상을 가리킨다. 합성 화상은, 각각 화소마다의 2D 좌표 정보와, 색정보와, 거리 정보와, 속도 정보와, 휘도 정보를 포함한다. 합성 화상은, 2D 물체 검출부(151) 및 I/F부(123a)에 공급된다.
2D 물체 검출부(151)는, 3D 물체 검출부(121a)로부터 출력된 3D 영역 정보에 기초하여, 화상 합성부(150)로부터 공급된 합성 화상으로부터 당해 3D 영역 정보에 대응하는 부분 화상을 추출한다. 또한, 2D 물체 검출부(151)는, 추출한 부분 화상으로부터 물체를 검출하여, 검출된 물체를 포함하는 예를 들어 최소 면적의 직사각형 영역을 나타내는 영역 정보를 생성한다. 이, 촬상 화상에 기초하는 영역 정보를, 2D 영역 정보라고 칭한다. 2D 영역 정보는, 광 검출 측거부(11a)에 의한 계측점이나 화소마다 부여된 값이 지정의 범위에 들어가는 점이나 화소의 집합으로서 표현된다.
2D 물체 검출부(151)는, 생성된 부분 화상과 2D 영역 정보를, 2D 검출 정보로서 출력한다.
2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 출력된 2D 검출 정보에 포함되는 부분 화상을 취득하고, 취득한 부분 화상에 대하여, 추론 처리 등의 화상 인식 처리를 행하여, 당해 부분 화상에 관한 속성 정보를 추정한다. 이 경우, 속성 정보는, 예를 들어 대상이 차량인 경우, 화상의 각 화소에 대하여 부여된 차량에 속하는 것을 나타내는 고유 수치로서 표현된다. 이하에는, 부분 화상(촬상 화상)에 기초하는 속성 정보를, 2D 속성 정보라고 칭한다.
2D 물체 인식부(152)는, 추정한 2D 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 각각 화소마다의 2D 좌표 정보, 속도 정보, 속성 정보 및 신뢰도와, 2D 크기 정보를 통합하여, 2D 인식 정보로서 출력한다. 또한, 2D 물체 인식부(152)는, 추정한 2D 속성 정보의 신뢰도가 일정 미만인 경우, 속성 정보를 제외한 각 정보를 통합하여 출력해도 된다.
I/F부(123a)는, 점군 합성부(160)로부터 출력된 합성 점군과, 3D 물체 인식부(122a)로부터 출력된 3D 인식 정보가 입력된다. 또한, I/F부(123a)는, 화상 합성부(150)로부터 출력된 합성 화상과, 2D 물체 인식부(152)로부터 출력된 2D 인식 정보가 입력된다. I/F부(123a)는, 예를 들어 외부로부터의 설정에 따라, 입력된 합성 점군, 3D 인식 정보, 합성 화상 및 2D 인식 정보로부터, 출력할 정보를 선택한다.
국소 주사 제어부(170)는, 도 12에 있어서의 국소 주사 제어부(170)와 마찬가지로, 타깃 영역 설정 정보와, 3D 물체 인식부(122a)로부터 출력되는 3D 인식 정보에 기초하여, 광 검출 측거부(11a)에 의한 전역의 주사 범위(40)에 대하여 좁은 주사 범위인 타깃 영역을, 주사 범위(40) 내로 설정한다. 국소 주사 제어부(170)는, 설정한 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 출력한다.
화각 제어부(171)는, 타깃 영역 설정 정보와, 2D 물체 인식부로부터 출력되는 2D 인식 정보에 기초하여, 카메라(13)에 의한 전 화각(전 촬상 범위)에 대하여 좁은 화각인 타깃 영역을, 당해 전 화각에 대하여 설정한다. 여기서, 화각 제어부(171)와 국소 주사 제어부(170)에, 공통의 타깃 영역 설정 정보가 입력된다. 따라서, 화각 제어부(171)에 의해 설정되는 타깃 영역은, 국소 주사 제어부(170)에 의해 설정되는 타깃 영역과 대응하는 위치 및 크기로 된다.
I/F부(123a)는, 점군 합성부(160)로부터 출력된 합성 점군과, 3D 물체 인식부(122a)로부터 출력된 3D 인식 정보가 입력된다. 또한, I/F부(123a)는, 화상 합성부(150)로부터 출력된 합성 화상과, 2D 물체 인식부(152)로부터 출력된 2D 인식 정보가 입력된다.
I/F부(123a)는, 점군 합성부(160)로부터 공급된 전 영역의 합성 점군과, 화상 합성부(150)로부터 공급된 전 영역의 합성 화상을, 이상 검지부(20a)에 대하여 출력한다. 또한, I/F부(123a)는, 전 영역의 합성 점군과, 전 영역의 합성 화상과, 3D 물체 인식부(122a)로부터 공급된 3D 인식 정보와, 2D 물체 인식부(152)로부터 공급된 2D 인식 정보를, 진동 분포 생성부(125a)에 대하여 출력한다.
진동 분포 생성부(125a)는, I/F부(123a)로부터 공급된 전 영역의 합성 점군과, 전 영역의 합성 화상과, 3D 인식 정보와, 2D 인식 정보에 기초하여, 대상물(50)에 있어서의 진동의 분포를 추측하여, 진동 분포 정보를 생성한다. 진동 분포 생성부(125a)는, 공급된 각 정보(전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보)와, 기억부(126a)에 기억되는, 과거의 당해 각 정보를 사용하여 대상물(50)의 진동 분포를 추측해도 된다.
진동 분포 생성부(125a)는, 추측한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20a)에 공급한다. 또한, 진동 분포 생성부(125a)는, 전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보를, 과거의 정보로서, 기억부(126a)에 대하여 축적적으로 기억한다.
또한, 진동 분포 생성부(125a)는, I/F부(123a)로부터 공급된 전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보에 기초하여, 유저에게 제시하는 화상을 표시시키기 위한 표시 제어 정보를 생성할 수 있다.
이상 검지부(20a)는, 신호 처리부(12c)로부터 공급된 각각 전역의 합성 점군 및 합성 화상과, 진동 분포 정보에 기초하여, 대상물(50)의 이상을 검지한다. 예를 들어, 이상 검지부(20a)는, 진동 분포 정보에 기초하여 평가값을 생성하고, 생성한 평가값에 대하여 역치 판정을 행함으로써, 대상물(50)에 있어서의 이상의 유무를 판정해도 된다. 이상 검지부(20a)는, 대상물(50)에 대한 이상의 검지 결과를, 예를 들어 외부에 출력한다.
도 17은, 제3 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 18은, 제3 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다. 또한, 도 17의 설명에 있어서, 상술한 도 13의 흐름도와 공통되는 부분은, 적절히, 설명을 생략한다.
도 17에 있어서, 스텝 S40에서, 센싱 시스템(1c)은, 센서 유닛(10b)의 광 검출 측거부(11a)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 또한, 스텝 S40에서, 센싱 시스템(1c)은, 카메라(13)에 의해 주사 범위(40)와 대응하는 촬상 범위에서 촬상을 행하여, 촬상 화상을 취득한다.
다음의 스텝 S41에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S40에 있어서 카메라(13)에 의해 촬상된 촬상 화상에 기초하여 주사 범위(40)에 관한 2D 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 카메라(13)에 의해 취득되는 촬상 화상은, RGB 각 색에 의한 색정보를 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은, 컬러의 화상이다. 또한, 일반적으로, 카메라(13)에 의한 촬상 화상은, 광 검출 측거부(11a)에 의해 취득되는 점군에 비해 훨씬 고해상도이고, 당해 2D 화상도, 고해상도의 화상이 된다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.
다음의 스텝 S42에서, 센싱 시스템(1c)은, 스텝 S40에서 취득되어 주사 범위(40)에 대하여 ROI가 설정되었는지 여부를 판정한다. ROI는, 예를 들어 도 13의 흐름도의 스텝 S22에서 설명한 바와 같이, 유저 조작에 따라 설정해도 된다. 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S42, 「"아니오"」), 처리를 스텝 S42로 복귀시킨다. 한편, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, ROI 설정되었다고 판정한 경우(스텝 S42, 「"예"」), 처리를 스텝 S43으로 이행시킨다.
도 18의 좌측 상단에 나타나는 화상(500a)은, 직사각형에 의해 ROI(501)가 설정된 2D 화상의 예를 나타내고 있다. 화상(500a)은, 카메라(13)에 의해 촬상된 촬상 화상에 기초하는 2D 화상이다. 그 때문에, 화상(500a)은, 카메라(13)에 있어서의 화소 배열에 따른 해상도를 갖는다.
스텝 S43에서, 센싱 시스템(1c)은, 광 검출 측거부(11a)에 의해, ROI(501)를 주사한다. 더 구체적으로는, 센싱 시스템(1c)은, 국소 주사 제어부(170)에 의해 ROI(501)를 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, ROI(501)를 주사한다. 도 13의 스텝 S23에서 설명한 바와 같이, 스텝 S43에 있어서, 광 검출 측거부(11a)는, ROI(501)의 주사를, 스텝 S40에 있어서의 전 영역의 주사에 대하여, 더 고밀도로 행할 수 있어, 더 고해상도로 점군을 취득할 수 있다.
다음의 스텝 S44에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S43의 ROI의 주사로 취득된 점군에 기초하여, ROI(501)의 화상을 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 여기서 표시되는 화상은, 점군 합성부(160)에 의해 촬상 화상과 점군이 합성된 합성 점군에 기초하는 화상이다. 따라서, 스텝 S44에서 표시되는 ROI(501)의 화상은, 예를 들어 도 13의 스텝 S24에 있어서 표시되는 ROI(401)의 화상과 비교하여, 고해상도의 화상이 된다. 진동 분포 생성부(125a)는, 3D 표시 모드에서는, 3D 물체 인식부(122a)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(501)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.
도 18의 우측 상단에 나타나는 화상(500b)은, 동도 좌측 상단의 화상(500a)에 있어서의 ROI(501)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(500b)의 예에서는, 3D 인식 정보에 기초하여 타깃 후보로서 추출된 각 영역(510a 내지 510e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(510a 내지 510e)은, 예를 들어 3D 물체 인식부(122a)에 의해, ROI(501) 내에 있어서 다른 부위라고 인식된 것이다.
도 17에 있어서, 다음의 스텝 S45에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S44에서 타깃 후보로서 제시된 각 영역(510a 내지 510e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.
예를 들어, 센싱 시스템(1c)은, 스텝 S44에서 표시부(1013)에 의해 표시된 화상(500b)에 대한 유저 조작에 따라, 각 영역(510a 내지 510e)으로부터, 진동 분포 검출의 대상이 되는 타깃을 선택한다. 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 타깃이 설정되어 있지 않다고 판정한 경우(스텝 S45, 「"아니오"」), 처리를 스텝 S45로 복귀시킨다. 한편, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 타깃이 선택되었다고 판정한 경우(스텝 S45, 「"예"」), 처리를 스텝 S46으로 이행시킨다.
도 18의 좌측 하단에 나타나는 화상(500c)은, 스텝 S45에서 각 타깃 후보로부터 영역(510b)이 타깃으로서 선택된 경우의 예를 나타내고 있다. 또한, 타깃으로서 복수의 영역을 선택하는 것도 가능하다.
다음의 스텝 S46에서, 센싱 시스템(1c)은, 광 검출 측거부(11a)에 의해, 스텝 S45에서 선택된 타깃 영역(이 예에서는 영역(510b))을 주사한다.
더 구체적으로는, 센싱 시스템(1c)은, 국소 주사 제어부(170)에 의해 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, 타깃 영역을 주사한다. 또한, 센싱 시스템(1c)은, 화각 제어부(171)에 의해 타깃 영역을 촬상 범위로 하기 위한 화각 제어 신호를 생성하여, 카메라(13)에 대하여 출력한다. 화각 제어 신호는, 예를 들어 촬상을 행하는 화각을 타깃 영역에 대응하는 화각으로 변경하기 위한 줌 제어 정보나, 당해 타깃 영역의 방향을 촬상하기 위한 촬상 방향 제어 정보를 포함한다.
도 13의 스텝 S26에서의 설명과 마찬가지로, 스텝 S46에 있어서, 광 검출 측거부(11a)는, 타깃 영역의 주사를, 스텝 S40에 있어서의 전 영역의 주사나, 스텝 S43에 있어서의 ROI(501)의 주사에 대하여, 더 고밀도로 행할 수 있다. 따라서, 전 영역에 대한 주사나 ROI(501)에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.
또한, 카메라(13)는, 예를 들어 광학적인 줌 동작을 행함으로써, 타깃 영역을, 카메라(13)가 갖는 해상도로 촬상할 수 있다. 또한, 카메라(13)의 해상도가 충분히 높으면, 줌 동작이 전자적으로 행해지는 경우(예를 들어, 화상 처리에 의한 확대)라도, 점군과 비교하여 고해상도로 타깃 영역의 촬상을 행하는 것이 가능하다.
다음의 스텝 S47에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S46에서 주사 및 촬상된 타깃 영역(이 예에서는 영역(510b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125a)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.
도 18의 우측 하단에 나타나는 화상(500d)은, 진동 분포 생성부(125a)에 의해 생성된, 타깃 영역(이 예에서는 영역(510b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(500d)에 있어서, 타깃 영역인 영역(510b)이 진동의 정도에 따라 영역(520a 내지 520d)으로 구분되어, 영역(510b)에 있어서의 진동 분포가 나타나 있다.
다음의 스텝 S48에서, 센싱 시스템(1c)은, 이상 검지부(20a)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125a)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125a)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.
센싱 시스템(1c)은, 이상 검지부(20a)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S48, 「"예"」), 처리를 스텝 S49로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1c)은, 이상 검지부(20a)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S48, 「"아니오"」), 처리를 스텝 S50으로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.
스텝 S49 또는 스텝 S50의 처리 후, 도 17의 흐름도에 의한 일련의 처리가 종료된다.
도 19는, 제3 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 19에 나타내는 흐름도는, 상술한 도 17에 있어서의 스텝 S46 및 스텝 S47의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125a)에 있어서 실행된다. 또한, 도 19의 설명에 있어서, 상술한 도 15의 흐름도와 공통되는 부분은 적절히 설명을 생략한다.
도 19에 있어서, 좌측의 스텝 S200 내지 스텝 S204의 처리는, 속도 점군을 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 중앙의 스텝 S210 내지 스텝 S214 처리 및 좌측의 스텝 S410 내지 스텝 S414의 처리는, 각각, 휘도 정보를 사용하여 시야 방향의 진동 분포를 계측하는 처리이다. 여기서, 스텝 S210 내지 스텝 S214의 처리는, 광 검출 측거부(11a)에 의해 취득된 휘도 점군에 기초하는 처리이고, 스텝 S410 내지 스텝 S414의 처리는, 카메라(13)에 의해 취득된 촬상 화상에 기초하는 처리이다.
또한, 스텝 S200 내지 스텝 S204의 처리 및 스텝 S210 내지 스텝 S214의 처리는, 도 15에서 설명한 스텝 S200 내지 스텝 S214의 처리 및 스텝 S210 내지 스텝 S214의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 여기서, 도 19에 있어서의 스텝 S200 및 스텝 S210의 처리, 그리고 스텝 S410의 처리는, 각각 도 17의 흐름도에 있어서의 스텝 S46의 처리에 대응한다.
도 19의 흐름도에 의한 처리가 개시되면, 진동 분포 생성부(125a)는, 스텝 S200 내지 스텝 S204의 처리를 실행한다. 그것과 함께, 진동 분포 생성부(125a)는, 스텝 S400에서, 광 검출 측거부(11a)에 의해 취득된 점군의 해상도와, 카메라(13)에 의해 취득된 촬상 화상의 해상도에 따라, 처리를 스텝 S210 내지 스텝 S214의 처리와, 스텝 S410 내지 스텝 S414의 처리로 분기시킨다.
즉, 일반적으로는 카메라(13)의 쪽이 광 검출 측거부(11a)보다도 해상도가 높지만, 도 17의 흐름도의 스텝 S45에 있어서 설정된 타깃 영역에 따라서는, 광 검출 측거부(11a)의 해상도가 카메라(13)의 해상도보다도 높아지는 경우가 있을 수 있다. 예를 들어, 타깃 영역을 매우 작은 범위로 좁힌 경우, 광 검출 측거부(11a)에 의해 취득되는 점군의 해상도가, 카메라(13)에 의해 취득되는 촬상 화상의 해상도보다도 높아질 가능성이 있다. 또한, 광 검출 측거부(11a)나 카메라(13)의 사양에 따라서도, 광 검출 측거부(11a)의 해상도와 카메라(13)의 해상도의 관계가 바뀔 가능성도 있다.
진동 분포 생성부(125a)는, 점군의 해상도가 촬상 화상의 해상도보다도 높은 경우(스텝 S400, 「"예"」), 처리를 스텝 S210으로 이행시킨다. 한편, 진동 분포 생성부(125a)는, 점군의 해상도가 촬상 화상의 해상도 이하인 경우(스텝 S400, 「"아니오"」), 처리를 스텝 S410으로 이행시킨다.
스텝 S410에서, 진동 분포 생성부(125a)는, 카메라(13)로부터 출력된 타깃 영역의 촬상 화상에 의한 화상 프레임을 취득한다. 다음의 스텝 S411에서, 진동 분포 생성부(125a)는, 타깃 영역의 화상 프레임에 대한 2D 물체 인식부(152)에 의한 인식 처리에 의해 얻어진 2D 인식 정보를 취득한다. 다음의 스텝 S412에서, 진동 분포 생성부(125a)는, 스텝 S410에서 취득한 촬상 화상으로부터 타깃 영역의 화상을 추출한다. 진동 분포 생성부(125a)는, 추출한 타깃 영역의 화상을 기억부(126a)에 기억시켜도 된다.
다음의 스텝 S413에서, 진동 분포 생성부(125a)는, 시야 방향의 진동 검출에 필요한 소정수의 화상 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125a)는, 소정수의 화상 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S413, 「"아니오"」), 처리를 스텝 S400으로 복귀시켜, 다음의 화상 프레임을 취득하고, 취득한 화상 프레임에 대한 측정을 실행(스텝 S411, 스텝 S412)한다.
한편, 진동 분포 생성부(125a)는, 소정수의 화상 프레임의 측정을 실행하였다고 판정한 경우(스텝 S413, 「"예"」), 처리를 스텝 S414로 이행시킨다.
스텝 S414에서, 진동 분포 생성부(125a)는, 스텝 S413까지의 처리에서 취득된 복수 프레임분의 화상 프레임에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.
진동 분포 생성부(125a)는, 스텝 S204 및 스텝 S214의 처리의 종료 후, 혹은 스텝 S204 및 스텝 S414의 처리의 종료 후, 처리를 스텝 S420으로 이행시킨다. 스텝 S420에서, 진동 분포 생성부(125a)는, 스텝 S204에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S214 또는 스텝 S414에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20a)에 대하여 출력한다.
또한, 도 11의 흐름도와 마찬가지로, 도 19의 흐름도에서는, 스텝 S200 내지 스텝 S204의 처리와, 스텝 S210 내지 스텝 S214의 처리 또는 스텝 S410 내지 스텝 S414의 처리를, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214 또는 스텝 S410 내지 스텝 S414의 처리를 동기시켜 실행해도 된다. 또한, 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214를, 공통의 주사 범위에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S203 및 스텝 S213에 있어서 판정되는 소정수는, 스텝 S201 및 스텝 S213에서 동일한 수가 된다.
이와 같이, 제3 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11a)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 이때, 제3 실시 형태에서는, 광 검출 측거부(11a)의 전 영역에 대한 주사 범위(40)에 대하여 좁은 범위를 타깃 영역으로 하여, 타깃 영역에 대한 조작을, 주사 범위(40)에 대한 주사에 대하여 고밀도로 실행한다.
제3 실시 형태에서는, 또한, 카메라(13)를 사용하여 RGB 각 색의 색정보를 갖는 촬상 화상을 취득하고 있기 때문에, 광 검출 측거부(11a)가 출력하는 점군에 기초하는 화상의 컬러화가 가능해져, 유저에 의한 타깃 영역의 선택을 더 용이하게 할 수 있다. 또한, 일반적으로, 카메라(13)로부터 출력된 촬상 화상은, 광 검출 측거부(11a)로부터 출력되는 점군에 비해 해상도가 높기 때문에, 타깃 영역 내의 진동 분포를 더 고정밀도로 계측하는 것이 가능하여, 계측된 진동 분포에 기초하는 대상물의 이상 검지를 더 고정밀도로 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
를 구비하는,
정보 처리 장치.
(2)
상기 광 송신부에 의한 광의 주사 범위를 제어하는 주사 제어 신호를 생성하는 주사 제어부를 더 구비하고,
상기 검지부는,
상기 주사 제어 신호에 의해 제어된 상기 주사 범위로부터 취득한 상기 점군에 기초하여 상기 생성부에 의해 생성된 상기 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보를 생성하는,
상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 점군은, 상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보를 더 포함하고,
상기 생성부는,
상기 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하고, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보를 생성하고,
상기 검지부는,
상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와 상기 제2 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보를 더 생성하고,
상기 검지부는,
상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
상기 (4)에 기재된 정보 처리 장치.
(6)
상기 제1 인식부는,
상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 대상 영역에 포함되는 점군에 기초하여, 상기 인식 처리를 행하는,
상기 (1) 내지 (5)의 어느 것에 기재된 정보 처리 장치.
(7)
상기 대상 영역은,
상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 주목 영역에 기초하여 설정되는,
상기 (6)에 기재된 정보 처리 장치.
(8)
수신한 광에 기초하여 색정보를 포함하는 촬상 화상을 출력하는 이미지 센서에 의해 출력된 상기 촬상 화상에 기초하는 인식 처리를 행하여, 대상물의 2차원 인식 정보를 출력하는 제2 인식부를 더 구비하고,
상기 생성부는,
상기 속도 정보와, 상기 촬상 화상과, 상기 3차원 인식 정보와, 상기 2차원 인식 정보에 기초하여 상기 대상물의 상기 진동 분포 정보를 생성하는,
상기 (1) 내지 (7)의 어느 것에 기재된 정보 처리 장치.
(9)
상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보와;
상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보와;
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보와;
상기 제2 인식부에 의해 출력된 상기 2차원 인식 정보에 기초하여, 상기 시야 방향의 진동의 분포를 나타내는 제4 진동 분포 정보
를 생성하고,
상기 검지부는,
상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보와, 상기 제4 진동 분포 정보를 사용하여 상기 대상물의 이상 검지를 행하는,
상기 (8)에 기재된 정보 처리 장치.
(10)
상기 생성부는,
상기 광 검출 측거부로부터 출력된 점군의 해상도와 상기 이미지 센서로부터 출력된 화상의 해상도에 기초하여, 상기 제2 진동 분포 정보와 상기 제4 진동 분포 정보 중, 어느 것을 상기 시야 방향의 진동 분포 정보로서 사용할지를 선택하는,
상기 (9)에 기재된 정보 처리 장치.
(11)
상기 생성부는,
상기 광 검출 측거부로부터 출력된 점군의 해상도가 상기 이미지 센서로부터 출력된 화상의 해상도보다 높은 경우에, 상기 제2 진동 분포 정보를 선택하고,
상기 이미지 센서로부터 출력된 화상의 해상도가 상기 광 검출 측거부로부터 출력된 점군의 해상도보다 높은 경우에, 상기 제4 진동 분포 정보를 선택하는,
상기 (10)에 기재된 정보 처리 장치.
(12)
상기 제1 인식부 및 상기 제2 인식부는,
상기 이미지 센서에 의해 출력된 상기 촬상 화상에 대하여 설정된 대상 영역에 기초하여, 각각 상기 인식 처리를 행하는,
상기 (8) 내지 (11)의 어느 것에 기재된 정보 처리 장치.
(13)
상기 대상 영역은,
상기 촬상 화상에 대하여 설정된 주목 영역에 기초하여 설정되는,
상기 (12)에 기재된 정보 처리 장치.
(14)
주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝
을 갖는
정보 처리 방법.
(15)
주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와,
상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
를 구비하는,
센싱 시스템.
1, 1a, 1b, 1c: 센싱 시스템
10, 10a: 센서 유닛
11, 11a: 광 검출 측거부
12, 12a, 12b, 12c: 신호 처리부
13: 카메라
20, 20a: 이상 검지부
40: 주사 범위
41: 주사선
50: 대상물
100: 주사부
101: 광 송신부
103: 광 수신부
111: 주사 제어부
112: 각도 검출부
116: 송신광 제어부
117: 수신 신호 처리부
130: 점군 생성부
121, 121a: 3D 물체 검출부
122, 122a: 3D 물체 인식부
123, 123a: 인터페이스부
125, 125a: 진동 분포 생성부
126, 126a: 기억부
151: 2D 물체 검출부
152: 2D 물체 인식부
170: 국소 주사 제어부
171: 화각 제어부
300a, 300b, 300c, 300d, 400a, 400b, 400c, 400d, 500a, 500b, 500c, 500d: 화상
301, 401, 501: ROI
310a, 310b, 310c, 310d, 310e, 320a, 320b, 320c, 320d, 410a, 410b, 410c, 410d, 410e, 420a, 420b, 420c, 420d, 510a, 510b, 510c, 510d, 510e, 520a, 520b, 520c, 520d: 영역

Claims (15)

  1. 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
    상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
    상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
    를 구비하는,
    정보 처리 장치.
  2. 제1항에 있어서, 상기 광 송신부에 의한 광의 주사 범위를 제어하는 주사 제어 신호를 생성하는 주사 제어부를 더 구비하고,
    상기 검지부는,
    상기 주사 제어 신호에 의해 제어된 상기 주사 범위로부터 취득한 상기 점군에 기초하여 상기 생성부에 의해 생성된 상기 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
    정보 처리 장치.
  3. 제1항에 있어서, 상기 생성부는,
    상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보를 생성하는,
    정보 처리 장치.
  4. 제3항에 있어서, 상기 점군은, 상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보를 더 포함하고,
    상기 생성부는,
    상기 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보를 생성하고,
    상기 검지부는,
    상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와 상기 제2 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
    정보 처리 장치.
  5. 제4항에 있어서, 상기 생성부는,
    상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보를 더 생성하고,
    상기 검지부는,
    상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
    정보 처리 장치.
  6. 제1항에 있어서, 상기 제1 인식부는,
    상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 대상 영역에 포함되는 점군에 기초하여, 상기 인식 처리를 행하는,
    정보 처리 장치.
  7. 제6항에 있어서, 상기 대상 영역은,
    상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 주목 영역에 기초하여 설정되는,
    정보 처리 장치.
  8. 제1항에 있어서, 수신한 광에 기초하여 색정보를 포함하는 촬상 화상을 출력하는 이미지 센서에 의해 출력된 상기 촬상 화상에 기초하는 인식 처리를 행하여, 대상물의 2차원 인식 정보를 출력하는 제2 인식부를 더 구비하고,
    상기 생성부는,
    상기 속도 정보와, 상기 촬상 화상과, 상기 3차원 인식 정보와, 상기 2차원 인식 정보에 기초하여 상기 대상물의 상기 진동 분포 정보를 생성하는,
    정보 처리 장치.
  9. 제8항에 있어서, 상기 생성부는,
    상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보와;
    상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보와;
    상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보와;
    상기 제2 인식부에 의해 출력된 상기 2차원 인식 정보에 기초하여, 상기 시야 방향의 진동의 분포를 나타내는 제4 진동 분포 정보
    를 생성하고,
    상기 검지부는,
    상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보와, 상기 제4 진동 분포 정보를 사용하여 상기 대상물의 이상 검지를 행하는,
    정보 처리 장치.
  10. 제9항에 있어서, 상기 생성부는,
    상기 광 검출 측거부로부터 출력된 점군의 해상도와 상기 이미지 센서로부터 출력된 화상의 해상도에 기초하여, 상기 제2 진동 분포 정보와 상기 제4 진동 분포 정보 중, 어느 것을 상기 시야 방향의 진동 분포 정보로서 사용할지를 선택하는,
    정보 처리 장치.
  11. 제10항에 있어서, 상기 생성부는,
    상기 광 검출 측거부로부터 출력된 점군의 해상도가 상기 이미지 센서로부터 출력된 화상의 해상도보다 높은 경우에, 상기 제2 진동 분포 정보를 선택하고,
    상기 이미지 센서로부터 출력된 화상의 해상도가 상기 광 검출 측거부로부터 출력된 점군의 해상도보다 높은 경우에, 상기 제4 진동 분포 정보를 선택하는,
    정보 처리 장치.
  12. 제8항에 있어서, 상기 제1 인식부 및 상기 제2 인식부는,
    상기 이미지 센서에 의해 출력된 상기 촬상 화상에 대하여 설정된 대상 영역에 기초하여, 각각 상기 인식 처리를 행하는,
    정보 처리 장치.
  13. 제12항에 있어서, 상기 대상 영역은,
    상기 촬상 화상에 대하여 설정된 주목 영역에 기초하여 설정되는,
    정보 처리 장치.
  14. 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과,
    상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과,
    상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝
    을 갖는,
    정보 처리 방법.
  15. 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와,
    상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
    상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
    상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
    를 구비하는,
    센싱 시스템.
KR1020237029717A 2021-03-17 2021-12-17 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템 KR20230156697A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163162223P 2021-03-17 2021-03-17
US63/162,223 2021-03-17
PCT/JP2021/046878 WO2022196000A1 (ja) 2021-03-17 2021-12-17 情報処理装置および情報処理方法、ならびに、センシングシステム

Publications (1)

Publication Number Publication Date
KR20230156697A true KR20230156697A (ko) 2023-11-14

Family

ID=83320003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237029717A KR20230156697A (ko) 2021-03-17 2021-12-17 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템

Country Status (6)

Country Link
US (1) US20240133734A1 (ko)
JP (1) JPWO2022196000A1 (ko)
KR (1) KR20230156697A (ko)
CN (1) CN116940823A (ko)
DE (1) DE112021007299T5 (ko)
WO (1) WO2022196000A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019537012A (ja) 2016-11-30 2019-12-19 ブラックモア センサーズ アンド アナリティクス インク． ドップラー検出および光チャープ距離検出のドップラー補正のための方法およびシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209035A (ja) * 1994-01-11 1995-08-11 Toshiba Corp 機器状態監視装置
JPH10221159A (ja) * 1997-02-12 1998-08-21 Toshiba Corp レ−ザドプラ方式振動分布測定装置
JPH10239364A (ja) * 1997-02-24 1998-09-11 Advantest Corp 波動分布観測方法及び波動分布表示方法
JP4584951B2 (ja) * 2007-04-11 2010-11-24 株式会社日立製作所 音源分離装置および音源分離方法
JP6924149B2 (ja) * 2015-01-13 2021-08-25 ディーエスシージー ソルーションズ，インコーポレイテッド マルチビーム距離測定プロセス
US10325169B2 (en) * 2016-10-09 2019-06-18 Airspace Systems, Inc. Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
EP3561464B1 (en) * 2018-04-24 2021-03-24 Tata Consultancy Services Limited Unobtrusive and automated detection of frequencies of spatially located distinct parts of a machine
US11513229B2 (en) * 2019-03-15 2022-11-29 DSCG Solutions, Inc. Multi-beam processing of lidar vibration signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019537012A (ja) 2016-11-30 2019-12-19 ブラックモア センサーズ アンド アナリティクス インク． ドップラー検出および光チャープ距離検出のドップラー補正のための方法およびシステム

Also Published As

Publication number Publication date
JPWO2022196000A1 (ko) 2022-09-22
CN116940823A (zh) 2023-10-24
WO2022196000A1 (ja) 2022-09-22
DE112021007299T5 (de) 2024-02-22
US20240133734A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US10237532B2 (en) Scan colorization with an uncalibrated camera
US9514537B2 (en) System and method for adaptive depth map reconstruction
US10761194B2 (en) Apparatus, method for distance measurement, and non-transitory computer-readable storage medium
KR102240817B1 (ko) 티오에프 카메라에서 깊이 지도 생성 방법
JP6782433B2 (ja) 画像認識装置
JP2010091426A (ja) 距離計測装置及びプログラム
JP2017181291A (ja) 距離測定装置、距離測定方法及びプログラム
EP3552044B1 (en) Time-of-flight imaging apparatus and method
KR100724889B1 (ko) 이동통신 단말기에서 스테레오 영상을 이용한 거리 및3차원 영상 제공 장치 및 방법
CN112602117A (zh) 图像处理装置和三维测量系统
JP3862402B2 (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
KR20230156697A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템
JP6960047B2 (ja) 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体
JP7206726B2 (ja) 計測装置、計測システムおよび車両
KR20230158474A (ko) 센싱 시스템
JP6868167B1 (ja) 撮像装置および撮像処理方法
JP2018101207A (ja) 画像処理装置及び画像処理方法
EP3543741A1 (en) Light modulating lidar system
KR102302424B1 (ko) 오브젝트 인식을 위한 센서 장치
WO2022202536A1 (en) Information processing apparatus and information processing method
JP2018169274A (ja) 画像処理装置、画像処理方法及びプログラム
RU2811331C1 (ru) Устройство формирования изображения карты дальностей до наблюдаемых объектов
JP6868168B1 (ja) 撮像装置および撮像処理方法
JP2010203826A (ja) 測定方法、測定装置、測定制御プログラム
CA3166988A1 (en) Information processing apparatus and method of processing information