KR20190039110A - 검사 장치, 검사 방법, 및 프로그램 - Google Patents

검사 장치, 검사 방법, 및 프로그램 Download PDF

Info

Publication number
KR20190039110A
KR20190039110A KR1020197003298A KR20197003298A KR20190039110A KR 20190039110 A KR20190039110 A KR 20190039110A KR 1020197003298 A KR1020197003298 A KR 1020197003298A KR 20197003298 A KR20197003298 A KR 20197003298A KR 20190039110 A KR20190039110 A KR 20190039110A
Authority
KR
South Korea
Prior art keywords
image
wavelength
pixels
wavelength band
detection
Prior art date
Application number
KR1020197003298A
Other languages
English (en)
Inventor
히토시 미타니
마사후미 와카조노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190039110A publication Critical patent/KR20190039110A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H04N5/3415—
    • H04N9/045—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3148—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using three or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • H04N2005/2255—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Optical Filters (AREA)
  • Polarising Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 이미징 센서, 이미징 방법과 비일시적 컴퓨터 판독 가능 매체를 포함한다. 이미징 센서는 복수의 파장 검출 영역을 포함한다. 복수의 파장 검출 영역은 적어도 제1 파장 검출 영역을 포함한다. 제1 파장 검출 영역은 미리 결정된 제1 파장 대역내에서의 광을 검출하고 미리 결정된 다른 편광 방향의 광을 검출하도록 구성된 복수의 화소를 포함한다.

Description

검사 장치, 검사 방법, 및 프로그램
본 개시는, 검사 장치, 검사 방법, 및 프로그램에 관한 것이다. 특히, 소망한 검사를 양호하게 실시할 수 있도록 한 검사 장치, 검사 방법, 및 프로그램에 관한 것이다.
<관련 출원의 상호 참조>　
본 출원은 2016 년 8 월 17 일자로 출원된 일본 우선권 특허 출원 JP 2016-159854의 이익을 주장하며, 그 전체 내용은 본원에 참조에 의해 삽입된다.
종래, 식물의 분포 상황이나 활성도를 나타내는 지표로서 정규화 식생 지수(NDVI：Normalized Difference Vegetation Index)가 이용되고 있었다.
예를 들면, 원격 센싱이나 정밀 농업의 응용분야에 있어서는, 근적외광 및 적색광의 성분에 대한 분광에 의해 검사 대상물을 촬상함으로써 취득된 이미지를 이용해 농작물의 육성 상태를 검사하는 것이 행하여지고 있다. 또는, 여러가지 편광 필터가 화소마다 배치되도록 구성된 편광 이미저를 이용하여, 편광 방향에 따른 특성을 가지는 이미지를 취득할 수가 있다. 또한 편광 이미저는, 수광면 내의 화소를 복수의 편광 방향에 따라 나누며, 편광 방향마다의 이미지를 생성하도록 구성된다. 따라서, 해상도가 저하(예를 들면, 4개의 편광 방향을 사용할 경우, 해상도가 1/4로 저하) 된다.
예를 들면, 특허 문헌 1에는, 편광자(화소마다의 편광 필터)가 어레이 형태로 배치된 편광자 어레이를, 액추에이터에 의해 픽셀 단위로 시프트 시켜 복수매의 이미지를 촬상해, 그러한 이미지를 처리함으로써 해상도를 유지하는 이미징 장치가 개시되고 있다.
일본특허 제4932978호
일반적으로, 이동하면서 연속적으로 촬상한 복수매의 이미지를 스티칭함으로써, 광범위한 이미지를 고해상도로 취득하는 수법(이미지 스티칭이라고 칭해진다)이 알려져 있다. 그렇지만, 복수매의 이미지를 스티칭하여 광범위한 이미지를 취득하는 수법과, 상술한 특허 문헌 1에 개시된 촬상 장치를 사용하여 해상도의 유지를 꾀하는 수법을 양립시키는 것은 곤란하였다. 이런 이유로, 편광 이미저를 이용하여도 고해상도가 되며 광범위한 이미지를 취득하도록, 예를 들면, 정규화 식생 지수를 이용한 식생의 검사를 양호하게 실시할 수 있도록 하는 것이 요구되고 있다.
본 개시는, 이러한 상황을 감안하고 이루어진 것이어서, 소망한 검사를 양호하게 실시할 수가 있도록 하는 것이다.
본 개시의 일 측면에 따른 검사 장치는, 파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역을 포함하며, 상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치된다.
본 개시의 일 측면에 따른 한 측면의 검사 방법 및 프로그램은, 파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역을 포함하며, 상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치되도록 구성된 검사 장치에서, 각각의 센서 소자에 의해 검출된 검출치에 기초하여, 1회로 검출 가능한 크기보다 넓은 범위의 이미지를 생성하는 신호 처리를 실시하는 스텝을 포함한다.
본 개시의 일 측면에 있어서는, 파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역이 포함되며, 상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치된다. 또한, 각각의 센서 소자에 의해 검출된 검출치에 기초하여, 1회로 검출 가능한 크기보다 넓은 범위의 이미지를 생성하는 신호 처리가 실시된다.
본 개시의 다른 측면은, 복수의 파장 검출 영역을 포함하는 이미징 센서이다. 복수의 파장 검출 영역들은 적어도 제1 파장 검출 영역을 포함한다. 제1 파장 검출 영역은, 미리 결정된 제1 파장 영역내의 광을 검출하고, 미리 결정된 서로 다른 편광 방향의 광을 검출하도록 구성된 복수의 화소들을 포함한다.
본 개시의 다른 측면은 이미징 방법이다. 상기 방법은, 입사광을 이미징 센서로 검출하는 단계를 포함한다. 상기 방법은, 이미징 센서로, 입사광의 상이한 편광에 기초한 복수의 이미지 신호를 출력하는 단계를 포함한다. 복수의 이미지 신호　중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 입사광의 상이한 편광을 나타낸다. 또한, 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 입사광의 상이한 편광을 나타낸다. 미리 결정된 제1 파장 대역과 미리 결정된 제2파장 대역은 서로 다르다.
본 개시의 또 다른 측면은, 전자 프로세서에 의해 실행될 때, 전자 프로세서로 하여금 일련의 동작을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 매체이다. 일련의 동작은, 이미지 센서로부터 복수의 이미지 신호를 수신하는 단계를 포함한다. 복수의 이미지 신호 중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 입사광의 상이한 편광을 나타낸다. 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 입사광의 상이한 편광을 나타낸다. 미리 결정된 제1 파장 대역과 미리 결정된 제2 파장 대역은 서로 상이하다. 일련의 동작은, 복수의 이미지 신호들의 조합에 기초한 이미지를 생성하기 위해 상기 복수의 이미지 신호를 처리하는 단계를 포함한다.
본 개시의 하나의 측면에 의하면, 소망한 검사를 양호하게 실시할 수가 있다.
[도 1] 본 기술을 적용한 식생 검사 장치의 일 실시형태의 구성예를 나타내는 블록도다.
[도 2] 검출 장치에 있어서의 화소의 배치의 일례를 나타내는 도면이다.
[도 3] 광범위의 출력 이미지를 생성하는 처리를 설명하는 도면이다.
[도 4] 제1 이미지 처리부의 구성예를 나타내는 블록도다.
[도 5] 제2 이미지 처리부의 구성예를 나타내는 블록도다.
[도 6] 광범위하고 고해상도인 이미지를 취득하는 처리에 대해 설명하는 플로우차트(flow chart)이다.
[도 7] 화소의 최소 검출 영역의 배치 규칙에 대해 설명하는 도면이다.
[도 8] 최소 검출 영역의 다른 배치 규칙에 따른 화소의 배치예를 나타내는 도면이다.
[도 9] 검출 장치의 화소의 배치의 제1 변형예를 나타내는 도면이다.
[도 10] 검출 장치의 화소의 배치의 제2 변형예를 나타내는 도면이다.
[도 11] 검출 장치의 화소의 배치의 제3 변형예를 나타내는 도면이다.
[도 12] 검출 장치의 화소의 배치의 제4 변형예를 나타내는 도면이다.
[도 13] 식생 검사 장치의 이용예를 설명하는 도면이다.
[도 14] 식생 검사 장치의 또 다른 이용예를 설명하는 도면이다.
[도 15] 본 기술을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도다.
[도 16] 도 16은, 광범위한 출력 이미지를 생성하는 처리를 설명하는 다른 도면이다.
[도 17] 도 17은, 제1 이미지 처리부의 다른 구성예를 도시하는 블록도이다.
[도 18] 도 18은, 제2 이미지 처리부의 다른 구성예를 도시하는 블록도이다.
[도 19] 도 19는, 무인 항공기의 실시예를 도시하는 블록도이다.
이하, 본 기술을 적용한 구체적인 실시형태에 대해, 도면을 참조하면서 상세하게 설명한다.
＜식생 검사 장치의 실시형태＞
도 1은, 본 기술을 적용한 식생 검사 장치의 일 실시형태의 구성예를 나타내는 블록도다.
도 1에 나타낸 바와 같이, 식생 검사 장치(11)는, 검출 장치(12) 및 신호 처리 장치(13)을 구비한다. 식생 검사 장치(11)는, 잔디나 농작물 등을 검사 대상물로서, 그 식생 상태나 활성도 등의 육성 상황을 검사하는데 이용된다.
검출 장치(12)는, 예를 들면, 복수의 화소(센서 소자)가 행렬 형상으로 수광면에 배치된 이미지 센서이며, 검사 대상물의 표면으로부터 반사된 광의 광량을 화소마다 검출하여, 검사 대상물의 이미지를 취득하도록 구성되어 있다. 또한, 검출 장치(12)는, 각각의 화소에 의해, 특정의 파장대역 및 편광 방향의 광이 검출되도록 구성된다. 예를 들면, 검출 장치(12)는, 화소를 구성하는 포토 다이오드가 형성되는 센서 기판상에, 미리 결정된 편광 방향의 광을 투과하는 편광 필터, 및, 미리 결정된 파장대역의 광을 투과하는 광학 필터가 적층되어 구성된다.
예를 들면, 도 2에 나타낸 바와 같이, 검출 장치(12)에서는, 다른 편광 방향의 광을 검출하는 화소들이 인접하도록 배치된다. 즉, 도 2에 도시한 작은 정사각형은 화소를 나타내고, 각각의 화소에 기재된 숫자는 편광 방향의 각도를 나타낸다. 도 2에 도시한 예에서는, 45도마다 편광 방향이 설정되어 있어, 0도, 45도, 90도, 및 135도로 편광 방향이 설정되어 있는 4개의 화소가, 2×2의 행렬이 되도록 인접하게 배치된다. 그리고, 검출 장치(12)에서는, 이들 4개의 화소가 각각의 세트로서 배치된다. 또한 검출 장치(12)는, 4 방향의 편광 방향의 광을 검출하는 것에 한정되지 않으며, 적어도 3 방향의 편광 방향의 광이, 인접하도록 배치되는 3개의 화소에 의해 검출되도록 구성되어 있으면 된다.
또, 예를 들면, 검출 장치(12)에서는, 동일한 파장대역의 광을 검출하는 화소들이, 각각의 파장대역에 대한 검출 영역에 집합적으로 배치된다. 즉, 도 2에 나타낸 바와 같이, 검출 장치(12)에서는, 적색 파장대역의 광을 검출하는 화소가 적색 검출 영역 R에 배치되며, 녹색 파장대역의 광을 검출하는 화소가 녹색 검출 영역 G에 배치되고, 청색 파장 대역의 광을 검출하는 화소가 청색 검출 영역 B에 배치되며, 근적외 파장대역의 광을 검출하는 화소가 근적외 검출 영역 IR에 배치된다.
적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR은, 열방향(도 2의 상하 방향)을 따라 길쭉한 직사각형으로 형성되며, 각각 행방향(도 2의 좌우 방향)을 따라 배치된다. 이와 같이, 검출 장치(12)는, 복수의 화소가 배치되는 수광면이, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR에 의해 4 분할되도록 구성된다. 따라서, 검출 장치(12)는, 일 회의 노광으로, 열방향으로 긴 직사각형 형상으로 분할된 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR에 의해 파장대역마다의 이미지(이하 필요에 따라, 분할 이미지라고 칭한다)를 취득할 수 있다.
여기서, 식생 검사 장치(11)는, 검사 대상물에 대해서 상대적으로 이동하면서, 검출 장치(12)에서 고속, 연속적으로 복수매의 이미지를 취득할 수 있으며, 그들 복수매의 이미지가, 검사 대상물의 검사에 이용된다. 이 때, 도 2의 행방향을 검출 장치(12)의 이동 방향으로 하여, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR 각각에 의해, 검사 대상물을 순차적으로 스캔할 수 있다. 또한, 식생 검사 장치(11)는, 상기 검사 대상물의 검사를 실시할 때에, 예를 들면, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR 각각에 의해, 연속적으로 취득되는 분할 이미지가 서로 행방향으로 소정의 폭 이상으로 겹치도록 하는 이동 속도로 이동한다.
이와 같이, 검출 장치(12)는, 화소의 세트마다, 4개의 편광 방향의 광을 검출할 수 있고, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR에서 각각의 파장대역의 분할 이미지를 취득할 수가 있다. 그리고, 검출 장치(12)는, 이러한 편광 방향 및 파장대역의 광의 광량에 따른 화소치에 의해 구성되는 이미지의 데이터를, 입력 이미지 데이터로서 신호 처리 장치(13)에 입력한다.
도 1에 나타낸 바와 같이, 신호 처리 장치(13)는, 이미지 데이터 해석부(21), 이미지 처리 선택부(22), 제1 이미지 처리부(23a), 제2 이미지 처리부(23b), 및 스티치 처리부(24)를 포함한다.
이미지 데이터 해석부(21)는, 검출 장치(12)로부터 입력되는 입력 이미지 데이터에 대한 해석을 실시하여, 그 해석 결과를 이미지 처리 선택부(22)에 공급하도록 구성된다. 예를 들면, 이미지 데이터 해석부(21)는, 검출 장치(12)에 의하여 취득 가능한 1매분의 이미지에 대한 입력 이미지 데이터에 있어서의 화소치의 히스토그램(histogram)을 얻고, 각각의 파장대역의 검출 영역 마다, 특정의 기준치보다 작은 화소치를 가지는 화소의 개수를 얻는다. 이 방법으로, 해석 결과가 얻어질 수 있다.
예를 들면, 특수한 물체에 대한 검사나 특수한 광원하에서 검사를 하는 경우, 특정의 파장대역의 검출 영역에서만 이미지가 나타나거나 특정의 파장대역의 검출 영역에서만 이미지가 나타나지 않거나 하는 일이 있다. 따라서, 이미지 데이터 해석부(21)가 입력 이미지 데이터를 해석한 결과, 임의의 파장대역의 검출 영역에서, 특정의 기준치보다 작은 화소치를 가지는 화소의 개수가 문턱치 미만인 경우, 해당 파장대역의 검출 영역에는 이미지가 나타나지 않다고 판단할 수 있다.
이미지 처리 선택부(22)는, 이미지 데이터 해석부(21)로부터 공급되는 해석 결과에 따라, 제1 이미지 처리부(23a)에 의한 이미지 처리와 제2 이미지 처리부(23b)에 의한 이미지 처리 중 어느 일방을 선택하여, 검출 장치(12)로부터 입력되는 입력 이미지 데이터를 공급하도록 구성된다. 예를 들면, 이미지 처리 선택부(22)는, 모든 파장대역의 검출 영역에서 이미지가 나타나고 있는 경우, 제1 이미지 처리부(23a)에 의한 이미지 처리를 선택한다. 임의의 파장대역의 검출 영역에서 이미지가 나타나지 않은 경우, 이미지 처리 선택부(22)는 제2 이미지 처리부(23b)에 의한 이미지 처리를 선택한다.
즉, 이미지 처리 선택부(22)는, 입력 이미지 데이터의 해석 결과가, 모든 파장대역의 검출 영역에서 특정의 기준치보다 작은 화소치를 가지는 화소의 개수가 문턱치 이상인 것을 나타내고 있는 경우, 제1 이미지 처리부(23a)에 입력 이미지 데이터를 공급한다. 한편, 이미지 처리 선택부(22)는, 입력 이미지 데이터의 해석 결과가, 임의의 파장대역의 검출 영역에 있어 특정의 기준치보다 작은 화소치를 가지는 화소의 개수가 문턱치 미만인 것을 나타내고 있는 경우, 제2 이미지 처리부(23b)에 입력 이미지 데이터를 공급한다.
제1 이미지 처리부(23a) 및 제2 이미지 처리부(23b)는, 도 4 및 도 5를 참조해 후술하듯이, 입력 이미지 데이터에 대한 이미지 처리를 실시한다. 그리고, 제1 이미지 처리부(23a) 및 제2 이미지 처리부(23b)는, 파장대역마다 입력 이미지 데이터를 분할하여 얻어진 분할 이미지 데이터와 검출 장치(12)에 의해 취득된 이미지상의 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
검출 장치(12)로부터 신호 처리 장치(13)에 1매분의 이미지에 대한 입력 이미지 데이터가 공급될 때마다, 제1 이미지 처리부(23a) 및 제2 이미지 처리부(23b)의 어느 일방으로부터 스티치 처리부(24)에 분할 이미지 데이터 및 좌표 데이터가 순차적으로 공급된다. 그리고, 스티치 처리부(24)는, 연속하여 공급되는 분할 이미지를 파장대역마다 스티칭하여, 각각의 파장대역에 대한 화소치로 나타내지는 출력 이미지를 생성한다. 즉, 스티치 처리부(24)는, 이미지상의 특징점의 좌표를 나타내는 좌표 데이터에 기초하여, 이웃한 분할 이미지간에 공통되는 샷이 서로 중첩하도록 합성함으로써, 검출 장치(12)에 있어서의 1회의 노광으로 촬상 가능한 이미지보다 큰 이미지를 생성한다.
구체적으로는, 스티치 처리부(24)는, 분할 이미지들의 대응하는 특징점을 추정한다. 그리고 나서, 스티치 처리부(24)는 서로의 특징점이 겹치도록 분할 이미지를 이동 또는 변형시키는 이미지 처리를 수행하고, 특징점끼리 일치시킨 분할 이미지의 중첩하는 부분의 화소치를 블렌딩(blending)하는 이미지 처리를 수행한다.
이에 의해, 스티치 처리부(24)는, 예를 들면, 검출 장치(12)에 의해 연속적으로 검사 대상물의 이미지가 취득되고 검사 대상물에 대해 검사의 대상으로 하는 전영역의 이미지의 취득이 종료하면, 광범위에 걸쳐 고해상도를 가진, 검사대상물의 1매의 출력 이미지를 생성할 수가 있다. 그리고, 스티치 처리부(24)는, 그 광범위하고 고해상도인 출력 이미지(검출 장치(12)에 의해 취득되는 1매분의 이미지보다 넓은 범위가 그려진 이미지)를 포함하는 데이터를, 출력 이미지 데이터로서 출력한다.
도 3을 참조하여, 신호 처리 장치(13)에서 생성되는 광범위하고 고해상도인 출력 이미지에 대해 설명한다.
예를 들면, 도 3의 좌단에는, 검출 장치(12)에 의해 연속적으로 취득되는 복수 매(도 3의 예에서는 4매)의 이미지를, 위에서 아래로 향하는 순서로 나타내고 있다. 예를 들면, 1매째의 이미지는, 적색 검출 영역 R에 대응하는 분할 이미지 R1, 녹색 검출 영역 G에 대응하는 분할 이미지 G1, 청색 검출 영역 B에 대응하는 분할 이미지 B1, 및 근적외 검출 영역 IR에 대응하는 분할 이미지 IR1에 의해 구성되어 있다. 또, 2~4매째의 이미지도, 1매째의 이미지와 마찬가지로 구성되어 있다. 또한 이러한 4매의 이미지 이후에도, 도 2의 이동 방향에 따라 이동하면서, 검출 장치(12)에 의하여 순차적 그리고 연속적으로 복수매의 이미지가 취득되어 신호 처리 장치(13)에 공급된다.
그리고, 신호 처리 장치(13)에서는, 검출 장치(12)로부터 공급되는 각 이미지가 분할 이미지로 분할되어 동일한 파장대역의 분할 이미지들이 순차적으로, 스티치 처리부(24)에서 스티칭된다. 예를 들면, 1매째의 이미지로부터 분할된 적색 분할 이미지 R1, 2매째의 이미지로부터 분할된 적색 분할 이미지 R2, 3매째의 이미지로부터 분할된 적색 분할 이미지 R3, 및 4매째의 이미지로부터 분할된 적색 분할 이미지 R4가 순차적으로, 스티치 처리부(24)에서 스티칭된다. 마찬가지로, 도 2의 이동 방향에 따라 이동하는 동안, 검출 장치(12)로부터 공급되는 4매째 이후의 이미지로부터 분할된 적색 분할 이미지가, 스티치 처리부(24)에서 스티칭된다. 또한 다른 파장대역의 분할 이미지도, 각각의 파장대역 마다, 스티치 처리부(24)에서 스티칭된다.
이 구성에 의해, 신호 처리 장치(13)는, 적색 분할 이미지가 스티칭된 광범위하고 고해상도인 출력 이미지 R, 녹색 분할 이미지가 스티칭된 광범위하고 고해상도인 출력 이미지 G, 청색 분할 이미지가 스티칭된 광범위하고 고해상도인 출력 이미지 B, 근적외 분할 이미지가 스티칭된 광범위하고 고해상도인 출력 이미지 IR를 취득할 수가 있다. 그리고, 신호 처리 장치(13)는, 예를 들면, 출력 이미지 R, 출력 이미지 G, 출력 이미지 B, 및 출력 이미지 IR를 구성하는 출력 이미지 데이터를, 도 3의 우단에 나타낸 바와 같이, 1개에 모은 형식의 출력 이미지 데이터(컬러 이미지 데이터＋근적외 이미지 데이터)로서 출력해도 된다.
상술한 바와 같이 식생 검사 장치(11)는 구성되며, 소정의 파장대역마다 광범위하고 고해상도인 출력 이미지를 취득할 수가 있다. 그리고, 예를 들면, 적색 출력 이미지 G 및 근적외 출력 이미지 IR로부터 얻어진 정규화 식생 지수 NDVI를 이용한 식생의 검사를, 예를 들면, 밭 등의 넓은 범위에 대해 높은 정밀도로 실시할 수가 있다.
다음으로, 도 4는, 도 1의 제1 이미지 처리부(23a)의 구성예를 나타내는 블록도다.
도 4에 나타낸 바와 같이, 제1 이미지 처리부(23a)는, 편광 파라미터 추출부(31a), 경면 반사 성분 제거부(32a), 이미지 분할부(33a), 제1 특징점 검출부(34a), 및, 제2 특징점 검출부(35a)를 포함한다.
편광 파라미터 추출부(31a)는, 검출 장치(12)로부터 공급되는 입력 이미지 데이터에 근거하여, 검사 대상물의 표면에 있어서의 광의 편광 상태를 나타내는 편광 파라미터를 추출하여, 경면 반사 성분 제거부(32a) 및 제2 특징점 검출부(35a)에 공급한다. 예를 들면, 편광 파라미터에는, 검사 대상물의 표면에서 광이 반사할 때의 편광의 정도를 나타내는 편광도나, 검사 대상물의 표면의 법선이 검출 장치(12)에 대해서 이루는 각도를 나타내는 법선 벡터 등이 포함된다. 도 2를 참조해 상술한 것처럼, 검출 장치(12)는, 인접하는 4개의 화소에 의해 45도 마다의 편광 방향의 광을 검출하고 있다. 따라서, 편광 파라미터 추출부(31)는, 이러한 4개의 화소의 화소치로부터 얻을 수 있는 편광 정보(각각의 화소에 있어서의 편광 방향의 차이에 따른 화소치의 차이)에 기초하여, 그러한 4개의 화소에 의해 검출되는 검사 대상물의 표면에서의 편광 파라미터를 추출할 수가 있다.
경면 반사 성분 제거부(32a)는, 편광 파라미터 추출부(31a)로부터 공급되는 편광 파라미터에 기초하여, 검출 장치(12)로부터 공급되는 입력 이미지 데이터로부터, 검사 대상물의 표면에서 경면 반사된 광 성분인 경면 반사 성분을 제거한다. 예를 들면, 일반적으로, 검사 대상물의 표면에서 반사하는 광은, 편광된 경면 반사 성분과 비편광의 확산 반사 성분을 포함하고 있다.
그러하여, 경면 반사 성분 제거부(32a)는, 확산 반사 성분과 경면 반사 성분은 통계적으로 독립되어 있다는 가정에 기초하여, 예를 들면, ICA(Independent Component Analysis) 수법에 따라 경면 반사 성분을 제거할 수가 있다. 그리고, 경면 반사 성분 제거부(32a)는, 검출 장치(12)에 의하여 취득된 이미지로부터, 경면 반사 성분의 영향을 배제한 이미지를 취득하여, 그 이미지 데이터를 이미지 분할부(33a)에 공급한다.
이미지 분할부(33a)는, 경면 반사 성분 제거부(32a)로부터 공급되는 이미지 데이터를, 검출 장치(12)에 의해 검출되는 파장대역의 검출 영역에 따라 분할하도록 구성되고, 각각의 파장대역마다의 분할 이미지 데이터를, 제1 특징점 검출부(34a) 및 스티치 처리부(24)(도 1)에 공급한다.
제1 특징점 검출부(34a)는, 분할 이미지 데이터에 기초한 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출하여, 그 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다. 예를 들면, 특징점으로서는, 이미지상에서 휘도나 색의 변화가 큰 개소의 엣지 등을 이용할 수가 있다.
제2 특징점 검출부(35a)는, 편광 파라미터 추출부(31a)로부터 공급되는 편광 파라미터를 매핑 한 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출하도록 구성되고, 그 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
상술한 바와 같이 제1 이미지 처리부(23a)는 구성되며, 경면 반사 성분이 제거되어 파장대역마다 분할된 분할 이미지 데이터와, 파장대역마다의 분할 이미지로부터 얻어진 특징점의 좌표를 나타내는 좌표 데이터 및, 편광 파라미터에 기초하여 얻어진 이미지상의 특징점의 좌표를 나타내는 좌표 데이터를, 스티치 처리부(24)에 공급할 수가 있다.
다음으로, 도 5는, 도 1의 제2 이미지 처리부(23b)의 구성예를 나타내는 블록도이다.
도 5에 나타낸 바와 같이, 제2 이미지 처리부(23b)는, 도 2의 제1 이미지 처리부(23a)와 마찬가지로, 편광 파라미터 추출부(31b), 경면 반사 성분 제거부(32b), 이미지 분할부(33b), 제1 특징점 검출부 (34b), 및, 제2 특징점 검출부(35b)를 포함한다. 단, 제2 이미지 처리부(23b)는, 도 2의 제1 이미지 처리부(23a)와 처리를 실시하는 순서가 다르게 구성된다.
도시한 바와 같이, 제2 이미지 처리부(23b)에서는, 검출 장치(12)로부터 이미지 분할부(33b)로 입력 이미지 데이터가 공급되고, 이미지 분할부(33b)는 그 이미지 데이터를, 검출 장치(12)에 있어서의 파장대역의 검출 영역에 따라 분할한다. 그리고, 이미지 분할부(33b)는, 각각의 파장대역마다의 분할 이미지 데이터를, 편광 파라미터 추출부(31b) 및 경면 반사 성분 제거부(32b)에 공급한다. 따라서, 제2 이미지 처리부(23b)에서, 편광 파라미터 추출부(31b)는, 파장대역마다 분할된 분할 이미지 데이터로부터 편광 파라미터를 추출하고, 경면 반사 성분 제거부(32b)는, 파장대역마다 분할된 분할 이미지 데이터로부터 경면 반사 성분을 제거한다. 그 후, 제1 특징점 검출부(34b) 및 제2 특징점 검출부(35b)는, 각각 상술한 것 같은 특징점을 추출하여, 그러한 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
이와 같이 구성되는 제2 이미지 처리부(23b)는, 파장대역마다 분할되어 경면 반사 성분이 제거된 분할 이미지 데이터와, 파장대역마다의 분할 이미지로부터 구해진 특징점의 좌표를 나타내는 좌표 데이터 및, 편광 파라미터에 기초하여 구해진 이미지상의 특징점의 좌표를 나타내는 좌표 데이터를, 스티치 처리부(24)에 공급할 수 있다.
따라서, 신호 처리 장치(13)에 있어서, 스티치 처리부(24)는, 파장대역마다의 분할 이미지로부터 구해진 특징점의 좌표를 나타내는 좌표 데이터, 및, 편광 파라미터에 기초하여 구해진 이미지상의 특징점의 좌표를 나타내는 좌표 데이터에 근거하여, 분할 이미지의 스티칭을 실시할 수 있다. 이와 같이, 스티치 처리부(24)는, 보다 많은 특징점을 이용함으로써, 스티치의 정밀도를 향상시킬 수가 있다.
또, 일반적으로, 편광 파라미터는 물체의 색에 의존하지 않기 때문에, 스티치 처리부(24)는, 색필터의 영향을 받지 않고, 검출 장치(12)의 전체의 사이즈 중에서 편광 파라미터에 기초한 특징점을 위치 맞춤에 사용할 수가 있다. 이에 의해, 스티치 처리부(24)는, 보다 고정밀의 스티칭이 가능해진다.
＜신호 처리＞
도 6은, 식생 검사 장치(11)에 의해 광범위하고 고해상도인 이미지를 취득하는 처리에 대해 설명하는 플로우 차트(flow chart)이다.
예를 들면, 검사 대상물의 검사를 실시하는 개시 지점에 식생 검사 장치(11)가 도착하면 처리가 개시되고, 식생 검사 장치(11)는, 도 2에 나타낸 것 같은 이동 방향으로 이동을 실시한다. 그리고, 스텝(S11)에서, 검출 장치(12)는, 1회의 노광으로 촬상되는 1매분의 이미지를 취득하여, 그 이미지의 입력 이미지 데이터를 신호 처리 장치(13)에 공급한다.
스텝(S12)에 있어서, 신호 처리 장치(13)의 이미지 데이터 해석부(21)는, 스텝(S11)에서 검출 장치(12)로부터 공급되는 입력 이미지에 대한 해석을 실시하여, 그 해석 결과를 이미지 처리 선택부(22)에 공급한다.
스텝(S13)에 있어서, 이미지 처리 선택부(22)는, 스텝(S12)에서 이미지 데이터 해석부(21)으로부터 공급되는 해석 결과에 따라, 입력 이미지에 대한 이미지 처리로서 제1 이미지 처리부(23a)에 의한 이미지 처리를 실시할지, 또는 제2 이미지 처리부(23b)에 의한 이미지 처리를 실시하는지를 판정한다.
스텝(S13)에 있어서, 이미지 처리 선택부(22)가, 입력 이미지에 대해서 제1 이미지 처리부(23a)에 의한 이미지 처리를 실시할 것을 판정한 경우, 이미지 처리 선택부(22)는 입력 이미지를 제1 이미지 처리부(23a)에 공급하고, 그 처리는 스텝(S14)으로 진행된다.
스텝(S14)에 있어서, 제1 이미지 처리부(23a)의 편광 파라미터 추출부(31a)는, 검출 장치(12)에 의하여 취득된 이미지에 대해 인접하는 편광 방향이 다른 4개의 화소의 화소치에 기초하여, 편광 파라미터를 추출한다.
스텝(S15)에 있어서, 경면 반사 성분 제거부(32a)는, 스텝(S14)에서 편광 파라미터 추출부(31a)에 의해 추출된 편광 파라미터에 기초하여, 검출 장치(12)에 의하여 취득된 이미지로부터 경면 반사 성분을 제거한다.
스텝(S16)에 있어서, 이미지 분할부(33a)는, 스텝(S15)에서 경면 반사 성분 제거부(32a)에 의해 경면 반사 성분이 제거된 이미지를, 검출 장치(12)에 의해 검출되는 파장대역에 따라 분할한다. 그리고, 이미지 분할부(33a)는, 각각의 파장대역에 대한 분할 이미지를 제1 특징점 검출부(34a) 및 스티치 처리부(24)에 공급한다.
스텝(S17)에 있어서, 제1 특징점 검출부(34a)는, 스텝(S16)에서 이미지 분할부(33a)로부터 공급되는 분할 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출한다. 그리고, 제1 특징점 검출부(34a)는, 각각의 분할 이미지로부터 검출된 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
스텝(S18)에 있어서, 제2 특징점 검출부(35a)는, 편광 파라미터 추출부(31a)로부터 공급되는 편광 파라미터에 기초하여, 편광 파라미터를 매핑한 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출한다. 그리고, 제2 특징점 검출부(35a)는, 검출 장치(12)에 의해 취득된 이미지의 전체에 대해, 편광 파라미터에 기초하여 검출된 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
스텝(S19)에 있어서, 스티치 처리부(24)는, 스텝(S16)에서 이미지 분할부(33a)로부터 공급되는 분할 이미지를, 스텝(S17, S18)에서 공급되는 좌표 데이터에 의해 나타나는 특징점에 기초하여 스티칭한다.
한편, 스텝(S13)에 있어서, 이미지 처리 선택부(22)가, 입력 이미지에 대해서 제2 이미지 처리부(23b)에 의한 이미지 처리를 실시할 것을 판정한 경우, 이미지 처리 선택부(22)는 입력 이미지를 제2 이미지 처리부(23b)에 공급하고, 처리는 스텝(S20)으로 진행된다.
스텝(S20)에 있어서, 이미지 처리부(23b)의 이미지 분할부(33b)는, 검출 장치(12)에 의해 취득된 이미지를, 검출 장치(12)에 의해 검출되는 파장대역에 따라 분할한다. 그리고, 이미지 분할부(33b)는, 각각의 파장대역의 분할 이미지를 편광 파라미터 추출부(31b) 및 경면 반사 성분 제거부(32b)에 공급한다.
스텝(S21)에 있어서, 편광 파라미터 추출부(31b)는, 이미지 분할부(33b)에 의해 분할된 분할 이미지 마다, 인접하는 편광 방향이 다른 4개의 화소의 화소치에 근거하여, 편광 파라미터를 추출한다.
스텝(S22)에 있어서, 경면 반사 성분 제거부(32b)는, 스텝(S21)에서 편광 파라미터 추출부(31b)에 의해 추출된 편광 파라미터에 기초하여, 이미지 분할부(33b)에 의해 분할된 분할 이미지 각각으로부터 경면 반사 성분을 제거한다. 그리고, 경면 반사 성분 제거부(32b)는, 경면 반사 성분을 제거한 분할 이미지를 제1 특징점 검출부(34b) 및 스티치 처리부(24)에 공급한다.
스텝(S23)에 있어서, 제1 특징점 검출부(34b)는, 스텝(S22)에서 경면 반사 성분 제거부(32b)로부터 공급되는 분할 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출한다. 그리고, 제1 특징점 검출부(34b)는, 각각의 분할 이미지로부터 검출된 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
스텝(S24)에 있어서, 제2 특징점 검출부(35b)는, 편광 파라미터 추출부(31b)로부터 공급되는 편광 파라미터에 기초하여, 편광 파라미터를 매핑한 이미지상의 물체에 대해 특징적인 개소를 나타내는 특징점을 검출한다. 그리고, 제2 특징점 검출부(35b)는, 검출 장치(12)에 의해 취득된 이미지의 전체에 대해, 편광 파라미터에 기초하여 검출된 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
그리고, 처리는 스텝(S19)으로 진행한다. 이 경우, 스티치 처리부(24)는, 스텝(S20)에서 이미지 분할부(33a)로부터 공급되는 분할 이미지를, 스텝(S23 및 S24)에서 공급되는 좌표 데이터에 의해 나타나는 특징점에 기초하여 스티칭한다.
스텝(S19)의 처리 후, 처리는 스텝(S25)으로 진행되어, 검출 장치(12)는, 검사 대상물의 전범위에 대해, 필요한 이미지를 취득하였는지 여부를 판정한다. 예를 들면, 검출 장치(12)는, 검사 대상물의 검사를 실시하는 개시 지점으로부터 처리가 행하여져 식생 검사 장치(11)가 종료 지점까지 도달했을 때에, 필요한 이미지를 취득했다고 판정할 수가 있다.
스텝(S25)에 있어서, 검출 장치(12)가, 필요한 이미지가 취득되지 않았다고 판정한 경우, 즉, 식생 검사 장치(11)가 종료 지점까지 도달하지 않은 경우, 처리는 스텝(S11)으로 돌아와서, 그로부터, 동일한 처리가 반복하여 행해진다.
한편, 스텝(S25)에 있어서, 검출 장치(12)가, 필요한 이미지를 취득했다고 판정한 경우, 즉, 식생 검사 장치(11)가 종료 지점에 도달한 경우, 그 처리는 스텝(S26)으로 진행된다.
이 경우, 스티치 처리부(24)에 의해, 검사 대상물의 전범위에 대해, 광범위하고 고해상도인 이미지가 생성된다. 스텝(S26)에 있어서, 신호 처리 장치(13)는, 스티치 처리부(24)에 의해 생성된 이미지를 출력 이미지로서 출력한 후, 처리는 종료된다.
이와 같이, 식생 검사 장치(11)은, 검사 대상물의 전범위에 걸쳐, 검출 장치(12)에 의해 검출 가능한 파장대역마다, 광범위하고 고해상도인 이미지를 취득할 수가 있다.
＜검출 장치에 있어서의 화소의 배치＞
검출 장치(12)에 있어서의 화소의 배치에 대하여, 상술한 도 2에 나타낸 배치예는, 설명을 알기 쉽게 하기 위해서 모식적으로 나타낸 것이며, 검출 장치(12)에는, 실제로는, 수백만개 또는 수천만개의 미세한 화소가 수광면에 배치된다. 그리고, 검출 장치(12)에는, 그러한 화소가, 도 2에 나타낸 것처럼, 수광면이 파장대역에 따라 4개의 검출영역으로 분할되도록 배치된다. 또, 검출 장치(12)에 있어서의 화소의 배치는, 도 2에 나타내는 예로 한정되는 것은 아니다.
도 7 내지 도 12를 참조하여, 검출 장치(12)에 있어서의 화소의 배치에 대해 설명한다.
도 7은, 검출 장치(12)에 있어서의 화소의 최소 검출 영역의 배치 규칙에 대해 설명하는 도면이다.
도 7에 나타낸 바와 같이, 검출 장치(12)에서는, 행방향으로 4개와 열방향으로 4개가 배치되는 16개의 화소가, 동일한 파장대역의 광을 검출하는 화소로서 집합적으로 배치되어 최소 검출 영역을 형성한다. 또, 상술한 것처럼, 검출 장치(12)에서는, 45도마다 편광 방향이 설정되는 4개의 화소가, 2×2가 되도록 인접하여 배치되고, 이 4개의 화소의 세트가 2×2가 되도록 배치되는 16개의 화소에 의하여 최소 검출 영역이 구성된다.
그리고, 검출 장치(12)는, 적색 최소 검출 영역 R, 녹색 최소 검출 영역 G, 청색 최소 검출 영역 B, 및 근적외 최소 검출 영역 IR이, 검출 장치(12)가 검사 대상물에 대해서 상대적으로 이동하는 방향인 이동 방향(도 7의 행방향)을 따라 배치된다. 즉, 적색 최소 검출 영역 R, 녹색 최소 검출 영역 G, 청색 최소 검출 영역 B, 및 근적외 최소 검출 영역 IR은, 검출 장치(12)의 이동 방향에 따라 보았을 때에, 각각이 반드시 배치되도록 하는 배치 규칙에 따라 배치된다. 이에 의해, 검출 장치(12)는, 예를 들면, 검사 대상물에 대해서 하나의 라인의 주사를 실시했을 때에, 모든 파장대역에 있어서 그 하나의 라인에 대해 검사 대상물의 분할 이미지를 취득할 수가 있다.
또, 검출 장치(12)에서는, 편광 필터의 패턴 주기(2×2)에 대해서 행방향 및 열방향으로 2배가 되는 크기의 최소 검출 영역이 설정되어 있다. 이와 같이 최소 검출 영역을 설정하여, 검출 장치(12)는, 검사 대상물에 대해서 상대적으로 이동하면서, 예를 들면, 적어도 2 화소의 폭으로 서로 겹치도록 연속적으로 이미지를 취득한다. 이에 의해, 신호 처리 장치(13)는, 스티치 처리부(24)에 의해 분할 이미지를 스티칭 할 수가 있으며, 검출 장치(12)에서 검출 가능한 모든 파장대역 각각에 대해, 광범위하고 고해상도인 출력 이미지를 출력할 수가 있다.
도 8은, 최소 검출 영역의 다른 배치 규칙에 따른 화소의 배치예를 나타내는 도면이다.
도 8에 나타낸 바와 같이, 검출 장치(12)에서는, 적색 최소 검출 영역 R, 녹색 최소 검출 영역 G, 청색 최소 검출 영역 B, 및 근적외 최소 검출 영역 IR을, 행×렬이 2×2가 되는 배치 규칙에 따라 배치할 수가 있다.
이렇게 최소 검출 영역이 배치되는 검출 장치(12)를 채용하여, 각각의 최소 검출 영역이 검사 대상물을 순차적으로 주사하도록 식생 검사 장치(11)를 이동함으로써, 검출 장치(12)에서 검출 가능한 모든 파장대역에 대하여, 광범위하고 고해상도인 출력 이미지를 출력할 수가 있다.
도 9는, 화소의 배치의 제1 변형예를 나타내는 도면이다.
도 9에 나타낸 바와 같이, 검출 장치(12)에서는, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR이, 도 2에 나타낸 화소의 배치에 비해 열방향으로 긴 직사각형이 되도록 화소가 배치되고 있다.
도 10은, 화소의 배치의 제2 변형예를 나타내는 도면이다.
도 10에 나타낸 바와 같이, 검출 장치(12)에서는, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR 각각이 행방향 및 열방향에 따라 보았을 때에, 반드시 배치되도록 하는 배치 규칙에 따라 화소가 배치되고 있다. 즉, 도 10에 나타나는 화소의 배치예에서는, 행×렬이 4×4가 되도록 배치되는 16개소의 검출 영역에 있어서, 행방향 및 열방향에 따라 보았을 때에, 모든 파장대역의 검출 영역이 배치되고 있다.
또한 도 10에 나타내는 화소의 배치예는, 각각의 파장대역의 검출 영역의 배열 방법을 모식적으로 나타낸 것이고, 1개의 검출 영역이, 도 7을 참조하여 설명하면, 최소 검출 영역이 되고 있다. 그러나 각각의 검출 영역을, 보다 큰 사이즈로 해도 된다. 예를 들면, 검출 장치(12)의 수광면의 전체를 16개소의 검출 영역으로 분할해도 된다. 또는, 보다 많은 화소가 배치된 검출 영역이, 도 10에 나타내는 것과 같은 패턴으로 반복하여 배치되도록 할 수가 있다.
도 11은, 화소의 배치의 제3 변형예를 나타내는 도면이다.
도 11에 나타낸 바와 같이, 검출 장치(12)는, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR 이외에, 예를 들면, 전파장대역을 가지는 비편광의 광을 검출하는 화소에 의한 검출 영역을 배치할 수가 있다. 즉, 검출 장치(12)는, 편광 필터 및 컬러 필터가 설치되지 않은 검출 영역을 갖추어도 된다. 이 검출 영역에 배치되는 화소의 화소치에 근거하여, 신호 처리 장치 (13)는, 모든 편광 방향의 광에 의한 백색(흑백)의 이미지를 취득할 수가 있다.
도 12는, 화소의 배치의 제4 변형예를 나타내는 도면이다.
도 12에 나타낸 바와 같이, 검출 장치(12)는, 적색 검출 영역 R, 녹색 검출 영역 G, 청색 검출 영역 B, 및 근적외 검출 영역 IR 이외에, 예를 들면, 3원색의 비편광의 광을 검출하는 화소에 의한 검출 영역을 배치할 수가 있다. 즉, 검출 장치(12)는, 편광 필터가 설치되지 않고, 한편, 화소 마다 3 원색의 베이어(Bayer) 배열의 컬러 필터가 설치된 검출 영역을 갖추어도 된다. 이 검출 영역에 배치되는 화소의 화소치에 근거하여, 신호 처리 장치(13)은, 모든 편광 방향의 광에 의한 컬러 이미지를 취득할 수가 있다.
＜식생 검사 장치의 이용예＞
도 13 및 도 14에 나타낸 바와 같이, 예를 들면, 무인 항공기(UAV：Unmanned Aerial Vehicle) 51에 식생 검사 장치(11)를 탑재하여, 무인 항공기(51)가 이동하면서 검사 대상물에 대한 검사를 실시할 수가 있다.
도 13에는, 검출 장치(12)가 하방을 향하도록 식생 검사 장치(11)를 무인 항공기(51)에 고정하여, 예를 들면, 상공에서 바로 밑에 있는 밭의 작물을 평면적으로 광범위하게 찍은 출력 이미지를 취득하는 이용예가 나타나고 있다. 도 14에는, 검출 장치(12)가 횡방향을 향하도록 식생 검사 장치(11)를 무인 항공기(51)에 고정하여, 예를 들면, 작물의 높이 등의 육성 상태를, 논두렁길 등을 이동하면서 광범위하게 찍은 출력 이미지를 취득하는 이용예가 나타나고 있다.
또한 도 13 및 도 14에 있어서, 실선의 직사각형은, 검출 장치(12)에 의하여 1회의 노광으로 취득되는 복수매의 이미지를 나타내고 있고, 파선의 직사각형은, 그러한 이미지를 스티칭하여 생성되는 출력 이미지를 나타내고 있다. 또한, 백색의 화살표는, 무인 항공기(51)의 이동 경로를 나타내고 있다.
이와 같이, 식생 검사 장치(11)를 탑재한 무인 항공기(51)를 이동시키면서 연속적으로 복수매의 이미지를 취득함으로써, 식생 검사 장치(11)는, 검사 대상물의 광범위하고 고해상도인 1매의 출력 이미지를 취득할 수가 있다. 따라서, 이 출력 이미지를 이용하여, 밭 등의 넓은 범위에 있어서의 작물의 식생을 상세하게 검사할 수가 있다.
또한, 식생 검사 장치(11)가, 무인 항공기(51)에 설치된 센서의 정보를 취득할 수가 있는 경우, 무인 항공기(51)의 위치 및 자세의 정보에도 기초하여 스티치 처리부(24)에 의한 스티칭을 실시함으로써, 고정밀도로 스티칭된 출력 이미지를 얻을 수 있다.
또한 식생 검사 장치(11)에서는, 검출 장치(12)의 사이즈나, 식생 검사 장치(11)를 이동시키는 속도 등에 따라, 각각의 파장대역의 검출 영역의 사이즈를 적절히 선택할 수가 있다. 또한, 식생 검사 장치(11)에서는, 식생 검사 장치(11)에 의한 검사의 용도에 따라, 검출 장치(12)에 의해 검출하는 파장대역의 필요한 수(즉, 색필터의 색 가지수)를 적절히 선택할 수가 있다.
예를 들면, 도 13 및 도 14를 참조하여 상술한 것과 같이, 무인 항공기(51)을 이용하여 넓은 밭의 전체를 검사하는 용도에서는, 무인 항공기(51)의 이동의 양이나 방향에 어느 정도의 편차가 발생하는 것이 상정된다. 그 때문에, 분할 이미지를 확실히 스티칭하기 위해서는, 검출 영역 각각의 사이즈를 크게 하는 것(보다 많은 화소를 포함하는 것)이 바람직하다. 한편, 예를 들어, 작은 정밀 부품의 작은 손상을 발견하는 용도 등과 같이, 식생 검사 장치(11)을 높은 정밀도로 미소하게 이동시켜 검사를 실시하는 용도에서는, 검출 영역의 사이즈를 작게 해도 된다.
본 기술은, 식생 검사 장치(11)와 같은 장치만을 포함하는 식생 검사 시스템뿐만 아니라, 예를 들어, 네트워크를 거쳐서 접속되는 식생 검사 시스템에 적용할 수가 있다. 예를 들면, 네트워크를 통해 검출 장치(12) 및 신호 처리 장치(13)를 접속하고, 신호 처리 장치(13)로부터 출력되는 출력 이미지를, 네트워크를 통해, 표시장치나 해석 장치 등에 송신하도록 구성할 수 있다. 이에 의해, 원격지에 있는 많은 밭 등을 검사 대상물로 하여 임의의 곳에서도 검사를 행할 수가 있다.
덧붙여 상술한 플로우차트를 참조하여 설명한 각 처리는, 반드시 플로우차트에 기재된 순서에 따라 시계열적으로 처리될 필요는 없고, 병렬적 혹은 개별적으로 실행되는 처리(예를 들면, 병렬처리 혹은 오브젝트 처리)도 포함하는 것이다. 또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산되어 처리되는 것이어도 된다. 또한, 본 명세서에 대해, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 상술한 일련의 처리(신호 처리 방법)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램은, 전용의 하드웨어에 설치된 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램이 기록된 프로그램 기록 매체로부터 인스톨 된다.
도 15는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도다.
컴퓨터에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의하여 서로 접속되고 있다.
버스(104)에는, 입출력 인터페이스(105)가 더 접속되고 있다. 입출력 인터페이스(105)에는 다음과 같은 유닛들이 접속되고 있다. 즉, 키보드, 마우스, 마이크로폰 등이 포함되는 입력부(106), 디스플레이, 스피커 등이 포함되는 출력부(107), 하드 디스크나 불휘발성의 메모리 등이 포함되는 기억부 (108), 네트워크 인터페이스 등이 포함되는 통신부(109), 자기 디스크, 광디스크, 광학 자기 디스크, 혹은 반도체 메모리 등의 이동식(removable) 미디어(111)를 구동하는 드라이브(110)가 접속될 수 있다.
이와 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들면, 기억부(108)에 기억된 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 거쳐서, RAM(103)에 로드하여 실행함으로써, 상술한 일련의 처리를 한다.
컴퓨터(CPU(101))가 실행하는 프로그램은, 예를 들면, 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM, DVD 등), 광학 자기 디스크, 혹은 반도체 메모리 등을 포함하는 패키지 미디어인 이동식 미디어(111)에 기록하여, 또는, 근거리 통신망, 인터넷, 디지털 위성방송 등과 같은, 유선 또는 무선의 전송 매체를 거쳐서 제공된다.
그리고, 프로그램은, 이동식 미디어(111)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 거쳐서, 기억부(108)에 설치할 수가 있다. 또, 프로그램은, 유선 또는 무선의 전송 매체를 거쳐서, 통신부(109)로 수신하여, 기억부(108)에 설치할 수가 있다. 그 외, 프로그램은, ROM(102)나 기억부(108)에, 미리 설치하여 둘 수가 있다.
도 16은 넓은 범위의 출력 이미지를 생성하는 처리를 설명하기 위한 다른 도면이다.
예를 들면, 검출장치(12)에 의해 시계열적으로 캡쳐되어 취득된 이미지 데이터로부터 산출된 복수 매의 이미지 (도 16의 예에서는 4 이미지씩의 4 이미지 세트를 가져 총 16 이미지)가 도 16의 좌단에 아래로 내려가는 순서대로 도시된다. 예를 들어, 식물 검사 장치가 검사 대상물에 대해 상대적으로 이동함에 따라, 검출 장치(12)는 복수의 이미지 데이터를 순차적으로 캡쳐할 수 있다.
특정 노광에서 캡쳐된 이미지 세트　각각은 각각의 파장 스트립에 대한 상이한 편광 각도에 대한 정보를 포함한다. 예를 들어, 식물 검사 장치(11)가 도 2의 이동 방향을 따라 이동함에 따라, 제1 노광이 수행되어 검사 대상물의 일부가 캡쳐된다. 도 16에 따르면, 도 16의 좌측 상단에 적층된 이미지들로 나타낸 바와 같이, 4개의 이미지를 가지는 제1 이미지 세트는 제1 노광에서 캡쳐된 이미지 데이터를 나타낸다. 제1 이미지 세트의 4 개의 이미지는, 0 °, 45 °, 90 ° 및 135 °의 4 개의 편광각에 대응하며, 제1 노광으로부터 취득된 이미지 데이터에 기초하여 신호 처리 장치(12)에 의해 산출된다. 식생 검사 장치(11)가 도 2의 이동 방향을 따라 이동함에 따라, 제2 노광이 수행되어 물체의 다른 부분을 캡쳐한다. 도 16에서 제1 이미지 세트의 아래에 오른쪽으로 약간 시프트하여 나타낸, 서로 적층된 네 개의 다른 이미지를 가지는 제2 이미지 세트가 제2 노광에서 캡쳐된 이미지 데이터를 나타낸다. 제2 이미지 세트의 4 개의 이미지는 0 °, 45 °, 90 ° 및 135 °의 4 개의 편광 각도에 대응하고, 제2의 노광으로부터 취득된 이미지 데이터에 기초하여 신호 처리 장치(12)에 의해 산출된다. 마찬가지로, 식생 검사 장치(12)는 이동 방향을 따라 더 이동하고, 각각 4 개의 이미지를 갖는 제3 및 제4 이미지 세트가 도 16의 좌측 단에 도시된다.
신호 처리 장치(13)는 검출 장치(12)로부터 공급된 이미지 데이터를 파장 대역 및 편광 각도에 기초하여 복수의 분할 이미지로 분할한다. 스티칭 처리부(24)는 동일 파장 대역의 복수의 분할 이미지를 순차적으로 스티칭한다. 예를 들면, 적색 파장 대역과 0 °의 편광 각도에 기초하여, 적색 분할 이미지(R1)은 제1 복수 이미지의 제1 이미지 세트로부터 분할되고, 적색 분할 이미지(R2)는 제2 복수 이미지의 제1 이미지 세트로부터 분할되고, 적색 분할 이미지(R3)는 제3 복수 이미지의 제1 이미지 세트로부터 분할되고, 적색 분할 이미지(R4)는 제4 복수 이미지의 제1 이미지 세트로부터 분할되고, 스티칭 처리부(24)에 의해 순차적으로 스티칭된다. 마찬가지로, 스티칭 처리부(24)는 복수의 이미지의 제2 이미지 세트 (편광 각도 45도), 제3 이미지 세트 (편광 각도 90도) 및 제4 이미지 세트 (편광 각이 135도)로부터의 적색 분할 이미지를 스티칭한다. 또한, 스티칭 처리부 (24)는 나머지 파장 대역에서 각 파장 대역에 대해 편광 각도가 동일한 분할 이미지를 스티칭한다.
그리하여, 신호 처리 장치 (13)는, 광범위하고 고해상도로 스티칭된 적색의 분할 이미지를 포함하는 복수의 출력 적색 이미지R (편광 각 0 °, 45 °, 90 ° ,135 °), 광범위하고 고해상도로 스티칭된 녹색의 분할 이미지를 포함하는 복수의 출력 녹색 이미지 G (편광 각 0 °, 45 °, 90 °, 135 °), 광범위하고 고해상도로 스티칭된 청색의 분할 이미지를 포함하는 복수의 출력 청색 이미지 B (편광 각 0 °, 45 °, 90 ° ,135 °), 광범위하고 높은 해상도로 스티칭된 근적외의 분할 이미지를 포함하는 복수의 출력 근적외선 이미지IR (즉, 편광 각도 0 °, 45 °, 90 ° 및 135 °) 을 얻을 수 있다.
신호 처리 장치(13)는, 복수의 출력 적색 이미지 R(편광각도 0 °, 45 °, 90 °, 135 °) 및 편광 피팅 프로세스를 사용하여, 임의의 편광 각도에서의 단일 출력 적색 이미지를 생성할 수 있다. 신호 처리 장치(13)는, 복수의 출력 녹색 이미지 G(편광각도 0 °, 45 °, 90 °, 135 °) 및 편광 피팅 프로세스를 사용하여, 임의의 편광 각도에서의 단일 출력 녹색 이미지를 생성할 수 있다. 신호 처리 장치(13)는, 복수의 출력 청색 이미지 B (편광 각도 0 °, 45 °, 90 °, 135 °) 및 편광 피팅 프로세스를 사용하여, 임의의 편광 각도에서의 단일 출력 청색 이미지를 생성할 수 있다. 신호 처리 장치 (13)는, 복수의 출력 근적외 이미지IR (편광 각도 0 °, 45 °, 90 °,135 °) 및 편광 피팅 프로세스를 사용하여, 임의의 편광 각도에서의 단일 출력 근적외 이미지를 생성할 수 있다.
또는, 신호 처리 장치(13)는, 복수의 출력 적색 이미지 R (편광 각도0 °, 45 °, 90 °, 135 °) 중 미리 결정된 편광 각도(예를 들어, 0 °, 45 °, 90 ° 또는 135 °)에서의 하나의 출력 적색 이미지 R을 단일 출력 적색 이미지로서 선택할 수 있다. 신호 처리 장치(13　)는, 복수의 출력 녹색 이미지 G(편광 각도 0 °, 45 °, 90 ° 및 135 °) 중 미리 결정된 편광 각도(예를 들어, 0 °, 45 °, 90 ° 또는 135 °)에서의 하나의 출력 녹색 이미지 G를 단일 출력 녹색 이미지로서 선택할 수 있다.　신호 처리 장치(13)는,　복수의 출력 청색 이미지 B (편광 각도 0 °, 45 °, 90 ° 및 135 °) 중 미리 결정된 편광 각도(예를 들어, 0 °, 45 °, 90 ° 또는 135 °)에서의 하나의 출력 청색 이미지 B를 단일 출력 청색 이미지로서 선택할 수 있다.　신호 처리 장치 (13)는,　복수의 출력 근적외선 이미지IR (편광 각도 0 °, 45 °, 90 ° 및 135 °) 중 미리 결정된 편광 각도(예를 들어, 0 °, 45 °, 90 ° 또는 135 °)에서의 하나의 출력 근적외 이미지 IR을 단일 출력 근적외선 이미지로서 선택할 수 있다.
그리고, 예를 들어, 신호 처리 장치(13)는, 단일 출력 적색 이미지, 단일 출력 녹색 이미지, 단일 출력 청색 이미지, 단일 출력 근적외선 이미지에 포함되는 이미지 데이터를, 도 16의 우단에 나타내는 바와 같이, 통합 포맷의 출력 이미지 데이터로서(컬러 이미지 데이터 + 근적외선 이미지 데이터)의 이미지 데이터를 출력한다. 이런 식으로, 식물 검사 장치(11)는 구성되며, 임의의 편광 각도에서 미리 결정된 각각의 파장 대역에 대한 광범위하고 고해상도인 출력 이미지를 얻을 수 있다.
다음으로, 도 17은 도 1의 제1 이미지 처리부(23a)의 다른 구성예를 도시하는 블록도이다.
도 17에 나타낸 바와 같이, 제1 이미지 처리부(23a)는, 편광 파라미터 추출부(31a), 경면 반사 성분 제거부(32a), 제1 이미지 분할부(33a), 제1 특징점 검출부(34a), 제2 특징점 검출부(35a) 및 제2 이미지 분할부(36a)를 포함한다.
편광 파라미터 추출부(31a)는 검사 대상물의 표면에서의 광의 편광 상태를 나타내는 편광 파라미터를 추출하고, 편광 파라미터를, 검출 장치(12)로부터 공급된 입력 화상 데이터에 기초하여, 경면 반사 성분 제거부(32a) 및 제2 특징점 검출부(35a)에 공급한다. 예를 들면, 편광 파라미터는, 검사 대상물의 표면에서 광이 반사할 때의 편광의 정도를 나타내는 편광도나, 검사 대상물의 표면의 법선이 검출 장치(12)에 대해서 이루는 각도를 나타내는 법선 벡터를 포함한다. 도 2를 참조하여 설명한 바와 같이, 검출 장치(12)는 서로 인접한 4 개의 화소에 의해 45 °마다의 편광 방향의 광을 검출한다. 따라서, 편광 파라미터 추출부(31a)는, 4개의 화소의 화소치(각 화소의 다른 분극 방향에 따른 화소치의 차분)에 기초하여, 4개의 화소를 통해 검출된, 검사 대상물의 표면에서의 편광 파라미터를 추출할 수 있다.
경면 반사 성분 제거부(32a)는,　검출 장치(12)로부터 공급된 입력 화상 데이터로부터, 편광 파라미터 추출부(31a)로부터 공급된　편광 파라미터에　기초하여, 검사 대상물의 표면으로부터　경면 반사하는 광을 포함하는 성분인 경면 반사 성분을 제거한다.　　예를 들어, 피검사체의 표면으로부터 반사된 광은 일반적으로 편광된 경면 반사 성분 및 비편광된 확산 반사 성분을 포함한다.
따라서, 경면 반사 성분 제거부(32a)는, 예를 들어, 독립 성분 분석(ICA) 방법으로, 확산 반사 성분과 경면 반사 성분이 통계적으로 독립적이라는 가정에 기초하여,　경면 반사 성분을 제거할 수 있다.　 그리고, 경면 반사 성분 제거부(32a)는, 검출 장치(12)에 의해 취득된 이미지로부터 경면 반사 성분의 영향을 제거한 이미지를 취득하고, 그 이미지 데이터를 제1 이미지 분할부(33a)에 공급한다.
제1 이미지 분할부(33a)는 경면 반사 성분 제거부(32a)로부터　공급된 이미지 데이터를, 검출 장치(12)에 의해 검출된 파장 대역의 검출 영역에 따라 분할하여, 각 파장 대역에 대한 분할 이미지 데이터를 제1 특징점 검출부(34a)에 공급한다.
제1 특징점 검출부(34a)는 제1 이미지 분할부(33a)에서 분할된 이미지 데이터에 기초하여, 이미지내에 캡쳐된 대상의 특징적인 점을 나타내는 특징점을 검출하고, 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다. 예를 들면, 이미지의 밝기나 색상의 변화가 큰 점(point)의 엣지를 특징점으로 할 수 있다.　대체예에서는, 제1 특징점 검출부(34a)는 제1 이미지 분할부(33a) 대신에 제2 이미지 분할부(36a)로부터의 분할 이미지 데이터에 기초하여, 이미지내에 캡쳐된 대상의 특징적인 점을 나타내는 특징점을 검출하고, 그 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
제2 특징점 검출부(35a)는, 편광 파라미터 추출부(31a)로부터 공급되며 매핑된 편광 파라미터를 포함하는 이미지내에 캡쳐된 대상의 특징적인 점을 나타내는 특징점을 검출하여, 그 특징점의 좌표를 나타내는 좌표데이터를 스티치 처리부(24)에　공급한다.
제2 이미지 분할부(36a)는, 검출 장치(12)의 각 화소와 연관된 편광 각도에 따라, 상기 검출 장치(12)로부터 공급되는 입력 이미지 데이터를 분할하고,　편광 각도별로 분할 이미지 데이터를 스티치 처리부(24)에 공급한다. (도 1).
이와 같이, 제1 이미지 처리부(23a)는 구성되며, 검출 장치(12)의 화소의 편광 각도에 기초하여 분할 이미지 데이터를 공급할 수 있고, 스티치 처리부(24)에 공급되는 분할 이미지 데이터는 경면 반사 성분을 포함한다. 이와 같이, 제1 이미지 처리부(23)는 구성되며, 경면 반사 성분이 제거되고 파장 대역별로 분할된 분할 이미지 데이터로부터 취득한 특징점의 좌표를 나타내는 좌표 데이터, 및 편광 파라미터에 기초하여 취득된 이미지상의 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급한다.
또한, 스티치 처리부(24)는　제1 특징점 검출부(34a) 및 제2 특징점 검출부(35a)로부터의 좌표 데이터 중 일방 혹은 양방을 사용할 수 있다. 　또한, 스티치 처리부(24)에 의해 스티칭되는 분할 이미지 데이터의 편광 각도는 사용자에 의해 지정되거나, 이미지 해석의 결과에 기초하여 스티치 처리부 (24)에 의해 선택될 수 있다.　예를 들어, 경면 반사 성분 제거부(32a)에 의해 결정된 경면 반사 성분은 가장 낮은 반사 성분을 갖는 편광 각도를 선택하기 위해 스티치 처리부(24)에 의해 사용될 수 있다.　상술한 바와 같이, 스티치 처리부(24)는 분할 이미지 데이터(예를 들면, 컬러 이미지 데이터 + 근적외선 이미지 데이터)를 편광 피팅 처리하여 임의의 편광 각도에서의 단일 출력 화상을 생성할 수 있다.
다음으로, 도 18은 도 1의 제2 이미지 처리부(23b)의 다른 구성예를 도시하는 블록도이다.
도 18에 도시한 바와 같이, 제2 이미지 처리부(23b)는, 도 17의 제1 이미지 처리부(23a)와 마찬가지로, 편광 파라미터 추출부(31b), 경면 반사 성분 제거부(32b), 이미지 분할부(33b), 제1 특징점 검출부(34b) 및 제2 특징점 검출부(35b)를 포함한다. 제2 이미지 처리부(23b)는 도 17의 제1 화상 처리부(23a)와는 처리 순서가 다르다.
도 18에 도시된 바와 같이, 검출 장치(12)는 입력 이미지 데이터를 이미지 분할부(33b)에 공급한다. 이미지 분할부(33b)는 검출 장치(12)의 각 화소와 연관된 편광 각도에 따라, 검출 장치 (12)로부터 공급되는 입력 이미지 데이터를 분할하여,　스티치 처리부(24) (도 1)에 편광 각도별로 분할 이미지 데이터를 공급한다. 제2 이미지 처리부(23b)에서, 이미지 분할부(33b)는 검출 장치(12)의 파장 대역의 검출 영역에 따라, 각각의 편광 각도에 대응하는 분할 이미지 데이터를 더 분할한다. 그리고, 이미지 분할부(33b)는 편광 파라미터 추출부(31b) 및 경면 반사 성분 제거부(32b)에 파장 대역별 분할 이미지 데이터를 공급한다. 따라서, 제2 이미지 처리부(23b)에 있어서, 편광 파라미터 추출부(31b)는 파장 대역별로 분할된 분할 이미지 데이터로부터 편광 파라미터를 추출하고, 경면 반사 성분 제거부(32b)는 파장 대역별로 분할된 분할 이미지 데이터로부터 경면 반사 성분을 제거한다. 그 후, 제1 특징점 검출부(34b) 및 제2 특징점 검출부(35b)는 각각, 특징점을 나타내는 좌표 데이터를 스티치 가공부(24)에 공급하기 위하여, 상술한 것과 마찬가지로　특징점을 추출한다.
이와 같이 구성되는 제2 이미지 처리부(23b)는 검출 장치(12)의 화소의 편광 각도에 기초하여 분할 이미지 데이터를 공급할 수 있고, 스티치 처리부(24)에 공급되는 분할 이미지 데이터는 경면 반사 성분을 포함한다. 제2 이미지 처리부(23b)는 파장 대역별 분할 이미지로부터 취득된 특징점의 좌표를 나타내는 좌표 데이터와, 편광 파라미터에 기초하여　취득된　이미지상의 특징점의 좌표를 나타내는 좌표 데이터를 스티치 처리부(24)에 공급할 수도 있다.
또한, 스티치 처리부(24)는　제1 특징점 검출부(34b) 및 제2 특징점 검출부(35b)로부터의 좌표 데이터 중 일방 또는 쌍방을 이용할 수 있다.　또한, 스티치 처리부(24)에 의해 스티칭 되는 분할 이미지 데이터의 편광 각도는 화상 해석의 결과에 기초하여 사용자에 의해 지정되거나 스티치 처리부(24)에 의해 선택될 수 있다.　예를 들어, 경면 반사 성분 제거부(32b)에 의하여 결정된 경면 반사 성분은 가장 낮은 반사 성분을 갖는 편광각을 선택하기 위해 스티치 처리부(24)에 의해 사용될 수 있다.　상술한 바와 같이, 스티치 처리부(24)는 분할 이미지 데이터(예를 들면, 컬러 이미지 데이터 + 근적외선 이미지 데이터)를 편광 피팅 처리하여 임의의 편광 각도의 단일 출력 이미지를 생성할 수 있다.
도 19는 도 13 및 도 14의 무인 항공기(51)의 실시예의 블록도이다.　
도 19에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 무인 항공기(51)는, 식생 검사 장치(11), 회전부(104a~104d), 모터(108a~108d), 제어부(110), 통신부(120), 센서부(130), 위치 정보 취득부(132), 기억부(140) 및 배터리(150)를 포함하도록 구성된다.
제어부(110)는 무인 항공기(51)의 동작을 제어한다. 예를 들어, 제어부(110)는 모터(108a 내지 108d)의 회전 속도의 조정에 의해 회전부(104a 내지 104d)의 회전 속도의 조정, 식생 검사 장치(11)에 의한 촬상 처리, 통신부(120)를 통한 다른 장치(예를 들면, 제어 단말)와의 정보의 송수신 처리, 및 기억부(140)에 대한 정보의 기억 및 판독 처리를 행한다.
본 실시예에서, 제어부(110)는, 제어 단말(200)로부터 송신된 비행 정보에 기초하여,　모터(108a 내지 108d)의 회전 속도를 조정하는 비행의 제어를 행하고, 또한 촬상 장치(101)에 의한 정지 이미지의 이미징 처리의 실행을 제어한다. 제어부(110)는 제어 단말로부터 전송된 비행 정보에 기초하여 모터(108a 내지 108d) 또는 식생 검사 장치(11)를 제어한다. 무인 항공기가 도 14에 도시된 바와 같이 농지 또는 농로를 가로 질러 이동하는 동안, 제어부(110)는 하나 이상의　이미지를 연속적으로 캡쳐하도록 검출 장치(12)를 제어할 수　있고,　제어 단말의 요청에 기초하여 제어 단말에 하나 이상의 이미지를 제공할 수 있다.　또한, 제어부(110)는, 스티치 처리부(24)가 캡쳐 이미지를 스티칭하도록 제어하고, 제어 단말의 다른 요구에 기초하여 출력 이미지를 제어 단말에 제공할 수 있다.
회전부(104a 내지 104d)는 그 회전에 의해 양력을 발생시켜 무인 항공기(51)가 비행하도록 한다.　모터(108a 내지 108d)의 회전에 의해 회전부(104a 내지 104d)의 회전이 발생한다.　모터(108a 내지 108d)는 회전부(104a 내지 104d)를 회전시킨다.　모터(108a 내지 108d)의 회전은 제어부(110)에 의해 제어될 수 있다.
통신부(120)는 무선 통신을 통하여 제어 단말과의 정보의 송수신 처리를 수행한다.　무인 항공기(51)는 식생 검사 장치(11)에 의해 캡쳐된 이미지 데이터를 통신부(120)로부터 제어 단말로 송신한다.　일부 예에서, 이미지 데이터는 하나 이상의 분할 이미지이다.　다른 예에서, 이미지 데이터는 하나의 이미지, 예를 들어, 하나의 파장 대역의 편광 미처리 이미지(raw polarized image)이다.　또 다른 예에서, 이미지 데이터는 출력 이미지(스티칭된 이미지)이다.　또한, 무인 항공기(51)는 통신부(120)을 이용하여 제어 단말로부터 비행 관련 지시를 수신한다.
센서부(130)는 무인 항공기(51)의 상태를 취득하는 장치군으로서, 예를 들면 가속도 센서, 자이로 센서, 초음파 센서, 공압 센서, 옵티컬 플로우 센서, 레이저 거리 측정기(laser range finder) 또는 다른 적합한 센서일 수 있다.　센서부(130)는 취득한 무인 항공기(51)의 상태를 미리 결정된 신호로 변환하여　필요한 경우 제어부(110)로 제공할 수 있다.
위치 정보 취득부(132)는, 예를 들어, GPS 나 시각 센서 등의 적절한 위치 결정부를 이용하여 무인 항공기(51)의 현재 위치 정보를 취득한다.　위치 정보 취득부(132)는 취득된 무인 항공기(51)의 현재 위치 정보를 필요에 따라 제어부(110)에 제공할 수 있다.　제어부(110)는 위치 정보 취득부(132)에 의해 취득된 무인항공기(51)의 현재 위치의 정보를 이용하여, 제어 단말로부터 수신한 비행 정보에 기초하여 무인 항공기(51)의 비행 제어를 실행한다.
센서부(130)는 비행시 비행을 방해하는 장애물을 감지한다.　센서부(130)가 장애물을 감지하면 무인 항공기(51)는 감지된 장애물과 관련된 정보를 제어 단말에 제공할 수 있다.
기억부(140)는 다양한 정보를 저장한다.　기억부(140)에 저장된 정보의 예로는, 제어 단말로부터 전송된 무인 항공기(51)의 비행 정보 및 식생 검사 장치(11)로부터의 이미지 데이터가 있다. 일부 예에서, 이미지 데이터는 하나 이상의 분할 이미지이다.　다른 예에서, 이미지 데이터는 하나의 이미지, 예를 들어, 하나의 파장 대역의 편광 미처리 이미지이다.　또 다른 예에서, 이미지 데이터는 출력 이미지(스티칭된 이미지)이다.
배터리(150)는 무인항공기(51)을 동작시키기 위한 전력을 축적한다. 배터리(150)는 방전만 가능한 일차 전지일 수 있고, 또한 충전이 가능한 이차 전지일 수 있는데, 배터리(150)가 이차 전지인 경우, 예를 들어, 배터리(150)는 충전 스테이션으로부터 전력을 공급받을 수 있다.
본 발명의 일 실시예에 따른 무인 항공기(51)는 도 19에 도시된 구조를 가질 수 있으며, 따라서, 제어 단말로부터 전송된 비행 정보에 포함된 비행 경로에 기초하여 자동 비행을 수행할 수 있으며, 본 명세서에서 설명된 이미지 처리를 실행할 수 있다.
본 발명의 일 실시예에 따른 무인 항공기(51)의 예시적인 기능적 구성은 도 13 및 도 14를 참조하여 상술되었다.　
본 기술은 식생 검사 장치 이외의 여러 가지 다른 응용을 가질 수 있다.　실제로, 본 기술은 이미지의 스캐닝 및 스티칭을 필요로 하는 넓은 이미징 범위에 적용 가능하다.　예를 들어, 본 기술의 한 응용은, 관심 객체가 두 번 이상의 스캔, 특히,　두 번 이상의 로봇 스캔을 요구하는 공장 자동화이다.　본 기술의 또 다른 응용은 광물 염의 현미경 이미지 분석이다.　본 기술의 또 다른 응용은 응력 변형(광 탄성)의 측정이다.　본 기술의 다른 응용은 투명한 수지 성형품의 결함 검출이다.　본 기술의 또 다른 응용은 유리 내의 오염물의 검출이다.　본 기술의 또 다른 응용은 막 두께의 측정이다.
본 기술은 다음과 같은 구성을 가질 수 있다.
(1)
복수의 파장 검출 영역을 포함하며,
상기 복수의 파장 검출 영역은 적어도 제1 파장 검출 영역을 포함하고,
상기 제1 파장 검출 영역은, 미리 결정된 제1 파장 대역내의 광을 검출하며 미리 결정된 서로 다른 편광 방향들의 광을 검출하도록 구성된 복수의 화소를 포함하는, 이미징 센서.
(2)
(1)의 이미징 센서에 있어서,
상기 복수의 파장 검출 영역은, 제2 파장 검출 영역을 더 포함하고,
상기 제2 파장 검출 영역은 미리 결정된 제2 파장 대역 내의 광을 검출하며 미리 결정된 서로 다른 편광 방향들의 광을 검출하도록 구성된 복수의 제2 화소를 포함하고,
상기 미리 결정된 제2 파장 대역은 상기 미리 결정된 제1 파장 대역과 상이한, 이미징 센서.
(3)
(2)의 이미징 센서에 있어서,
상기　제1 파장 검출 영역과 상기 제2 파장 검출 영역은 서로 인접하는, 이미징 센서.　
(4)
(1)의 이미징 센서에 있어서,
상기 복수의 화소는 화소군들을 포함하고, 상기　화소군들 중 하나의 화소군의 각 화소는 미리 결정된 편광 방향의 광을 검출하도록 구성되고,
상기 화소군들은 상기 제1 파장 검출 영역내에서 반복되도록 배열되는, 이미징 센서.　
(5)
(1)의 이미징 센서에 있어서,
상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은 제1 방향을 따라 길게 형성된 직사각형 형상으로 형성되고,　
상기 제1 방향과 직교하는 제2 방향에서 보았을 때,　상기 복수의 파장 검출 영역의 상기 각각의　파장 검출 영역은 일 이상의 개소(point)에 배치된, 이미징 센서.　
(6)
(5)의 이미징 센서에 있어서,
상기 제2 방향은 검사 대상에 대한 상대적인 이동 방향인, 이미징 센서.
(7)
(1)의 이미징 센서에 있어서,
상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은, 행 방향 및 열 방향에서 보았을 때의 일 이상의 개소(point)에 배치되는, 이미징 센서.
(8)
(1)의 이미징 센서에 있어서,
상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은, 적어도 네 개의 행 화소와 적어도 네 개의 열 화소를 포함하는 적어도 열여섯 개의 화소의 어레이를 포함하는, 이미징 센서.
(9)
(8)의 이미징 센서에 있어서,
상기 적어도 열여섯 개의 화소의 어레이는 적어도 셋 이상의 편광 방향에서 상기 광을 검출하도록 구성되는, 이미징 센서.
(10)
(1)의 이미징 센서에 있어서,
상기 복수의 파장 검출 영역 중 제1 검출 영역은 적색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제2 검출 영역은 녹색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제3 검출 영역은 청색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제4 검출 영역은 근적외 파장 대역내의 광을 검출하도록 구성되는, 이미징 센서.
(11)
(10)의 이미징 센서에 있어서,　
모든 파장 대역에서 비편광된 광을 검출하도록 구성된 검출 영역을　더 포함하는, 이미징 센서.
(12)
(10)의 이미징 센서에 있어서,　
제2 복수의 화소를 포함하는 검출 영역을　더 포함하고,
상기 제2 복수의 화소 중 제1 화소는 상기 적색 파장 대역내의 비편광된 광을 검출하도록 구성되고, 상기 복수의 화소 중 제2 화소는 상기 녹색 파장 대역내의 비편광된 광을 검출하도록 구성되고, 상기 복수의 화소 중 제3 화소는 상기 청색 파장 대역내의 비편광된 광을 검출하도록 구성되고,　
상기 복수의 화소는 베이어 어레이로 배열된, 이미징 센서.　
(13)
(1)의 이미징 센서에 있어서,
상기 복수의 화소 중 네 개는 네 개의 다른 편광 방향 중 한 방향의 광을 검출하도록 구성되고, 상기 복수의 화소 중 상기 네 개는 단일 세트로 배열되고, 상기 단일 세트는 4 행 × 4 열의 행렬로 배치되는, 이미징 센서.
(14)
(1)의 이미징 센서에 있어서,　
신호 처리 회로를　더 포함하고,　
상기 복수의 파장 검출 영역의 각각의 파장 영역은 상이한 복수의 화소를 포함하고,　
상기 신호 처리 회로는, 복수의 파장 영역의 각 화소에 의해 검출된 검출값에 기초하여 보다 넓은 범위에 대해 취득된 이미지를 생성하는, 이미징 센서.　
(15)
입사광을 이미징 센서로 검출하는 단계와,
상기 이미지징 센서로, 상기 입사광의 상이한 편광에 기초한 복수의 이미지 신호를 출력하는 단계를 포함하며,
상기 복수의 이미지 신호　중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
상기 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
상기 미리 결정된 제1 파장 대역과 상기 미리 결정된 제2파장 대역은 서로 다른 것인, 이미징 방법.　
(16)
(15)의 이미징 방법에 있어서,　
상기 제1의 하나 이상의 이미지 신호는 제1 파장 검출 영역으로부터의 것이고,　
상기 제2의 하나 이상의 이미지 신호는 제2 파장 검출 영역으로부터의 것인, 이미징 방법.　
(17)
(16)의 이미징 방법에 있어서,
상기　제1 파장 검출 영역과 상기 제2 파장 검출 영역은 서로 인접하는, 이미징 방법.
(18)
(15)의 이미징 방법에 있어서,　
상기 이미징 센서로, 비편광된 광에 기초하여 상기 복수의 이미지 신호 중 제3의 하나 이상의 이미지 신호를 출력하는 단계를　더 포함하는, 이미징 방법.
(19)
(15)의 이미징 방법에 있어서,　
상기 복수의 이미지 신호에 기초하여 보다 넓은 영역에 대해 취득된 이미지를 신호 처리 회로로 생성하는 단계를 더 포함하는 것을 특징으로 하는, 이미징 방법.　
(20)
전자 프로세서에 의해 실행될 때, 상기 전자 프로세서로 하여금 일련의 동작을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
상기 일련의 동작은,
이미지 센서로부터 복수의 이미지 신호를 수신하는 단계와,
상기 복수의 이미지 신호들의 조합에 기초한 이미지를 생성하기 위해 상기 복수의 이미지 신호를 처리하는 단계를 포함하며,
상기 복수의 이미지 신호 중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 입사광의 상이한 편광을 나타내며,
상기 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
상기 미리 결정된 제1 파장 대역과 상기 미리 결정된 제2 파장 대역은 서로 상이한,
비일시적 컴퓨터 판독 가능 매체.
또한 본 기술은 이하와 같은 구성도 취할 수가 있다.
(1) 파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역을 포함하며,
상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치되는,
검사 장치.
(2)
(1)의 검사 장치에 있어서,
상기 검출 영역은, 제1 방향을 따라 길쭉한 직사각형 형상으로 형성되며,
상기 제1 방향에 직교하는 제2 방향을 따라 보았을 때에, 검출가능한 모든 파장 대역에 대한 상기 검출 영역 각각이 적어도 하나의 개소(point) 이상에 배치되는, 검사 장치.
(3)
(2)의 검사 장치에 있어서,
상기 제2 방향은, 검사의 대상이 되는 물체로서의 검사 대상물에 대한 상대적인 이동 방향인,
검사 장치.
(4)
(1) 내지 (3) 중 어느 하나의 검사 장치에 있어서,
행 방향 및 열 방향을 따라 보았을 때에, 검출가능한 모든 파장 대역에 대한 상기 검출 영역 각각이, 적어도 하나의 개소(point) 이상에 배치되는, 검사 장치.
(5)
(1) 내지 (4) 중 어느 하나의 검사 장치에 있어서,
행방향으로 4개의 화소 및 열방향으로 4개의 화소를 가지는 적어도 16개의 상기 센서 소자를포함하는 각각의 검출 영역이, 각각의 파장 대역의 최소 검출 영역인, 검사 장치.
(6)
(1) 내지 (5) 중 어느 하나의 검사 장치에 있어서,
상기 센서 소자들은, 적어도 3 방향 이상의 편광 방향의 광을 검출하는, 검사 장치.
(7)
(1) 내지 (6) 중 어느 하나의 검사 장치에 있어서,
상기 검출 영역들은, 적색 파장 영역의 광을 검출하는 검출 영역, 녹색 파장 영역의 광을 검출하는 검출 영역, 청색 파장 영역의 광을 검출하는 검출 영역, 및 근적외 파장 영역의 광을 검출하는 검출 영역을 포함하는, 검사 장치.
(8)
(1) 내지 (7) 중 어느 하나의 검사 장치에 있어서,
모든 파장 대역을 가지는 비편광된 광을 검출하는 검출 영역을 더 포함하는, 검사 장치.
(9)
(1) 내지 (7) 중 어느 하나의 검사 장치에 있어서,
적색 파장 영역의 비편광된 광을 검출하는 센서 소자, 녹색 파장 영역의 비편광된 광을 검출하는 센서 소자, 및 청색 파장 영역의 비편광된 광을 검출하는 센서 소자가 베이어 배열로 배치된 검출 영역을 더 포함하는, 검사 장치.
(10)
(1) 내지 (9) 중 어느 하나의 검사 장치에 있어서,
네 방향의 편광 방향의 광을 검출하는 네개의 센서 소자가 하나의 세트로 배치되고, 상기 세트는 4행×4열의 행렬로 배치되는, 검사 장치.
(11)
(1) 내지 (10) 중 어느 하나의 검사 장치에 있어서,
각각의 센서 소자에 의해 검출된 검출치에 기초하여, 1회로 검출 가능한 크기보다 넓은 범위의 이미지를 생성하는 신호 처리를 실시하는 신호 처리부를 더 포함하는, 검사 장치.
(12)
파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역을 포함하며, 상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치되도록 구성된 검사 장치에 의한 검사 방법으로서,
각각의 센서 소자에 의해 검출된 검출치에 기초하여, 1회로 검출 가능한 크기보다 넓은 범위의 이미지를 생성하는 신호 처리를 실시하는 스텝을 포함하는, 검사 방법.
(13)
파장 대역별로 각각의 검출 영역이, 행렬로 배치되며 동일한 파장 대역의 광을 검출하는 복수의 센서 소자를 포함하는 복수의 검출 영역을 포함하며, 상기 복수의 센서 소자는, 서로 다른 편광 방향의 광을 검출하는 센서 소자가 인접하도록 배치되며, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치되는 검사 장치에 의해 실행가능한 프로그램으로서,
상기 프로그램은, 각각의 센서 소자에 의해 검출된 검출치에 기초하여, 1회로 검출 가능한 크기보다 넓은 범위의 이미지를 생성하는 신호 처리를 실시하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
(14)
파장 대역별로 각각의 검출영역이, 인접하는 센서 소자가 동일한 파장 대역을 가지는 서로 다른 편광 방향의 광을 검출하도록 구성된 복수의 센서 소자를 포함하는 복수의 검출 영역을 가지는 검출부의 출력에 기초하여, 각각의 검출 영역에 대해 취득된 이미지로부터 특징점을 검출하도록 구성된 특징점 검출부와,
검출된 상기 특징점에 기초하여, 상기 검출 영역마다의 이미지를 스티칭하여, 상기 검출부에 의해 취득 가능한 단일 이미지보다 큰 이미지를 생성하는 이미지 처리부를 포함하는, 신호 처리 장치.
(15)
(14)의 신호 처리 장치에 있어서,
검사의 대상이 되는 물체로서의 검사 대상물의 표면상에서의 광의 편광 상태를 나타내는 편광 파라미터를 추출하는 편광 파라미터 추출부와,
상기 편광 파라미터에 기초하여 상기 검사 대상물의 표면에서의 경면 반사 성분을 상기 이미지로부터 제거하 경면 반사 성분 제거부를
더 포함하는, 신호 처리 장치.
(16)
(15)의 신호 처리 장치에 있어서,
인접하는 센서 소자는, 편광 방향의 수에 대응하는 센서 소자들을 포함하는 세트로서 배치되며,
상기 편광 파라미터 추출부는, 각각의 세트의 센서 소자들간의 편광방향 차이에 대응하는 상기 센서 소자의 출력의 차이에 기초하여, 상기 편광 파라미터를 추출하는, 신호 처리 장치.
(17)
(15) 또는 (16)의 신호 처리 장치에 있어서,
상기 편광 파라미터 추출부에 의해 추출된 상기 편광 파라미터를 매핑한 이미지로부터 특징점을 검출하는 편광 파라미터 특징점 검출부를 더 포함하고,
상기 이미지 처리부는, 상기 편광 파라미터 특징점 검출부에 의해 검출된 특징점에 기초하여, 상기 검출 영역마다의 이미지를 스티칭하는, 신호 처리 장치.
(18)
(15) 내지 (17) 중 어느 하나에 있어서,
상기 검출 영역마다 상기 이미지를 분할하는 분할부를
더 포함하는 신호 처리 장치.
(19)
(18)의 신호 처리 장치에 있어서,
상기 편광 파라미터 추출부에 의해 상기 편광 파라미터가 추출된 후에, 상기 분할부에 의한 상기 검출 영역마다의 분할이 행해지는, 신호 처리 장치.
(20)
(18)의 신호 처리 장치에 있어서,
상기 분할부에 의해 상기 이미지가 상기 검출 영역마다 분할된 후에, 상기 편광 파라미터 추출부에 의한 상기 편광 파라미터의 추출을 행하는, 신호 처리 장치.
(21)
(18)의 신호 처리 장치에 있어서,
상기 이미지를 해석하는 해석부와,
상기 편광 파라미터 추출부에 의해 상기 편광 파라미터가 추출된 후에, 상기 분할부에 의한 상기 검출 영역마다의 분할을 하는 제1 처리, 및 상기 분할부에 의해 상기 이미지가 상기 검출 영역마다 분할된 후에, 상기 편광 파라미터 추출부에 의한 상기 편광 파라미터의 추출을 하는 제2 처리 중 어느 일방을, 상기 해석부에 의한 해석 결과에 따라 선택하는 처리 선택부를
더 포함하는, 신호 처리 장치.
(22)
(21)의 신호 처리 장치에 있어서,
상기 해석부는, 취득 가능한 1매분의 이미지를 구성하는 화소치의 히스토그램을 취득하고, 상기 검출 영역마다, 특정의 기준치보다 작은 화소치의 개수를 해석결과로서 취득하고,
상기 처리 선택부는,
모든 상기 검출 영역에 있어, 특정의 기준치보다 작은 상기 화소치의 개수가 문턱치 이상인 경우, 상기 제1 처리를 선택하고,
임의의 상기 검출 영역에 있어, 특정의 기준치보다 작은 상기 화소치의 개수가 문턱치 미만인 경우, 상기 제2 처리를 선택하는,
신호 처리 장치.
(23)
(21) 또는 (22)의 신호 처리 장치에 있어서,
상기 제1 처리에서는, 상기 편광 파라미터 추출부에 의해 추출된 상기 편광 파라미터에 기초하여, 상기 경면 반사 성분 제거부에 의해 경면 반사 성분이 제거된 상기 이미지가, 상기 분할부에 의해 분할되는, 신호 처리 장치.
(24)
(21) 또는 (22)의 신호 처리 장치에 있어서,
상기 제2 처리에서는, 상기 분할부에 의해 분할된 상기 이미지로부터 상기 경면 반사 성분 제거부에 의해 경면 반사 성분을 제거하는 것이, 상기 편광 파라미터 추출부에 의해 추출된 상기 편광 파라미터에 기초하여, 상기 분할부에 의해 분할된 상기 이미지마다 행해지는, 신호 처리 장치.
(25)
파장 대역별로 각각의 검출영역이, 인접하는 센서 소자가 동일한 파장 대역을 가지는 서로 다른 편광 방향의 광을 검출하도록 구성된 복수의 센서 소자를 포함하는 복수의 검출 영역을 가지는 검출부의 출력에 기초하여, 각각의 검출 영역에 대해 취득된 이미지로부터 특징점을 검출하는 스텝과,
검출된 상기 특징점에 기초하여, 상기 검출 영역마다의 이미지를 스티칭하여, 상기 검출부에 의해 취득 가능한 단일 이미지보다 큰 이미지를 생성하는 스텝을 포함하는 신호 처리 방법.
(26)
파장 대역별로 각각의 검출영역이, 인접하는 센서 소자가 동일한 파장 대역을 가지는 서로 다른 편광 방향의 광을 검출하도록 구성된 복수의 센서 소자를 포함하는 복수의 검출 영역을 가지는 검출부의 출력에 기초하여, 각각의 검출 영역에 대해 취득된 이미지로부터 특징점을 검출하는 스텝과,
검출된 상기 특징점에 기초하여, 상기 검출 영역마다의 이미지를 스티칭하여, 상기 검출부에 의해 취득 가능한 단일 이미지보다 큰 이미지를 생성하는 스텝을 포함하는 신호 처리를 컴퓨터에 실행시키는, 프로그램.
덧붙여 본 실시의 형태는, 상술한 실시의 형태로 한정되는 것은 아니고, 본 개시된 요지를 일탈하지 않는 범위에 대해 여러 가지의 변경이 가능하다.
11: 식생 검사 장치
12: 검출 장치
13: 신호 처리 장치
21: 이미지 데이터 해석부
22: 이미지 처리 선택부
23a: 제1 이미지 처리부
23b: 제2 이미지 처리부
24: 스티치 처리부
31a 및 31b: 편광 파라미터 추출부
32a 및 32b: 경면 반사 성분 제거부
33a 및 33b: 이미지 분할부
34a 및 34b: 제1의 특징점 검출부
35a 및 35b: 제2의 특징점 검출부
36a: 제2 이미지 분할부
51: 무인 항공기
104a, 104b, 104c 및 104d: 회전부
108a, 108b, 108c 및 108d: 모터
110: 제어부
120: 통신부
130: 센서부
132: 위치정보취득부
140: 기억부
150: 배터리

Claims (20)

  1. 복수의 파장 검출 영역을 포함하며,
    상기 복수의 파장 검출 영역은 적어도 제1 파장 검출 영역을 포함하고,
    상기 제1 파장 검출 영역은, 미리 결정된 제1 파장 대역내의 광을 검출하며 미리 결정된 서로 다른 편광 방향들의 광을 검출하도록 구성된 복수의 화소를 포함하는, 이미징 센서.
  2. 제1항에 있어서,
    상기 복수의 파장 검출 영역은, 제2 파장 검출 영역을 더 포함하고,
    상기 제2 파장 검출 영역은 미리 결정된 제2 파장 대역 내의 광을 검출하며 미리 결정된 서로 다른 편광 방향들의 광을 검출하도록 구성된 복수의 제2 화소를 포함하고,
    상기 미리 결정된 제2 파장 대역은 상기 미리 결정된 제1 파장 대역과 상이한, 이미징 센서.　
  3. 제2항에 있어서,
    상기　제1 파장 검출 영역과 상기 제2 파장 검출 영역은 서로 인접하는, 이미징 센서.　
  4. 제1항에 있어서,
    상기 복수의 화소는 화소군들을 포함하고, 상기　화소군들 중 하나의 화소군의 각 화소는 미리 결정된 편광 방향의 광을 검출하도록 구성되고,
    상기 화소군들은 상기 제1 파장 검출 영역내에서 반복되도록 배열되는, 이미징 센서.　
  5. 제1항에 있어서,
    상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은 제1 방향을 따라 길게 형성된 직사각형 형상으로 형성되고,
    상기 제1 방향과 직교하는 제2 방향에서 보았을 때,　상기 복수의 파장 검출 영역의 상기 각각의　파장 검출 영역은 일 이상의 개소(point)에 배치된, 이미징 센서.　
  6. 제5항에 있어서,
    상기 제2 방향은 검사 대상에 대한 상대적인 이동 방향인, 이미징 센서.
  7. 제1항에 있어서,
    상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은, 행 방향 및 열 방향에서 보았을 때의 일 이상의 개소(point)에 배치되는, 이미징 센서.
  8. 제1항에 있어서, 상기 복수의 파장 검출 영역의 각각의 파장 검출 영역은, 적어도 네 개의 행 화소와 적어도 네 개의 열 화소를 포함하는 적어도 열여섯 개의 화소의 어레이를 포함하는, 이미징 센서.
  9. 제8항에 있어서,
    상기 적어도 열여섯 개의 화소의 어레이는 적어도 셋 이상의 편광 방향에서 상기 광을 검출하도록 구성되는, 이미징 센서.
  10. 제1항에 있어서,
    상기 복수의 파장 검출 영역 중 제1 검출 영역은 적색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제2 검출 영역은 녹색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제3 검출 영역은 청색 파장 대역내의 광을 검출하도록 구성되고, 상기 복수의 파장 검출 영역 중 제4 검출 영역은 근적외 파장 대역내의 광을 검출하도록 구성되는, 이미징 센서.
  11. 제10항에 있어서,　
    모든 파장 대역에서 비편광된 광을 검출하도록 구성된 검출 영역을　더 포함하는, 이미징 센서.　
  12. 제10항에 있어서,　
    제2 복수의 화소를 포함하는 검출 영역을　더 포함하고,
    상기 제2 복수의 화소 중 제1 화소는 상기 적색 파장 대역 내의 비편광된 광을 검출하도록 구성되고, 상기 복수의 화소 중 제2 화소는 상기 녹색 파장 대역 내의 비편광된 광을 검출하도록 구성되고, 상기 복수의 화소 중 제3 화소는 상기 청색 파장 대역 내의 비편광된 광을 검출하도록 구성되고,　
    상기 복수의 화소는 베이어 어레이로 배열된, 이미징 센서.　　
  13. 제1항에 있어서,
    상기 복수의 화소 중 네 개는 네 개의 다른 편광 방향 중 한 방향의 광을 검출하도록 구성되고, 상기 복수의 화소 중 상기 네 개는 단일 세트로 배열되고, 상기 단일 세트는 4 행 × 4 열의 행렬로 배치되는, 이미징 센서.
  14. 제1항에 있어서,　
    신호 처리 회로를　더 포함하고,　
    상기 복수의 파장 검출 영역의 각각의 파장 영역은 상이한 복수의 화소를 포함하고,　
    상기 신호 처리 회로는, 복수의 파장 영역의 각 화소에 의해 검출된 검출값에 기초하여 보다 넓은 범위에 대해 취득된 이미지를 생성하는, 이미징 센서.　
  15. 입사광을 이미징 센서로 검출하는 단계와,
    상기 이미지징 센서로, 상기 입사광의 상이한 편광에 기초한 복수의 이미지 신호를 출력하는 단계를 포함하며,
    상기 복수의 이미지 신호　중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
    상기 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
    상기 미리 결정된 제1 파장 대역과 상기 미리 결정된 제2파장 대역은 서로 다른 것인, 이미징 방법.　
  16. 제15　항에 있어서,　
    상기 제1의 하나 이상의 이미지 신호는 제1 파장 검출 영역으로부터의 것이고,　
    상기 제2의 하나 이상의 이미지 신호는 제2 파장 검출 영역으로부터의 것인, 이미징 방법.　
  17. 제16항에 있어서,
    상기　제1 파장 검출 영역과 상기 제2 파장 검출 영역은 서로 인접하는, 이미징 방법.　
  18. 제15항에 있어서,　
    상기 이미징 센서로, 비편광된 광에 기초하여 상기 복수의 이미지 신호 중 제3의 하나 이상의 이미지 신호를 출력하는 단계를　더 포함하는, 이미징 방법.　
  19. 제15항에 있어서,　상기 복수의 이미지 신호에 기초하여 보다 넓은 영역에 대해 취득된 이미지를 신호 처리 회로로 생성하는 단계를 더 포함하는 것을 특징으로 하는, 이미징 방법.　
  20. 전자 프로세서에 의해 실행될 때, 상기 전자 프로세서로 하여금 일련의 동작을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 일련의 동작은,
    이미지 센서로부터 복수의 이미지 신호를 수신하는 단계와,
    상기 복수의 이미지 신호들의 조합에 기초한 이미지를 생성하기 위해 상기 복수의 이미지 신호를 처리하는 단계를 포함하며,
    상기 복수의 이미지 신호 중 제1의 하나 이상의 이미지 신호는 미리 결정된 제1 파장 대역에서의 입사광의 상이한 편광을 나타내며,
    상기 복수의 이미지 신호 중 제2의 하나 이상의 이미지 신호는 미리 결정된 제2 파장 대역에서의 상기 입사광의 상이한 편광을 나타내며,
    상기 미리 결정된 제1 파장 대역과 상기 미리 결정된 제2 파장 대역은 서로 상이한,
    비일시적 컴퓨터 판독 가능 매체.
KR1020197003298A 2016-08-17 2017-08-03 검사 장치, 검사 방법, 및 프로그램 KR20190039110A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-159854 2016-08-17
JP2016159854A JP6697681B2 (ja) 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム
PCT/JP2017/028290 WO2018034167A1 (en) 2016-08-17 2017-08-03 Examination device, examination method, and program

Publications (1)

Publication Number Publication Date
KR20190039110A true KR20190039110A (ko) 2019-04-10

Family

ID=60953922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003298A KR20190039110A (ko) 2016-08-17 2017-08-03 검사 장치, 검사 방법, 및 프로그램

Country Status (6)

Country Link
US (1) US10893221B2 (ko)
EP (1) EP3501169A1 (ko)
JP (1) JP6697681B2 (ko)
KR (1) KR20190039110A (ko)
CN (1) CN109565578B (ko)
WO (1) WO2018034167A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017005244T5 (de) * 2016-10-17 2019-07-11 Sony Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
JP6699802B2 (ja) * 2018-03-02 2020-05-27 Ｊｆｅスチール株式会社 炉の制御方法
CN113315934A (zh) * 2019-04-23 2021-08-27 Oppo广东移动通信有限公司 一种单色偏振式cis及图像处理方法、存储介质
JPWO2021039900A1 (ko) * 2019-08-28 2021-03-04
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
CN112629655B (zh) * 2019-10-09 2024-06-04 北京小米移动软件有限公司 移动终端
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
CN111161283B (zh) * 2019-12-26 2023-08-04 可牛网络技术（北京）有限公司 一种处理图片资源的方法、装置及电子设备
CN113835135B (zh) * 2020-06-23 2022-11-22 同方威视技术股份有限公司 太赫兹安检机器人
AU2021297512A1 (en) * 2020-06-24 2023-02-23 Rubens IP Pty Ltd Detecting plant product properties

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978A (ko) 1972-07-26 1974-03-26

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978B1 (ko) 1969-06-10 1974-09-04
CN101584222B (zh) * 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
US8463078B2 (en) * 2007-08-23 2013-06-11 Lockheed Martin Corporation Multi-bank TDI approach for high-sensitivity scanners
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
US8823848B2 (en) * 2009-06-11 2014-09-02 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
JP4932978B2 (ja) 2010-08-04 2012-05-16 パナソニック株式会社 撮像素子および撮像装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡
US20130070140A1 (en) * 2011-09-21 2013-03-21 Robert Gove Image sensors with multiple lenses of varying polarizations
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
WO2014112393A1 (ja) * 2013-01-21 2014-07-24 パナソニック株式会社 測定装置および測定方法
WO2015015722A1 (ja) * 2013-07-29 2015-02-05 パナソニックＩｐマネジメント株式会社 光学フィルタおよびそれを用いた偏光撮像装置
JP6260006B2 (ja) * 2013-07-30 2018-01-17 パナソニックＩｐマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US9686487B1 (en) * 2014-04-30 2017-06-20 Lockheed Martin Corporation Variable scan rate image generation
US20160006954A1 (en) * 2014-07-03 2016-01-07 Snap Vision Technologies LLC Multispectral Detection and Processing From a Moving Platform
US9876972B1 (en) * 2014-08-28 2018-01-23 Lockheed Martin Corporation Multiple mode and multiple waveband detector systems and methods
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
CN107709942B (zh) * 2015-06-26 2021-06-04 索尼公司 检查设备、感测设备、灵敏度控制设备、检查方法和程序
CN107924923B (zh) * 2015-07-30 2022-03-18 索尼半导体解决方案公司 固态摄像装置和电子设备
CN108353153B (zh) * 2015-11-10 2020-10-23 索尼公司 图像处理装置和图像处理方法
JP6650839B2 (ja) * 2016-06-24 2020-02-19 日立造船株式会社 偏光カメラ及び画像処理方法
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978A (ko) 1972-07-26 1974-03-26

Also Published As

Publication number Publication date
CN109565578A (zh) 2019-04-02
EP3501169A1 (en) 2019-06-26
WO2018034167A1 (en) 2018-02-22
JP2018029251A (ja) 2018-02-22
JP6697681B2 (ja) 2020-05-27
CN109565578B (zh) 2022-03-11
US20190174077A1 (en) 2019-06-06
US10893221B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
KR20190039110A (ko) 검사 장치, 검사 방법, 및 프로그램
EP3491817B1 (en) Signal processing device, signal processing method, and program
JP2018029251A5 (ko)
US11158039B2 (en) Using 3D vision for automated industrial inspection
EP3496035A1 (en) Using 3d vision for automated industrial inspection
US11423632B2 (en) Device and method for determining surface irregularities with irradiation angle
US20190285541A1 (en) Sensing system, sensing method, and sensing device
Liang et al. 3D plant modelling via hyperspectral imaging
Czymmek et al. Vision based crop row detection for low cost uav imagery in organic agriculture
JP6768203B2 (ja) 検査装置および検査方法、並びにプログラム
KR101677822B1 (ko) 주사형 전자 현미경의 화상 처리 장치 및 주사 방법
KR102532031B1 (ko) 작물 영상 기반 작물 생육 계측 시스템, 및 방법
US10614275B2 (en) Position specifying apparatus and position specifying method
US20100202688A1 (en) Device for segmenting an object in an image, video surveillance system, method and computer program
CN115552585A (zh) 用于晶片对准的系统、方法及目标
Müller-Rowold et al. Hyperspectral panoramic imaging
JP7151873B2 (ja) 検査装置
Yang et al. Development of high-resolution 3d phenotyping system using depth camera and rgb camera
US11937528B2 (en) Virtual SPAD meter
JP4167482B2 (ja) 画像変換方法及び画像変換装置
CN118317212A (zh) 一种校正图像动态坏点的方法及装置
CN113228629A (zh) 摄像装置
JP6053585B2 (ja) 光学センサ性能評価装置及び光学センサ性能評価方法
CN118317215A (zh) 一种校正图像动态坏点的方法及装置
JP2019091310A (ja) 画像処理装置、摘み取り装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right