KR20200127016A - 살아있는 표본의 원격 특성화 방법 및 장치 - Google Patents

살아있는 표본의 원격 특성화 방법 및 장치 Download PDF

Info

Publication number
KR20200127016A
KR20200127016A KR1020207028071A KR20207028071A KR20200127016A KR 20200127016 A KR20200127016 A KR 20200127016A KR 1020207028071 A KR1020207028071 A KR 1020207028071A KR 20207028071 A KR20207028071 A KR 20207028071A KR 20200127016 A KR20200127016 A KR 20200127016A
Authority
KR
South Korea
Prior art keywords
image
map
living specimen
specimen
living
Prior art date
Application number
KR1020207028071A
Other languages
English (en)
Inventor
롤단 이반 아마트
Original Assignee
터치레스 아니말 메트릭스, 에스엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 터치레스 아니말 메트릭스, 에스엘 filed Critical 터치레스 아니말 메트릭스, 에스엘
Publication of KR20200127016A publication Critical patent/KR20200127016A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20041Distance transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

살아있는 표본의 원격 특성화 방법 및 장치
이 방법은 살아있는 표본의 이미지를 획득하고, 분할된 이미지를 제공하는 이미지를 분할하는 단계; 상기 이미지의 여러 부분까지의 거리를 측정하고, 여러 거리 측정치를 제공하며, 살아있는 표본의 분할된 이미지에 포함된 것들의 하위 집합을 선택하는 단계; 분할된 이미지에 포함된 거리 측정 내에서 살아있는 표본의 깊이를 특성화하도록 살아있는 표본의 형상을 특성화함으로써 분할된 이미지 내에 포함된 상이한 위치를 참조하는 상기 여러 측정치 및 상기 분할된 이미지를 처리하는 단계; 및 형상 분석 맵과 깊이 프로파일 분석 맵을 비교하는 단계를 포함한다. 상기 비교 결과가 내부에 포함될 경우, 살아있는 표몬의 신체 맵 및/또는 신체 크기 파라미터 및/또는 상기 해부학적 기준점의 위치 또는 교정 및/또는 자세 파라미터를 포함한 살아있는 표본의 주어진 범위 파라미터가 추가로 결정된다.

Description

살아있는 표본의 원격 특성화 방법 및 장치
본 발명은 일반적으로 자동화된 측정 방법 및 시스템 분야에 관한 것이다. 특히, 본 발명은 멀리서, 즉 원격으로 또는 비접촉 방식으로 가축 동물과 같은 살아있는 표본을 특성화하는 방법 및 장치에 관한 것이다. 특성화에는 방향, 크기 및 자세 등 살아있는 표본의 크기 파라미터 계산 및/또는 살아있는 표본의 3D 표현이 포함된다.
이 문서에서 "맵"은 여러 공간적 관계 또는 일련의 특징 또는 서로 다른 정보가 관련된 그래프(1, 2 또는 다차원)로 이해되어야한다. 따라서 맵은 일련의 신체 크기 및 방향이거나, 상이한 위치들에서의 체온 관계일 수 있다. 이것은 특히 형상 분석 맵, 깊이 프로파일 분석 맵 및 신체 맵에 적용된다.
살아있는 표본의 원격 특성화를 위한 방법 및/또는 장치가 당 분야에 알려져 있다.
예를 들어, 본 발명의 동일한 출원인의 EP 3158289호는 돼지 또는 다른 가축과 같은 물체의 자동 파라미터 계산을 위한 방법 및 장치에 관한 것이다. 이 방법은: 일 장면에서 적어도 하나의 물체의 2차원 이미지를 2차원 카메라에 의해 획득하는 단계; 획득된 2개의 2차원 이미지 내에서 물체를 식별하는 단계; 물체와 2차원 카메라 사이의 거리를 고려하여 획득 및 분할된 2차원 이미지에서 물체의 픽셀의 크기를 제 1 수단에 의해 계산하는 단계; 및 상기 계산된 픽셀의 크기 및 물체의 선험적 모델을 사용함으로써 물체의 적어도 크기, 치수, 신체 부위 치수, 신체 특징, 중량 및/또는 부피를 포함하는 여러 파라미터를 제 2 수단에 의해 계산하는 단계를 포함하되, 여기서 상기 선험적 모델은 2차원 카메라로 이전에 획득된 여러 물체(200)를 나타내는 여러 부분, 윤곽 또는 형상을 상기 여러 물체의 여러 파라미터와 연동시키는 정보를 포함한다.
US-5474085호는 감시 구역에 있는 동물의 수, 무게, 위치, 온도, 시체 pH 등 중 하나 이상을 결정하기 위해 열 화상 이미지 감지 시스템을 사용하는 가축의 원격 감지 방법 및 장치를 제공한다. 상기 영역의 픽셀을 포함하는 열 화상 이미지는 마이크로 컴퓨터의 디지타이징 보드로 전송되며, 여기서 이미지는 숫자 배열로 변환된다. 그런 다음 소프트웨어적으로 숫자를 해석하여 원하는 정보를 해독 가능한 형식으로 제공한다.
US-5412420호는 젖소와 같은 동물의 3차원 표현형 특성을 측정하는 시스템을 개시한다. 이 시스템은 Lidar 카메라의 다수의 변조된 레이저 광선을 사용하여 동물의 평방 인치당 약 100 포인트를 측정한다. 각 레이저 빔은 강도, 수평, 수직 및 깊이 치수를 측정하고 이 측정 값을 결합하여 시스템은 동물의 매우 정확한 3차원 이미지를 구성한다. 시스템은 동물에서 선택한 지점의 측정치들을 결합하여 동물의 형태에 대한 원하는 표현형 측정을 계산한다. 그런 다음 시스템은 나중에 사용할 수 있도록 각 동물에 대한 측정 값을 컴퓨터 데이터베이스에 저장한다. 이 시스템은 또한 저장된 다른 이미지와 비교되는 동물 표시의 광도 이미지를 저장한다.
US-A1-20150302241은 산업 환경에서 피험자의 건강과 웰빙을 개선하기 위한 시스템 및 방법을 공개한다. 시스템은 피험자의 하나 이상의 특징을 관찰하도록 배열된 카메라 및 카메라에 연결된 프로세서를 포함할 수 있으며, 프로세서는 그로부터 획득된 하나 이상의 이미지를 분석하여 이미지로부터 하나 이상의 특징을 추출하고, 피험자의 상태의 결과를 예측하기 위해 그 안에 중첩된 하나 이상의 특징 또는 하위 특징을 분석한다. 특히 시스템은 분석에 기초하여 진단 신호(예: 결과, 발열, 유방염, 바이러스, 세균 감염, 발정 등)를 생성하도록 구성될 수 있다.
문서“Black cattle body shape and temperature measurement using thermography and KINECT sensor”에서는 흑우 체형 및 체온 측정 시스템을 소개한다. 이 문서의 저자가 지적했듯이 성장 과정에서 일본 흑우의 품질을 주기적으로 평가하는 것이 중요하며, 소의 무게와 크기뿐만 아니라 자세, 형상 및 온도도 1 차 평가 기준으로 추적해야한다. 이 연구에서는 KINECT 센서와 열 화상 카메라가 체형과 체온을 파악한다. 전체 시스템은 공통 좌표계에서 작동하도록 보정된다. 포인트 클라우드 데이터는 상이한 각도에서 얻어지고 컴퓨터에서 재구성된다. 열 데이터도 캡처된다. 포인트 클라우드 데이터와 열 정보는 소의 방향을 고려하여 결합된다. 수집된 정보는 소의 상태를 평가하고 추정하는 데 사용된다.
그러나 이러한 선행 기술 문서 중 어느 것도 살아있는 표본이 농장이나 자연 환경에서 자유롭게 움직이는 동안 살아있는 표본의 3D 방향 및/또는 자세 파라미터의 신뢰할 수 있고 재현 가능하며 정확한 추정을 얻기 위해 빠르고(초 단위 이하) 자동화된 측정을 수행하고/하거나 신체 맵을 계산하지 못하고 있다.
본 발명은 제 1 형태에 따라, 동물이 농장이나 자연 환경에서 자유롭게 이동하는 동안, 원거리에서, 살아있는 표본, 바람직하게는 돼지, 황소, 암소, 양, 육계, 오리 또는 닭, 등과 같은 가축 동물의 특성화를 위한 방법을 제안한다. 이 방법은 복잡한 형상을 가진 모든 물체의 특성화에 적용할 수 있다.
이 방법은 a) 카메라와 같은 이미지 획득 유닛을 통해 살아있는 표본의 하나의 이미지를 획득하고, 처리 유닛에 의해 획득된 이미지를 추가로 분할하여 분할된 이미지를 제공하는 단계; b) 원격 측정 장치(이미지 획득 장치의 주어진 거리에서)에 의해, 획득된 이미지의 여러 부분까지의 거리를 측정하고, 여러 거리 측정을 제공하며, 살아있는 표본의 분할된 이미지에 포함된 거리 측정의 하위 집합을 선택하는 단계; 및 c) (다른 처리 유닛과 동일하거나 상이한) 처리 유닛에 의해, 분할된 이미지 및 분할된 이미지 내에 포함된 상이한 위치를 참조하는 상기 여러 거리 측정치를 처리하는 단계를 포함한다.
제안된 방법에 따르면, 단계 c)는 살아있는 표본의 형상을 특성화하고, 살아있는 표본의 깊이를 평가하고, 살아있는 표본의 신체 부위를 나타내는 품질 파라미터/추정치를 얻기 위해 상기 이전 특성화의 결과를 비교하는 것을 포함한다. 또는 살아있는 표본 또는 해부학적 참조의 신체 부분이 실제로 측정되고 적절하게 배치되며, 또는, 더 나은 추정치를 찾아야한다.
즉, 비교 결과가 주어진 범위 내에 포함되어 수행된 측정이 정확하다는 것을 의미하는 경우, 방법은 살아있는 표본의 일부 파라미터(예: 살아있는 표본의 신체의 깊이 방향 및/또는 굽힘과 같은 자세 파라미터, 해부학적 기준점의 위치 또는 수정, 신체 크기 파라미터 등)를 추가로 결정할 수 있고, 및/또는 살아있는 표본의 신체 맵(바람직하게는 3D)을 추가로 나타낼 수 있다. 반대로 비교 결과가 주어진 범위를 벗어나면 수행된 측정이 정확하지 않음을 의미하는데 이 경우에, 이미지가 획득되는 동안 살아있는 표본이 이동했기 때문에 이 방법은 이전 단계 a)에서 c)를 반복하여, 새로운 깊이 프로파일 분석 맵과 새로운 형상 분석 맵을 얻는 단계를 더 포함할 수 있다. 또는 결과가 범위를 벗어난 경우 아무 작업도하지 않고 관련 오류가 있는 살아있는 표본의 신체 맵을 표시하도록 선택할 수 있다.
바람직하게는, 형상의 특성화는 적어도 분할된 이미지 내에서 다음 중 하나 이상을 계산하는 알고리즘을 구현하여 수행된다: 살아있는 표본의 중심, 기준점에 대한 분할된 이미지 내의 살아있는 표본의 방향, 분할된 이미지 내에서 살아있는 표본의 해부학적 기준점의 위치를 결정하여 살아있는 표본의 특정 신체 부위. 형상 특성화의 결과는 형상 분석 맵을 제공한다.
깊이의 특성화는 또한 바람직하게는 거리 측정 내에서 살아있는 표본의 해부학적 기준점의 위치 결정에 의해 살아있는 표본의 특정 신체 부분을 적어도 분할된 이미지에 포함된 거리 측정치 내에서 계산하는 알고리즘을 구현함으로써 수행된다. 깊이 특성화의 결과는 하나의 깊이 프로파일 분석 맵을 제공한다(둘 이상을 제공할 수 있음).
특성화 단계의 순서는 무관하다는 점에 유의해야한다. 또한 두 특성화를 동시에 수행할 수 있다.
또한 제안된 방법에 따라 이미지 획득 장치(예: RGB, 열 화상 또는 두 카메라 모두) 및 원격 측정 장치(예: Lidar 시스템 또는 TOF(Time-of-Flight) 시스템)가 보정된다. 두 유닛은 바람직하게는 그들 사이에 주어진 거리에 배치되고 특히 공통 지지대에 부착된다.
일 실시예에서, 방법은 이미지 획득 유닛과 살아있는 표본 사이의 적어도 한 각도의 평균, 살아있는 표본 형상의 굽힘 또는 평탄도, 바닥에 대한 이미지 획득 유닛의 높이 또는 살아있는 표본의 높이 및/또는 각도에 대한 이미지 획득 유닛의 높이 바닥에 대한 이미지 획득 유닛의 광축의 각도와 같은 일부 추가 파라미터를 획득하도록 이미지 획득 유닛과 살아있는 표본의 상대적 위치의 3차원 정보의 일부를 추가로 추정한다.
일 실시예에서, 살아있는 표본의 방향은 스퀘어 피팅 함수, 가우스 모델, 주성분 분석(PCA), 최소 면적 직사각형, 허프 변환 또는 2차원 푸리에 변환의 주축 대비를 통해 분할된 이미지를 타원에 피팅하여 계산된다.
형상 분석 맵에서 신체 부위가 계산되는 경우, 이 신체 부위는 분할된 이미지 내에서 햄이나 허벅지를 포함하는 부분의 반경을 계산하는 원형 허프 변환에 의해 계산될 수 있다. 대안으로, 신체 부위는 중심과 방향 축 주위에 포물선을 맞춰 분할된 이미지 내에서 살아있는 표본의 꼬리를 감지하는 2 차 다항식 함수에 의해 계산될 수 있다.
또한 형상 분석 맵을 개선하기 위해 추가 계산을 수행할 수 있다. 예를 들어, 일 실시예에서, 분할된 이미지 내의 살아있는 표본의 윤곽이 계산되고, 계산된 윤곽을 극좌표로 코딩하고, 상기 극좌표에 푸리에 변환 함수를 추가로 적용하여 여러 푸리에 계수를 제공한다. 푸리에 변환의 절대값(moudulus)은 회전 불변이고, 인수(argument)는 회전 정보를 포함한다.
다른 실시예에서, 분할된 이미지는 이미지 모멘트, 예를 들어 푸리에 변환과 유사한 방식으로 형상의 표현인 여러 계수를 제공하는 통계 모멘트, 중심 모멘트 또는 Hu 모멘트로 코딩될 수 있다. 그러나 이 작업은 분할된 영역, 윤곽선 또는 윤곽선의 하위 집합에 적용될 수 있다.
다른 실시예에서, 살아있는 표본의 윤곽이 계산되고, 특히 유클리드, 측지선, 도시 블록을 포함하는 거리 메트릭에 기초하여 계산된 윤곽 내에서 거리 메트릭이 추가로 계산된다.
다른 실시예에서, 분할된 이미지로부터 살아있는 표본의 윤곽은 살아있는 표본의 골격의 이미지를 제공하는 골격화 함수에 의해 계산된다. 선택적으로, 상기 골격 내의 분기점 및 종점은 다른 신체 부위의 해부학적 위치를 추정하기 위해 추가로 계산될 수 있다.
또 다른 실시예에서, 분할된 이미지의 거리 변환이 계산된다.
단계 a)는 살아있는 표본의 상이한 자세를 캡처할 수 있도록 서로 다른 기간에 살아있는 표본의 여러 이미지를 수집하는 것을 포함할 수 있다. 이 경우 획득한 각 이미지에 대해 일련의 거리 측정이 획득된다.
후자의 경우 각 획득에 대해 획득한 정보를 통합/결합하여 쌍을 이루는 깊이 프로파일 분석 맵과 형상 분석 맵의 시퀀스를 얻을 수 있다. 그 다음, 방법은 맵의 각 쌍에 점수를 할당하고 가장 높은 점수를 갖는 쌍을 선택하는 단계를 더 포함할 수 있다. 대안으로, 이 방법은 모든 획득 내에서 해부학적 기준점을 추가로 일치시키고 깊이 프로파일 분석 맵과 해부학적 기준점의 다른 조각을 축적하여 살아있는 표본의 3차원 재구성을 계산하거나 심지어 방법이 각각의 신체 맵을 계산할 수 있다. 각각의 획득에 대해 신체 맵을 계산하고, 각 신체 맵의 모든 정보를 축적하여, 확장된(또는 개선 된) 신체 맵으로 점수화한다.
살아있는 표본의 신체 맵이 표현된 경우, 이 신체 맵은 이미지 획득 유닛의 특징(예: 색상, 온도 등)을 기반으로 신체 맵의 특성을 계산하거나 이전에 보정된 추가 장치(예: 고해상도 열 화상 카메라, 스펙트럼 속성)에 의해 측정된 추가 특성을 계산하는데 사용될 수 있다.
획득한 이미지에 하나보다 많은 살아있는 표본이 포함되어있을 수 있다. 이 경우 제안된 방법은 일 실시예에서 이미지에 포함된 각 살아있는 표본에 대해 획득한 형상 분석 맵과 깊이 프로파일 분석 맵을 계산하여 비교할 수 있으므로 하나의 이미지에 포함된 모든 표본이 단일 획득에서 특성화된다.
본 발명은 또한 다른 측면에 따라 멀리서(원격 거리에서) 살아있는 표본의 특성화를 위한 장치를 제안한다. 장치는 하나 이상의 살아있는 표본의 하나 이상의 이미지를 획득하기 위한 이미지 획득 유닛; 획득된 이미지를 분할하여 분할된 이미지를 제공하는 제 1 처리 유닛; 획득된 이미지의 여러 부분까지의 거리를 측정하고, 여러 거리 측정치를 제공하며, 살아있는 표본의 분할된 이미지에 포함된 거리 측정치의 하위 집합을 측정하는 원격 측정 장치; 및 분할된 이미지 및 분할된 이미지 내에 포함된 상이한 위치를 참조하는 상기 여러 거리 측정치를 처리하도록 구성된 제 2 처리 유닛을 포함한다.
바람직하게는, 이미지 획득 유닛 및 원격 측정 유닛은 동일한 지지체 내에서 주어진 거리에 배열된다.
제 1 및 제 2 처리 유닛은 독립적인 유닛이거나 동일한 유닛일 수 있다.
제안된 장치에 따르면, 제 2 처리 유닛은 본 발명의 제 1 측면의 방법을 구현하도록 적응되고 구성된다. 또한 이미지 수집 장치와 원격 측정 장치가 보정된다.
이미지 획득 시스템은 적색 채널에서 확장된 NIR이 있는 RGB 카메라 및/또는 열 화상 카메라일 수 있다. 원격 측정 장치는 회전하는 Lidar, 스캐닝 Lidar, 복수의 Lidar, TOF(time-of-flight) 센서, TOF 카메라 또는 단일 지점 또는 다중 지점을 기반으로 움직이는 부품이 있거나 없는 기타 원격 측정 수단일 수 있다.
이전 및 다른 장점 및 특징은 예시적이고 비 제한적인 방식으로 고려되어야하는 첨부된 도면을 참조하여 실시예에 대한 다음의 상세한 설명으로부터보다 완전하게 이해될 것이다.
도 1 및 2는 원거리의 살아있는 표본의 특성화를 위한 방법의 두 가지 실시예를 예시하는 2 개의 흐름도이다.
도3은 형상 분석 맵을 얻기 위해 단독으로 또는 조합하여 사용할 수 있는 세 가지 옵션을 보여준다. 도 3a는 꼬리가 깊이 프로파일의 최소 거리로 검출되는 세 가지 획득을 보여 주며, 이는 중앙 기둥의 깊이 프로파일에 가장 가까운 중심을 가짐으로써 형상 분석과 일치한다. 도 3b는 꼬리가 깊이 프로파일의 최소 거리로 검출되는 동일한 3 개의 획득을 보여 주며, 이것은 중앙 기둥의 깊이 프로파일에 가장 평행한 축을 가짐으로써 형상 분석과 일치한다. 도 3c는 꼬리가 깊이 프로파일의 최소 거리로 감지되는 동일한 세 가지 획득을 보여 주며, 이는 중앙 열의 오른쪽에 꼬리를 배치하여 형상 분석과 일치한다.
도 4a는 실시예에 따라 중심 및 추정된 배향의 계산이 수행되는 방법을 예시한다. 도4b는 방향을 수정한 후 윤곽의 왼쪽(점선)과 오른쪽(실선) 극단에 두 개의 포물선이 어떻게 장착되는지 보여준다.
도 5는 등고선으로서 유클리드 메트릭에 기초한 이진 이미지의 거리 변환의 표현을 보여준다. 틱(Tick) 파선은 분할된 이미지의 경계를 보여준다. 경계에서 더 먼 지점에 대해 이미지 점수가 더 높다.
도 6a 이미지 골격화; 도 6b의 삼각형은 끝점을 나타내고 원은 분기점을 나타낸다. 도 6c의 직선은 해부학적 기준점의 제 1 추정인 앞발, 크로스(cross), 엉덩이 및 뒷발 사이의 연결을 표시한다. 도 6d의 추가 선은 머리와 꼬리(흰색 원 포함) 및 중앙 몸통 너비와 같은 다른 기준점에 대한 연결을 표시한다.
도 7은 형상 분석 맵과 Lidar 스캐닝의 위치를 일치시켜 여러 이미지 포인트의 특정 깊이를 알 수 있는 방법을 보여준다.
도 8 상단 행은 일 실시예에 따라 회전하는 Lidar에 의한 분할된 이미지 및 원격 측정의 시퀀스를 보여준다. 중앙 행은 이미지에서 거리 측정 및 수평 픽셀 위치를 보여준다. 맨 아래 행은 실제 공간으로의 거리 및 픽셀 위치 변환을 보여준다.
도9는 특정 신체 특성을 측정하고 측정 품질을 추정하기 위해 측정된 깊이 프로파일 분석 맵의 각도 보정을 보여준다.
도 10a에서 수정된 깊이 프로파일의 보간과 형상 및 깊이 프로파일 분석에 의해 계산된 신체 부위의 주석으로서, 두 분석의 해부학적 위치 계산을 비교할 수 있다. 도 10a의 프로파일 분석에 의해 계산된 분할된 이미지, 보간된 깊이 프로파일 분석 맵 및 신체 부위의 이진 윤곽을 갖는 도 10b 원본 이미지.
도 11은 해부학적 기준점이 3차원 축 내에 위치하는 돼지의 신체 맵의 예이다. 중심은 (0,0,0)이고 꼬리나 머리와 같은 신체의 다른 부분은 예를 들어 좌표를 센티미터로 표시하는 실제 공간에 매핑된다.
도 12a와 12b는 서로 다른 두 순간에 획득한 동일한 돼지의 두 이미지이다. 울타리가 (A)의 오른쪽에 보이는 반면 벽이 (B)의 유일한 배경이다. 도 12c 및 12d는 분할된 이미지의 골격화이며 신체 부위는 도6의 형상 분석 및 방법에 의해 획득된다.
도 13a는 도 12에 도시된 2 개의 획득의 중첩된 이진 윤곽 및 기준점 및 신체 부분을 도시한다. 도 13a는 병진 및 회전에 의해 정규화된 공간을 도시한다. 도 13c는 기준점에 기초한 공간 변환을 나타낸다.
도 14a 및 14b는 각각 도 8의 좌측 및 중앙 열로부터의 프로파일 분석으로부터의 윤곽, 깊이 프로파일, 기준점을 도시한다. 도 14c는 이미지(B)상의 보정된 좌표를 갖는 기준점 및 깊이 프로파일의 중첩을 도시한다. 그리고도 도 13d는 기준점의 겹침, 윤곽 및 2 개의 깊이 프로파일 분석 맵의 축적을 보여준다.
도 15는 신체 부위 또는 기준점의 해부학적 관계를 보여준다.
도 16은 파이(phi) 및 시터(theta) 각의 명확한 관계에 대한 평면도 및 정면도 투영을 예시한다. 이 그림에서 어떤 각도와 거리에서도 이미지를 얻을 수 있음을 알 수 있다.
도 17a는 뿔의 끝, 뿔과 입 사이의 중심점을 감지하고 이 쌍점과 관련하여 기준선을 추적하여 형상 맵을 만드는 황소의 이미지 분할이며, 점은 (도17d)의 깊이 프로파일을 측정하는 이미지 위치를 나타낸다. 도 17b는 골격화 및 분기점(원) 및 종점(삼각형)의 탐지에 기반한 형상 분석을 보여준다. 도 17c는 분기점 및 종점의 특정 위치를 보여주는 도 17b의 확대도이다. 그리고도 17d는 뿔의 기저부와 머리 꼭대기의 깊이 프로파일이다.
도 18은 뿔의 위치를 파악하고 총 길이를 계산하기 위한 머리 형상 분석 맵을 보여준다.
도 19a 원본 이미지; 도 19b는 캐니 에지로부터의 윤곽 및 내부 윤곽; 및 도 19c는 형상 분석 맵의 기초로서 골격화, 분기점 및 종점.
도 20a는 점선으로 나타낸 방향에 수직 인 축으로서의 깊이 프로파일 분석 맵의 이미지 위치, 윤곽선으로서의 분할된 이미지, 백색 원으로서의 중심이다. 도 20b는 실제 공간에서 획득된 깊이 프로파일 분석 맵이다.
도 21a는 형상 분석 맵의 점선 또는 특정 지점으로 나타낸 머리와 꼬리를 통과하는 궤적으로서 윤곽, 중심 및 백색 원으로서의 중심 및 프로파일의 깊이의 이미지 위치로서 분할된 이미지이다. 도 21b는 획득한 실제 공간에서의 깊이 프로파일 분석 맵이다.
도 22는 열화상에서 겹쳐진 분할 영역과 Lidar 측정을 보여주는 작은 점이 있는 비디오 이미지이다.
도 23은 꼬리와 어깨 감지를 위한 TOF 이미지의 거리(왼쪽)와 Hough 변환의 계산(오른쪽), 몸을 스캔하여 척추를 중앙 지점으로 추적하고 방법 2에서 추가 해부학적 지점을 계산하는 것을 보여준다.
도 24는 다른 시스템(즉, 열 캠)에서 추가 기능을 추출할 수 있는 신체 맵 처리의 예를 보여준다.
본 발명은 살아있는 표본을 특성화하기 위해 살아있는 표본의 자동 측정을 수행하는 방법 및 장치를 제공한다.
도 1은 일 실시예에 따른 제안된 방법의 흐름도를 그래프로 도시한다. 이 실시예에 따르면, 방법은 이 경우 돼지의 특정 경우(어떤 살아있는 표본이 특성화될 수 있으므로 제한되지 않음) 열 카메라 또는 RGB 카메라와 같은 이미지 획득 유닛을 통해 살아있는 표본의 하나의 이미지를 획득하며, 분할된 이미지를 제공하도록 획득된 이미지를 더 분할한다(단계 a). 동시에 또는 나중에 이 방법은 원격 측정 장치를 통해 상기 획득된 이미지의 여러 부분까지의 거리를 측정하여 여러 거리 측정을 제공하고 돼지의 분할된 이미지에 포함된 거리 측정의 하위 집합을 선택한다(단계 b). 분할된 이미지와 거리 측정이 처리된다(단계 c). 이 특정 실시예에서, 처리 단계는 형상 분석 맵을 계산하는 알고리즘을 통해 돼지의 형상을 특성화하는 단계(단계 c1); 깊이 프로파일 분석 맵을 계산하는 알고리즘을 통해 돼지의 깊이를 특성화하는 단계(단계 c2)를 포함한다. 마지막으로, 이 방법은 형상 분석 맵과 깊이 프로파일 분석 맵의 비교를 포함한다(단계 c3). 비교 결과/점수는 돼지의 파라미터가 충분한 품질로 계산될 수 있는지 및/또는 신체 맵(도2 참조), 바람직하게는 3D 표현이 충분한 품질로 계산될 수 있는지, 및/또는 방법이 반복, 교정 또는 중단되어야하는지를 결정하는데 사용될 수 있다.
획득된 이미지는 바람직하게는 모든 유형의 2차원 이미지(예를 들어, 그레이 스케일, 컬러, 열 또는 컬러 및 열)이다. 획득한 이미지를 분할된 이미지로 변환하는 모든 분할 방법을 사용할 수 있다. 분할된 이미지는 하나의 이미지(예: 회색조, 색상, 열 화상 또는 이들의 조합)를 처리하고 이미지의 픽셀을 (1) 돼지에 포함된 픽셀과, (2) 돼지에 포함되지 않은 픽셀의 두 클래스로 나눈 결과이다.
분할된 이미지는 다음의 상이한 방식으로 코딩될 수 있다.(1) 돼지에 포함된 픽셀은 최대 값으로 설정되고 돼지에 포함되지 않은 픽셀은 최소값으로 설정되는 이진 맵; (2) 돼지 가장자리에 포함된 픽셀을 최대 값으로 설정하고 돼지에 포함되지 않은 픽셀을 최소값으로 설정하는 이진 윤곽선;(3) 경계의 위치가 벡터로 설정되는 벡터.
원격 측정 장치는 분할된 이미지 내에 포함된 적어도 두 지점의 거리를 측정하도록 구성된다. 거리 측정은 다른 방법으로 얻을 수 있다. 예를 들어, 원격 측정 장치는 회전 속도가 10Hz(각도와 거리의 전체 판독을 위해 100ms)이고 분해능이 1도 미만인 회전하는 Lidar로 구현할 수 있다. 이미지 획득 장치 및 Lidar의 이전 보정 또는 열 화상 카메라를 가시 또는 근적외선 카메라로 보정한 다음 Lidar로 보정하면 Lidar 좌표(예: 각도 및 측정된 거리)를 이미지 좌표(예: 2차원 이미지의 행과 열)로 변환하는 데 사용되는 테이블을 만들 수 있다. 또는, Lidar 파장만 감지하는 특정 광학 필터가 있는 전용 카메라를 사용하여 이미지 좌표 및 Lidar 정보의 정확한 위치를 지정할 수 있다. 또는 원격 측정 장치는 거리에 따라 2차원 이미지를 제공하는 TOF 기술이 적용된 새로운 유형의 카메라로 구현될 수 있다. 속도는 초당 10 프레임을 초과하며 경우에 따라 1000fps를 달성할 수 있다. 이미지 획득 유닛과 TOF 센서 또는 카메라의 이전 보정을 통해 이미지 획득 유닛의 픽셀과 TOF 센서 또는 카메라의 픽셀 간의 관계를 찾을 수 있다.
원격 측정 장치 및 이미지 획득 장치의 보정은 해당 평면에 대해 임의의 두 깊이에 있는 평면에 위치한 한 쌍의 가열 저항기로 수행할 수 있다. 이 경우 획득 유닛은 획득이 평면에 평행하고 열 저항기가 열 화상 이미지의 수직 축 중심 주위에 배치되는 방식으로 배치되는 열 화상 카메라이다. 회전 Lidar는 각 열 저항기의 거리 d1 및 d2가 Lidar 좌표(회전하는 Lidar의 경우 각도와 거리)에 대해 dL의 초기 값(예: 2 미터)에 대해 측정되는 방식으로 조정된다. 획득한 이미지의 위치가 거리 dL에 따라 변함에 따라 이 작업은 다른 거리 dL에 대해 반복된다. 이 절차를 통해 픽셀 위치 및 측정된 거리와 관련된 포인트 테이블을 작성할 수 있다. 그런 다음, Lidar 좌표(각도 및 거리)를 획득한 이미지 및 분할된 이미지의 특정(x, y) 위치에 연결하는 회귀 모델이 작성된다.
다른 예에서, 이미지 획득 장치가 열 화상 카메라이고 원격 측정 장치가 TOF 카메라 또는 센서인 특정 경우에 대해 보정은 이전과 같이 수행되지만 회전하는 Lidar의 스캐닝 라인에 의존하는 것만이 아니라 이전과 같이 수행되지만 더 많은 포인트를 고려한다. .
다른 교정 방법도 가능하다. 예를 들어, 회전하는 Lidar를 기반으로 원격 측정 장치와, 하나의 열 화상 카메라와, 적색 채널에 NIR 확장이 있는 RGB 카메라 1 개로 이루어지는 이미지 획득 유닛이 함께 보정될 수 있다.
형상 분석 맵을 계산하기 위한 형상 특성화는 돼지의 중심, 기준점에 대한 분할된 이미지 내 돼지의 방향, 및/또는 분할된 이미지 내의 돼지의 해부학적 기준점의 위치를 결정함으로써 돼지의 특정 신체 부위를 계산하는 것을 포함한다. 형상 분석 맵을 계산하려면 위에 표시된 방법 중 하나만 필요하다. 그러나 이들의 조합이 가능하다. 도 3a-3c는 세 가지 계산의 실시예를 보여준다.
돼지의 형상을 특성화하기 위해 돼지는 분할된 이미지로 정의된다. 돼지의 형상은 분할된 이미지의 형상이다. 획득한 이미지와 분할된 이미지는 이진 맵, 이진 윤곽선 또는 윤곽선의 다 지점 근사를 만들기 위한 일련의 위치로 표현될 수 있다. 따라서 모든 형식의 분할된 이미지 s(x, y)는 다음과 같이 표현할 수 있다.
Figure pct00001
다른 곳의 분할된 이미지
여기서 x, y는 각각 디지털 이미지의 열과 행이다.
중심을 계산하기 위해, 일 실시예에서 돼지의 형상은 이미지 모멘트를 통해 특성화된다. 이 형식에 따라 표준 공식에 따라 임의의 이미지 모멘트 Mnk를 계산할 수 있다.
Figure pct00002
픽셀 수는 모멘트 M00과 같고 중심은(M10/M00, M01/M00)과 같다.
이러한 모멘트는 병진 불변 인 중심 모멘트로 직접 확장될 수 있다. 그런 다음 병진 불변 모멘트는 스케일 불변으로 추가로 확장될 수 있으며, 이러한 스케일 불변은 잘 알려진 최첨단 계산에 의해 회전 불변(휴 모멘트 불변)으로 더 확장될 수 있다. 이 모멘트 세트를 사용하면 특정 관점(또는 방향 각도)에서 본 돼지 형상과 같이 특정 형상과 연관될 수 있는 특징적인 특징을 계산할 수 있다.
이러한 모멘트는 예를 들어 3D 형상도 특성화하기 위해 3D와 같이 여러차원으로 사소하게 확장될 수 있다.
Figure pct00003
Figure pct00004
다른 곳의 분할된 볼륨
여기서 x, y, z는 각각 디지털 볼륨의 열, 행 및 깊이이다.
방향을 계산하기 위해, 분할된 이미지를 최소 제곱 피팅, 가우스 모델, 주성분 분석, 허프 변환 등에 의해 타원에 피팅할 수 있다. 피팅된 타원의 방향, 가우스 분포의 방향, 첫 번째 주성분 또는 평균의 각도 Hough 라인의 방향은 물체 방향을 추정하는 빠르고 신뢰할 수 있는 방법이다.
특정 신체 부위를 계산하기 위해, 일 실시예(도 3c 참조)에 따라 Hough 변환이 사용될 수 있다. 허프 변환은 다양한 형태로 구현할 수 있다. 특히 원형 허프 변환을 사용하면 반경 범위에 대한 원형 영역을 식별할 수 있다. 이것은 돼지의 머리와 꼬리를 구별하는 데 사용할 수 있다. 꼬리가 더 둥글기 때문에 더 큰 원에 맞을 수 있다. 예를 들어, 도3c와 같이 분할된 이미지를 이진 윤곽선으로 고려하면 원형 허프 변환은 고감도의 원을 감지하도록 설정할 수 있으며 원에 맞추기 위해 몇 개의 포인트 만 필요로할 수 있다. 원의 범위는 다음 추정에 의해 가능하다. 1) 햄의 반경 RH는 분할된 이미지의 세로 크기의 약 1/3이어야한다. 2) 반경 검색 범위는 RH의 RH +/- 50% 로 설정된다. 그런 다음 최대 투표 수를 가진 5 개의 원 중 더 큰 원이 선택되어 꼬리 부분의 중앙에 원이 표시된다.
허프 분석은 반원형 허프 변환으로 확장할 수 있으며 꼬리와 머리 차이를 얻는 데 더 신뢰할 수 있는 반원의 피팅을 얻을 수 있다. 또한 돼지의 몸통이나 머리의 중앙 부분이나 다른 부분에 맞게 타원형으로 확장된다. Generalized Hough Transform은 여러 특정 형상을 일 형상과 일치시키기 위해 다양한 크기와 각도로 피팅하는 또 다른 방법이다. 유사한 형상 일치 방법을 사용할 수 있으며 동일한 방식으로 사용할 수 있다.
비슷한 방식으로 돼지의 꼬리는 중심과 방향 각도로 정의된 축에 2 차 다항식을 맞추는 방식으로 감지할 수 있다. 도 4a는 중심 및 배향 축을 도시하고, 도 4b는 배향을 수정하고 양쪽 마진 주위에 포물선(2 차 다노 미아)을 맞춘다. 바닥은 중심에 가장 가까운 정점이 있는 포물선에 의해 감지된다.
형상 분석 맵은 몇 가지 전략을 추가로 계산하여 완성할 수 있다. 예를 들어, 푸리에 분석의 경우; 이 경우 돼지의 윤곽을 극좌표로 코딩한 다음 푸리에 변환할 수 있다. 이는 절대값이 회전 불변이고 인수가 회전 정보를 포함하는 여러 푸리에 계수를 제공한다.
도 5는 사용할 수 있는 또 다른 전략을 보여준다. 이 경우 분할된 이미지는 분할된 이미지 내 임의의 지점에서 가장 가까운 경계 지점까지의 거리에 따라 점수가 매겨진다. 거리 메트릭은 유클리드, 도시 블록 또는 기타 거리 메트릭과 같이 다양할 수 있다.
또 다른 전략은 분할된 이미지에서 골격화 함수를 계산하여 돼지의 윤곽을 계산하는 것이다. 이미지 골격은 경계와 등거리에 있는 해당 형상의 얇은 버전이다. 골격은 일반적으로 연결성, 토폴로지, 길이, 방향 및 너비와 같은 형상의 기하학적 및 토폴로지적 형상 속성을 강조한다. 골격은 그 지점들에서 형상 경계까지의 거리와 함께 형상을 표현하는 역할도 할 수 있다(형상을 재구성하는 데 필요한 모든 정보를 포함 함). 그런 다음 분기점과 끝점을 사용하여 다른 신체 부위의 해부학적 위치를 추정할 수 있다.
형상 분석 맵을 계산하기 위한 이러한 보완 전략은 이들을 조합하여 사용할 수 있다.
3과 4를 다시 살펴보면, 이 도면은 이미지 포인트를 신체 부위에 연결하는 기본 단계인 적절한 "꼬리 감지"를 통해 머리에서 꼬리까지의 방향을 식별하도록 형상 분석하는 방법에 대한 예를 보여준다. 형상의 추가 특성화를 통해 다른 이미지 포인트를 다른 신체 부위에 연결할 수 있다. 예를 들어, 경계 점수가 높은 분기점(거리 변환에서 계산 됨) 또는 근처 중심 축은 도 5와 같이 크로스(어깨) 및 엉덩이와 연관될 수 있다. 꼬리 감지는 크로스와 엉덩이를 더욱 구별한다. 발은 분할된 이미지의 하단 부분에 위치한 끝점에 의해 결정되며, 도6C에 표시된 것처럼 하단부의 종점과 크로스 및 엉덩이(또는 중심 축)로 그린 선에 거의 수직이다.
깊이 프로파일 분석 맵을 계산하기 위한 돼지의 깊이 특성화와 관련하여 이 프로세스는 거리 측정 내에서 살아있는 표본의 해부학적 기준점을 찾아서 분할된 이미지에 포함된 거리 측정 내에서 살아있는 표본의 특정 신체 부분을 계산하는 것을 포함한다.
이 단계는 두 가지 주요 부분으로 나눌 수 있다.(1) 이미지 포인트에 대한 원격 측정 거리의 국부화는 위에서 설명한대로 이전 보정을 통해 이루어지며, 깊이 정보로 이미지 좌표를 계산할 수 있다. 그리고(2) 이미지 포인트와 신체 부위의 거리의 관계.
분할된 이미지 내에 포함된 깊이 정보가 있는 이미지 좌표는 도7에서와 같이 깊이의 프로파일을 제공한다. 상대적으로 큰 점은 분할된 이미지 내부에 있는 점이고 작은 점은 외부에 있다. 형상 분석 맵의 결과를 통해 이미지 포인트(및 깊이 정보)를 신체 부위 또는 참조 포인트에 연결할 수 있다. 예를 들어 중심, 크로스형, 엉덩이, 꼬리 또는 다른 기준점과 같은 특정 참조 점에서 얻은 깊이 정보는, 해부학적 기준 및 기타 형상 분석과같은 거리 변환 또는 골격화로부터 얻었다.
이미지 획득 장치와 원격 측정 장치의 특정 정렬을 통해 신체 크기와 관련된 관련 3D 정보를 얻을 수 있으며 측정된 신체 부위 또는 기준점의 높은 신뢰성을 얻을 수 있다. 예를 들어, 이미지 내 크로스 및 엉덩이를 따라 형성된 신체 선 또는 중심축에 대한 회전하는 Lidar의 정렬에 따라, 중요한 신체 특징을 스캔할 수 있어서, 특정 깊이 정보를 얻을 수 있다. 도7은 정렬 Lidar가 중심 축을 스캔할 때 깊이 프로파일이 다중 피크 곡선을 얻음을 보여준다.
도8은 크로스 및 엉덩이 지점으로 정의된 축과 상이한 Lidar 정렬에서 획득한 이미지 시퀀스의 실제 예를 보여준다. 맨 윗줄에는 점선으로된 세 개의 이진 윤곽선(또는 실루엣)이 표시된다. 윤곽선 내부의 흰색 크로스가 회전하는 Lidar에 의해 획득된 거리 측정의 이미지 위치를 보여준다. 원은 위에서 설명한 골격, 분기점 및 추가 계산으로 정의된 교차 및 엉덩이 위치에 가장 가까운 Lidar 측정 값을 보여준다. 중앙 행은 측정된 거리와 이미지 위치를 수평 픽셀로 표시한다. 하단 행은 이미지 위치에서 실제 공간으로 변환된 측정 값을 보여준다.
실제 공간에서 프로파일 곡선을 분석하면 신체 부위 또는 해부학적 참조와 같은 참조 지점이 실제로 측정되고 적절한 위치에 있는지 또는 더 나은 추정치를 찾을 수 있는지 확인할 수 있다.
도8의 왼쪽 열은 회전하는 Lidar가 크로스 및 엉덩이로 정의된 축 근처에서 돼지를 스캔하는 상황을 보여준다. 실제로는 도6에서 볼 수 있는 엉덩이로 표시된 지점에서 매우 가깝게지나 가기 때문이다. 그러나, 회전하는 Lidar의 각도는 크로스 및 엉덩이에 의해 정의된 축에서 벗어난다. 이러한 맥락에서 깊이 프로파일 분석 맵은 중요한 신체 기능이 부족한 것으로 보인다. 도8의 오른쪽 열은 회전하는 Lidar가 돼지 형상의 깊이 정보를 얻을 수 없는 크로스 및 엉덩이로 정의되는 축에서 멀리 떨어진 돼지를 스캔하는 상황을 보여준다. 도8의 중앙 열은 회전하는 Lidar가 크로스 및 엉덩이로 정의된 축을 따라 돼지를 스캔하는 상황을 보여준다. 실제 공간의 프로파일 깊이에서 볼 수 있듯이 측정에는 뒷다리에 대한 정보가 포함된다. 돼지의 뒷다리는 돼지의 중요한 부분이며 돼지 뒷다리의 두께는 많은 상황에서 관련 특징이다. 예를 들어, 이베리아 돼지의 뒷다리 크기는 전체 돼지의 시장 가치를 추정할 때 중요하다. 도 9는 실제 공간에서 크로스와 엉덩이로 정의된 축 근처에서 측정된 프로파일을 보여 주며, 프로파일의 선형 요소를 추정하여 보정한다. 이를 통해 크로스와 엉덩이 사이의 가장 먼 위치에서 엉덩이와 꼬리 사이의 가장 가까운 위치까지 정확한 이미지의 깊이 차이를 추정하여 햄의 두께를 측정할 수 있다. 엉덩이와 꼬리 사이의 가장 가까운 위치에서 발견된 이 음의 피크는 "hip-max"라는 새로운 기준점으로 간주될 수 있다. 엉덩이와 꼬리 사이의 가장 가까운 위치에서 발견 된 이 음의 피크는 뒷다리에서 두께가 최대인 위치인 "hip-max"라는 새로운 기준점으로 간주될 수 있다. 이 "hip-max"의 위치는 전체 방향 추정을 검증하거나 신체 부위 측정을 수행하거나 깊이 정보를 저장하기 위해 측정에서 충족되어야하는 제약으로 설정할 수 있다.
주요 지점(예: 형상 분석에 의해 분할된 이미지에서 추정된 교차점 및 엉덩이 지점 통과)을 통해 스캔할 때 깊이 프로필 분석 맵을 사용하여 참조 지점 또는 신체 부위의 정확한 위치를 추정할 수 있다. 이 목적을 위해 예상 깊이 프로파일 또는 스플라인 보간의 "선험적"모델을 사용할 수 있다. 도 10은 도 9의 깊이 프로파일 측정에 대한 스플라인 기반 보간을 보여준다. 기울어진 사각형은 형상 분석(도8 참조)에 의해 계산된 교차 및 엉덩이 위치를 보여준다. 새로운 신체 부위는 보간된 깊이 프로파일에서 다시 계산된다. 크로스 위치는 머리 쪽 근처의 최소 거리, hip-max는 꼬리 쪽의 최소 거리, hip은 hip-max와 꼬리 쪽 중심 근처의 최대 지점 사이의 변곡점이다.
보다 일반적인 방식으로, 깊이 측정을 기준점 또는 신체 부위에 참조하여 이미지 포인트 및 신체 부위에 대한 거리의 관계를 수행할 수 있다. 이를 통해 일련의 측정 정보를 결합하여 도11에 표시된 동물 또는 복잡한 개체의 보다 완전한 3D 사진, 즉 신체 맵을 얻을 수 있다. 이것은 다음과 같이 달성될 수 있다. (1) 도6D에 표시된 것처럼 분할된 이미지의 형상 분석에서 기준점 또는 신체 부위를 얻는다. (2) 정규화된 참조 공간을 계산한다. (3) 정규화된 참조 공간에 대한 이러한 참조 포인트를 기반으로 공간 변환을 계산한다. (3) 이러한 공간 변환을 모든 획득에 적용한다. (4) 정규화된 참조 공간에 모든 깊이 프로파일을 축적한다.
도 12는 분할된 이미지의 형상 분석에서 기준점 또는 신체 부위를 얻기 위한 첫 번째 단계를 보여준다. 도 13a는 분할된 이미지의 좌표에서 이진 윤곽선과 기준점의 중첩을 보여준다. 첫 번째 정규화된 공간은 이진 윤곽선을 중심으로 직접 변환하여 계산할 수 있다. 그런 다음 위에서 계산 한대로 방향을 수정하여 점을 회전한다. 그 결과는 도 13B에 제시되어있다. 비슷한 거리 스케일링에서 얻은 두 획득은 모두 수정할 필요가 없지만 일부 다른 획득에서는 필요할 수 있다. 좌표의 두 번째 구체화는 다항식 함수, 로컬 가중치 매핑 또는 조각 단위와 같은 다른 수단에 의해 당 업계에 알려진 기준 포인트 쌍을 기반으로 공간 변환을 구축함으로써 달성될 수 있다. 3 차 다항식 매핑은 도 13C에 표시된다.
두 획득 간의 기준점 합의에 따라 중복 누적이 거부되고 다른 획득이 요청될 수 있다. 획득 허용은 도8과 같이 형상 분석에서 파생된 특정 기준점을 참조할 때 일부 예상 규칙을 충족하는 깊이 정보 프로필을 읽는 것으로 제한될 수 있다. 여기서 중앙 열은 추정된 교차 및 엉덩이 위치를 통해 회전 Lidar를 스캔하는 측면에서 수용가능한 획득을 디스플레이하고, 깊이 프로필에는 햄과 어깨의 두께와 관련된 예상 피크가 포함된다. 이 라인에서는 동물, 인간 또는 복잡한 물체에 대한 알려진 정보에 따라 동물 또는 복잡한 물체 방향 및 크기를 계산하기에 충분한 깊이 및 형상 정보를 캡처하기 위해 회전하는 Lidar를 여러 번 스캔해야할 수 있다.
위의 설명은 3D 카메라와 분할된 이미지를 사용하는 경우에도 적용된다. 예를 들어, 열 화상 카메라와 TOF 카메라를 사용하여 동물의 신체 방향과 크기를 추정할 수 있다. 열 화상 카메라는 위에서 설명한 프로세스에 따라 처리되는 분할된 이미지를 생성하는 데 사용할 수 있다. TOF 카메라는 여러 지점에서 깊이 정보를 제공하지만 분할된 이미지의 형상 분석은 획득을 수용하는 데 필요한 신체 컨텍스트를 제공한다. 유사한 방식으로 TOF 카메라를 사용하면 단일 획득에서 여러 라인 스캔을 수행할 수 있으며 이는 전체 획득 시간을 크게 단축할 수 있다.
도 15는 신체 부위 또는 기준점, 예를 들어, 도면에 도시된 바와 같이 크로스, 햄의 시작 및 꼬리를 얻기 위해 깊이 정보와 형상 분석 맵 및/또는 이미지 좌표의 관계를 보여준다.
일 실시예에서, 예를 들어 깊이 프로파일 분석 맵의 선형 근사 기울기의 아크 탄젠트를 계산하여 (도16 참조) 돼지와 이미지 획득 유닛 간의 적어도 하나의 각도(시터 또는 파이)의 평균을 획득하도록 살아있는 표면과 이미지 획득 유닛의 상대적 위치의 3차원 정보의 일부를 추정하는 단계를 더 포함한다. 게다가, 돼지 형상의 굽힘 정도 또는 평탄도도 얻을 수 있다. 평탄도 또는 굽힘은 도9에 표시된 접근 방식을 확장하여 추정할 수 있으며, 여기서 선형 함수를 피팅하여 파이 각도를 추정할 수 있다. 그러나 이 원리는 예를 들어 2 차 또는 3 차 다항식에 의해 모든 형태로 확장될 수 있다. 조정된 R 제곱 계수를 사용하여 2 차 함수가 선형 모델보다 더 적합한 지 여부를 평가할 수 있다. 2 차 함수가 적합할 가능성이 더 높으면 동물이 구부러져 측정을 반복하거나 적절하게 수정해야 함을 의미한다. 이베리아 돼지는 다른 유형의 돼지에 비해 매우 근육질의 동물이며 일반적으로 몸을 구부리고 보호 형상을 채택한다. 특성화에서 이러한 오류의 원인을 극복하려면 자주 고려해야한다.
바닥에 대한 이미지 획득 유닛의 높이 또는 돼지의 키에 대한 이미지 획득 유닛의 높이도 획득될 수 있다. 첫 번째 경우, 추가 원격 측정 장치는 이미지 획득 장치와 원격 측정 장치가 작동하는 상대적 높이를 추정하기 위한 추가 거리 측정 수단을 제공할 수도 있다. 두 번째 경우에는 적어도 하나의 거리가 원격 측정 장치에 의해 측정되고 분할된 이미지가 거리 측정과 직접 연관되므로 동물의 키를 추정할 수 있다. 총 동물 높이는 다음과 같이 계산할 수 있다.(1) 위에서 설명한대로 방향이 수정된 후 분할된 윤곽선의 수직 범위;(2) 픽셀 수 계산은 거리와 수직 시야 또는 보정의 관계로 변환된다. 회전하는 Lidar가 수직으로 스캔하도록 구성되거나 원격 측정 장치가 기준점 또는 신체 부위를 사용하여 거리의 2D 이미지를 제공하는 경우 3D 좌표를 추출하고 높이를 좌표 점 사이의 거리로 계산할 수 있다. 유사한 방식으로, 기준점 또는 신체 부위, 예를 들어 위에서 설명한 바와 같이 "hip-max"에서 뒷발까지의 높이를 추정하는 것이 가능하다. 그런 다음 수직 회전 Lidar 또는 거리의 2D 이미지로부터 화각과 거리의 관계, 또 다른 보정 방법에 따라, 좌표 거리로 변환하여 픽셀 수를 변환할 수 있다.
심지어, 이미지 획득 유닛의 바닥에 대한 광축의 각도를 얻을 수 있다.
일 실시예에서, 제안된 방법은 또한 돼지의 신체 분석을 얻기 위해 상이한 신체 부위 또는 기준점 간의 관계를 계산할 수 있게한다. 모든 기준점 또는 신체 부위는 도6과 같이 돼지의 단순화를 구축하는 데 사용할 수 있다. 보정을 통해 실제 공간에서 3D 좌표에 대한 모든 이미지 포인트를 계산할 수 있으므로 복잡한 물체, 동물, 및 인간의 방향과 크기를 직접 추정할 수 있다. 총 동물 길이는 머리에서 꼬리까지, 몸 길이는 크로스에서 꼬리까지, 짧은 몸 길이는 크로스에서 엉덩이까지, 햄 길이는 엉덩이에서 뒷발까지, 앞 다리 길이는 크로스에서 앞발까지, 동물 너비는 중간 몸의 상단과 하단으로 규정된다. 도9는 이베리아 햄의 중요한 특징인 깊이 프로파일 분석 맵에서 햄 두께를 추정하는 방법을 보여준다. 또한 교차, 엉덩이 또는 엉덩이 최대 위치에 대한 수정은 더 신뢰할 수 있거나 더 흥미로운 크기 및 방향 측정을 제공할 수 있다. 또한 면적 및 부피 측정이 가능하다. 햄의 면적 측정은 세분화된 이미지의 영역만 엉덩이 지점 넘어 유지함으로써 달성할 수 있다. 깊이 프로파일 분석 맵 정보를 추가함으로써 햄의 체적 추정도 생성할 수 있다. 마찬가지로, 교차 영역을 기준점으로 유지함으로써 신체 면적과 체적을 얻을 수 있다.
파이 획득 각도, 최소, 최대 및 평균 거리, 상이한 크기, 길이, 면적 또는 부피와 같은 다른 크기 간의 관계와 같은 모든 컨텍스트 데이터를 사용하여 돼지의 일련의 특징을 생성할 수 있다.
이 문서에서 돼지 형상은 복잡한 형상의 일반적인 예이다. 소, 닭, 육계, 황소, 암소, 양과 같은 다른 동물은 가축이기 때문에 특히 이 접근 방식에 적합하다. 인간은 또한 이러한 참조하에 모델링될 수 있으며 복잡한 개체는 광범위한 용어이므로 복잡한 개체는 특정 적응이 필요할 수 있다. 그러나 단순히 정사각형, 삼각형 또는 원형이 아닌 명확한 기준점이 있는 패턴을 따르는 물체는 분할된 이미지의 형상 분석과 원격 측정 수단(Lidar, 회전 Lidar, 스캐닝 Lidar, TOF)으로 얻은 깊이 정보를 결합한 이 접근 방식에서 직접 적용할 수 있다. 카메라 또는 1D 또는 2D 거리 시퀀스를 제공하는 모든 장치)가 적절하게 보정되었다.
도 17-20은 싸우는 황소 또는 육계와 같은 다른 가축의 다른 예를 보여준다. 이 그림에는 신체 맵 또는 신체 맵의 일부를 작성하는 유사한 접근 방식이 표시된다. 예를 들어, 도 17a는 싸우는 황소의 가치를 설정하는 중요한 특징인 뿔의 거리를 측정하기 위해 싸우는 황소의 머리에 대한 기준맵을 구축하기 위해 해부학적 기준점을 사용하는 방법을 보여준다. 깊이 프로필 분석 맵을 사용하여 머리 방향을 계산하고 도 17b에 표시된대로 이러한 거리 또는 뿔의 길이를 정확하게 계산할 수도 있다. 육계에 대해 동일한 골격화 절차를 적용하는 것이 도19에 나와 있다. 어떤 경우에는 도20과 같이 육계의 너비를 정확하게 측정하는 것이 중요할 수 있다. 다른 시도는 도21에서와 같이 다른 축에서 정확한 측정이 필요하거나 심지어 두 축 또는 2D 표면의 정보의 조합이 필요할 수 있다.
도 17a-17d와 관련하여, 황소 뿔의 끝은 머리 내 또는 입 위의 왼쪽 상단 및 오른쪽 상단 위치로 감지될 수 있다. 입 중심은 획득한 이미지의 색상 분석 또는 열 분석을 통해 감지할 수 있다. 입의 색상 형상이나 온도가 잘 정의되어 있기 때문이다. 다리는 또한 측정될 수 있고(도 17B 참조), 실시예에 따라, 형태 분석 맵에서 분기점 및 종점을 참조함으로써 돼지와 유사한 형태 분석에 의해 검출될 수 있다. 꼬리는 원형 허프 변환 또는 2차 함수를 피팅하여 돼지에 대해 위에서 설명한 것과 동일한 방식으로 감지할 수도 있다.
머리 방향은 위에서 설명한 돼지와 유사한 방식으로 깊이 프로필 분석으로 추정할 수 있다.
뿔 끝 사이의 거리 측정은 머리 방향을 고려하고(x, y) 거리뿐만 아니라 깊이로 인한 이미지 왜곡을 보정하여 성공적으로 계산할 수 있다. 뿔의 총 길이에 대한 추가 정보는 도18과 같이 계산할 수 있다. 머리의 대칭 속성을 사용하여 특정 기준점 또는 축을 찾을 수 있다.
육계 또는 닭고기도 제안된 방법에 적용할 수 있다. 예를 들어, 도19는 육계(19A), 분할된 이미지와 윤곽(19B), 그리고 형상 분석 맵(19C)을 구축하기 위해 분기점과 끝점을 감지하는 골격화를 보여준다.
중심과, 방향에 수직 인 축을 참조로 사용하여, 단축에서 깊이 프로파일을 얻을 수 있다. 마찬가지로 분기점에서 얻은 머리와 꼬리를 사용하여 장축을 식별하고 다른 방향의 깊이 프로필 정보를 얻을 수 있다. 상단 이미지 또는 TOF 카메라를 사용하면 동일한 획득에서 두 깊이 프로파일을 계산할 수 있다. 또한 분할된 이미지 외부의 지점을 사용하여 육계의 키를 계산할 수 있다.
깊이 프로파일 분석 맵의 예는 선형 측정으로 제공되지만 2D 이미지를 캡처하거나 신체 맵에 해부학적으로 매핑된 회전된 Lidar의 여러 스캔 라인을 축적하는 TOF 카메라를 사용하면 타원체 피팅과 같은 다른 계산을 수행할 수 있다. 선형 측정은 이 접근법을 실제로 줄자를 취하고 동물의 길이를 측정하는 것과 비교할 때 더 유사한 측정이다. 그러나 이 방법은 선형 측정에만 국한되지 않으며 TOF 정보를 사용하여 표면을 맞출 수 있다.
또한 해부학적 포인트는 이미지 정보에 의해 추가로 지원될 수 있다. 예를 들어, 육계의 머리는 몸보다 따뜻하며 이 기능을 사용하여 머리를 직접 찾을 수 있다. 비슷한 방식으로 머리는 일반적으로 다른 신체 부위보다 높으며 이는 원격 측정 또는 이미지 위치에 의해 악용될 수 있다.
다음은 제안된 방법의 다른 예가 자세히 설명되어 있다.
- 예제 1: 측면 또는 사선보기에서 형상 분석 맵으로서의 중심
열 화상 카메라, 비디오 카메라 및 Lidar가 보정되었다. 따라서, 방법은 단계 a) 열 화상 카메라로 이미지를 획득하고 한 마리의 돼지를 온도 임계 값으로 분할하는 단계를 포함한다. 그런 다음, 단계 b)에서, 방법은 회전하는 Lidar를 사용하여 극좌표(rho, phi)의 여러 지점까지의 거리를 측정하고 극좌표의 Lidar 측정을 이미지 내의 특정 픽셀 위치(x, y)와 관련시키는 단계를 포함한다. c1) 단계에서 돼지의 중심은 중심 점으로 도 22a에서와 같이 분할된 이미지(x0, y0)의 질량 중심으로 계산된다. c2) 단계에서, 방법은 도 7, 8, 9, 10에서와 같이 국소 최소값, 최대 값 및 변곡점을 찾아내서, 꼬리, 엉덩이 최대(거리 국소 최소값), 햄 끝(변곡점) 및 크로스(거리 국소 최소값)의 깊이 분석 맵을 계산한다. 마지막으로 c3) 단계에서 이 방법은 중심 근처를 지나는 깊이 지점이 있는지 또는 분할된 이미지 내에 포함된 깊이 지점이 y0 거리(예: | y-y0 | <30)에 있는지 여부를 확인한다. 이것이 사실이라면 깊이 분석 맵에 의해 감지된 해부학적 포인트는 올바른 것으로 받아 들여질 수 있다.
- 예제 2: 측면 또는 비스듬한 보기에서 형상 분석 맵에 의해 감지된 여러 해부 점
열 화상 카메라, 비디오 카메라 및 Lidar가 보정되었다. 방법은 단계 a), 열 화상 카메라로 이미지를 획득하고 한 마리의 돼지를 온도 임계 값으로 분할하는 단계를 포함한다. 그 다음, 단계 b)에서, 방법은 회전하는 Lidar를 사용하여 극좌표(rho, phi)의 여러 지점까지의 거리를 측정하고 극좌표의 Lidar 측정을 이미지 내의 특정 픽셀 위치(x, y)와 관련시키는 단계를 포함한다. c1) 단계에서 방법은 꼬리를 찾기 위해 Hough 변환을 계산하여 분할된 이미지의 중심을 계산한다. 감지된 원의 중심이 도6과 같이 분할된 이미지의 골격을 추가 계산하여 분기점과 끝점을 감지하는 거리 범위 내에 있는 경우, 꼬리 근처의 분기점은 엉덩이 최대 해부학적 점의 근사치이다. 유사한 중심 또는 엉덩이 최대 높이의 다른 쪽 지점은 중심 아래 어깨 지점이고 꼬리 근처에서 가장 낮은 끝 지점은 중심 아래 뒷다리 발이고 꼬리 반대편은 앞다리 발이다(돼지가 땅을 냄새 맡을 때 머리와 구별하기 위해 어깨 위치에 가장 가까운 지점). 이는 것은 도6c와 같이 간단한 맵을 만든다. 도 11, 12, 13, 14에서와 같이 더 복잡한 맵이 있\서 이 수 있다. 단계 c2)에서 방법은 도 7, 8, 9, 10에서와 같이 국소 최소값, 최대 값 및 변곡점을 찾아서, 꼬리, 엉덩이 최대(거리 국소 최소), 햄 끝(변곡점) 및 크로스(거리 국소 최소)의 깊이 분석 맵을 계산한다. 마지막으로 c3) 단계에서 이 방법은 분할된 이미지 내의 Lidar 측정이 형상 분석에서 를 그리고 엉덩이 최대를 형상 분석으로부터 교차하는지 확인하고, 두 맵에서 공통된 모든 해부학적 점이 예상 위치 근처에 있는지 또는 이동되었는지 확인한다. 이러한 조건이 사실이라면 깊이 분석 맵에 의해 감지된 해부학적 포인트는 올바른 것으로 받아 들여질 수 있다.
- 예 3: 비스듬한 보기에서 열 화상 및 TOF 카메라
열 화상 카메라와 TOF 카메라가 보정되었다. 방법은 단계 a), 열 화상 카메라로 이미지를 획득하고 한 마리의 돼지를 온도 임계 값으로 분할하는 단계를 포함한다. 그런 다음, 단계 b)에서, 방법은 TOF 카메라로 여러 지점까지의 거리를 측정하고, 실제 공간에서(rx, ry, rz) 위치를 계산하고, TOF 측정을 이미지 내의 특정 픽셀 위치(x, y)에 관련시키는 단계를 포함한다. c1) 단계에서 이 방법은 꼬리를 찾기 위해 Hough 변환을 통해 분할된 이미지의 중심과 방향을 계산한다. 감지된 원의 중심이 중심이 있는 거리 범위 내에 있으면 이 방법은 도6과 같이 분할된 이미지의 골격을 추가로 계산하여 분기점과 끝점을 감지한다. 꼬리 근처의 분기점은 엉덩이 최대 해부학적 점의 근사치이다. 유사한 중심 또는 엉덩이 최대 높이의 다른 쪽 지점은 중심 아래 어깨 지점이고 꼬리 근처에서 가장 낮은 끝 지점은 중심 아래 뒷다리 발이고 꼬리 반대편은 앞다리 발이다(돼지가 땅을 냄새 맡을 때 머리와 구별하기 위해 어깨 위치에 가장 가까운 지점). 이것은 도 6C와 같이 간단한 맵을 만든다. 도 11, 12, 13 및 14에서와 같이 더 복잡한 맵을 계산할 수 있다. 단계 c2에서 이 방법은 중심 근처에 있는 TOF 이미지의 선을 선택하고 형상 분석과 유사한 방향으로 깊이 프로파일을 추출하거나 분할된 표면 내에서 깊이 프로파일의 2D 분석을 수행한다. 즉, 분할된 이미지에 포함된(rx, ry, rz) 포인트를 분석한다. 다음으로, 이 방법은 도 7, 8, 9, 10a에서와 같이 국소 최소값, 최대값 및 변곡점을 찾아서, 꼬리, 엉덩이 최대(거리 국소 최소값), 햄 끝(변곡점) 및 크로스(거리 국소 최소값)의 깊이 분석 맵을 계산한다. 다음으로, 이 방법은 도 7, 8, 9, 10a에서와 같이 국소 최소값, 최대값 및 변곡점을 찾아서, 엉덩이 최대(거리 국소 최소값), 햄 끝(변곡점) 및 크로스(거리 국소 최소값)의 깊이 분석 맵을 계산한다. 동물을 표면 템플릿에 맞추고 다른 해부학적 지점을 찾는 것도 가능하다. 마지막으로 c3) 단계에서 이 방법은 두 맵에서 공통된 모든 해부학적 점이 근처에 있는지 또는 예상 위치에서 이동되었는지 확인한다. 이러한 조건이 사실이라면 깊이 분석 맵에 의해 감지된 해부학적 포인트는 올바른 것으로 받아 들여질 수 있다.
-예 4: 공중 및 사선보기에서 본 열 화상 및 TOF 카메라
열 화상 카메라와 TOF 카메라가 보정된다. 방법은 단계 a), 열 화상 카메라로 이미지를 획득하고 한 마리의 돼지를 온도 임계 값으로 분할하는 단계를 포함한다. 그런 다음, 단계 b)에서, 방법은 TOF 카메라로 여러 지점까지의 거리를 측정하고, 실제 공간에서(rx, ry, rz) 위치를 계산하고, TOF 측정을 이미지 내의 특정 픽셀 위치(x, y)에 관련시키는 단계를 포함한다. c1) 단계에서 방법은 어깨와 꼬리를 감지하기 위해 Hough 변환을 사용하여 형상 분석을 수행한다. 꼬리는 여러 형태에서 어깨와 구별된다. 예를 들어 어깨(머리) 너머 영역은 꼬리(꼬리 만)에 비해 훨씬 크다. 또는 방법 2의 도 23에서와 같이 꼬리의 기울기가 머리에 비해 훨씬 높기 때문에 윤곽 분석을 통해 꼬리를 직접 감지할 수 있다. 어깨 중앙에서 꼬리 중앙까지 이미지를 스캔하면 척추를 결정할 수 있다. 형태 분석 맵은 예를 들어 도23의 방법 1과 같이 어깨, 머리 및 척추 지점의 위치로 구성되며 필요한 경우 추가 해부학적 지점을 사용하여 방법 2로 확장할 수 있다. c2) 단계에서 이 방법은 해부학적 점의 높이를 계산한다. 마지막으로 c3) 단계에서 이 방법은 형상 분석 맵의 모든 해부학적 포인트가 올바른 높이에 있는지 또는 임계 값 이상인지 확인한다.
- 예제 5: 공중 및 사선보기에서 TOF 카메라
TOF 카메라가 보정되었다. 방법은 단계 a), TOF 카메라로 이미지를 획득하고 배경과 비교하여 거리 임계 값으로 분할하는 단계를 포함한다. 그런 다음, 방법, 단계 b)는 TOF 카메라로 여러 지점까지의 거리를 측정하고, 실제 공간에서(rx, ry, rz) 위치를 계산하고, TOF 측정을 이미지 내의 특정 픽셀 위치(x, y)에 관련시키는 단계를 포함한다. 이 경우 c1 단계는 예제 4와 동일한다. 단계 c2)에서 깊이 분석 맵은 모든 세그먼트 영역이 바닥에서 주어진 높이보다 높은지 확인한다. 마지막으로 c3) 단계에서 형상 분석의 모든 점이 발견되면 분할의 전제 조건(단계 a)이므로 올바른 거리에 있음을 의미한다. 또한 척추의 rx, ry, rz 점의 곡률 계산과 같은 다른 계산을 포함하고 이러한 곡률에 특정 허용 오차를 부여할 수 있다.
- 예 6: 추가 기능을 위한 TOF 및 열 화상 이미지 조합(본체 맵용). TOF 및 열 화상 카메라가 보정되면 도24와 같이 다른 신체 부위의 열적 특징에 대한 추가 계산을 계산할 수 있다.
살아있는 표본의 원격 특성화를 위한 장치도 제공된다. 장치는 주로 언급된 이미지 획득 유닛, 분할 수단, 인용된 원격 측정 유닛 및 처리 수단을 포함하여 살아있는 표본 또는 복잡한 물체의 특성화를 허용하기 위해 상이한 설명된 정보/데이터를 처리한다. 장치는 처리된 다른 측정 또는 정보를 저장하기 위한 메모리를 더 포함할 수 있다.
제안된 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독 가능 매체에 하나 이상의 명령 또는 코드로 저장되거나 인코딩될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에서 액세스할 수 있는 사용 가능한 모든 매체일 수 있다. 제한 이 아닌 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광 디스크 스토리지, 자기 디스크 스토리지 또는 기타 자기 저장 장치, 또는 휴대에 사용될 수 있는 기타 매체를 포함할 수 있다. 또는 원하는 프로그램 코드를 명령어 또는 데이터 구조의 형태로 저장하고 컴퓨터에서 액세스할 수 있다. 여기에 사용된 디스크(disk) 및 디스크(disc)에는 CD(콤팩트 디스크), 레이저 디스크, 광 디스크, DVD(Digital Versatile Disc), 플로피 디스크 및 블루레이 디스크가 있으며, 디스크(disk)가 일반적으로 데이터를 자기적으로 재생하는 반면 디스크(disc)는 레이저로 데이터를 광학적으로 재생한다. 위의 조합도 컴퓨터 판독 가능 매체의 범위 내에 포함되어야한다. 모든 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. ASIC는 사용자 단말기에 상주할 수 있다. 대안으로, 프로세서 및 저장 매체는 사용자 단말에서 개별 구성 요소로서 상주할 수 있다.
본 명세서에 사용된 바와 같이, 컴퓨터 판독 가능 매체의 모든 형태를 포함하는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품은 그러한 매체가 법정이 아닌 일시적인 전파 신호로 간주되는 경우를 제외하고는 예외이다.

Claims (15)

  1. 멀리서 살아있는 표본의 특성화 방법으로서, 상기 방법은:
    a) 이미지 획득 유닛을 통해 적어도 하나의 살아있는 표본의 하나의 이미지를 획득하고, 획득된 이미지를 처리 유닛에 의해 추가로 분할하여 분할된 이미지를 제공하는 단계;
    b) 원격 측정 장치에 의해, 상기 획득된 이미지의 여러 부분까지의 거리를 측정하고, 복수의 거리 측정을 제공하며, 살아있는 표본의 분할된 이미지에 포함된 거리 측정의 하위 집합을 선택하는 단계;
    상기 이미지 획득 유닛 및 상기 원격 측정 유닛은 보정(calibration)됨;
    c) 처리 유닛에 의해, 분할된 이미지와, 분할된 이미지 내에 포함된 상이한 위치를 참조하는 상기 여러 거리 측정을 처리하는 단계;를 포함하되, 상기 처리하는 단계는:
    c1) 적어도 분할된 이미지 내에서 다음 중 하나 이상을 계산하는 알고리즘을 구현하여 살아있는 표본의 형상을 특성화하는 과정;
    ● 살아있는 표본의 중심 및/또는
    ● 기준점과 관련하여 분할된 이미지 내의 살아있는 표본의 방향, 및
    ● 분할된 이미지 내의 살아있는 표본의 해부학적 기준점의 위치결정에 의한 살아있는 표본의 특정 신체 부위,
    상기 형상 특성화의 결과로 형상 분석 맵이 제공됨
    c2) 최소한 분할된 이미지에 포함된 거리 측정 내에서 다음을 계산하는 알고리즘을 구현하여 살아있는 표본의 깊이를 특성화하는 과정;
    ● 적어도 하나의 깊이 프로파일 분석 맵을 제공하도록, 거리 측정치 내에서 살아있는 표본의 해부학적 기준점의 위치결정에 의해 살아있는 표본의 특정 신체 부위; 및
    c3) 형상 분석 맵과 깊이 프로파일 분석 맵을 비교하는 과정을 포함하며,
    - 상기 비교 결과가 주어진 범위 내에 포함되는 경우, 상기 방법은 자세 파라미터 및/또는 상기 해부학적 기준점의 위치 또는 수정, 및/또는 신체 크기 파라미터, 및/또는 살아있는 표본의 신체 맵을 나타내는 파라미터들을 결정하는 과정을 포함하고,
    - 상기 비교 결과가 상기 주어진 범위 밖에 포함되는 경우, 상기 방법은 단계 a) 내지 c)를 반복하여 새로운 깊이 프로파일 분석 맵 및 새로운 형상 분석 맵을 획득하는 과정을 포함하며,
    단계 a) 및 b)는 언제든지 수행되는, 특성화 방법.
  2. 제 1 항에 있어서, 단계 a)는 상이한 기간에 상기 살아있는 표본의 여러 이미지를 획득하고, 상기 살아있는 표본의 상이한 자세를 캡처하며, 각각의 획득된 이미지에 대해 일련의 거리 측정치를 획득하는 단계를 포함하는, 특성화 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 이미지 획득 유닛과 살아있는 표본 사이의 적어도 하나의 각도의 평균, 살아있는 표본의 형상의 굽힘 또는 평탄도, 살아있는 표본의 바닥에 대한 이미지 획득 유닛의 높이 또는 살아있는 표본의 높이에 대한 이미지 획득 유닛의 높이, 및/또는 바닥에 대한 이미지 획득 유닛의 광축 각도 중 적어도 2개를 획득하도록, 이미지 획득 유닛과 살아있는 표본의 상대적 위치의 3차원 정보의 일부를 추정하는 단계를 더 포함하는, 특성화 방법.
  4. 제 1 항에 있어서, 상기 살아있는 표본의 방향은 스퀘어 피팅 함수, 가우시안 모델, 주성분 분석, 최소 면적 직사각형 또는 허프(Hough) 변환을 통해 분할된 이미지를 타원에 피팅함으로써 계산되는, 특성화 방법.
  5. 제 1 항에 있어서, 상기 형상 분석 맵의 신체 부분은
    - 분할된 이미지 내에서 햄 또는 허벅지의 반경을 계산하는 원형 허프 변환 또는
    - 중심과 방향 축 주위에 포물선을 끼워맞춤으로써 분할된 이미지 내에서 살아있는 표본의 꼬리를 감지하는 2 차 다항식 함수
    에 의해 계산되는, 특성화 방법.
  6. 제 1 항 또는 제 5 항에 있어서, 상기 형상 분석 맵의 신체 부분은
    - 분할된 이미지 내에서 살아있는 표본의 윤곽을 계산하고, 계산된 윤곽을 극좌표로 코딩하며, 상기 극좌표에 푸리에 변환 함수를 추가로 적용하여 여러 푸리에 계수를 제공하는 과정 - 그 절대값(modulus)는 회전 불변이며 그 인수(argument)는 회전 정보를 가짐;
    - 살아있는 표본의 윤곽을 계산하고, 유클리드, 측지선(geodesic) 또는 도시 블록을 포함하는 거리 측정치에 기초하여 상기 계산된 윤곽 내의 거리 측정치를 추가로 계산하는 과정;
    - 분할된 이미지의 거리 변환을 계산하는 과정;
    - 분할된 이미지로부터 골격화 함수를 계산하고, 살아있는 표본의 골격의 이미지를 제공하며, 선택사항으로서, 상이한 신체 부위의 해부학적 위치를 추정하기 위해 상기 골격 내의 분기점 및 끝점을 추가로 계산함으로써, 살아있는 표본의 윤곽을 계산하는 과정,
    - 분할된 이미지의 이미지 순간을 계산하는 과정
    에 의해 계산되는, 특성화 방법.
  7. 제 2 항에 있어서,
    - 각 획득에 대해 얻은 정보를 결합하여, 깊이 프로파일 분석 맵 및 형상 분석 맵의 시퀀스를 얻는 단계;
    - 각 쌍의 맵에 점수를 할당하는 단계; 및
    - 최고 점수를 가진 쌍을 선택하는 단계
    를 더 포함하는, 특성화 방법.
  8. 제 2 항에 있어서,
    - 각 획득에 대해 얻은 정보를 결합하여 깊이 프로파일 분석 맵 및 형상 분석 맵의 시퀀스를 획득하는 단계;
    - 각 쌍의 맵에 점수를 할당하는 단계;
    - 모든 획득 내에서 해부학적 기준점을 일치시키고, 살아있는 표본의 3차원 재구성을 계산하기 위해 깊이 프로파일 분석 맵과 해부학적 기준점의 상이한 조각들을 축적하는 단계;
    - 각 획득에 대한 신체 맵을 계산하고 각 신체 맵의 모든 정보를 축적하며, 확장된 신체 맵에서 점수화하는 단계
    를 더 포함하는, 특성화 방법.
  9. 제 1 항에 있어서, 상기 살아있는 표본의 신체 맵이 표현되고, 상기 신체 맵은 색상 및/또는 온도를 포함하는 이미지 획득 유닛의 특징에 기초하여 신체 맵의 특성을 계산하는데, 그리고, 이전에 보정된 추가 장치로 측정된 추가 특성을 계산하는데, 더 사용되는, 특성화 방법.
  10. 제 1 항에 있어서, 상기 a) 단계에서 획득된 이미지는 2 개 이상의 살아있는 표본을 포함하고, 상기 방법은 상기 이미지에 포함된 각 살아있는 표본에 대한 형상 분석 맵과 깊이 프로파일 분석 맵을 계산 및 비교하는 단계를 포함하며, 동일한 획득에서 둘 이상의 살아있는 표본을 평가하는, 특성화 방법.
  11. 제 1 항, 제 8 항 또는 제 9 항에 있어서, 상기 신체 맵은 살아있는 표본의 3D 표현인, 특성화 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 살아있는 표본이 돼지, 황소, 암소, 양, 육계(broiler), 오리 또는 닭을 포함하는 가축인, 특성화 방법.
  13. 원거리의 살아있는 표본의 특성화를 위한 장치로서,
    - 적어도 하나의 살아있는 표본의 적어도 하나의 이미지를 획득하도록 구성된 이미지 획득 유닛;
    - 획득된 이미지를 분할하여 분할된 이미지를 제공하도록 구성된 제 1 처리 유닛;
    - 상기 획득된 이미지의 여러 부분까지의 거리를 측정하고, 여러 거리의 측정치를 제공하며, 살아있는 표본의 분할된 이미지에 포함된 거리 측정치의 하위 집합을 측정하도록 구성된 원격 측정 유닛;
    상기 이미지 획득 유닛 및 상기 원격 측정 유닛은 보정됨,
    제 1 항의 단계 c)를 실행함으로써 분할된 이미지 및 분할된 이미지 내에 포함된 상이한 위치를 참조하는 상기 여러 거리 측정을 처리하도록 구성된 제 2 처리 유닛을 포함하는, 특성화 장치.
  14. 제 13 항에 있어서, 상기 이미지 획득 시스템은 적색 채널에서 확장된 NIR을 갖는 RGB 카메라와 열 화상 카메라 중 적어도 하나를 포함하는, 특성화 장치.
  15. 제 13 항 또는 제 14 항에 있어서, 원격 측정 유닛은 회전하는 Lidar, 스캐닝 Lidar, 복수의 Lidar, 비행 시간, TOF(time of flight) 센서 또는 TOF 카메라를 포함하는, 특성화 장치.
KR1020207028071A 2018-02-26 2019-02-14 살아있는 표본의 원격 특성화 방법 및 장치 KR20200127016A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18382110.7 2018-02-26
EP18382110.7A EP3531373B1 (en) 2018-02-26 2018-02-26 A method and device for the characterization of living specimens from a distance
PCT/EP2019/053654 WO2019162180A1 (en) 2018-02-26 2019-02-14 A method and device for the characterization of living specimens from a distance

Publications (1)

Publication Number Publication Date
KR20200127016A true KR20200127016A (ko) 2020-11-09

Family

ID=61283149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207028071A KR20200127016A (ko) 2018-02-26 2019-02-14 살아있는 표본의 원격 특성화 방법 및 장치

Country Status (16)

Country Link
US (1) US11587350B2 (ko)
EP (1) EP3531373B1 (ko)
JP (1) JP7336691B2 (ko)
KR (1) KR20200127016A (ko)
CN (1) CN112262408A (ko)
AU (1) AU2019223705A1 (ko)
BR (1) BR112020017434A2 (ko)
CA (1) CA3092209A1 (ko)
DK (1) DK3531373T3 (ko)
ES (1) ES2921128T3 (ko)
HU (1) HUE059001T2 (ko)
MX (1) MX2020008861A (ko)
PH (1) PH12020551508A1 (ko)
PL (1) PL3531373T3 (ko)
PT (1) PT3531373T (ko)
WO (1) WO2019162180A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910393B (zh) * 2018-09-18 2023-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
WO2020261403A1 (ja) * 2019-06-26 2020-12-30 日本電気株式会社 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
EP3756458A1 (en) * 2019-06-26 2020-12-30 Viking Genetics FmbA Weight determination of an animal based on 3d imaging
CN111145240A (zh) * 2019-11-18 2020-05-12 西宁市动物疫病预防控制中心(挂西宁市畜牧兽医站牌子) 一种基于3d相机的活体西门塔尔牛体尺在线测量方法
CN113316803A (zh) * 2019-12-20 2021-08-27 博医来股份公司 使用历史校正的统计分析来校正医学图像的分割
CN113915740B (zh) * 2020-07-08 2023-12-22 海信空调有限公司 一种空调器和控制方法
US11892574B2 (en) * 2020-07-31 2024-02-06 GM Global Technology Operations LLC Dynamic lidar to camera alignment
CN111986168B (zh) * 2020-08-07 2024-03-15 中国农业大学 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统
CN112927282A (zh) * 2021-01-25 2021-06-08 华南农业大学 一种基于机器视觉的畜禽脚参数自动测量方法
CN113632749B (zh) * 2021-09-07 2022-11-22 华中农业大学 一种基于动物行为的猪身体状态监测方法
CN113808156B (zh) * 2021-09-18 2023-04-18 内蒙古大学 一种户外牛体体尺检测方法与装置
CN114243925B (zh) * 2021-12-21 2024-02-09 国网山东省电力公司淄博供电公司 基于智能融合终端的台区配变态势感知方法及系统
CN114838665B (zh) * 2022-07-04 2022-09-02 江西农业大学 一种基于黑皮鸡枞菌的尺寸原位测量方法
CN116363141B (zh) * 2023-06-02 2023-08-18 四川省畜牧科学研究院 一种妊娠母猪智能体型评价装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412420A (en) 1992-10-26 1995-05-02 Pheno Imaging, Inc. Three-dimensional phenotypic measuring system for animals
US5474085A (en) 1994-02-24 1995-12-12 University Of Prince Edward Island Remote thermographic sensing of livestock
IL150915A0 (en) * 2002-07-25 2003-02-12 Vet Tech Ltd Imaging system and method for body condition evaluation
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
NL1034292C2 (nl) * 2007-08-27 2009-03-02 Maasland Nv Systeem en werkwijze voor het beheren van een groep dieren.
US9684956B2 (en) * 2008-12-03 2017-06-20 Delaval Holding Ab Arrangement and method for determining a body condition score of an animal
AU2010219406B2 (en) * 2010-05-19 2013-01-24 Plf Agritech Pty Ltd Image analysis for making animal measurements
WO2014083433A2 (en) 2012-12-02 2014-06-05 Agricam Ab Systems and methods for predicting the outcome of a state of a subject
EP2957861A1 (en) 2014-06-17 2015-12-23 Expert Ymaging, SL Device and method for automated parameters calculation of an object
US20170196196A1 (en) * 2016-01-08 2017-07-13 Leo Trottier Animal interaction devices, systems and methods
EP3646287A1 (en) * 2017-06-29 2020-05-06 The GSI Group, Llc Regression-based animal weight estimation

Also Published As

Publication number Publication date
PT3531373T (pt) 2022-08-16
BR112020017434A2 (pt) 2020-12-22
RU2020131518A (ru) 2022-03-29
CA3092209A1 (en) 2019-08-29
CN112262408A (zh) 2021-01-22
PH12020551508A1 (en) 2021-09-06
AU2019223705A1 (en) 2020-10-01
US20210004577A1 (en) 2021-01-07
ES2921128T3 (es) 2022-08-18
JP2021515323A (ja) 2021-06-17
EP3531373A1 (en) 2019-08-28
PL3531373T3 (pl) 2022-08-08
EP3531373B1 (en) 2022-05-04
JP7336691B2 (ja) 2023-09-01
WO2019162180A1 (en) 2019-08-29
MX2020008861A (es) 2020-10-28
HUE059001T2 (hu) 2022-09-28
US11587350B2 (en) 2023-02-21
DK3531373T3 (da) 2022-07-11

Similar Documents

Publication Publication Date Title
KR20200127016A (ko) 살아있는 표본의 원격 특성화 방법 및 장치
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
JP5519693B2 (ja) 動物の身体の状態のスコアを決定するための装置及び方法
US20210267448A1 (en) Jigs for use in medical imaging and methods for using thereof
CN107392086B (zh) 人体姿态的评估装置、系统及存储装置
US8594409B2 (en) Automation method for computerized tomography image analysis using automated calculation of evaluation index of degree of thoracic deformation based on automatic initialization, and record medium and apparatus
US20160003612A1 (en) Rapid and accurate three dimensional scanner
KR101331640B1 (ko) 혀 입체 정보 추출 장치 및 방법
JP2019211364A (ja) 動物体の体重推定装置及び体重推定方法
Schweitzer et al. Aspects of 3D surface scanner performance for post-mortem skin documentation in forensic medicine using rigid benchmark objects
CN108670301B (zh) 一种基于超声影像的脊柱横突定位方法
US11276184B2 (en) Method and device for determining the amplitude of a movement performed by a member of an articulated body
RU2785149C2 (ru) Способ и устройство для получения характеристик живых особей на расстоянии
JP7136344B2 (ja) カメラの較正方法、カメラ及びプログラム
TWI484941B (zh) Animal gait detection system and method
Win Curve and Circle Fitting of 3D Data Acquired by RGB-D Sensor
Moran et al. Monomodal image registration by tensor analysis: going beyond the brightness constancy assumption
Kumar Novel 3D Back Reconstruction using Stereo Digital Cameras
Quaresma et al. Development of Vertebral Metrics–An Instrument to Analyse the Spinal Column
CA3160881A1 (en) Determining spatial relationship between upper teeth and facial skeleton
Parittotakapron et al. An evaluation of automatic marking of anatomical landmarks for back surface deformity analysis
Tomašević et al. Morphological parameters assessment with a depth camera based measurement system