KR20140062389A - 생물의 자취 및 행동패턴을 분석하는 방법 - Google Patents

생물의 자취 및 행동패턴을 분석하는 방법 Download PDF

Info

Publication number
KR20140062389A
KR20140062389A KR1020120129148A KR20120129148A KR20140062389A KR 20140062389 A KR20140062389 A KR 20140062389A KR 1020120129148 A KR1020120129148 A KR 1020120129148A KR 20120129148 A KR20120129148 A KR 20120129148A KR 20140062389 A KR20140062389 A KR 20140062389A
Authority
KR
South Korea
Prior art keywords
data
matching
algorithm
organism
dimensional
Prior art date
Application number
KR1020120129148A
Other languages
English (en)
Other versions
KR101465087B1 (ko
Inventor
제정호
권남섭
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020120129148A priority Critical patent/KR101465087B1/ko
Publication of KR20140062389A publication Critical patent/KR20140062389A/ko
Application granted granted Critical
Publication of KR101465087B1 publication Critical patent/KR101465087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/5082—Supracellular entities, e.g. tissue, organisms
    • G01N33/5085—Supracellular entities, e.g. tissue, organisms of invertebrates

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Cell Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Toxicology (AREA)
  • Physics & Mathematics (AREA)
  • Biotechnology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 CCD 카메라를 사용해서 2개의 화상 정보를 얻고, 이를 통해 3차원 정보를 합성하고 이를 통해 생물의 자취 및 행동패턴을 분석함으로써, 미세한 생물의 행동 정보를 정밀하게 분석할 수 있는 방법에 관한 것이다.
본 발명에 따른 방법은, (a) 완충용액이 채워진 반응용기에 생물을 투입하는 단계와, (b) 2대의 카메라를 상호 직각으로 배치하여 상기 생물을 동시에 촬영하여 이미지를 획득하는 단계와, (c) 획득된 2개의 이미지를 매칭시켜 3차원 데이터를 추출하는 단계 및 (d) 상기 3차원 데이터를 통해 생물의 자취 및 행동 패턴을 분석하는 단계를 포함한다.
종래의 벌레 추적방법은 하나의 카메라를 이용하여 2차원적인 환경에서의 분석만이 가능하여 생물의 행동 정보를 입체적으로 분석하기 어려웠으나, 본 발명에 따른 방법은 외부 환경의 변화에 따른 생물의 행동 패턴 분석이나 미생물 신경에 대한 분석에도 적용될 수 있다.

Description

생물의 자취 및 행동패턴을 분석하는 방법{ANALYZING METHOD OF TRAJECTORY AND BEHAVIOR PATTERN OF A LIVING ORGANISM}
본 발명은 생물의 자취 및 행동패턴을 분석하는 방법에 대한 것으로서, 더욱 상세하게는 CCD (또는 CMOS) 카메라를 사용해서 생물의 자취 및 행동 패턴에 대한 2개의 화상 정보를 얻고, 이러한 2개의 화상 정보에 대하여 가공하여 3차원 행동 패턴에 대한 정보를 획득함으로써 크기가 아주 미세한 생명체의 행동 양식 정보를 얻을 수 있는 생물의 자취 및 행동패턴을 분석하는 방법에 대한 것이다.
일반적으로, 하천 등지에서의 유해 물질 누출사고를 감시하기 위하여 어패류 등의 생물을 이용하는 방법을 바이오 모니터링(bio monitoring)이라고 한다. 바이오 모니터링은 1970년대 말 독일에서 물고기와 물벼룩을 이용하여 호수, 하천 등 수계의 독성물질의 혼입여부를 판별하는 방법을 도입한 이래, 네덜란드, 벨기에, 프랑스, 스위스, 오스트리아, 영국 등 세계 각국에서 바이오 모니터링 시스템을 연구하기 시작했다. 그 후 현재까지 수계의 독성 물질 혼입여부 판별에 적합한 여러 가지 수중 생물이 다각도로 조사 연구됨으로써 이들의 이상 행동 패턴이나 생물학적 특성 분석으로 수질 오염 여부를 감시하고 그 결과를 분석함으로써 독성물질의 혼입 여부를 판별하는 수질감시방법이다.
그러나 이와 같은 기존의 바이오 모니터링 시스템은 어류의 움직임을 주의 깊게 지속적으로 감시하여야 하므로 처리하여야 할 정보량이 많고 수계의 오염 상태를 판별하는데 있어 측정 및 분석 시간이 길게 소요되므로 독성물질의 유입 즉시 이를 판별해 내기가 어려운 시간적 제한이 뒤따르게 되는 문제점이 있다.
또한 기존의 모니터링 시스템의 경우 2차원적인 행동분석이 이루어지기 때문에 아주 미세한 크기를 갖는 생명체에 대하여 적용하기에 어려움이 있었고 신경적인 행동(nervous system)에 대하여 연결시켜 파악할 수 있는 도구로 사용하기에는 획득할 수 있는 정보량이 너무 적어서 사용에 어려운 점이 많이 있었다.
구체적으로 아주 미세한 크기를 갖는 생명체의 일종인 예쁜 꼬마 선충(Caenorrhabditis elegans)과 같이 미세크기를 갖는 생명체의 경우 지속적인 관찰을 하게 되면 어떤 외부적인 변화 또는 내부적인 변화에 따라 이동하게 된다는 것을 알 수 있다. 하지만 지금까지의 기술로는 2차원적인 운동에 대하여만 관찰이 가능하기 때문에 미세한 크기를 갖는 생물의 특성에 대한 정확한 데이터를 얻는 데 어려움이 있었다.
또한 지표 생물의 경우에는 생태계에 대한 변화의 정도를 나타내는 척도가 됨에도 불구하고 이들의 행동패턴을 장기간 또는 단기간으로 측정하고 파악할 수 있는 장비가 구비되어 있지 않은 상황이었기에 생명 보호 및 환경 보호의 수단으로 적극적으로 활용되지 못하는 한계가 있었다.
본 발명은 상술한 바와 같은 문제를 해결하기 위하여 안출한 것으로써, 미세 생명체에 대하여 얻어지는 2개의 2차원 화상정보를 시간 경과에 따라 수행함으로써 미세 생명체의 행동특성을 파악하고 이러한 수집된 정보를 통해 생명 공학 또는 환경 공학 등에 직접적으로 적용할 수 있는 생물의 자취 및 행동패턴을 분석하는 방법을 제공하는 데 있다.
본 발명의 다른 과제는 작은 크기를 갖는 생물의 자취 및 행동 패턴 정보를 담고 있는 2차원 이미지를 3차원적으로 결합하여 정확한 데이터로 활용할 수 있는 방법을 제공하는 데 있다.
상기 과제를 해결하기 위해 본 발명은, (a) 완충용액이 채워진 반응용기에 생물을 투입하는 단계; (b) 2대의 카메라를 상호 직각으로 배치하여 상기 생물을 동시에 촬영하여 이미지를 획득하는 단계; (c) 획득된 2개의 이미지를 매칭시켜 3차원 데이터를 추출하는 단계; 및 (d) 상기 3차원 데이터를 통해 생물의 자취 및 행동 패턴을 분석하는 단계;를 포함하는 생물의 자취 및 행동 패턴 분석방법을 제공한다.
또한, 본 발명에 따른 방법에 있어서, 상기 (a) 단계의 완충용액은 젤라틴을 포함할 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 (a) 단계의 생물은 예쁜 꼬마 선충일 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 2대의 카메라는 초점거리가 동일한 렌즈를 구비할 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 2대의 카메라 중 하나는 (x,z)에 대한 데이터를 얻고 다른 하나는 (y,z)에 대한 데이터를 얻는 것일 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 (b) 단계의 촬영은 0.5 ~ 20 프레임/초의 속도로 이루어질 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 (x,z) 데이터와 (y,z) 데이터를, 공통된 z 데이터를 기초로 일대일로 매칭시켜, (x,y,z) 데이터를 획득할 수 있다.
또한, 본 발명에 따른 방법에 있어서, 상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 1]을 수행할 수 있다.
[알고리즘 1]
상기 (x,z)데이터와, 상기 (y,z) 데이터를 시계열적으로 나열하는 단계,
상기 (x,z)데이터와 상기 (y,z)데이터의 초기 데이터를 비교하여, z가 공통되지 않는 데이터를 삭제하여 초기 z 데이터를 일치시키는 단계 및
공통된 z 값을 통해 (x,z) 데이터와 (y,z) 데이터를 일대일로 매칭시켜, (x,y,z) 데이터를 생성하는 단계
또한, 본 발명에 따른 방법에 있어서, 상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 2]를 수행할 수 있다.
[알고리즘 2]
동일한 z 데이터에 대하여 2개 이상의 x 또는 y 데이터가 존재하는지 여부를 체크하는 단계 및
2개 이상의 x 또는 y 데이터가 존재하는 경우, 2개 이상의 x 또는 y 데이터의 산술평균을 구하여, x 또는 y 값으로 부여하는 단계
또한, 본 발명에 따른 방법에 있어서, 상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 3a] 또는 [알고리즘 3b]를 수행할 수 있다.
[알고리즘 3a]
일대일 매칭 과정에서 (x,z) 데이터와 (y,z) 데이터의 z 값의 증감방향을 체크하는 단계 및
z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, (x,z) 데이터 또는 (y,z) 데이터 중 여분의 데이터가 발생한 쪽의 데이터를 삭제하고 매칭하는 단계
[알고리즘 3b]
일대일 매칭 과정에서 (x,z) 데이터와 (y,z) 데이터의 z 값의 증감방향을 체크하는 단계 및
z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, (x,z) 데이터 또는 (y,z) 데이터 중 여분의 데이터가 발생한 쪽의 데이터는 증감방향이 일치하는 데이터로 가정하여 매칭하는 단계
또한, 본 발명에 따른 방법에 있어서, 상기 (c) 단계에서 추출된 데이터는 생물의 자취 정보와 변위 속도일 수 있다.
기존의 벌레추적기(worm tracker)들은 하나의 카메라를 이용한 영상기술을 사용하여, 2차원적인 환경에서의 운동만이 분석 가능하였으나, 본 발명에 따른 방법에 의하면 2개의 2차원 이미지로부터, 생물의 분석에 적합한 3차원 이미지 정보를 획득할 수 있고, 이를 통해 생물의 자취 및 변위 속도 정보를 정확하게 알 수 있어, 생물의 행동 패턴(예를 들어, 주화성, 주열성, 생활유지를 위한 수단으로 에너지를 찾는 행동 들)에 대한 정량적인 분석과 데이터의 제공이 가능하게 된다.
도 1은 본 발명에 따른 생물의 자취 및 행동 패턴을 분석하는 과정을 보여주는 절차도이다.
도 2는 본 발명에 따라 2대의 카메라를 사용해서 예쁜 꼬마 선충의 자취와 행동패턴을 촬상하는 것을 보여주는 도면이다.
도 3은 본 발명에 따라 예쁜 꼬마 선충을 촬상한 것을 합성하여 3차원의 데이터를 도출하는 과정을 설명하는 도면이다.
도 4는 초기 행렬 데이터를 일치하도록 조정하는 것을 보여주는 도면이다.
도 5a 및 5b는 실제 조정하는 작업에서 초기 데이터가 일치하지 않는 경우에 이러한 오류를 시정하기 위한 행렬 데이터를 보여주는 도면이다.
도 6a 및 6b는 실제 예쁜 꼬마 선충의 측면 이미지에서 스켈레톤 1과 스켈레톤 2를 일치시키는 것을 보여주는 도면이다.
도 7a 및 7b는 동일한 z에 대하여 2개 이상의 x 값이 존재하는 경우를 보여주는 도면이다.
도 8은 동일한 z에 대해 2개 이상의 x 값이 존재하는 경우, 데이터를 처리하는 과정을 보여주는 도면이다.
도 9a와 9b는 두 데이터의 z 값의 증감방향이 다른 경우, 데이터 처리과정을 보여주는 도면이다.
도 10은 본 발명의 실시예에 따라 2개의 2차원 정보로부터 가상의 X-Y 평면에 대한 데이터를 얻어서 3개의 평면에 대한 데이터를 얻는 과정을 보여주는 이미지이다.
도 11은 본 발명의 실시예에 따른 방법에 의해 합성한 데이터를 통해 예쁜 꼬마 선충의 자취 정보 및 변위 속도 정보를 그래픽으로 구현한 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명한다. 그러나, 이하의 실시예는 이 기술 분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다. 도면상에서 동일부호는 동일한 요소를 지칭한다.
본 발명에 따른 생물의 자취 및 행동패턴을 분석하는 방법은, 도 1에 보여지는 바와 같이, (a) 완충용액이 채워진 반응용기에 생물을 투입하는 단계(S10)와, (b) 2대의 카메라를 상호 직각으로 배치하여 상기 생물을 동시에 촬영하여 이미지를 획득하는 단계(S20)와, (c) 획득된 2개의 이미지를 매칭시켜 3차원 데이터를 추출하는 단계(S30) 및 (d) 상기 3차원 데이터를 통해 생물의 자취 및 행동 패턴을 분석하는 단계(S40)를 포함한다.
완충용액이 투입된 용기에 생물을 투입하는 단계( S10 )
본 발명에서는 완충용액으로 젤라틴 용액을 사용하는데, 젤라틴 용액은 투명하여 카메라를 이용하여 관찰하기 용이하고, pH의 변화가 심하지 않아 생물의 생존에 유리하고, 완충용액에 투입되는 생물에 영양분을 제공할 수 있으며, 완충용액에 투입되는 생물이 그 형상을 유지할 수 있도록 하는 매질로서의 역할도 수행한다.
본 발명의 실시예에서는 완충용액으로 젤라틴 용액을 사용하였으나, 젤라틴 용액과 동일하거나 유사한 역할을 수행할 수 있는 것이라면 어느 것이 사용될 수 있다. 예를 들어, 물, 식염수, 각종 젤(아가 젤, 젤라틴 등 포함) 등 광학적으로 투명한 성질을 가지며 생물이 움직일 수 있는 매질을 들 수 있다.
본 발명에서는 생물의 자취 및 행동 패턴을 분석하는 생물로는, 자가 수정을 통해 동일한 유전자형의 개체를 생산할 수 있으며, 단일 개체의 성체로부터 생산되는 개체수가 많아 유전학적인 연구의 모델로 이용되고 있는 예쁜 꼬마 선충을 사용하나, 에스케리키아 콜라이, 사카로마이세스 세레비지에, 아라비돕시스 쌀리아나, 드로소필라 멜라노게스터, 무스 무스큘러스 등도 사용될 수 있다.
또한, 완충용액인 젤라틴 용액의 농도는 선충이 움직이기에 수월한 농도가 되도록 하는 것이 바람직하며, 본 발명의 실시예에서는 3중량% 정도로 첨가하였다.
카메라의 배치 및 이미지 획득단계( S20 )
생물의 이미지 획득에는 2대의 카메라가 사용된다. 상기 2대의 카메라는 상호 직각으로 배치되어 동시에 촬영하여 이미지를 획득하게 된다.
상기 카메라로는 생물의 움직임을 정밀하게 촬영할 수 있는 것이면 어느 것이나 사용될 수 있으며, 바람직하게는 CCD(Charge coupled device) 카메라가 사용될 수 있다. 본 발명의 실시예에 따른 생물이 매우 미소한 크기일 경우, 상기 생물을 확대할 수 있는 렌즈 또는 현미경에 카메라를 부착한 형태로 이미지를 획득할 수 있다.
상기 2대의 카메라는 상호 직각으로 배치되어야만, 획득된 이미지로부터 생물의 정확한 자취 및 행동 패턴의 분석이 가능하다.
도 2는 본 발명에 따라 2대의 CCD 카메라를 사용해서 예쁜 꼬마 선충에 대한 이미지를 획득하는 과정을 보여주는 모식도이다.
도 2에 도시된 바와 같이, 받침대(50) 상에 배치된 용기(40)를 가운데 두고 상호 직각으로 2대의 CCD 카메라(100a,100b)를 배치하고, 상기 용기(40)에 젤라틴 완충용액을 충전한 후 예쁜 꼬마 선충을 넣고 예쁜 꼬마 선충의 움직임을 상기 2대의 CCD 카메라(100a,100b)를 사용하여 동시에 촬영한다. 또한, 상기 2대의 CCD 카메라(100a,100b)와 용기의 사이에는 생물의 미세한 크기를 고려하여, 렌즈(110)가 배치되어 있다.
이때, 상기 2대의 CCD 카메라는 상호 직각을 유지하도록 배치된 상태이므로, 도 2에 도시된 바와 같이, 하나의 CCD 카메라(100a)는 (X,Z) 면에 대한 이미지를 획득하고, 다른 하나의 CCD 카메라(100b)는 (Y,Z)면에 대한 이미지를 획득하게 된다.
이와 같이 이미지를 획득할 경우, 동일한 시점에 대해, Z축의 데이터가 공통된 X 및 Y 데이터, 즉 (X,Z) 행렬 데이터와 (Y,Z)행렬 데이터로 이루어진 데이터를 얻을 수 있고, 이를 이용하여 도 3에 도시된 바와 같은 상기 2 데이터를 조합하는 스테레오 매칭(stereo metching) 작업을 통해, (X,Y,Z) 데이터를 얻을 수 있게 된다.
이하에서는, (X,Z)에 대한 데이터를 산출하는 카메라에 대하여 얻어지는 데이타를 '스켈레톤(skeleton) 1'이라고 하고 (y,z)에 대한 데이터를 산출하는 카메라에 대하여 얻어지는 데이타를 '스켈레톤(skeleton) 2'라고 한다.
구체적으로, 하기 표 1과 표 2는 '스켈레톤 1'과 '스켈레톤 2'로부터 얻어지는 데이터를 예시적으로 나타낸 것이다.
z값 x값
z1 x1
z2 x2
.
.
.		 .
.
.
zn xn
z값 y값
z1 y1
z2 y2
.
.
.		 .
.
.
zn yn
상기 표 1에서 z와 x의 옆에 붙어 있는 첨자는 시간에 따라 순차적으로 대응하는 값이고, 따라서 (x,z)에 대하여 순시적인 구성을 갖는 표가 얻어진다. 물론 이 표를 구성하는 데이터의 수는 CCD 카메라(100a, 100b)로 촬영하는 간격에 따라 늘어날 수도 있고 줄어들 수도 있다.
촬영 간격은 초당 0.5 ~ 20프레임인 것이 바람직한데, 이는 초당 0.5 프레임 미만일 경우 생물의 미세한 움직임을 분석하기에 충분하지 않고, 초당 20 프레임을 초과할 경우 데이터 처리량이 지나치게 늘어나기 때문이다.
3차원 영상 데이터를 합성하는 단계( S30 )
3차원 영상 데이터를 합성하는 단계(S30)는, 상기한 과정을 통해 얻은 2개의 2차원 평면 이미지 데이터를 합성하여 3차원 입체 이미지로 바꾸는 단계이다.
본 발명의 실시예에서는 생물의 자취와 행동패턴을 분석하기 용이하도록 다음과 같은 알고리즘을 통해 3차원 영상 데이터를 구현하였다.
구체적으로, 프로그래밍의 구동에 대한 전제조건을 기재하는 헤더부에는 '스켈레톤 1'의 데이터인 (x,z)의 행렬을 'A1 행렬'이라고 하고, '스켈레톤 2'의 데이터인 (y,z)의 행렬을 'A2 행렬'이라고 한다.
'스켈레톤 1' 및 '스켈레톤 2'로부터 A1 행렬과 A2 행렬을 추출하고, 이들 행렬 간의 데이터를 상호 일치시키는 과정을 하기 [알고리즘 1]을 통해 수행한다.
[알고리즘 1]
'스켈레톤 1' 및 '스켈레톤 2'로부터 A1 행렬 및 A2 행렬을 설정하는 단계,
A1 행렬과 A2 행렬의 초기 z 데이터를 비교하여, 공통되지 않는 데이터를 삭제하고 초기 z 데이터를 일치시키는 단계,
공통된 z 값을 통해 A1 행렬과 A2 행렬을 일대일로 매칭시켜, (x,y,z) 데이터를 생성하는 단계
도 4는 상기 [알고리즘 1]을 통해 데이터를 합성하는 과정을 개략적으로 나타낸 것이다. 도시된 바와 같이, 상기 알로리즘 1을 통해, A1 행렬과 A2의 행렬 중에서 일치하지 않는 z의 행렬의 구성요소가 있는 경우 이를 배제하고(×로 표시), z의 값이 일치하는 경우에만 데이터를 추출(○로 표시)하게 된다.
도 5는 실제 합성 과정에서 초기 데이터가 일치하지 않는 경우의, 행렬 데이터를 나타내는 도면이다.
도 5a는 A1 행렬(z,x)에 대한 데이터이고, 5b는 A2 행렬(z,y)에 대한 데이터이다. 여기서 (z,x) 데이터는 (29,122)로 시작함에 비해, (z,y) 데이터는 (33,95)로 시작한다. 이와 같이, z 값이 일치하지 않는 도 5a의 (29,122), (30,121), (31,121), (32,121)을 삭제하고, z 값이 일치하는 데이터를 합성하여 (x,y,z) 데이터를 얻는다.
도 6a와 6b는 실제 예쁜 꼬마 선충의 (x,z) 측면 이미지와 (y,z) 측면이미지를 각각 나타낸 것이다. 2개의 이미지의 우측 부분(도 6a의 A와 도 6b의 A')의 z 값이 일치하지 않는다는 것을 알 수 있다. 이때, 이미지의 특정 부분을 시작으로 일치시키는 헤드 매칭(head matching)을 수행하고, 헤드 메칭이 완료되고 나면 일대일 매칭(one to one matching) 작업을 수행하여, 3차원 입체 이미지를 생성하는 것이다.
상기 일대일 매칭 과정에서, 동일한 z 값을 갖는 데이터가 2개 이상 존재하는 경우가 생기며, 이 경우에는 전체적인 길이 산정에 오류를 초래할 수 있기 때문에, 하기 [알고리즘 2]를 통해 데이터 처리를 수행한다.
[알고리즘 2]
동일한 z 데이터에 대하여 2개 이상의 x 또는 y 데이터가 존재하는지 여부를 체크하는 단계,
2개 이상의 x 또는 y 데이터가 존재하는 경우, 2개 이상의 x 또는 y 데이터의 산술평균을 구하여, x 또는 y 값으로 부여하는 단계
구체적으로, 도 7a와 도 7b는 각각 X-Z 면과 Y-Z 면에서 예쁜 꼬마 선충의 이미지 데이터를 나타낸 것이다.
도 7a의 중간 부분에는 동일한 z 값에 대해 2개 이상의 x 값을 갖는 부분이 존재함을 보여준다. 반면, 도 7b에는 동일한 z 값에 대해 2개 이상의 y 값을 갖는 부분이 존재하지 않는다.
도 8은 동일한 z 값에 대하여 2개 이상의 x 값을 갖는 경우에 데이터를 처리하는 과정을 나타낸 것이다.
도 8a에서 동일한 z 값인 6에는, 26,27,28의 서로 다른 3개의 x 값이 존재하는데, 이 경우 27이라는 산술 평균값으로 처리한다. 마찬가지로 도 8a의 z 값 7에는 24.5가 x 값으로 부여되고 z 값 8에는 21.5가 x 값으로 부여된다.
또한, 일대일 매칭과정을 수행하는 중에, '스켈레톤 1'과 '스켈레톤 2'의 높이 변화가 상호 반대방향인 경우가 발생할 수 있는 데 이때는 하기 [알고리즘 3a] 또는 [알고리즘 3b]를 통해 데이터 처리를 수행한다.
[알고리즘 3a]
일대일 매칭 과정에서 A1 행렬과 A2 행렬의 z 값의 증감방향을 체크하는 단계,
z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, A1 데이터 또는 A2 데이터 중 여분의 데이터가 발생한 쪽의 데이터는 삭제하고 매칭하는 단계
[알고리즘 3b]
일대일 매칭 과정에서 A1 행렬과 A2 행렬의 z 값의 증감방향을 체크하는 단계,
z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, A1 데이터 또는 A2 데이터 중 여분의 데이터가 발생한 쪽의 데이터는 증감방향이 일치하는 데이터로 가정하여 매칭하는 단계
도 9a와 9b는 일대일 매칭 과정에서 z 값의 증감방향이 상호 달라지는 경우를 보여주는 도면이다.
구체적으로, A1 데이터인 (z,x) 데이터에서 z 값은 28에서, 27, 26, 25, 26, 27, 28로 변화함에 비해, A2 데이터인 (z,y) 데이터에서 z 값은 28에서 29로 변화하여, A1 데이터와 A2 데이터의 증감방향이 상호 다르게 되어 있다.
이 경우, 상기 [알고리즘 3a]에 의하면, (z,x) 데이터에서 25, 26, 27의 데이터를 매칭시키지 않고, (z,y) 데이터와 증감방향이 일치하는 28의 데이터만을 매칭시키게 된다. 반면, [알고리즘 3b]에 의하면, (z,x) 데이터에서 25, 26, 27의 데이터는 z 값을 28로 가정하여, 일대일 매칭 과정이 수행된다.
상기와 같은 [알고리즘 2] 및 [알고리즘 3a] 또는 [알고리즘 3b]를 통해 일대일 매칭을 수행하면, 3차원 스켈레톤 데이터 즉 (x,y,z) 데이터를 얻을 수 있고, 이 데이터를 통해 선형 보간법(linear interpolation, 미지이나 어떤 간격에 대한 데이터가 주어지는 경우 그로부터 유추하여 다른 데이터를 삽입해서 그리는 해석학적 방법)을 적용하여, 생물의 3차원 시뮬레이션 이미지를 얻을 수 있게 된다.
구체적으로 3차원 스켈레톤 데이터의 인접한 두 점을 잇는 선분 내에서, 한 점을 시작점으로 하여 거리를 1씩 증가시키며 다음 점까지 사이에 있는 점을 확인, 이 점의 좌표를 정수화하여 스켈레톤 데이터로 보간, 그 후 반복적인 스켈레톤 데이터는 삭제하는 방법을 사용하였다.
도 10은 본 발명에 따라 2개의 2차원 이미지로부터 3차원의 재구성된 이미지 를 얻은 상태를 보여준다. 재구성된 이미지는 전술한 알고리즘을 통한 데이터 처리와 선형 보간법을 수행한 후의 결과이며, 상기한 과정을 통해 실제 생물의 움직임과 매우 유사한 3차원 데이터를 얻을 수 있게 된다.
생물의 자취 정보와 변위 속도를 분석하는 단계( S40 )
상기한 과정을 통해 얻은 3차원 이미지 정보는 시간 정보를 포함하고 있기 때문에, 이로부터 촬상된 생물의 자취정보와 변위속도 정보를 구할 수 있다.
이를 통해, 변위 속도에 대한 정보에 대하여 하기 [식 1]과 같이, R, G, B 데이터를 부여하면, 생물의 몸체 중에서도 어떤 부분이 외부 환경 또는 시간의 경과에 따라 빨리 움직이고 느리게 움직이는지를 시각적으로 알 수 있게 된다.
[식 1]
[R, G, B]=([Vx,Vy,Vz]+[1,1,1])*255/2
도 11은 본 발명의 실시예에 따라 획득한 시간 정보를 포함하는 3차원 이미지 정보로부터 예쁜 꼬마 선충(30)의 자취 정보와 변위 속도의 크기에 따라 다양한 색깔을 부여하여, 각각의 자취가 갖는 변위 속도에 대하여 그래픽으로 구현한 것이다.
이와 같은 데이터를 통해, 각각의 자취 지점에서 예쁜 꼬마 선충(30)의 어떤 부위가 어떤 변위 속도로 움직이고 있는지 용이하게 알 수 있게 되므로, 이러한 정보는 생물의 신경계의 분석에 적용될 수 있다.
이상, 본 발명의 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시예에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형이 가능하다.
30: 예쁜 꼬마 선충 40: 완충용액
50: 받침대 100a, 100b: CCD 카메라
110: 렌즈

Claims (11)

  1. (a) 완충용액이 채워진 반응용기에 생물을 투입하는 단계;
    (b) 2대의 카메라를 상호 직각으로 배치하여 상기 생물을 동시에 촬영하여 이미지를 획득하는 단계;
    (c) 획득된 2개의 이미지를 매칭시켜 3차원 데이터를 추출하는 단계; 및
    (d) 상기 3차원 데이터를 통해 생물의 자취 및 행동 패턴을 분석하는 단계;를 포함하는 생물의 자취 및 행동 패턴 분석방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계의 완충용액은 젤라틴을 포함하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  3. 제 1 항에 있어서,
    상기 (a) 단계의 생물은 예쁜 꼬마 선충인 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  4. 제 1 항에 있어서,
    상기 2대의 카메라는 초점거리가 동일한 렌즈를 구비하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  5. 제 1 항에 있어서,
    상기 2대의 카메라 중 하나는 (x,z)에 대한 데이터를 얻고 다른 하나는 (y,z)에 대한 데이터를 얻는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  6. 제 1 항에 있어서,
    상기 (b) 단계의 촬영은 0.5 ~ 20 프레임/초의 속도로 이루어지는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  7. 제 5 항에 있어서,
    상기 (x,z) 데이터와 (y,z) 데이터를, 공통된 z 데이터를 기초로 일대일로 매칭시켜, (x,y,z) 데이터를 획득하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
  8. 제 7 항에 있어서,
    상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 1]을 수행하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
    [알고리즘 1]
    상기 (x,z)데이터와, 상기 (y,z) 데이터를 시계열적으로 나열하는 단계;
    상기 (x,z)데이터와 상기 (y,z)데이터의 초기 데이터를 비교하여, z가 공통되지 않는 데이터를 삭제하여 초기 z 데이터를 일치시키는 단계;
    공통된 z 값을 통해 (x,z) 데이터와 (y,z) 데이터를 일대일로 매칭시켜, (x,y,z) 데이터를 생성하는 단계;
  9. 제 8 항에 있어서,
    상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 2]를 수행하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
    [알고리즘 2]
    동일한 z 데이터에 대하여 2개 이상의 x 또는 y 데이터가 존재하는지 여부를 체크하는 단계;
    2개 이상의 x 또는 y 데이터가 존재하는 경우, 2개 이상의 x 또는 y 데이터의 산술평균을 구하여, x 또는 y 값으로 부여하는 단계;
  10. 제 9 항에 있어서,
    상기 일대일 매칭을 수행함에 있어서 하기 [알고리즘 3a] 또는 [알고리즘 3b]를 수행하는 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
    [알고리즘 3a]
    일대일 매칭 과정에서 (x,z) 데이터와 (y,z) 데이터의 z 값의 증감방향을 체크하는 단계;
    z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, (x,z) 데이터 또는 (y,z) 데이터 중 여분의 데이터가 발생한 쪽의 데이터를 삭제하고 매칭하는 단계;
    [알고리즘 3b]
    일대일 매칭 과정에서 (x,z) 데이터와 (y,z) 데이터의 z 값의 증감방향을 체크하는 단계;
    z 값의 증감방향이 일치하지 않는 경우, 증감방향이 일치할 때까지, (x,z) 데이터 또는 (y,z) 데이터 중 여분의 데이터가 발생한 쪽의 데이터는 증감방향이 일치하는 데이터로 가정하여 매칭하는 단계;
  11. 제 1 항에 있어서,
    상기 (c) 단계에서 추출된 데이터는 생물의 자취 정보와 변위 속도인 것을 특징으로 하는 생물의 자취 및 행동 패턴 분석방법.
KR1020120129148A 2012-11-14 2012-11-14 생물의 자취 및 행동패턴을 분석하는 방법 KR101465087B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120129148A KR101465087B1 (ko) 2012-11-14 2012-11-14 생물의 자취 및 행동패턴을 분석하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120129148A KR101465087B1 (ko) 2012-11-14 2012-11-14 생물의 자취 및 행동패턴을 분석하는 방법

Publications (2)

Publication Number Publication Date
KR20140062389A true KR20140062389A (ko) 2014-05-23
KR101465087B1 KR101465087B1 (ko) 2014-11-26

Family

ID=50890682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120129148A KR101465087B1 (ko) 2012-11-14 2012-11-14 생물의 자취 및 행동패턴을 분석하는 방법

Country Status (1)

Country Link
KR (1) KR101465087B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687331B1 (ko) * 2015-08-24 2016-12-16 기초과학연구원 선충의 노화 관련 운동성 측정을 통한 수명 예측 및 근육 노화 상태 평가 방법 및 이를 이용한 노화 조절에 관여하는 화합물 및 유전자의 스크리닝 방법
WO2017095120A1 (ko) * 2015-11-30 2017-06-08 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ281565A (en) * 1994-03-19 1998-08-26 Eidgenoess Munitionsfab Thun Toxicity of substance determined from change in mobility and/or size of test organism in aqueous medium upon addition of substance
KR100361462B1 (ko) * 1999-11-11 2002-11-21 황병익 모션 캡쳐 데이터 획득 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687331B1 (ko) * 2015-08-24 2016-12-16 기초과학연구원 선충의 노화 관련 운동성 측정을 통한 수명 예측 및 근육 노화 상태 평가 방법 및 이를 이용한 노화 조절에 관여하는 화합물 및 유전자의 스크리닝 방법
WO2017095120A1 (ko) * 2015-11-30 2017-06-08 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
US10713478B2 (en) 2015-11-30 2020-07-14 Korea Institute Of Industrial Technology Behaviour pattern analysis system and method using depth image

Also Published As

Publication number Publication date
KR101465087B1 (ko) 2014-11-26

Similar Documents

Publication Publication Date Title
Figueira et al. Accuracy and precision of habitat structural complexity metrics derived from underwater photogrammetry
EP2425215B1 (en) Remote contactless stereoscopic mass estimation system
Saberioon et al. Automated multiple fish tracking in three-dimension using a structured light sensor
CN111862048B (zh) 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
Ruff et al. Fish sizing and monitoring using a stereo image analysis system applied to fish farming
CN107358632B (zh) 应用于水下双目立体视觉的水下摄像机标定方法
Lagudi et al. An alignment method for the integration of underwater 3D data captured by a stereovision system and an acoustic camera
CN113822233B (zh) 一种深海养殖异常鱼类跟踪方法及系统
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN112131921B (zh) 基于立体视觉的生物自动量测系统及其量测方法
Marsh et al. Getting the bigger picture: using precision Remotely Operated Vehicle (ROV) videography to acquire high-definition mosaic images of newly discovered hydrothermal vents in the Southern Ocean
Shaw et al. Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy
KR101465087B1 (ko) 생물의 자취 및 행동패턴을 분석하는 방법
Pérez et al. Automatic measurement of fish size using stereo vision
CN115512215A (zh) 水下生物监测方法、装置及存储介质
WO2017217180A1 (ja) 情報処理装置、観察システム、観察方法及びプログラム
CN111079733A (zh) 基于水下成像环境模型的数据增广方法
CN107976148B (zh) 一种深海生物测量装置及其生物特征的测量方法
CN110378964B (zh) 一种摄像机外参标定方法及装置、存储介质
Ma et al. Stereo imaging of crystal growth
CN114119768B (zh) 一种基于多目视觉技术的刺参活性监测方法
KR20150069739A (ko) 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템
DE102014106718A1 (de) Verfahren und System zur Bestimmung einer gegenständlichen Lage
Karunachandra et al. Binocular vision-based intelligent 3-D perception for robotics application
CN107764184A (zh) 一种便于定点和标识，便于实验测试的三维标尺

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee