KR20210109437A

KR20210109437A - 합초 위치 검출 방법, 합초 위치 검출 장치 및 기록 매체

Info

Publication number: KR20210109437A
Application number: KR1020200185175A
Authority: KR
Inventors: 다쿠야 야스다
Original assignee: 가부시키가이샤 스크린 홀딩스
Priority date: 2020-02-27
Filing date: 2020-12-28
Publication date: 2021-09-06
Also published as: US20210250515A1; CN113315905A; EP3872765A1; KR102437996B1; CN113315905B; TW202132851A; TWI781490B; US11233932B2

Abstract

(과제) 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초점 위치를 검출하는 합초 위치 검출 기술에 있어서, 합초 위치를 안정적으로 검출한다.
(해결 수단) 대상 화상마다 초점의 맞춤 정도를 지표하는 합초도를 대상 화상으로부터 구하는 제 2 공정은, 대상 화상을 복수의 국소 영역으로 분할하는 분할 공정과, 국소 영역마다, 초점의 맞춤 정도를 지표하는 국소값을 국소 영역으로부터 구하는 국소값 산출 공정과, 복수의 국소값에 기초하여 합초도를 구하는 합초도 산출 공정을 갖고 있다.

Description

합초 위치 검출 방법, 합초 위치 검출 장치 및 기록 매체{FOCUSING POSITION DETECTION METHOD, FOCUSING POSITION DETECTOR AND RECORDING MEDIUM}

본 발명은, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초점 위치를 검출하는 합초 위치 검출 기술이다.

이하에 나타내는 일본 출원의 명세서, 도면 및 특허 청구 범위에 있어서의 개시 내용은, 참조에 의해 그 전체 내용이 본서에 삽입된다 :

일본 특허출원 2020-031528호 (2020년 2월 27일 출원)

일본 특허출원 2020-031529호 (2020년 2월 27일 출원).

세포의 배양 및 해석에는, 세포를 포함하는 시료를 촬상한 화상이 사용되는 경우가 있다. 시료는, 웰 플레이트 또는 마이크로 플레이트 등으로 불리는 복수의 웰 (오목부) 이 형성된 평판상의 용기나, 단일의 웰을 갖는 디시로 불리는 평평한 접시 형상의 용기를 사용하여 제조된다. 촬상 대상물인 세포를 양호하게 촬상하기 위해서는, 합초 위치를 검출하여 초점 위치를 조정할 필요가 있다. 그래서, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초 위치를 검출하는 합초 위치 검출 기술이 제안되어 있다 (일본 공개특허공보 평7-318784호, 일본 공개특허공보 2016-223931호 등).

상기 대상 화상에는 촬상 대상물 이미지가 국소적으로 포함되는 경우가 있다. 여기서, 촬상 대상물 이미지의 휘도가 극단적으로 낮은 조건에 있어서는, 상기 종래 기술을 사용해도 합초 위치를 정확하게 검출하는 것은 어려웠다. 특히, 촬상 대상물에 여기광을 조사하여 형광 발광시킨 후에 촬상 대상물 이미지를 포함하는 형광 화상 (대상 화상) 을 취득하는 경우, 일반적으로 형광 화상은 어두워지는 경우가 많다. 그 때문에, 촬상 대상물 이미지의 휘도와 노이즈의 차이가 작아져, 백 그라운드 노이즈의 영향을 받기 쉬워진다.

또, 시료 중에 본래의 촬상 대상물과 상이한 사세포 (死細胞) 등이 포함되는 경우가 있다. 이 시료를 촬상하여 취득되는 화상에 있어서는, 사세포 등에 대응하는 화소의 휘도가 극단적으로 높아진 고휘도 영역이 포함되는 경우가 있다. 그래서, 고휘도 영역을 포함하고 있는 화상 (나중의 도 7 의 (a) 란 및 (b) 란 참조) 에 대해서는 고휘도 영역을 제외한 후 합초점 위치를 검출하는 것도 생각할 수 있는데, 이것으로는 사세포 등의 영향을 충분히 배제할 수 없다.

여기서, 촬상부에 포함되는 조명 소자나 카메라의 설정 조건 (발광 시간이나 노광 시간 등) 을 조정하여 재촬상하면, 상기 문제는 해소된다. 즉, 노이즈에 대한 촬상 대상물 이미지의 휘도차가 커진다. 또, 고휘도 영역의 발생이 억제된다. 단, 촬상 대상물이 세포이기 때문에, 재촬상을 반복하는 것은, 세포에 대한 문제 (광 독성, 형광 퇴색) 나 촬상 대기 시간의 문제를 일으킨다. 그 때문에, 합초 위치의 검출을 위해서 재촬상을 반복하는 것을 회피하고 싶다는 요망이 있었다.

본 발명은 상기 과제를 감안하여 이루어진 것으로, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초점 위치를 검출하는 합초 위치 검출 기술에 관한 것이다. 특히, 대상 화상이 비교적 어두운 경우나 고휘도 영역을 포함하는 경우여도, 검출 동작을 반복하지 않고, 합초 위치를 안정적으로 검출하는 기술을 제공하는 것을 목적으로 한다.

본 발명의 제 1 양태는, 합초 위치 검출 방법으로서, (a) 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에서 촬상하여 복수의 대상 화상을 취득하는 공정과, (b) 대상 화상마다, 대상 화상을 분할한 복수의 국소 영역 또는 소정의 휘도를 초과하는 포화 영역을 제외한 포화 영역 외의 화상에 기초하여, 초점의 맞춤 정도를 지표하는 합초도를 대상 화상으로부터 구하는 공정과, (c) 복수의 합초도에 기초하여 합초 위치를 특정하는 공정을 구비하는 것을 특징으로 하고 있다.

또, 본 발명의 제 2 양태는, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초 위치를 검출하는 합초 위치 검출 장치로서, 대상 화상마다, 대상 화상을 분할한 복수의 국소 영역 또는 소정의 휘도를 초과하는 포화 영역을 제외한 포화 영역 외의 화상에 기초하여, 촬상부의 초점의 맞춤 정도를 지표하는 합초도를 대상 화상으로부터 산출하는 합초도 산출부와, 합초도 산출부에 의해 산출된 복수의 합초도에 기초하여 합초 위치를 특정하는 합초 위치 특정부를 구비하는 것을 특징으로 하고 있다.

또, 본 발명의 제 3 양태는, 컴퓨터 판독 가능한 비일과성의 기록 매체로서, 상기 합초 위치 검출 방법을 컴퓨터에 실행시키는 합초 위치 검출용 프로그램을 기록하고 있는 것을 특징으로 하고 있다.

또한, 본 발명의 제 4 양태는, 합초 위치 검출용 프로그램으로서, 상기 합초 위치 검출 방법을 컴퓨터에 실행시키는 것을 특징으로 하고 있다.

상기와 같이, 본 발명에 의하면, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상이 비교적 어두운 경우나 고휘도 영역을 포함하는 경우여도, 검출 동작을 반복하지 않고, 합초 위치를 안정적으로 검출할 수 있다.

상기 서술한 본 발명의 각 양태가 갖는 복수의 구성 요소는 모두가 필수의 것은 아니고, 상기 서술한 과제의 일부 또는 전부를 해결하기 위해서, 혹은 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해서, 적당히 상기 복수의 구성 요소의 일부의 구성 요소에 대해, 그 변경, 삭제, 새로운 다른 구성 요소와의 교환, 한정 내용의 일부 삭제를 실시하는 것이 가능하다. 또, 상기 서술한 과제의 일부 또는 전부를 해결하기 위해서, 혹은 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해서, 상기 서술한 본 발명의 일 양태에 포함되는 기술적 특징의 일부 또는 전부를 상기 서술한 본 발명의 다른 양태에 포함되는 기술적 특징의 일부 또는 전부와 조합하여, 본 발명의 독립된 일 형태로 하는 것도 가능하다.

도 1 은, 본 발명에 관련된 합초 위치 검출 장치의 일 실시형태를 장비하는 촬상 장치의 개략 구성을 나타내는 도면이다.
도 2A 는 촬상 장치에서 사용되는 웰 플레이트의 상면도이다.
도 2B 는 촬상 장치에서 사용되는 웰 플레이트의 사시도이다.
도 3 은, 도 1 에 나타내는 촬상 장치에 있어서 실행되는 합초 위치 검출 방법의 일 실시형태를 나타내는 플로 차트이다.
도 4 는, 합초 위치 검출 방법으로 실행되는 공정의 일부를 모식적으로 나타내는 도면이다.
도 5 는, 본 발명에 관련된 합초 위치 검출 장치의 제 2 실시형태를 장비하는 촬상 장치의 개략 구성을 나타내는 도면이다.
도 6 은, 도 5 에 나타내는 촬상 장치에 있어서 실행되는 합초 위치 검출 방법의 제 2 실시형태를 나타내는 플로 차트이다.
도 7 은, 촬상부에 의해 취득되는 대상 화상의 일례를 나타내는 도면이다.
도 8 은, 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다.
도 9 는, 본 발명에 관련된 합초 위치 검출 방법의 제 3 실시형태에 있어서의 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다.
도 10 은, 본 발명에 관련된 합초 위치 검출 방법의 제 4 실시형태에 있어서의 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다.
도 11 은, 본 발명에 관련된 합초 위치 검출 방법의 제 5 실시형태에서 실행되는 공정의 일부를 모식적으로 나타내는 도면이다.

이하, 대상 화상이 비교적 어두운 경우에 적합한 실시형태 A 와, 대상 화상이 고휘도 영역을 포함하는 경우에 적합한 실시형태 B 로 나누어 설명한다.

실시형태 A

이하에 있어서는, 실시형태 A 로서, 1 개의 실시형태 (제 1 실시형태) 에 대해 설명한다.

도 1 은 본 발명에 관련된 합초 위치 검출 장치의 제 1 실시형태를 장비하는 촬상 장치의 개략 구성을 나타내는 도면이다. 도 2A 및 도 2B 는 촬상 장치에서 사용되는 웰 플레이트의 일례를 나타내는 도면이고, 도 2A 는 웰 플레이트의 상면도이고, 도 2B 는 그 사시도이다. 여기서, 각 도면에 있어서의 방향을 통일적으로 나타내기 위해서, 도 1 에 나타내는 바와 같이 XYZ 직교 좌표계를 설정한다. 예를 들어 XY 평면을 수평면, Z 축을 연직축이라고 생각할 수 있다. 이하에 있어서는 (-Z) 방향을 연직 하방향으로 한다.

촬상 장치 (1) 는, 웰 플레이트 (9) 의 상면에 형성된 웰 (91) 이라고 칭해지는 오목부에 담지된 배지 중에서 배양되는 세포, 세포 콜로니, 세균 등 (이하, 「세포 등」이라고 칭하고 참조 부호 C 를 붙인다) 의 생시료를 촬상하는 장치이다. 웰 플레이트 (9) 는, 도 2A 및 도 2B 에 나타내는 바와 같이, 복수의 웰 (91) 을 갖는 대략 판상의 시료 용기이다. 웰 플레이트 (9) 의 재료에는, 예를 들어 광을 투과하는 투명한 수지가 사용된다. 웰 플레이트 (9) 의 상면에는, 복수의 웰 (91) 이 규칙적으로 배열되어 있다. 웰 (91) 은, 배지와 함께 촬상 대상물이 되는 복수의 세포를 유지한다. 또한, 이 촬상 장치 (1) 가 대상으로 하는 웰 플레이트의 사이즈나 웰의 수는 이것들로 한정되는 것은 아니며 임의이고, 예를 들어 6 내지 384 구멍의 것이 일반적으로 사용되고 있다. 또, 복수 웰을 갖는 웰 플레이트에 한정되지 않고, 예를 들어 디시로 불리는 평형의 용기에서 배양된 세포 등의 촬상에도, 이 촬상 장치 (1) 를 사용하는 것이 가능하다. 단, 본 실시형태에서는, 상면에서 볼 때의 웰 (91) 의 형상은, 원형으로 하여 설명한다. 단, 웰 (91) 의 형상은, 사각형, 모서리가 둥근 사각형 등의 다른 형상이어도 된다.

웰 플레이트 (9) 의 각 웰 (91) 에는, 도 1 에 나타내는 바와 같이 배지 (M) 로서의 액체가 소정량 주입되고, 이 액체 중에 있어서 소정의 배양 조건에서 배양된 세포 등 (C) 이, 이 촬상 장치 (1) 의 촬상 대상물이 된다. 배지 (M) 는 적당한 시약이 첨가된 것이어도 되고, 또 액상으로 웰 (91) 에 투입된 후 겔화되는 것이어도 된다. 이 촬상 장치 (1) 에서는, 예를 들어 웰 (91) 의 내저면에서 배양된 세포 등 (C) 을 촬상 대상으로 할 수 있다.

촬상 장치 (1) 는, 웰 플레이트 (9) 를 유지하는 홀더 (11) 와, 홀더 (11) 의 상방에 배치되는 조명부 (12) 와, 홀더 (11) 의 하방에 배치되는 촬상부 (13) 와, 이것들 각 부의 동작을 제어하는 CPU (141) 를 갖는 제어부 (14) 를 구비하고 있다. 홀더 (11) 는, 시료를 배지 (M) 와 함께 각 웰 (91) 에 담지하는 웰 플레이트 (9) 의 하면 주연부에 맞닿아 웰 플레이트 (9) 를 대략 수평 자세로 유지한다.

조명부 (12) 는, 홀더 (11) 에 의해 유지된 웰 플레이트 (9) 를 향하여 조명광을 출사한다. 조명광의 광원으로는, 예를 들어 백색 LED (Light Emitting Diode) 를 사용할 수 있다. 광원과 적당한 조명 광학계를 조합한 것이, 조명부 (12) 로서 사용된다. 조명부 (12) 에 의해, 웰 플레이트 (9) 에 형성된 웰 (91) 내의 세포 등이 상방으로부터 조명된다.

홀더 (11) 에 의해 유지된 웰 플레이트 (9) 의 하방에, 촬상부 (13) 가 형성된다. 촬상부 (13) 에는, 웰 플레이트 (9) 의 바로 아래 위치에 도시를 생략하는 촬상 광학계가 배치되어 있고, 촬상 광학계의 광축은 연직 방향 (Z 방향) 을 향하고 있다.

촬상부 (13) 에 의해, 웰 (91) 내의 세포 등이 촬상된다. 구체적으로는, 조명부 (12) 로부터 출사되고 웰 (91) 의 상방으로부터 액체에 입사한 광이 촬상 대상물을 조명하고, 웰 (91) 저면으로부터 하방으로 투과한 광이, 촬상부 (13) 의 대물 렌즈 (131) 를 포함하는 촬상 광학계를 통하여 촬상 소자 (132) 의 수광면에 입사한다. 촬상 광학계에 의해 촬상 소자 (132) 의 수광면에 결상하는 촬상 대상물의 이미지가, 촬상 소자 (132) 에 의해 촬상된다. 촬상 소자 (132) 는 이차원의 수광면을 갖는 에어리어 이미지 센서이며, 예를 들어 CCD 센서 또는 CMOS 센서를 사용할 수 있다.

촬상부 (13) 는, 제어부 (14) 에 형성된 메카 제어부 (146) 에 의해 수평 방향 (XY 방향) 및 연직 방향 (Z 방향) 으로 이동 가능하게 되어 있다. 구체적으로는, 메카 제어부 (146) 가 CPU (141) 로부터의 제어 지령에 기초하여 구동 기구 (15) 를 작동시키고, 촬상부 (13) 를 수평 방향으로 이동시킴으로써, 촬상부 (13) 가 웰 (91) 에 대해 수평 방향으로 이동한다. 또 연직 방향에 대한 이동에 의해 포커스 조정이 이루어진다. 이 포커스 조정은 나중에 상세하게 서술하는 합초 위치 검출 방법에 의해 검출되는 합초 위치에 기초하여 실행된다. 촬상 시야 내에 1 개의 웰 (91) 의 전체가 들어온 상태에서 촬상될 때에는, 메카 제어부 (146) 는, 광축이 당해 웰 (91) 의 중심과 일치하도록, 촬상부 (13) 를 수평 방향으로 위치 결정한다.

또, 구동 기구 (15) 는, 촬상부 (13) 를 수평 방향으로 이동시킬 때, 도면에 있어서 점선 수평 화살표로 나타내는 바와 같이 조명부 (12) 를 촬상부 (13) 와 일체적으로 이동시킨다. 즉, 조명부 (12) 는, 그 광 중심이 촬상부 (13) 의 광축과 대략 일치하도록 배치되어 있고, 촬상부 (13) 가 수평 방향으로 이동할 때, 이것과 연동하여 이동한다. 이로써, 어느 웰 (91) 이 촬상되는 경우에도, 당해 웰 (91) 의 중심 및 조명부 (12) 의 광 중심이 항상 촬상부 (13) 의 광축 상에 위치하게 되고, 각 웰 (91) 에 대한 조명 조건을 일정하게 하여, 촬상 조건을 양호하게 유지할 수 있다.

촬상부 (13) 의 촬상 소자 (132) 로부터 출력되는 화상 신호는, 제어부 (14) 에 보내진다. 즉, 화상 신호는 제어부 (14) 에 형성된 AD 컨버터 (A/D) (143) 에 입력되어 디지털 화상 데이터로 변환된다. CPU (141) 는, 수신한 화상 데이터에 기초하여 적당히 화상 처리를 실행하는 화상 처리부로서 기능한다. 제어부 (14) 는 추가로, 화상 데이터를 기억 보존하기 위한 화상 메모리 (144) 와, CPU (141) 가 실행해야 할 프로그램이나 CPU (141) 에 의해 생성되는 데이터를 기억 보존하기 위한 메모리 (145) 를 갖고 있는데, 이것들은 일체의 것이어도 된다. CPU (141) 는, 메모리 (145) 에 기억된 제어 프로그램을 실행함으로써, 후술하는 합초도 산출 처리 및 합초 위치 특정 처리 등을 실시하여 합초 위치를 검출한다. 요컨대, CPU (141) 는 본 발명의 「합초도 산출부」 및 「합초 위치 특정부」로서 기능하고, 제어 프로그램의 일부가 본 발명의 「합초 위치 검출용 프로그램」의 일례에 상당하고 있다.

그 외에, 제어부 (14) 에는, 인터페이스 (IF) 부 (142) 가 형성되어 있다. 인터페이스부 (142) 는, 사용자로부터의 조작 입력의 접수나, 사용자에 대한 처리 결과 등의 정보 제시를 실시하는 사용자 인터페이스 기능 외, 통신 회선을 개재하여 접속된 외부 장치와의 사이에서의 데이터 교환을 실시하는 기능을 갖는다. 사용자 인터페이스 기능을 실현하기 위해서, 인터페이스부 (142) 에는, 사용자로부터의 조작 입력을 접수하는 입력 접수부 (147) 와, 사용자에 대한 메시지나 처리 결과 등을 표시 출력하는 표시부 (148) 와, 컴퓨터 판독 가능한 비일과성 (non-transitory) 의 기록 매체 (M) 로부터 판독을 실시하는 판독 장치 (149) 가 접속되어 있다.

또한, 제어부 (14) 는, 상기한 하드 웨어를 구비한 전용 장치여도 되고, 또 퍼스널 컴퓨터나 워크 스테이션 등의 범용 처리 장치에, 후술하는 처리 기능을 실현하기 위한 제어 프로그램을 짜넣은 것이어도 된다. 즉, 이 촬상 장치 (1) 의 제어부 (14) 로서, 범용의 컴퓨터를 이용하는 것이 가능하다. 범용 처리 장치를 사용하는 경우, 촬상 장치 (1) 에는, 촬상부 (13) 등의 각 부를 동작시키기 위해서 필요 최소한의 제어 기능이 구비되어 있으면 충분하다.

도 3 은 도 1 에 나타내는 촬상 장치에 있어서 실행되는 합초 위치 검출 방법의 일 실시형태를 나타내는 플로 차트이다. 또, 도 4 는 합초 위치 검출 방법으로 실행되는 공정의 일부를 모식적으로 나타내는 도면이다. 합초 위치 검출 방법은, 제어부 (14) 에 형성된 CPU (141) 가, 미리 실장된 제어 프로그램을 실행하고 장치 각 부에 소정의 동작을 실시시킴으로써 실현된다.

처음으로, 구동 기구 (15) 가 촬상부 (13) 를 구동하여, 특정한 웰 (91), 예를 들어 중심부에 위치하는 웰 (91) 을 시야에 들어오도록 촬상부 (13) 의 수평 위치를 설정함과 함께, 대물 렌즈 (131) 의 초점 위치가 소정의 초기 위치가 되도록 촬상부 (13) 를 연직 방향 (Z) 에 있어서 촬상부 높이 (H1) 로 위치 결정한다. 이 상태에서 웰 (91) 의 촬상이 실시되고, 대상 화상 (G1) 의 화상 데이터가 화상 메모리 (144) 에 기억된다 (스텝 S1). 또한, 도 4 에 있어서는, 대상 화상 (G1) 에 포함되는 세포 등 (C) 의 이미지 (GC) 를 도트로 모식적으로 나타내고 있다. 또, 나중에 설명하는 대상 화상 (G2 ∼ G4) 에 포함되는 세포 등 (C) 의 이미지 (GC) 에 대해서도 동일하다. 또, 동 도면 중의 괄호 쓰기는 대응하는 촬상부 높이를 나타내고 있다.

다음의 스텝 S2 에서는, 초점의 맞춤 정도를 지표하는 합초도가 대상 화상으로부터 구해진다. 예를 들어 상기와 같이 대상 화상 (G1) 이 취득된 직후에 있어서는, 대상 화상 (G1) 의 분할 (스텝 S2-1), 국소 영역마다의 국소 합초도 (국소값) 의 산출 (스텝 S2-2) 및 복수의 국소 합초도에 기초하는 대상 화상 (G1) 에 대응하는 합초도의 산출 (스텝 S2-3) 이 실시된다. 즉, 도 4 에 나타내는 바와 같이 대상 화상 (G1) 이 복수 개 (본 실시형태에서는, 4 × 3 의 매트릭스상이며, 합계 12 개) 의 국소 영역 (PR) 으로 분할된다 (스텝 S2-1). 그리고, 국소 영역 (PR) 마다 초점의 맞춤 정도를 지표하는 합초도가 산출된다 (스텝 S2-2 : 국소값 산출 공정). 본 명세서에서는, 이와 같이 국소 영역 (PR) 으로부터 산출되는 합초도를 종래부터 주지된 합초도, 요컨대 대상 화상 (G1) 으로부터 산출되는 합초도와 구별하기 위해서, 「국소 합초도」라고 칭하고 있고, 이것이 본 발명의 「국소값」에 상당하고 있다. 요컨대, 본 실시형태에서는, 스텝 S2-2 의 실행에 의해 12 개의 국소 합초도가 산출된다.

국소 합초도로는, 종래부터 주지된 것, 예를 들어 (1) 국소 영역 (PR) 을 구성하는 화소의 휘도에 따른 지표값 (휘도 평균값, 콘트라스트, 에지 강도 등), (2) 상기 지표값에 대해 국소 영역 (PR) 의 면적이나 값에 따라 계수를 곱한 지표값, (3) 국소 영역 (PR) 을 구성하는 화소의 휘도 히스토그램으로부터 해석적으로 산출한 지표값 등을 사용할 수 있다. 본 실시형태에서는, 대상 화상 (G1) 을 구성하는 화소의 휘도를 0 내지 255 의 계조로 나타내고, 국소 영역 (PR) 마다의 휘도 평균값을 국소 합초도로 하고 있다. 따라서, 도 4 의 「국소 영역」 과 「국소 합초도」를 관련지어 관찰하면 알 수 있는 바와 같이, 대상 화상 (G1) 전체에 걸쳐서 국소 합초도가 비교적 낮고, 세포 등 (C) 의 이미지 (GC) 에 대응하는 국소 합초도가 약간 높게 되어 있다.

이렇게 하여 대상 화상 (G1) 에 대해 복수의 국소 합초도가 구해지면, 국소 합초도의 대소에 따른 보정을 실시하면서, 촬상부 (13) 를 촬상부 높이 (H1) 로 위치 결정했을 때의 합초도가 산출된다 (스텝 S2-3 : 합초도 산출 공정). 본 실시형태에서는, 국소 합초도의 크기에 따른 계수를 국소 합초도에 곱하여 보정값을 산출하고 있다. 보다 상세하게는, 촬상부 (13) 의 초점의 맞춤 정도의 순서로 상기 12 개의 국소 합초도를 소트하고, 상위로부터 일정 순위 (상위 50 ％) 까지의 국소 합초도에 계수로서 제로보다 큰 값 (본 실시형태에서는 「1」) 을 곱하여 복수의 보정값을 산출하는 한편, 나머지의 국소 합초도에 계수로서 제로를 곱하여 합초도를 산출하기 위한 보정값으로부터 실질적으로 제외하고 있다. 즉, 도 4 의 「국소 합초도」에 있어서 해칭으로 나타난 상위 6 개의 국소 합초도가 보정값으로서 추출되고, 이것들의 평균값이 촬상부 (13) 를 촬상부 높이 (H1) 로 위치 결정했을 때의 합초도로서 구해진다. 이와 같이, 스텝 S2 가 본 발명의 「공정 (b)」의 일례에 상당하고, 스텝 S2-1, S2-2, S2-3 이 각각 본 발명의 「공정 (b-1)」, 「공정 (b-2)」, 「공정 (b-3)」의 일례에 상당하고 있다.

다음의 스텝 S3 에서는, 촬상부 (13) 가 가장 낮은 촬상부 높이 (H4) 에 도달하고 있는지의 여부가 판정된다. 미도달이라고 판정하고 있는 동안, 스텝 S4 와 스텝 S2 가 반복된다. 즉, 스텝 S4 에서는, 연직 방향 (Z) 에 있어서의 촬상부 (13) 의 하강에 의해 촬상부 높이가 1 단계 낮아진 후, 변경 후의 촬상부 높이 (H2) (H3 또는 H4) 로 위치 결정된 촬상부 (13) 가 웰 (91) 을 촬상하여 대상 화상 (G2) (G3 또는 G4) 을 취득한다. 이와 같이 하여 본 발명의 「공정 (a)」의 일례에 상당하는 처리가 실행된다.

그리고, 취득된 대상 화상 (G2) (G3 또는 G4) 의 분할 (스텝 S2-1), 국소 영역마다의 국소 합초도 (국소값) 의 산출 (스텝 S2-2) 및 복수의 국소 합초도에 기초하는 대상 화상 (G2) (G3 또는 G4) 에 대응하는 합초도의 산출 (스텝 S2-3) 이 실시된다 (스텝 S2). 이렇게 하여, 촬상부 (13) 를 촬상부 높이 (H2 ∼ H4) 로 위치 결정했을 때의 합초도가 각각 구해진다. 또한, 본 실시형태에서는, 1 단계당의 촬상부 높이의 변경 피치는 일정하게 하고 있다.

한편, 스텝 S3 에서 「예」라고 판정되는, 요컨대 촬상부 높이 (H1 ∼ H4) 마다 합초도가 구해지면, 종래 기술과 동일하게 가장 합초도가 높은 촬상부 높이가 합초 위치로서 특정된다 (스텝 S5 : 공정 (c)). 예를 들어 도 4 에 나타내는 바와 같이 합초도가 분포하는 경우, 가장 높은 값을 나타낼 때의 촬상부 높이 (H3) 가 합초 위치로 특정된다.

여기서, 대상 화상 (G1 ∼ G4) 마다 대상 화상을 구성하는 전체 화소의 휘도를 단순 평균한 값을 합초도로 하는 비교예 (도 4 의 좌단) 와, 본 실시형태 (도 4 의 우단) 를 비교하면, 본 실시형태가 다음과 같은 우위성을 갖는 것을 알 수 있다. 비교예에서는 단순 평균하고 있는 것에 불과하고, 백 그라운드 노이즈의 영향을 받기 쉽다. 이 때문에, 촬상부 높이 (H1 ∼ H4) 의 변경에 수반되는 합초도의 변화량은 작고, 합초 위치를 오검출할 가능성이 높게 되어 있다. 이것에 대해, 본 실시형태에서는, 국소 합초도가 상위 50 ％ 미만으로 되어 있는 영역, 요컨대 세포 등 (C) 의 이미지 (GC) 가 포함되어 있지 않을 개연성이 높은 백 그라운드 노이즈 영역을 제외하고 대상 화상 (G1 ∼ G4) 마다의 합초도를 구하고 있다. 그 때문에, 촬상부 높이 (H1 ∼ H4) 의 변경에 수반되는 합초도의 변화량은 크고, 합초 위치를 보다 정확하게 검출할 수 있다. 그 결과, 대상 화상 (G1 ∼ G4) 이 비교적 어두운 경우여도, 검출 동작을 반복하지 않고, 합초 위치를 안정적으로 검출할 수 있다.

실시형태 B

다음으로, 도 5 내지 도 11 을 참조하면서 실시형태 B 에 대해 설명한다. 이하에 있어서는, 실시형태 B 로서, 4 개의 실시형태 (제 2 실시형태 ∼ 제 5 실시형태) 에 대해 설명하는데, 동일 구성에 대해서는, 동일 또는 상당 부호를 붙여 설명을 생략한다.

도 5 는 본 발명에 관련된 합초 위치 검출 장치의 제 2 실시형태를 장비하는 촬상 장치의 개략 구성을 나타내는 도면이다. 제 2 실시형태가 제 1 실시형태와 크게 상이한 점은, CPU (141) 가 포화 영역 취득부를 갖는 점과, CPU (141) 에서 실시되는 처리의 일부가 상이한 점이다. 즉, CPU (141) 는, 메모리 (145) 에 기억된 제어 프로그램을 실행함으로써, 후술하는 포화 영역 취득 처리, 합초도 산출 처리 및 합초 위치 특정 처리 등을 실시하여 합초 위치를 검출한다. 요컨대, CPU (141) 는 본 발명의 「포화 영역 취득부」, 「합초도 산출부」 및 「합초 위치 특정부」로서 기능하고, 제어 프로그램의 일부가 본 발명의 「합초 위치 검출용 프로그램」의 일례에 상당하고 있다.

도 6 은 도 5 에 나타내는 촬상 장치에 있어서 실행되는 합초 위치 검출 방법의 제 2 실시형태를 나타내는 플로 차트이다. 또, 도 7 은 촬상부에 의해 취득되는 대상 화상의 일례를 나타내는 도면이다. 합초 위치 검출 방법은, 제어부 (14) 에 형성된 CPU (141) 가, 미리 실장된 제어 프로그램을 실행하고 장치 각 부에 소정의 동작을 실시시킴으로써 실현된다.

처음으로, 구동 기구 (15) 가 촬상부 (13) 를 구동하여, 특정한 웰 (91), 예를 들어 중심부에 위치하는 웰 (91) 이 시야에 들어오도록 촬상부 (13) 의 수평 위치를 설정함과 함께, 대물 렌즈 (131) 의 초점 위치가 소정의 초기 위치가 되도록 촬상부 (13) 를 연직 방향 (Z) 에 있어서 촬상부 높이 (H1) 로 위치 결정한다. 이 상태에서 웰 (91) 의 촬상이 실시되고, 대상 화상 (G1) 의 화상 데이터가 화상 메모리 (144) 에 기억된다 (스텝 S21). 이렇게 하여 취득된 대상 화상 (G1) 에 대해, 도 7 의 (a) 란에 나타내는 바와 같이 본래적으로 촬상하고자 하는 세포 등 (C) 의 이미지 (GC1) 와 함께 사세포의 이미지 (GC2) 가 포함되는 경우가 있다. 이것들 중 이미지 (GC1) 를 구성하는 화소의 휘도는, 여기광이 조사된 세포 등 (C) 으로부터 형광 발광한 광에 상당하고 있고, 비교적 낮은 값으로 되어 있다. 이것에 대해, 이미지 (GC2) 를 구성하는 화소의 휘도는 극단적으로 높아지는 경우가 있다. 그 결과, 세포 등 (C) 을 촬상 대상물로서 촬상하기 위한 합초 위치를 검출하고자 했을 때에, 이미지 (GC2) 의 존재가 검출 정밀도의 저하의 주요인의 하나가 된다.

그래서, 본 실시형태에서는, 상기 스텝 S21 을 실행한 후에, 추가로 스텝 S22 ∼ S24 가 반복하여 실행된다. 이로써, 촬상부 (13) 로부터 세포 등 (C) 까지의 거리를 4 단계에서 상이하게 하면서, 요컨대 초점 위치를 광축을 따라 변화시키면서 세포 등 (C) 을 촬상부 (13) 에서 촬상하여 4 개의 대상 화상 (G1 ∼ G4) 을 취득한다 (본 발명의 「공정 (a)」에 상당). 또, 소정의 휘도 (Lmax) 를 초과하는 포화 영역의 취득, 요컨대 포화 영역 취득 처리 (본 발명의 「공정 (b-4)」에 상당) 가 실행된다.

도 8 은 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다. 다음의 스텝 S22 에서는, 대상 화상 (G1) 이 복수 개 (본 실시형태에서는, 4 × 3 의 매트릭스상이며, 합계 12 개) 의 국소 화상 (PG) 으로 분할된다 (스텝 S22-1 : 공정 (b-5-1)). 그리고, 소정의 휘도 (Lmax) 를 초과하는 국소 화상 (PG) 이 존재하는 영역, 요컨대 고휘도 영역 (HR) 이 구해진다 (스텝 S22-2 : 공정 (b-5-2)). 각 국소 화상 (PG) 이 소정의 휘도 (Lmax) 를 초과하는지의 여부의 판정에 대해서는, 예를 들어 국소 화상 (PG) 을 구성하는 복수의 화소 중 소정의 휘도 (Lmax) 를 초과하는 화소의 수에 기초하여 실시할 수 있다. 이 점에 대해서는, 나중에 설명하는 제 3 실시형태에 있어서도 동일하다.

또한, 소정의 휘도 (Lmax) 를 초과하는 고휘도의 국소 화상 (PG) 을 적당히 「고휘도 국소 화상 (PGs)」이라고 칭한다. 또, 고휘도 영역 (HR) 및 고휘도 국소 화상 (PGs) 을 명시하기 위해서, 도 8 의 (S22-2) 에 있어서 고휘도 영역 (HR) 이 굵은선으로 둘러싸이는 한편, 고휘도 국소 화상 (PGs) 에 대해 해칭이 부여되어 있다. 이렇게 하여 고휘도 영역 (HR) 이 구해지면, 고휘도 영역 (HR) 에 기초하여 포화 영역이 취득된다 (스텝 S22-3 : 공정 (b-5-3)). 이와 같은 포화 영역 취득 처리 (공정 (b-5) 의 일례에 상당) 는, 상기 대상 화상 (G1) 에 이어서, 대상 화상 (G2 ∼ G4) 에 대해서도 순차 실행된다.

본 실시형태에서는, 도 8 에 나타내는 바와 같이, 대상 화상 (G2) 에서의 고휘도 영역 (HR) 은 대상 화상 (G1) 에서의 고휘도 영역 (HR) 으로부터 더욱 광범위하게 존재하고 있다. 요컨대, 대상 화상 (G2) 에서의 고휘도 영역 (HR) 으로 이루어지는 포화 영역 (SR) 은 대상 화상 (G1) 에서의 고휘도 영역 (HR) 으로 이루어지는 포화 영역 (도시 생략) 을 포함하고 있다. 또한, 도 7 의 「휘도 분포」의 란에 나타내는 바와 같이, 이미지 (GC2) 의 휘도 분포는 초점 위치 (촬상부 높이 (H1)) 에서 샤프한 프로파일을 갖는 한편, 초점 위치로부터 멀어짐에 따라 윤곽 주변이나 전체의 휘도가 저하되는 한편 저변 부분이 넓어진다는 프로파일을 갖고 있다. 이 때문에, 대상 화상 (G3, G4) 에 포함되는 사세포의 이미지 (GC2) 의 휘도는 소정의 휘도 (Lmax) 이하이지만, 세포 등 (C) 의 이미지 (GC1) 의 휘도와 동등 혹은 그 이상이고, 합초 위치의 검출에 영향을 미칠 가능성이 높다. 그래서, 본 실시형태에서는, 상기 포화 영역 (SR) 을 각 대상 화상 (G1 ∼ G4) 에 있어서 합초 위치 검출을 저해하는 범위로 하고, 나중에 설명하는 바와 같이 포화 영역 (SR) 을 고려하여 합초도를 산출한다.

한편, 전체 대상 화상 (G1 ∼ G4) 에 있어서 사세포의 이미지 (GC2) 등이 포함되지 않는 경우에는, 포화 영역 (SR) 은 존재하지 않기 때문에, 종래 기술과 동일하게 대상 화상 (G1 ∼ G4) 을 그대로 사용하여 합초 위치 검출을 실시하는 것이 가능하다.

그래서, 다음의 스텝 S25 에서는, 포화 영역 (SR) 이 존재하는지의 여부를 판정하고 있다. 이 스텝 S25 에서 포화 영역 (SR) 이 존재하지 않는다고 판정되면, 촬상부 높이 (H1 ∼ H4) 중 어느 것에 대해서도 대상 화상 (G1 ∼ G4) 으로부터 합초도가 각각 산출된다 (스텝 S26 : 공정 (b-5)).

이것에 대해, 스텝 S25 에서 포화 영역 (SR) 이 존재한다고 판정되면, 촬상부 높이 (H1 ∼ H4) 중 어느 것에 대해서도 포화 영역 (SR) 의 화상은 합초도 산출의 대상 외가 된다. 요컨대, 대상 화상 (G1) 중 포화 영역 (SR) 외의 화상 (G1A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 또, 대상 화상 (G2) 중 포화 영역 (SR) 외의 화상 (G2A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 또, 대상 화상 (G3) 중 포화 영역 (SR) 외의 화상 (G3A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 또한, 대상 화상 (G4) 중 포화 영역 (SR) 외의 화상 (G4A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 이와 같은 합초도의 취득 공정이 본 발명의 「공정 (b-6)」의 일례에 상당하고 있다.

이렇게 하여 촬상부 높이 (H1 ∼ H4) 의 합초도의 산출이 완료하면, 종래 기술과 동일하게 가장 합초도가 높은 촬상부 높이가 합초 위치로서 특정된다 (스텝 S28 : 공정 (c)).

이상과 같이, 제 2 실시형태에 의하면, 사세포의 이미지 (GC2) 등과 같이 고휘도의 화상이 대상 화상에 포함되는 경우에는, 포화 영역 (SR) 의 화상을 합초도 산출의 대상 외로 하고 있다. 또한, 도 8 에 나타내는 바와 같이 고휘도 영역 (HR) 이 출현한 대상 화상 (G1, G2) 뿐만 아니라, 전체 대상 화상 (G1 ∼ G4) 에 대해 포화 영역 (SR) 의 화상을 합초도 산출의 대상 외로 하고 있다. 이 때문에, 사세포 등의 영향을 확실하게 배제할 수 있고, 합초 위치를 보다 정확하게 검출할 수 있다. 그 결과, 대상 화상 (G1 ∼ G4) 의 전부 혹은 일부에 고휘도 영역 (HR) 이 포함되어 있는 경우여도, 검출 동작을 반복하지 않고, 합초 위치를 안정적으로 검출할 수 있다.

도 9 는 본 발명에 관련된 합초 위치 검출 방법의 제 3 실시형태에 있어서의 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다. 이 제 3 실시형태가 제 2 실시형태와 크게 상이한 점은, 고휘도 영역 (HR) 을 소정량만큼 팽창시킨 팽창 고휘도 영역 (EHR) 을 구함과 함께, 당해 팽창 고휘도 영역 (EHR) 에 기초하여 포화 영역 (SR) 을 결정하고 있는 점이다. 또한, 그 밖의 구성 및 동작은 기본적으로 동일하다. 따라서, 이하에 있어서는 상이점을 중심으로 설명하고, 동일 구성 및 동작에 대해서는 동일 부호를 붙여 설명을 생략한다.

제 3 실시형태의 스텝 S22 에서는, 제 2 실시형태와 동일하게, 각 대상 화상 (G1 ∼ G4) 이 12 개의 국소 화상 (PG) 으로 분할되고 (스텝 S22-1 : 공정 (b-5-1)), 소정의 휘도 (Lmax) 를 초과하는 국소 화상 (PG) 이 존재하는 영역, 요컨대 고휘도 영역 (HR) 이 구해진다 (스텝 S22-2 : 공정 (b-5-2)). 이것에 이어서, 제 3 실시형태에서는, 각 고휘도 영역 (HR) 이 소정량만큼 팽창된다 (스텝 S22-4 : 공정 (b-5-4)). 이 팽창 후의 영역이 팽창 고휘도 영역 (EHR) 이고, 팽창 고휘도 영역 (EHR) 에 기초하여 포화 영역 (SR) 이 취득된다 (스텝 S22-5 : 공정 (b-5-5)).

그리고, 도 9 에 나타내는 바와 같이 포화 영역 (SR) 이 존재하는 경우에는, 제 2 실시형태와 동일하게, 촬상부 높이 (H1 ∼ H4) 중 어느 것에 대해서도 포화 영역 (SR) 의 화상은 합초도 산출의 대상 외가 된다. 그리고, 포화 영역 (SR) 외의 화상 (G1A, G2A, G3A, G4A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 그 후에, 종래 기술과 동일하게 가장 합초도가 높은 촬상부 높이가 합초 위치로서 특정된다.

이상과 같이, 제 3 실시형태에 있어서는, 제 2 실시형태와 동일한 작용 효과가 얻어진다. 또한, 이미지 (GC2) 의 휘도 분포가 도 7 에 나타내는 바와 같이 저변이 넓어지는 프로파일을 갖고 있는 것에 대응하고, 고휘도 영역 (HR) 을 팽창시켜 저변 부분을 팽창 고휘도 영역 (EHR) 에 포함시키고, 포화 영역 (SR) 에 포함하고 있다. 따라서, 저변 부분, 요컨대 소정의 휘도 (Lmax) 이하인 것의 세포 등 (C) 의 이미지 (GC1) 의 휘도보다 충분히 높은 휘도를 갖는 화상에 대해서도 합초도 산출의 대상 외가 된다. 그 결과, 사세포 등의 영향을 더욱 확실하게 배제할 수 있고, 합초 위치 검출을 더욱 고정밀도의 것으로 할 수 있다.

또한, 제 3 실시형태에서는, 각 고휘도 영역 (HR) 을 팽창시켜 팽창 고휘도 영역 (EHR) 을 구하고 있지만, 복수의 고휘도 영역 (HR) 이 서로 연결되어 형성되는 영역 (예를 들어 도 9 중의 고휘도 영역 (HR) 이 2 개 늘어선 영역이나 4 개 모인 영역 등) 을 소정량만큼 팽창시켜 팽창 고휘도 영역 (EHR) 을 취득해도 된다. 이 점에 대해서는 다음으로 설명하는 제 4 실시형태에 있어서도 동일하다.

도 10 은 본 발명에 관련된 합초 위치 검출 방법의 제 4 실시형태에 있어서의 포화 영역 취득 처리의 내용 그리고 합초도 산출의 대상이 되는 화상과 포화 영역의 관계를 모식적으로 나타내는 도면이다. 이 제 4 실시형태가 제 2 실시형태와 크게 상이한 점은, 대상 화상을 복수의 국소 화상으로 분할하지 않고 고휘도 영역 (HR) 을 구하고 있는 점과, 제 3 실시형태와 동일하게 팽창 고휘도 영역 (EHR) 에 기초하여 포화 영역 (SR) 을 결정하고 있는 점이다. 또한, 그 밖의 구성 및 동작은 기본적으로 동일하다. 따라서, 이하에 있어서는 상이점을 중심으로 설명하고, 동일 구성 및 동작에 대해서는 동일 부호를 붙여 설명을 생략한다.

제 2 실시형태 및 제 3 실시형태에서는, 국소 화상 (PG) 단위로 포화 영역 (SR) 이 도출되고 있지만, 제 4 실시형태의 스텝 S22 에서는, 이하의 단계를 거쳐 포화 영역 (SR) 이 도출된다. 즉, 제 1 단계에서 소정의 휘도 (Lmax) 를 초과하는 영역이 고휘도 영역 (HR) 으로서 취득된다 (스텝 S22-6 : 공정 (b-5-6)). 그리고, 고휘도 영역 (HR) 이 소정량만큼 팽창되고, 팽창 고휘도 영역 (EHR) 이 취득되고 (스텝 S22-7 : 공정 (b-5-7)), 추가로 팽창 고휘도 영역 (EHR) 에 기초하여 포화 영역 (SR) 이 취득된다 (스텝 S22-8 : 공정 (b-5-8)). 여기서, 팽창 고휘도 영역 (EHR) 을 구하는 기술적 의의는, 제 3 실시형태와 동일하게, 휘도 분포의 저변 부분 (소정의 휘도 (Lmax) 이하인 것의 세포 등 (C) 의 이미지 (GC1) 의 휘도보다 충분히 높은 휘도를 갖는 영역) 을 합초도 산출의 대상 외로 함으로써 합초 위치 검출의 정밀도를 높이는 점에 있다.

그리고, 도 10 에 나타내는 바와 같이 포화 영역 (SR) 이 존재하는 경우에는, 제 2 실시형태 및 제 3 실시형태와 동일하게, 촬상부 높이 (H1 ∼ H4) 중 어느 것에 대해서도 포화 영역 (SR) 의 화상은 합초도 산출의 대상 외가 된다. 그리고, 포화 영역 (SR) 외의 화상 (G1A, G2A, G3A, G4A) 으로부터 초점의 맞춤 정도를 지표하는 합초도가 구해진다. 그 후에, 종래 기술과 동일하게 가장 합초도가 높은 촬상부 높이가 합초 위치로서 특정된다.

이상과 같이, 제 4 실시형태에 있어서는, 제 2 실시형태 및 제 3 실시형태와 동일한 작용 효과가 얻어진다. 또한, 제 4 실시형태에서는, 소정의 휘도 (Lmax) 를 초과하는 영역 및 당해 영역으로부터 팽창된 영역만을 포화 영역 (SR) 으로서 취득하고 있기 때문에, 다음과 같은 작용 효과가 얻어진다. 제 2 실시형태 및 제 3 실시형태에서는, 국소 화상 (PG) 단위로 고휘도 영역 (HR) 이 구해지므로, 국소 화상 (PG) 의 범위이긴 하지만, 소정의 휘도 (Lmax) 를 초과하는 영역으로부터 충분히 떨어져 있는 영역도 고휘도 영역 (HR) 이라고 인정되는 경우가 있다. 그 때문에, 합초도 산출의 기초가 되는 휘도 데이터가 부족한 경우가 있다. 이것에 대해, 제 4 실시형태에서는, 소정의 휘도 (Lmax) 를 초과하는 영역으로부터 충분히 떨어져 있는 영역 (팽창 고휘도 영역 (EHR) 이외의 영역) 의 휘도 데이터는 합초도 산출의 기초가 된다. 따라서, 보다 많은 데이터에 기초하여 합초 위치를 검출할 수 있다.

그런데, 상기 제 2 실시형태 내지 제 4 실시형태에 의해 포화 영역 (SR) 을 제외한 화상 (G1A, G2A, G3A, G4A) 이 얻어지지만, 그것들에 포함되는 주된 이미지는 촬상 대상물에 여기광을 조사하여 형광 발광시킨 세포 등 (C) 의 이미지 (GC1) 이고, 화상 (G1A ∼ G4A) 은 일반적으로 어둡다. 그 때문에, 이미지 (GC1) 의 휘도와 노이즈의 차이가 작고, 백 그라운드 노이즈의 영향을 받기 쉽다. 그래서, 다음에 설명하는 바와 같이 하여 화상 (G1A ∼ G4A) 으로부터 합초도를 산출하도록 구성해도 된다 (제 5 실시형태).

도 11 은 본 발명에 관련된 합초 위치 검출 방법의 제 5 실시형태에서 실행되는 공정의 일부를 모식적으로 나타내는 도면이다. 제 5 실시형태에서는, 대상 화상 (G1A ∼ G4A) 마다, 대상 화상의 분할, 국소 영역마다의 국소 합초도 (국소값) 의 산출 및 복수의 국소 합초도에 기초하는 대상 화상에 대응하는 합초도의 산출이 실시된다. 여기서는, 대상 화상 (G1A) 에 대한 처리에 대해 설명하고, 그 외에 대해서는 설명을 생략한다. 도 7 에 나타내는 바와 같이 대상 화상 (G1A) 이 고휘도 영역 (HR) 의 취득시와 동일한 분할 양태에서 복수의 국소 영역 (PR) 으로 분할되고, 합계 8 개의 국소 영역 (PR) 이 취득된다. 물론, 분할 양태 (분할수, 분할 형상 등) 를 고휘도 영역 (HR) 의 취득시와 상이하게 해도 되는 것은 말할 필요도 없다.

다음으로, 국소 영역 (PR) 마다 초점의 맞춤 정도를 지표하는 합초도가 산출된다. 본 명세서에서는, 이와 같이 국소 영역 (PR) 으로부터 산출되는 합초도를 종래부터 주지된 합초도, 요컨대 대상 화상 (G1A) 으로부터 산출되는 합초도와 구별하기 위해서, 「국소 합초도」라고 칭하고 있다. 요컨대, 본 실시형태에서는, 8 개의 국소 합초도가 산출된다.

국소 합초도로는, 종래부터 주지된 것, 예를 들어 (1) 국소 영역 (PR) 을 구성하는 화소의 휘도에 따른 지표값 (휘도 평균값, 콘트라스트, 에지 강도 등), (2) 상기 지표값에 대해 국소 영역 (PR) 의 면적이나 값에 따라 계수를 곱한 지표값, (3) 국소 영역 (PR) 을 구성하는 화소의 휘도 히스토그램으로부터 해석적으로 산출한 지표값 등을 사용할 수 있다. 본 실시형태에서는, 대상 화상 (G1A) 을 구성하는 화소의 휘도를 0 내지 255 의 계조로 나타내고, 국소 영역 (PR) 마다의 휘도 평균값을 국소 합초도로 하고 있다. 따라서, 도 11 의 「국소 영역」 과 「국소 합초도」를 관련지어 관찰하면 알 수 있는 바와 같이, 대상 화상 (G1A) 전체에 걸쳐서 국소 합초도가 비교적 낮고, 세포 등 (C) 의 이미지 (GC1) 에 대응하는 국소 합초도가 약간 높게 되어 있다.

이렇게 하여 대상 화상 (G1A) 에 대해 복수의 국소 합초도가 구해지면, 국소 합초도의 대소에 따른 보정을 실시하면서, 촬상부 (13) 를 촬상부 높이 (H1) 로 위치 결정했을 때의 합초도가 산출된다. 본 실시형태에서는, 국소 합초도의 크기에 따른 계수를 국소 합초도에 곱하여 보정값을 산출하고 있다. 보다 상세하게는, 촬상부 (13) 의 초점의 맞춤 정도의 순서로 상기 8 개의 국소 합초도를 소트하고, 상위로부터 일정 순위 (상위 50 ％) 까지의 국소 합초도에 계수로서 제로보다 큰 값 (본 실시형태에서는 「1」) 을 곱하여 복수의 보정값을 산출하는 한편, 나머지의 국소 합초도에 계수로서 제로를 곱하여 합초도를 산출하기 위한 보정값으로부터 실질적으로 제외하고 있다. 즉, 도 11 의 「국소 합초도」에 있어서 해칭으로 나타난 상위 4 개의 국소 합초도가 보정값으로서 추출되고, 이것들의 평균값이 촬상부 (13) 를 촬상부 높이 (H1) 로 위치 결정했을 때의 합초도로서 구해진다. 또한, 촬상부 (13) 를 촬상부 높이 (H2 ∼ H4) 로 위치 결정했을 때의 합초도도, 각각 대상 화상 (G2A ∼ G4A) 에 기초하여 구해진다.

이렇게 하여 촬상부 높이 (H1 ∼ H4) 마다 합초도가 구해지면, 종래 기술과 동일하게 가장 합초도가 높은 촬상부 높이가 합초 위치로서 특정된다 (본 발명의 「공정 (c)」의 일례에 상당). 예를 들어 도 11 에 나타내는 바와 같이 합초도가 분포하는 경우, 가장 높은 값을 나타낼 때의 촬상부 높이 (H3) 가 합초 위치로 특정된다.

여기서, 대상 화상 (G1A ∼ G4A) 마다 대상 화상을 구성하는 전체 화소의 휘도를 단순 평균한 값을 합초도로 하는 제 2 실시형태 (도 11 의 좌단) 와, 본 실시형태 (도 11 의 우단) 를 비교하면, 제 5 실시형태가 다음과 같은 우위성을 갖는 것을 알 수 있다. 제 2 실시형태에서는 단순 평균하고 있는 것에 불과하고, 백 그라운드 노이즈의 영향을 받기 쉽다. 이 때문에, 촬상부 높이 (H1 ∼ H4) 의 변경에 수반되는 합초도의 변화량은 작다. 이것에 대해, 제 5 실시형태에서는, 국소 합초도가 상위 50 ％ 미만으로 되어 있는 영역, 요컨대 세포 등 (C) 의 이미지 (GC1) 가 포함되어 있지 않을 개연성이 높은 백 그라운드 노이즈 영역을 제외하고 대상 화상 (G1A ∼ G4A) 마다의 합초도를 구하고 있다. 그 때문에, 촬상부 높이 (H1 ∼ H4) 의 변경에 수반되는 합초도의 변화량은 크고, 합초 위치를 보다 정확하게 검출할 수 있다. 그 결과, 대상 화상 (G1A ∼ G4A) 이 비교적 어두운 경우여도, 검출 동작을 반복하지 않고, 합초 위치를 안정적으로 검출할 수 있다.

또한, 본 발명은 상기한 실시형태로 한정되는 것은 아니고, 그 취지를 일탈하지 않는 한 상기 서술한 것 이외에 여러 가지의 변경을 실시하는 것이 가능하다. 예를 들어, 상기 실시형태 A 에서는, 촬상부 (13) 를 촬상부 높이 (H1 ∼ H4) 로 위치 결정할 때마다 국소 합초도 및 당해 촬상부 높이에서의 합초도를 산출하고 있지만, 4 개의 대상 화상 (G1 ∼ G4) 의 취득 완료 후에 국소 합초도 및 촬상부 높이에서의 합초도를 일괄하여 산출해도 된다.

또, 상기 실시형태 B 에서는, 촬상부 (13) 를 촬상부 높이 (H1 ∼ H4) 로 위치 결정할 때마다 포화 영역 (SR) 을 취득하고 있지만, 4 개의 대상 화상 (G1 ∼ G4) 의 취득 완료 후에 포화 영역 (SR) 을 일괄하여 산출해도 된다.

또, 상기 실시형태에서는, 웰 (91) 내의 세포 등 (C) 을 연속적으로 촬상하기 전에, 특정한 웰 (91) 을 사용하여 상기 합초 위치 검출 동작을 실행하고 있지만, 웰 (91) 의 세포 촬상마다 상기 합초 위치 검출 동작을 실행해도 된다.

또, 상기 실시형태에서는, 촬상부 (13) 로부터 촬상 대상물 (세포 등 (C)) 까지의 거리를 4 단계에서 변경하고 있지만, 촬상부 높이의 단수는 이것으로 한정되는 것은 아니고, 다단계인 한 임의이다.

또, 상기 실시형태에서는, 합초 위치 검출용 프로그램을 포함하는 제어 프로그램은 메모리 (145) 에 미리 기억되어 있지만, 인터페이스부 (142) 와 전기적으로 접속된 디스크 드라이브 등의 판독부 (149) 에 의해 인스톨 프로그램을 판독하도록 구성해도 된다. 요컨대, 당해 디스크 드라이브에 삽입되는 CD-ROM (= Compact Disc-Read Only Memory) 이나 DVD-ROM (= Digital Versatile Disk-Read Only Memory) 등의 기록 매체 (M) 에 기록되어 있는 상기 합초 위치 검출용 프로그램을 판독 가능하게 구성하고, 디스크 드라이브를 판독부 (149) 로서 기능시켜도 된다. 요컨대, 상기한 합초 위치 검출 방법을 실행 불능인 촬상 장치 (1) 여도, 상기 합초 위치 검출용 프로그램을 인스톨함으로써 합초 위치 검출용 프로그램을 짜넣어 상기한 합초 위치 검출 방법을 실행 가능하게 버전 업시켜도 된다. 또한, 기록 매체 (M) 로서 CD-ROM 이나 DVD-ROM 이외의 기록 매체를 사용하여 합초 위치 검출용 프로그램의 판독을 실시하도록 해도 된다. 또, 통신 수단을 이용하여 합초 위치 검출용 프로그램을 판독하도록 구성해도 된다.

이상, 특정한 실시예를 따라 발명을 설명했지만, 이 설명은 한정적인 의미로 해석되는 것을 의도한 것은 아니다. 발명의 설명을 참조하면, 본 발명의 그 밖의 실시형태와 동일하게, 개시된 실시형태의 다양한 변형예가, 이 기술에 정통한 자에게 명확해질 것이다. 따라서, 첨부한 특허 청구 범위는, 발명의 진정한 범위를 일탈하지 않는 범위 내에서, 당해 변형예 또는 실시형태를 포함하는 것이라고 생각된다.

본 발명은, 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초 위치를 검출하는 합초 위치 검출 기술 전반에 적용할 수 있다.

1 : 촬상 장치
13 : 촬상부
141 : CPU (포화 영역 취득부, 합초도 산출부, 합초 위치 특정부)
144 : 화상 메모리
C : 세포 등 (촬상 대상물)
G1 ∼ G4 : 대상 화상
G1A ∼ G4A : (포화 영역 외의) 화상
H1 ∼ H4 : 촬상부 높이
EHR : 팽창 고휘도 영역
HR : 고휘도 영역
PG : 국소 화상
PR : 국소 영역
Z : 연직 방향

Claims

(a) 초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에서 촬상하여 복수의 대상 화상을 취득하는 공정과,
(b) 상기 대상 화상마다, 상기 대상 화상을 분할한 복수의 국소 영역 또는 소정의 휘도를 초과하는 포화 영역을 제외한 포화 영역 외의 화상에 기초하여, 초점의 맞춤 정도를 지표하는 합초도를 상기 대상 화상으로부터 구하는 공정과,
(c) 상기 복수의 합초도에 기초하여 합초 위치를 특정하는 공정을 구비하는 것을 특징으로 하는 합초 위치 검출 방법.
제 1 항에 있어서,
상기 공정 (b) 는,
(b-1) 상기 대상 화상을 복수의 국소 영역으로 분할하는 공정과,
(b-2) 상기 국소 영역마다, 초점의 맞춤 정도를 지표하는 국소값을 상기 국소 영역으로부터 구하는 공정과,
(b-3) 상기 복수의 국소값에 기초하여 상기 합초도를 구하는 공정을 갖는 합초 위치 검출 방법.
제 2 항에 있어서,
상기 공정 (b-3) 은, 상기 국소값마다 상기 국소값의 크기에 따라 보정하여 보정값을 산출함과 함께, 상기 복수의 보정값으로부터 상기 합초도를 산출하는 공정인 합초 위치 검출 방법.
제 3 항에 있어서,
상기 공정 (b-3) 은 상기 국소값의 크기에 따른 계수를 상기 국소값에 곱하여 상기 보정값을 산출하는 합초 위치 검출 방법.
제 4 항에 있어서,
상기 공정 (b-3) 은, 상기 촬상부의 초점의 맞춤 정도의 순서로 상기 복수의 국소값을 소트하고, 상위로부터 일정 순위까지의 상기 국소값에 상기 계수로서 제로보다 큰 값을 곱하여 상기 복수의 보정값을 산출하는 한편, 나머지의 상기 국소값에 상기 계수로서 제로를 곱하여 상기 합초도를 산출하는 상기 보정값으로부터 제외하는 합초 위치 검출 방법.
제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 공정 (b-3) 은 상기 복수의 보정값을 평균하여 상기 합초도를 구하는 합초 위치 검출 방법.
제 1 항에 있어서,
상기 공정 (b) 는,
(b-4) 상기 복수의 대상 화상으로부터 소정의 휘도를 초과하는 포화 영역을 취득하는 공정과,
(b-5) 상기 대상 화상마다, 상기 대상 화상 중 상기 포화 영역 외의 화상으로부터 초점의 맞춤 정도를 지표하는 합초도를 구하는 공정과,
(b-6) 상기 복수의 합초도에 기초하여 합초 위치를 특정하는 공정을 갖는 합초 위치 검출 방법.
제 7 항에 있어서,
상기 공정 (b-5) 는,
(b-5-1) 상기 대상 화상을 복수의 국소 화상으로 분할하는 공정과,
(b-5-2) 상기 소정의 휘도를 초과하는 상기 국소 화상에 대응하는 고휘도 영역을 구하는 공정과,
(b-5-3) 상기 고휘도 영역에 기초하여 상기 포화 영역을 결정하는 공정을 갖는 합초 위치 검출 방법.
제 7 항에 있어서,
상기 공정 (b-5) 는,
(b-5-1) 상기 대상 화상을 복수의 국소 화상으로 분할하는 공정과,
(b-5-2) 상기 소정의 휘도를 초과하는 상기 국소 화상에 대응하는 고휘도 영역을 구하는 공정과,
(b-5-4) 상기 고휘도 영역을 소정량만큼 팽창시킨 팽창 고휘도 영역을 구하는 공정과,
(b-5-5) 상기 팽창 고휘도 영역에 기초하여 상기 포화 영역을 결정하는 공정을 갖는 합초 위치 검출 방법.
제 8 항 또는 제 9 항에 있어서,
상기 국소 화상이 상기 소정의 휘도를 초과하는지의 여부의 판정은 상기 국소 화상을 구성하는 복수의 화소 중 상기 소정의 휘도를 초과하는 화소의 수에 기초하여 실시되는 합초 위치 검출 방법.
제 7 항에 있어서,
상기 공정 (b-5) 는,
(b-5-6) 상기 소정의 휘도를 초과하는 고휘도 영역을 구하는 공정과,
(b-5-7) 상기 고휘도 영역을 소정량만큼 팽창시킨 팽창 고휘도 영역을 구하는 공정과,
(b-5-8) 상기 팽창 고휘도 영역에 기초하여 상기 포화 영역을 결정하는 공정을 갖는 합초 위치 검출 방법.
초점 위치를 광축을 따라 변화시키면서 촬상 대상물을 촬상부에 의해 촬상하여 취득되는 복수의 대상 화상에 기초하여 합초 위치를 검출하는 합초 위치 검출 장치로서,
상기 대상 화상마다, 상기 대상 화상을 분할한 복수의 국소 영역 또는 소정의 휘도를 초과하는 포화 영역을 제외한 포화 영역 외의 화상에 기초하여, 상기 촬상부의 초점의 맞춤 정도를 지표하는 합초도를 상기 대상 화상으로부터 산출하는 합초도 산출부와,
상기 합초도 산출부에 의해 산출된 상기 복수의 합초도에 기초하여 상기 합초 위치를 특정하는 합초 위치 특정부를 구비하는 것을 특징으로 하는 합초 위치 검출 장치.
제 12 항에 있어서,
상기 합초도 산출부는, 상기 대상 화상을 분할하여 취득되는 국소 영역마다 초점의 맞춤 정도를 지표하는 국소값을 상기 국소 영역으로부터 구한 후에, 상기 복수의 국소값에 기초하여 상기 합초도를 구하는 합초 위치 검출 장치.
제 12 항에 있어서,
상기 복수의 대상 화상으로부터 소정의 휘도를 초과하는 포화 영역을 취득하는 포화 영역 취득부를 추가로 구비하고,
상기 합초도 산출부는, 상기 대상 화상마다, 상기 대상 화상 중 상기 포화 영역 외의 화상으로부터 초점의 맞춤 정도를 지표하는 합초도를 구하는 합초 위치 검출 장치.
제 1 항 내지 제 5 항, 제 7 항 내지 제 9 항, 및 제 11 항 중 어느 한 항에 기재된 합초 위치 검출 방법을 컴퓨터에 실행시키는 합초 위치 검출용 프로그램을 기록한, 컴퓨터 판독 가능한 비일과성의 기록 매체.