KR20210157869A - 화상 처리 방법, 프로그램 및 기록 매체 - Google Patents

Abstract

본 발명에 관련된 화상 처리 방법은, 세포 덩어리를 광 간섭 단층 촬상하여, 세포 덩어리의 삼차원 이미지를 나타내는 삼차원 화상 데이터를 취득하는 공정 (스텝 S111) 과, 삼차원 화상 데이터에 기초하여 세포 덩어리 중 외부 공간에 면하는 외측 표면과 공동에 면하는 내측 표면 사이의 세포 덩어리의 두께를 위치마다 나타내는 두께 분포를 취득하는 공정 (스텝 S116) 과, 두께 분포의 취득 결과에 기초하여, 주위의 영역과 비교하여 두께가 돌출된 돌기 부위를 검출하는 공정 (스텝 S118) 을 구비하고 있다. 내부에 공동을 갖는 세포 덩어리의 OCT 화상 데이터로부터, 세포 덩어리의 표면 구조의 해석에 유용한 정량적 정보를 구할 수 있다.

Description

화상 처리 방법, 프로그램 및 기록 매체{IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM}

이 발명은, 세포 덩어리, 특히 내부에 공동 (空洞) 을 갖는 세포 덩어리를 촬상하고 그 구조를 해석하기 위한 화상 처리에 관한 것이다. 예를 들어, 수정란을 단층 촬상함으로써 얻어지는 삼차원 이미지에 대응하는 데이터로부터, 당해 수정란을 평가하는 사용자에게 유용한 정보를 제공하기 위한 화상 처리 기술에 관한 것이다.

예를 들어 불임 치료를 목적으로 한 생식 보조 의료에 있어서는, 체외에서 수정시켜 일정 기간 배양한 배 (胚) (수정란) 를 체내로 되돌리는 것이 실시된다. 그러나, 생식 보조 의료에 있어서의 임신 성공률은 반드시 높지 않고, 환자의 정신적 및 경제적인 부담도 크다. 이 문제를 해결하기 위해서, 배양되는 배의 상태를 적확하게 판단하는 방법이 모색되고 있다.

예를 들어, 배반포기까지 발생이 진행된 배에서는, 내부에 포배강으로 불리는 공동 구조가 발생하고, 그 주위를 영양 외배엽이라고 불리는 세포의 층이 덮여 있다. 영양 외배엽을 구성하는 세포의 수는 배의 상태를 평가하는 지표가 되는 것이며, 따라서 그 수를 비침습적으로 계수 (計數) 하는 기술이 요구된다.

종래, 배 배양이 양호하게 진행되고 있는지의 여부의 평가에 대해서는, 예를 들어 현미경 관찰에 의해 의사나 배 배양사가 육안으로 실시하는 것이 일반적이다. 그 판단 지표로서 예를 들어 Veeck 분류나 Gardner 분류 등이 널리 사용되고 있다. 그러나, 이것들은 배의 형태학적 특징에 대한 대략적인 판단 기준을 나타낸 것에 지나지 않고, 최종적인 평가는 평가자의 주관적 판단에 의존하고 있는 것이 현 상황이다. 이 때문에, 객관적 또한 정량적인 평가를 가능하게 하기 위한 기술이 요구된다.

또 예를 들어, 장관 상피의 오르가노이드는, 내부에 공동을 갖는 세포 집단을 구성하는 것이 알려져 있다. 이것이 세포막 수송계의 평가 모델로서 사용되는 경우, 1 층의 세포층으로 덮인 공동이 형성되는 것이 이상적이다. 그러나, 실제로는 공동의 주위에 다층의 세포층이 형성되는 경우가 많다. 이 때문에, 장관 상피 오르가노이드의 표면의 세포층의 구조, 구체적으로는 세포가 어떻게 공동을 덮는 세포층을 형성하고 있는지를, 정량적으로 평가하는 기술이 요구된다.

이러한 요구에 부응하는 것이 기대되는 기술로서, 본원 출원인은 먼저 특허문헌 1, 2 를 개시하였다. 일본 공개특허공보 2019-133429호 (특허문헌 1) 에는, 광 간섭 단층 촬상 (광 코히어런스 토모그래피, Optical Coherence Tomography ; OCT) 등의 비침습의 단층 촬상 기술에 의해 촬상한 배 (수정란) 의 삼차원 이미지로부터, 영양 외배엽과 내세포 덩어리를 식별하여 분할하는 방법이 기재되어 있다. 또, 일본 공개특허공보 2019-132710호 (특허문헌 2) 에는, OCT 촬상된 배를 이차원 맵으로서 시각화하는 기술이 기재되어 있다. 구체적으로는, 배를 그 무게 중심 위치를 원점으로 하는 극 좌표에 의해 나타내고, 각 동경 (動徑) 방향에 있어서의 반사광 강도를 휘도치로 치환함으로써, 관찰자에 의한 배의 평가 작업을 지원하는 기술이 기재되어 있다.

상기한 종래 기술은, 관찰 대상물의 삼차원 구조를 관찰자에게 알기 쉽게 제시하는 것이다. 그러나, 관찰이나 평가 작업을 지원하는 데 유효한 정량적인 정보를 자동적으로 추출하기에는 이르지 않았다. 이 점에 있어서, 상기 종래 기술에는 개량의 여지가 남겨져 있다. 보다 구체적으로는, 배반포기의 배나 장관 상피 오르가노이드 등, 내부에 공동을 갖는 세포 덩어리의 표면 구조에 관한 정량적인 정보를 취득할 수 있는 기술이 요구된다.

배반포기의 배 (수정란) 에 있어서 주요한 평가 대상이 되는 구성 요소로는, 상기한 영양 외배엽 및 내세포 덩어리 외에, 투명대가 있다. 그러나, 특허문헌 1, 2 에서는 투명대에 대응하는 영역을 추출하는 기술에 대해서는 언급되어 있지 않다. 현실 문제로는, 배에 있어서 영양 외배엽은 투명대의 내측에 부착되도록 분포되어 있고, 게다가 OCT 화상에 있어서는 양자의 휘도 정보에 거의 차이가 없다. 이 때문에, OCT 화상으로부터 영양 외배엽과 투명대를 분별하는 것은 곤란하다.

이와 같이, OCT 화상에 있어서 영양 외배엽과 투명대를 명확하게 구별하여 취급하는 방법은 확립되어 있지 않고, 상기한 특허문헌 1, 2 에 기재된 기술에서도 이 점에는 미대응이다. 이것으로부터, 이것들을 개별적으로 평가하고자 하는 사용자에 대해 유용한 정보를 제공하기 위해서, OCT 화상에 있어서 영양 외배엽과 투명대를 보다 양호한 정밀도로 식별할 수 있는 기술이 요구된다.

이 발명은 상기 과제를 감안하여 이루어진 것으로, 내부에 공동을 갖는 세포 덩어리의 화상을 처리 대상물로 하는 화상 처리에 있어서, OCT 촬상에 의해 얻어지는 화상 데이터로부터, 세포 덩어리의 표면 구조의 해석에 유용한 정량적 정보를 구할 수 있는 기술을 제공하는 것을 목적으로 한다. 예를 들어, OCT 촬상에 의해 얻어지는 배의 화상 데이터를 사용하여 영양 외배엽과 투명대를 식별함으로써, 사용자에 의한 배의 평가 작업을 효과적으로 지원하는 것을 목적으로 한다.

이 발명의 하나의 양태는, 내부에 공동을 갖는 세포 덩어리의 화상을 처리 대상으로 하는 화상 처리 방법으로서, 상기 목적을 달성하기 위해, 상기 세포 덩어리를 광 간섭 단층 촬상하여, 상기 세포 덩어리의 삼차원 이미지를 나타내는 삼차원 화상 데이터를 취득하는 공정과, 상기 세포 덩어리 중 외부 공간에 면하는 외측 표면과 상기 공동에 면하는 내측 표면 사이의 상기 세포 덩어리의 두께를 위치마다 나타내는 두께 분포를, 상기 삼차원 화상 데이터에 기초하여 취득하는 공정과, 상기 두께 분포의 취득 결과에 기초하여, 주위의 영역과 비교하여 두께가 돌출된 돌기 부위를 검출하는 공정을 구비하고 있다.

세포핵 등의 세포의 내부 구조에서 기인하여, 각 세포는 주연부에 비해 중앙부가 팽창된 구조를 가지고 있다. 이 때문에, 세포끼리가 서로 횡방향으로 연결되어 형성되는 세포층에서는, 각 세포의 형상에서 기인되는 요철이 발생한다. 특히 배반포기의 배 (수정란) 와 같이, 내부의 공동을 덮도록 1 층의 세포에 의해 구성되는 세포층에서는, 하나 하나의 세포에 대응하는 돌기 부위가 당해 층에 나타나게 된다. 따라서, 돌기 부위의 수가, 층을 구성하는 세포의 위치나 수를 나타내는 지표가 될 수 있다. 또, 돌기 부위의 간격은 개개의 세포의 크기를 나타내는 지표가 될 수 있다.

상기 발명에서는, OCT 촬상된 세포 덩어리의 삼차원 화상 데이터로부터, 세포 덩어리의 외측 표면과, 내부의 공동을 향하는 내측 표면 사이에 있어서의 세포 덩어리의 두께의 분포가 구해진다. 이 두께 분포는, 공동을 덮는 세포층의 두께를 위치마다 나타낼 수 있다. 세포층의 두께는 반드시 균일하지는 않고, 예를 들어 1 층의 세포에 의해 구성되는 세포층에서는, 개개의 세포의 중앙 부분에서 두껍고, 주연부에서는 보다 얇다. 따라서, 구해진 두께 분포로부터 주위에 비해 두께가 큰 돌기 부위를 검출하면, 당해 부위는 1 개의 세포의 위치를 지시하는 것일 개연성이 높다고 할 수 있다.

이와 같이, 내부의 공동을 덮는 세포층의 두께 분포를 구하고, 거기에 포함되는 돌기 부위를 검출함으로써, 세포층을 구성하는 세포의 위치, 수, 크기 등을 정량적으로 나타내는 정보를 취득하는 것이 가능해진다.

또, 이 발명의 하나의 양태는, 상기 목적을 달성하기 위해, 배반포기의 수정란을 광 간섭 단층 촬상한 삼차원 화상 데이터와 광학 현미경 촬상한 이차원 화상 데이터를 취득하는 공정과, 삼차원 화상 데이터로부터, 수정란의 구조체에 대응하는 구조 영역을 특정하는 공정과, 이차원 화상 데이터로부터, 수정란의 투명대에 대응하는 영역을 특정하고, 그 평균 두께를 구하는 공정과, 구조 영역을, 외연 (外緣) 으로부터 구조 영역의 내부를 향하여 평균 두께의 범위에 있는 영역과 그 이외의 영역으로 분할하는 공정을 구비하는 화상 처리 방법이다.

상세하게는 후술하지만, 특히 포유류의 배반포기의 배 (수정란) 의 외형은 대략 구형이며, 그 표면은 대체로 일정한 두께를 갖는 투명대로 덮여 있다. 그리고, 투명대의 내면에, 위치에 따라 다양한 두께를 갖는 영양 외배엽이 첩부되도록 분포되어 있다. 또 광 간섭 단층 촬상 (OCT) 에 의해 얻어진 배의 삼차원 이미지에 있어서는, 영양 외배엽과 투명대 사이에서 휘도의 차는 거의 보이지 않는다. 요컨대, OCT 화상에 있어서는, 영양 외배엽과 투명대를 단순히 휘도치에 의해 구별하는 것은 곤란하다.

그래서, 본 발명에서는, OCT 화상과 광학 현미경 화상을 병용함으로써, OCT 화상에 있어서 영양 외배엽과 투명대를 구별할 수 있게 하고 있다. 구체적으로는, OCT 화상에서는, 배 (수정란) 의 구조체에 대응하는 구조 영역을 특정한다. 이 시점에서는, 영양 외배엽, 투명대 및 내세포 덩어리의 구별은 불필요하고, 수정란의 삼차원 이미지에 있어서 어떠한 구조체가 차지하는 영역이 특정되면 된다. 여기서, 투명대의 두께가 대체로 일정하다는 지견에 기초하면, OCT 화상으로부터 특정된 구조 영역 중 그 외연으로부터 내측을 향해 일정한 거리의 범위는 투명대가 차지하고 있다고 가정할 수 있다.

한편, 동일한 수정란을 광학 현미경 촬상함으로써 얻어진 화상으로부터는, 투명대의 두께가 어림잡아진다. 광학 현미경 화상에서는, 영양 외배엽과 투명대를 그 휘도의 차이에 기초하여 식별하는 것이, OCT 화상보다 용이하다. 이 것을 이용하여, 광학 현미경 화상으로부터 투명대의 두께를 어림잡는 것이 가능하다.

이들 정보로부터, OCT 화상에 있어서 영양 외배엽과 투명대를 구별하는 것이 가능해진다. 즉, OCT 촬상으로 얻어진 수정란의 삼차원 이미지 중, 그 외연으로부터 기산하여, 광학 현미경 화상으로부터 구해진 투명대의 두께에 대응하는 범위는, 투명대가 차지하는 영역인 것으로 간주할 수 있다. 한편, OCT 화상에 있어서는 투명대와 구별할 수 없는 구조체 중, 외연으로부터 기산하여 투명대의 두께에 대응하는 범위보다 내측의 영역에 대해서는, 영양 외배엽이 차지하는 영역인 것으로 간주할 수 있다.

이와 같이, OCT 촬상으로 얻어진 수정란의 삼차원 이미지를, 외연으로부터 구조 영역의 내부를 향하여, 광학 현미경 화상으로부터 도출된 투명대의 두께의 범위에 있는 영역과 그 이외의 영역으로 분할함으로써, 투명대와 그 이외의 구조체를 구별하는 것이 가능해진다.

또, 이 발명의 다른 하나의 양태는, 상기 각 공정을 컴퓨터에 실행시키기 위한 프로그램이다. 또, 이 발명의 다른 하나의 양태는, 상기 프로그램을 비일시적으로 기억한 컴퓨터 판독 가능한 기록 매체이다.

상기와 같이, 본 발명에 의하면, 내부에 공동을 갖는 세포 덩어리를 OCT 촬상하여 얻어진 화상 데이터로부터, 세포 덩어리의 표면 구조의 해석에 유용한, 개개의 세포의 위치나 수 등에 관한 정량적 정보를 구하는 것이 가능하다. 예를 들어, OCT 화상으로부터 얻어지는 정보와 광학 현미경 화상으로부터 얻어지는 정보를 조합하여, 배 (수정란) 의 OCT 화상에 있어서 투명대가 차지하는 영역과 그 밖의 영역을 양호한 정밀도로 식별하는 것이 가능해진다.

도 1 은, 본 발명에 관련된 화상 처리 방법의 실행 주체로서 바람직한 화상 처리 장치의 구성예를 나타내는 도면이다.
도 2a 는, 본 실시형태에 있어서 시료가 되는 배의 구조를 모식적으로 나타내는 도면이다.
도 2b 는, 본 실시형태에 있어서 시료가 되는 배의 구조를 모식적으로 나타내는 도면이다.
도 3 은, 본 실시형태에 있어서의 화상 처리를 나타내는 플로 차트이다.
도 4 는, 분류 모델을 구축하기 위한 구체적 수법의 일례를 나타내는 플로 차트이다.
도 5a 는, 초점 깊이와 추출되는 투명대의 면적의 관계를 나타내는 도면이다.
도 5b 는, 초점 깊이와 추출되는 투명대의 면적의 관계를 나타내는 도면이다.
도 6 은, 투명대에 합초 (合焦) 한 화상을 선출하기 위한 처리를 나타내는 플로 차트이다.
도 7a 는, 본 실시형태에 있어서의 영역 분할의 모습을 모식적으로 나타내는 도면이다.
도 7b 는, 본 실시형태에 있어서의 영역 분할의 모습을 모식적으로 나타내는 도면이다.
도 8 은, XYZ 직교 좌표계와 극 좌표계의 대응 관계를 나타내는 도면이다.
도 9a 는, 영양 외배엽의 두께를 구하는 방법을 예시하는 도면이다.
도 9b 는, 영양 외배엽의 두께를 구하는 방법을 예시하는 도면이다.
도 10 은, 영양 외배엽의 두께를 구하는 처리를 나타내는 플로 차트이다.
도 11a 는, 이차원 맵핑 수법의 일례를 나타내는 도면이다.
도 11b 는, 이차원 맵핑 수법의 일례를 나타내는 도면이다.
도 12a 는, 이차원 맵핑 수법의 다른 일례를 나타내는 도면이다.
도 12b 는, 이차원 맵핑 수법의 다른 일례를 나타내는 도면이다.
도 13a 는, 삼차원 맵핑 수법의 예를 나타내는 도면이다.
도 13b 는, 삼차원 맵핑 수법의 예를 나타내는 도면이다.
도 14a 는, 피크 검출 처리의 원리를 나타내는 도면이다.
도 14b 는, 피크 검출 처리의 원리를 나타내는 도면이다.
도 14c 는, 피크 검출 처리의 원리를 나타내는 도면이다.
도 15 는, 피크 검출 처리를 나타내는 플로 차트이다.
도 16a 는, 이차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다.
도 16b 는, 이차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다.
도 17a 는, 삼차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다.
도 17b 는, 삼차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다.

도 1 은, 본 발명에 관련된 화상 처리 방법의 실행 주체로서 바람직한 화상 처리 장치의 구성예를 나타내는 도면이다. 이 화상 처리 장치 (1) 는, 액체 중에 담지된 시료, 예를 들어 배양액 중에서 배양된 배 (수정란) 를 단층 촬상한다. 그리고, 얻어진 단층 화상을 화상 처리하여, 시료의 하나의 단면의 구조를 나타내는 단면 화상을 작성한다. 또, 복수의 단면 화상으로부터 시료의 입체 이미지를 작성한다. 도면에 있어서의 방향을 나타내기 위해, 도 1 에 나타내는 바와 같이 XYZ 직교 좌표축을 설정한다. 여기서 XY 평면이 수평면을 나타낸다. 또, Z 축이 연직 축을 나타내고, 보다 상세하게는 (-Z) 방향이 연직 하향 방향을 나타내고 있다.

화상 처리 장치 (1) 는 유지부 (10) 를 구비하고 있다. 유지부 (10) 는, 촬상 대상물이 되는 시료 (S) 를 수용하는 시료 용기 (11) 를 수평 자세로 유지한다. 시료 용기 (11) 는, 예를 들어 디쉬라고 칭해지는 바닥이 평평하고 얕은 접시 형상의 용기이다. 혹은 예를 들어, 시료 용기 (11) 는, 판상 부재의 상면에 액체를 담지 가능한 패임부 (웰) 가 다수 형성된 웰 플레이트이다. 시료 용기 (11) 에는 배양액 등의 배지 (M) 가 주입되어 있고, 그 내부에 시료 (S) 가 담지된다.

유지부 (10) 에 유지된 시료 용기 (11) 의 하방에, 촬상부 (20) 가 배치된다. 촬상부 (20) 에는, 피촬상물의 단층 화상을 비접촉, 비파괴 (비침습) 로 촬상하는 것이 가능한 광 간섭 단층 촬상 (Optical Coherence Tomography ; OCT) 장치가 사용된다. 상세하게는 후술하지만, OCT 장치인 촬상부 (20) 는, 피촬상물에 대한 조명광을 발생하는 광원 (21) 과, 광 파이버 커플러 (22) 와, 물체 광학계 (23) 와, 참조 광학계 (24) 와, 분광기 (25) 와, 광 검출기 (26) 를 구비하고 있다.

촬상부 (20) 는 추가로, 광학 현미경 촬상을 실시하기 위한 현미경 촬상 유닛 (28) 을 구비하고 있다. 보다 구체적으로는, 현미경 촬상 유닛 (28) 은, 촬상 광학계 (281) 와, 촬상 소자 (282) 를 구비하고 있다. 촬상 광학계 (281) 는 대물 렌즈를 포함하고, 대물 렌즈의 초점은 시료 용기 (11) 내의 시료 (S) 에 맞춰진다. 또 촬상 소자 (282) 로는, 예를 들어 CCD 촬상 소자, CMOS 센서 등을 사용할 수 있다. 현미경 촬상 유닛 (28) 으로는, 명시야 촬상 또는 위상차 촬상이 가능한 것이 바람직하다. 물체 광학계 (23) 와 현미경 촬상 유닛 (28) 은, 수평 방향으로 이동 가능한 지지 부재 (도시 생략) 에 의해 지지되어 있고, 수평 방향에 있어서의 위치를 변경 가능하게 되어 있다.

화상 처리 장치 (1) 는 추가로, 장치의 동작을 제어하는 제어 유닛 (30) 과, 촬상 유닛 (20) 의 가동부를 구동시키는 구동부 (도시 생략) 를 구비하고 있다. 제어 유닛 (30) 은, CPU (Central Processing Unit) (31), A/D 컨버터 (32), 신호 처리부 (33), 촬상 제어부 (34), 인터페이스 (IF) 부 (35), 화상 메모리 (36) 및 메모리 (37) 를 구비하고 있다.

CPU (31) 는, 소정의 제어 프로그램을 실행함으로써 장치 전체의 동작을 맡는다. CPU (31) 가 실행하는 제어 프로그램이나 처리 중에 생성된 데이터는, 메모리 (37) 에 보존된다. A/D 컨버터 (32) 는, 촬상 유닛 (20) 의 광 검출기 (26) 및 촬상 소자 (282) 로부터 수광 광량에 따라 출력되는 신호를 디지털 데이터로 변환한다. 신호 처리부 (33) 는, A/D 컨버터 (32) 로부터 출력되는 디지털 데이터에 기초하여 후술하는 신호 처리를 실시하여, 피촬상물의 화상을 작성한다. 이렇게 하여 작성된 화상 데이터는, 화상 메모리 (36) 에 의해 적절히 기억 보존된다.

촬상 제어부 (34) 는, 촬상부 (20) 의 각 부를 제어하여 촬상 처리를 실행시킨다. 구체적으로는, 촬상 제어부 (34) 는, OCT 촬상용의 물체 광학계 (23) 와, 광학 현미경 촬상용의 현미경 촬상 유닛 (28) 을 선택적으로, 피촬상물인 시료 (S) 를 촬상 시야에 넣는 소정의 촬상 위치에 위치 결정한다. 물체 광학계 (23) 가 촬상 위치에 위치 결정되면, 촬상 제어부 (34) 는, 촬상부 (20) 에 후술하는 OCT 촬상 처리를 실행시켜, 시료 (S) 의 입체 구조를 나타내는 삼차원 화상 데이터를 취득시킨다. 한편, 현미경 촬상 유닛 (28) 을 촬상 위치에 위치 결정했을 때에는, 촬상 제어부 (34) 는, 촬상 광학계 (281) 에 의해 촬상 소자 (282) 의 수광면에 결상되는 시료 (S) 의 평면 이미지를 나타내는 이차원 화상 데이터를, 현미경 촬상 유닛 (28) 에 취득시킨다.

인터페이스부 (35) 는 화상 처리 장치 (1) 와 외부의 통신을 담당한다. 구체적으로는, 인터페이스부 (35) 는, 외부 기기와 통신을 실시하기 위한 통신 기능과, 사용자로부터의 조작 입력을 접수하고, 또한 각종의 정보를 사용자에게 알리기 위한 사용자 인터페이스 기능을 갖는다. 이 목적을 위해서, 인터페이스부 (35) 에는, 입력 디바이스 (351) 와, 표시부 (352) 가 접속되어 있다. 입력 디바이스 (351) 는, 장치의 기능 선택이나 동작 조건 설정 등에 관한 조작 입력을 접수 가능한, 예를 들어 키보드, 마우스, 터치 패널 등에 의해 구성된다. 또, 표시부 (352) 는, 신호 처리부 (33) 에 의해 작성된 단층 화상이나 입체 이미지 등 각종의 처리 결과를 표시하는, 예를 들어 액정 디스플레이로 구성된다.

촬상부 (20) 에서는, 예를 들어 발광 다이오드 또는 슈퍼 루미네센트 다이오드 (SLD) 등의 발광 소자를 갖는 광원 (21) 으로부터, 광대역의 파장 성분을 포함하는 저코히런스 광 빔이 출사된다. 세포 등의 시료를 촬상하는 목적에 있어서는, 입사광을 시료의 내부까지 도달시키기 위해서, 예를 들어 근적외선이 사용되는 것이 바람직하다.

광원 (21) 은 광 파이버 커플러 (22) 를 구성하는 광 파이버 중 하나인 광 파이버 (221) 에 접속되어 있다. 광원 (21) 으로부터 출사되는 저코히런스 광은, 광 파이버 커플러 (22) 에 의해 2 개의 광 파이버 (222, 224) 로의 광에 분기된다. 광 파이버 (222) 는 물체계 광로를 구성한다. 보다 구체적으로는, 광 파이버 (222) 의 단부로부터 출사되는 광은 물체 광학계 (23) 에 입사한다.

물체 광학계 (23) 는, 콜리메이터 렌즈 (231) 와 대물 렌즈 (232) 를 구비하고 있다. 광 파이버 (222) 의 단부로부터 출사되는 광은, 콜리메이터 렌즈 (231) 를 통하여 대물 렌즈 (232) 에 입사한다. 대물 렌즈 (232) 는, 광원 (21) 으로부터의 광 (관찰광) 을 시료에 수속시키는 기능과, 시료로부터 출사되는 반사광을 집광하여 광 파이버 커플러 (22) 를 향하게 하는 기능을 갖는다. 도면에서는 단일의 대물 렌즈 (232) 가 기재되어 있지만, 복수의 광학 소자가 조합되어 있어도 된다. 피촬상물로부터의 반사광은 대물 렌즈 (232), 콜리메이터 렌즈 (231) 를 통하여 신호광으로서 광 파이버 (222) 에 입사한다. 대물 렌즈 (232) 의 광축은 시료 용기 (11) 의 바닥면에 직교하고 있고, 이 예에서는 광축 방향은 연직 축 방향과 일치하고 있다.

CPU (31) 가 촬상 제어부 (34) 에 제어 지령을 준다. 이것에 따라, 촬상 제어부 (34) 는 촬상부 (20) 에 소정 방향으로의 이동을 실시하게 한다. 보다 구체적으로는, 촬상 제어부 (34) 는, 촬상부 (20) 를 수평 방향 (XY 방향) 및 연직 방향 (Z 방향) 으로 이동시킨다. 촬상부 (20) 의 수평 방향의 이동에 의해, 촬상 범위가 수평 방향으로 변화된다. 또, 촬상부 (20) 의 연직 방향의 이동에 의해, 대물 렌즈 (232) 의 광축 방향에 있어서의 초점 위치가, 피촬상물인 시료 (S) 에 대해 변화한다.

광원 (21) 으로부터 광 파이버 커플러 (22) 에 입사한 광의 일부는, 광 파이버 (224) 를 통하여 참조 광학계 (24) 에 입사한다. 참조 광학계 (24) 는, 콜리메이터 렌즈 (241) 및 참조 미러 (243) 를 구비하고 있다. 이것들이 광 파이버 (224) 와 함께 참조계 광로를 구성한다. 구체적으로는, 광 파이버 (224) 의 단부로부터 출사되는 광이, 콜리메이터 렌즈 (241) 를 통하여 참조 미러 (243) 에 입사한다. 참조 미러 (243) 에 의해 반사된 광은, 참조광으로서 광 파이버 (224) 에 입사한다.

참조 미러 (243) 는, 촬상 제어부 (34) 로부터의 제어 지령에 의해 작동하는 진퇴 부재 (도시 생략) 에 의해 지지되어, Y 방향으로 진퇴 이동 가능하다. 참조 미러 (243) 가 Y 방향, 요컨대 콜리메이터 렌즈 (241) 에 대해 접근 및 이간 방향으로 이동함으로써, 참조 미러 (243) 에 의해 반사되는 참조광의 광로 길이가 조정된다.

시료의 표면 혹은 내부의 반사면에서 반사된 반사광 (신호광) 과, 참조 미러 (243) 에서 반사된 참조광은, 광 파이버 커플러 (22) 에서 혼합되어 광 파이버 (226) 를 통하여 광 검출기 (26) 에 입사한다. 이 때, 신호광과 참조광 사이에서 위상차에서 기인되는 간섭이 발생하지만, 간섭광의 분광 스펙트럼은 반사면의 깊이에 따라 상이하다. 요컨대, 간섭광의 분광 스펙트럼은 피촬상물의 깊이 방향의 정보를 가지고 있다. 따라서, 간섭광을 파장마다 분광하여 광량을 검출하고, 검출된 간섭 신호를 푸리에 변환함으로써, 피촬상물의 깊이 방향에 있어서의 반사광 강도 분포를 구할 수 있다. 이와 같은 원리에 기초하는 OCT 촬상 기술은, 푸리에 도메인 (Fourier Domain) OCT (FD-OCT) 라고 칭해진다.

이 실시형태의 촬상부 (20) 에는, 광 파이버 (226) 로부터 광 검출기 (26) 에 이르는 간섭광의 광로 상에 분광기 (25) 가 형성되어 있다. 분광기 (25) 로는, 예를 들어 프리즘을 이용한 것, 회절 격자를 이용한 것 등을 사용할 수 있다. 간섭광은 분광기 (25) 에 의해 파장 성분마다 분광되어 광 검출기 (26) 에 수광된다.

광 검출기 (26) 가 검출한 간섭광에 따라 광 검출기 (26) 로부터 출력되는 간섭 신호를 푸리에 변환함으로써, 시료 중, 조명광의 입사 위치에 있어서의 깊이 방향, 요컨대 Z 방향의 반사광 강도 분포가 구해진다. 시료 용기 (11) 에 입사하는 광 빔을 X 방향으로 주사함으로써, XZ 평면과 평행한 평면에 있어서의 반사광 강도 분포가 구해진다. 그 결과로부터, 당해 평면을 단면으로 하는 시료의 단층 화상을 작성할 수 있다. 그 원리는 주지되어 있기 때문에, 상세한 설명은 생략한다.

또, Y 방향에 있어서의 빔 입사 위치를 다단계로 변경하면서, 그때마다 단층 화상의 촬상을 실시함으로써, 시료를 XZ 평면과 평행한 단면에서 단층 촬상한 다수의 단층 화상을 얻을 수 있다. Y 방향의 주사 피치를 작게 하면, 시료의 입체 구조를 파악하는 데 충분한 분해능의 화상 데이터를 얻을 수 있다. 이들 단층 화상 데이터로부터, 시료의 입체 이미지에 대응하는 삼차원 화상 데이터 (이른바 복셀 데이터) 를 작성할 수 있다.

이와 같이, 이 화상 처리 장치 (1) 는, 시료 용기 (11) 에 배지 (M) 와 함께 담지된 시료 (S) 의 화상을 취득하는 기능을 갖는다. 화상으로는, 광학 현미경 촬상에 의해 얻어지는 이차원 화상 데이터와, OCT 촬상에 의해 얻어지는 단층 화상 데이터 및 그것에 기초하는 삼차원 화상 데이터를 취득 가능하다.

이하, 상기와 같이 구성된 화상 처리 장치 (1) 를 사용하여 실행 가능한, 본 발명에 관련된 화상 처리 방법의 일 실시형태에 대해 설명한다. 이 실시형태에 있어서의 화상 처리는, 시료 (S) 로서 배반포기의 수정란 (이하, 간단히 「배」라고 한다) 을 촬상한 화상으로부터, 당해 배를 구성하는 주된 구조체인, 투명대, 영양 외배엽 및 내세포 덩어리에 대응하는 영역을, 개별적으로 추출한다는 내용을 갖는 것이다.

이것에 의해 얻어진 데이터에 기초하여, 사용자 (구체적으로는 의사 또는 배 배양사) 에 의한 배의 평가 작업을 효과적으로 지원하는 것이 가능해진다. 예를 들어 불임 치료를 목적으로 하는 배의 배양에 있어서, 배양이 양호하게 진행되고 있는지의 여부를 판단하기 위한 지견을 얻는 것을 목적으로 하여, 본 실시형태의 화상 처리 방법을 적용할 수 있다.

도 2a 및 도 2b 는 본 실시형태에 있어서 시료가 되는 배의 구조를 모식적으로 나타내는 도면이다. 이미 알려져 있는 바와 같이, 난자가 수정하면 난할이 개시되고, 상실배라 불리는 상태를 거쳐 배반포가 형성된다. 도 2a 는 배반포기에 있어서의 배의 내부 구조를 모식적으로 나타내는 것이다. 배반포기에 있어서는, 배 (E) 는 내부에 포배강 (B) 이라고 불리는 공동을 가지고 있다. 보다 구체적으로는, 난할이 진행된 세포가 배의 표면에 얇은 층으로서 나란히 영양 외배엽 (T) 을 형성하고, 영양 외배엽 (T) 으로 둘러싸이는 내부 공간이 포배강 (B) 을 형성한다. 또, 내부 공간의 일부에, 다수의 세포가 밀집된 내세포 덩어리 (I) 가 형성된다.

또한, 영양 외배엽 (T) 의 외측 표면을 덮도록 투명대 (ZP) 가 형성된다. 투명대 (ZP) 는, 당 단백질을 주체로 하는 대략 균일한 두께를 갖는 막이다. 한편, 다수의 세포가 모여 형성되는 영양 외배엽 (T) 은, 위치에 따라 다양한 두께를 갖고, 투명대 (ZP) 의 내측 표면 전체에 부착되도록 분포되어 있다. 도 2b 에 나타내는 바와 같이, 영양 외배엽 (T) 은, 다수의 세포 (C) 가 투명대 (ZP) 의 내면을 따라 나열됨으로써 형성된다. 개개의 세포 (C) 의 형상이나 크기가 상이한 것에 의해, 영양 외배엽 (T) 은, 위치에 따라 두께가 다른 층이 된다. 또한, 도 2a 에 있어서는, 영양 외배엽 (T) 의 두께의 편차가 실제보다 강조되어 있다.

배 (E) 를 구성하는 이들 구조체, 즉 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 는, 배의 평가에 있어서의 주목 영역으로서 중요한 의미를 갖는 것이다. 이 때문에, 촬상된 화상으로부터 이들 구조체에 대응하는 영역을 자동적으로 추출하는 기술은, 사용자에 의한 배의 평가 작업을 지원하는 데 있어서 큰 의의를 갖는 것이 된다. 그러나, OCT 촬상에 의해 얻어지는 단층 화상 혹은 삼차원 화상에서는, 이들의 구조체 사이에서 휘도 정보에 거의 차이가 없다. 이 때문에, 단순한 휘도의 차이에 의한 분리에서는, 이들 구조체를 양호한 정밀도로 분리하는 것이 곤란하다.

이와 같이, OCT 화상으로부터 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 를 자동적으로 분리하는 기술은, 지금까지 확립되어 있지 않았다. 본원 출원인이 앞서 개시한 특허문헌 2 는, 이와 같은 문제를 감안하여, OCT 화상으로부터 영양 외배엽과 내세포 덩어리에 대응하는 영역을 분리할 수 있도록 한 것이다. 단, 이 기술에 있어서도, 투명대와 영양 외배엽이 명확하게 분리되어 있다고는 할 수 없었다. 구체적으로는, 이 기술에 의해 영양 외배엽으로서 추출되는 영역이, 투명대에 대응하는 영역까지 포함하고 있을 가능성이 있다.

본 실시형태에 있어서의 화상 처리에서는, 광학 현미경 촬상에 의해 얻어진 이차원 화상으로부터 얻어지는 정보를 이용하여 OCT 화상을 해석함으로써, 투명대 (ZP) 와 영양 외배엽 (T) 이 분리된다. 그리고, 삼차원 이미지에 있어서 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 가 차지하는 영역을 각각 개별적으로 특정하는 것이, 제 1 목적으로 된다. 또, 제 2 목적은, 이렇게 하여 분리된 영양 외배엽 (T) 을 구성하는 세포의 개수를 형성하는 것이다.

광학 현미경 촬상에 의해 얻어지는 명시야 화상 또는 위상차 화상에 있어서는, 그 휘도 및 텍스처의 차이로부터, 투명대 (ZP) 와 영양 외배엽 (T) 을 구별하는 것은 비교적 용이하다. 그리고, 양호하게 배양된 배반포기의 배에서는, 투명대 (ZP) 는 대체로 균일한 두께를 가지고 있다. 바꿔 말하면, 배 중, 그 표면으로부터 일정한 깊이까지의 영역은 투명대 (ZP) 가 차지하고 있는 것으로 생각할 수 있다. 이러한 점에서, 광학 현미경 촬상에 의해 얻어진 이차원 화상 데이터로부터 투명대 (ZP) 의 두께를 특정할 수 있다. 그리고, OCT 촬상에 의해 얻어진 삼차원 화상 데이터로부터, 배 (E) 의 표면에서 보아 투명대 (ZP) 의 두께에 상당하는 깊이까지의 영역을 특정함으로써, 투명대 (ZP) 에 대응하는 영역을 영양 외배엽 (T) 과는 분리하여 추출하는 것이 가능하다. 또, 내세포 덩어리 (I) 의 분리에 대해서는, 예를 들어 특허문헌 2 에 기재된 방법을 적용 가능하다. 이들에 의해, 제 1 목적을 달성할 수 있다.

이렇게 하여 다른 구조체로부터 분리된 영양 외배엽 (T) 은, 도 2b 에 나타내는 바와 같이, 개개의 세포 (C) 의 형상에서 기인되는 요철을 가지고 있다. 보다 구체적으로는, 영양 외배엽 (T) 의 포배강 (B) 을 향하는 표면에는, 개개의 세포 (C) 의 형상에서 기인되는 돌기가 발생하고 있다. 따라서, 이러한 돌기 부위를 검출하고, 그 수를 계수하면, 영양 외배엽 (T) 을 구성하는 세포 (C) 의 개수를 알 수 있다. 이와 같이 하여 제 2 목적이 달성된다.

도 3 은 본 실시형태에 있어서의 화상 처리를 나타내는 플로 차트이다. 이 처리는, CPU (31) 가 미리 준비된 제어 프로그램을 실행하고, 장치 각 부에 소정의 동작을 실시시키는 것에 의해 실현된다. 평가 대상이 되는 배가 수용된 시료 용기 (11) 가 유지부 (10) 에 세트되면 (스텝 S101), 당해 배를 피촬상물로 하여, 촬상부 (20) 에 의한 광학 현미경 촬상 및 OCT 촬상이 실행된다.

도 3 에 있어서, 스텝 S102 내지 S105 는, 광학 현미경 촬상 및 이것에 의해 얻어지는 이차원 화상 데이터를 사용한 데이터 처리를 나타낸다. 한편, 스텝 S111 및 S112 는, OCT 촬상 및 이것에 의해 얻어지는 삼차원 화상 데이터를 사용한 화상 처리를 나타낸다. 이들 2 개의 처리는, 시계열적으로 전후하여 실시되어도 되고, 이 경우 어느 처리를 먼저 실시할지는 임의이다. 또, 이들 처리를 병행하여 실시함으로써 처리 시간의 단축이 도모되어도 된다.

먼저 스텝 S102 내지 S105 의 처리의 개요에 대해 설명한다. 이 처리에서는, 배를 광학 현미경 촬상함으로써 배의 이차원 화상 데이터를 취득하고, 화상 데이터에 기초하여 투명대의 두께를 산출한다. 구체적으로는, 현미경 촬상 유닛 (28) 이 촬상 위치에 위치 결정되고, 초점 위치가 깊이 방향 (Z 방향) 으로 다단계로 변경 설정됨과 함께, 그때마다 촬상이 실시된다. 이로써, 초점 깊이를 서로 상이하게 한 복수의 이차원 화상의 세트, 이른바 Z 스택 화상이 취득된다 (스텝 S102).

이들 화상의 각각으로부터, 투명대 (ZP) 에 대응하는 영역이 추출된다 (스텝 S103). 그리고, 복수의 화상 중, 투명대 (ZP) 에 가장 잘 합초한 1 장이 선출된다 (스텝 S104). 선출된 화상에 기초하여, 투명대 (ZP) 의 두께가 산출된다 (스텝 S105). 이들 처리, 즉 투명대 (ZP) 에 대응하는 영역을 추출하는 처리 (스텝 S103), 가장 합초한 화상을 선출하는 처리 (스텝 S104) 및 투명대 (ZP) 의 두께를 산출하는 처리 (스텝 S105) 의 상세한 것에 대해서는 후술한다. 여기까지의 처리에 의해, 평가 대상의 배 (E) 에 있어서의 투명대 (ZP) 의 두께가 이미 알려져 있다.

한편, 스텝 S111 에서는, 물체 광학계 (23) 가 촬상 위치에 위치 결정되고, 촬상 위치를 주사시키면서 배 (E) 가 단층 촬상된다. 이로써, 배 (E) 의 삼차원 화상 데이터가 취득된다. 삼차원 화상 데이터로 나타나는 각 부의 휘도가, 소정의 임계치로 2 치화된다 (스텝 S112). 이로써, 배 (E) 의 삼차원 이미지는, 비교적 고밀도인 어떠한 구조체에서 차지되어 고휘도가 되는 영역 (이하, 「구조 영역」이라고 칭한다) 과, 이것보다 저밀도이고 저휘도의 영역으로 분리된다. 예를 들어 배지 (M) 는 OCT 화상에 있어서 저휘도이다.

구조 영역을 차지하는 구조체로는, 전술한 바와 같이, 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 가 포함될 수 있다. 스텝 S113, S114 에서는 이것들이 서로 분리된다. 구체적으로는, 스텝 S113 에 있어서, 투명대 (ZP) 에 대응하는 영역이 다른 구조 영역과는 분리된다. 그리고, 스텝 S114 에 있어서, 영양 외배엽 (T) 과 내세포 덩어리 (I) 가 분리된다.

여기까지의 처리 (스텝 S101 ∼ S114) 에 의해, 배 (E) 의 삼차원 이미지로부터 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 가 차지하는 영역을 각각 특정한다는 제 1 목적이 달성된다. 계속되는 스텝 S115 ∼ S118 의 처리는, 분리된 영양 외배엽 (T) 을 구성하는 세포의 개수를 계수한다는 제 2 목적을 위한 것이다. 이것을 위한 처리에 대해서는 이후에서 상세하게 설명한다.

이하에서는, 상기 처리의 각 공정 (스텝 S103 ∼ S105, S111) 을 실행하기 위한 각 요소 기술에 대해 순서대로 나누어 설명한다. 또한, 스텝 S102 의 Z 스택 화상을 취득하기 위한 처리는 주지되어 있기 때문에, 설명을 생략한다. 또, 스텝 S114 의 처리에 대해서도, 특허문헌 2 에 기재된 기술을 적용 가능하기 때문에 설명을 생략한다.

스텝 S103 에서는, 배 (E) 를 광학 현미경 촬상하여 얻어진 이차원 화상 데이터로부터, 투명대 (ZP) 에 대응하는 영역이 추출된다. 이 처리는, 적절한 화상 처리 기술을 사용하여 실행하는 것이 가능하다. 예를 들어, 화상 내로부터 특정한 특징을 갖는 영역을 추출하는 패턴 인식 기술을 적용할 수 있다. 구체적으로는, 미리 취득된 투명대의 화상을 교사 화상으로 하는 교사 부착 학습에 의해 분류 모델을 구축하고, 이것을 사용하여 평가 대상의 배 (E) 의 광학 현미경 화상을 영역 분할한다. 이렇게 함으로써, 화상으로부터 투명대 (ZP) 에 대응하는 영역을 추출할 수 있다.

영역 분할 처리의 구체예로는, 예를 들어 공지된 시멘틱 세그멘테이션법을 이용할 수 있다. 시멘틱 세그멘테이션법은, 딥 러닝 알고리즘에 의해 미리 구축된 분류 모델을 사용하여, 화상 내의 각 화소에 라벨 부여를 실시하는 기술이다. 본 실시형태에서는, 다음과 같이 하여 이 방법을 이용할 수 있다.

먼저 사용자가, 투명대가 양호한 화상 품질로 촬상된 배의 광학 현미경 화상을 준비하고, 당해 화상 중의 투명대에 대응하는 영역의 각 화소에, 그 취지를 나타내는 라벨 부여를 실시한다. 그리고, 원래의 현미경 화상을 입력 데이터, 라벨 화상을 정답 데이터로 하여 딥 러닝이 실행됨으로써, 분류 모델이 구축된다. 이렇게 하여 미리 구축된 분류 모델에 미지의 화상을 입력 데이터로서 부여하면, 당해 화상 중 투명대에 대응하는 영역에 그 취지의 라벨이 부여된 출력 화상을 얻을 수 있다. 이와 같은 영역을 출력 화상으로부터 추출함으로써, 결과적으로 투명대를 추출하는 것이 가능하다.

도 4 는 분류 모델을 구축하기 위한 구체적 수법의 일례를 나타내는 플로 차트이다. 이 처리는, 화상을 표시하는 기능 및 사용자로부터의 조작 입력을 접수하는 기능을 갖는 각종의 컴퓨터 장치에 의해 실행 가능하다. 예를 들어 화상 처리 장치 (1), 혹은 퍼스널 컴퓨터 등의 범용 컴퓨터 장치에 의해 실행하는 것이 가능하다.

먼저, 투명대에 합초한 (포커스가 맞은) 상태에서 미리 촬상된, 배의 광학 현미경 화상이 표시된다 (스텝 S201). 화상 처리 장치 (1) 에서는, 표시부 (352) 에 당해 화상을 표시시킬 수 있다. 이렇게 하여 표시된 화상에 대해, 포커스가 맞은 투명대에 상당하는 영역을 지정하기 위한, 사용자로부터의 교시 입력을 접수한다 (스텝 S202). 이 경우의 사용자는, 배의 화상에 대한 충분한 지견을 갖는 숙련자인 것이 바람직하다. 또, 화상 처리 장치 (1) 가 사용되는 경우, 입력 디바이스 (351) 을 통하여 교시 입력을 접수할 수 있다.

투명대로서 지정된 영역에는, 그 취지를 나타내는 라벨이 부여된다 (스텝 S203). 이렇게 하여 라벨 부여된 화상을 정답 데이터로 하고, 원래의 화상을 입력 데이터로 하여 딥 러닝이 실행된다. 이렇게 함으로써, 화상으로부터 투명대를 추출하기 위한 분류 모델이 구축된다 (스텝 S204). 필요에 따라, 투명대 이외의 라벨이 사용되어도 된다.

이 분류 모델은, 투명대에 포커스가 맞은 화상을 입력 화상으로 하여 구축된 것이다. 그 때문에, 이것을 미지의 테스트 화상에 적용하여 시멘틱 세그멘테이션법을 실행하면, 테스트 화상으로부터 투명대로서의 특징을 강하게 갖는 영역이 추출되게 된다. 이렇게 하여 투명대가 추출되면, 그 두께를 구하는 것이 가능해진다. 두께를 양호한 정밀도로 하기 위해서는, 화상 내의 가능한 한 넓은 영역에서, 투명대에 합초하고 있는 것이 바람직하다. 즉, 투명대의 두께의 산출은, 시멘틱 세그멘테이션법으로 추출되는 영역의 면적이 가능한 한 넓은 화상에 기초하여 실시되는 것이 바람직하다고 할 수 있다. 또한 면적에 대해서는, 예를 들어 화소수에 의해 나타내는 것이 가능하다.

한편, 평가 대상의 배 (E) 는 입체적 구조를 가지고 있다. 그 때문에, 초점 깊이를 적절히 정하여 촬상한 화상에서는, 투명대 (ZP) 에 대한 합초 상태가 반드시 양호하지 않은 경우가 있을 수 있다. 그래서, 깊이 방향 (Z 방향) 으로 초점 위치를 상이하게 하여 취득된 Z 스택 화상으로부터, 투명대 (ZP) 에 상당하는 것으로 하여 추출되는 영역의 면적이 가장 큰 1 개의 화상을 선출한다. 그리고, 이 화상을 투명대 (ZP) 의 두께 산출에 사용한다.

스텝 S104 에서는, Z 스택 화상으로부터 투명대 (ZP) 에 가장 합초한 화상이 선출된다. 이 실시형태에 있어서의 시멘틱 세그멘테이션법에서는, 화상으로부터 포커스가 맞은 투명대의 영역이 추출된다. 이 점에서, 이 영역의 면적이 최대인 화상이, 투명대 (ZP) 에 가장 합초한 화상일 개연성이 높다고 할 수 있다. 그러한 조건에 해당하는 화상을 선출하면 된다.

도 5a 및 도 5b 는 초점 깊이와 추출되는 투명대의 면적의 관계를 나타내는 도면이다. 도 5a 의 상부에는, 깊이 방향에 있어서의 다양한 초점 위치에서 촬상되는 광학 현미경 화상 (Z 스택 화상) 과, 그들 화상으로부터 시멘틱 세그멘테이션법에 의해 추출되는 영역 (투명대 (ZP) 에 상당하는 영역) 의 관계가 모식적으로 나타나 있다. 또, 도 5a 의 하부의 그래프는, 촬상시의 초점 위치와 추출된 영역의 면적 (화소수) 의 관계가 예시되어 있다. 이들에 나타나는 바와 같이, Z 스택 화상 중 가장 잘 합초하여 투명대 (ZP) 가 선명한 화상 (Ia) 에 있어서, 추출되는 영역의 면적이 최대가 된다. 바꿔 말하면, Z 스택 화상 중, 추출된 영역의 면적이 최대인 화상에 대응하는 초점 위치를, 합초 위치로 간주할 수 있다. 따라서, 이 화상 (Ia) 이, 투명대 (ZP) 의 두께 산출의 기초가 되는 화상으로서 선출되면 된다.

단, 예를 들어 촬상시의 진동 등에서 기인하여, 화상에 흔들림이 발생하고, 결과적으로 투명대의 외관상의 면적이 실제보다 크게 화상에 나타나는 경우가 있다. 도 5b 는 이와 같은 상황을 나타낸 것이다. 예를 들어 화상 (Ib) 에 있어서, 진동에서 기인되는 화상의 흔들림이 발생하고 있다고 한다. 그렇게 하면, 투명대에 상당하는 것으로 하여 추출되는 면적은 외관상 커지고, 이 위치가 합초 위치로 오판정될 우려가 있다.

이 실시형태에서는, 추출된 영역의 주연부를 사이에 두는 화소 사이의 휘도차를 사용함으로써, 이 문제의 해소가 도모되고 있다. 즉, 잘 합초한 화상에서는, 투명대에 대응하는 영역과 그 주위 영역의 경계가 명료하며, 따라서 그들 영역의 휘도 사이에도 명확한 콘트라스트가 있는 것으로 생각된다. 한편, 합초하고 있지 않은 화상에서는, 이들 영역간의 경계가 명확하지 않고, 따라서 콘트라스트도 선명하지 않다.

이 점에서, 단순히 추출된 영역의 면적 (화소 수) 의 대소만으로 평가하는 것 대신, 당해 영역의 에지 부분에 있어서의 휘도 변화의 크기, 즉 샤프니스도 반영시킨 평가치를 도입한다. 이렇게 함으로써, 상기와 같은 오판정을 저감시킬 수 있는 것으로 생각된다. 이와 같은 에지 변화량을 정량화하는 방법으로는 다양한 것이 있고, 그것들을 적절히 선택하여 적용 가능하다.

이 실시형태에서는 그 일례로서, 추출된 영역의 면적에, 에지 부분에 있어서의 휘도 변화의 크기를 반영한 계수 (係數) 를 곱한 값을 평가치로 한다. 이 계수로는, 예를 들어 에지를 사이에 둔 화소 사이에 있어서의 휘도의 차를 제곱한 값을 사용할 수 있다. 보다 구체적으로는, 추출된 영역 중 에지에 인접하는 모든 화소의 휘도의 평균치와, 당해 에지의 외측에서 에지에 인접하는 모든 화소의 기동의 평균치의 차를 구하고, 그것을 제곱함으로써 상기 계수가 구해진다.

이와 같이 하면, 도 5b 하부의 그래프에 나타나는 바와 같이, 피크가 보다 선명해져, 화상 (Ib) 에 있어서의 어긋남의 영향에 의한 추출 면적의 증대가 합초 위치의 오판정의 원인이 되는 리스크를 저감시킬 수 있다. 또한, 여기서는 계수를 정 (正) 의 값으로 하기 위해서 휘도차를 제곱하고 있지만, 이것 대신에 휘도차의 절대치를 계수로서 사용해도 된다.

도 6 은 투명대에 합초한 화상을 선출하기 위한 처리를 나타내는 플로차트이고, 이 처리 내용은, 도 3 의 스텝 S104 에 상당하는 것이다. Z 스택 화상을 구성하는 각 화상에 대해서는, 스텝 S103 에 있어서 투명대에 상당하는 영역이 추출되어 있다. 이렇게 하여 추출된 영역의 면적을 구하기 위해, 당해 영역에 속하는 화소의 수를 화상마다 계수한다 (스텝 S301). 그리고, 추출된 영역의 에지의 내외에 있어서 각각 인접하는 화소의 평균 휘도를 구하고, 그 차를 산출한다 (스텝 S302). 이들 값에 기초하여, 각 화상의 합초 정도를 나타내는 평가치를 산출한다 (스텝 S303). 구체적으로는, 추출 영역의 화소수에, 에지 내외에서의 휘도차의 제곱으로 나타내는 계수를 곱함으로써, 평가치를 산출한다. 이렇게 하여 구해지는 평가치가 최대인 화상이, 투명대에 가장 합초한 화상으로서 선출된다.

다음으로, Z 스택 화상으로부터 선출된 1 개의 광학 현미경 화상으로부터 투명대 (ZP) 의 두께를 산출하는, 스텝 S105 의 처리 내용에 대해 설명한다. 선출된 화상에 대해서는, 스텝 S103 에 있어서 투명대 (ZP) 에 상당하는 영역의 추출이 실시되고 있다. 양호하게 배양된 배 (E) 에 있어서는, 대체로 일정한 폭을 갖는 원환상의 영역이, 투명대 (ZP) 에 상당하는 영역으로서 추출되어 있는 것으로 생각된다. 투명대 (ZP) 에 합초한 화상에서는, 이 원환의 폭, 요컨대 원환의 내측의 에지와 외측의 에지의 거리가, 투명대 (ZP) 의 두께에 대응하고 있다.

원환의 폭을 구하는 방법으로는 다양한 것이 생각된다. 간편한 것으로서는, 예를 들어 OpenCV (Open Source Computer Vision) 라이브러리에 장비되어 있는 Distance Transform 함수를 이용한 방법이 있다. 원환의 내측 에지 상의 1 개의 화소를 주목 화소로 하여 Distance Transform 함수를 적용함으로써, 당해 화소로부터 가장 가까운, 원환의 외측 에지 상의 화소까지의 거리를 특정할 수 있다. 이 거리가 당해 위치에 있어서의 원환의 폭, 요컨대 투명대 (ZP) 의 두께를 나타낸다. 이것과는 반대로, 원환의 외측 에지 상의 화소를 주목 화소로 하고, 이것부터 내측 에지까지의 최단 거리를 구해도 등가이다. 이렇게 하여 원환 상의 각 위치에서 구해지는 폭의 평균치를, 투명대 (ZP) 의 두께의 평균치로 할 수 있다. 이하에서는 이 두께의 평균치를 부호 Tav 에 의해 나타내는 것으로 한다.

이상, 스텝 S103 ∼ S105 의 상세한 처리 내용에 대해 설명하였다. 다음으로, 스텝 S113 에 있어서의, 투명대의 분리 처리에 대해 설명한다. 여기서는, OCT 촬상에 의해 얻어진 배 (E) 의 삼차원 이미지 중, 표면으로부터 깊이 Tav 까지의 범위를 투명대 (ZP) 로 간주한다. 따라서, 삼차원 이미지로부터 이 범위만을 추출함으로써, 투명대 (ZP) 에 대응하는 구조체만을 취출할 수 있다. 한편, 이 범위의 구조체를 삼차원 이미지로부터 소거함으로써, 투명대 (ZP) 이외의 구조체, 즉 영양 외배엽 (T) 과 내세포 덩어리 (I) 를 취출할 수 있다.

투명대 (ZP) 에 상당하는 영역이 소거된 삼차원 이미지에 대해서는, 특허문헌 2 에 기재되어 있는 바와 같이, 남겨진 구조체에 대해 예를 들어 Local Thickness 연산을 이용한 영역 분할 처리를 실행한다. 이렇게 함으로써, 영양 외배엽 (T) 에 상당하는 영역과, 내세포 덩어리 (I) 에 상당하는 영역을 분리할 수 있다. 이와 같이 하여, 배 (E) 의 삼차원 이미지로부터, 투명대 (ZP), 영양 외배엽 (T) 및 내세포 덩어리 (I) 가 각각 차지하는 영역을 개별적으로 추출할 수 있다.

도 7a 및 도 7b 는 본 실시형태에 있어서의 영역 분할의 모습을 모식적으로 나타내는 도면이다. 여기서는 이해를 용이하게 하기 위해서 배 (E) 를 이차원 이미지로서 표현하고 있다. 그러나, 실제로는 OCT 촬상으로 얻어지는 삼차원 이미지에 대한 처리이다. 도 7a 에 나타내는 바와 같이, 배 (E) 의 이미지의 표면 (Es) 으로부터 두께 (Tav) 의 범위에 포함되는 영역이, 투명대 (ZP) 에 상당하는 영역으로 간주된다.

또, 도 7b 에 나타내는 바와 같이, 배 (E) 의 삼차원 이미지로부터 투명대 (ZP) 에 상당하는 영역을 소거한 것에 대해 Local Thickness 연산을 실행했을 때, 비교적 작은 구체의 집합체로서 나타내지는 영역이 영양 외배엽 (T), 보다 큰 구체의 집합체로서 나타내지는 영역이 내세포 덩어리 (I) 로서 취급된다. 이 구별은, 예를 들어 다음과 같이 하여 실현 가능하다. 즉, Local Thickness 연산에 의해 생성되는 내접 구의 반경에 대해 적절한 임계치를 설정한다. 그리고, 이 임계치보다 작은 반경을 갖는 구로 나타내는 영역을 영양 외배엽 (T) 으로 간주한다. 한편, 임계치보다 큰 반경을 갖는 구로 나타내는 영역을, 내세포 덩어리 (I) 로 간주한다.

이와 같이 하여 분리된 각 영역을 더욱 세분화할 필요가 있을 때에는, 특허문헌 2 에 기재된 바와 같이, 분리 후의 각 영역에 대해, 예를 들어 Watershed 법에 의한 영역 분할을 실행하도록 해도 된다.

이와 같이, 배반포기의 배 (수정란) 를 OCT 촬상하여 얻어지는 삼차원 화상 데이터와, 동일한 배를 광학 현미경 촬상하여 얻어지는 이차원 화상 데이터로부터 얻어지는 정보를 이용하여, 배를 구성하는 구조체 중 투명대를 다른 구조체, 특히 OCT 화상에서는 투명대와의 휘도의 차가 잘 발생하지 않는 영양 외배엽으로부터 분리할 수 있다. 구체적으로는, 투명대와 영양 외배엽 사이에서 텍스처의 차가 나타나기 쉬운 광학 현미경 화상으로부터 투명대의 평균 두께를 산출하고, 삼차원 이미지에 있어서의 구조체 중 그 표면으로부터 평균 두께의 범위 내의 영역을, 투명대가 차지하는 영역으로 간주한다. 투명대의 두께는 대체로 균일한 것을 이용하여, 광학 현미경 화상으로부터 구해진 투명대의 두께의 정보를 삼차원 이미지에 반영시켜, 영역의 분할이 실시된다. 이렇게 함으로써, 투명대와 영양 외배엽을 양호한 정밀도로 분리할 수 있다.

다음으로, 본 실시형태의 제 2 목적을 달성하는, 즉 영양 외배엽 (T) 을 구성하는 세포수를 계수하기 위한 처리 (도 3 의 스텝 S115 ∼ S119) 에 대해 설명한다. 이 처리의 개략의 흐름은, 영양 외배엽 (T) 의 각 위치에 있어서의 두께 분포를 산출하고, 구해진 두께 분포에 있어서의 피크 위치를 검출하고, 유의한 피크가 개개의 세포에 대응하는 것으로 하여 그 개수를 계수한다는 것이다. 이하, 각 공정에 대해 순서대로 설명한다.

스텝 S115 에서는, XYZ 직교 좌표계로 나타내지고 있는 삼차원 화상 데이터가 극 좌표 표현으로 변환된다. 배 (E) 는 대체로 구형이고 내부가 공동이기 때문에, 영양 외배엽 (T) 은 구각 (球殼) 에 가까운 형상을 가지고 있다. 이와 같은 구조를 보다 단적으로 표현하기 위해서는, 배 (E) 의 중심을 원점으로 하는 극 좌표 (구 좌표) 로 각 위치를 나타내는 것이 바람직하다. 그래서, 도 8 에 나타내는 바와 같이, XYZ 직교 좌표계로부터, 1 개의 동경 (r) 및 2 개의 편각 (θ, φ) 을 좌표 변수로 하는 rθφ 극 좌표계로의 좌표 변화를 실시한다.

도 8 은 XYZ 직교 좌표계와 극 좌표계의 대응 관계를 나타내는 도면이다. 잘 알려져 있는 바와 같이, 직교 좌표계에 있어서의 점 P 의 좌표 (x, y, z) 와 구 좌표계에 있어서의 점 P 의 좌표 (r, θ, φ) 사이에는, 원점 (O) 이 공통이면 하기 식 :

　x = r·sinθ·cosφ

　y = r·sinθ·sinφ

　z = r·cosθ

의 관계가 있다.

구체적으로는, 삼차원 화상 데이터로부터 배 (E) 의 중심 위치를 특정하고, 이 중심 위치를 구 좌표계의 원점 (O) 으로 한다. 이 원점 (O) 은, 원신호 데이터에 있어서의 XYZ 직교 좌표계의 원점과는 일치할 필요는 없다. 그리고, 적절한 변환 처리에 의해 직교 좌표로부터 구 좌표로의 좌표 변화를 실시한다. 이와 같이 좌표 변화를 실시함으로써, XYZ 직교 좌표계로 특정되는 삼차원 공간 내의 각 위치를, 극 좌표 표현할 수 있다.

「배의 중심」에 대해서는, 삼차원 화상 데이터에 기초하여 예를 들어 다음과 같이 하여 구할 수 있다. 삼차원 화상 데이터로 나타내는 배 (E) 의 삼차원 이미지의 표면이 구면으로 간주할 수 있는 경우에는, 화상에 있어서의 당해 구의 무게 중심을 배의 중심으로 할 수 있다. 삼차원 화상 처리에 있어서, 중실의 오브젝트의 무게 중심을 구하는 방법은 공지이며, 그러한 방법을 적용하는 것이 가능하다. 또 예를 들어, 배의 표면을 근사적으로 나타내는 구면 또는 회전 타원면을 특정하고, 그 근사면의 중심을 배의 중심으로 해도 된다.

스텝 S116 에서는, 이렇게 하여 극 좌표 변환된 삼차원 화상 데이터로부터, 영양 외배엽 (T) 의 두께 분포가 구해진다. 구체적으로는, 극 좌표 공간 내의 1 개의 동경 방향에 있어서의 영양 외배엽 (T) 의 두께를 산출하고, 이것을 다양한 동경 방향에 대해 실시함으로써, 영양 외배엽 (T) 의 두께 분포를 구할 수 있다.

도 9a 및 도 9b 는 영양 외배엽의 두께를 구하는 방법을 예시하는 도면이다. 도 9a 에 나타내는 예에서는, 원점 (O) 으로부터 연장되는 하나의 동경 r1 을 생각한다. 당해 동경 r1 방향에 있어서의 영양 외배엽 (T) 의 내측 표면 요컨대 포배강 (B) 을 향하는 면 (Si) 과, 외측 표면 요컨대 투명대 (ZP) 를 향하는 면 (So) 의 거리 (T1) 를, 당해 동경 방향에 있어서의 영양 외배엽 (T) 의 두께로 한다.

또, 도 9b 에 나타내는 예에서는, 동경 r1 이 영양 외배엽 (T) 의 내측 표면 (Si) 에 교차하는 점 (P1) 에 주목한다. 당해 점 (P1) 과 영양 외배엽 (T) 의 외측 표면 (So) 의 최단 거리를, 당해 동경 (r1) 방향에 있어서의 영양 외배엽 (T) 의 두께로 한다. 혹은, 동경 (r1) 이 영양 외배엽 (T) 의 외측 표면 (So) 에 교차하는 점 (P2) 에 주목하여, 당해 점 (P2) 과 내측 표면 (Si) 의 최단 거리를, 당해 동경 (r1) 방향에 있어서의 영양 외배엽 (T) 의 두께로 해도 된다. 최단 거리의 산출에는, 상기한 투명대 (ZP) 의 두께 산출 처리와 마찬가지로, OpenCV 라이브러리 중의 Distance Transform 함수를 이용하는 것이 가능하다.

도 10 은 영양 외배엽의 두께를 구하는 처리를 나타내는 플로 차트이다. 먼저, 하나의 동경 방향이 선택된다 (스텝 S401). 구체적으로는, 편각 (θ, φ) 의 값이 적절하게 임시 설정됨으로써, 1 개의 동경 방향이 특정된다. 다음으로, 극 좌표 공간 내에서 당해 동경 방향에 있어서의 영양 외배엽 (T) 의 내측 표면 (Si) 의 위치 (도 9b 에 나타내는 점 P1 의 위치), 또는 외측 표면 (So) 의 위치 (도 9b 에 나타내는 점 P2 의 위치) 에 대응하는 화소가, 주목 화소로서 특정된다 (스텝 S402). 이후의 처리를 위해, 이 때의 원점 (O) 으로부터 주목 화소까지의 거리를, 편각 (θ, φ) 의 세트로 특정되는 동경 방향과 관련지어 기억시켜 두는 것이 바람직하다. 이 거리를 나타내는 정보를, 함수 R (θ, φ) 에 의해 나타내는 것으로 한다.

계속해서, 당해 동경 방향에 있어서의 영양 외배엽 (T) 의 내측 표면 (Si) 과 외측 표면 (So) 의 거리, 즉 영양 외배엽 (T) 의 두께가 구해진다 (스텝 S403). 두께는, 예를 들어 도 9a, 도 9b 에 나타낸 방법 중 어느 것으로 구할 수 있다.

이와 같이 하여 구해지는 영양 외배엽 (T) 의 두께는, 1 개의 동경 방향과 관련지어져 있고, 따라서 편각 (θ, φ) 의 함수로서 나타낼 수 있다. 이하에서는, 편각 (θ, φ) 의 세트에 의해 특정되는 1 개의 동경 방향에 있어서의 영양 외배엽 (T) 의 두께를, T (θ, φ) 로 나타내는 것으로 한다. 구해진 두께 T (θ, φ) 는 메모리 (37) 에 기억 보존된다 (스텝 S404). 다양한 동경 방향에 대해 상기 처리를 반복함으로써 (스텝 S405), 각 방향에 있어서의 영양 외배엽 (T) 의 두께를 나타내는 두께 분포를 취득할 수 있다.

도 3 의 스텝 S117 에서는, 이렇게 해서 구해진 영양 외배엽 (T) 의 두께의 공간 분포를 나타내는 맵이 작성된다. 두께 분포 맵으로는, 이차원 맵 및 삼차원 맵이 생각된다. 또 이차원 맵으로는, 모든 방향을 1 개의 맵에 넣는 방법과, 극 좌표 공간을 몇 개의 공간으로 분할하고, 각각을 1 개씩의 맵에 넣는 방법이 생각된다. 이하, 이들 맵핑 방법의 구체적인 작성예에 대해 설명한다.

도 11a 및 도 11b 는 이차원 맵핑 수법의 일례를 나타내는 도면이다. 극 좌표에서 표현되는 각 방향을 이차원 평면 상에 맵핑하기 위해서는, 예를 들어 유사 원통도법을 이용하는 것이 가능하다. 즉, 도 11a 에 나타내는 바와 같이, 편각 (θ, φ) 을 각각 위도, 경도에 상당하는 것으로 하여, 대략 구체인 지구 표면의 지형을 평면 지도 상에 표현하는 경우와 동일한 도법을 이용할 수 있다. 이와 같은 작도법은 몇 가지 알려져 있고, 목적에 따라 적절히 선택할 수 있다.

여기서는, 편각 θ 를 위도, 편각 φ 를 경도로서 취급하고, 실체에 있어서의 면적을 도면 상에서 유지할 수 있는 지도 도법인 삼손 도법이 이용되고 있다. 편각 θ, φ 의 조합으로 특정되는 맵 상의 각 점에는, 각 동경 방향에 있어서 산출된 영양 외배엽 (T) 의 두께 T (θ, φ) 에 대응하는 휘도치를 갖는 화소가 배치된다. 이와 같이 하여 각 방향에서의 두께를 맵 상에 나타냄으로써, 두께 분포를 가시화할 수 있다. 도 11b 는, 각 점에서의 영양 외배엽 (T) 의 두께를 휘도로 나타낸 맵을, 직접 휘도에 의해 표현하는 것 대신 등휘도선을 사용하여 나타낸 것이다. 단순히 각 방향에서의 두께를 등고선으로 나타낸 것이라고도 할 수 있다. 이 밖에, 영양 외배엽 (T) 의 두께를 색이나 농담에 의해 나타내는 것도 가능하다.

또한, 도 11b 에 있어서 해칭을 부여한 우측 위의 영역은, 내세포 덩어리 (I) 가 존재하는 영역을 나타내고 있다. 내세포 덩어리 (I) 와 투명대 (ZP) 사이에도 영양 외배엽 (T) 은 존재하지만, 내세포 덩어리 (I) 에 접하고 있는 표면의 형상은, 반드시 개개의 세포의 형상을 나타내지 않는다. 이 때문에, 이 실시형태에서는, 내세포 덩어리 (I) 가 존재하는 영역에 대해서는 두께 분포의 도출 대상으로부터 제외하고 있다.

지도 작성의 경우에 있어서도 문제가 되고 있는 바와 같이, 대략 구체인 표면을 이차원 맵에 의해 나타내는 경우, 모든 정보를 정확하게 표현할 수 없다. 예를 들어 정적 유사 원통도법의 1 종인 삼손 도법의 경우, 지표의 면적을 정확하게 표현할 수 있지만, 거리나 방향은 반드시 올바르게 표현할 수 없다. 본 실시형태의 맵핑의 경우, 특히 맵 평면의 주연부에 있어서 변형이 커진다.

도 12a 및 도 12b 는 이차원 맵핑 수법의 다른 일례를 나타내는 도면이다. 도 12a 에 나타내는 바와 같이, 극 좌표 공간에서 대략 구면으로서 나타내지는 영양 외배엽 (T) 의 삼차원 이미지를, 원점 (O) 을 통과하여 서로 수직인 2 개의 평면에 의해 4 개로 분할한다. 그리고, 분할된 각 구획 (Ta ∼ Td) 을 각각 1 개의 맵에 나타낸다. 이 때, 구획 (Ta) 에 대응하는 맵에서는, 구분된 구면의 중심, 보다 구체적으로는, 원점 (O) 을 통과하고, 또한 2 개의 평면의 각각에 대해 45 도의 각도로 교차하는 직선과 구면의 교점 (Ca) 이, 맵에 있어서 대체로 중심이 되도록 한다. 다른 구획 (Tb, Tc, Td) 에 대해서도 동일하다.

이와 같이 하면, 도 12b 에 나타내는 바와 같이, 극 좌표 공간에서 4 분할된 영양 외배엽 (T) 이, 맵 평면의 중앙부만을 사용하여 표현되게 된다. 이 때문에, 맵은 4 면이 되지만, 각 맵에서는, 변형이 커지는 주연부를 사용하지 않고 영양 외배엽 (T) 의 전체에 있어서의 두께 분포를 양호한 정밀도로 표현하는 것이 가능해진다.

또한, 현실적으로는, 영양 외배엽 (T) 에 대응하는 구면의 분할을 생각할 때에 각 구획를 부분적으로 오버랩시켜 두고, 맵핑시에는, 도 12b 에 점선으로 나타내는 바와 같이 구획 (Ta) 내뿐만 아니라 그 외측의 일정 범위까지 두께 분포가 나타나 있는 것이 보다 바람직하다. 그 이유는 이하와 같다. 맵핑의 편의상의 이유에 의해 분할되지만, 실제의 영양 외배엽 (T) 은 각 구획보다 외측까지 연속하고 있다. 구획 외의 일정 범위까지 맵핑을 실시해 둠으로써, 각 구획의 외연에 있어서의 두께 분포의 연속성을 표현하는 것이 가능해진다.

이 의미에 있어서는, 분할을 실시하는 것 대신, 맵의 중심이 되는 위치를 상이하게 한 복수의 이차원 맵을 작성하고, 그들의 중앙 부분만을 사용하도록 하는 것도 생각된다. 또, 분할수도 상기의 4 에 한정되지 않고 임의이다.

상기와 같은 이차원 맵핑 수법은, 예를 들어 화면 상 혹은 인쇄 지면에 있어서 전체의 두께 분포를 부감 (俯瞰) 하는 것과 같은 용도에 적합하다. 그러나, 그 주연부에 있어서 정확성이 저하되는 것은 피할 수 없다. 이 때문에, 정밀도의 면에서는 삼차원 맵이 우수하다. 삼차원 맵에 있어서는, 극 좌표 공간에 있어서의 모든 방향에 대해, 동일한 정도의 정밀도를 확보하는 것이 가능하다.

삼차원 맵을 화면 표시하는 데에 있어서는, 예를 들어, 어느 1 개의 시선 방향으로 투영된 맵을 일시적으로 표시시켜 두고, 사용자 조작에 따라 시선 방향을 변화시키도록 하면, 사용자의 편리성을 향상시키는 것이 가능하다. 예를 들어 사용자 조작에 연동하여 실시간으로 시선 방향이 변화되는 애니메이션 표시로 하면, 사용자는 마치 눈앞의 배 (E) 를 직접 관찰하고 있는 것과 같은 감각으로, 평가 작업을 실시하는 것이 가능해진다.

영양 외배엽 (T) 에 대한 삼차원 맵핑의 수법으로는, 예를 들어 다음과 같은 방법이 생각된다. 제 1 방법은, 영양 외배엽 (T) 의 개략 형상을 나타내는 근사 구면 (또는 회전 타원면) 에 각 방향에 있어서의 두께 분포를 나타내는 정보를 부여한다는 것이다. 제 2 방법은, 실제의 영양 외배엽 (T) 의 삼차원 형상에 상당하는 곡면에 두께 분포의 정보를 부여한다는 것이다. 또한 후자의 경우, 곡면의 형상을, 영양 외배엽 (T) 의 내측 표면 (Si) 에 상당하는 것으로 할지, 외측 표면 (So) 에 상당하는 것으로 할지의 선택지가 있다.

영양 외배엽 (T) 의 외측 표면 (So) 은 투명대 (ZP) 에 접하고 있고, 따라서 그 표면 형상은 비교적 매끄럽다. 이 의미에 있어서, 영양 외배엽 (T) 의 외측 표면 (So) 에 상당하는 곡면은, 실질적으로는 구면과 별로 다르지 않다. 한편, 영양 외배엽 (T) 의 내측 표면 (Si) 은, 영양 외배엽 (T) 을 구성하는 개개의 세포의 형상에 대응하는 요철을 가지고 있다. 이 때문에, 영양 외배엽 (T) 의 내측 표면 (Si) 에 상당하는 곡면에 맵핑을 실시하는 것이, 실제의 요철 형상을 이미지하기 쉽다는 이점이 있다.

또한, 맵 표면에서 두께를 가시화하는 방법으로는, 이차원 맵핑의 경우와 마찬가지로, 두께를 휘도로 변환하여 표시하는 방법, 등고선 (등휘도선) 이나 색 구분, 농담 등에 의한 표현 방법 등을 적용 가능하다. 이하에서는, 구면에 맵핑을 실시하는 케이스와, 영양 외배엽 (T) 의 내측 표면 (Si) 에 상당하는 곡면에 맵핑을 실시하는 케이스를 예시한다. 맵핑 방법으로는 등고선을 사용한 것으로 한다.

도 13a 및 도 13b 는 삼차원 맵핑 수법의 예를 나타내는 도면이다. 도 13a 는 구면에 맵핑을 실시한 예를 나타낸다. 또, 도 13b 는 영양 외배엽 (T) 의 내측 표면 (Si) 에 상당하는 곡면에 맵핑을 실시한 예를 나타낸다. 여기서는 삼차원 맵이 이차원 평면에 투영된 상태로 나타나 있지만, 실제로는 삼차원 곡면 상에서의 맵핑이 이루어져 있다. 화면에 대한 표시 출력의 경우, 시선 방향을 여러 가지로 상이하게 한 표시를 실시하는 것이 가능하다. 또한, 이들 맵에 있어서도, 해칭으로 나타나는 영역은 내세포 덩어리 (I) 에 대응하고 있다.

예를 들어 도 13a 의 삼차원 맵은, 극 좌표 공간 중의 원점 (O) 을 중심으로 하는 구면 상의 각 위치에, 당해 위치를 통과하는 동경의 방향에 있어서의 두께 산출 결과에 대응하는 휘도의 화소를 배치함으로써 작성 가능하다. 즉, 2 개의 편각 (θ, φ) 으로 나타내는 동경과 구면의 교점에, 두께 T (θ, φ) 에 대응하는 휘도치의 화소를 배치하면 된다.

삼차원 맵에서는, 이차원 맵에서 발생하는 변형의 문제가 해소된다. 이차원 맵에서는 변형의 문제와는 별도로, 동경의 길이, 요컨대 원점 (O) 으로부터의 거리의 정보가 맵에 반영되지 않는다는 문제가 있다. 특히 시료 (S) 의 형상이 구면으로부터 크게 괴리된 것인 경우에는, 맵에 표시되는 요철이 실제의 형상을 잘 반영한 것이 되지 않는 경우가 있을 수 있다. 삼차원 맵이면, 예를 들어 시료의 형상에 보다 가까운 회전 타원체를 근사 곡면으로 함으로써, 이와 같은 괴리를 저감시키는 것이 가능하다.

특히 도 13b 에 나타내는 바와 같이, 실제의 형상을 반영시킨 곡면에 맵핑을 실시함으로써, 보다 현실에 입각한 맵을 작성할 수 있다. 맵핑을 위해서 필요한 정보는, 각 동경 방향에 있어서의 영양 외배엽 (T) 의 내측 표면 (Si) (또는 외측 표면 (So)) 의 위치 (동경의 길이) 와, 당해 방향에 있어서의 영양 외배엽 (T) 의 두께이다. 이들 정보는, 영양 외배엽 (T) 의 두께를 산출하는 공정 (도 3 의 스텝 S116) 에 있어서, 각각 R (θ, φ), T (θ, φ) 로서 이미 구해져 있다. 따라서, 극 좌표 공간에 있어서 좌표 (R (θ, φ), θ, φ) 로 나타내는 위치에, 두께 T (θ, φ) 에 대응하는 휘도치를 갖는 화소를 배치함으로써, 삼차원 맵이 작성된다.

또한, 도 13b 에 나타내는 삼차원 맵을 이차원의 표시 화면에 투영 표시하는 경우, 맵 곡면의 요철 형상과, 각 위치에서의 영양 외배엽 (T) 의 두께를 식별 가능하게 표시할 필요가 있다. 특히 투영된 이차원 도형의 외주부 이외의 곡면의 형상에 대해서는, 표시 화상으로부터는 판독하기 어려운 것이 될 가능성이 있다. 이 문제를 회피하기 위해서는, 곡면의 형상과 각 점에서의 두께를 상이한 방법으로 표현할 필요가 있다. 예를 들어 곡면의 형상을 등고선에 의해 나타내는 한편, 각 부에서의 두께를 농담이나 분류에 의해 나타내도록 하면 된다.

도 3 으로 되돌아와, 이와 같이 하여 맵핑된 두께 분포로부터 영양 외배엽 (T) 을 구성하는 세포의 수를 계수하는 방법에 대한 설명을 계속한다. 상기와 같이 하여 가시화되는 영양 외배엽 (T) 의 표면의 요철은 개개의 세포의 형상에서 기인되는 것이다. 이 점에서, 예를 들어 두께가 휘도로 표현되고 있는 경우, 맵 상에 산재하고 있는 주위보다 고휘도의 영역은, 영양 외배엽 (T) 내에서 하나 하나의 세포에 대응하는 돌기 부위에 대응하고 있는 것으로 생각된다. 따라서, 이러한 주위보다 두꺼운, 요컨대 고휘도의 영역을 추출하면, 개개의 세포가 어디에 있는지를 추정할 수 있다. 또, 영양 외배엽 (T) 을 구성하는 세포의 개수를 계수할 수 있다.

이 점에서, 영양 외배엽 (T) 의 두께 프로파일에 나타나는 피크는, 영양 외배엽 (T) 을 구성하는 개개의 세포에 대응하는 돌기 부위를 나타내는 것일 가능성이 높다. 그래서, 스텝 S118 에서는, 두께 프로파일에 있어서의 유의한 피크를 탐색한다. 이렇게 함으로써, 간접적으로 돌기 부위가 검출된다.

도 14a 내지 도 14c 는 피크 검출 처리의 원리를 나타내는 도면이다. 또, 도 15 는 피크 검출 처리를 나타내는 플로 차트이다. 도 14a 에 실선으로 나타내는 바와 같이, 맵 상의 어느 방향을 따라 당해 방향의 위치와 휘도 (즉 두께) 의 관계 (두께 프로파일) 를 플롯한다. 그렇게 하면, 위치마다 휘도의 변동이 있고, 주위에 대해 휘도가 돌출되어 높은 피크가 나타난다. 이것들은 세포의 위치에 대응하는 피크의 후보가 되는 것이다.

먼저, 이와 같이 주위보다 휘도가 높은 영역을 추출한다. 구체적으로는, 실선으로 나타나는 두께 프로파일에 대해 최대치 필터 처리를 실행한다 (스텝 S501). 윈도우 사이즈를 적절히 설정하여 최대치 필터 처리를 실행함으로써, 도 14a 에 점선으로 나타내는 바와 같이, 프로파일의 피크 폭이 팽창한다. 최대치 처리에 의해, 피크 이외의 위치에서는 휘도치가 상승하지만, 피크 위치에서는 휘도치에 변화는 없다. 그래서, 이와 같이 휘도치의 변화가 없는 위치 (도면에 파선으로 나타낸다) 를, 피크 후보로서 추출한다 (스텝 S502).

도 14b 는 추출된 피크 후보를 나타내고 있다. 피크에 있어서의 휘도가 극단적으로 높은, 혹은 극단적으로 낮은 경우, 당해 피크는, 화상 노이즈나 세포에 대응하지 않는 피크 등 검출 대상과는 상이한 것일 가능성이 있다. 그래서, 휘도치에 대해 임계치 (Lth1, Lth2) 를 설정한다. 피크 후보 중 휘도치가 상한치를 규정하는 임계치 (Lth1) 를 초과하는 것, 및 휘도치가 하한치를 규정하는 임계치 (Lth2) 를 하회하는 것에 대해서는 이것을 소거한다 (스텝 S503). 도 15 에서는 이 처리를 「상한·하한 처리」라고 기재하고 있다. 도 14b 에 있어서, 검정 동그라미표는 이 처리에 의해 소거되는 피크 후보를 나타내고 있다. 또 흰 동그라미표는 소거되지 않고 남는 피크 후보를 나타내고 있다.

영양 외배엽 (T) 을 구성하는 개개의 세포를 특정한다는 본 실시형태의 목적에 있어서, 임계치 (Lth1, Lth2) 에 대해서는, 영양 외배엽 (T) 을 구성하는 세포로서 타당한 사이즈의 상한치 및 하한치에 대응하여 설정할 수 있다. 이로써, 1 개의 세포인 것으로 간주할 수 없는 것과 같은 극단적으로 큰, 혹은 작은 피크 후보를 제외할 수 있다. 그 결과, 세포수의 계수 결과에 미치는 오차를 저감시킬 수 있다. 또한, 여기서는 피크 휘도치에 상한치 및 하한치를 설정하고 있지만, 어느 일방이어도 된다. 또, 큰 오차 요인이 되지 않는 것이면, 상한·하한 처리를 생략해도 된다.

한편, 영양 외배엽 (T) 의 면을 따른 방향에 있어서도 타당한 세포의 사이즈가 있다. 바꿔 말하면, 피크 후보가 개개의 세포를 적절히 나타내는 것이면, 그들 피크간의 거리는, 세포의 사이즈에 따른 소정의 범위 내에 들어가 있을 것이다. 그래서, 남는 피크 후보 중 서로 인접하는 것 사이의 거리를 산출하고 (스텝 S504), 극단적으로 근접한 피크 후보가 있는 경우에는, 그것들의 일방을 노이즈로 간주하여 소거한다 (스텝 S505). 그러한 관계에 있는 피크 중, 보다 작은 쪽의 피크를 소거하는 것이 현실적이다. 도 14c 는, 인접 피크와의 거리가 미리 설정된 최소 거리 Dmin 에 미치지 않는 피크 후보를 소거한 결과의 예를 나타내고 있다.

이와 같이 하여, 도 14c 에 있어서 흰 동그라미표로 나타나는 피크가 최종적으로 남는다. 이들 피크 위치가, 개개의 세포에 대응하는 돌기 부위의 위치를 나타내고 있는 것으로 생각된다. 요컨대, 여기까지의 처리에 의해, 포배강 (B) 을 둘러싸는 영양 외배엽 (T) 에 존재하는 돌기 부위가 검출된 것이 된다.

또한, 여기서는 개념을 이해하기 쉽게 하기 위해서 일차원의 두께 프로파일을 사용하여 원리 설명을 실시했지만, 실제의 두께 프로파일은, 이차원 맵을 사용하는 사례에서는 이차원, 삼차원 맵을 사용하는 사례에서는 삼차원이다. 이 때문에, 이차원 맵을 사용하는 사례에서는, 스텝 S501 에 있어서의 최대치 처리는 이차원 필터링이 된다. 각 방향에 일정한 윈도우 사이즈를 적용하기 위해, 이 경우에는 원형 필터가 사용된다. 또, 피크간의 거리에 대해서도, 이차원 맵 평면 상에서의 거리가 된다.

이차원 맵에서는, 동경의 길이의 정보가 반영되지 않고, 또 주연부에 가까워질수록 변형이 커진다. 이 때문에 엄밀하게는, 원형의 필터 윈도우에서 이상적인 필터링 처리가 실행된다고는 할 수 없다. 그러나, 개개의 세포 위치에 대응하는 피크를 검출한다는 목적에 있어서는, 실용적으로는 충분한 정밀도를 얻는 것이 가능하다. 특히, 도 12a, 도 12b 에 나타내는 바와 같이 대상물을 복수로 분할하여 맵핑하는 방법에서는, 변형이 커지는 맵의 주연부를 사용하지 않기 때문에, 이와 같은 요인에 의한 오차를 충분히 억제하는 것이 가능하다. 도 12b 에 점선으로 나타내는 범위에 대해서는, 적어도 필터 윈도우의 사이즈보다 크게 해 둠으로써, 필터 처리에 의해 오차가 발생하는 것은 피할 수 있다.

또, 두께 프로파일이 삼차원 맵으로 나타나는 경우, 필터 윈도우는 삼차원의 구형이 된다. 즉, 최대치 필터 처리는 구형 필터링이 된다. 또, 피크간의 거리도 삼차원 공간 내에서의 거리가 된다.

각 위치에서의 영양 외배엽 (T) 의 두께가 구면에 투영된 삼차원 맵 (도 13a) 에서는, 원점 (O) 으로부터 주목 화소까지의 동경의 길이의 정보가 처리에 반영되지 않는다. 이 것은 처리를 간단하게 하는 효과를 갖지만, 필터 처리에 있어서의 오차 요인도 될 수 있다. 한편, 영양 외배엽 (T) 의 표면 형상에 대응시킨 곡면에 투영되는 삼차원 맵 (도 13b) 에서는, 주목 화소의 위치에는 원점 (O) 으로부터의 거리가 반영되어 있다. 이 때문에, 당해 주목 화소를 중심으로 하는 구형 필터 처리에 의해, 오차를 배제하고 적절히 피크 검출을 실시하는 것이 가능하다.

도 16a 및 도 16b 는 이차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다. 도 16a 에 점선으로 나타내는 바와 같이 영양 외배엽 (T) 의 두께가 주위에 비해 국소적으로 돌출되어 있는 영역 중, 상기한 조건에 해당하는 것이, 유의한 피크 (검정 동그라미표) 로서 검출된다. 이들 피크는, 영양 외배엽 (T) 을 구성하는 세포의 하나 하나에 대응하고 있는 것으로 생각된다. 도 16b 는 검출된 유의한 피크만을 이차원 맵에 플롯한 것이다. 이와 같이, 개개의 세포에 대응하는 유의한 피크가 검출되면, 그들의 개수를 계수함으로써 돌기 부위의 수가 구해진다 (스텝 S119). 이렇게 하여, 간접적으로 영양 외배엽 (T) 을 구성하는 세포의 수를 알 수 있다.

내세포 덩어리 (I) 가 차지하는 영역에 있어서는, 영양 외배엽 (T) 을 구성하는 세포의 분포를 아는 것은 곤란하다. 단, 다른 영역과 동일한 정도의 밀도로 세포가 분포되어 있다고 가정함으로써, 배 (E) 전체로서의 세포의 개수를 추정하는 것이 가능하다. 즉, 계수된 세포의 개수를 내세포 덩어리 (I) 와 접하는 부분을 제외한 영양 외배엽 (T) 의 표면적으로 나눔으로써, 세포 밀도를 구한다. 그리고, 내세포 덩어리 (I) 와 접하는 부분을 포함하는 영양 외배엽 (T) 의 표면적에 세포 밀도를 곱함으로써, 영양 외배엽 (T) 의 전체를 구성하는 세포의 총 수를 추측하는 것이 가능하다.

도 17a 및 도 17b 는 삼차원 맵 상에서 검출되는 피크 위치의 예를 나타내는 도면이다. 삼차원 맵에 있어서도 상기와 마찬가지로, 영양 외배엽 (T) 의 두께가 주위에 비해 국소적으로 돌출되어 있는 영역 중, 조건에 해당하는 것이 세포에 대응하는 유의한 피크 (검정 동그라미표) 로서 검출된다. 이것을 맵 곡면의 전체에 있어서 계수함으로써, 영양 외배엽 (T) 을 구성하는 세포의 수를 추정하는 것이 가능하다. 내세포 덩어리 (I) 가 차지하는 영역의 취급해에 대해서도, 이차원 맵의 케이스와 동일하게 할 수 있다.

이상과 같이, 내부의 공동을 덮는 층의 세포의 평가시에, 삼차원 이미지로부터 구해지는 두께 프로파일에 있어서 주위보다 두꺼운 돌기 부위를 검출하고, 이것을 개개의 세포에 대응하는 것으로 간주함으로써, 세포의 정량적 평가를 용이하게 하는 것이 가능하다. 대상물의 외형이 대체로 구형인 경우, 화상 데이터를 극 좌표 공간에서 나타냄으로써, 처리를 용이하게 할 수 있다.

또한, 본 발명은 상기한 실시형태에 한정되는 것이 아니고, 그 취지를 일탈하지 않는 한에 있어서 상기 서술한 것 이외에 다양한 변경을 실시하는 것이 가능하다. 예를 들어, 상기 실시형태의 화상 처리 장치 (1) 는, 시료 (S) 를 OCT 촬상 및 광학 현미경 촬상하는 기능, 그리고 촬상 데이터로부터 출력 화상을 작성하여 출력하는 기능을 갖는 것이다. 그러나, 본 발명의 화상 처리 방법은, 자신은 촬상 기능을 갖지 않는 컴퓨터 장치에 의해 실행하는 것도 가능하다. 컴퓨터 장치는, 촬상 기능을 갖는 다른 장치에서의 촬상에 의해 얻어진 촬상 데이터를 취득하면 된다. 이것을 가능하게 하기 위해, 도 3 의 각 처리 스텝 중 스텝 S101 이외를 컴퓨터 장치에 실행시키기 위한 소프트웨어 프로그램으로서, 본 발명이 실시되어도 된다.

이와 같은 프로그램의 배포는, 예를 들어 인터넷 등의 전기 통신 회선을 통하여 다운로드하는 형식에 의해 실시하는 것이 가능하다. 또, 당해 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 배포함으로써도 가능하다. 또, 기존의 OCT 촬상 장치에 인터페이스를 통하여 이 프로그램을 판독 입력함으로써, 당해 장치에 의해 본 발명을 실시하는 것도 가능해진다.

또 예를 들어, 상기 실시형태에서는, 배 (E) 의 삼차원 이미지로부터 투명대를 분리한 후, 남은 구조체를 추가로 영양 외배엽과 내세포 덩어리로 분리하고 있다. 그러나, 본 발명의 취지에 있어서는, 투명대를 다른 구조체와 분리할 수 있으면 충분하고, 그 이상의 분리는 필수는 아니다. 또, 이들 영역에 분리된 화상이 추가로 가공되어도 된다.

또 예를 들어, 상기 실시형태에서는, OCT 촬상에 의해 얻어진 삼차원 이미지를 2 치화함으로써, 비교적 고밀도인 구조체가 존재하는 구조 영역과 그 이외의 영역을 분리하고 있다. 이와 같이 함으로써, 화상 중의 구조체의 위치 및 그것이 차지하는 범위를 명확화함으로써, 예를 들어 배의 표면의 위치를, 표면의 미세한 구조나 화상 노이즈 등의 영향을 받지 않고 명확하게 특정할 수 있다는 이점이 있다. 그러나, 이와 같은 2 치화를 실시하지 않고 투명대의 분리를 실행하는 것도 가능하다.

또, 상기 실시형태는, OCT 촬상에 의해 얻어지는 삼차원 이미지로부터 투명대가 차지하는 영역을 다른 영역과는 구별하여 나타냄으로써, 사용자에 의한 평가 작업에 유용한 정보를 제시하는 것이다. 사용자에 대한 정보 제시로는 이것에 한정되지 않고, 삼차원 이미지의 해석으로부터 얻어지는 다양한 정량적 정보를 조합하여 사용자에게 제시하는 양태여도 된다.

또, 상기 실시형태에서는 삼차원 화상 데이터를 극 좌표 데이터로 변환한 후에 각종 처리를 실행하고 있다. 그러나, 이와 같은 좌표 변화를 실시하지 않아도, 상기와 동일한 돌기 부위의 검출은 가능하다. 예를 들어 두께 검출에 Distance Transform 함수를 사용하는 경우, 반드시 배의 중심 (무게 중심) 을 설정할 필요는 없다. 따라서, 직교 좌표계로 나타내어진 영양 외배엽의 삼차원 화상 데이터로부터 직접 두께를 구하는 것이 가능하다. 그리고, 도 13b 에 나타나는 삼차원 맵을 사용하는 경우, 내측 표면 또는 외측 표면의 위치가 특정되어 있는 한, XYZ 직교 좌표 공간 내에서 맵 작성이 가능하다. 따라서, 이것들을 조합한 처리이면, 극 좌표계에 대한 변환은 불필요하다고 할 수 있다.

또 예를 들어, 상기 실시형태에서는, 배 (E) 의 삼차원 이미지로부터 투명대와 영양 외배엽을 분리한 다음, 영양 외배엽에 있어서의 두께 분포를 구하고 있다. 그러나, 예를 들어 투명대의 두께가 일정하다고 간주할 수 있다면, 투명대와 영양 외배엽을 분리하지 않고 그 두께 분포를 구해도, 거기에 나타나는 두께의 변화는 실질적으로 영양 외배엽의 두께를 반영한 것이 된다.

또, 상기 실시형태는, 본 발명을 배반포기의 배의 평가에 적용한 것이다. 그러나, 본 발명의 적용 범위는 이것에 한정되지 않고, 내부에 공동을 갖는 각종의 세포 덩어리의 관찰·평가에 적용 가능하다. 예를 들어 장관 상피 세포의 오르가노이드는 상기와 동일한 공동을 내부에 갖고, 그 표면은 세포에 의해 형성된 층에 덮여 있다. 이러한 세포층의 평가에도, 본 발명을 바람직하게 적용할 수 있다.

이상, 구체적인 실시형태를 예시하여 설명해 온 바와 같이, 본 발명에 관련된 화상 처리 방법에 있어서는, 예를 들어, 세포 덩어리의 내부의 한 점을 원점으로 하는 동경을 따른 세포 덩어리의 두께를 구할 수 있다. 세포 덩어리가 구체 또는 회전 타원체에 가까운 외형 형상을 가지고 있는 경우, 이와 같이 동경 방향으로 두께를 구함으로써 처리를 용이하게 할 수 있다.

또 예를 들어, 삼차원 화상 데이터로부터 세포 덩어리의 각 점의 위치를 극 좌표 공간 내의 위치로서 나타낸 극 좌표 데이터를 작성하고, 극 좌표 데이터에 기초하여 세포 덩어리의 두께 분포를 구할 수 있다. 특히, 세포 덩어리의 무게 중심을 극 좌표 공간의 원점으로 하는 것이 바람직하다. 이와 같은 구성에 의하면, 구체 또는 회전 타원체에 가까운 형상의 세포 덩어리에 대한 데이터 처리를 용이하게 할 수 있다.

이 경우에 있어서, 예를 들어, 극 좌표 공간에 있어서의 동경 방향과 당해 동경 방향에 있어서 구해진 세포 덩어리의 두께를 관련지은 세포 덩어리의 두께 프로파일을 작성하고, 이것에 기초하여 돌기 부위를 검출할 수 있다. 이와 같은 구성에 의하면, 두께 프로파일에 의해 나타나는 세포 덩어리의 두께의 변화로부터, 주위에 대해 두께가 돌출되는 돌기 부위를 용이하게 검출하는 것이 가능하다.

구체적으로는, 예를 들어 두께 프로파일에 대해 최대치 필터 처리를 실행하고, 그 전후에서 값에 변화가 없는 위치를 돌기 부위의 위치로 할 수 있다. 돌기 부위의 위치에서는 세포 덩어리의 두께가 주위보다 크기 때문에, 최대치 필터 처리에 의해서도 두께의 값이 변화되지 않는다. 한편, 주위에 보다 두꺼운 부분이 있는 영역에서는, 그 두께의 영향에 의해, 최대치 필터 처리 후의 값이 변화된다. 이 것을 이용하여, 주위보다 큰 두께를 갖는 부위를 검출할 수 있다.

예를 들어, 세포 덩어리의 내측 표면 또는 외측 표면에 대응하는 위치에, 당해 위치에 있어서의 세포 덩어리의 두께에 따른 휘도치를 갖는 화소를 배치한 삼차원 맵에 의해, 두께 프로파일을 나타내는 것이 가능하다. 또 예를 들어, 극 좌표 공간 내에서 세포 덩어리를 구체 근사한 근사 구의 표면의 각 위치에, 당해 위치를 통과하는 동경 방향에 있어서의 세포 덩어리의 두께에 따른 휘도치를 갖는 화소를 배치하는 삼차원 맵에 의해, 두께 프로파일을 나타내는 것이 가능하다. 이들의 경우, 주목 화소를 중심으로 하는 구형 영역에 대한 공간 필터 처리로서 최대치 필터 처리를 실행할 수 있다.

한편, 극 좌표 데이터가 나타내는 2 개의 편각을 좌표축으로 하는 좌표 평면에, 당해 2 개의 편각에 의해 극 좌표 공간 내에서 특정되는 하나의 동경 방향에 있어서의 세포 덩어리의 두께에 따른 휘도치를 갖는 화소를 배치한 이차원 맵에 의해, 두께 프로파일을 나타내는 것도 가능하다. 이 경우, 이차원 맵 상의 주목 화소를 중심으로 하는 원형 영역에 대한 이차원 필터 처리로서 최대치 필터 처리를 실행할 수 있다. 또한, 삼차원 공간에서의 두께 분포를 이차원 맵에 의해 표현하는 방법으로는, 예를 들어 유사 원통도법을 이용하는 것이 가능하다.

또 예를 들어, 극 좌표 공간을 원점을 통과하는 평면에서 복수로 분할하고, 분할된 공간의 각각에 대해 개별적으로 이차원 맵의 작성 및 상기 돌기 부위의 검출을 실행해도 된다. 삼차원 공간 내의 물체의 형상을 이차원 맵으로 나타내는 경우, 맵 상의 물체에 변형이 발생하는 것은 피할 수 없다. 공간을 분할하여 개별적으로 맵을 작성함으로써, 특정한 지점에 큰 변형이 발생하는 것을 회피할 수 있어, 두께 분포의 검출 정밀도를 높일 수 있다.

또 예를 들어, 본 발명에 관련된 화상 처리 방법은, 검출된 돌기 부위의 수를 계측하는 공정을 추가로 구비하고 있어도 된다. 이와 같이 정량적 정보를 구함으로써, 사용자에 대해 보다 유용한 정보를 제공하는 것이 가능해진다. 예를 들어 대상물의 세포 덩어리가 배반포기의 배나 장관 상피 세포 오르가노이드인 경우, 그 표면을 구성하는 세포의 계수에, 본 발명을 적용하는 것이 가능하다.

또, 수정란의 화상을 처리 대상으로 하는 화상 처리 방법에 있어서는, 예를 들어, 투명대에 대응하는 영역의 특정을, 광학 현미경 촬상된 투명대의 화상을 교사 화상으로 하여 미리 기계 학습된 분류 알고리즘을 사용하여 실시할 수 있다. 이와 같은 구성에 의하면, 적절한 분류 알고리즘을 사용함으로써, 광학 현미경 촬상 화상으로부터 투명대의 형태적 특징을 강하게 갖는 영역을 높은 정밀도로 특정하는 것이 가능하다.

예를 들어, 분류 알고리즘으로서, 시멘틱 세그멘테이션법을 이용할 수 있다. 이 방법에 의하면, 화상을 그 특징에 따라 화소 단위로 분할하는 것이 가능하다. 이 때문에, 현미경 화상으로부터 투명대의 영역을 양호한 정밀도로 특정하고, 그 두께를 적정하게 평가할 수 있다.

또 예를 들어, 수정란의 광학 현미경 촬상은 초점 깊이를 상이하게 하여 복수회 실행되고, 그들 화상 중, 투명대에 대응하는 영역의 면적이 최대인 것으로부터, 투명대의 평균 두께가 구해져도 된다. 넓은 범위에서 투명대가 특정되는 화상은, 투명대에 가장 합초한, 요컨대 투명대가 명료한 상태에서 촬상된 화상일 개연성이 높다. 이와 같은 화상을 사용함으로써, 투명대의 두께를 양호한 정밀도로 구하는 것이 가능하다.

이 경우, 예를 들어, 분류 알고리즘을 사용하여 특정된 영역의 면적에, 당해 영역의 내부와 외부의 경계에 있어서의 휘도 변화의 크기에 기초하여 정한 계수를 곱한 값을, 투명대에 대응하는 영역의 면적을 지표하는 값으로 할 수 있다. 예를 들어, 경계의 내부와 외부에 있어서의 휘도치의 차분의 제곱을 계수로 할 수 있다. 이와 같은 구성에 의하면, 촬상시의 흔들림 등에 의해 외관상의 투명대의 면적이 커져 있는 화상을 합초 화상으로 오판정하는 리스크를 저감시킬 수 있다.

또 예를 들어, 구조 영역 중, 외연으로부터 평균 두께의 범위에 있는 영역을 투명대로 간주할 수 있다. 적절히 배양된 수정란에서는, 그 표면을 덮는 투명대의 두께는 대체로 균일하다. 따라서, 삼차원 이미지에 있어서의 수정란의 외연으로부터 보면, 현미경 화상으로부터 구해진 평균 두께에 대응하는 깊이까지의 영역이 투명대가 차지하는 영역이라고 할 수 있다.

이 경우 또한, 구조 영역 중 투명대 이외의 영역을, 내세포 덩어리 및 영양 외배엽의 영역으로 간주해도 된다. 적절히 배양된 배반포기의 수정란을 구성하는 주요한 구조체는, 투명대, 영양 외배엽 및 내세포 덩어리이다. 따라서, 구조 영역 중 투명대 이외의 영역에 대해서는, 영양 외배엽 및 내세포 덩어리가 차지하고 있는 것으로 생각할 수 있다.

또 예를 들어, 삼차원 화상 데이터로부터, 소정치 이상의 휘도치를 갖는 화소가 차지하는 영역을 특정하고, 당해 영역을 구조 영역으로 간주해도 된다. OCT 화상에서는, 비교적 고밀도의 구조체에 있어서 휘도가 높고, 그 주위의 저밀도 영역은 저휘도가 된다. 따라서, 어느 정도의 휘도를 갖는 영역을 특정하면, 그 영역은 고밀도의 구조체가 차지하는 구조 영역일 개연성이 높다.

이 발명은, 내부에 공동을 갖는 세포 덩어리의 관찰 및 평가 작업을 지원하는 데에 바람직한 것이며, 예를 들어 배양된 배 (수정란) 상태를 평가하는 작업을 지원하여, 생식 보조 의료에 있어서의, 보다 임신 성공률이 높은 양호한 배를 선택할 목적으로 이용할 수 있다.

Claims (25)

1. 내부에 공동을 갖는 세포 덩어리의 화상을 처리 대상으로 하는 화상 처리 방법으로서,
   상기 세포 덩어리를 광 간섭 단층 촬상하여, 상기 세포 덩어리의 삼차원 이미지를 나타내는 삼차원 화상 데이터를 취득하는 공정과,
   상기 세포 덩어리 중 외부 공간에 면하는 외측 표면과 상기 공동에 면하는 내측 표면 사이의 상기 세포 덩어리의 두께를 위치마다 나타내는 두께 분포를, 상기 삼차원 화상 데이터에 기초하여 취득하는 공정과,
   상기 두께 분포의 취득 결과에 기초하여, 주위의 영역과 비교하여 두께가 돌출된 돌기 부위를 검출하는 공정을 구비하는 화상 처리 방법.
2. 제 1 항에 있어서,
   상기 세포 덩어리의 내부의 한 점을 원점으로 하는 동경을 따른 상기 세포 덩어리의 두께가 구해지는 화상 처리 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 삼차원 화상 데이터로부터, 상기 세포 덩어리의 각 점의 위치를 극 좌표 공간 내의 위치로서 나타낸 극 좌표 데이터가 작성되고,
   상기 극 좌표 데이터에 기초하여 상기 세포 덩어리의 두께 분포가 구해지는 화상 처리 방법.
4. 제 3 항에 있어서,
   상기 세포 덩어리의 무게 중심이 상기 극 좌표 공간의 원점으로 되는 화상 처리 방법.
5. 제 3 항에 있어서,
   상기 극 좌표 공간에 있어서의 동경 방향과, 당해 동경 방향에 있어서 구해진 상기 세포 덩어리의 두께를 관련지은 상기 세포 덩어리의 두께 프로파일에 기초하여, 상기 돌기 부위가 검출되는 화상 처리 방법.
6. 제 5 항에 있어서,
   상기 두께 프로파일에 대해 최대치 필터 처리를 실행하고, 그 필터 처리의 전후에서 값에 변화가 없는 위치가 상기 돌기 부위의 위치로 되는 화상 처리 방법.
7. 제 6 항에 있어서,
   상기 내측 표면 또는 상기 외측 표면에 대응하는 위치에, 당해 위치에 있어서의 상기 세포 덩어리의 두께에 따른 휘도치를 갖는 화소를 배치함으로써 작성된 삼차원 맵에 의해 상기 두께 프로파일을 나타내고,
   상기 최대치 필터 처리는, 주목 화소를 중심으로 하는 구형 영역에 대한 공간 필터 처리로서 실행되는 화상 처리 방법.
8. 제 6 항에 있어서,
   상기 극 좌표 공간 내에서 상기 세포 덩어리를 구체 근사한 근사 구의 표면의 각 위치에, 당해 위치를 통과하는 동경 방향에 있어서의 상기 세포 덩어리의 두께에 따른 휘도치를 갖는 화소가 배치됨으로써 작성된 삼차원 맵에 의해 상기 두께 프로파일을 나타내고,
   상기 최대치 필터 처리는, 주목 화소를 중심으로 하는 구형 영역에 대한 공간 필터 처리로서 실행되는 화상 처리 방법.
9. 제 6 항에 있어서,
   상기 극 좌표 데이터가 나타내는 2 개의 편각을 좌표축으로 하는 좌표 평면에, 당해 2 개의 편각에 의해 상기 극 좌표 공간 내에서 특정되는 하나의 동경 방향에 있어서의 상기 세포 덩어리의 두께에 따른 휘도치를 갖는 화소가 배치됨으로써 작성된 이차원 맵에 의해 상기 두께 프로파일을 나타내고,
   상기 최대치 필터 처리는, 상기 이차원 맵 상의 주목 화소를 중심으로 하는 원형 영역에 대한 이차원 필터 처리로서 실행되는 화상 처리 방법.
10. 제 9 항에 있어서,
    유사 원통도법에 의해 상기 이차원 맵이 작성되는 화상 처리 방법.
11. 제 9 항에 있어서,
    상기 극 좌표 공간이 원점을 통과하는 평면에서 복수로 분할되고, 상기 이차원 맵의 작성 및 상기 돌기 부위의 검출이, 분할된 공간의 각각에 대해 개별적으로 실행되는 화상 처리 방법.
12. 제 1 항 또는 제 2 항에 있어서,
    검출된 상기 돌기 부위의 수를 계측하는 공정을 추가로 구비하는 화상 처리 방법.
13. 내부에 공동을 갖는 세포 덩어리를 광 간섭 단층 촬상한, 상기 세포 덩어리 중 외부 공간에 면하는 외측 표면과 상기 공동에 면하는 내측 표면 사이의 상기 세포 덩어리의 두께를 위치마다 나타내는 두께 분포를, 상기 세포 덩어리의 삼차원 이미지를 나타내는 삼차원 화상 데이터에 기초하여 취득하는 공정과,
    상기 두께 분포의 취득 결과에 기초하여, 주위의 영역과 비교하여 두께가 돌출된 돌기 부위를 검출하는 공정을, 컴퓨터에 실행시키기 위한, 기록 매체에 기록된 프로그램.
14. 제 13 항에 기재된 프로그램을 비일시적으로 기록한, 컴퓨터 판독 가능한 기록 매체.
15. 배반포기의 수정란을 광 간섭 단층 촬상한 삼차원 화상 데이터와 광학 현미경 촬상한 이차원 화상 데이터를 취득하는 공정과,
    상기 삼차원 화상 데이터로부터, 상기 수정란의 구조체에 대응하는 구조 영역을 특정하는 공정과,
    상기 이차원 화상 데이터로부터, 상기 수정란의 투명대에 대응하는 영역을 특정하고, 그 평균 두께를 구하는 공정과,
    상기 구조 영역을, 외연으로부터 상기 구조 영역의 내부를 향해 상기 평균 두께의 범위에 있는 영역과 그 이외의 영역으로 분할하는 공정을 구비하는 화상 처리 방법.
16. 제 15 항에 있어서,
    상기 투명대에 대응하는 영역의 특정은, 광학 현미경 촬상된 상기 투명대의 화상을 교사 화상으로 하여 미리 기계 학습된 분류 알고리즘을 사용하여 실시되는 화상 처리 방법.
17. 제 16 항에 있어서,
    상기 분류 알고리즘으로서 시멘틱 세그멘테이션법이 이용되는 화상 처리 방법.
18. 제 16 항 또는 제 17 항에 있어서,
    상기 수정란의 광학 현미경 촬상은 초점 깊이를 상이하게 하여 복수회 실행되고, 그들 화상 중, 상기 투명대에 대응하는 영역의 면적이 최대인 것으로부터, 상기 투명대의 평균 두께가 구해지는 화상 처리 방법.
19. 제 18 항에 있어서,
    상기 분류 알고리즘을 사용하여 특정된 영역의 면적에, 당해 영역의 내부와 외부의 경계에 있어서의 휘도 변화의 크기에 기초하여 정한 계수를 곱한 값이, 상기 투명대에 대응하는 영역의 면적을 지표하는 값으로 되는 화상 처리 방법.
20. 제 19 항에 있어서,
    상기 계수는, 상기 경계의 내부와 외부에 있어서의 휘도치의 차분의 제곱으로서 구해지는 화상 처리 방법.
21. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 구조 영역 중 상기 외연으로부터 상기 평균 두께의 범위에 있는 영역이, 상기 투명대로 간주되는 화상 처리 방법.
22. 제 21 항에 있어서,
    상기 구조 영역 중 상기 투명대 이외의 영역이, 내세포 덩어리 및 영양 외배엽의 영역으로 간주되는 화상 처리 방법.
23. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 삼차원 화상 데이터로부터, 소정치 이상의 휘도치를 갖는 화소가 차지하는 영역이 특정되고, 당해 영역이 상기 구조 영역으로 간주되는 화상 처리 방법.
24. 배반포기의 수정란을 광 간섭 단층 촬상한 삼차원 화상 데이터로부터, 상기 수정란의 구조체에 대응하는 구조 영역을 특정하는 공정과,
    상기 수정란을 광학 현미경 촬상한 이차원 화상 데이터로부터, 상기 수정란의 투명대에 대응하는 영역을 특정하고, 그 평균 두께를 구하는 공정과,
    상기 구조 영역을, 외연으로부터 상기 구조 영역의 내부를 향해 상기 평균 두께의 범위에 있는 영역과 그 이외의 영역으로 분할하는 공정을, 컴퓨터에 실행시키기 위한, 기록 매체에 기록된 프로그램.
25. 제 24 항에 기재된 프로그램을 비일시적으로 기록한, 컴퓨터 판독 가능한 기록 매체.

Images