KR20140103171A

KR20140103171A - 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체

Info

Publication number: KR20140103171A
Application number: KR1020147019757A
Authority: KR
Inventors: 타쿠야 쓰지모토; 카즈유키 사토; 토루 사사키; 히데토시 쓰즈키
Original assignee: 캐논 가부시끼가이샤
Priority date: 2011-12-27
Filing date: 2012-12-27
Publication date: 2014-08-25
Also published as: WO2013100025A9; JP2013152454A; US20140015954A1; DE112012005481T5; WO2013100025A1; CN104011581A; US8947519B2

Abstract

광학현미경 화상에서 보이는 관찰 시야와 동등한 버츄얼 슬라이드의 표시 화상을 생성할 수 있는 화상 처리장치를 제공한다. 화상 표시장치에 표시시킬 버츄얼 슬라이드 화상 데이터를 처리하는 화상 처리장치로서, 촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득하는 화상 데이터 취득 유닛과, 상기 현미경의 시야수에 따른 표시 배율로, 상기 촬상 대상의 화상을 상기 화상 표시장치에 표시시키는 표시용 화상 데이터를 생성하기 위한 화상 데이터 생성 유닛을 갖는 것을 특징으로 하는 화상 처리장치.

Description

화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 화상 처리 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}

본 발명은, 화상 처리장치, 화상 처리방법, 화상 처리 시스템, 및 프로그램에 관한 것이다.

최근, 병리분야에 있어서, 병리진단의 툴인 광학현미경의 대체로서, 프레파라트에 재치된 피검 시료(검체)의 촬상과 화상의 디지털화에 의해 디스플레이 상에서의 병리진단을 가능하게 하는 버추얼 슬라이드 시스템이 주목을 받고 있다. 버추얼 슬라이드 시스템을 사용한 병리진단 화상의 디지털화에 의해, 종래의 피검 시료의 광학현미경 상을 디지털 데이터로서 취급하는 것이 가능해진다. 그 결과, 원격진단의 신속화, 디지털 화상을 사용한 환자에의 설명, 희소증례(rare case information)의 공유화, 교육·실습의 효율화 등의 장점이 얻어질 것으로 기대되고 있다.

광학현미경과 같은 정도의 조작을 버추얼 슬라이드 시스템에서 실현하기 위해서는, 프레파라트 위의 피검 시료 전체를 디지털화할 필요가 있다. 피검 시료 전체의 디지털화에 의해, 버추얼 슬라이드 시스템에서 작성한 디지털 데이터를 PC(Personal Computer)이나 워크스테이션 상에서 동작하는 뷰어 소프트로 관찰할 수 있다. 피검 시료 전체를 디지털화한 경우의 화소수는, 통상, 수억 화소 내지 수십억 화소로 매우 큰 데이터량이 된다.

버추얼 슬라이드 시스템에서 작성한 데이터량은 방대하지만, 이 때문에, 뷰어에서 확대·축소 처리를 행함으로써 마이크로(세부 확대 상)로부터 매크로(전체 부감(俯瞰) 상)까지 관찰하는 것이 가능해져, 다양한 편리성을 제공한다. 필요한 정보를 미리 모두 취득해 둠으로써, 저배율 화상으로부터 고배율 화상까지 유저가 원하는 해상도·배율에 따른 즉각적인 표시가 가능해진다.

지금까지, 의료 화상 데이터의 픽셀 피치와 화상 표시장치의 표시부(표시 화면)의 픽셀 피치에 근거하여, 표시부에 의료 화상 데이터를 원치수로 표시하여, 의사의 진단을 지원하는 의료 화상용 표시장치가 제안되어 있다.

일본국 특개 2002-251464호 공보

버츄얼 슬라이드의 화상은, 관찰 대상을 촬상한 화상 데이터를 화상 처리해서 표시시키기 때문에, 현미경으로 관찰한 화상과는 일반적으로 시야의 크기가 다르다. 종래, 광학현미경으로 대상물(검체)의 화상을 관찰하고 있었던 유저에게 있어서는, 광학현미경 화상과 버츄얼 슬라이드 화상에서는 관찰 시야 영역이 다르기 때문에, 버츄얼 슬라이드로 효율적인 진단을 하기 어렵다고 하는 문제가 있었다.

따라서, 본 발명은, 광학현미경 화상에서 보이는 관찰 시야와 동등한 버츄얼 슬라이드 화상을 생성할 수 있는 화상 처리장치를 제안하는 것을 목적으로 한다.

그 목적을 달성하기 위해, 본 발명의 일측면은,

화상 표시장치에 표시시키기 위한 버츄얼 슬라이드 화상 데이터를 처리하는 화상 처리장치로서,

촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득하는 화상 데이터 취득 유닛과,

소정의 현미경의 시야수에 따른 표시 배율로, 상기 촬상 대상의 화상을 상기 화상 표시장치에 표시시키기 위한 표시용 화상 데이터를 생성하는 화상 데이터 생성 유닛을 갖는 것을 특징으로 하는 화상 처리장치이다.

또한, 본 발명의 다른 측면은,

버츄얼 슬라이드 화상을 처리하는 화상 처리방법으로서,

촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득하는 화상 데이터 취득 스텝과,

소정의 현미경의 시야수에 따른 표시 배율로 화상 표시장치에 화상을 표시시키기 위한 표시용 화상 데이터를 생성하는 화상 데이터 생성 스텝을 갖는 것을 특징으로 한다.

또한, 본 발명의 다른 측면은,

상기 화상 처리장치와, 상기 화상 처리장치에서 처리된 버츄얼 슬라이드 화상을 소정의 현미경의 시야수에 따른 표시 배율로, 상기 촬상 대상의 화상을 표시하는 화상 표시장치를 구비한 화상 처리 시스템이다.

또한, 본 발명의 다른 측면은,

상기 화상 처리방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램이다.

본 발명의 그 밖의 측면은, 발명을 실시하기 위한 구체적인 내용에 있어서, 첨부의 도면 등을 적절히 사용하여, 명확하게 된다.

본 발명의 바람직한 실시형태에 따르면, 광학현미경 화상에서 보이는 관찰 시야와 동등한 버츄얼 슬라이드 화상을 생성할 수 있는 화상 처리장치를 제공할 수 있다.

도 1은 본 발명의 화상 처리장치를 사용한 화상 처리 시스템의 장치 구성의 일례를 나타낸 모식적인 전체도다.
도 2는 본 발명의 화상 처리장치를 사용한 화상 처리 시스템에 있어서 촬상장치의 기능 구성의 일례를 나타낸 기능 블록도다.
도 3은 본 발명의 화상 처리장치의 기능 블록 구성의 일례를 나타낸 기능 블록도다.
도 4는 본 발명의 화상 처리장치의 하드웨어 구성의 일례를 나타낸 블록도다.
도 5는 표시 배율의 개념을 설명하기 위한 모식도다.
도 6은 본 발명의 화상 처리장치의 표시 배율 변경 처리의 흐름의 일례를 나타낸 흐름도다.
도 7은 제2실시형태의 화상 처리장치를 사용한 화상 처리 시스템의 장치 구성의 일례를 나타낸 전체도다.
도 8은 제2실시형태의 화상 처리장치의 표시 배율 변경 처리의 흐름의 일례를 나타낸 흐름도다.
도 9는 본 발명의 화상 처리장치의 현미경 관찰 시야 표시용 화상 데이터 생성 처리의 상세한 흐름의 일례를 나타낸 흐름도다.
도 10은 본 발명의 화상 처리 시스템의 표시 화면의 일례다.

이하, 도면을 참조하면서 본 발명의 실시형태를 설명한다.

본 발명의 바람직한 실시형태에 관한 화상 처리장치는, 화상 표시장치에 표시시키는 버츄얼 슬라이드 화상 데이터를 처리하는 화상 처리장치로서, 적어도, 화상 데이터 취득 유닛과 화상 데이터 생성 유닛을 갖는다. 화상 데이터 생성 유닛에서는, 소정의 현미경의 시야수에 따른 표시 배율로, 촬상 대상의 화상을 화상 표시장치에 표시시키기 위한 표시용 화상 데이터를 생성하는 것이 바람직하다.

소정의 현미경 시야는, 화상 처리장치 또는 외부 기억장치에 미리 보존되어 있는 정보 및/또는 유저의 지시에 근거하여 결정되는 것이 바람직하다. 어떠한 현미경의 시야를 재현할지는, 상기 정보로서 미리 보존되어 있는 것이 바람직하다. 미리 보존되어 있는 정보는, 초기 시야 정보(유저의 지시가 없는 경우에 현미경 시야로서 선택되는 정보. 이하, 간단히 「초기 정보」라고도 한다.), 및/또는, 구체적인 실재하는 복수의 현미경의 시야 정보(유저가 선택가능한 복수의 현미경 시야 정보)를 포함하는 것이 바람직하다. 이때, 초기 시야 정보는, 상기 복수의 현미경의 시야 정보 중 한개의 현미경 시야 정보를 선택한다고 하는 형식으로 보존되어 있어도 된다. 여기에서, 현미경의 시야 정보는, 예를 들면, 시야수, 대물렌즈의 배율의 어느 한 개 또는 양쪽을 포함한다. 또한, 유저의 지시에 근거하여 결정되는 새로운 관찰 영역을 추가의 시야 정보로서 보존하고, 시야 정보의 선택지의 한개로서 선택할 수 있도록 하여도 된다. 더구나, 유저 지시에 근거하여 결정되는 새로운 관찰 영역을, 사용하는 유저마다 관리하도록 하여도 된다.

화상 데이터 생성 유닛은, 상기 소정의 현미경의 실 시야의 직경과 상기 화상 표시장치의 표시 화면의 긴 변의 길이 또는 짧은 변의 길이가 일치하도록 상기 표시 배율을 결정할 수 있다. 또한, 화상 데이터 생성 유닛은, 실재하는 현미경의 시야에 관한 정보에 근거하여 상기 표시 배율을 결정할 수 있다. 또한, 화상 데이터 생성 유닛은, 실재하는 현미경의 시야에 관한 복수의 정보 중 미리 정해진 한개를 초기 정보로서 사용하여, 상기 표시 배율을 결정할 수 있다. 또한, 화상 데이터 생성 유닛은, 유저의 선택에 근거하여, 실재하는 현미경의 시야에 관한 복수의 정보 중 한개를 사용하여, 상기 표시 배율을 결정할 수 있다. 또한, 화상 데이터 생성 유닛은, 화상 표시장치의 화소수에 따라, 표시용 화상 데이터를 생성할 수 있다. 또한, 화상 데이터 유닛은, 촬상 대상을 촬상했을 때의 대물렌즈 배율에 따라, 표시용 화상 데이터를 생성할 수 있다. 이때, 이하의 기술 및 첨부의 도면 중에 있어서, 「표시용 화상 데이터」를 「표시 화상 데이터」로 생략해서 표기하는 경우가 있다.

화상 데이터 생성 유닛은, 표시 배율을 하기 식으로 표시되는 픽셀 배율로 변배한 표시용 화상 데이터를 생성하는 것이 바람직하다. 하기 픽셀 배율로 표시용 화상 데이터를 생성한 경우에는, 현미경 시야와 화상 처리장치에서 생성되는 화상을 일치시키는 것이 가능해진다.

픽셀 배율=(화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치의 표시 화면 상에서의 표시 배율/촬상시의 대물렌즈 배율)

여기에서, 본 명세서 및 본 발명에 있어서는,

촬상 센서 1 화소분의 정보를 화상 표시장치의 표시 화면의 화소를 몇개 사용해서 표시할 것인가라고 하는 비율을 픽셀 배율로 정의한다. 일반적으로, 화상 데이터의 1 화소를 화상 표시장치의 표시 화면의 1 화소에 대응시켜서 표시하는 것을 픽셀 등배 표시라고 한다. 본 발명서 및 본 발명에 있어서는, 촬상 센서 1 화소에서 취득한 정보를 화상 데이터 1 화소에 대응시키는 것을 전제로 한다. 그 경우, 픽셀 등배 표시시의 픽셀 배율은 1이 된다.

이때, 화소 피치가 긴 변과 짧은 변에서 다른 경우에는, 상기 「촬상 센서의 화소 피치」 및 상기 「화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수」에서 선택한 측의 변에 있어서의 화소 피치를 사용해서 픽셀 배율이 정의되게 된다. 이때, 여기에서는, 직사각형의 표시 화면을 상정하여, 긴 변, 짧은 변이라고 하는 말을 사용하고 있지만, 타원 형상의 표시 화면의 경우, 그것의 장축을 긴 변으로 정의하고, 그것의 단축을 짧은 변으로 정의한다.

또한, 하기 픽셀 배율로 표시용 화상 데이터를 생성한 경우에는, 다른 표시 화면의 사이즈를 갖는 화상 표시장치 사이에 있어서 실제로 표시되는 화상의 크기를 일치시키는 것이 가능해진다.

픽셀 배율=(확대 배율)×(촬상 센서의 화소 피치)/(화상 표시장치의 표시 화면 상에서의 화소 피치)

여기에서, 확대 배율이란, 촬상 대상이 표시 화면 위에 몇배로 확대되어서 표시되고 있는가를 표시하는 배율이다. 확대 배율과 표시 배율의 관계는,

픽셀 배율=(표시 배율)/(촬상시의 대물렌즈 배율)

과 상기 식에서, 이하의 식으로 표시할 수 있다.

확대 배율=(표시 배율)×(화상 표시장치의 표시 화면 상에서의 화소 피치)/((촬상 센서의 화소 피치)×(촬상시의 대물렌즈 배율))

화상 처리장치는, 또한, 모드 선택 유닛을 가질 수 있다. 모드 선택 유닛에서는 화상 표시장치에 표시시킬 화상을 선택하기 위한 모드로서 이하의 (1)∼(3) 중 적어도 한개의 모드를 선택 할 수 있는 것이 바람직하다.

(1) 하기 식으로 표시되는 픽셀 배율로 생성된 표시용 화상 데이터를 표시하는 모드

(2) 픽셀 등배 표시할 표시용 화상 데이터를 표시하는 모드

(3) 하기 식으로 표시되는 픽셀 배율로 생성된 표시용 화상 데이터를 표시하는 모드

단, 확대 배율은, (표시 배율)×(화상 표시장치의 표시 화면 상에서의 화소 피치)/((촬상 센서의 화소 피치) (촬상시의 대물렌즈 배율))이다.

이때, (1)은 현미경 시야 재현 모드이다.

본 발명의 바람직한 실시형태에 관한 화상 처리방법은, 버츄얼 슬라이드 화상을 처리하는 화상 처리방법으로서, 적어도, 화상 데이터 취득 스텝과 화상 데이터 생성 스텝을 갖는다. 화상 데이터 취득 스텝에서는, 촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득한다. 화상 데이터 생성 스텝에서는, 현미경으로 본 화상에 가까운 (관찰 시야) 화상을 형성하기 위해서, 상기 현미경의 시야수에 따른 표시 배율로 화상을 표시시키는 표시용 화상 데이터를 생성한다.

화상 데이터 생성 스텝에서는, 표시 배율을 하기 식으로 표시되는 픽셀 배율로 변배한 표시용 화상 데이터를 생성하는 것이 바람직하다.

본 발명의 프로그램은, 상기한 화상 처리방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 화상 처리 시스템은, 버츄얼 슬라이드 화상을 처리하는 화상 처리장치와, 화상 처리장치에서 처리된 버츄얼 슬라이드 화상을 표시하는 화상 표시장치를 구비한다. 또한, 화상 데이터 생성 유닛에서 생성된 화상 데이터를, 화상 표시장치에 표시시키는 표시 유닛을 더 가져도 된다. 화상 데이터 취득 유닛에서는, 촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득한다. 화상 데이터 생성 유닛에서는, 상기 현미경의 시야수에 따른 표시 배율로, 상기 화상 처리장치에서 처리된 버츄얼 슬라이드 화상을 상기 화상 표시장치에 표시시키는 표시용 화상 데이터를 생성한다. 이때, 이하의 기술 및 첨부의 도면 중에 있어서, 「화상 표시장치」를 「표시장치」로 생략해서 표기하는 경우가 있다.

본 발명의 화상 형성방법, 프로그램 및 화상 처리 시스템에서는, 화상 처리장치에서 기재한 태양을 반영시킬 수 있다.

이하에서, 실시형태를 참조하여, 본 발명을 설명한다.

[제1실시형태]

본 발명의 화상 처리장치는, 촬상장치와 표시장치를 구비한 화상 처리 시스템에 있어서 사용할 수 있다. 이 화상 처리 시스템에 대해서, 도 1을 사용하여 설명한다.

(화상 처리 시스템의 장치 구성)

도 1은, 본 발명의 화상 처리장치를 사용한 화상 처리 시스템의 일례를 나타낸 모식적인 전체도로서, 촬상장치(현미경장치, 또는 버추얼 슬라이드 스캐너)(101), 화상 처리장치(102), 화상 표시장치(103)로 구성되고, 촬상 대상이 되는 검체(피검 시료)의 2차원 화상을 취득하여 표시하는 기능을 갖는 시스템이다. 본 예에서는, 촬상장치(101)와 화상 처리장치(102) 사이는, 전용 또는 범용 I/F의 케이블 104로 접속되고, 화상 처리장치(102)와 화상 표시장치(103) 사이는, 범용의 I/F의 케이블 105로 접속되어 있다.

촬상장치(101)로서는, 1매의 2차원 화상 또는 2차원의 평면 방향으로 위치가 다른 복수매의 2차원 화상을 촬상하고, 디지털 화상을 출력하는 기능을 갖는 버츄얼 슬라이드 장치를 적절하게 사용할 수 있다. 2차원 화상의 취득에는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 고체 촬상소자가 적절히 사용된다. 촬상장치(101)로서, 버츄얼 슬라이드 장치 대신에, 통상의 광학현미경의 접안부에 디지털 카메라를 부착한 디지털 현미경장치를 사용할 수도 있다. 이때, 디지털 카메라를 사용해서 촬상한 경우라도, 고배율 표시를 선택한 경우나, 촬상영역을 변경해서 복수회 촬상함으로써 얻은 원화상 데이터를 합성해서 표시용의 화상 데이터를 형성한 경우 등에는, 얻어진 화상을, 관찰 영역과 관찰 영역외로 구분하는 것이 가능하다.

화상 처리장치(102)로서는, 촬상장치(101)로부터 취득한 1매 또는 복수매의 원화상 데이터로부터, 표시장치(103)에 표시할 데이터를, 원화상 데이터를 기초로 유저로부터의 요구에 따라 생성하는 기능 등을 갖는 장치를 적절히 사용할 수 있다. 화상 처리장치(102)로서는, CPU(중앙연산처리장치), RAM, 기억장치, 조작부를 포함하는 각종 I/F 등의 하드웨어 자원을 구비한, 범용의 컴퓨터나 워크스테이션으로 구성되는 장치를 사용할 수 있다. 기억장치로서는, 하드디스크 드라이브 등의 대용량 정보 기억장치를 적절히 사용할 수 있다. 기억장치에는, 후술하는 각 처리를 실현하기 위한 프로그램이나 데이터, OS(오퍼레이팅 시스템) 등이 격납되어 있는 것이 바람직하다. 전술한 각 기능은, CPU가 기억장치로부터 RAM에 필요한 프로그램 및 데이터를 로드하고, 해당 프로그램을 실행함으로써 실현되는 것이다. 조작부(106)는, 예를 들면 키보드나 마우스 등에 의해 구성되고, 조작자가 각종의 지시를 입력하기 위해서 이용된다. 조작부(106)는, 화상 처리장치(102)의 일 구성요소이어도 된다.

본 예의 화상 표시장치(103)는, 화상 처리장치(102)가 연산 처리한 결과인 관찰용 화상을 표시하는 디스플레이로서, CRT나 액정 디스플레이 등에 의해 구성된다. 이때, 화상 표시장치로서, 화상을 인쇄해서 표시하는 인쇄장치를 사용해도 된다. 이하, 화상 표시장치를 디스플레이로 부르는 경우가 있다.

도 1의 예에서는, 촬상장치(101)와 화상 처리장치(102)와 화상 표시장치(103)의 3개의 장치에 의해 촬상 시스템이 구성되어 있지만, 본 발명의 구성은 이 구성에 한정되는 것은 아니다. 예를 들면, 화상 표시장치와 일체화한 화상 처리장치를 사용해도 되고, 화상 처리장치의 기능을 촬상장치에 짜넣어도 된다. 또한 촬상장치, 화상 처리장치, 화상 표시장치의 기능을 1개의 장치로 실현할 수도 있다. 또한, 반대로, 화상 처리장치 등의 기능을 분할해서 복수의 장치에 의해 실현해도 된다.

(촬상장치의 기능 구성)

도 2는, 촬상장치(101)의 기능 구성의 일례를 나타낸 기능 블록도다.

본 예의 촬상장치(101)는, 개략, 조명 유닛(201), 스테이지(202), 스테이지 제어 유닛(205), 결상광학계(207), 촬상 유닛(210), 현상 처리 유닛(219), 프리(preliminary) 계측 유닛(220), 메인 제어계(221), 데이터 출력부(I/F)(222)로 구성된다.

본 예의 조명 유닛(201)은, 스테이지(202) 위에 배치된 프레파라트(206)에 대하여 균일하게 빛을 조사하는 수단으로서, 바람직하게는, 광원, 조명 광학계, 및 광원 구동의 제어계로 구성된다. 본 예의 스테이지(202)는, 스테이지 제어 유닛(205)에 의해 구동 제어되어, XYZ의 3축 방향으로의 이동이 가능하다. 본 예의 프레파라트(206)는, 관찰 대상이 되는 조직의 절편이나 도말한 세포를 슬라이드 글래스 위로 붙이고, 이 조직의 절편이나 도말 밑 세포를 봉입제와 함께 커버 글래스의 아래에 고정한 부재이다.

본 예의 스테이지 제어 유닛(205)은, 구동 제어계(203)와 스테이지 구동기구(204)로 구성된다. 본 예에 있어서, 구동 제어계(203)는, 메인 제어계(221)의 지시를 받아, 스테이지(202)의 구동 제어를 행한다. 스테이지(202)의 이동 방향, 이동량 등은, 본 예에서는, 프리 계측 유닛(220)에 의해 계측한 검체의 위치 정보 및 두께 정보(거리 정보)와, 필요에 따라 입력되는 유저로부터의 지시에 근거하여 결정된다. 본 예의 스테이지 구동기구(204)는, 구동 제어계(203)의 지시에 따라, 스테이지(202)를 구동한다.

본 예의 결상광학계(207)는, 프레파라트(206)의 검체의 광학 상을 촬상 센서(208)에 결상하기 위한 렌즈 군이다.

본 예의 촬상 유닛(210)은, 촬상 센서(208)와 아날로그 프론트엔드(AFE)(209)로 구성된다. 본 예의 촬상 센서(208)는, 2차원의 광학 상을 광전변환에 의해 전기적인 물리량으로 바꾸는 1차원 또는 2차원의 이미지센서이다. 촬상 센서(208)로서는, 예를 들면, CCD나 CMOS 디바이스가 사용된다. 1차원 센서를 사용한 경우, 1차원 센서를 주사 방향으로 스캔함으로써 2차원 화상을 얻을 수 있다. 본 예의 촬상 센서(208)로부터는, 빛의 강도에 따른 전압값을 갖는 전기신호가 출력된다. 촬상화상으로서 칼라 화상이 요구되는 경우에는, 촬상 센서로서, 예를 들면, Bayer 배열의 칼라필터가 부착된 단판(single-plate)의 이미지 센서를 사용할 수 있다. 본 예의 촬상 유닛(210)은, 스테이지(202)를 XY축 방향으로 이동시켜서 촬상함으로써, 검체의 분할 화상을 촬상할 수 있다.

본 예의 AFE(209)은, 촬상 센서(208)로부터 출력된 아날로그 신호를 디지털 신호로 변환하는 회로이다. AFE(209)은 후술하는 H/V 드라이버, CDS(Correlated double sampling), 앰프, AD 변환기 및 타이밍 제네레이터로 구성되는 것이 바람직하다. 본 예의 H/V 드라이버는, 촬상 센서(208)를 구동하기 위한 수직 동기신호 및 수평 동기신호를, 센서 구동에 필요한 전위로 변환한다. 본 예의 CDS는, 고정 패턴의 노이즈를 제거하는 이중 상관 샘플링 회로이다. 본 예의 앰프는, CDS에서 노이즈 제거된 아날로그 신호의 게인을 조정하는 아날로그 앰프이다. 본 예의 AD 변환기는, 아날로그 신호를 디지털 신호로 변환한다. 촬상장치 최종단에서의 출력이 8비트인 경우, 후단의 처리를 고려하여, AD 변환기는 아날로그 신호를 10비트로부터 16비트 정도로 양자화된 디지털 데이터로 변환하여, 출력하는 것이 바람직하다. 여기에서, 변환된 센서 출력 데이터를 RAW 데이터로 부른다. 본 예에서는, RAW 데이터는 후단의 현상 처리 유닛(219)에서 현상 처리된다. 본 예의 타이밍 제네레이터는, 촬상 센서(208)의 타이밍 및 후단의 현상 처리 유닛(219)의 타이밍을 조정하는 신호를 생성한다.

촬상 센서(208)로서 CCD를 사용하는 경우, 통상 상기 AFE(209)는 필수적으로 사용된다. 한편, 촬상 센서(208)로서 디지털 출력가능한 CMOS 이미지 센서를 사용하는 경우에는, 통상, 상기 AFE(209)의 기능이 센서에 내포되어 있다. 또한, 도면에 나타내지 않지만, 본 예에서는, 촬상 센서(208)의 제어를 행하는 촬상제어부가 존재하여, 촬상 센서(208)의 동작 제어나, 셔터 스피드, 프레임 레이트나 ROI(Region Of Interest) 등 동작 타이밍이나 제어를 함께 행한다.

본 예의 현상 처리 유닛(219)은, 흑 보정부(211), 화이트 밸런스 조정부(212), 디모자이킹(demosaicing) 처리부(213), 화상 합성 처리부(214), 해상도 변환 처리부(215), 필터 처리부(216), γ 보정부(217) 및 압축 처리부(218)로 구성된다. 본 예의 흑 보정부(211)는, RAW 데이터의 각 화소로부터, 차광시에 얻어진 흑 보정 데이터를 감산하는 처리를 행한다. 본 예의 화이트 밸런스 조정부(212)는, 조명 유닛(201)의 빛의 색온도에 따라 RGB 각 색의 게인을 조정함으로써, 바람직한 백색을 재현하는 처리를 행한다. 구체적으로는, 흑 보정후의 RAW 데이터에 대하여 화이트 밸런스 보정용 데이터가 가산된다. 단색의 화상을 취급하는 경우에는 화이트 밸런스 조정 처리는 불필요하게 된다. 본 예의 현상 처리 유닛(219)은, 촬상 유닛(210)에서 촬상된 검체의 분할 화상 데이터로부터 후술하는 계층 화상 데이터를 생성한다.

본 예의 디모자이킹 처리부(213)는, Bayer 배열의 RAW 데이터로부터, RGB 각 색의 화상 데이터를 생성하는 처리를 행한다. 본 예의 디모자이킹 처리부(213)는, RAW 데이터에 있어서 주변 화소(같은 색의 화소와 다른 색의 화소를 포함한다)의 값을 보간함으로써, 주목 화소의 RGB 각 색의 값을 계산한다. 또한, 본 예의 디모자이킹 처리부(213)는, 결함화소의 보정처리(보간처리)도 실시한다. 이때, 촬상 센서(208)가 칼라필터를 갖고 있지 않아, 단색의 화상이 얻어지고 있는 경우, 디모자이킹 처리는 불필요하게 된다.

본 예의 화상 합성 처리부(214)는, 촬상 센서(208)에 의해 촬상 범위를 분할해서 취득한 화상 데이터를 서로 연결시켜서 원하는 촬상 범위의 대용량 화상 데이터를 생성하는 처리를 행한다. 일반적으로, 기존의 이미지 센서에 의해 1회의 촬상으로 취득할 수 있는 촬상 범위보다도 검체의 존재 범위가 넓기 때문에, 1매의 2차원 화상 데이터를 분할된 화상 데이터의 연결에 의해 생성한다. 예를 들면, 0.25㎛의 분해능으로 프레파라트(206) 위의 10mm 모서리의 범위를 촬상한다고 가정한 경우, 한 변의 화소수는 10mm/0.25㎛의 4만 화소가 되고, 토털의 화소수는 그것의 제곱인 16억 화소가 된다. 10M(1000만)의 화소수를 갖는 촬상 센서(208)를 사용해서 16억 화소의 화상 데이터를 취득하기 위해서는, 16억/1000만의 160개로 영역을 분할해서 촬상을 행할 필요가 있다. 이때, 복수의 화상 데이터를 연결시키는 방법으로서는, 스테이지(202)의 위치 정보에 근거하여 위치맞춤을 해서 연결시키는 방법과, 복수의 분할 화상의 대응하는 점 또는 선을 대응시켜 연결시키는 방법, 분할 화상 데이터의 위치 정보에 근거해서 연결시키는 방법 등이 있다. 연결할 때, 0차 보간, 선형보간, 고차보간 등의 보간처리에 의해 매끄럽게 연결시킬 수 있다. 본 실시형태에서는, 1매의 대용량 화상의 생성을 상정하고 있지만, 화상 처리장치(102)의 기능으로서, 분할 취득된 화상을 표시용 화상 데이터의 생성시에 서로 연결시키는 구성을 취해도 된다. 이때, 이하의 기술 및 첨부의 도면중에 있어서, 「표시용 데이터」를 「표시 데이터」로 생략해서 표기하는 경우가 있다.

본 예의 해상도 변환 처리부(215)는, 화상 합성 처리부(214)에서 생성된 대용량의 2차원 화상을 고속으로 표시하기 위해서, 표시 배율에 따른 배율 화상을 미리 해상도 변환에 의해 생성하는 처리를 행한다. 저배율로부터 고배율까지 복수의 단계의 화상 데이터를 생성하여, 한 개로 합친 계층 구조를 갖는 화상 데이터로서 구성한다. 촬상장치(101)에서 취득한 화상 데이터는 진단의 목적에서 고해상, 고분해능의 촬상 데이터인 것이 요구된다. 단, 앞서 설명한 것과 같이 수십억 화소로 이루어진 화상 데이터의 축소 화상을 표시하는 경우, 표시의 요구에 맞춰서 그때마다 해상도 변환을 행하고 있었던 것으로는 처리가 지연되어 버리는 경우가 있다. 그 때문에, 미리 배율이 다른 몇단계의 계층 화상을 준비해 두고, 준비된 계층 화상으로부터 표시측의 요구에 따라 표시 배율과 근접하는 배율의 화상 데이터를 선택하여, 표시 배율에 맞춰서 배율의 조정을 행하는 것이 바람직하다. 화질을 고려하면 고배율의 화상 데이터로부터 표시용 화상 데이터를 생성하는 것이 보다 바람직하다. 촬상을 고해상으로 행한 경우, 표시용의 계층 화상 데이터는, 가장 해상력이 높은 화상 데이터를 기초로, 해상도 변환 수법에 의해 축소함으로써 생성된다. 해상도 변환의 수법으로서 2차원의 선형의 보간처리인 바이리니어 이외에, 3차의 보간식을 사용한 바이큐빅 등을 사용할 수 있다.

본 예의 필터 처리부(216)는, 화상에 포함되는 고주파 성분의 억제, 노이즈 제거, 해상감 강조를 실현하는 디지털 필터이다. 본 예의 γ 보정부(217)는, 일반적인 표시 디바이스의 계조 표현 특성에 맞추어, 화상에 역특성을 부가하는 처리를 실행하거나, 고휘도부의 계조 압축이나 암부 처리에 의해 인간의 시각 특성에 맞춘 계조 변환을 실시한다. 본 실시형태에서는 형태 관찰을 목적으로 한 화상 취득을 행하기 때문에, 후단의 표시 처리에 적합한 계조 변환이 화상 데이터에 대하여 적용된다.

본 예의 압축 처리부(218)는, 대용량의 2차원 화상 데이터의 전송의 효율화 및 보존할 때의 용량 삭감이 목적으로 행해지는 압축의 부호화 처리이다. 정지 화상의 압축 수법으로서, JPEG(Joint Photographic Experts Group), JPEG을 개량, 진화시킨 JPEG2000이나 JPEG XR 등의 규격화된 부호화 방식을 사용할 수 있다.

본 예의 프리 계측 유닛(220)은, 프레파라트(206) 위의 검체의 위치 정보, 원하는 초점위치까지의 거리 정보, 및 검체 두께에 기인한 광량 조정용의 파라미터를 산출하기 위한 사전 계측을 행하는 유닛이다. 본 계측(촬상 화상 데이터의 취득)의 이전에 프리 계측 유닛(220)에 의해 정보를 취득함으로써, 쓸데없는 것이 없는 촬상을 실시하는 것이 가능해진다. 2차원 평면의 위치 정보 취득에는, 촬상 센서(208)보다 해상력이 낮은 2차원 촬상 센서를 사용할 수 있다. 본 예의 프리 계측 유닛(220)은, 취득한 화상으로부터 검체의 XY 평면 위에서의 위치를 파악한다. 거리 정보 및 두께 정보의 취득에는, 레이저 변위계나 샥 하트만 방식의 계측기를 사용할 수 있다.

본 예의 메인 제어계(221)는, 지금까지 설명해 온 각종 유닛의 제어를 행한다. 메인 제어계(221) 및 현상 처리 유닛(219)의 제어는, CPU와 ROM과 RAM을 갖는 제어회로에 의해 실현할 수 있다. 예를 들면, 미리 ROM 내에 프로그램 및 데이터를 격납해 두고, CPU가 RAM을 워크 메모리로서 사용하여 프로그램을 실행함으로써, 메인 제어계(221) 및 현상 처리 유닛(219)의 기능이 실현된다. ROM으로서는, 예를 들면, EEPROM이나 플래시 메모리 등의 디바이스를 사용할 수 있고, RAM으로서는, 예를 들면, DDR3 등의 DRAM 디바이스를 사용할 수 있다. 이때, 현상 처리 유닛(219)의 기능을 전용의 하드웨어 디바이스로서 ASIC화한 것으로 치환해도 된다.

본 예의 데이터 출력부(222)는, 현상 처리 유닛(219)에 의해 생성된 RGB의 칼라 화상을 화상 처리장치(102)에 보내기 위한 인터페이스이다. 본 예의 촬상장치(101)와 화상 처리장치(102)는, 광통신의 케이블에 의해 접속되어 있다. 이 케이블 대신에, USB나 GigabitEthernet(등록상표) 등의 범용 인터페이스를 사용해도 된다.

(화상 처리장치의 기능 구성)

도 3은, 본 발명의 화상 처리장치(102)의 기능 구성의 일례를 나타낸 기능 블록도다.

본 예의 화상 처리장치(102)는, 개략, 화상 데이터 취득부(301), 기억 유지부(메모리)(302), 유저 입력 정보 취득부(303), 표시장치 정보 취득부(304), 픽셀 배율 설정부(305), 표시용 화상 데이터 취득부(306), 표시 데이터 생성부(307), 및 표시용 화상 데이터 출력부(308)로 구성된다.

본 예의 화상 데이터 취득부(301)는, 촬상장치(101)에서 촬상된 화상 데이터를 취득한다. 본 예에서 말하는 화상 데이터는, 검체를 분할해서 촬상함으로써 얻어진 RGB의 칼라의 분할 화상 데이터, 분할 화상 데이터를 합성한 1매의 2차원 화상 데이터, 및 2차원 화상 데이터를 기초로 표시 배율마다 계층화된 화상 데이터의 적어도 어느 한 개다. 이때, 분할 화상 데이터는 모노크롬의 화상 데이터이어도 된다. 또한, 촬상 사양인 촬상장치(101)의 촬상 센서(208)의 화소 피치, 및 대물렌즈의 배율 정보가 화상 데이터에는 부가되어 있는 것으로 한다.

본 예의 기억 유지부(302)는, 화상 데이터 취득부(301)를 거쳐 외부장치로부터 취득한 화상 데이터를 받아들여, 기억, 유지한다. 또한, 기억 유지부(302)는, 전술한 구체적인 실재하는 복수의 현미경의 시야 정보 및 그중에서 어느쪽의 시야 정보를 초기에 사용할지의 정보를, 유지하고 있는 것이 바람직하다.

본 예의 유저 입력 정보 취득부(303)는, 마우스나 키보드 등의 조작부를 거쳐, 표시 위치 변경이나 확대·축소 표시 등의 표시 화상용 데이터의 갱신 지시나, 표시 모드 선택, 관찰 영역의 지정(예를 들면, 기억 유지부가 유지하고 있는 복수의 현미경 시야 정보 중 어느 한개를 선택하는 것) 등의 유저에 의한 입력 정보를 취득한다. 본 예에서 말하는 표시 모드란, 현미경 관찰 시야의 재현하는 모드와 재현하지 않는 모드를 포함한다. 표시 모드를 지정하는 것은 표시 배율을 지정하는 것과 같은 의미로 파악되는 경우도 있다. 또한, 표시 모드의 지정 이외에, 현미경 관찰 시야의 재현에 필요한 재현원이 되는 현미경의 시야수의 설정도 행하도록 할 수 있다. 이때, 시야수는 일반적으로는, 18∼26.5mm 정도의 값이 된다.

본 예의 표시장치 정보 취득부(304)는, 화상 표시장치(103)가 보유하는 디스플레이의 표시 에어리어 정보(화면 해상도, 디스플레이 사이즈) 이외에, 현재 표시되고 있는 화상의 표시 배율의 정보를 취득한다.

본 예의 픽셀 배율 설정부(305)는, 유저 입력 정보 취득부(303)에서 취득한 유저에게서의 지시에 따라 표시 배율을 설정하기 위한 제어 데이터를 생성한다. 또한, 설정한 픽셀 배율에 근거하여, 표시용의 화상 데이터 사이즈를 산출하여, 표시 화상 데이터 취득부(306)에 통지한다.

본 예의 픽셀 배율 설정부(305)가 출력하는 제어 데이터 및/또는 표시 화상 데이터 사이즈는, 전술한 초기 시야 정보, 유저가 지정한 관찰 영역 정보 중 어느 한개가 반영된 것으로 되어 있다. 여기에서, 유저가 지정한 관찰 영역 정보로서는, 구체적인 실재하는 현미경의 시야 정보 중 유저가 선택한 것, 그와 같은 실재하는 현미경의 시야 정보를 일부 개편하는 것 등으로 해서 유저가 지정한 정보, 현미경의 시야 정보와는 무관하게 유저가 지정한 관찰 영역의 정보 등을 들 수 있다. 초기 시야 정보는, 기억 유지부(302)가 유지하고 있는 초기 시야 정보를 기억 유지부(302)로부터 판독한 것이어도 된다. 덧붙여, 본 예의 픽셀 배율 설정부(305)가 출력하는 제어 데이터 및/또는 표시 화상 데이터 사이즈는, 화상 취득시의 대물렌즈의 배율, 촬상 센서의 화소 피치 등의 촬상시의 정보, 및, 화상 표시장치의 표시 화면의 화소 피치, 표시 화면의 화소수 등의 화상 표시장치의 정보도 반영되어 있는 것이 바람직하다.

본 예의 표시 화상 데이터 취득부(306)는, 픽셀 배율 설정부(305)의 제어 지시에 따라, 표시에 필요한 화상 데이터를 기억 유지부(302)로부터 취득한다.

본 예의 표시 데이터 생성부(307)는, 픽셀 배율 설정부에서 설정된 표시 모드 및 픽셀 배율에 따라, 표시 화상 데이터 취득부(306)에 의해 취득된 화상 데이터로부터 화상 표시장치(103)에서 표시하기 위한 표시 데이터를 변배 처리로 생성한다. 표시 데이터 생성에 대해서는 도 6의 흐름도를 사용해서 후술한다.

본 예의 표시 데이터 출력부(308)는, 표시 데이터 생성부(307)에서 생성된 표시 데이터를 외부장치인 화상 표시장치(103)에 출력한다.

(화상 형성 장치의 하드웨어 구성)

도 4는, 본 발명의 화상 처리장치의 하드웨어 구성의 일례를 나타낸 블록도다. 정보처리를 행하는 장치로서, 예를 들면, PC(Personal Computer)가 사용된다.

본 예의 PC은, CPU(Central Processing 유닛)(401), RAM(Random Access Memory)(402), 기억장치(403), 데이터 입출력 I/F(405), 및 이것들을 서로 접속하는 내부 버스(404)를 구비한다.

본 예의 CPU(401)은, 필요에 따라 RAM(402) 등에 적절히 액세스하여, 각종 연산 처리를 행하면서 PC의 각 블록 전체를 총괄적으로 제어한다. RAM(402)은, CPU(401)의 작업용 영역 등으로서 사용되고, OS, 실행중인 각종 프로그램, 본 발명의 특징인 현미경 관찰 시야를 재현한 표시용 데이터의 생성 등 처리의 대상이 되는 각종 데이터 복수의 현미경의 시야 정보 등을 포함한다) 등을 일시적으로 유지한다. 본 예의 기억장치(403)는, CPU(401)에 실행시키는 OS, 프로그램이나 각종 파라미터 등의 펌웨어가 고정적으로 기억되어 있는 정보를 기록하고 판독하는 보조 기억장치이다. 본 예의 HDD(Hard Disk Drive)나 SSD(Solid State Disk) 등의 자기디스크 드라이브 또는 플래시 메모리를 사용한 반도체 디바이스가 사용된다. 본 예의 기억장치(403)는, OS, 실행중인 각종 프로그램, 본 발명의 특징인 현미경 관찰 시야를 재현한 표시용 데이터의 생성 등 처리의 대상이 되는 각종 데이터(복수의 현미경의 시야 정보 등을 포함한다) 등의 중에서 일부 또는 전부를 기억하고 있다.

본 예의 데이터 입출력 I/F(405)에는, LAN I/F(406)를 거쳐 화상 서버(701)가, 그래픽스 보드를 거쳐 화상 표시장치(103)가, 외부장치 I/F를 거쳐 버츄얼 슬라이드 장치나 디지털 현미경으로 대표되는 촬상장치(101)가, 또한, 조작 I/F(409)를 거쳐 키보드(410)나 마우스(411)가 각각 접속되어 있다.

본 예의 화상 표시장치(103)는, 예를 들면, 액정, EL(Electro-Luminescence), CRT(Cathode Ray Tube) 등을 사용한 표시 디바이스다. 해당 화상 표시장치(103)로서는, 외부장치로서 접속되는 형태를 상정하고 있지만, 화상 표시장치와 일체화한 PC을 상정해도 된다. 예를 들면, 노트북 PC이 이것에 해당한다.

본 예의 조작 I/F(409)와의 접속 디바이스로서는, 키보드(410)나 마우스(411) 등의 포인팅 디바이스를 상정하고 있지만, 터치패널 등 화상 표시장치(103)의 화면이 직접 입력 디바이스로 되는 구성을 취하는 것도 가능하다. 그 경우, 터치패널은 화상 표시장치(103)와 일체로 될 수 있다.

(표시 배율 변경의 개념도)

도 5는, 현미경 시야와 화상 표시장치의 디스플레이 상에서 재현된 표시 형태의 개요를 나타낸 개념도다.

도 5a는, 현미경을 들여다본 경우에 관찰되는 시야의 일례를 나타내고 있다.

현미경 시야는, 현미경의 대물렌즈의 배율과 시야수에 의해 한결같이 정해진다. 구체적으로는, 현미경의 실 시야 F.O.V.=(접안 렌즈의 시야수)÷(대물렌즈의 배율)이 된다. 단, 실 시야 현미경의 경우에는, F.O.V.=(접안 렌즈의 시야수)÷((대물렌즈의 배율)×(줌 배율))이 된다. 현미경을 들여다본 경우, 도면에 나타낸 것과 같이 원형의 영역내(501)에 대상물인 검체의 확대 화상을 관찰 할 수 있다. 원형의 관찰 영역외는 빛이 닿지 않기 때문에, 상의 확인을 할 수 없다. 버츄얼 슬라이드 장치가 존재하기 이전에는, 이와 같은 관찰 상을 유저인 병리의가 보아서 진단을 행하고 있었다.

502는, 원형의 현미경 관찰 시야의 직경이다. 실제로는, 촬상 센서(208)의 화소 피치로 나눈 화소수가 된다. 여기에서는, 「A」라고 하는 문자의 높이와 현미경 시야의 직경이 같은 것으로 하여 이하의 설명을 행한다.

도 5b는, 픽셀 등배 표시시의 표시 화면의 예이다. 픽셀 등배란, 현미경 관찰 시야를 디지털 데이터로서 샘플링한 각 화소와 디스플레이의 표시 소자가 1대1로 대응하는 상태를 가리킨다. 502로 표시되는 현미경 시야의 직경을, 가령 1000의 화소로 샘플링해서 취득한 경우, 표시측도 마찬가지로 1000 화소를 사용해서 표시하게 된다. 503은, 예를 들면, 4k×2k의 대화면을 갖는 화상 표시장치의 표시 화면을 상정하고 있다. 504는, 표시 화면 503의 종방향의 표시 화면 사이즈이다. 이때, 여기에서는 종방향의 사이즈가 작은 애스펙트비, 즉 종방향의 화소수가 횡방향의 화소수보다도 작은 디스플레이를 상정하고 있다. 또한, 화소 피치는 종방향과 횡방향에서 동일한 디스플레이를 상정하고 있다. 505는, 픽셀 등배로 표시된 경우의 화상 표시 사이즈다. 502가 1000 화소로 구성되는 경우, 505도 마찬가지로 1000 화소가 된다. 이와 같이, 픽셀 등배 표시에서는, 취득한 소스가 되는 화상 데이터를 픽셀 등배로 표시하기 때문에, 표시 화면 503의 사이즈가 큰 경우, 현미경 관찰 시야보다 넓은 화상 데이터를 화면 위에 표시하는 것이 가능해진다.

도 5c는, 마찬가지로 픽셀 등배 표시시의 표시 화면의 예이다. 여기에서는 도 5b보다도 소형, 저해상의 디스플레이 위에 표시하는 경우에 대해 설명한다.

506은, 예를 들면, 1024×768의 화소를 갖는 비교적 소형의 화상 표시장치의 표시 화면이다.

507은, 표시 화면 506의 종방향의 표시 화면 사이즈이다. 여기에서는, 768의 표시 화소로 구성되는 것으로 한다.

508은, 픽셀 등배로 표시된 경우의 화상 사이즈로서, 종방향의 표시 사이즈 507(768 화소)이, 현미경 관찰 시야를 샘플링한 화소수(1000 화소)보다도 작기 때문, 현미경 시야를 모두 표시할 수 없게 되고 있다. 이와 같이, 픽셀 등배 표시에서는, 표시 화면 506의 사이즈가 작은 경우, 현미경 관찰 시야보다 좁은 범위의 화상 데이터밖에 화면 위에 표시 할 수 없게 된다. 이때, 전술한 것과 같이, 본 발명 및 본 명세서에 있어서, 픽셀 등배 표시의 픽셀 배율은 1로 정의하는 것으로 한다.

도 5d는, 다른 사이즈, 표시 해상도의 디스플레이 사이에서도, 대상이 되는 화상의 사이즈를 동일하게 하도록 표시 배율을 변경한 동일 사이즈 표시의 표시 화면의 예이다. 503, 506과 도 5b 및 도 5c에서 설명한 사이즈가 다른 2개의 표시 화면이 존재하고 있어도, 509의 사이즈에서 나타낸 것과 같이 디스플레이 위에 표시되는 화상의 크기(물리적인 사이즈)는 동일하게 되고 있다. 이때, 전술한 것과 같이, 본 발명 및 본 명세서에 있어서, 동일 사이즈 표시의 픽셀 배율은 이하의 식 (1)로 정의하는 것으로 한다.

픽셀 배율=(확대 배율)×(촬상 센서의 화소 피치)/(화상 표시장치의 표시 화면 상에서의 화소 피치) …식 (1)

동일 사이즈 표시는, 예를 들면 원격에서의 진단 등, 다른 유저나 장소에 있어서도 대상물의 표시 사이즈를 동일하게 하는 경우에 유효하다.

도 5e는, 본 발명의 특징인 현미경의 관찰 시야와 화상 표시장치의 표시 영역에 있어서 외관의 크기를 맞춘 현미경 관찰 시야 재현의 표시 화면의 예이다. 도 5d와 마찬가지로 사이즈가 다른 2개의 표시 화면이 존재하고 있어도, 관찰 시야의 직경 502와 각 표시 영역의 종방향의 사이즈 510 및 511을 맞춤으로써 디스플레이의 사양이나 성능에 상관없이 유저에게 있어서 눈에 익은 현미경 관찰 시야에 맞춘 표시 화상을 표시할 수 있다.

이때, 현미경 관찰 시야를 재현하는 픽셀 배율은 이하의 식에서 산출할 수 있다.

픽셀 배율= (화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치 위에서의 표시 배율/화상 취득시의 대물렌즈 배율) …식 (2)

상기한 것과 같이, 종방향의 화소수가 종방향의 화소수보다도 작은 표시 화면을 상정한 경우에는, 표시 화면의 종방향의 화소수가 식 (2)에 말하는 짧은 변의 화소수가 된다. 그리고, 식 (2)를

픽셀 배율=(화상 표시장치의 표시 화면의 종방향의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치 위에서의 표시 배율/화상 취득시의 대물렌즈 배율)

로서 계산함으로써, 표시 화면 내에 현미경 시야의 전체가 표시되는 화상 데이터를 생성할 수 있다. 이와 같이, 표시 화면 내에 현미경 시야의 전체를 표시시키고자 하는 경우, 짧은 변의 화소수를 식 (2)에 대입하는 것으로 된다.

이때, 또한, 식 (2)는 이하와 같은 경우도 포함한다. 즉, 예를 들면, 일부의 화소를 화상 표시 이외의 정보를 표시하기 위해서 사용하는 경우, 일부의 화소를 프레임으로서 사용하는 경우, 일부의 화소를 다른 화상을 표시하기 위해서 사용하는 경우 등에는, 그들 화소는 제외한 후에 상기 「화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수」를 카운트한다. 또한, 식 (2)는, 화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수를 기준으로 한 경우에 10화소 이내의 오차도 허용한다.

(표시 배율 변경 처리)

본 발명의 화상 처리장치에 있어서의 표시 배율 변경 처리의 흐름의 일례를 도 6의 흐름도를 사용하여 설명한다.

스텝 S601에서는, 화상 표시장치(103)인 디스플레이의 표시 에어리어의 사이즈 정보(화면 해상도인 화소수)를 화상 표시장치(103)로부터 화상 표시장치 정보 취득부(304)에 의해 취득한다. 표시 에어리어의 사이즈 정보는, 생성할 표시 데이터의 사이즈를 결정할 때에 사용한다.

스텝 S602에서는, 화상 표시장치(103)에 현재 표시되고 있는 화상의 표시 배율의 정보를 표시장치 정보 취득부(304)에 의해 취득한다. 초기의 단계에서는 규정의 배율을 설정한다. 표시 배율은, 계층 화상으로부터 어느 한개의 화상 데이터를 선택할 때에 사용한다. 또한, 생성할 표시 데이터의 사이즈를 결정할 때에도 사용한다. 후술하는 현미경 관찰 시야를 재현하는 모드에서 필요하게 되는 시야수의 수치도 규정된 값으로서 취득 또는 유저 지정에 의한 취득을 행한다.

스텝 S603에서는, 표시 모드 설정 정보를 취득한다. 여기에서 말하는 표시 모드는 크게, 현미경 관찰 시야 재현 표시 모드와, 픽셀 등배 표시 모드이다.

스텝 S604에서는, 유저가 현미경 관찰 시야 재현 표시 모드를 선택하였는지 아닌지를 판단한다. 현미경 관찰 시야 재현 표시 모드가 선택된 경우에는 스텝 S605로, 통상 관찰 시야인 픽셀 등배의 표시 모드가 선택된 경우에는 스텝 S607로 각각 진행한다.

스텝 S605에서는, 스텝 S601에서 취득한 표시 에어리어의 사이즈 정보 및 스텝 S602에서 취득한 표시 배율, 시야수의 정보에 근거하여, 화상 표시장치(103)에 표시하기 위한 화상 데이터를 기억 유지부(302)로부터 취득한다.

스텝 S606에서는, 현미경 관찰 시야 재현 표시 모드의 선택을 받아, 현미경 관찰 시야 재현 표시용의 화상 데이터를 생성한다. 구체적으로는 취득한 화상 데이터에 대하여, 식 (2)로 표시된 픽셀 배율의 산출식에 근거한 변배처리를 행한다.

스텝 S607에서는, 스텝 S601에서 취득한 표시 에어리어의 사이즈 정보 및 스텝 S602에서 취득한 표시 배율 정보에 근거하여, 화상 표시장치(103)에 표시하기 위한 화상 데이터를 기억 유지부(302)로부터 취득한다.

스텝 S608에서는, 통상 관찰 시야인 픽셀 등배의 표시 모드의 선택을 받아, 통상 관찰 시야용의 표시용 화상 데이터의 생성을 행한다. 그때, 스텝 S603에서 취득한 계층 화상 중의 근접하는 표시 배율의 화상 데이터를, 원하는 해상도가 되도록 해상도 변환 처리를 적용한다. 필요에 따라 화상 표시장치(103)의 특성에 맞춘 보정처리를 행한다.

스텝 S609에서는, 스텝 S606 또는 스텝 S608에서 생성한 표시 데이터를 화상 표시장치(103)에 대하여 출력한다.

스텝 S610에서는, 화상 표시장치(103)가 입력된 표시 데이터를 화면에 표시한다.

스텝 S611에서는, 화상 표시가 종료하였는지 아닌지를 판단한다. 유저에 의해 다른 검체 화상이 선택된 경우, 표시용 어플리케이션의 조작이 완료한 경우에는 처리를 종료한다. 표시 화면의 갱신이 계속하여 행해지는 경우에는, 스텝 S602로 되돌아가 이후의 처리를 반복한다.

(본 실시형태의 효과)

광학현미경 화상에서 보이는 관찰 시야와 동등한 버츄얼 슬라이드 화상을 생성함으로써, 눈에 익은 현미경 관찰 환경을 디스플레이 위에서도 재현할 수 있다.

[제2실시형태]

본 발명의 제2실시형태에 관한 화상 처리 시스템에 대해서 도면을 사용하여 설명한다.

제1 실시형태에서는 버츄얼 슬라이드 화상을, 일반적인 픽셀 등배의 표시 이외에, 현미경 관찰 시야를 재현하는 변배 표시가 가능하도록 하였다. 제2 실시형태에서는 제1실시형태에 동일 사이즈 표시를 행하는 변배 표시의 기능을 추가한다. 또한, 보다 현미경 관찰의 환경을 재현하기 위해, 원형의 시야 영역을 설치하여 관찰을 주시하기 쉽게 한다. 제2실시형태에서는 제1실시형태와 다른 구성 이외는 제1실시형태에서 설명한 구성을 사용할 수 있다.

(화상 처리 시스템의 장치 구성)

도 7은, 본 발명의 제2실시형태에 관한 화상 처리 시스템을 구성하는 장치의 일례를 나타낸 모식적인 전체도다.

도 7에 예시되어 있는 화상 처리장치를 사용한 화상 처리 시스템은, 화상 서버(701), 화상 처리장치 102, 화상 표시장치 103 및 네트워크(702)를 거쳐 원격지에 있는 화상 처리장치 704, 마찬가지로 네트워크(702)를 거쳐 원격지에 있어 화상 처리장치 704와 접속된 화상 표시장치 705로 구성된다. 본 예의 화상 처리장치 102는 검체를 촬상한 화상 데이터를 화상 서버(701)로부터 취득하여, 화상 표시장치 103에 표시하기 위한 화상 데이터를 생성할 수 있다. 본 예에서는, 화상 서버(701)와 화상 처리장치 102 사이는, 네트워크(702)를 거쳐, 범용 I/F의 LAN 케이블(703)로 접속된다. 본 예의 화상 서버(701)는, 버츄얼 슬라이드 장치인 촬상장치(101)에 의해 촬상된 화상 데이터를 보존하는 대용량의 기억장치를 구비한 컴퓨터이다. 본 예의 화상 서버(701)는, 계층화된 다른 표시 배율의 화상 데이터를 한개의 블록으로 하여 화상 서버(701)에 접속된 로컬 스토리지에 보존하고 있어도 되고, 각각을 분할해서 네트워크 상의 어딘가에 존재하는 서버군(크라우드·서버)에 대하여 각 분할 화상 데이터의 실체와 링크 정보를 나누어 갖는 구성이어도 된다. 계층 화상 데이터 자체, 한개의 서버에 보존해서 둘 필요도 없다. 이때, 회상 처리장치 102 및 화상 표시장치 103은 제1 실시 태양의 화상 처리 시스템과 동일하다. 화상 처리장치 704는, 네트워크(702)를 거쳐 원격지에 있는 것으로 한다. 기능은 화상 처리장치 102와 같다. 취득된 화상 데이터를 화상 서버(701)에 격납함으로써, 화상 처리장치 103, 704 양쪽에서 화상 데이터를 참조할 수 있다.

도 7의 예에서는, 화상 서버(701)와 화상 처리장치 102, 704와 화상 표시장치 103, 705의 5개의 장치에 의해 화상 처리 시스템이 구성되어 있지만, 본 발명은 이 구성에 한정되는 것은 아니다. 예를 들면, 화상 표시장치 103, 705가 일체화한 화상 처리장치 102, 704를 사용해도 되고, 화상 처리장치 102, 704가 갖는 기능의 일부를 화상 서버(701)에 짜넣어도 된다. 또한, 반대로, 화상 서버(701)나 화상 처리장치 102, 704의 기능을 분할해서 복수의 장치에 의해 실현해도 된다.

(현미경 시야 표시용 화상 데이터 생성 처리)

도 8은, 제1실시형태의 도 6에서 설명한 현미경 관찰 시야 표시용 화상 데이터 생성의 처리에 대하여, 본 실시형태의 특징인, 화상 표시장치 103, 705의 해상도 등의 사양, 성능이 다른 경우에 있어서도 동일한 크기로 화상을 제시하는 동일 사이즈 표시의 변배 기능을 추가한 현미경 시야 표시용 화상 데이터 생성 처리의 흐름의 일례를 나타낸 흐름도다. 동일 사이즈 표시 모드 및 현미경 관찰 시야 재현의 처리 프로세스 이외는 도 6와 같기 때문에, 같은 처리의 설명에 대해서는 생략한다.

스텝 S601로부터 스텝 S604까지의 픽셀 배율 변경에 따르는 변배처리에 필요한 각종 정보의 취득과 분기 처리의 내용은 제1실시형태의 도 6에서 설명한 내용과 같다.

스텝 S801에서는, 현미경 관찰 시야 재현 표시 모드의 선택을 받아, 현미경 관찰 시야 재현 표시용의 화상 데이터를 생성한다. 식 (2)을 사용한 픽셀 배율의 변배처리는 스텝 S606과 같지만, 현미경 관찰 시야를 모방한 원형 영역의 표시를 행하는 처리가 더 추가된다. 상세에 대해서는 도 9를 사용하여 설명한다.

스텝 S802에서는, 현미경 관찰 시야 재현 모드 이외의 표시 모드 선택을 받아, 동일 사이즈로 표시할지, 그렇지 않으면 픽셀 등배로 표시할지를 판단한다. 동일 사이즈의 픽셀 배율 변경 표시를 행하는 경우에는 스텝 S803으로, 픽셀 등배의 표시 모드를 선택하는 경우에는 스텝 S607로 각각 진행한다.

스텝 S803에서는, 스텝 S601에서 취득한 표시 에어리어의 사이즈 정보, 표시 화소 피치의 사이즈 정보 및 스텝 S602에서 취득한 표시 배율에 근거하여, 화상 표시장치 103에 표시하기 위한 화상 데이터를 기억 유지부(302)로부터 취득한다.

스텝 S804에서는, 동일 사이즈 표시 모드의 선택을 받아, 동일 사이즈 표시용의 화상 데이터를 생성한다. 구체적으로는 취득한 화상 데이터에 대하여, 식 (1)로 표시한 픽셀 배율의 산출식에 근거한 변배처리를 행한다.

스텝 S605의 표시 화상 데이터의 취득 및 스텝 S607의 표시 화상 데이터의 취득 이후의 스텝 S611까지의 처리는 제1 실시형태와 같기 때문에, 설명은 생략한다.

(현미경 시야 표시 화상 데이터 생성 처리)

도 9는, 도 8의 스텝 S801에서 나타낸 현미경 관찰 시야를 재현하는 표시용의 화상 데이터 생성 처리의 상세한 흐름을 나타내는 흐름도다.

스텝 S901에서는, 마스크 정보를 취득한다. 마스크 정보는, 화상 표시장치 103이 갖는 표시 에어리어를 구성하는 표시 화소분의 정보를 갖고, 대응하는 화상 데이터를 그대로의 휘도값으로 표시시킬지, 그렇지 않으면 휘도값을 변경시킬지를 화소마다 판단할 수 있도록 한 것과, 표시 화소마다 어느 정도의 휘도 변경을 행할지 판단할 수 있도록 한 것의 2종류가 있다. 스텝 S904 이후의 휘도값 시프트의 처리를 행하는 경우에는, 각 5비트의 값을 갖고, 마스크 정보가 0일 때에는 화상 데이터의 값을 그대로 표시용 데이터로서 사용하고, 임의의 값일 때에는 그 값에 따라 하위 방향으로 휘도값을 비트 시프트하는 것으로 한다. 예를 들면, 8비트 256계조의 휘도 데이터를 보유하고 있는 경우, 마스크 정보의 값이 1일 때에는 1비트 좌측 시프트함으로써 휘도 데이터는 절반의 값이 된다. 8비트 시프트하면 화상 데이터의 값은 0이 되기 때문에, 완전하게 표시 화소를 마스크하게(대상이 되는 표시 화소의 휘도값을 0으로 하게) 된다. 본 실시형태에서는, 마스크 정보와의 연산처로서 각 화소의 휘도 데이터를 상정하고 있지만, RGB의 칼라 화상 데이터가 대상이 되는 경우, 일단 YUV나 YCC 등의 휘도/색차 신호로 변환하고, 변환후의 휘도정보를 연산 처리의 대상으로 할 수 있다. 또한, RGB 각 색에 대하여 비트 시프트를 적용하는 구성을 취해도 된다. 비트 시프트는, 표시 에어리어 내의 표시 화소에 대하여 임의로 설정할 수 있지만, 여기에서는 현미경에 있어서의 관찰 시야를 재현하기 위해서, 원형의 시야 내의 마스크 값을 0, 그 이외의 영역의 마스크 값을 2로 하여 이후의 설명을 행한다. 마스크 값으로서 2가 설정된 표시 에어리어 내부는, 취득한 화상 데이터의 휘도값을 1/4로 저하시키게 된다. 더구나, 특정한 비트에 의미를 갖게 하는 구성을 취함으로써, 반대로 휘도를 높이는 처리를 적용시킬 수도 있다.

또한, 스텝 S907 이후의 표시 화소 단위로 휘도값을 변화시키는 처리를 행하는 경우에는, 각 8비트의 값을 갖고, 마스크 정보와 화상 데이터의 각 휘도값의 승산 결과를 새롭게 산출한 화소의 휘도값으로 한다.

스텝 S606에서는, 현미경 관찰 시야 재현 표시 모드의 선택을 받아, 현미경 관찰 시야 재현 표시용의 화상 데이터를 생성한다. 구체적으로는 취득한 화상 데이터에 대하여, 식 (2)로 표시한 픽셀 배율의 산출식으로 변배의 처리를 행한다. 이들 내용은, 도 6에서 설명한 것과 같다.

스텝 S902에서는, 현미경 관찰 시야를 모방한 원형의 표시 영역 설정을 행할 것인지 아닌지를 판단한다. 원형의 표시 영역을 설정하는 경우에는 스텝 S903으로, 제1실시형태에서 설명한 현미경 시야 재현의 사이즈로 화면 위에 화상의 표시를 행하는 경우에는 처리를 종료한다.

스텝 S903에서는, 원형의 표시 영역외를 시프트 처리에 의한 휘도 저하의 화상으로서 표시할지, 표시 화소 단위로 휘도 저하의 화상으로 표시할지를 판단한다.

시프트 처리를 행하는 경우에는 스텝 S904로, 마스크 정보와 화소의 휘도값의 승산을 행하는 경우에는 스텝 S907로 각각 진행한다.

스텝 S904에서는, 현미경 시야를 재현하는 것을 받아, 스텝 S901에서 취득, 파악한 마스크 정보의 값을 각 대응화소 사이에서 참조한다. 참조한 대응하는 표시 화소의 마스크 정보의 값이 0인지, 즉 주시 영역으로서 제시되는 통상 휘도가 되는 화소인지, 그렇지 않으면 현미경 관찰 시야외의 휘도를 저하시키는 대상이 되는 화소인지를 판단한다. 마스크 값이 0인 경우에는 스텝 S905로, 마스크 값이 0 이외인 경우, 즉 비트 시프트에 의해 화소의 휘도값을 저하시키는 경우에는 스텝 S906으로 각각 진행한다.

스텝 S905에서는, 마스크 값이 0인 것을 받아, 취득한 화상 데이터의 화소의 휘도값을 그대로 표시용의 화소값으로서 채용한다. 이때, 화상 표시장치 103의 특성에 맞춘 보정처리를 행하는 경우에는, 휘도값이 변화하는 경우도 있다.

스텝 S906에서는, 마스크 값이 0 이외의 값인 것을 받아, 취득한 화상 데이터의 화소의 휘도값을, 스텝 S901에서 취득한 마스크 정보의 값에 따라 하위 방향으로 비트 시프트 연산을 행한다. 이 결과, 마스크 값에 따른 휘도의 저하를 실현할 수 있다.

스텝 S907에서는, 화상 데이터의 각 화소에 대응하는 마스크 정보를 파악한다. 마스크 정보는 예를 들면 8비트의 정보이며, 0으로부터 255까지의 값을 취한다.

스텝 S908에서는, 대응하는 화소의 휘도값과 마스크 정보의 값을 승산하여, 새로운 휘도값으로서 산출한다. 실제로는, 승산된 결과를 마스크 정보의 최대값인 255로 나눈 값으로 정규화함으로써, 마스크 정보가 255인 경우에는 나눗셈 전과 동일한 휘도값이 산출되게 된다. 이와 같이 화소 단위로 동일 처리를 적용함으로써도 현미경 시야를 재현할 수 있다. 비트 시프트에 의해 휘도 저하를 행하고 있었던 것에 대해서, 마스크 정보와의 승산에 의해 산출할 수 있게 되어, 보다 휘도의 설정의 자유도가 증가하게 된다. 마스크 정보는 미리 준비해 둔 규정의 값을 사용해도, 유저 지시에 의해 변경 또는 새롭게 설정하는 것도 가능하다. 그 결과, 현미경 시야를 모방한 원형의 관찰 시야 형상 이외의 형상에도 유연하게 대응할 수 있다.

(표시 화면 레이아웃)

도 10은, 본 발명의 화상 처리장치 102에서 생성한 표시 데이터를 화상 표시장치 103에 표시한 경우의 표시 화면의 일례다. 도 10에서는, 현미경 관찰 시야를 모방한 2개의 표시 모드에 대해 설명한다.

도 10a는, 화상 표시장치 103의 화면 레이아웃의 기본 구성이다. 표시 화면은, 전체 윈도우(1001) 내부에, 표시나 조작의 스테이터스와 각종 화상의 정보를 표시하는 정보 에어리어(1002), 관찰 대상의 검체 섬네일 화상(1003), 섬네일 화상 중에 상세 관찰의 에어리어를 표시하는 상세 표시 영역(1004), 상세 관찰용의 검체 화상 데이터의 표시 영역(1005), 표시 영역(1005)의 표시 배율(006)로 각각 구성되어 있다. 각 영역, 화상은 싱글 도큐먼트 인터페이스에 의해 전체 윈도우(1001)의 표시 영역이 기능 영역마다 분할되는 형태라도, 멀티 도큐먼트 인터페이스에 의해 각각의 영역이 다른 윈도우로 구성되는 형태라도 상관없다. 섬네일 화상(1003)은, 검체의 전체 형상에 있어서의 검체 화상 데이터의 표시 영역(1005)의 위치나 크기를 표시한다. 위치나 크기는, 상세 표시 영역(1004)의 프레임에 의해 파악할 수 있다. 상세 표시 영역(1004)의 설정은, 예를 들면, 터치패널 또는 마우스(411) 등의 외부 접속된 입력장치로부터의 유저 지시에 의한 직접적인 설정으로도, 표시되고 있는 화상에 대한 표시 영역의 이동이나 확대·축소 조작에 의해서도 설정, 갱신 할 수 있다. 검체 화상 데이터의 표시 영역(1005)에는, 상세 관찰용의 검체 화상 데이터가 표시된다. 여기에서는, 유저로부터의 조작 지시에 의해, 표시 영역의 이동(검체 전체 화상 중에서 관찰의 대상이 되는 부분 영역의 선택, 이동)이나 표시 배율의 변경에 의한 화상의 확대·축소 상이 표시된다.

버츄얼 슬라이드 장치에서 취득된 화상 데이터는, 검체의 일부 영역을 분할해서 촬상한 화상 데이터가 연결된 화상으로서 준비된다. 이와 같이, 픽셀 등배 표시에서는, 화상 표시장치 103 전체면에 현미경 시야보다도 넓은 범위에서 정보를 제시하는 것이 가능하여, 들여다 보는 동작이 없어지는 것, 어느 정도의 시거리를 확보할 수 있다는 것, 보다 많은 화상 데이터나 검체에 관련되는 정보를 함께 표시할 수 있는 것 등, 다양한 편리성을 제공할 수 있다.

도 10b는, 현미경 시야를 재현하고, 현미경 관찰 시야외는 균일한 휘도 저하를 행한 표시 화면의 예이다. 1006은 표시 배율을 나타내고 있다. 여기에서는 고배율의 40배로 표시되어 있는 것으로 한다. 1008은 현미경의 시야를 모방한 관찰 영역이고, 원형의 시야 내는 통상의 휘도로 화상이 표시되어 있다. 이에 대하여, 1007의 현미경 시야외의 영역은 일정한 비율로 휘도를 저하시키고 있다. 넓은 표시 에어리어에 검체 화상은 표시되어 있지만, 주시해야 할 현미경 관찰 시야 이외의 영역의 휘도를 저하시킴으로써, 병리에 있어서 손에 익은 현미경의 관찰 시야를 재현하는 동시에, 그것의 주변 영역에도 버츄얼 슬라이드 장치의 이점인 보다 많은 화상정보를 제시하는 것을 양립하고 있다. 현미경 관찰 시야 이외의 정보량 삭감의 수법으로서는, 휘도를 저하시키는 것 이외에, 색 정보를 삭감하여 모노크롬의 데이터로서 표시하는 방법이 있다.

도 10c는, 현미경 관찰 시야를 재현하고, 현미경 관찰 시야외는 현미경 시야 중심으로부터의 거리에 따라 휘도 저하를 행한 표시 화면의 예이다. 1009의 현미경 관찰 시야외의 영역은, 현미경 시야를 재현한 원형의 영역의 중심으로부터의 거리에 따라 서서히 휘도가 저하하고 있다. 여기에서는, 주시해야 할 현미경 관찰 시야에 있어서의 화상의 제시는 그대로, 주 시점인 원형의 중심으로부터의 거리에 따라, 현미경 관찰 시야 이외의 영역의 휘도를 저하시키고 있다. 도 10b에서 나타낸 현미경 시야 이외의 영역에 대한 일률적인 정보 삭감과 비교하여, 주시해야 할 영역에의 정보량을 늘림으로써 관심 영역이 찾기 쉬워지는 것 등 편리성을 증대시키고 있다.

(본 실시형태의 효과)

본 발명에 따르면, 광학현미경 화상에서 보이는 관찰 시야와 동등한 버츄얼 슬라이드 화상을 생성할 수 있는 화상 처리장치를 제공할 수 있다. 특히, 원격지에 있는 화상 표시장치의 사양이 다른 환경에서도 동일 사이즈의 화상을 표시할 수 있다. 또한, 원형의 마스크 화상을 준비함으로써 한층 더 현미경의 외관과 동일하게 할 수 있다.

[기타의 실시형태]

본 발명의 목적은, 이하에 의해 달성되어도 된다. 즉, 전술한 실시형태의 기능의 전부 또는 일부를 실현하는 소프트웨어의 프로그램 코드를 기록한 기록 매체(또는 기억매체)를, 시스템 또는 장치에 공급한다. 그리고, 그 시스템 또는 장치의 컴퓨터(또는 CPU나 MPU)가 기록 매체에 격납된 프로그램 코드를 판독하여 실행한다. 이 경우, 기록 매체로부터 판독된 프로그램 코드 자체가 전술한 실시형태의 기능을 실현하게 되고, 그 프로그램 코드를 기록한 기록 매체는 본 발명을 구성하게 된다.

또한, 컴퓨터가, 판독한 프로그램 코드를 실행함으로써, 그 프로그램 코드의 지시에 근거하여, 컴퓨터 상에서 가동하고 있는 오퍼레이팅 시스템(OS) 등이, 실제의 처리의 일부 또는 전부를 행한다. 그 처리에 의해 전술한 실시형태의 기능이 실현되는 경우도 본 발명에 포함될 수 있다.

더구나, 기록 매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛에 구비된 메모리에 기록된 것으로 한다. 그후, 그 프로그램 코드의 지시에 근거하여, 그 기능 확장 카드나 기능 확장 유닛에 구비된 CPU 등이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해 전술한 실시형태의 기능이 실현되는 경우도 본 발명에 포함될 수 있다.

본 발명을 상기 기록 매체에 적용하는 경우, 그 기록 매체에는, 앞서 설명한 흐름도에 대응하는 프로그램 코드가 격납되게 된다.

또한, 제1 및 제2실시형태에서 설명해 온 구성을 서로 조합할 수도 있다. 예를 들면, 화상 처리장치와 촬상장치가 로컬로 접속되어 있는 환경에 있어서, 제2실시형태에서 설명한 동일 사이즈 표시 모드를 포함시킨 3개의 표시 모드를 선택할 수 있도록 하여도 된다. 또한, 화상 처리장치가 촬상장치와 화상 서버의 양쪽에 접속되어 있어, 처리에 사용하는 화상을 어느쪽의 장치로부터 취득할 수 있도록 하는 구성으로 하여도 된다. 그 이외, 상기 각 실시형태에 있어서의 다양한 기술을 적절히 조합함으로써 얻어지는 구성도 본 발명의 범주에 속한다. 본 발명의 기술적 범위는 특허청구범위 중의 각 청구항에 의해 정해지는 것이며, 상기 각 실시형태에 의해 한정 해석되는 것은 아니다.

본원은, 2011년 12월 27일 제출된 일본국 특허출원 특원 2011-286783, 및 2012년 12월 26일 제출된 일본국 특허출원 특원 2012-282784를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 전체를 여기에 원용한다.

101 촬상장치
102 화상 처리장치
103 화상 표시장치
301 화상 데이터 취득부
302 기억 유지부
303 유저 입력 정보 취득부
304 표시장치 정보 취득부
305 픽셀 배율 설정부
306 표시용 화상 데이터 취득부
307 표시 데이터 생성부
308 표시 데이터 출력부
701 화상 서버
704 네트워크로 접속된 원격지의 화상 처리장치
705 화상 처리장치와 접속되는 화상 표시장치

Claims

화상 표시장치에 표시시키기 위한 버츄얼 슬라이드 화상 데이터를 처리하는 화상 처리장치로서,
촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득하는 화상 데이터 취득 유닛과,
소정의 현미경의 시야수에 따른 표시 배율로, 상기 촬상 대상의 화상을 상기 화상 표시장치에 표시시키기 위한 표시용 화상 데이터를 생성하는 화상 데이터 생성 유닛을 갖는 것을 특징으로 하는 화상 처리장치.
제 1항에 있어서,
상기 화상 데이터 생성 유닛은, 상기 소정의 현미경의 실 시야의 직경과 상기 화상 시장치의 표시 화면의 긴 변의 길이 또는 짧은 변의 길이가 일치하도록 상기 표시 배율을 결정하는 것을 특징으로 하는 화상 처리장치.
제 1항 또는 제 2항에 있어서,
상기 화상 데이터 생성 유닛은, 실재하는 현미경의 시야에 관한 정보에 근거하여 상기 표시 배율을 결정하는 것을 특징으로 하는 화상 처리장치.
제 1항 내지 제 3항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 실재하는 현미경의 시야에 관한 복수의 정보 중 미리 정해진 한개를 초기 정보로서 사용하여, 상기 표시 배율을 결정하는 것을 특징으로 하는 화상 처리장치.
제 1항 내지 제 4항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 유저의 선택에 근거하여, 실재하는 현미경의 시야에 관한 복수의 정보 중 한개를 사용하여, 상기 표시 배율을 결정하는 것을 특징으로 하는 화상 처리장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 상기 화상 표시장치의 화소수에 따라, 상기 표시용 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리장치.
제 1항 내지 제 6항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 상기 촬상 대상을 촬상했을 때의 대물렌즈 배율에 따라, 상기 표시용 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리장치.
제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 상기 표시 배율을 하기 식으로 표시되는 픽셀 배율에서 표시용 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리장치.
픽셀 배율=(화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치의 표시 화면 상에서의 표시 배율/촬상시의 대물렌즈 배율)
제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 유닛은, 상기 표시 배율을 하기 식으로 표시되는 픽셀 배율에서 표시용 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리장치.
픽셀 배율= (확대 배율)×(촬상 센서의 화소 피치)/ (화상 표시장치의 표시 화면 상에서의 화소 피치)
단, 확대 배율은, (표시 배율)×(화상 표시장치의 표시 화면 상에서의 화소 피치)/((촬상 센서의 화소 피치)×(촬상시의 대물렌즈 배율))이다.
제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 화상 처리장치는, 모드 선택 유닛을 더 갖고,
상기 모드 선택 유닛은, 화상 표시장치에 표시시킬 화상을 선택하기 위한 모드로서 이하의 (1)∼ (3) 중 적어도 한개의 모드를 선택할 수 있는 것을 특징으로 하는 화상 처리장치.
(1) 하기 식으로 표시되는 픽셀 배율에서 생성된 표시용 화상 데이터를 표시하는 모드
픽셀 배율=(화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치의 표시 화면 상에서의 표시 배율/촬상시의 대물렌즈 배율)
(2) 픽셀 등배 표시하는 표시용 화상 데이터를 표시하는 모드
(3) 하기 식으로 표시되는 픽셀 배율에서 생성된 표시용 화상 데이터를 표시하는 모드
픽셀 배율= (확대 배율)×(촬상 센서의 화소 피치)/(화상 표시장치의 표시 화면 상에서의 화소 피치)
단, 확대 배율은, (표시 배율)×(화상 표시장치의 표시 화면 상에서의 화소 피치)/((촬상 센서의 화소 피치)×(촬상시의 대물렌즈 배율))이다.
버츄얼 슬라이드 화상을 처리하는 화상 처리방법으로서,
촬상 대상을 촬상함으로써 얻어진 화상 데이터를 취득하는 화상 데이터 취득 스텝과,
소정의 현미경의 시야수에 따른 표시 배율로 화상 표시장치에 화상을 표시시키기 위한 표시용 화상 데이터를 생성하는 화상 데이터 생성 스텝을 갖는 것을 특징으로 하는 화상 처리방법.
제 11항에 있어서,
상기 화상 데이터 생성 스텝은, 상기 소정의 현미경의 실 시야의 직경과 상기 화상 표시장치의 표시 화면의 긴 변의 길이 또는 짧은 변의 길이가 일치하도록 상기 표시 배율을 결정하는 스텝인 것을 특징으로 하는 화상 처리방법.
제 11항 또는 제 12항에 있어서,
상기 화상 데이터 생성 스텝은, 실재하는 현미경의 시야에 관한 정보에 근거하여 상기 표시 배율을 결정하는 스텝인 것을 특징으로 하는 화상 처리방법.
제 11항 내지 제 13항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 스텝은, 실재하는 현미경의 시야에 관한 복수의 정보 중 미리 정해진 한개를 초기 정보로서 사용하여, 상기 표시 배율을 결정하는 것을 특징으로 하는 화상 처리방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 스텝은, 유저의 선택에 근거하여, 실재하는 현미경의 시야에 관한 복수의 정보 중 한개를 사용하여, 상기 표시 배율을 결정하는 스텝인 것을 특징으로 하는 화상 처리방법.
제 11항 내지 제 15항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 스텝은, 상기 표시 배율을 하기 식으로 표시되는 픽셀 배율로 변배하여 표시용 화상 데이터를 생성하는 스텝인 것을 특징으로 하는 화상 처리방법.
픽셀 배율= (화상 표시장치의 표시 화면의 긴 변 또는 짧은 변의 화소수/(소정의 현미경의 시야수/촬상 센서의 화소 피치))×(화상 표시장치의 표시 화면 상에서의 표시 배율/촬상시의 대물렌즈 배율)
제 11항 내지 제 15항 중 어느 한 항에 있어서,
상기 화상 데이터 생성 스텝은, 상기 표시 배율을 하기 식으로 표시되는 픽셀 배율로 표시용 화상 데이터를 생성하는 스텝인 것을 특징으로 하는 화상 처리방법.
픽셀 배율=(확대 배율)×(촬상 센서의 화소 피치)/(화상 표시장치의 표시 화면 상에서의 화소 피치)
단, 확대 배율은, (표시 배율)×(화상 표시장치의 표시 화면 상에서의 화소 피치)/((촬상 센서의 화소 피치)×(촬상시의 대물렌즈 배율))이다.
제 1항 내지 제 10항 중 어느 한 항에 기재된 화상 처리장치와, 상기 화상 처리장치에서 처리된 버츄얼 슬라이드 화상을 소정의 현미경의 시야수에 따른 표시 배율로 표시하는 화상 표시장치를 구비한 화상 처리 시스템.
제 11항 내지 제 17항 중 어느 한 항에 기재된 화상 처리방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.