KR20220022475A

KR20220022475A - 객체 추적을 위한 조명 시스템 및 방법

Info

Publication number: KR20220022475A
Application number: KR1020217036964A
Authority: KR
Inventors: 조지 자파타; 카를로스 에두아르도 바르가스 실바
Original assignee: 젠텍스 코포레이션
Priority date: 2019-06-20
Filing date: 2020-06-19
Publication date: 2022-02-25
Also published as: CA3139881A1; CN113873960A; JP2022537314A; JP7286815B2; US20200397528A1; WO2020255083A1; EP3968888A4; US11890146B2; EP3968888A1

Abstract

수술 영역을 모니터링하고 비추기 위한 조명 시스템은, 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리를 포함한다. 적어도 하나의 이미저는 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된다. 컨트롤러는 조명 어셈블리 및 이미저와 통신한다. 컨트롤러는 시야에서 캡처된 이미지 데이터를 처리하고, 객체 라이브러리에 기초하여 이미지 데이터에서의 감지된 복수의 객체를 식별한다. 복수의 객체 각각의 위치를 추적하고, 객체 각각의 위치를 저장한다.

Description

객체 추적을 위한 조명 시스템 및 방법

본 개시는 대체로 조명 및 이미징 시스템에 관한 것으로서, 보다 구체적으로는, 비전 기반 조명, 객체 감지, 및 추적 시스템에 관한 것이다.

수술 환경은 제한된 시간 내에 제공될 수 있는 다양한 수술 및 환자로 인해 복잡할 수 있다. 이러한 복잡함은 식별 및 환자 처리에 오류를 초래할 수 있다. 따라서, 환자를 정확하게 식별하고 환자 기록에 액세스하는 효율적인 방법이 유리할 수 있다. 본 개시는, 수술실 및 관련 활동의 복잡성을 제한하는 데 도움이 되는 개선된 시스템을 제공한다.

본 발명의 일 양태에서, 수술 영역을 모니터링하고 비추기 위한 조명 시스템이 개시된다. 시스템은, 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리를 포함한다. 적어도 하나의 이미저는 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된다. 컨트롤러는 조명 어셈블리 및 이미저와 통신한다. 컨트롤러는 시야에서 캡처된 이미지 데이터를 처리하고, 객체 라이브러리에 기초하여 이미지 데이터에서의 감지된 복수의 객체를 식별하고, 복수의 객체 각각의 위치를 추적하고, 객체 각각의 위치를 저장하도록 구성된다.

본 발명의 다른 양태에서, 수술 영역을 모니터링하고 비추기 위한 조명 시스템이 개시된다. 시스템은, 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리 및 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미저를 포함한다. 컨트롤러는 조명 어셈블리 및 이미저와 통신한다. 컨트롤러는 시야에서 캡처된 이미지 데이터를 처리하고, 객체 라이브러리에 기초하여 이미지 데이터에서의 감지된 복수의 객체를 식별하고, 복수의 객체에 대한 객체 정보에 액세스하도록 구성된다. 컨트롤러는 일정 기간에 걸쳐 복수의 객체 각각의 균형 결정을 완료하도록 추가로 구성된다. 균형 결정은 각 객체의 폐기, 저장 또는 임플란트 위치를 식별한다.

본 발명의 또 다른 양태에서, 수술 영역을 비추도록 구성된 조명 장치가 개시된다. 장치는, 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리 및 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미저를 포함한다. 컨트롤러는 조명 어셈블리 및 이미저와 통신한다. 컨트롤러는 시야에서 캡처된 이미지 데이터를 처리하도록 구성된다. 컨트롤러는 객체 라이브러리에 기초하여 이미지 데이터에서의 감지된 복수의 객체를 식별하고, 복수의 객체에 대한 객체 정보에 액세스하도록 추가로 구성된다. 객체 데이터는 복수의 객체를 수술 영역에서 사용하기 위해 사전 승인된 연관된 객체로서 식별한다. 컨트롤러는 식별된 객체를 객체 정보에서 식별된 연관된 객체와 비교하고, 비교에 기초하여, 사전 승인되지 않은 라이브러리 내의 예상치 못한 객체를 식별하도록 구성된다.

본 장치의 이들 및 다른 특징, 장점, 및 목적은 다음의 상세한 설명, 청구범위, 및 첨부된 도면을 연구할 때에 당업자에 의해 더 이해되고 인정될 것이다.

다음은 첨부 도면에서의 도면을 설명한 것이다. 도면은 반드시 축척에 비례하는 것은 아니며, 도면의 특정 특징부와 특정 도면은 명확성 및 간결함을 갖는 방식으로 개략적이거나 축적상 과장되게 나타낼 수 있다.
첨부 도면에서:
도 1은 조명 시스템을 포함하는 수술실의 개략도이고;
도 2는 조명 시스템에 의한 객체의 식별을 위해 구현된 객체 라이브러리를 설명하는 블록 다이어그램이고;
도 3은 조명 시스템에 대한 제어 방법을 설명하는 흐름도이고;
도 4는 수술 영역의 조명을 우선순위화하기 위해, 조명 시스템에 의해 적용된 활동 및 추적 기술을 설명하는 예시적인 도면이고;
도 5는 본 개시에 따른 조명 시스템을 설명하는 블록 다이어그램이다.

본원에서, 설명의 목적으로, 용어 "상부", "하부", "우측", "좌측", "후방", "전방", "수직", "수평", 및 그들의 파생어들은 도 1에서 배향된 바와 같이 본 발명과 관련될 것이다. 달리 언급되지 않는 한, 용어 "전방"은 디스플레이 미러에 대해 의도한 관찰자에게 더 가까운 요소의 표면을 의미하며, 용어 "후방"은 디스플레이 미러에 대해 의도된 관찰자에게서 더 먼 요소의 표면을 의미한다. 그러나, 본 발명은 반대로 명백히 명시된 경우를 제외하고, 다양한 대안적인 배향을 가정할 수 있음을 이해해야 한다. 또한, 첨부된 도면에 예시되고 하기 명세서에 설명된 특정 장치 및 공정은 첨부된 청구범위에 정의된 본 발명의 개념에 대한 단순히 예시적인 구현예라는 점을 이해해야 한다. 따라서, 본원에 개시된 구현예에 관한 특정 치수 및 다른 물리적 특성은 청구범위가 명백히 다르게 명시하지 않는 한 한정적인 것으로 간주되어서는 안 된다.

용어 "포함하는", "포함하다", "포함한", 또는 그의 임의의 다른 변형은 요소들의 리스트를 포함하는 공정, 방법, 물품, 또는 장치가 이들 요소를 포함할 뿐만 아니라 이러한 공정, 방법, 물품, 또는 장치에 대하여 명확히 열거되거나 고유하지 않은 다른 요소를 포함할 수 있도록, 비 배타적인 포함을 포괄하려는 것이다. "...을 포함한다"는 표현으로 선행되는 요소는 추가적인 제약 없이, 그 요소를 포함하는 공정, 방법, 물품 또는 장치에 추가적인 동일한 요소들의 존재를 배제하지 않는다.

일반적으로, 도 1 및 도 2를 참조하면, 본 개시는 조명 시스템이 구현되는 수술 환경의 활동을 추적하도록 구성된 조명 시스템(10)을 제공한다. 다양한 실시예에서, 조명 시스템(10)은 컨트롤러(12) 및 다양한 부속품을 포함할 수 있고, 이는 위치 또는 수술 영역(16)을 선택적으로 비추기 위해 수술실(14)에 사용될 수 있다. 따라서, 조명 시스템(10)은 하나 이상의 조명 어셈블리(18)를 포함할 수 있고, 이는 하나 이상의 광원(20)을 포함할 수 있다. 또한, 시스템(10)은 수술 영역(16)을 포함하는 시야(24)에서 이미지 데이터 또는 추적 데이터를 캡처하기 위해 적어도 하나의 이미저(22) 또는 스캐닝 장치를 구현한다. 일부 구현예에서, 시스템(10)은 수술 영역(16) 전체에 걸쳐 활동을 추적하도록 구성된 복수의 이미저(22)를 포함할 수 있다. 이러한 방식으로, 시스템(10)은 복수의 시야에 걸쳐 활동을 감지하고 추적하도록 구성될 수 있고, 이는 이미저(22)의 이미지 데이터에서 캡처될 수 있는 사람, 물품, 액세서리 및 임의의 객체의 활동을 모니터링하도록, 컨트롤러(12) 중 하나 이상에 의해 함께 연결되거나 다른 방식으로 조합되어 추적될 수 있다.

수술 시, 시스템(10)의 컨트롤러(들)(12)는 복수의 객체(26) 각각을 식별하도록 수술 영역(16)을 스캔하도록 구성될 수 있으며, 이는 의료 도구(26a)(예를 들어, 도구, 액세서리, 재고 물품 등), 의료 장비 또는 장치(26b), 사람(26c)(예를 들어, 의사, 간호사, 직원 등), 및 이미지 데이터에서 감지될 수 있는 임의의 다른 객체(26)에 상응할 수 있다. 일단 객체(26)가 검출되면, 시스템(10)은 하나 이상의 이미저(22)의 시야(24) 내에서 감지된 객체(26)의 위치에 기초하여 수술 영역(16) 내의 물품을 추적할 수 있다. 다수의 이미저(22) 사이에서의 객체(26)의 위치를 추적하기 위해, 시스템(10)은 그리드 또는 좌표계(28)에서 객체(26)의 위치를 식별하도록 구성될 수 있다. 따라서, 각각의 이미저(22)는 좌표계(28) 내에서 각각의 식별된 객체(26)의 위치를 식별하고, 객체(26)의 위치가 시간 경과에 따라 추적되고 기록될 수 있도록, 다수의 시야(24) 중에서의 추적을 위해 객체(26)를 등록하도록 교정되고 프로그래밍될 수 있다. 이러한 방식으로, 시스템(10)은 목록 및 인원 추적을 제공할 수 있으며, 이는 효율성을 개선하고, 폐기물을 감소시키고, 활동을 기록하도록 구현될 수 있다. 또한, 이러한 활동을 추적하는 동안, 조명에 대해 지정된 하나 이상의 객체(26)가 그 객체의 수술 영역(16)을 통한 이동에 따라 일관되고 효율적으로 조명되는 것을 보장하도록, 시스템(10)은 조명 어셈블리(18)를 제어할 수 있다.

사람(26c)을 식별하기 위해, 시스템(10)은 수술실(14)에서 사용자가 수행할 수 있는 환자, 수술 또는 작업에 관한 식별 정보를 캡처하고 처리하도록 구성될 수 있다. 식별 정보는 하나 이상의 식별 방법(예를 들어, 안면 인식, 홍채 인식, 지문 인식 등)을 통해 환자의 신원을 결정할 수 있도록, 시스템(10)의 컨트롤러(12)에 의해 처리될 수 있는 생체 정보에 상응할 수 있다. 따라서, 시스템(10)의 이미저(22) 각각은 수술 영역(16)에서 식별 정보(예를 들어, 생체 인식, 식별 번호, 코딩된 식별자 등)를 캡처하도록 구성된 스캐닝 장치로서 작동할 수 있다. 이러한 방식으로, 시스템(10)은 수술 영역(16)에서 하나 이상의 사람(26c)의 감지 및 추적을 제공할 수 있다.

전술한 바와 같이, 일단 객체(26)가 시스템(10)에 의해 식별되면, 객체(26)의 위치 및 관련 활동이 이미지 데이터를 통해 좌표계(28) 내에서 추적되고 추론될 수 있다. 시스템(10)이 다수의 객체(26)를 추적하도록 구성되는 실시예에서, 객체(26)에 대한 추적 정보는, 좌표계(28)에 대한 절대 위치, (예를 들어, 수술 영역(16)에 위치한 관심 사람 또는 객체(30)에 대한) 상대 위치, 및 존재 또는 재고 정보를 포함할 수 있는 로지스틱 데이터로서 본원에서 지칭될 수 있다. 로지스틱 데이터에 기초하여, 각각의 객체(26)는 객체(26)의 위치 또는 움직임의 변화가 시스템(10)에 의해 추적되고 분석될 수 있도록, 시야(24)에서 시간 경과에 따라 추적될 수 있다.

객체(26)의 목록 또는 추적과 관련하여, 시스템(10)은 객체(26)를 추적하고 이미지 데이터에서 감지된 각각의 객체(26)에 대한 균형 결정 또는 계산을 완료하도록 구성될 수 있다. 예를 들어, 컨트롤러(들)(12)는 메모리, 데이터베이스, 및/또는 원격 서버로부터의 객체 데이터 또는 정보에 액세스하여, 검출된 객체(26) 각각에 대해 할당된 저장, 임플란트 및/또는 폐기 정보를 결정하도록 구성될 수 있다. 따라서, 시스템(10)이 객체(26)를 추적함에 따라, 컨트롤러(들)(12)는 객체(26)의 위치를 추적하고, 객체(26)의 수술 영역 내로의 도입을 식별할 수 있는 계산 또는 균형 결정을 완료할 수 있을 뿐만 아니라, 폐기, 저장 또는 임플란트 위치에서 객체의 중간 및 최종 위치를 추적할 수 있다. 객체(26)의 식별된 위치에 기초하여, 컨트롤러(들)(12)는 객체 데이터 또는 정보에서 식별된 할당된 위치와 식별된 위치를 비교할 수 있다. 하나 이상의 객체가 할당된 위치에 배치되지 않았거나 도입된 객체를 해석할 수 없는 경우, 컨트롤러(들)(12)는 하나 이상의 객체가 그 객체와 연관된 할당된 위치에 위치하지 않음을 나타내는 불균형 또는 계산 오류를 식별할 수 있다. 이러한 방식으로, 컨트롤러(들)(12)는 객체(26)를 추적할 수 있고, 잘못 배치되거나 해석되지 않는 객체(26)에 대한 경고를 제공할 수 있다.

수술 영역(16)에서 감지되고 추적되는 객체(26)의 위치에 의해, 시스템(10)은 다수의 유익한 수술을 제공하도록 작동 가능할 수 있다. 예를 들어, 시스템(10)은 균일한 조명이 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)에 제공되는 것을 보장하기 위해 조명을 제어하고 조정하도록 구성될 수 있으며, 이들 각각은 수술 영역(16) 내에서 이동할 수 있다. 또한, 시스템(10)은 워크플로우를 추적하거나 분석하기 위해 객체의 존재, 위치 및 움직임을 추적하도록 구성될 수 있다. 예를 들어, 도 4를 참조하여 추가로 논의되는 바와 같이, 시스템(10)은 수술 영역(16)에서 각각의 사람(26c)의 위치를 추적하도록 구성될 수 있다. 일단 캡처되면, 사람(26c)의 움직임은 공정 개선을 위한 복잡한 워크플로우 추적을 제공하기 위해, 과도한 움직임을 경고하고 수술 영역(16)에서 발생하는 비효율성을 식별하도록 시스템에 의해 이용될 수 있다. 또한, 시스템(10)은, 관심 객체(30) 또는 다수의 객체(26)를 동시에 비추는 능력(예를 들어, 복수의 표적 또는 객체를 자동으로 비추는 능력)과 연관될 수 있는, 조명 어셈블리(18)의 한계를 식별하고 해결하도록 구성될 수 있다. 따라서, 본 개시는 복잡한 워크플로우를 추적 및 최적화하고, 객체(26)의 움직임 패턴을 식별하고, 실시간으로 수술 영역(16)에서 움직이는 객체(26)를 추적하고 비추며, 다양한 형태의 동적 조명 수술을 수행하도록 구성될 수 있는 시스템 및 방법을 제공한다. 따라서, 본 개시는 다양한 애플리케이션에 적합하도록 규모화되고 다양한 작동 특징부를 제공하도록 구현될 수 있는 다기능 조명 시스템(10)을 제공한다.

도 1 및 도 2를 계속 참조하면, 시스템(10)은 컴퓨터 비전 알고리즘 및 연관된 객체 라이브러리(32)에 기초하여 객체를 식별하기 위해 이미지 데이터를 처리하도록 구성될 수 있다. 따라서, 시스템(10)에 의해 식별될 수 있는 각각의 객체는 객체 라이브러리(32)에 등록될 수 있다. 또한, 시스템(10)은 객체 라이브러리(32)에서 식별된 객체(26)를 다양한 카테고리로 구별하도록 구성될 수 있다. 예를 들어, 인가되거나, 허용되거나, 예상되는 물품(예를 들어, 수술 영역(16)에서 일반적으로 사용되는 물품)은 시스템(10)에 의해 식별될 수 있다. 이러한 객체(26)는 추적된 목록에 따라 수술 영역(16)에 도입되거나, 특정 절차 활동, 수술실 또는 구역, 또는 시스템(10)의 환경과 관련하여 수술 영역(16)에서 사용하기 위해 사전 승인되기 때문에 다른 객체와 구별될 수 있다. 이러한 객체(26)는 수술 영역(16)과의 소정의 연관성에 따라 연관된 객체(32a)로서 지칭될 수 있다. 따라서, 시스템(10)은 매우 다양한 객체(26)를 식별 및 추적하고 객체(26)를 카테고리화하도록 구성될 수 있다. 그러나, 식별될 수 있는 모든 객체(26)가 수술 영역(16)에서 사용하도록 승인되거나 식별될 수 있는 것은 아니다.

일부 구현예에서, 시스템(10)은 연관된 객체(32a)의 목록에 포함되지 않을 수 있는 비인가되거나 무관한 객체(26)를 감지하도록 구성될 수 있다. 이러한 물품은 본원에서 예상하지 못한 객체(32b)로서 지칭될 수 있고, 시스템(10)의 이미지 데이터의 처리를 통해 식별 가능하지만 수술 영역(16)과 연관된 추적된 목록 또는 객체(26)에 기초하여 예상되지 않는 것들일 수 있다. 이러한 예상하지 못한 객체(32b) 또는 미인가 물품의 예는, 식품, 미등록 도구, 개인 아이템, 부적합 복장 또는 개인 액세서리(예를 들어, 의복, 보석류 등), 미인가된 사람, 또는 시스템(10)의 하나 이상의 컨트롤러(12) 상에서 작동하는 하나 이상의 컴퓨터 비전 알고리즘에 의해 식별될 수 있는 임의의 다른 물체를 포함할 수 있다. 시스템(10) 및 하나 이상의 컨트롤러(12)의 작동에 대한 추가적인 상세한 논의가 도 5를 참조하여 제공된다.

일부 구현예에서, 시스템(10)은 하나 이상의 객체(26)를 강조하거나 달리 비추는, 수술 영역(16) 내로의 광의 좁은 방출, 예를 들어 스포트라이트를 투사하도록 구성될 수 있다. 스포트라이트를 형성하는 방출의 비율은 광원(20)에 의해 비춰지는 표면 또는 객체(26)를 확대하거나 초점이 맞춰지도록 (예를 들어, 렌즈 또는 조리개를 통한 형성 또는 비율이 변경되어) 조정될 수 있다. 일부 경우, 스포트라이트 또는 빔의 비율은 이미지 데이터에서 표시된 이에 상응하는 광의 외관에 기초하여 조정될 수 있다. 따라서, 시스템(10)은 객체(26)를 비추고, 객체(26)의 경계 너머로 연장되는 광을 차단하면서 객체(26)를 비추기 위해 입사광의 비율 또는 패턴을 조정하도록 구성될 수 있다. 이러한 방식으로, 시스템(10)은 이미지 데이터에서 식별된 위치에 기초하여 객체(26)를 비추도록 스포트라이트를 투사하고, 이미지 데이터에서 식별된 바와 같이 객체의 경계까지 연장되도록 광원(20)의 비율 또는 조명 패턴을 조정할 수 있다. 이러한 자동화된 조명 작동은 하나 이상의 객체(26)를 시각적으로 강조할 수 있다.

예를 들어, 본원에서 논의된 바와 같은 예상하지 못한 객체(32b) 또는 임의의 감지된 객체(26)를 식별하는 것에 응답하여, 컨트롤러(들)(12)는 광원(20)으로부터의 방출(44) 중 하나 이상을 유도하여 객체가 감지되는 하나 이상의 시야(24) 내의 위치를 비추도록 구성될 수 있다. 또한, 시스템(10)은 이미지 데이터에서 객체의 위치 변화를 추적하고, 객체(26)가 수술 영역(16) 내에서 이동함에 따라 이를 추적하고 비추기 위해 조명 어셈블리(18)의 위치 설정 어셈블리를 제어하도록 구성될 수 있다. 일부 경우, 객체(26)는 이미지 데이터에서 식별될 수 있는 중요 객체(30b), 추적된 사람(30c), 예상하지 못한 객체(32b), 식별되지 않은 객체 또는 다양한 객체 또는 영역일 수 있다. 또한, 광원(20)은 제1 색을 갖는 제1 방출 및 제2 색을 갖는 제2 방출로 수술 영역(16) 내의 객체(26)를 비추도록 구성될 수 있다. 이러한 구성에서, 시스템(10)은 제1 색으로 제1 객체 또는 표적 영역을 비추고 제2 색으로 제2 객체를 비추도록 구성될 수 있다.

연관된 객체(32a) 및 예상하지 못한 객체(32b)에 더하여, 시스템(10)은 식별되지 않은 객체(34)를 감지, 추적 및/또는 기록하도록 추가로 구성될 수 있다. 이러한 객체는 이미지 데이터에서 감지되지만 객체 라이브러리(32)에 정의된 객체와 연관되지 않는 객체일 수 있다. 식별되지 않은 객체(34)의 감지에 응답하여, 시스템(10)은 감지를 기록하는 이미지 데이터와 함께 식별되지 않은 객체가 메모리 또는 데이터베이스에 기록될 수 있도록 하나 이상의 특징부(예를 들어, 선, 텍스트, 암호화된 정보) 또는 가시적인 특징부를 조합하여 기록할 수 있다. 이러한 식별되지 않은 객체(34)의 식별이 시스템(10)의 컴퓨터 비전 알고리즘에 의해 즉시 결정되지 않을 수 있지만, 연관된 특징부의 위치는 시스템(10)에 의해 추적되고 기록될 수 있다. 또한, 시스템(10)에 의해 기록되는 식별되지 않은 객체(34)의 이미지 데이터 및 특징부는 객체 라이브러리(32)를 확장하기 위한 학습 데이터로서 사용될 수 있다. 이러한 방식으로, 시스템(10)은 객체 라이브러리(32)를 개선함으로써 시간 경과에 따라 작동 효능 및 성능을 개선하도록 구성될 수 있다. 객체 라이브러리(32)에 대한 이러한 추가는 시스템(10)의 소유자에 의해 개인적으로 유지될 수 있거나, 본원에서 논의된 시스템(10)의 각각의 설치의 작동을 개선할 수 있도록 중앙 데이터베이스에 업로드될 수 있다.

여기에서 도 1을 참조하면, 도시된 바와 같이, 조명 시스템(10)은 복수의 조명 어셈블리(18)를 포함한다. 각각의 조명 어셈블리(18)는, 본원에서 논의된 바와 같이 짐벌형(gimballed) 또는 관절형 아암에 연결된 고정된 하우징 및/또는 광원에 통합된 관절형 광원(20)을 통해 구현될 수 있다. 조명 시스템(10)은 조명을 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c) 등을 향해 유도하도록, 도시된 이미저(22) 중 하나 이상을 포함할 수 있다. 이미저(22)는, 조명 어셈블리(18) (예를 들어, 핸들 또는 몸체 내), 테이블(36) 내부 또는 이에 결합되어 위치하고/위치하거나 수술실(14) 주위에 위치할 수 있다. 이미저(22)는 전하 결합 소자(CCD)형 이미저, 상보적 금속 산화물 반도체(CMOS)형 이미저, 다른 유형의 이미저 및/또는 이들의 조합일 수 있다. 다양한 실시예에 따라, 이미저(22)는, 환자, 테이블(36), 또는 수술실(14)의 다른 특징부에 의해 반사된 광을 집속하고/집속하거나 집중하기 위해 하나 이상의 렌즈를 포함할 수 있다.

테이블(36)은 수술 영역(16)을 적어도 부분적으로 정의할 수 있다. 수술실(14)과 연관하여 설명되었지만, 본 개시의 조명 시스템(10)을 다양한 환경에서 사용할 수 있음을 이해할 것이다. 예를 들어, 조명 시스템(10)은 자동차 정비 영역, 의사 진료실, 치과 병원, 사진 스튜디오, 제조 세팅뿐만 아니라 동적인 조명 솔루션이 유리할 수 있는 다른 영역에서 이용될 수 있다.

조명 어셈블리(18)는 다양한 구성을 취할 수 있다. 조명 어셈블리는 하나 이상의 광원(20)을 포함할 수 있다. 제1 실시예에서, 조명 어셈블리(18)는 모듈형이고 상호 연결되고 추적 시스템 상에서 지지될 수 있다. 예를 들어, 조명 어셈블리(18)는 원형, 타원형, 장방형, 삼각형, 정사각형, 직사각형, 오각형 또는 고차 다각형 형상을 가질 수 있다. 상이한 조명 어셈블리(18)가 상이한 형식으로 제공될 수 있고, 조명 시스템(10)은 다양한 조명 어셈블리(18)를 포함할 수 있음을 이해할 것이다.

다양한 구현예에서, 광원(20)은 수술 영역(16) 전체에 걸쳐 다양한 파장의 광을 방출하도록 구성될 수 있다. 예를 들어, 광원(20)은 적외선에서 자외선까지 범위일 수 있고 파장의 가시 스펙트럼을 포함할 수 있는 다양한 파장으로 광을 방출하도록 시스템(10)에 의해 제어될 수 있는 방출기(예를 들어, 발광 다이오드 등)의 범위를 포함할 수 있다. 일부 구현예에서, 광원으로부터 방출된 광은 적외선 광(예를 들어, 근적외선, 적외선 및/또는 극적외선)으로서 방출될 수 있다. 다른 구현예에서, 가시광이 방출되어 수술 영역(16)을 비출 수 있다. 따라서, 조명 어셈블리(18)는 수술 영역(16) 내에서의 균일한 조명을 포함하는 다양한 조명 작업을 제공하도록 유연하게 적용될 수 있다. 또한, 본원에서 논의된 시스템은 객체 감지, 인식, 추적, 목록, 및 다양한 다른 비전 관련 애플리케이션을 포함하는 머신 비전의 다양한 애플리케이션에 대한 지원을 제공할 수 있다. 본원에서 논의된 조명 어셈블리 및 시스템에 의해 구현될 수 있는 조명 방법 및 관련 시스템의 상세한 예는, 미국 특허 제10,240,751 B2호, "조명 시스템 및 방법(Systems and methods of illumination)"에 제공되며, 이의 개시 내용은 그 전체가 참조로서 본원에 통합된다.

일부 구현예에서, 시스템(10)은 이미저(22)에 의해 캡처된 이미지 데이터를 향상시키도록 광원으로부터 방출된 광을 제어하고 조정할 수 있다. 예를 들어, 조명 어셈블리의 컨트롤러(12)는 다양한 파장의 광을 포함할 수 있도록 광원(들)(20)으로부터의 광 출력의 방출을 조정할 수 있으며, 이는 객체(26)의 유형이 이미지 데이터에서 개선된 강도 또는 상세도로 두드러지거나 나타나게 할 수 있다. 따라서, 조명 시스템(10)은 객체(26) 또는 유체, 생물학적 물질 등이 이들의 광 반사 특성과 관련하여 강조되도록 하기 위해, 시간 경과에 따라 수술 영역 내로 방출되는 광의 파장을 조정하도록 구성될 수 있다. 따라서, 시스템(10)은 이미지 데이터에서의 객체(26)의 식별을 보조하도록 조명의 변화를 이용할 수 있다. 이러한 방식으로, 조명 시스템(10)은 다양한 조명 작동 및 객체(26)의 감지를 제공하도록 유연하게 적용될 수 있다.

다양한 실시예에서, 조명 어셈블리(18)는 하나 이상의 액추에이터(42)의 제어에 의해, 광원(20)의 투사 방향을 조정할 수 있는 하나 이상의 위치 설정 어셈블리(40)로부터 위치 설정되거나 이에 매달릴 수 있다. 따라서, 위치 설정 어셈블리는 독립적으로 또는 임의의 조합으로 회전 및/또는 병진하도록 구성될 수 있다. 나타낸 바와 같이, 시스템(10)은 제1 위치 설정 기구 및 제2 위치 설정 기구를 포함할 수 있다. 일반적으로, 본원에서 논의된 위치 설정 어셈블리(40)는, 광원(20)으로부터 방출된 하나 이상의 광 방출(44)의 방향을 제어하도록 구성될 수 있다. 본원에서 설명되고 추가로 논의된 바와 같이, 각각의 광원(20)뿐만 아니라 위치 설정 어셈블리(40)는 컨트롤러(12)와 통신할 수 있고, 이는 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)을 비추도록 하나 이상의 광 방출(44)의 방향을 제어하도록 구성될 수 있다.

다양한 구현예에서, 하나 이상의 위치 설정 어셈블리(40)는 하나 이상의 액추에이터(42a 및 42b)의 이동(예를 들어, 회전 작동)에 반응하여 조작되거나 조정될 수 있는, 하나 이상의 짐발형 아암을 포함할 수 있다. 이러한 구성에서, 컨트롤러(12)는, 조명 어셈블리(18)의 배향을 조작하도록 각각의 액추에이터(42a 및 42b)를 제어하도록 구성될 수 있다. 이러한 방식으로, 위치 설정 어셈블리(40)는, 제1 축(48a) 및 제2 축(48b)을 중심으로 조명 어셈블리(18)의 회전을 제어할 수 있다. 액추에이터(42a 및 42b)의 이러한 조작은, 수술실(14)의 다양한 부분 또는 수술 영역(16)을 선택적으로 비추도록 컨트롤러(12)로 하여금 광원(20)을 유도하게 할 수 있다.

본원에서 논의된 위치 설정 어셈블리(40) 및 액추에이터(42a 및 42b)는 하나 이상의 전기 모터(예를 들어, 서보 모터, 스텝퍼 모터 등)에 상응할 수 있다. 따라서, 각각의 위치 설정 어셈블리(40)(예를 들어, 액추에이터(42))는, 조명 어셈블리(18)를 지지할 수 있는 다른 지지 구조체 또는 조명 어셈블리(18)의 경계 제약 조건 내에서 또는 360도로 조명 모듈을 회전시키도록 구성될 수 있다. 컨트롤러(12)는, 광원(20)의 광 방출(44)를 유도하도록 조명 어셈블리(18)의 모터 또는 액추에이터(42)를 제어하여 수술실(14) 내의 원하는 위치를 표적화할 수 있다. 원하는 위치로 표적화하도록 조명 모듈(46)을 정확하게 유도하기 위해서, 컨트롤러(12)는 수술실(14)의 좌표계(28) 내의 위치를 표적화하기 위해 조명 모듈(46)의 위치를 제어하도록 교정될 수 있다. 이러한 시스템의 교정은, 시간이 지남에 따라 발생할 수 있는 위치 설정 어셈블리(40)와 액추에이터(42)의 작동시 변동에 기인한 교정 업데이트 또는 보완 형태의 유지 보수를 요구할 수 있다.

여기에서 도 1 및 도 3을 참조하면, 일부 구현예에서, 조명 시스템(10)은 객체(26)를 감지하고 조명 어셈블리(18)의 조명을 제어하도록 이미지 데이터를 처리할 수 있다. 이미저(22)는, 조명 시스템(10)의 컨트롤러(12)에 이미지 데이터를 전달하도록 구성될 수 있다. 컨트롤러(12)는 메모리 및 프로세서를 포함할 수 있다. 메모리는 프로세서에 의해 제어되는 컴퓨터 실행가능 명령어(예를 들어, 루틴)를 저장할 수 있다. 다양한 실시예에 따라, 메모리는 광 제어 루틴 및/또는 이미지 분석 루틴을 포함할 수 있다. 이미지 분석 루틴은 이미저(22)로부터 데이터를 처리하도록 구성된다. 예를 들어, 이미지 분석 루틴은, 수술 영역(16)의 그림자 및 광도, 안내 시스템으로부터의 광, 관심 지점 위치(예를 들어, 테이블(36) 주위의 사용자) 및/또는 사용자로부터의 제스처를 식별하도록 구성될 수 있다. 또한, 컨트롤러(12)는, 라이브러리(32)에 정의된 객체(26)를 식별하도록 구현될 수 있는, 머신 러닝을 통해 학습된 감지 모델 또는 다양한 사전 학습된 감지 모델을 포함하지만 이에 한정되지 않는, 하나 이상의 객체 감지 알고리즘을 적용하도록 구성될 수 있다. 객체의 식별을 위해 구현될 수 있는 사전 학습된 모델의 예는 다음을 포함할 수 있지만, 이에 한정되지 않는다: LeNet, AlexNet, ZF Net, GoogleNet, VGGNet, ResNet, 등. 일단 이미지 분석 루틴이 이미저(들)(22)로부터의 데이터를 처리하면, 광 제어 루틴은 위치 설정 어셈블리(40)이 어떻게 작동할 것인지를 제어할 수 있다. 예를 들어, 광 제어 루틴은 조명 어셈블리(18)를 움직이거나, 운전하거나, 활성화시키거나 달리 영향을 끼쳐 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)의 위치에서 광을 방출하도록 구성될 수 있다.

이미저(22)는 각각의 조명 어셈블리(18) 상에 통합되는 것으로 논의되지만, 시스템(10)은 수술실(14) 내의 임의의 위치로부터의 이미지 데이터를 캡처하도록 구성될 수 있다. 각각의 이미저(22)로부터의 이미지 데이터 및 조명 어셈블리(18)의 작동을 처리하고 조정하기 위해, 각각의 컨트롤러(12)는 중앙 컨트롤러(50)와 통신하고 이를 통해 제어될 수 있다. 이러한 구현예에서, 중앙 컨트롤러(50)는 하나 이상의 이미저(22)로부터의 이미지 데이터를 처리하고, 복수의 조명 어셈블리 및 위치 설정 어셈블리(40)의 액추에이터(42) 각각에 대한 제어 신호를 전달하도록 구성될 수 있다. 따라서, 시스템(10)은 본 개시의 사상을 벗어나지 않고 다양한 유익한 실시예에서 구현될 수 있다.

컨트롤러(12) 및 중앙 컨트롤러(50)에 대한 특정 참조로 논의되었지만, 본원에서 논의된 시스템 및 장치의 다양한 작동 중 다수는 일반적으로 컨트롤러(12)로서 본원에서 지칭될 수 있는 하나 이상의 컴퓨터화된 제어 장치에 기초하여 작동할 수 있다. 설명된 바와 같은 용어 "컨트롤러"는, 본원에 기술된 다양한 작동을 제어하기 위해 하나 이상의 메모리 장치, 데이터베이스, 서버 등과 통신할 수 있는 다양한 프로세싱 모듈(예를 들어, 프로세서, 마이크로프로세서, 집적 회로 등)을 지칭할 수 있음을 이해할 것이다. 컨트롤러(12) 및 본원에서 논의된 시스템의 작동에 관한 추가 설명은 도 5에서 추가로 상세히 제공된다.

일부 구현예에서, 시스템(10)은, 광원(20)으로부터 방출된 광이 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)을 비추는 것을 방해할 수 있는 하나 이상의 장애물(52)을 식별하도록 이미지 데이터를 추가로 처리할 수 있다. 장애물(52)은 조명 어셈블리(18)로부터 방출된 하나 이상의 펄스 적외선 방출을 감지하는 것에 응답하여 식별될 수 있다. 예를 들어, 중앙 컨트롤러(50)는 좌표계(28)를 참조하여 이미지 데이터를 처리함으로써 적외선 방출이 장애물(52)과 교차하는 지점의 대략적인 위치를 식별하도록 교정될 수 있다. 이러한 방식으로 중앙 컨트롤러(50)는 좌표계(28)에 대한 장애물(52)의 위치를 검출할 수 있기 때문에, 광의 대체 궤적이 계산되고 이미지 데이터에서 모니터링되어 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)을 성공적으로 비출 수 있다.

시스템(10)의 제어를 위한 방법(60)에 대한 흐름도가 도 3에 나타나 있다. 작동 시, 방법(60)은 이미저(22)로부터 이미지 데이터(62)를 수신하는 컨트롤러(12)에 응답하여 시작할 수 있다. 추가적으로, 컨트롤러(12)는 또한 특정 절차 활동, 수술실 또는 구역, 또는 시스템(10)의 환경과 연관된 객체 라이브러리(32)의 연관된 객체(32a)를 식별할 수 있는 프로그래밍 정보(64)를 수신할 수 있다. 일단 수신되면, 컨트롤러는 이미지 데이터(62)를 처리하는 단계를 시작할 수 있고, 본원에서 논의된 바와 같은 하나 이상의 객체 인식 알고리즘에 기초하여 수술 영역(16)에서 감지된 객체(26)를 식별하는 단계를 수행할 수 있다(66). 전술한 바와 같이, 수술 영역(16)에서 감지된 객체(26)는 연관된 객체(32a), 예상하지 못한 객체(32b), 및 식별되지 않은 객체(34)로서 카테고리화될 수 있다(68). 또한, 객체(26)는 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)과 연관된 것으로 분류될 수 있으며, 이들 각각은 조명 알고리즘을 통해 조명에 우선시될 수 있고/있거나 다양한 목적을 위해 추적 및 분석될 수 있다. 따라서, 수술 영역(16)에서 감지된 객체(26)는 시간 경과에 따라 카테고리화되고 추적될 수 있으며, 메모리 또는 데이터베이스에 기록되어 수술 영역(16)에서 완료된 활동에 관한 정보를 제공할 수 있다(70).

전술한 바와 같이, 식별되지 않은 객체(34)는 하나 이상의 특징부(예를 들어, 선, 텍스트, 암호화된 정보) 또는 가시적인 특징의 조합에 기초하여 추적될 수 있다. 이러한 방식으로, 식별되지 않은 객체(34)는 단계(70)에서 감지를 기록하는 이미지 데이터와 함께 메모리 또는 데이터베이스 내에 기록될 수 있다. 또한, 시스템(10)의 객체 인식 또는 컴퓨터 비전 알고리즘은 객체 라이브러리(32)를 확장하기 위한 학습 데이터로서 이미지 데이터(62) 및 식별되지 않은 객체(34)에 대해 캡처된 움직임 데이터를 이용할 수 있다. 이러한 방식으로, 시스템(10)은 객체 라이브러리(32)를 개선함으로써 시간 경과에 따라 작동 효능 및 성능을 개선하도록 구성될 수 있다. 객체 라이브러리(32)에 대한 이러한 추가는 시스템(10)의 소유자에 의해 개인적으로 유지될 수 있거나, 본원에서 논의된 시스템(10)의 각각의 설치의 작동을 개선할 수 있도록 중앙 데이터베이스에 업로드될 수 있다.

일단 객체(26)가 이미지 데이터(62)에서 감지되면, 시스템(10)은 객체(26)의 위치 및 움직임을 계속 모니터링할 수 있다(72). 일단 식별되면, 컨트롤러는 메모리 또는 데이터베이스에서 객체(26) 각각에 대한 위치 및 움직임 데이터를 추가로 기록하고 저장할 수 있다(74). 움직임 및 위치 추적은 목록 및 인원 추적에 이용될 수 있으며, 이는 효율성을 개선하고, 폐기물을 감소시키고, 활동을 기록하도록 구현될 수 있다. 또한, 이러한 활동을 추적하는 동안, 조명에 대해 지정된 하나 이상의 객체(26)가 단계(76) 내지 단계(80)을 참조하여 논의된 바와 같이 일관되고 효율적으로 조명되는 것을 보장하도록, 시스템(10)은 조명 어셈블리(18)를 제어할 수 있다.

객체(26)가 식별된 경우, 시스템(10)은 객체(26)의 위치를 추가로 추적할 수 있고, 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)의 조명을 우선순위화할 수 있다(76). 객체(26)의 위치 및 우선순위가 결정되면, 시스템(10)의 컨트롤러(들)(12)는 위치 설정 어셈블리(40)의 액추에이터(42)를 제어하여 조명 어셈블리(18)가 객체(26)를 비추도록 지시할 수 있다(78). 객체(26)를 비추는 동안, 컨트롤러(들)(12)는 이미지 데이터를 계속 모니터링하여, 불일치를 감소시키고, 그림자를 완화하며, 조명 어셈블리(18)로부터 객체(26)로의 방해받지 않는 경로를 식별하여 장애물에 의한 간섭을 제한함으로써 조명 어셈블리의 조명 성능을 결정하고 개선할 수 있다(80). 감지된 불일치, 그림자 및 장애물에 기초하여, 방법(60)은 이미지 데이터에 기초하여 각각의 조명 어셈블리에 대한 조명 제어 알고리즘을 최적화함으로써 수술 영역(16)의 조명을 계속 최적화할 수 있으며, 이는 또한 표적 영역(30a), 중요 객체(30b), 및/또는 추적된 사람(30c)의 움직임을 추적하는 데 이용될 수 있다(82). 또한, 방법(60)은, 시스템(10)의 조명 및 감지 성능을 최적화하도록 객체의 인식을 위한 조명 알고리즘 또는 연관된 학습된 모델의 조명 제어 계수를 업데이트할 수 있다(84).

도 4를 참조하면, 조명 시스템(10)을 위한 예시적인 수술 영역(90)의 입면도가 조명 루틴 및 객체 추적 작동을 시연하는 것으로 도시되어 있다. 도시된 바와 같이, 도 4는 수술 영역(16) 내에 위치한 복수의 사람(26c)을 나타낸다. 전술한 바와 같이, 조명 시스템(10)은 표적 영역(30a)의 일관된 조명을 제공하도록 구성될 수 있으며, 이 경우 환자(92)의 형태인 중요 객체(30b)를 포함한다. 이러한 구성에서, 조명 어셈블리(18)의 컨트롤러(들)는 표적 영역(30a) 내 조명의 우선순위를 정할 수 있고, 표적 영역(30a) 내의 환자(92) 또는 지정된 부분 또는 중요 객체(30b)의 조명의 우선순위를 추가로 정할 수 있다. 본원에서 논의된 바와 같은 우선순위화는 조명을 위한 표적 영역(30a) 및/또는 객체(26)의 상대적인 중요성 또는 중요도 순서를 나타낸다. 객체(26) 및/또는 표적 영역(30a) 사이의 우선순위화에 기초하여, 우선순위화된 순서에 따라 수술 영역(16)의 식별된 양태를 조명하도록 어떠한 표적 영역(30a) 및/또는 객체(26)를 선택하기 위해, 시스템(10)의 컨트롤러(들)(12)는 조명 어셈블리(18)를 선택적으로 제어할 수 있고, 광원(예를 들어, 방출(44)의 수 및 범위)을 최선으로 인가할 수 있다. 이러한 방식으로, 시스템(10)은 조명을 위한 수술 영역(16)의 표적 영역 및 객체(26)를 모니터링할 수 있고, 이용 가능한 광원(예를 들어, 조명 어셈블리(18)의 개수, 위치 및 조명 범위)에 기초하여 조명의 우선순위를 정할 수 있다.

일부 구현예에서, 조명을 위한 표적 영역(30a)은 시선 또는 초점 영역(94)을 포함할 수 있으며, 이는 수술 영역(16)에서 사람(26c)의 시선 방향(96)으로서 정의될 수 있다. 예를 들어, 의사(98) 또는 다른 추적된 사람(30c)의 시선 방향(96)은 사람(26c)의 위치 및 사람(26c)의 머리의 배향(100)에 기초하여 결정될 수 있다. 머리의 배향(100) 또는 각도는 사람의 위치(26c)에 대한 각도 방향 또는 시선 방향(96)으로서 이미지 데이터(예를 들어, 눈, 눈썹, 코 등) 내의 하나 이상의 특징부에 의해 식별될 수 있다. 따라서, 조명 시스템(10)은 시선 방향(96)을 따라 사람(26c) 또는 의사(98)의 소정의 근접 범위 내에서의 영역을 비추기 위해 시선 방향(96)을 추적할 수 있고, 광원을 표적화할 수 있다. 유사하게, 조명 시스템(10)은 시선 방향(96)을 추적할 수 있고, 시선 방향(96)과 표적 영역(30a) 또는 객체(26) 사이의 교차점(102)을 포함하는 수술 영역(16)의 일부를 비출 수 있다. 이러한 방식으로, 시스템(10)의 컨트롤러(들)(12)는 표적 영역(30a) 내의 사람(26c)의 시선 방향(96)을 우선순위화하여 수술 영역(16)의 조명을 추가로 우선순위화할 수 있다.

전술한 바와 같이, 일부 경우, 시스템(10)은 또한 수술 영역(16) 내에서 사람(26c), 예를 들어 추적된 사람(30c)의 움직임을 추적하도록 구성될 수 있다. 도 4에 도시된 바와 같이, 시스템(10)의 컨트롤러(들)(12)는 경로(104), 변곡 또는 기립 위치(106), 및 추적된 사람(30c)에 의해 이동된 거리를 추적하고 기록하도록 구성될 수 있다. 이러한 방식으로, 시스템(10)은 이미지 데이터에서 식별된 사람(26c)의 위치 변화에 기초하여 추적된 사람(30c)의 움직임 통계를 기록하도록 구성될 수 있다. 일부 경우, 조명 시스템(10)은 수술 영역(16)을 위한 조명 체계의 일부로서 경로(104)를 비추도록 식별된 위치를 이용할 수 있다. 그러나, 시스템(10)은 움직임 통계를 추가로 활용하여, 사람(26c)의 과도하거나 반복적인 움직임을 표시하도록 가장 많이 움직이는 수술 영역(16) 내의 객체(26)를 식별할 수 있다. 일부 경우, 시스템(10)은, 불필요한 움직임을 제한하기 위해 객체(26) 또는 사람(26c)(예를 들어, 의사(98), 리더, 등)에 대한 최적화된 위치를 제안하도록 객체(26) 또는 사람(26c)과 관련하여 추적된 사람(30c)의 조정된 움직임을 식별할 수 있다. 따라서, 시스템(10)은 개선을 위한 영역을 식별하거나, 수술 영역(16)에서의 움직임을 제한하기 위해 객체(26)에 대한 재배치 위치를 자동으로 제안하기 위해, 다수의 추적 및 분석 작업을 제공할 수 있다.

도 5를 참조하면, 조명 시스템(10)의 블록 다이어그램이 나타나 있다. 본원에서 논의된 바와 같이, 조명 시스템(10)은, 수술실(14) 및/또는 수술 영역(16)으로부터 이미지 데이터를 캡처하도록 구성된 하나 이상의 이미저(22)를 포함할 수 있다. 이미저(22)는, 조명 시스템(10)의 컨트롤러(12)에 시각 정보를 전달하도록 구성될 수 있다. 컨트롤러(12)는 메모리(120) 및 프로세서(122)를 포함할 수 있다. 메모리(120)는, 프로세서(122)에 의해 제어되는 컴퓨터 실행가능 명령어(예를 들어, 루틴)를 저장할 수 있다. 다양한 실시예에 따라, 메모리(120)는 광 제어 루틴 및/또는 이미지 분석 루틴을 포함할 수 있다. 예시적인 구현예에서, 메모리(120)는 제어 방법(60)을 포함할 수 있다.

일단 이미지 분석 루틴이 이미지 데이터를 이미저(22)로부터 처리했으면, 컨트롤러(12)는 하나 이상의 제어 명령을 모터 또는 액추에이터 컨트롤러(124)에 전달할 수 있다. 제어 신호에 반응하여, 액추에이터 컨트롤러(124)는 액추에이터(42) 또는 위치 설정 어셈블리(40)를 제어하여 조명 어셈블리(18)의 배향을 이동시키거나, 운전하거나, 또는 달리 조정할 수 있다. 이러한 방식으로, 컨트롤러(12)는 조명 어셈블리(18)를 유도하여 광 방출(44)를 방출하고/방출하거나 시야(24)를 원하는 위치로 유도할 수 있으며, 이는 본원에서 논의된 바와 같은 다양한 객체 또는 표적 영역의 위치에 상응할 수 있다. 시스템(10)은 하나 이상의 전력 공급부(126)를 추가로 포함할 수 있다. 전력 공급부(126)는, 조명 어셈블리(18)뿐만 아니라 액추에이터(42) 또는 위치 설정 어셈블리(40)의 다양한 구성 요소에 대해 하나 이상의 전력 공급부 또는 발라스트를 제공할 수 있다.

본원에서 논의된 바와 같이, 컨트롤러(12) 및/또는 중앙 컨트롤러(50)는 하나 이상의 프로세서(122)를 포함할 수 있다. 프로세서(들)(122)는 마이크로프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서, 마이크로컴퓨터, 중앙 프로세싱 유닛, 필드 프로그램 가능 게이트 어레이, 프로그램 가능 로직 장치, 상태 기계, 로직 회로, 아날로그 회로, 디지털 회로, 및/또는 하나 이상의 애플리케이션, 유틸리티, 운영 체제 및/또는 다른 명령어와 같은 작동 명령어에 기초하여 신호(아날로그 및/또는 디지털)를 조작하는 임의의 장치일 수 있다. 메모리(120)는 단일 메모리 장치 또는 온-칩 또는 오프-칩인 복수의 메모리 장치일 수 있다. 이러한 메모리 장치는 읽기 전용 메모리, 무작위 액세스 메모리, 휘발성 메모리, 비휘발성 메모리, 정적 메모리, 동적 메모리, 플래시 메모리, 및/또는 디지털 정보를 저장하는 임의의 장치일 수 있다. 따라서, 본원에서 논의된 프로세싱 및 제어 단계 각각은 메모리(120)에서 액세스될 수 있는 하나 이상의 루틴, 알고리즘, 프로세스 등에 기초하여 본원에서 논의된 바와 같은 프로세서 또는 프로세싱 유닛 중 하나 이상에 의해 완료될 수 있다.

일부 구현예에서, 시스템(10)은, 프로세서(122)와 통신할 수 있는 하나 이상의 통신 회로(128)를 추가로 포함할 수 있다. 통신 회로(128)는, 데이터 및 제어 정보를 디스플레이 또는 사용자 인터페이스(130)에 전달하여 시스템(10)을 작동시키도록 구성될 수 있다. 인터페이스(130)는, 시스템(10)을 제어하고 데이터를 전달하도록 구성된 하나 이상의 입력부 또는 작동 요소를 포함할 수 있다. 통신 회로(128)는, 조명 어셈블리의 어레이로서 조합되어 작동할 수 있는 추가 조명 어셈블리(18)와 추가로 통신할 수 있다. 통신 회로(128)는 다양한 통신 프로토콜을 통하여 통신하도록 구성될 수 있다. 예를 들어, 통신 프로토콜은 공정 자동화 프로토콜, 산업 시스템 프로토콜, 차량 프로토콜 버스, 소비자 통신 프로토콜 등에 대응할 수 있다. 추가적인 프로토콜은 MODBUS, PROFIBUS, CAN 버스, DATA HIGHWAY, DeviceNet, 디지털 멀티플렉싱(DMX512), 또는 다양한 형태의 통신 표준을 포함할 수 있다.

다양한 실시예에서, 시스템(10)은, 다양한 기능을 제공하도록 시스템(10) 내에 통합될 수 있는 다양한 추가 회로, 주변 장치, 및/또는 부속품을 포함할 수 있다. 예를 들어 일부 실시예에서, 시스템(10)은, 모바일 디바이스(134)와 통신하도록 구성된 무선 트랜시버(132)를 포함할 수 있다. 이러한 실시예에서, 무선 트랜시버(132)는 통신 회로(128)와 유사하게 작동할 수 있고, 시스템(10)을 작동시키기 위한 데이터 및 제어 정보를 모바일 디바이스(134)의 디스플레이 또는 사용자 인터페이스로 전달할 수 있다. 무선 트랜시버(132)는 하나 이상의 무선 프로토콜(예를 들어, 블루투스®; Wi-Fi(802.11a, b, g, n 등); ZigBee®; 및 Z-Wave®; 등)를 통해 모바일 디바이스(134)와 통신할 수 있다. 이러한 구현예에서, 모바일 디바이스(134)는 스마트폰, 태블릿, 개인 데이터 보조기(PDA), 랩톱 등에 해당할 수 있다.

본원에서 논의된 바와 같이, 시스템(10)은 하나 이상의 서버 또는 원격 데이터베이스(136)를 포함하거나 이들과 통신할 수 있다. 원격 데이터베이스(136)는 환자 데이터베이스에 해당할 수 있으며, 환자(92)의 신원을 인증하도록 구성된 식별 정보를 포함할 수 있다. 시스템(10)의 컨트롤러(12)는 통신 회로(128) 및/또는 무선 트랜시버(132)를 통해 원격 데이터베이스(136)와 통신할 수 있다. 이 구성에서, 스캐닝 또는 이미지 데이터가 일단 캡처되면, 컨트롤러(12)는 원격 데이터베이스(136)에 이용 가능한 식별 템플릿 또는 프로세싱 자원을 통해 하나 이상의 객체를 식별하도록 구성될 수 있다.

다양한 구현예에서, 광원(20)은 특정한 액정 디스플레이(LCD), 레이저 다이오드, 발광 다이오드(LED), 백열광원, 가스 방전 램프(예를 들어, 제논, 네온, 수은), 할로겐 광원, 및/또는 유기 발광 다이오드(OLED)를 포함하지만 이에 한정되지 않는, 임의 회전성의 비 편광되고/되거나 편광된 광을 생성하도록 구성될 수 있다. 광원(20)의 편광된 광의 실시예에서, 광원(20)은 광의 제1 회전성 편광을 방출하도록 구성된다. 다양한 실시예에 따라, 광의 제1 회전성 편광은 원형 편광 및/또는 타원형 편광을 가질 수 있다. 전자기학에서, 광의 원형 편광은, 각각의 지점에서 광파의 전기장은 일정한 크기를 가지나 이의 방향은 시간에 따라 광파의 방향에 수직인 평면에서 일정한 속도로 회전하는 편광 상태이다.

논의된 바와 같이, 조명 어셈블리(18)는 하나 이상의 광원(20)을 포함할 수 있다. 복수의 광원(20)을 포함하는 실시예에서, 광원(20)은 어레이로 배열될 수 있다. 예를 들어, 광원(20)의 어레이는 약 1 x 2 내지 약 100 x 100의 어레이 및 그 사이의 모든 변형을 포함할 수 있다. 이와 같이, 광원(20)의 어레이를 포함하는 조명 어셈블리(18)는 픽셀화된 조명 어셈블리(18)로 알려질 수 있다. 임의의 조명 어셈블리(18)의 광원(20)은 고정형이거나 개별적으로 관절형일 수 있다. 광원(20)은 모두 관절형일 수 있거나, 일부가 관절형일 수 있거나, 또는 모두 관절형이지 않을 수 있다. 광원(20)은 전기 기계적(예를 들어, 모터) 및/또는 (예를 들어, 사용자에 의한) 수동적 관절형일 수 있다. 광원(20)의 정적, 또는 고정된 실시예에서, 광원(20)은 다양한 소정의 지점(예를 들어, 환자(92) 및/또는 테이블(36) 상에)에 집중될 수 있도록 할당될 수 있다.

당업자 및 본 발명을 만들고 사용하는 자에 의해 본 발명의 변형이 나타날 것이다. 따라서, 도면에 도시되고 전술한 실시예는 단지 예시의 목적을 위한 것이며 본 개시의 범주를 제한하려는 것이 아님을 이해해야 하며, 본 개시의 범주는 균등론을 포함한 특허법의 원칙에 따라 해석되는 대로의 다음 청구범위에 의해 정해진다.

기술된 본 발명의 구성 및 다른 부품들은 임의의 특정 재료에 한정되지 않는다는 것을 해당 기술 분야에서 통상의 지식을 가진 사람은 이해할 것이다. 본원에서 달리 설명되지 않는 한, 본원에서 개시된 개시 내용의 다른 예시적인 실시예는 매우 다양한 물질로 형성될 수 있다.

본 발명의 목적을 위해, 용어 "결합된"(결합, 결합의, 결합되는 등과 같은 모든 형태의)은 일반적으로 두 개의 구성 요소를 직접적 또는 간접적으로(전기적 또는 기계적) 연결하는 것을 의미한다. 이러한 연결은 본래 고정적일 수 있고 본래 동적일 수 있다. 이러한 연결은 (전기적인 또는 기계적인) 두 개의 구성 요소, 및 서로 또는 두 개의 구성 요소와 하나의 단일체로서 일체로 형성되는 임의의 추가 중간 부재들에 의해 달성될 수 있다. 이와 같은 연결은 달리 명시되지 않는 한 본래 영구적일 수 있고 본래 제거 가능하거나 해제 가능할 수 있다.

예시적인 구현예에 도시된 바와 같이, 본 발명의 요소의 구성 및 배열은 단지 예시적인 것임을 주목하는 것이 또한 중요하다. 본 발명의 단지 몇몇 구현예들이 본 개시에서 상세히 설명되었지만, 본 개시를 검토하는 당업자라면 인용된 주제의 신규한 교시 및 이점을 실질적으로 벗어나지 않고 많은 변형(예를 들어, 다양한 요소들의 크기, 치수, 구조, 모양 및 비율, 파라미터 값, 장착 배열, 재료의 사용, 색상, 방향 등의 변동)이 가능하다는 것을 용이하게 이해할 것이다. 예를 들어, 일체형으로 형성된 요소는 다수의 부분으로 구성될 수도 있고 또는 다수의 부분으로 도시된 요소는 일체형으로 형성될 수도 있으며, 인터페이스의 동작은 반전되거나 그렇지 않으면 변화될 수도 있으며, 구조 및/또는 부재 또는 연결 부품 또는 시스템(10)의 다른 구성 요소의 길이 또는 폭은 변화될 수 있고, 그리고 요소 사이에 제공된 조정 위치의 성질 또는 부호가 변경될 수도 있다. 시스템(10)의 요소 및/또는 어셈블리는 임의의 매우 다양한 색상, 질감, 및 이들의 조합으로 충분한 강도나 내구성을 제공하는 임의의 매우 다양한 재료로부터 구성될 수 있음을 주목해야 한다. 따라서, 그러한 모든 변형은 본 발명의 범위 내에 포함되는 것으로 의도된다. 다른 치환, 변형, 변화, 및 생략은 본 발명의 사상을 벗어나지 않고 원하는 그리고 다른 예시적인 실시예들의 설계, 작동 상태 및 배열에서 이루어질 수 있다.

임의의 기술된 공정, 또는 기술된 공정 내의 임의의 단계는 본 발명의 범위 내에서 구조물을 형성하기 위해 다른 개시된 공정 또는 단계와 결합될 수도 있음을 이해할 것이다. 본원에 개시된 예시적인 구조 및 공정은 예시적인 목적을 위한 것이며 제한하는 것으로 해석되어서는 안 된다.

또한 본 개시의 개념을 벗어나지 않고 변형 및 수정이 전술한 구조 및 방법에서 이루어질 수 있다는 것을 이해해야 하며, 또한 그러한 개념은 아래의 청구범위가 그들의 언어로 명시적으로 달리 언급되지 않는 한 아래의 청구범위에 의해 포괄되도록 의도되는 것으로 이해해야 한다. 게다가, 이하에서 제시될 청구범위는 발명을 실시하기 위한 구체적인 내용의 일부로 포함되어 이들을 구성한다.

본원에 사용된 용어 "약"은, 양, 크기, 조제, 파라미터 및 기타 양 및 특성이 정확하지는 않으며 정확할 필요는 없지만, 바라건대 허용 오차, 변환 인자, 반올림, 측정 오차 등 그리고 당업자에게 알려진 다른 인자처럼 근사치이고/근사치이거나 더 크거나 더 작을 수 있음을 의미한다. 범위의 값 또는 종점을 설명할 때의 "약"이라는 용어를 사용하는 경우에, 본 개시는 언급된 특정 값 또는 종점을 포함하는 것으로 이해해야 한다. 명세서에서 범위의 수치 또는 종단점이 "약"을 암시하든 안하든, 범위의 수치 또는 종점은 두 개의 구현예를 포함하는 것으로 의도된다: "약"으로 수정된 하나와 "약"으로 수정되지 않은 하나. 범위 각각의 종점은 다른 종점과 관련하여, 그리고 다른 종점과는 독립적으로 모두 중요함을 더 이해할 것이다.

본원에서 사용된 용어 "실질적", "실질적으로", 및 이들의 변형은 기술된 특징이 값 또는 설명과 동일하거나 거의 동일함을 나타내기 위한 것이다 예를 들어, "실질적으로 평면인" 표면은 평면 또는 거의 평면인 표면을 나타내는 것으로 의도된다. 또한, "실질적으로"는 2개의 값이 동일하거나 거의 동일하다는 것을 나타내는 것으로 의도된다. 일부 실시예에서, "실질적으로"는 서로 약 5% 이내 또는 서로 약 2% 이내와 같이 서로 약 10% 이내의 값을 나타낼 수 있다.

Claims

수술 영역을 모니터링하고 비추기 위한 조명 시스템으로서, 상기 시스템은,
상기 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리;
상기 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미저;
상기 조명 어셈블리 및 상기 이미저와 통신하는 컨트롤러를 포함하되, 상기 컨트롤러는,
상기 시야에서 캡처된 이미지 데이터를 처리하고;
객체 라이브러리에 기초하여 상기 이미지 데이터에서 감지된 복수의 객체를 식별하고;
상기 복수의 객체 각각의 위치를 추적하고;
상기 객체 각각의 위치를 저장하도록 구성되는,
시스템.
제1항에 있어서, 상기 컨트롤러는 상기 수술 영역에서 복수의 사람의 신원을 결정하도록 추가로 구성되는, 시스템.
제2항에 있어서, 상기 컨트롤러는 상기 복수의 사람이 상기 복수의 사람 각각의 신원에 기초하여 인가된 인력인지의 여부를 결정하도록 추가로 구성되는, 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 수술 영역에서 상기 객체 중 하나 이상에 의해 이동된 거리를 추적하도록 추가로 구성되는, 시스템.
제4항에 있어서, 상기 거리는 상기 수술 영역에서 식별된 상기 객체의 하나 이상의 누적 움직임에 기초하여, 상기 객체의 하나 이상의 누적 움직임에 기초하여 추적되는, 시스템.
제5항에 있어서, 상기 컨트롤러는 상기 누적 움직임의 정도에 기초하여 움직임이 많은 객체를 식별하도록 추가로 구성되는, 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 이미지 데이터에서 식별된 복수의 객체 중 2개 이상의 추적된 객체의 상대적인 움직임을 추적하도록 추가로 구성되는, 시스템.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 이미지 데이터에서 적어도 하나의 사람의 시선을 식별하고, 상기 적어도 하나의 조명 어셈블리를 제어하여 상기 적어도 하나의 사람으로부터 소정의 거리에서 상기 시선의 일부를 비추도록 추가로 구성되는, 시스템.
제8항에 있어서, 상기 시선은 상기 수술 영역에서 상기 사람의 위치 및 상기 사람의 머리의 배향에 기초하여 상기 이미지 데이터에서 식별되는, 시스템.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 컨트롤러는 적어도 하나의 사람의 시선과 상기 복수의 객체 또는 상기 이미지 데이터에서 식별된 영역의 적어도 하나의 추가 객체 사이의 교차점을 식별하도록 추가로 구성되는, 시스템.
제10항에 있어서, 상기 컨트롤러는 상기 조명 어셈블리를 제어하여 상기 시선과 상기 적어도 하나의 추가 객체 사이의 교차점을 비추도록 추가로 구성되는, 시스템.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 수술 영역에서의 사용을 위한 사전 승인된 연관된 객체를 식별하는 객체 정보에 액세스하도록 추가로 구성되는, 시스템.
제12항에 있어서, 상기 컨트롤러는,
상기 식별된 객체를 상기 사전 승인된 객체와 비교하고;
상기 비교에 기초하여, 사전 승인되지 않은 라이브러리에서 예상하지 못한 객체를 식별하도록 추가로 구성되는, 시스템.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 객체 라이브러리에 포함되지 않은 상기 이미지 데이터에서 식별되지 않은 객체를 감지하도록 추가로 구성되는, 시스템.
제14항에 있어서, 상기 컨트롤러는 상기 식별되지 않은 객체를 감지하는 것에 응답하여, 상기 식별되지 않은 객체의 대표적인 특징을 포함하는 인식 이미지 데이터를 기록하되, 상기 컨트롤러는 상기 인식 이미지 데이터 및 상기 식별되지 않은 객체에 대한 속성 아이덴티티를 처리하도록 추가로 구성되는, 시스템.
수술 영역을 모니터링하고 비추기 위한 조명 시스템으로서,
상기 수술 영역의 일부에 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리;
상기 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미저;
상기 조명 어셈블리 및 상기 이미저와 통신하는 컨트롤러를 포함하되, 상기 컨트롤러는,
상기 시야에서 캡처된 이미지 데이터를 처리하고;
객체 라이브러리에 기초하여 상기 이미지 데이터에서의 감지된 복수의 객체를 식별하고, 상기 복수의 객체에 대한 객체 정보에 액세스하고;
일정 기간에 걸쳐 상기 복수의 객체 각각의 균형 결정을 완료하되, 상기 균형 결정은 상기 객체 각각의 처리, 저장 또는 임플란트 위치를 식별하는,
조명 시스템.
제16항에 있어서, 상기 균형 결정은 상기 이미지 데이터에서 식별된 객체를 상기 객체 정보에서 식별된 할당된 위치와 비교하고, 상기 컨트롤러는 상기 균형 결정에 기초하여 불균형을 식별하도록 추가로 구성되되, 상기 불균형은 상기 객체 중 하나가 상기 객체와 연관된 상기 할당된 위치에 위치되지 않는다는 표시를 포함하는, 시스템.
수술 영역을 비추도록 구성된 조명 장치로서, 상기 장치는,
상기 수술 영역의 일부에 적어도 하나의 광 방출을 선택적으로 유도하도록 구성된 적어도 하나의 조명 공급원을 포함하는 적어도 하나의 조명 어셈블리;
상기 수술 영역의 시야에서 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미저;
상기 조명 어셈블리 및 상기 이미저와 통신하는 컨트롤러를 포함하되, 상기 컨트롤러는,
상기 시야에서 캡처된 이미지 데이터를 처리하고;
객체 라이브러리 및 상기 복수의 객체에 대한 액세스 객체 정보에 기초하여 상기 이미지 데이터에서 감지된 복수의 객체를 식별하되, 상기 객체 데이터는 상기 수술 영역에서 사용하기 위해 사전 승인된 연관된 객체로서 상기 복수의 객체를 식별하고;
상기 식별된 객체를 상기 객체 정보에서 식별된 상기 연관된 객체와 비교하고;
상기 비교에 기초하여, 상기 객체 데이터에 기초하는 사전 승인된 것으로 식별되지 않는 상기 라이브러리에서 예상하지 못한 객체를 식별하고;
상기 예상하지 못한 객체의 식별에 응답하여, 상기 적어도 하나의 광 방출로 상기 예상하지 못한 물체를 비추도록 구성되는,
조명 장치.
제18항에 있어서, 상기 적어도 하나의 조명 공급원은 제1 색을 갖는 제1 방출 및 제2 색을 갖는 제2 방출로 상기 수술 영역 내의 객체를 비추도록 구성된 복수의 조명원을 포함하되, 상기 제1 방출은 상기 수술 영역 내로 투사되고 표적 영역을 비추며, 상기 제2 방출은 상기 예상하지 못한 객체로 유도되고 이를 비추는, 시스템.
제18항 내지 제19항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 객체 라이브러리에 포함되지 않은 상기 이미지 데이터에서 식별되지 않은 객체를 감지하도록 추가로 구성되는, 시스템.