KR20230127227A - 하이퍼스펙트럼 이미징에 기반한 의약품 대상의 검사 - Google Patents
하이퍼스펙트럼 이미징에 기반한 의약품 대상의 검사 Download PDFInfo
- Publication number
- KR20230127227A KR20230127227A KR1020237021710A KR20237021710A KR20230127227A KR 20230127227 A KR20230127227 A KR 20230127227A KR 1020237021710 A KR1020237021710 A KR 1020237021710A KR 20237021710 A KR20237021710 A KR 20237021710A KR 20230127227 A KR20230127227 A KR 20230127227A
- Authority
- KR
- South Korea
- Prior art keywords
- hyperspectral
- image data
- drug
- pixels
- hyperspectral image
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title description 24
- 238000000701 chemical imaging Methods 0.000 title description 21
- 239000003814 drug Substances 0.000 claims abstract description 151
- 229940079593 drug Drugs 0.000 claims abstract description 136
- 230000003595 spectral effect Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 34
- 150000001875 compounds Chemical class 0.000 claims abstract description 13
- 238000001228 spectrum Methods 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 239000000203 mixture Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000003596 drug target Substances 0.000 claims description 3
- 238000003255 drug test Methods 0.000 claims description 3
- 239000000825 pharmaceutical preparation Substances 0.000 claims description 2
- 229940127557 pharmaceutical product Drugs 0.000 claims description 2
- 239000006187 pill Substances 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 239000002775 capsule Substances 0.000 description 10
- 239000003826 tablet Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000002483 medication Methods 0.000 description 5
- 238000001816 cooling Methods 0.000 description 4
- 229910052736 halogen Inorganic materials 0.000 description 4
- 150000002367 halogens Chemical class 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000000985 reflectance spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000008194 pharmaceutical composition Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9508—Capsules; Tablets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
의약품 대상을 검사하는 방법이 기술되며, 본 방법은 의약품 대상의 이미지를 캡처하는 단계; 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계; 이미지 내에 로컬화된 의약품 대상에 기반하여 하이퍼스펙트럼 이미지 데이터 중에서 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계; 각각 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하나 이상의 하이퍼스펙트럼 지문을 결정하는 단계 ― 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및 하나 이상의 하이퍼스펙트럼 지문 중 하나를 참조 지문과 비교하는 단계를 포함한다
Description
본 발명은 하이퍼스펙트럼 이미징(hyperspectral imaging)에 기반한 의약품 대상, 특히 약제를 포함하는 파우치의 검사에 관한 것이고, 특히 배타적이지는 않지만, 하이퍼스펙트럼 이미징에 기반하여 의약품 대상을 검사하기 위한 방법 및 시스템과 그러한 방법을 실행하기 위한 컴퓨터 프로그램 제품에 관한 것이다.
환자에게는 처방전에 따라 약제가 제공된다. 특히, 만성 질환을 앓는 사람은 동일한 의약품을 장기간에 걸쳐 주기적으로 복용해야 한다. 종종 환자는 알약, 정제, 및/또는 캡슐과 같은 다양한 약제의 조합을 복용해야 한다. 환자에 대한 처방을 용이하게 하기 위해, 자동 포장 시스템을 사용하여 처방전에 따라 약제를 파우치로, 예컨대, 투명 플라스틱 파우치, 블리스터 또는 백으로 포장할 수 있다. 처방전을 잘못 포장하면, 환자는 잘못된 (조합의) 약제를 복용하거나 잘못된 복용량의 약제를 복용하게 되어 환자의 건강이 해로울 수 있다.
오류율을 줄이기 위해, 이미지 처리 시스템을 사용하여 의약품 대상을 검사하도록 구성된 검사 시스템은 의약품 대상을 체킹하고, 여기서 의약품 대상은 의약품 대상을 구성하는, 예컨대, 알약 및/또는 정제, 캡슐, 앰플 또는 패킷, 블리스터 또는 파우치를 나타낼 수 있다. 그러한 검사 시스템의 일 예는 EP2951563에서 알려져 있다. 이러한 검사 시스템의 기능을 확장하기 위해, 다른 검사 기술이 고려될 수 있다. 예를 들어, US2014/0319351은 근적외선 NIR 하이퍼스펙트럼 이미징에 기반하여 블리스터 패키지로 배열된 알약을 검사하기 위한 인라인 시스템의 일 예를 설명하고 있다. 검사 시스템은 할로겐 램프와 하이퍼스펙트럼 이미지 센서의 광으로 블리스터 패키지의 알약을 조명하고, 그 후 NIR 스펙트럼 내의 15개의 대역에 대한 15개의 반응 값을 검출한다. 반응 값을 처리하여, 알약의 반응에 속하는 반응 값의 부분들을 결정한다. 그 후 이들 부분들을 참조물과 비교하여 알약이 올바른 조성을 포함하고 있는지를 결정한다.
그러나, 위에서 설명한 것과 같은 하이퍼스펙트럼 분석 기능을 포함하는 의약품 파우치에 대한 정확한 고효율 검사 시스템, 예컨대, 시간당 10,000개 이상의 파우치를 검사할 수 있는 검사 시스템을 구축하는 것은 여러 가지 이유로 인해 어려운 일이다. 하나의 크기, 형상 및 조성의 알약 또는 캡슐이 공간적으로 질서정연한 방식으로 배열된 블리스터 패키지와는 대조적으로, 의약품 파우치 내의 의약품 대상은 공간적으로 랜덤한 순서로 분포된 상이한 크기, 형상 및 조성의 상이한 의약품 대상을 포함할 수 있다. 의약품 대상은 옆으로 서로 나란히 또는 서로 (부분적으로) 겹쳐서 배열될 수 있지만, 투명한 파우치 재료는 측정된 데이터에 오류를 일으킬 수 있다.
더욱이, 약제의 NIR 반응은 상대적으로 약한 신호인데, 그 이유는 대부분의 약제가 대체로 종종 알약 질량의 대부분을 차지하는 동일한 성분(코팅, 바인더 재료 등)으로 구성되기 때문이다. 따라서, 상이한 약제를 구별하기 위해서는, 종래 기술에서 언급된 바와 같은 15개의 값 대신에, 픽셀당 많은 수, 예컨대, 수백 개 이상의 스펙트럼 반응 값이 필요하다. 그 경우에, 하이퍼스펙트럼 이미지 데이터는 전형적으로 실시간으로 분석될 필요가 있는 상당한 양의 데이터, 예컨대, 픽처당 100Mbyte 초과의 데이터 블록(데이터 스택)을 포함한다. 이미징된 약제 파우치의 하이퍼스펙트럼 데이터를 처리하기 위한 종래 기술의 방법은 그러한 목적에 적합하지 않다.
따라서, 의약품 파우치를 검사하기 위한 개선된 방법 및 시스템, 특히, 정확하고, 실시간의 고효율적인 의약품 파우치의 검사를 가능하게 하는 전자기 스펙트럼의 근적외선 부분에서의 하이퍼스펙트럼 이미징에 기반하여 의약품 파우치를 검사하기 위한 방법 및 시스템에 대한 필요성이 당업계에 존재한다.
본 기술 분야의 기술자라면 알 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 양태는 완전한 하드웨어 실시예, (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함하는) 완전한 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 양태를 결합한 실시예의 형태를 취할 수 있으며, 이들 모두는 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있다. 본 개시내용에서 기술된 기능은 컴퓨터의 마이크로프로세서에 의해 실행되는 알고리즘으로서 구현될 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독가능 프로그램 코드가 구현된, 예컨대, 저장된 하나 이상의 컴퓨터 판독가능 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 출원에서 실시예를 참조하여 기술되는 방법, 시스템, 모듈, 기능 및/또는 알고리즘은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 방법, 시스템, 모듈, 기능 및/또는 알고리즘은 적어도 하나의 컴퓨팅 시스템에서 중앙 집중식으로, 또는 상이한 요소들이 여러 상호 연결된 컴퓨팅 시스템들에 걸쳐 분산되어 있는 분산 방식으로 실현될 수 있다. 본 출원에 기술된 실시예(또는 그의 일부)를 수행하도록 적응된 임의의 종류의 컴퓨팅 시스템 또는 다른 장치가 적합하다. 전형적인 구현예는 하나 이상의 디지털 회로, 예를 들어, 주문형 집적 회로(application specific integrated circuit)(ASIC), 하나 이상의 필드 프로그래머블 게이트 어레이(field programmable gate array)(FPGA), 및/또는 하나 이상의 프로세서(예컨대, x86, x64, ARM, PIC, 및/또는 임의의 다른 적합한 프로세서 아키텍처) 및 관련 지원 회로부(예컨대, 스토리지, DRAM, FLASH, 버스 인터페이스 회로 등)를 포함할 수 있다. 각각의 개별 ASIC, FPGA, 프로세서, 또는 다른 회로는 "칩"이라고 지칭될 수 있으며, 이러한 다수의 회로는 "칩셋"이라고 지칭될 수 있다. 일 구현예에서, 프로그래머블 로직 디바이스에는 고속 RAM, 특히 블록 RAM(BRAM)이 제공될 수 있다. 다른 구현예는 비일시적 머신 판독가능(예컨대, 컴퓨터 판독가능) 매체(예컨대, FLASH 드라이브, 광학 디스크, 자기 저장 디스크 등)를 포함할 수 있으며, 이 매체는 머신에 의해 실행될 때 머신으로 하여금 본 개시내용에 설명된 바와 같은 프로세스를 수행하게 하는 하나 이상의 코드의 라인이 저장되어 있다.
도면의 플로우차트 및 블록도는 본 발명의 다양한 실시예에 대한 방법, 시스템 및/또는 모듈의 가능한 구현예의 아키텍처, 기능, 및 동작을 나타낼 수 있다. 이와 관련하여, 플로우차트 또는 블록도 내의 각 블록은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있는 모듈, 세그먼트, 또는 코드 부분을 나타낼 수 있다.
또한, 주목해야 하는 것은, 일부 대안의 구현예에서, 블록에서 언급된 기능은 도면에서 언급된 순서와는 다르게 발생할 수 있다는 것이다. 예를 들어, 연속적으로 도시된 두 개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 때때로는 관련된 기능에 따라 그 역순으로 실행될 수도 있다. 또한, 주목할 것은, 블록도 및/또는 플로우차트의 각 블록, 및 블록도 및/또는 플로우차트 내의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템, 또는 특수 목적 하드웨어와 컴퓨터 인스트럭션의 조합에 의해 구현될 수 있다는 것이다.
본 출원의 실시예의 목적은 하나 이상의 의약물 대상, 예컨대, 알약 및/또는 캡슐을 포함하는 의약품 패킷에 대한 효율적이고 정확한 검사 방법을 제공하는 것이다.
특히, 본 출원의 실시예의 목적은, 의약품 검사 시스템이 인간의 눈에는 동일하게(예를 들어, 동일한 색상 및 형상으로) 보여 의약품 대상에 대한 가시광선 스펙트럼에서 이미지 데이터를 분석하는 것에 의해서는 구별될 수 없는 의약품 대상을 구별할 수 있도록, 의약품 검사 시스템에서 하이퍼스펙트럼 이미징을 사용하는 것이다. 정확한 의약품 대상의 검사 시스템의 경우, 매우 많은 수의 약물이 시각적으로 구별되지 않기 때문에(대부분이 원형의 흰색 정제임), 물질(성분)에 기반하여 약물을 정확하게 구별하는 기능이 매우 중요하다.
하이퍼스펙트럼 이미징의 기술적 이점에는 (RGB 멀티스펙트럼 이미징을 사용하는 기존의 세 가지 색상 대역 대신에 200개의 대역을 초과하는) 높은 스펙트럼 해상도가 포함될 수 있으며, 이를 통해 가시광선 스펙트럼에서 다른 유사한 대상의 차이가 검출될 수 있다. 또한, 이는 전자기 스펙트럼의 비가시광선 부분(근적외선 부분)에 기반하여 다양한 의약품을 인식할 수 있게 한다.
일 양태에서, 본 발명은 의약품 대상을 검사하기 위한 방법에 관한 것일 수 있고, 이 방법은: 파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 단계 ― 상기 이미지는 제1 공간 해상도를 가짐 ―; 상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 단계 ― 각 픽셀의 블럽은 의약품 대상 중 하나를 나타냄 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계; 상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 단계 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및 상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 단계를 포함한다.
일 실시예에서, 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계는 연속 스펙트럼, 바람직하게는 전자기 스펙트럼의 가시광선 및/또는 근적외선 영역에서 연속 스펙트럼을 갖는 광에 의약품 대상을 노출시키는 단계를 포함할 수 있다.
일 실시예에서, 하이퍼스펙트럼 데이터는 픽셀을 포함할 수 있고, 각 픽셀은 복수의 스펙트럼 값과 연관되며, 바람직하게도 복수의 스펙트럼 값은 전자기 스펙트럼의 가시광선 및/또는 근적외선 영역에서의 스펙트럼 값을 포함하고 있다.
일 실시예에서, 하나 이상의 단일 또는 다중 대역 이미지는 픽셀의 2D 그리드를 포함할 수 있으며, 각 픽셀은 하나 또는 몇 개의 스펙트럼 값과 연관되며, 바람직하게는 하나 이상의 스펙트럼 값, 예컨대, RGB 값 및/또는 IR 값 중에서 선택되는 스펙트럼 값과 연관된다.
일 실시예에서, 하이퍼스펙트럼 이미지 데이터는 라인 스캔 하이퍼스펙트럼 이미지 데이터(line-scan hyperspectral image data)를 포함할 수 있고, 라인 스캔 하이퍼스펙트럼 이미지 데이터는 픽셀의 라인(lines of pixels)을 포함한다.
일 실시예에서, 방법은 분할 알고리즘(segmentation algorithm)에 기반하여 이미지에서 하나 이상의 의약품 대상과 연관된 하나 이상의 픽셀 그룹을 로컬화하는 단계를 더 포함할 수 있다.
일 실시예에서, 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계는 하나 이상의 픽셀 그룹 각각을 하이퍼스펙트럼 이미지 데이터의 픽셀 상에 매핑하는 단계를 포함할 수 있다.
일 실시예에서, 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택하기 전에, 다음의 단계: 즉, 알고리즘, 바람직하게는, 클러스터링 알고리즘을 사용하여 하나 이상의 하이퍼스펙트럼 이미지 데이터로부터 배경 픽셀(아웃라이어(outlier))을 제거하는 단계; 및 하나 이상의 하이퍼스펙트럼 이미지 데이터로부터 정반사로 인해 오염되고/되거나 과다 노출된 픽셀을 제거하는 단계 중 하나 이상이 실행될 수 있다.
일 실시예에서, 하나 이상의 하이퍼스펙트럼 지문을 결정하는 단계는: 바람직하게는 PCA 방법에 기반하여 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분의 차원을 축소시키는 단계; 및 상기 하나 이상의 축소된 하이퍼스펙트럼 이미지 데이터 부분 중 적어도 하나에 기반하여 지문을 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 카메라 시스템은 하나 이상의 단일 또는 다중 대역 이미지 및 하이퍼스펙트럼 이미지 데이터를 캡처하는 데 사용되며, 바람직하게도 카메라 시스템은 다중 스펙트럼 카메라, 및 선택적으로는, 단색 또는 컬러 카메라와 같은 단일 또는 다중 대역 카메라를 포함한다.
일 실시예에서, 하이퍼스펙트럼 이미지 데이터는 하이퍼스펙트럼 라인 스캔 카메라를 사용하여 캡처될 수 있으며, 캡처하는 동안, 의약품 대상은 하이퍼스펙트럼 라인 스캔 카메라에 대해 상대적으로 이동하고, 보다 바람직하게는 의약품 대상은 카메라 시스템의 시야를 통해 이동한다.
다른 양태에서, 본 발명은 카메라 시스템을 포함하는 의약품 검사 장치를 제어하기 위한 모듈에 관한 것일 수 있고, 이 모듈은: 컴퓨터 판독가능 프로그램 코드가 구현된 컴퓨터 판독가능 저장 매체, 및 상기 컴퓨터 판독가능 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하고, 상기 프로세서는 상기 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 실행가능 동작을 수행하도록 구성되고, 상기 실행가능 동작은: 파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 단계 ― 상기 이미지는 제1 공간 해상도를 가짐 ―; 상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 단계 ― 각 픽셀의 블럽은 의약품 대상 중 하나를 나타냄 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계; 상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 단계 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및 상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 단계를 포함한다.
추가 양태에서, 본 발명은 의약품 대상 검사 장치에 관한 것일 수 있고, 이 장치는: 카메라 시스템, 및 프로그램의 적어도 일부가 구현된 컴퓨터 판독가능 저장 매체; 및 컴퓨터 판독가능 프로그램 코드가 구현된 컴퓨터 판독가능 저장 매체, 및 상기 컴퓨터 판독가능 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하고, 상기 프로세서는 상기 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 실행가능 동작을 수행하도록 구성되고, 상기 실행가능 동작은: 파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 단계 ― 상기 이미지는 제1 공간 해상도를 가짐 ―; 상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 단계 ― 각 픽셀의 블럽은 의약품 대상 중 하나를 나타냄 ―; 상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계; 상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 단계 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및 상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 단계를 포함한다.
일 실시예에서, 하이퍼스펙트럼 데이터는 스펙트럼의 근적외선(NIR) 부분에서 이미징된 구역의 스펙트럼 반응을 검출하도록 구성될 수 있는 하이퍼스펙트럼 카메라를 사용하여 결정될 수 있다. 다른 실시예에서, 하이퍼스펙트럼 카메라는 스펙트럼의 가시광선 부분과 NIR 부분 모두에서 이미징된 구역의 스펙트럼 반응을 검출하도록 구성될 수 있다. 그러한 경우, 하이퍼스펙트럼 카메라는 가시광선 범위와 NIR 범위 모두에서 이미지 데이터를 생성할 수 있다. 하이퍼스펙트럼 카메라가 각 픽셀에 대해 NIR 및 가시광선 스펙트럼 값을 모두 생성하도록 구성된 경우, 별도의 다중 스펙트럼 카메라, 예컨대, RGB 또는 RGB/IR 카메라는 더 이상 필요하지 않다. 그러한 경우, 가시광선 스펙트럼의 하나 이상의 파장에서의 스펙트럼 값의 하나 이상의 슬라이스가 하이퍼스펙트럼 데이터 스택으로부터 취해질 수 있다. 따라서, 이 실시예에서, 하이퍼스펙트럼 이미지 데이터로부터 단일 또는 다중 컬러 이미지가 유도될 수 있다. 이 컬러 이미지를 기반으로, 표준 이미지 처리 알고리즘을 사용하여 의약물 대상, 예컨대, 알약을 검출하고 찾을 수 있다.
일 실시예에서, 카메라 시스템은 하이퍼스펙트럼 카메라, 및 하이퍼스펙트럼 카메라의 이미징 구역을 조명하기 위한 램프를 포함할 수 있다. 일 실시예에서, 램프는 하우징 및 조명 소스를 포함할 수 있다. 하우징의 한쪽에는 광이 하우징을 빠져나가 의약품 대상을 조명하도록 하는 개구가 포함될 수 있다. 전형적으로, 조명 소스는 할로겐 램프 또는 광과 같은 연속 스펙트럼의 광을 생성하도록 구성될 수 있다. 이러한 조명 소스는 많은 양의 열을 발생시킨다. 따라서, 일부 실시예에서, 하우징은 냉각 시스템, 예컨대, 공기 냉각 시스템에 연결될 수 있는 배출구를 포함할 수 있다. 이러한 방식으로, 열이 개구로부터 멀리 배출구를 향해 전달되는 흐름, 예컨대, 공기 흐름이 생성될 수 있다. 이러한 방식으로, 조명 소스에 의해 발생된 열이 주변 온도를 상승시키는 것을 방지할 수 있다.
본 발명은 또한 의약품 대상을 검사하는 방법에 관한 것일 수 있고, 이 방법은: 파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 단일 대역 이미지 또는 다중 대역 이미지를 캡처하는 단계; 상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계; 상기 단일 대역 이미지 또는 다중 대역 이미지 내의 픽셀의 블럽을 결정하는 단계 ― 각 픽셀의 블럽은 의약품 대상 중 하나를 나타냄 ―; 상기 단일 대역 이미지 또는 다중 대역 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계; 상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 단계 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및 상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 단계를 포함한다.
본 발명은 또한 컴퓨터의 메모리에서 실행될 때 전술한 임의의 프로세스 단계에 따라 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품에 관한 것일 수 있다.
본 발명은 본 발명에 따른 실시예를 개략적으로 보여주는 첨부된 도면을 참조하여 추가로 설명될 것이다. 본 발명은 이러한 특정 실시예에 어떠한 방식으로든 제한되지 않는다는 것으로 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 의약품 대상 검사 시스템을 예시한 것이고;
도 2는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징에 기반한 의약품 대상 검사 방식을 예시한 것이고;
도 3은 본 발명의 일 실시예에 따른 의약품 패킷을 검사하기 위한 방법의 흐름도를 도시한 것이고;
도 4는 본 발명의 일 실시예에 따른 의약품 대상 검사 장치를 도시한 것이고;
도 5는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징 데이터를 처리하기 위한 시스템을 도시한 것이고;
도 6은 하이퍼스펙트럼 이미징 시스템에 의해 캡처된 의약품 패킷의 이미지의 일 예를 도시한 것이고;
도 7a 내지 도 7d는 본 출원의 실시예에 따른 이미지 처리 방법에 기반하여 처리된 이미지를 도시한 것이고;
도 8a 내지 도 8d는 본 출원의 실시예에 따른 이미지 처리 방법에 기반하여 처리된 이미지를 도시한 것이고;
도 9 및 도 10은 의약품 파우치의 이미지와 의약품 대상의 지문을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징에 기반한 의약품 대상 검사 방식을 예시한 것이고;
도 3은 본 발명의 일 실시예에 따른 의약품 패킷을 검사하기 위한 방법의 흐름도를 도시한 것이고;
도 4는 본 발명의 일 실시예에 따른 의약품 대상 검사 장치를 도시한 것이고;
도 5는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징 데이터를 처리하기 위한 시스템을 도시한 것이고;
도 6은 하이퍼스펙트럼 이미징 시스템에 의해 캡처된 의약품 패킷의 이미지의 일 예를 도시한 것이고;
도 7a 내지 도 7d는 본 출원의 실시예에 따른 이미지 처리 방법에 기반하여 처리된 이미지를 도시한 것이고;
도 8a 내지 도 8d는 본 출원의 실시예에 따른 이미지 처리 방법에 기반하여 처리된 이미지를 도시한 것이고;
도 9 및 도 10은 의약품 파우치의 이미지와 의약품 대상의 지문을 도시한 것이다.
도 1은 본 발명의 일 실시예에 따른 의약품 대상 검사 시스템을 예시한 것이다. 특히, 도면은 검사 시스템(100)을 도시하며, 이러한 검사 시스템(100)은, 이미징 시스템에 기반하여 의약품 대상을 검사하도록 구성된 검사 구역을 통해, 복수의 상이한 의약품 대상을 포함하는 의약품 파우치를 포함하여 의약품 대상(106)을 이송시키기 위한 이송 시스템(102)을 포함한다. 의약품 대상은, 예컨대, 알약 및/또는 정제, 캡슐, 앰플을 나타낼 수 있고, 이들은 패킷 또는 파우치로 포장될 수 있으며, 이미징 시스템에 기반하여 검사될 수 있다. 일 실시예에서, 이미징 시스템은 하나 이상의 카메라 시스템(114, 116)을 포함할 수 있다.
예를 들어, 일 실시예에서, 제1 카메라 시스템(114)은 (제한된) 수의 컬러 채널에 기반하여 의약품 대상의 제1 공간 해상도의 이미지를 캡처하도록 구성된 하나 이상의 이미지 센서를 포함할 수 있다. 예를 들어, 일 실시예에서, 이미지 센서는 RGB 컬러 이미지 또는 컬러 채널별 이미지를 캡쳐하기 위한 RGB 픽셀을 포함할 수 있다. 추가 실시예에서, 이미지 센서는 전자기 스펙트럼의 비가시광선 부분의 스펙트럼 채널, 예컨대, 근적외선(NIR)의 채널을 포함할 수 있다. 제1 공간 해상도는 높은 공간 해상도일 수 있고, 이에 따라 형상, 윤곽 및 문자를 포함하여 파우치 내의 약제의 세부사항이 공지된 이미지 처리 알고리즘에 기반하여 매우 빠르고 정확하게 결정될 수 있다. 일 실시예에서, NIR 카메라는 약제의 높은 공간 해상도 (근)적외선 이미지를 획득하는 데 사용될 수 있다. 이러한 이미지는 패키지 내의 약제의 외부 윤곽에 대한 정확한 정보를 제공한다. 또한, 일 실시예에서, 컬러 카메라는 약제의 높은 공간 해상도 컬러 이미지를 캡처하는 데 사용될 수 있다. 이들 이미지에 기반하여, 패키지 내 약제의 위치, 형상 및 예를 들어 색상이 매우 빠르고 정확하게 결정될 수 있다.
추가 실시예에서, 제2 카메라 시스템(116)은 하이퍼스펙트럼 카메라 시스템, 특히 의약품 대상에 대한 하이퍼스펙트럼 이미징을 수행하도록 구성될 수 있는 하이퍼스펙트럼 카메라를 포함할 수 있다. 의약품 대상의 약학적 활성 화합물은 근적외선, 특히 800 내지1700㎚ 범위의 근적외선에 반응한다. 이러한 방식으로, 하이퍼스펙트럼 이미징은 알약, 정제 또는 캡슐 내의 약학적 활성 화합물을 검사하는 것과 같이 약제를 검사하는 데 유용한 도구가 될 수 있다. 따라서, 전자기 스펙트럼의 미리 결정된 부분, 예를 들어, 400㎚ 내지 800㎚의 가시광선 대역 및/또는, 예컨대, 800 내지 1700㎚의 근적외선 NIR 대역 내에서, 하이퍼스펙트럼 카메라의 픽셀당 복수의 스펙트럼 값, 바람직하게는 100개 이상의 스펙트럼 값이 검출될 수 있다. 이러한 방식으로, 하이퍼스펙트럼 카메라는 스펙트럼 이미지 데이터 스택을 생성할 수 있으며, 여기서 스펙트럼의 파장에서 스펙트럼 이미지 데이터 스택의 슬라이스는 약제를 포함하는 패키지의 제2 공간 해상도의 이미지를 나타낼 수 있으며, 여기서 제2 공간 해상도는 제1 공간 해상도보다 작다.
EM 스펙트럼의 NIR 부분이 약학적 활성 화합물의 반응을 결정하는 데 특히 적합하기 때문에, 하이퍼스펙트럼 이미지 데이터 스택의 스펙트럼 값은 하이퍼스펙트럼 이미징 시스템에 의해 캡처된 약제의 스펙트럼 반응을 나타낼 수 있다.
하이퍼스펙트럼 이미징 동안 하이퍼스펙트럼 이미징에 특히 적합한 조명 소스(122)를 사용하여 대상을 조명할 수 있다. 하이퍼스펙트럼 애플리케이션의 경우, 조명 소스는 스펙트럼의 관련 부분에서의 연속 스펙트럼, 예를 들어, UV, 가시광선 및/또는 근적외선(NIR) 범위에서의 연속 스펙트럼을 갖도록 선택될 수 있다. 이 목적에 적합한 조명 소스에는 고온 가열 필라멘트를 기반으로 하는 할로겐 램프와 같은 백열광 소스가 포함된다.
다른 실시예에서, 하이퍼스펙트럼 카메라는 스펙트럼의 가시광선 부분과 NIR 부분 모두에서 이미징된 구역의 스펙트럼 반응을 검출하도록 구성될 수 있다. 그러한 경우, 하이퍼스펙트럼 카메라는 가시광선 범위와 NIR 범위 모두에서 이미지 데이터를 생성할 수 있다. 하이퍼스펙트럼 카메라가 픽셀에 대한 NIR 및 가시광선 스펙트럼 값을 모두 생성하도록 구성된 경우 RGB 또는 RGB/IR 카메라와 같은 별도의 다중 스펙트럼 카메라는 필요하지 않을 수 있다. 그러한 경우, 가시광선 스펙트럼의 하나 이상의 파장에서 스펙트럼 값의 하나 이상의 슬라이스는 하이퍼스펙트럼 데이터 스택으로부터 취해질 수 있다. 일부 실시예에서, 단일 대역 이미지(예컨대, NIR 이미지) 또는 다중 대역 이미지(예컨대, RGB 또는 RGBI 이미지)는 하이퍼스펙트럼 이미지 데이터로부터 유도될 수 있다. 이러한 이미지를 기반으로, 표준 이미지 처리 알고리즘을 사용하여 의약물 대상, 예컨대, 알약을 나타내는 픽셀 그룹(블럽)을 검출하고 찾을 수 있다.
컴퓨터(118)는 이미징 시스템과 의약품 대상의 이송을 제어할 수 있다. 또한, 컴퓨터는 의약품 대상이 신뢰성 있게 검사될 수 있도록 이미징 시스템에 의해 생성된 이미지 데이터를 처리하도록 구성된 하나 이상의 이미지 처리 모듈을 포함할 수 있다. 이미지 처리 모듈은 본 출원의 실시예를 참조하여 설명된 바와 같은 이미지 프로세스를 실행하도록 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징에 기반하여 의약품 대상을 검사하기 위한 방식을 예시한 것이다. 특히, 도면에는, 상이한 형상, 크기 및 조성일 수 있고, 파우치 내에 랜덤하게 배열될 수 있는 약제, 본 예에서는 알약(2011-5)을 포함하는 의약품 파우치(201)의 제1 공간 해상도의 하나 이상의 제1 이미지, 예컨대, 하나 이상의 RGB 및/또는 IR 이미지를 캡처하는 단계를 포함하는 방식(200)이 포함된다. 이 경우, 알약(2012,3) 및 알약(2014,5)과 같은 알약들 중 일부는 부분적으로 서로의 옆에 또는 서로의 위에 배열될 수 있다. 하나 이상의 제1 이미지는 알려진 대상 검출 알고리즘 및 분할 알고리즘에 기반하여 제1 공간 해상도의 이미지에서 알약을 로컬화하는 데 사용될 수 있다. 이러한 방식으로, 이미지 내의 약제(2011-5)는 이미지 내의 픽셀 그룹(블럽)을 나타낼 수 있다(단계 202). 또한, 의약품 파우치는 하나 이상의 제1 이미지의 공간 해상도보다 낮은 제2 공간 해상도의 하이퍼스펙트럼 이미지 데이터 스택이 되는 하이퍼스펙트럼 이미지 데이터를 생성하기 위해 하이퍼스펙트럼 카메라에 의해 이미징될 수 있다.
하이퍼스펙트럼 카메라는 다양한 방식으로 구현될 수 있다. 일 실시예에서, 카메라는 파우치를 포함하는 노출 구역을 캡처하는 2D 카메라일 수 있다. 대안적으로, 일 실시예에서, 카메라는 1D 카메라, 즉 라인 스캐너일 수 있다. 이러한 라인 스캔 카메라는 움직이는 대상을 높은 라인 스캔 주파수로 지속적으로 스캔하는 감광성 픽셀 행을 포함할 수 있다. 대상이 라인 스캔 카메라 아래에서 알려진 속도로 이동하는 경우 라인 스캔 카메라를 이용하여 대상의 2차원 이미지를 생성할 수 있다. 라인 스캐너에 의해 생성된 데이터는 2D 이미지로 함께 "연결"될 수 있다. 하이퍼스펙트럼 카메라가 획득한 하이퍼스펙트럼 데이터는, 스펙트럼의 다른 부분에서의 스펙트럼 반응을 나타내는 세 번째 차원과 공간 축을 나타내는 두 개의 다른 (x 및 y 방향의) 차원을 갖는 "데이터 큐브"(204)의 형태를 가질 수 있다. 라인 스캐너의 경우, y축은 도면에 도시된 바와 같이 각각 시간이 될 수 있다.
그 후, 하나 이상의 제1 이미지 내에 로컬화되는 블럽인 픽셀 그룹에 기반하여, 하이퍼스펙트럼 이미지 데이터 내의 블럽 또는 블럽의 일부가 선택될 수 있다. 이러한 방식으로, 하나 이상의 제1 이미지 내에 로컬화된 알약과 연관된 하이퍼스펙트럼 데이터가 결정될 수 있다(단계 205). 이러한 하이퍼스펙트럼 블럽은 로컬화된 약제, 예컨대, 알약에 대한 스펙트럼 값(206)을 포함할 수 있다. 이들 값은 의약품 대상의 일부인 픽셀 위치에서의 스펙트럼(208)을 나타낼 수 있다. 스펙트럼에 기반하여 참조 지문과 비교될 수 있는 지문이 결정될 수 있다.
고해상도 이미지 내의 고해상도 정보를 통해 파우치 내의 다양한 약제들을 빠르고 정확하게 구별할 수 있다. 따라서, 고해상도 이미지 내의 로컬화된 약제에 기반하여, 해당 로컬화된 약제와 연관된 하이퍼스펙트럼 이미지 데이터를 빠르고 정확하게 선택할 수 있다. 이 정보는 그 후 하이퍼스펙트럼 이미지 데이터 중에서 실시간의 고처리량 검사에 필요한 관련 데이터 부분을 선택하는 데 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 의약품 대상을 검사하기 위한 방법의 흐름도를 도시한 것이다. 프로세스에는 의약품 파우치의 제1 공간 해상도의 하나 이상의 제1 이미지를 캡처하는 제1 단계(300)가 포함될 수 있다. 일 실시예에서, 고해상도 이미지 센서, 예컨대, 1440x1080 픽셀 이미지 센서 및 픽셀당 0.1㎜(또는 인치당 ~256픽셀, PPI), 바람직하게는 픽셀당 0.08㎜(~317PPI) 이하의 공간 해상도를 제공하는 광학 시스템을 포함하는 카메라 시스템이 사용될 수 있다. 일 실시예에서, 전자기 스펙트럼의 하나 이상의 부분의 광에 의약품 패킷을 노출시키면서 하나 이상의 이미지를 캡처할 수 있다. 여기서, 하나 이상의 제1 이미지 중 적어도 하나는 컬러 채널의 수가 제한된 이미지, 예컨대, RGB 이미지일 수 있다. 또한, 하나 이상의 제1 이미지 중 적어도 하나는 적외선 IR 또는 근적외선 NIR 이미지일 수 있다. 추가 실시예에서, 이러한 이미지는 RGB 카메라 또는 RGBI 카메라를 사용하여 캡처될 수 있으며, 여기서 "I"는 적외선 또는 근적외선 NIR 채널을 형성하는 픽셀을 나타낸다.
추가 단계 302에서, 방법은 의약품 패킷의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계를 포함할 수 있다. 여기서, 하이퍼스펙트럼 이미지 데이터의 하이퍼스펙트럼 픽셀은 (도 2를 참조하여 위에서 설명된 바와 같이) 해당 픽셀 위치에서 의약품 패킷의 근적외선 스펙트럼 반응을 나타내는 복수의 스펙트럼 값을 포함할 수 있다. 여기서, 하나의 파장(하이퍼스펙트럼 데이터 스택의 슬라이스)과 연관된 캡처된 스펙트럼 값은 제2 공간 해상도의 2D 이미지를 형성할 수 있으며, 여기서 제2 공간 해상도는 제1 공간 해상도보다 낮다. 전형적으로, 하이퍼스펙트럼 이미징 시스템은 픽셀화된 이미지 센서 및 광학 시스템을 가질 수 있고, 이러한 광학 시스템은 제1 이미징 시스템과 연관된 픽셀 밀도보다 적어도 2배 낮은, 예컨대, 픽셀당 0.5㎜인 공간 해상도를 제공한다. 낮은 공간 해상도로 인해 상대적으로 가까이 있는 상이한 대상을 구별하기가 더 어렵다. 일 실시예에서, 하이퍼스펙트럼 이미지 데이터를 캡처하는 동안 의약품 패킷은 전자기 스펙트럼의 가시광선 및/또는 근적외선(NIR) 부분에서 연속 스펙트럼의 광에 노출될 수 있다.
프로세스는 제1 공간 해상도의 하나 이상의 제1 이미지에서 하나 이상의 약제, 예컨대, 알약 및/또는 캡슐을 나타내는 제1 픽셀의 하나 이상의 제1 블럽을 결정하는 단계를 더 포함할 수 있다(단계 304). 그 후, 하나 이상의 제1 이미지 내의 하나 이상의 제1 블럽의 위치에 기반하여 하이퍼스펙트럼 이미지 데이터 중에서 제2 픽셀의 하나 이상의 제2 블럽을 선택할 수 있다(단계 306). 단계 308에서 하나 이상의 제2 픽셀 그룹 중 하나에 대한 하이퍼스펙트럼 지문을 결정할 수 있고, 여기서 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타낼 수 있다. 그 후, 하이퍼스펙트럼 지문을 참조 지문과 비교하여, 검사된 의약품 대상이 참조 지문에 따라 의약품 대상으로 식별될 수 있는지를 결정할 수 있다(단계 310).
따라서, 간단히 말해서, 이 방법은 하나 이상의 의약품 대상의 컬러 이미지와 같은 이미지 및 하나 이상의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 것에 기반하여 의약품 대상을 검사하는 매우 빠르고, 효율적이며, 정확한 방법을 제공한다. 높은 공간 해상도 이미지 내에 로컬화된 하나 이상의 의약품 대상에 기반하여, 하이퍼스펙트럼 이미지 데이터 중에서 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택할 수 있고, 여기서 하이퍼스펙트럼 이미지 데이터는 제1 공간 해상도보다 낮은 제2 공간 해상도를 갖는다. 따라서, 하이퍼스펙트럼 이미지 데이터에 기반하여 하이퍼스펙트럼 이미지 데이터 부분을 고속으로 정확하게 결정한다. 이러한 방식으로, 의약품 대상과 관련된 하이퍼스펙트럼 픽셀을 결정할 수 있다. 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분은 후속적으로 하나 이상의 하이퍼스펙트럼 지문을 결정하기 위해 사용될 수 있고, 여기서 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타낸다. 이러한 하나 이상의 하이퍼스펙트럼 지문은 참조 지문에 기반하여 하나 이상의 의약품 대상을 식별할 수 있는지를 결정하는 데 사용된다.
도 4는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미징 시스템을 포함하는 의약품 검사 장치를 도시한 것이다. 특히, 도면은 검사 시스템(400)을 도시하며, 이 검사 시스템(400)은 하나 이상의 의약품 대상(4021-n), 즉 약제를 포함하는 하나 이상의 파우치를 이미징하기 위한 이미징 시스템(401)을 포함한다. 시스템은 이미징 시스템의 검사 구역을 통해 하나 이상의 의약품 대상을 안내하기 위한 이송 경로(406)를 포함하는 이송 구조(404)를 더 포함할 수 있다. 의약품 대상은, 이미징 시스템에 의해 생성된 이미지 데이터에 기반하여 검사되는 알약, 정제, 캡슐, 앰플 등을 포함할 수 있거나 또는 이러한 알약, 정제, 캡슐, 앰플 등을 포함하는 패킷 또는 파우치를 포함할 수 있다. 검사 시스템이 사용 중일 때, 의약품 대상은 이송 경로를 통해 검사 구역으로 이송될 수 있다. 일 실시예에서, 의약품 대상은, 제1 (업스트림) 릴(4082)에서 풀리고, 검사 구역을 통해 안내되고, 그리고 제2 (다운스트림) 릴(4081) 둘레로 되감길 수 있는 패킷의 스트링으로 구성될 수 있다. 이들 릴의 움직임은 모터(412)에 의해 제어될 수 있다.
구현예에 따라, 이미징 시스템은 하나 이상의 카메라 시스템을 포함할 수 있다. 예를 들어, 일 실시예에서, 이미징 시스템은 (제한된) 컬러 채널 수에 기반하여, 패킷의 이미지를 캡처하도록 구성된 하나 이상의 다중 스펙트럼 이미지 센서를 포함하는 카메라 시스템(414, 416)을 포함할 수 있다. 예를 들어, 이미지 시스템은 RGB 컬러 이미지 또는 각 컬러 채널에 대한 3개의 이미지를 캡처하기 위한 RGB 픽셀을 포함할 수 있다. 또한, 이미지 시스템은 하나 이상의 추가 스펙트럼 채널, 예컨대, 근적외선(NIR)의 스펙트럼 채널을 포함할 수 있다.
다른 실시예에서, 이미징 시스템은 본 출원의 임의의 실시예에 따른 하이퍼스펙트럼 카메라 시스템을 포함할 수 있다. 하이퍼스펙트럼 카메라 시스템은 하이퍼스펙트럼 카메라(418), 및 하이퍼스펙트럼 카메라의 이미징 구역을 조명하기 위한 램프(420)를 포함할 수 있다. 일 실시예에서, 램프는 하우징(419) 및 조명 소스(423)를 포함할 수 있다. 하우징의 한쪽에는 광이 하우징을 빠져나가 의약품 대상을 조명하도록 하는 개구(421)가 포함될 수 있다. 전형적으로, 조명 소스는 할로겐 램프 또는 광과 같은 연속 스펙트럼의 광을 생성하도록 구성될 수 있다. 전형적으로, 이러한 조명 소스는 많은 양의 열을 발생시킨다. 따라서, 일부 실시예에서, 하우징은 냉각 시스템(422), 예컨대, 공기 냉각 시스템에 연결될 수 있는 배출구(425)를 포함할 수 있다. 이러한 방식으로, 열이 개구로부터 멀리 배출구를 향해 전달되는 흐름, 예컨대, 공기 흐름이 생성될 수 있다. 이러한 방식으로, 조명 소스에 의해 발생된 열이 주변 온도를 상승시키는 것을 방지할 수 있다. 검사 시스템은, 의약품 대상을 검사하는 데 필요한 프로세스를 제어하도록 구성된 다양한 모듈, 예컨대, 소프트웨어 및/또는 하드웨어 모듈을 포함하는 컨트롤러(424), 예컨대, 컴퓨터에 의해 제어될 수 있다.
일 실시예에서, 하이퍼스펙트럼 카메라는 스펙트럼의 근적외선(NIR) 부분에서 이미징 구역의 스펙트럼 반응을 검출하도록 구성될 수 있다. 일부 실시예에서, 하이퍼스펙트럼 카메라는 또한 스펙트럼의 가시광선 부분에서 이미징 구역의 스펙트럼 반응을 검출하도록 구성될 수 있다. 그러한 경우, 하이퍼스펙트럼 카메라는 가시광선 범위와 NIR 범위 모두에서 이미지 데이터를 생성할 수 있다.
따라서, 카메라 픽셀마다, 복수의 스펙트럼 값, 바람직하게는 100개 이상의 스펙트럼 값이, 예컨대, 900 내지 1700㎚의 근적외선 대역 및/또는 가시광선 대역에서 검출될 수 있다. 따라서, 각 스펙트럼 값은 하이퍼스펙트럼 이미징 시스템에 의해 이미징되는 대상, 예컨대, 약제의 스펙트럼 반응을 나타낸다.
제1 및 제2 카메라 시스템에 의해 생성된 사진은 컨트롤러(424)에 의해 실행되는 이미지 처리 모듈에 의해 처리될 수 있다. 예를 들어, 제1 카메라 시스템의 이미지 데이터, 예컨대, RGB 컬러 사진과 같은 2D 컬러 사진은 형상 및/또는 색상과 같은 특징에 기반하여 사진에서 의약품 대상을 로컬화하고 인식하도록 구성된 이미지 처리 알고리즘을 사용하여 분석될 수 있다. 유사하게, 제2 카메라 시스템의 이미지 데이터, 예컨대, 의약품 대상에 대한 스펙트럼 정보, 바람직하게는 근적외선 스펙트럼 정보를 포함하는 이미지 데이터의 3D 스택은 의약품 대상의 지문을 결정하는 데 사용될 수 있고, 이러한 지문은 의약품 대상의 조성에 대한 정보를 도출하기 위해 데이터베이스 내의 참조 지문과 비교될 수 있다.
하이퍼스펙트럼 카메라는 다양한 방식으로 구현될 수 있다. 예를 들어, 일 실시예에서, 카메라는 2D 이미저일 수 있다. 다른 실시예에서, 카메라는 라인 스캐너로 구현될 수 있다. 2D 이미저의 경우, 카메라는 2D 하이퍼스펙트럼 이미지 데이터를 생성하도록 구성된 감광성 픽셀의 2D 그리드를 포함할 수 있다. 2D 하이퍼스펙트럼 이미지 데이터는 이미징된 구역의 픽셀을 포함할 수 있고, 여기서 각 픽셀은 복수의 스펙트럼 반응 값과 연관된다. 라인 스캔 카메라의 경우, 카메라는, 높은 라인 스캔 주파수로 구역을 스캔하여 각 스캔에 대해 1D 하이퍼스펙트럼 이미지 데이터를 생성하는 감광성 픽셀 행을 포함할 수 있다. 대상이 라인 스캔 카메라 아래에서 알려진 속도로 이동하는 경우 또는 라인 스캔 카메라가 대상 위에서 알려진 속도로 이동하는 경우 라인 스캔 카메라를 이용하여 대상의 2차원 이미지를 생성할 수 있다. 그러한 경우, 라인 스캐너에 의해 생성된 1D 하이퍼스펙트럼 이미지 데이터(각 픽셀 데이터가 복수의 스펙트럼 값을 포함하는 픽셀 데이터 라인)는 이미징된 구역의 픽셀을 포함하는 2D 하이퍼스펙트럼 이미지 데이터로 연결될 수 있고, 여기서 각 픽셀은 복수의 스펙트럼 반응 값과 연관된다. 따라서, 하이퍼스펙트럼 카메라에 의해 획득된 데이터는 스펙트럼의 서로 다른 부분에서의 스펙트럼 반응을 나타내는 세 번째 차원과 공간 축 및 시간을 각각 나타내는 2개의 다른 (x 및 y 방향의) 차원을 갖는 "데이터 큐브"의 형태를 가질 수 있다.
일 실시예에서, 하이퍼스펙트럼 카메라는 전자기 스펙트럼의 적어도 근적외선(NIR) 범위(대략 900㎚와 1700㎚ 사이에서 선택된 파장)에서 스펙트럼 값을 생성하도록 구성될 수 있다. 다른 실시예에서, 하이퍼스펙트럼 카메라는 NIR 범위와 가시광선 범위 모두에서 또는 가시광선 범위에서만 스펙트럼 값을 생성하도록 구성될 수 있다. 또한, 라인 스캐너의 전형적인 데이터 획득은 길이가 각각 대략 200 내지 300㎛인 600 내지1000개의 픽셀의 "라인"에 해당할 수 있다. 픽셀의 폭은 렌즈의 시야에 따라 다르지만 본원의 경우 대략 300 내지 600㎛이다. 이러한 모든 공간 픽셀은 900 내지 1700㎚의 대역폭에서 등거리로 분포되어 있는 200개 초과의 스펙트럼 값을 포함할 수 있다. 이 도면은 본 출원에 기술된 다양한 실시예에 따른 의약품 검사 시스템에서 사용될 수 있는 하이퍼스펙트럼 이미징 시스템의 비제한적인 예일 뿐이라는 것이 제시된다.
이송 구조(예컨대, 컨베이어 벨트)를 구동하는 모터, 예컨대, 스테퍼 모터는 카메라에 대한 트리거링 메커니즘 역할을 할 수 있다. 모터의 각 단계에서 카메라는 픽셀 라인을 획득하도록 트리거될 수 있다. 컨베이어 벨트는 100 내지 200㎜/sec의 속도로 제어될 수 있으며, 이는 하이퍼스펙트럼 카메라를 초당 약 300회 트리거하므로, 대상은 300fps로 스캔된다. 이는 두 개의 연속 라인의 획득 사이에는 최대 3.3ms가 소요된다는 것을 의미하며, 따라서 데이터를 이송하는 데 필요한 시간을 고려하여, 최대 노출 시간은 3ms보다 길지 않다.
하이퍼스펙트럼 데이터의 처리는, 하이퍼스펙트럼 이미지 데이터에서 (패킷 레벨에서의) 정반사 및 과다 노출된 구역과 관련된 데이터를 식별하고, 식별된 하이퍼스펙트럼 데이터를 제거하는 단계를 포함할 수 있다. 그 후, 추가 단계에서, (알약 레벨에서의) 하이퍼스펙트럼 지문(들)이 결정될 수 있고, 각각의 검출된 의약품 대상(알약, 캡슐, 정제)은 하이퍼스펙트럼 큐브의 x-y 평면 상에서 블럽으로 표현될 수 있다. 과다 노출된 픽셀 및/또는 정반사로 인해 오염된 픽셀을 검출하여 이들 값을 하이퍼스펙트럼 지문의 계산에서 제외할 수 있다. 획득하는 동안 과다 노출된 픽셀 값의 검출은 임계치 값을 기반으로 할 수 있다. 예를 들어, 일 실시예에서, 반사율 신호가 센서의 동적 범위의 최대치와 같으면 과다 노출이 결정될 수 있다. 이러한 픽셀은 그 반사율 값이 모든 스펙트럼 대역에 걸쳐 동적 범위의 최대치와 같기 때문에 원시 데이터에서 쉽게 필터링될 수 있다.
정반사에 의해 오염된 픽셀은 대부분 미러와 같이 광을 카메라로 다시 반사하여, 하부의 대상이 보이지 않게 만든다. 도 6은, 파우치의 반사로 인해 파우치 내부의 알약이 보이지 않는 파우치의 하이퍼스펙트럼 스캔에서 이러한 반사(예컨대, 참조물(602 및 604)로 표시된 바와 같은 백색 영역)를 도시한 것이다. 이들 영역에서의 반사율 스펙트럼은 본질적으로 방출된 총 광량의 반사와 동일한 광 소스 자체의 스펙트럼 전력 분포(SPD)와 동일할 수 있다.
이러한 영역을 검출하기 위해 알려진 알고리즘이 사용될 수 있다. 예를 들어, CEM(Constrained Energy Minimization) 기술과 같은 타겟 검출 기술을 사용하여 이러한 영역을 검출할 수 있다. CEM은 알려진 타겟 프로파일의 응답을 최대화하고 동시에 알 수 없는 복합 배경의 응답을 억제하도록 설계된 유한 임펄스 응답 필터이므로, 알려진 타겟 스펙트럼만을 매칭시킨다. 타겟 스펙트럼은 광 소스의 SPD일 수 있으며, 이러한 SPD는 전체 스펙트럼에 걸쳐 반사율 등급이 >95%인 백색 교정 타겟의 반사율에 기반하여 근사화될 수 있다. 알 수 없는 복합 배경은 x-y 평면에 있는 모든 픽셀의 상관 또는 공분산 행렬로 표현되어, CEM 검출기에 다음과 같은 수학식 1을 제공할 수 있다:
여기서 는 타겟 프로파일의 광 소스이고, 는 단일 픽셀의 스펙트럼이고, 은 복합 배경 상관 또는 공분산 행렬이다. 도 7a 내지 도 7d는 정반사 및 과다 노출된 픽셀을 검출하는 프로세스와 도 6에 도시된 바와 같은 하이퍼스펙트럼 이미지 데이터에서 이들 픽셀을 후속적으로 제거하는 프로세스를 개략적으로 도시한 것이다. 여기에서, 도 7a에서의 정반사는 전술한 바와 같은 타겟 검출 기술에 기반하여 검출된다. 유사하게, 도 7b에서의 과다 노출된 픽셀은 임계치 값에 기반하여 결정될 수 있다. 그 후, 정반사 및 과다 노출의 영향을 받는 픽셀을 모두 사용하여 도 7c에 도시된 바와 같은 픽셀 마스크를 형성할 수 있고, 이러한 픽셀 마스크는 스펙트럼 이미지 데이터에서 제거되어야 하는 픽셀(및 관련 스펙트럼 값)을 식별할 수 있다. 도 7d는 픽셀 마스크가 하이퍼스펙트럼 이미지 데이터에 적용된 결과를 도시한 것이다. 이러한 데이터에 기반하여 하이퍼스펙트럼 지문이 결정될 수 있다.
파우치 내부의 개별 의약품 대상의 하이퍼스펙트럼 지문의 추출은 의약품 파우치의 하나 이상의 고해상도 이미지에서 약제, 예컨대, 알약을 로컬화하는 제1 단계를 포함할 수 있다. 하이퍼스펙트럼 처리에 선행하는 이들 이미지의 이미지 처리는 이미 강력한 알약 검출 및 분할을 제공할 수 있다. 약제를 나타내는 검출된 블럽의 윤곽은 파우치 내부의 의약품 대상을 로컬화하는 데 사용될 수 있다. 고해상도 이미지의 해상도 및 픽셀 크기는 하이퍼스펙트럼 이미지의 해상도 및 픽셀 크기와 비교하여 다를 수 있으므로, 윤곽 좌표는 의약품 대상을 나타내는 하이퍼스펙트럼 데이터의 픽셀 블럽(하이퍼스펙트럼 블럽)을 로컬화하는 데 사용될 수 있도록 스케일링되어야 한다. 스케일링 계수는 모든 파우치에 대해 일정할 수 있고, 이를 통해 하이퍼스펙트럼 이미지의 x-y 평면 상에서 정제 좌표의 계산이 매우 빠르게 유도될 수 있다.
그런 다음 하이퍼스펙트럼 블럽에서 아웃라이어(배경 픽셀)를 제거할 수 있다. 하이퍼스펙트럼 블럽은 배경 픽셀을 포함할 수 있는데, 그 이유는 고해상도 이미지에서 하이퍼스펙트럼 이미지로의 좌표 매핑이 정확하지 않을 수 있기 때문이다. 또한, 컬러 카메라 노출 구역에서 하이퍼스펙트럼 카메라 노출 구역으로 이송될 때 파우치나 파우치 내의 의약품 대상의 위치는 조금씩 변경될 수 있다. 그러한 경우, 이 매핑에 의해 지정된 모든 픽셀을 사용하면 약물 지문 계산 시 일부 배경 픽셀이 고려될 것이다. 이러한 문제를 해결하기 위해, 선택된 하이퍼스펙트럼 이미지 데이터는 스펙트럼 특성에 따라 두 개의 그룹으로 클러스터링될 수 있다. 이를 위해, 일 실시예에서, k=2 클러스터를 갖는 k-평균 클러스터링 알고리즘과 같은 클러스터링 알고리즘은 각 블럽에 대해 개별적으로 사용될 수 있다. 일 실시예에서, 두 개의 클러스터의 중심은 배경 클러스터를 나타내는 전체 파우치의 스펙트럼 평균 및 의약품 대상을 나타내는 매핑된 블럽의 질량 중심으로 정의될 수 있다. 클러스터링 알고리즘의 실행 후, 약물 클러스터에 할당된 픽셀은 모든 후속 계산에 사용될 수 있다.
추가 단계는 하이퍼스펙트럼 블럽에서 픽셀의 노이즈 제거 및 정규화와 관련된다. 나머지 유효한 픽셀에 대해서는 카메라의 열 노이즈를 뺄 수 있다. 이는 원시 반사율 값에 기반하여 실현될 수 있다. 이러한 노이즈는 본질적으로 카메라 셔터가 닫혀 있을 때(빛이 완전히 차단된 상태일 때) 센서에 의해 수신되는 신호이다. 노이즈를 확실하게 측정하기 위해, 셔터가 닫힌 상태에서 복수의 스캔을 수행하고 각 파장에 대한 값을 평균화할 수 있다. 이렇게 획득된 평균 노이즈 프로파일은 각 개별 픽셀의 반사율에서 감산될 수 있다. 이어서 광 소스의 스펙트럼 특성이 제거될 수 있다. 이는 지문 결정에 의약품 대상의 반사율 특성만이 사용되도록 하기 위해 수행된다. 이는 모든 픽셀의 반사율 값을 전술한 백색 교정 타겟의 평균 반사율로 나눔으로써 실현될 수 있다.
모든 픽셀에 대해 로그 도함수(logarithmic derivative)를 계산하여, 하이퍼스펙트럼 지문이 광도에 대해 불변하도록 할 수 있다. 스펙트럼 대역 i에서 스펙트럼 p의 로그 도함수는 다음과 같이 계산될 수 있다:
여기서 는 0으로 나누기가 발생하지 않도록 하는 작은 양의 상수이다. 이러한 형태의 도함수는 차이 대신 연속 스펙트럼 간의 비율을 사용하기 때문에 로그(logarithmic)라고 지칭된다. 로그 도함수는 거의 동일한 스펙트럼 간의 작은 구조적 차이를 강조할 수 있다. 스펙트럼의 로그 도함수는 입력 신호에 대해 다항식 함수, 예컨대, 2차 다항식 함수의 조각별 피팅(piece-by-piece fitting)을 수행하는 필터, 예컨대, Savitzky-Golay 필터를 사용하여 평활화될 수 있다. 각각의 스펙트럼 빈에 대한 모든 유효한 픽셀의 평활화된 로그 도함수의 평균을 계산하여, 데이터를 약물 당 단일 반사율 스펙트럼으로 줄이고 노이즈를 평균화할 수 있다.
이 단계에서, 약물 대상은 미리 결정된 차원, 예컨대, 150개를 초과하는 차원의 벡터로 표현될 수 있다. 각 차원은 930 내지 1630㎚ 범위의 상이한 파장에 해당할 수 있으며, 다수의 파장이 다양한 의약품 대상 간의 유의미한 식별력을 전달하지 못할 수 있다. 그러한 중복성 차원은 약물을 성공적으로 매칭시키는 데 아무런 기여도 하지 않으며 실제로 매칭 알고리즘의 성능을 저하시키는 경우가 많다.
최대량의 판별 정보를 전달하는 최소 수의 차원을 얻기 위해 PCA 차원 축소 알고리즘과 같은 차원 축소 알고리즘을 사용할 수 있다. 이러한 알고리즘은 원본 데이터에서 비선형 구조를 검출하고 이를 선형적으로 분리 가능한 투영으로 전개하는 데 사용될 수 있다. 일 실시예에서, 코사인 커널(cosine kernel)이 사용될 수 있는데, 이는 본질적으로 데이터가 참조 세트의 하이퍼스펙트럼 프로파일들 사이의 쌍별 코사인 거리의 행렬에 기반하여 새로운 특징 공간으로 투영된다는 것을 의미한다. 이 단계에서는 참조 파우치 세트를 미리 정의해야 할 수 있는데, 그 이유는 이러한 세트가 커널 PCA 변환을 계산하는 데 사용되기 때문이다. 참조 파우치 세트가 더 광범위하고 더 완전할수록 커널 PCA 모델은 특히 적은 수의 참조 패치에 대해 더 강력해질 것이다. 특정 수의 파우치 후에, 커널 PCA 알고리즘에 의해 "학습된" 특징 공간의 투영은 거의 변경되지 않지만 그 수는 수백 개의 파우치로 추정된다.
도 5는 본 발명의 일 실시예에 따른 하이퍼스펙트럼 이미지 데이터를 처리하기 위한 방법을 도시한 것이다. 이미지 처리 동안의 이미지의 예는 도 8a 내지 도 8d, 도 9 및 도 10에서 도시된다. 특히, 이 도면은 위에서 설명한 바와 같은 단계에 기반하여 하이퍼스펙트럼 이미지 데이터를 처리하기 위한 방법을 도시한 것이다. 이 방법은, 의약품 패킷의 제1 공간 해상도의 이미지를 캡처하고 상기 이미지에서 하나 이상의 의약품 대상을 로컬화하며, 상기 의약품 패킷으로부터 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계(단계 500)를 포함할 수 있다. 그런 다음, 다수의 이미지 처리 단계가 하이퍼스펙트럼 데이터에 적용될 수 있다. 이들 단계는 클러스터링 알고리즘과 같은 알고리즘을 사용하여 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분으로부터 배경 픽셀(아웃라이어)을 제거하는 단계(단계 502)를 포함할 수 있다. 또한, 이 방법은 하나 이상의 하이퍼스펙트럼 이미지 데이터로부터 정반사로 인해 오염되고/되거나 과다 노출된 픽셀을 제거하는 단계(단계 504)를 포함할 수 있다.
도 8a는 컬러 이미지에서 로컬화된 알약의 일 예를 도시한 것이다. 유사하게, 도 8b는 알약의 하이퍼스펙트럼 이미지를 도시한 것이고, 도 8c는 정반사 및 과다 노출을 포함하는 픽셀이 제거된 이미지를 도시한 것이다. 그 후, 이미지 내의 하나 이상의 로컬화된 의약품 대상을 하이퍼스펙트럼 이미지 데이터 상에 매핑함으로써 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 결정할 수 있다(단계 506). 이 단계는 도 8d에 도시되며, 도 8d는 컬러 이미지 내에 로컬화된 알약에 기반하여 하이퍼스펙트럼 이미지 데이터로부터 픽셀 블럽을 선택하는 것을 도시하고 있다. 추가 단계에서, 바람직하게는 PCA 방법에 기반하여 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분의 차원을 축소시킬 수 있다(단계 508). 하나 이상의 축소된 하이퍼스펙트럼 이미지 데이터 부분 중 적어도 하나에 기반하여 지문을 결정할 수 있다(단계 510).
도 9 및 도 10은 동일한 약학적 조성의 2개의 알약의 지문의 예를 도시한 것으로, 여기서 지문은 본 개시내용의 실시예를 참조하여 설명된 데이터 처리 단계에 기반하여 계산된다. 이들 결과는 프로세스가 의약품 대상의 정확한 검사를 가능하게 하는 신뢰할 수 있고 재현 가능한 결과를 제공한다는 것을 보여준다.
본 개시내용의 기술은 무선 핸드셋, 집적 회로(IC) 또는 IC 세트(예컨대, 칩셋)를 포함하는 매우 다양한 디바이스 또는 장치로 구현될 수 있다. 본 개시된 기술을 수행하도록 구성된 디바이스의 기능적 양태를 강조하기 위해 다양한 컴포넌트, 모듈, 또는 유닛이 본 개시내용에 설명되지만, 반드시 상이한 하드웨어 유닛에 의한 구현을 요구하는 것은 아니다. 오히려, 전술한 바와 같이, 다양한 유닛은 적합한 소프트웨어 및/또는 펌웨어와 협력하여 코덱 하드웨어 유닛에서 결합되거나, 전술한 바와 같은 하나 이상의 프로세서를 포함하는 상호 작용 하드웨어 유닛들의 집합체에 의해 제공될 수 있다.
본원에서 사용되는 용어는 특정 실시예를 설명하기 위한 목적으로만 사용되며, 본 발명을 제한하고자 하는 것은 아니다. 본원에서 사용되는 단수 형태 "하나(a)", "한(an)" 및 "그(the)"는 문맥이 달리 명백히 나타내지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용되는 "포함한다" 및/또는 "포함하는"이라는 용어는 명시된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 또한 이해될 것이다.
아래의 청구항 내의 모든 수단 또는 단계 플러스 기능 요소(all means or step plus function elements)의 해당 구조, 재료, 행위, 및 균등물은 구체적으로 청구된 바와 같은 다른 청구된 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료, 또는 행위를 포함하도록 의도된다. 본 발명의 설명은 예시 및 설명의 목적으로 제시되었지만, 개시된 형태의 발명으로 총망라한 것이거나 한정되는 것으로 의도된 것은 아니다. 본 발명의 범주 및 사상을 벗어나지 않으면서 많은 수정 및 변형이 본 기술 분야의 통상의 기술자에게는 명백할 것이다. 본 실시예는, 본 발명의 원리 및 실제 적용을 가장 잘 설명하고, 본 기술 분야의 통상의 다른 기술자가 고려된 특정 용도에 적합한 다양한 변형을 가진 다양한 실시예에 대한 발명을 이해할 수 있도록 하기 위해 선택되고 기술되었다.
Claims (14)
- 의약품 대상을 검사하는 방법으로서,
파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 단계 ― 상기 이미지는 제1 공간 해상도를 가짐 ―;
상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 단계 ― 각 픽셀의 블럽은 상기 의약품 대상 중 하나를 나타냄 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계;
상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 단계 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및
상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 단계
를 포함하는, 의약품 대상을 검사하는 방법. - 제1항에 있어서,
상기 하이퍼스펙트럼 이미지 데이터를 캡처하는 단계는 연속 스펙트럼, 바람직하게는 전자기 스펙트럼의 가시광선 및/또는 근적외선 영역에서 연속 스펙트럼을 갖는 광에 하나 이상의 의약품 대상을 노출시키는 단계를 포함하는 것인, 의약품 대상을 검사하는 방법. - 제1항 또는 제2항에 있어서,
상기 하이퍼스펙트럼 데이터는 픽셀의 그리드를 포함하며, 각 픽셀은 복수의 스펙트럼 값과 연관되며, 각 스펙트럼 값은 전자기 스펙트럼의 가시광선 및/또는 근적외선 영역의 파장과 연관되는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
하나 이상의 의약품 대상의 이미지는 제1 공간 해상도의 픽셀의 2D 그리드를 포함하며, 각 픽셀은 적어도 하나의 스펙트럼 값, 바람직하게는 RGB 값 및/또는 IR 값과 연관되는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 하이퍼스펙트럼 이미지 데이터는 라인 스캔 하이퍼스펙트럼 이미지 데이터를 포함하며, 라인 스캔 하이퍼스펙트럼 이미지 데이터는 픽셀 라인을 포함하되, 각 픽셀은 복수의 스펙트럼 값과 연관되는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지 내의 하나 이상의 픽셀 블럽을 결정하는 단계는 대상 검출 및 분할 알고리즘에 기반하는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 단계는:
상기 이미지 내의 하나 이상의 픽셀 블럽을 상기 하이퍼스펙트럼 이미지 데이터의 픽셀 상에 매핑하는 단계를 포함하는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
하나 이상의 하이퍼스펙트럼 이미지 데이터 부분을 선택하기 전에:
알고리즘, 바람직하게는, 클러스터링 알고리즘을 사용하여 하나 이상의 하이퍼스펙트럼 이미지 데이터로부터 배경 픽셀(아웃라이어(outlier))을 제거하는 단계; 및
상기 하나 이상의 하이퍼스펙트럼 이미지 데이터로부터 정반사로 인해 오염되고/되거나 과다 노출된 픽셀을 제거하는 단계
중 하나 이상이 실행되는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
하나 이상의 하이퍼스펙트럼 지문을 결정하는 단계는:
바람직하게는 PCA 방법에 기반하여 하나 이상의 하이퍼스펙트럼 이미지 데이터 부분의 차원을 축소시키는 단계; 및
상기 하나 이상의 축소된 하이퍼스펙트럼 이미지 데이터 부분 중 적어도 하나에 기반하여 지문을 결정하는 단계
를 더 포함하는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
하나 이상의 의약품 대상의 이미지를 캡처하는 데 카메라 시스템이 사용되며, 바람직하게는 상기 카메라 시스템은 단색 또는 다중 대역 카메라, 예컨대, 컬러 카메라를 포함하는 것인, 의약품 대상을 검사하는 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 하이퍼스펙트럼 이미지 데이터는 2D 하이퍼스펙트럼 카메라 또는 하이퍼스펙트럼 라인 스캔 카메라를 사용하여 캡처되며, 캡처하는 동안, 상기 의약품 대상은 상기 하이퍼스펙트럼 라인 스캔 카메라에 대해 상대적으로 이동하며, 보다 바람직하게는 상기 의약품 대상은 상기 카메라 시스템의 시야를 통해 이동하는 것인, 의약품 대상을 검사하는 방법. - 카메라 시스템을 포함하는 의약품 검사 장치를 제어하기 위한 모듈로서,
상기 모듈은 컴퓨터 판독가능 프로그램 코드가 구현된 컴퓨터 판독가능 저장 매체, 및 상기 컴퓨터 판독가능 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하되,
상기 프로세서는 상기 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 실행가능 동작을 수행하도록 구성되며, 상기 실행가능 동작은:
파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 동작 ― 상기 이미지는 제1 공간 해상도를 가짐 ―;
상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 동작 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 동작 ― 각 픽셀의 블럽은 상기 의약품 대상 중 하나를 나타냄 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 동작;
상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 동작 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및
상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 동작
을 포함하는 것인, 카메라 시스템을 포함하는 의약품 검사 장치를 제어하기 위한 모듈. - 의약품 대상 검사 장치로서,
카메라 시스템,
프로그램의 적어도 일부가 구현된 컴퓨터 판독가능 저장 매체; 및 컴퓨터 판독가능 프로그램 코드가 구현된 컴퓨터 판독가능 저장 매체, 및 상기 컴퓨터 판독가능 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하되, 상기 프로세서는 상기 컴퓨터 판독가능 프로그램 코드를 실행하는 것에 응답하여, 실행가능 동작을 수행하도록 구성되며, 상기 실행가능 동작은:
파우치 내에 랜덤하게 배열된 의약품 대상, 바람직하게는 상이한 형상, 크기 및/또는 조성의 약제의 이미지를 캡처하는 동작 ― 상기 이미지는 제1 공간 해상도를 가짐 ―;
상기 파우치 내의 의약품 대상의 하이퍼스펙트럼 이미지 데이터를 캡처하는 동작 ― 상기 하이퍼스펙트럼 이미지 데이터는 상기 제1 공간 해상도보다 작은 제2 공간 해상도를 가짐 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽을 결정하는 동작 ― 각 픽셀의 블럽은 의약품 대상 중 하나를 나타냄 ―;
상기 제1 공간 해상도의 이미지 내의 픽셀의 블럽 중 적어도 하나에 기반하여 상기 하이퍼스펙트럼 이미지 데이터 중에서 적어도 하나의 하이퍼스펙트럼 이미지 데이터 부분을 선택하는 동작;
상기 하이퍼스펙트럼 이미지 데이터 부분에 기반하여 하이퍼스펙트럼 지문을 결정하는 동작 ― 상기 하이퍼스펙트럼 지문은 의약품 대상 내의 하나 이상의 화합물의 스펙트럼 반응을 나타냄 ―; 및
상기 하이퍼스펙트럼 지문을 하나 이상의 참조 지문과 비교하는 동작
을 포함하는 것인, 의약품 대상 검사 장치. - 컴퓨터의 메모리에서 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL1043858 | 2020-12-03 | ||
| NL1043858 | 2020-12-03 | ||
| NL2027213A NL2027213B1 (en) | 2020-12-03 | 2020-12-23 | Inspecting medicine objects based on hyperspectral imaging |
| NL2027213 | 2020-12-23 | ||
| PCT/EP2021/084272 WO2022117874A1 (en) | 2020-12-03 | 2021-12-03 | Inspecting medicine objects based on hyperspectral imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230127227A true KR20230127227A (ko) | 2023-08-31 |
Family
ID=79024589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237021710A KR20230127227A (ko) | 2020-12-03 | 2021-12-03 | 하이퍼스펙트럼 이미징에 기반한 의약품 대상의 검사 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240029237A1 (ko) |
| EP (1) | EP4256312A1 (ko) |
| JP (1) | JP2023551558A (ko) |
| KR (1) | KR20230127227A (ko) |
| CA (1) | CA3200248A1 (ko) |
| WO (1) | WO2022117874A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024003689A1 (en) * | 2022-06-27 | 2024-01-04 | P.B.L. Srl | Method and system for inspecting a pharmaceutical product contained in a package |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001003646A2 (en) * | 1999-07-14 | 2001-01-18 | Spectral Dimensions, Inc. | High-volume on-line spectroscopic composition testing of manufactured pharmaceutical dosage units |
| US6853447B2 (en) * | 2001-02-12 | 2005-02-08 | Analytical Spectral Devices, Inc. | System and method for the collection of spectral image data |
| US7218395B2 (en) * | 2003-04-16 | 2007-05-15 | Optopo Inc. | Rapid pharmaceutical identification and verification system |
| WO2008034432A2 (de) * | 2006-09-21 | 2008-03-27 | Ruped Systems Gmbh | Verfahren und vorrichtung zum identifizieren von eigenschaften von objekten |
| PT2951563T (pt) | 2013-02-04 | 2020-02-28 | Ziuz Holding B V | Método e aparelho para inspecionar embalagens que contêm medicação |
| JP2014215177A (ja) | 2013-04-25 | 2014-11-17 | 住友電気工業株式会社 | 検査装置及び検査方法 |
| EP2853883A1 (en) * | 2013-09-16 | 2015-04-01 | UmBio AB | Genetic algorithm for grouping objects on the basis of their hyperspectral images |
| US10187593B2 (en) * | 2016-09-27 | 2019-01-22 | Rxsafe Llc | Verification system for a pharmacy packaging system |
| JP6568245B2 (ja) * | 2018-01-24 | 2019-08-28 | Ckd株式会社 | 検査装置、ｐｔｐ包装機、及び、検査装置の較正方法 |
-
2021
- 2021-12-03 WO PCT/EP2021/084272 patent/WO2022117874A1/en active Application Filing
- 2021-12-03 US US18/255,286 patent/US20240029237A1/en active Pending
- 2021-12-03 JP JP2023533831A patent/JP2023551558A/ja active Pending
- 2021-12-03 EP EP21830973.0A patent/EP4256312A1/en active Pending
- 2021-12-03 CA CA3200248A patent/CA3200248A1/en active Pending
- 2021-12-03 KR KR1020237021710A patent/KR20230127227A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20240029237A1 (en) | 2024-01-25 |
| JP2023551558A (ja) | 2023-12-08 |
| EP4256312A1 (en) | 2023-10-11 |
| WO2022117874A1 (en) | 2022-06-09 |
| CA3200248A1 (en) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10217012B2 (en) | Drug recognition device and method | |
| US10726285B2 (en) | Medicine audit apparatus, method, and program | |
| EP2951563B1 (en) | Method and apparatus for inspecting packages containing medication | |
| US20140319351A1 (en) | Inspection apparatus and an inspection method | |
| CN103649722A (zh) | 药剂检查装置和药剂检查方法 | |
| US9870611B2 (en) | Drug inspection device | |
| US20210015711A1 (en) | Medicine verification device and medicine verification method | |
| CN110537090B (zh) | 检查装置、ptp包装机和ptp片的制造方法 | |
| JP5826452B2 (ja) | 検査装置 | |
| US20240029237A1 (en) | Inspecting medicine objects based on hyperspectral imaging | |
| WO2015136620A1 (ja) | 錠剤検査装置、錠剤検査方法、錠剤検査プログラム | |
| JP4332122B2 (ja) | 外観検査装置及びｐｔｐ包装機 | |
| CN112673249A (zh) | 检查装置、ptp包装机和ptp片的制造方法 | |
| US20140204200A1 (en) | Methods and systems for speed calibration in spectral imaging systems | |
| US20180046840A1 (en) | A non-contact capture device | |
| JP2019148607A (ja) | 検査装置 | |
| NL2027213B1 (en) | Inspecting medicine objects based on hyperspectral imaging | |
| KR20200062533A (ko) | 알약 포장 설비 자동화 기계의 검사 장치 | |
| US20210019886A1 (en) | Medicine verification device and medicine verification method | |
| Paolanti et al. | Automatic classification for anti mixup events in advanced manufacturing system | |
| JP2018185269A (ja) | 検査装置、ｐｔｐ包装機及びｐｔｐシートの製造方法 | |
| CN116829926A (zh) | 基于高光谱成像检查医药物品 | |
| KR102361199B1 (ko) | 조제약 자동 검사 시스템 및 검사 방법 | |
| JP5946705B2 (ja) | 検査装置および検査方法 | |
| JP2020153803A (ja) | 検査装置、ｐｔｐ包装機及びｐｔｐシートの製造方法 |