KR102561606B1 - 약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치 - Google Patents

약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102561606B1
KR102561606B1 KR1020197035573A KR20197035573A KR102561606B1 KR 102561606 B1 KR102561606 B1 KR 102561606B1 KR 1020197035573 A KR1020197035573 A KR 1020197035573A KR 20197035573 A KR20197035573 A KR 20197035573A KR 102561606 B1 KR102561606 B1 KR 102561606B1
Authority
KR
South Korea
Prior art keywords
image
drug
template
label
container
Prior art date
Application number
KR1020197035573A
Other languages
English (en)
Other versions
KR20200003139A (ko
Inventor
로버트 존스
로버트 프랭크 마칭턴
데이비드 리머
보그단-알렉산드루 코치우
윌리엄 데링 애디슨
매튜 제임스 헤이스
루아이리 더피
캉탱 르 마스네
Original Assignee
아레스 트레이딩 에스.아.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아레스 트레이딩 에스.아. filed Critical 아레스 트레이딩 에스.아.
Publication of KR20200003139A publication Critical patent/KR20200003139A/ko
Application granted granted Critical
Publication of KR102561606B1 publication Critical patent/KR102561606B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178—Syringes
    • A61M5/24—Ampoule syringes, i.e. syringes with needle for use in combination with replaceable ampoules or carpules, e.g. automatic
    • A61M5/2455—Ampoule syringes, i.e. syringes with needle for use in combination with replaceable ampoules or carpules, e.g. automatic with sealing means to be broken or opened
    • A61M5/2459—Ampoule syringes, i.e. syringes with needle for use in combination with replaceable ampoules or carpules, e.g. automatic with sealing means to be broken or opened upon internal pressure increase, e.g. pierced or burst
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/1607—Correcting image deformation, e.g. trapezoidal deformation caused by perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19027—Matching of contours
    • G06V30/19033—Matching of contours by mapping curve parameters onto an accumulator array, e.g. generalised Hough Transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/1904—Shifting or otherwise transforming the patterns to accommodate for positional errors involving a deformation of the sample or reference pattern; Elastic matching
    • G06V30/19053—Shifting or otherwise transforming the patterns to accommodate for positional errors involving a deformation of the sample or reference pattern; Elastic matching based on shape statistics, e.g. active shape models of the pattern to be recognised
    • G06V30/1906—Shifting or otherwise transforming the patterns to accommodate for positional errors involving a deformation of the sample or reference pattern; Elastic matching based on shape statistics, e.g. active shape models of the pattern to be recognised based also on statistics of image patches, e.g. active appearance models of the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19067—Matching configurations of points or features, e.g. constellation matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/58—Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/583—Means for facilitating use, e.g. by people with impaired vision by visual feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/58—Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/583—Means for facilitating use, e.g. by people with impaired vision by visual feedback
    • A61M2205/584—Means for facilitating use, e.g. by people with impaired vision by visual feedback having a color code
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/58—Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/587—Lighting arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/70—General characteristics of the apparatus with testing or calibration facilities
    • A61M2205/702—General characteristics of the apparatus with testing or calibration facilities automatically during use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hematology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Anesthesiology (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Abstract

약물-함유 용기에 대한 정보는 약물-함유 용기의 원통형 부분의 곡면의 이미지 데이터를 캡처함으로써 결정된다. 이미지 데이터는 곡면 주위로부터 전개되고, 이진화되며, 라벨 정보가 용기 및/또는 약물에 대한 후보 정보를 포함하는 것을 결정하기 위해 템플릿 매칭 알고리즘이 사용된다.

Description

약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치
본 발명은 약물-함유 용기에 대한 정보의 결정에 관한 것이다. 구체적으로, 그러나 비제한적으로, 본 발명은 자동 주사기와 같은 의료 장치 내에 수용되는 주사기 또는 카트리지와 같은 약물-함유 용기(일차 팩)에 대한 정보를 결정하기 위한 방법 및 장치에 관한 것이다.
다발성 경화증, 관절염, 성장 호르몬 결핍증, 터너 증후군, 만성 신부전과 같은 다양한 질환 중 하나 이상으로 고통받는 환자는 하나 이상의 약물의 정기적인 경피 투여를 필요로 할 수 있다. 이러한 투여는 의료 전문가에 의해 수행될 수 있지만, 일부 경우에는 환자 자신 또는 그 보호자에 의해 투여가 이루어질 수도 있다. 자동 주사기와 같은 일부 의료 장치는 주사기 또는 카트리지와 같은 약물-함유 용기를 수용하고 작동 시에 약물을 환자에게 경피 투여하도록 작동할 수 있다.
본 발명의 양태 및 특징은 첨부된 청구범위에 제시되어 있다.
본 개시의 예는 이제 첨부 도면을 참조하여 설명될 것이다.
도 1은 의료 장치의 도시도이다.
도 2는 예시적 약물-함유 용기의 도시도이다.
도 3은 대체 약물-함유 용기의 도시도이다.
도 4는 약물-함유 용기를 구비하는 의료 장치의 도시도이다.
도 5는 단일 촬상 장치가 한 쌍의 거울과 함께 사용될 수 있는 예시적 셋업의 예를 도시한다.
도 6 및 도 7은 "거울의 방(hall of mirrors)" 원리를 사용하는 대체 구성을 도시한다.
도 8은 약물-함유 용기 및 거울 셋업의 단부도이다.
도 9는 도 8의 셋업의 사시도이다.
도 10은 복수의 촬상 장치가 약물-함유 용기를 직접 촬상하고 또한 각각의 거울을 촬상하도록 배치되는 하이브리드 방법의 도시도이다.
도 11은 약물-함유 용기의 예시적 라벨의 도시도이다.
도 12는 약물-함유 용기의 원통형 부분의 곡면 주위에 감겨있는 직사각형 라벨의 한 쌍의 예시적 사시도이다.
도 13은 직사각형 라벨의 x 및 y 픽셀 좌표가 촬상 장치 좌표로 변환되는 방법을 도시한다.
도 14는 복수의 재구성된 라벨 패치의 도시도이다.
도 15는 네 개의 재구성된 이미지 패치의 도시도이다.
도 16은 도 15의 재구성된 패치를 각각 생성한 매핑에 대응하는 네 개의 예시적 마스크의 도시도이다.
도 17은 도 10의 장치를 사용한 취득 이후의 세 개의 전개된(unfurled) 이미지를 도시한다.
도 18은 전개된 이미지를 좌측에 도시하고, 전개된 이미지의 이진화 버전을 우측에 도시한다.
도 19는 큰 템플릿을 그 세 개의 서브-타일(sub-tile)과 함께 도시한다.
도 20은 예시적인 전개된 이미지를 표준 템플릿 매칭 알고리즘에 대한 응답과 나란히 도시한다.
도 21은 다른 예시적인 전개된 이미지를 표준 템플릿 매칭 알고리즘에 대한 응답과 나란히 도시한다.
도 22는 분류 방법을 도시한다.
약물-함유 용기가 자동 주사기와 같은 의료 장치에 장전되면, 사용자는 약물을 투여하기 위해 장치를 작동시키려고 시도할 것으로 예상된다. 그러나, 잘못된 약물-함유 용기가 의료 장치에 장전되면, 환자는 필요한 약물을 수취하지 못하거나, 잘못된 용량의 약물을 수취하거나, 수취하기에 적절하지 않은 약물을 수취할 수 있으며, 이 모든 것은 환자에게 심각하게 해로울 수 있다. 약물-함유 용기가 환자에게 올바른 것인지 여부의 확인은 일반적으로 약물-함유 용기의 원통형 부분의 곡면에 부착된 라벨을 육안으로 검사함으로써 이루어진다. 약물-함유 용기는 그 형상으로 인식될 수 있도록 예를 들어 키잉(keying)에 의해 기계적으로 구성되거나 및/또는 RFID 태그와 같은 다른 식별 수단을 구비할 수 있지만, 다양한 제조업체가 약물을 생산하고 이들 약물을 다양한 형상의 용기에 제공한다는 사실은 용기 라벨의 육안 검사가 현재 약물-함유 용기의 내용물을 확인하기 위한 최선의 방법이라는 것을 의미한다.
대체 실시예에서는, 사용 후에 환자가 약물-함유 용기를 폐기할 것이다. 약물-함유 용기의 폐기는 이러한 폐기된 빈 약물 용기를 수용하도록 구성된 용기를 사용하여 이루어질 수 있다. 준법 감시를 개선하기 위해 폐기 용기는 빈 약물-함유 용기를 인식할 필요가 있을 수 있다. 따라서 대체 실시예에서 본 발명은 예를 들어 폐기되는 약물-함유 용기와 그 정체를 기록할 수 있도록 약물-함유 용기를 인식 및 식별하기 위한 장치 및 방법에 관한 것이다.
본 명세서에는 자동 주사기와 같은 약물-비의존성 의료 장치가 그 안에 어떤 약물이 장전되었는지를 결정할 수 있도록 그리고 그로 인해 약물 투여가 가능한지 여부를 결정할 수 있도록 약물-함유 용기의 원통형 부분의 곡면에 제공되는 약물-함유 용기에 대한 정보를 결정하기 위한 방법이 기재되어 있다.
도 1은 주사기 또는 카트리지와 같은 함유 용기를 보유하도록 구성된 용기 홀더(112)를 갖는 의료 장치(110)를 도시한다. 약물 송달 기구(114)는 의료 장치가 환자(도시되지 않음)에게 인접하고 약물 송달 기구(114)가 프로세서(116)에 의해 그렇게 하도록 명령받을 때 용기 홀더(112)에 보유된 약물-함유 용기와 함께 작용하여 그 용기에 수용된 약물을 투여하도록 작동 가능하다. 약물 송달 기구는 용기 홀더(112)의 적어도 일부를 약물-함유 용기 및 그것에 결합된 바늘과 함께 의료 장치(110)의 내부로부터 의료 장치(110) 외부로의 경로를 따라서 이동시켜 환자의 진피를 천공하도록 작동 가능하다. 약물 송달 기구(114)는 또한 약물-함유 용기의 플런저를 눌러서 그 용기에 함유된 약물을 약물-함유 용기로부터 피하주사 바늘을 거쳐서 환자의 조직 내로 방출시키도록 작동 가능하다. 의료 장치(110)는 약물-함유 용기의 원통형 부분의 곡면에 부착된 라벨을 촬상하고 그 촬상에 기인하는 이미지 데이터를 프로세서(116)에 제공하도록 작동 가능한 라벨 이미저(imager)(118)를 추가로 포함한다. 프로세서(116)는 라벨 이미저(118)로부터 이미지를 수신하고 약물 송달 기구(114)를 제어하기 위해 메모리(120)에 저장된 명령에 따라 작동하도록 구성된다. 프로세서(116)는 또한 입력/출력 부품(122)에 결합될 수 있으며 그로 인해 프로세서(116)는 의료 장치와 관련된 약물 및 투여량에 관한 템플릿 정보와 같은 명령을 수신할 수 있거나 및/또는 예를 들어 예기치 않은 약물-함유 용기가 의료 장치(110)에 삽입되었음을 나타내기 위해 경보를 출력할 수 있다. 도 2는 예시적인 약물-함유 용기(210)를 도시하며 이는 피하주사 바늘(212), 원통형 부분(214), 플런저(216), 핑거 가드(218) 및 작동 단부(220)를 갖는 주사기이다. 주사기(210)의 원통형 부분(214)에는 직사각형이지만 원통의 곡면 주위에 둘러싸이는 라벨이 제공된다. 라벨(222)은 주사기(210)에 함유된 약물에 대한 정보를 포함하며, 추가로 주사기에 함유된 약물의 양에 대한 정보(이 경우 "5 mg")를 포함한다. 도 3은 대체 약물-함유 용기(310)를 도시하고, 이 대체 용기는 이 경우에 바늘이 천공 가능한 막(316)을 관통하고 플런저가 방향 A로 이동할 때 약물이 바늘을 거쳐서 배출되도록 카트리지(314)의 원통형 부분 내에서 슬라이딩하도록 작동 가능한 플런저(312)를 갖는 카트리지이다.
약물-함유 용기의 용기 원통형 부분의 곡면에 의해 부착된 라벨을 촬상하기 위한 복수의 다양한 방법이 고려되었으며 이제 설명될 것이다.
스캐닝 촬상 장치
도 4는 약물-함유 용기(이 경우 주사기)(412)를 구비하는 의료 장치(410)를 도시한다. 의료 장치(410)는 촬상 장치(414, 416)가 약물-함유 용기(412)의 원통형 부분의 곡면의 양쪽의 복수의 이미지를 캡처할 수 있게 하기 위해 각각의 액추에이터(422, 424)의 작동 시에 각각의 레일(418, 420)을 따라서 B-C 또는 C-B 방향으로 이동하도록 작동 가능한 한 쌍의 촬상 장치(414, 416)를 갖는다. 촬상 장치(414, 416)는 라벨 이미저(118)의 일부를 형성하며, 그 결과 취득된 이미지를 이미지 데이터로서 프로세서(116)에 중계한다.
프로세서(116)에 의해 수신되면, 그 레일을 따라서 이동하는 촬상 장치와 다른 시점에 취득된 각각의 촬상 장치로부터의 이미지는 후속 처리를 위해 각각의 촬상 장치로부터 단일 이미지를 생성하도록 융합 또는 혼합될 수 있다.
도 4의 예는 레일 상에 장착된 한 쌍의 촬상 장치를 사용하지만, 촬상 장치의 개수가 2개를 초과하는, 예를 들어 3개 내지 10개 중 어느 하나 또는 그 이상인 방법도 고려된다. 또한, 촬상 장치가 레일 상에 장착될 필요가 없으며, 약물-함유 용기(412)의 원통형 부분을 스캔할 수 있도록 대체 기구가 사용될 수도 있다.
거울의 방
도 5는 "거울의 방" 방법을 사용하여 약물-함유 용기(516)를 촬상하기 위해 단일 촬상 장치(510)가 한 쌍의 거울(512, 514)과 함께 사용될 수 있는 예시적인 셋업을 도시한다. 유리하게, 이 방법은 촬상 장치가 바늘의 단부 근처에 있을 필요가 없게 하며 따라서 바늘을 환자의 피부 쪽으로 이동시키는 것 또는 약물-함유 용기의 플런저의 작동을 방해하지 않는다. 그러나 일부 약물-함유 용기(주사기 플랜지를 갖는 용기와 같은)의 경우에는 약물-함유 용기로부터 돌출하는 부분이 라벨의 일부를 가릴 수 있다. 도 6 및 도 7은 "거울의 방" 원리를 사용하는 대체 구성을 도시하며, 이에 따르면 촬상 장치(610)는 그 평면이 서로에 대해 경사지는 한 쌍의 거울(614, 616)에 인접하여 배치되는 약물-함유 용기(612)의 바늘 선단 근처에 배치된다. 도 6에서는, 약물-함유 용기(612)의 반사를 위치(618, 620)에서 명확히 볼 수 있다.
도 8은 도 9의 D-E 및 E-D 방향으로 약물-함유 용기(810) 위를 평행이동하도록 구성되는 블록(814)의 구멍(812) 내에 놓이는 약물-함유 용기(810)(이 경우 카트리지)의 단부도이다. 블록(814)은, 블록(814)이 D-E 또는 E-D 방향으로 평행이동하고 촬상 장치(도 8이나 도 9의 어디에도 도시되지 않음)가 D-E 방향에 대해 각도(이 경우 45°) 경사져 배치된 거울을 촬상할 때 약물-함유 용기(810)의 원통형 부분의 곡면이 스캐닝 및 촬상되도록 약물-함유 용기(810)의 장축으로부터 멀리 경사진 복수의 거울(816)을 추가로 포함한다. 약물-함유 용기(810)에 연결된 바늘이 의료 장치를 빠져나가기 위해 횡단하게 될 경로를 따라서 거울(818)이 위치하므로, 타원형 구멍(820)이 거울(818)에 제공된다.
하이브리드 방법
도 10은 복수의 촬상 장치(1010, 1012)가 약물-함유 용기(1014)를 직접 촬상하고 또한 각각의 촬상 장치가 약물-함유 용기(1014)의 곡면의 반사 부분을 보도록 배치된 각각의 거울(1016, 1018)을 촬상하도록 배치되는 하이브리드 방법을 도시한다. 이 예에서는, 각각의 촬상 장치가 두 개의 상이한 시각에서 약물-함유 용기의 이미지를 취득할 수 있도록 촬상 장치(1010, 1012)는 약물-함유 용기(1014)의 장축에 대해 서로 대척하여 배치되며 거울(1016, 1018)은 약물-함유 용기(1014)의 장축에 대해 서로 대척하여 일정 각도(이 경우 45°)로 배치된다.
이미지 전개
약물-함유 용기에 적용되는 라벨은 약물-함유 용기의 원통형 부분의 곡면 주위에 감기기 전에 인쇄되는 접착 라벨일 수 있거나, 약물-함유 용기의 원통형 부분의 곡면에 인쇄되거나 달리 배치될 수도 있다. 도 11은 약물(1112)에 대한 정보, 이 경우 약물이 "사이젠(saizen) 5.83 mg/㎖"라는 정보를 담고 있는 약물-함유 용기에 대한 예시적 라벨(1110)을 도시하며, 라벨(1110)은 약물-함유 용기에 대한 정보(1114), 특히 이것이 "6 mg 카트리지"라는 정보를 추가로 포함한다. 도 11은 또한 약물-함유 용기(1116)의 원통형 부분의 곡면에 대응하는 곡면 주위에 감겨있을 때의 라벨(1110)을 도시한다. 촬상될 때, 이러한 감긴 라벨은 그것이 담고있는 라벨 정보의 일부가 축소될 것이며, 예를 들어, 단어 "소마트로핀(118)"은 도 11의 감긴 라벨(1116)에서 식별이 어려운 정도로 축소된다. 따라서, 라벨 정보 축소 효과를 회피 또는 감소시키면서 약물-함유 용기의 이미지로부터 라벨 정보를 추출하기 위해서는, 본래 직사각형 라벨(라벨 정보가 약물-함유 용기에 직접 인쇄되는 경우에는 가상의 본래 직사각형 라벨일 수 있음)과 약물-함유 용기를 촬상하는 촬상 장치에 의해 수신된 데이터 사이의 관계가 수립될 필요가 있다. 이 문제는 라벨이 원통 주위에 감겨 있기 때문에 약물-함유 용기의 원통형 부분의 곡면으로부터의 촬상 장치의 취득 지점에서의 투영은 종종 라벨 상의 두 지점(촬상 장치에 가까운 쪽의 한 지점 및 촬상 장치에서 먼 쪽의 한 지점)과 일치할 것이라는 사실에 의해 다소 혼동된다.
도 12는 약물-함유 용기의 원통형 부분의 곡면 주위에 감겨있는 직사각형 라벨의 한 쌍의 예시적 사시도이다. 도 12의 좌측에서, 두 개의 사시도(1210, 1212)는 라벨의 각 부분이 그 앞에 라벨의 다른 부분이 존재함으로 인해 보이지 않는 것을 도시한다. 따라서, 이러한 사시 이미지를 취득하는 촬상 장치로부터의 정보가 직사각형 라벨(1214, 1216)로서 나타나도록 전개될 때, 라벨 전체가 재구성될 수 없다. 따라서, 약물-함유 용기의 원통형 부분의 곡면으로부터 라벨을 풀어내기 위한 선택적일 수 있는 하나의 방법은 그 앞에 놓이는 라벨의 다른 부분에 의해 촬상 장치로부터 가려질 매핑을 제거하는 것을 포함한다. 그러나, 약물-함유 용기와 그 안에 담긴 약물이 때때로 다소 투명하기 때문에, 추가 방법은 대신에 그 정보를 유지하고 라벨 판독에 도움이 되도록 이를 사용할 수 있다.
도 13은 직사각형 라벨의 x 및 y 픽셀 좌표가 사진(또는 촬상 장치) 좌표로 변환되는 방법을 도시한다. 특히, 단계 s1310에서 직사각형 라벨의 x, y 픽셀 라벨 세트를 취득하고, 단계 s1312로부터 약물-함유 용기의 원통형 부분의 예상 원통 반경 및 원통 길이를 고려하여, 단계 s1314에서, 픽셀 라벨은 3D 월드 좌표로 투영하기 위해 원통 주위에 래핑될 수 있다. 촬상 장치와 그 안에 촬상 장치 및 용기 홀더가 배치되는 장치를 캘리브레이션(calibrate)하기 위한 캘리브레이션 단계(s1316)에 이어서, 단계 s1318에서 3D 월드 좌표가 2D 촬상 장치 평면에 투영될 수 있으며, 이후 단계 s1320에서 촬상 장치의 시야에서 가려질 원통의 곡면의 부분에 대한 매핑이 제거되어 단계 s1322에서 라벨 이미지 내의 x, y 픽셀 위치에 대응하는 사진 내의 위치를 출력으로서 생성할 수 있다. 직사각형 라벨 내의 임의의 픽셀이 원통 이미지의 어디에 매핑될 것인지가 알려지면, 직사각형 라벨 내의 각 픽셀은 촬상 장치 이미지를 전개시키기 위해 촬상 장치 이미지에서 샘플링될 수 있다. 샘플링될 촬상 장치 이미지 내의 위치가 정수 픽셀 위치와 반드시 일치하지 않기 때문에, 촬상 장치 이미지를 보간하기 위해 최근방, 쌍선형 및/또는 b-스플라인 보간 등의 고차 방법과 같은 보간법이 사용될 수 있다.
예로서, 라벨의 크기는 원통 길이 및 반경 파라미터로부터 얻어진다: 높이 = 2*pi*반경, 폭= 길이. 픽셀 단위의 이미지 크기는 DPI(dots per inch: 인치당 도트 수)로 재생성된 라벨의 소망 해상도를 고려하여 이것을 스케일링함으로써 얻어진다. 라벨은 이후 3D 월드에서 원통 주위에 래핑된다. 월드 좌표계의 원점은 원통의 베이스에 있는 원의 중심과 일치하도록 선택된다. 축 x와 y는 이후 이 원을 포함하는 평면에 있으며, z축은 원통의 길이를 따른다. x축은 라벨이 "접착되는" 장소를 가리킬 수 있으며, 이는 라벨(1116)의 최하 라인에 대응한다. 이 라인으로부터 위쪽으로, 라벨의 각 라인은 반시계 방향으로 증가하는 각도로 원 위에 놓인다. 픽셀 단위의 라벨의 (x, y)로부터 밀리미터 단위의 원통의 (x, y, z)로의 래핑 또는 매핑은 다음과 같이 수행된다:
Figure 112019124017481-pct00001
Figure 112019124017481-pct00002
Figure 112019124017481-pct00003
이 작업은 주어진 라벨 크기의 각 (x, y) 픽셀에 대해 이루어지며 각 픽셀에 대한 월드에서의 물리적 위치(mm)를 제공한다.
월드에 존재하는 원통이 주어지면, 공지된 파라미터의 촬상 장치를 사용하여 공지된 위치에서 그 사진을 찍을 때 그 (x, y, z) 복셀(voxel) 각각이 어디에 나타날 것인지를 추정할 것이 요망된다. 도 11은 또한 이미지의 좌상 코너에 있는 이미지 좌표계와 그 원점을 도시한다. 월드에서 사진 픽셀로의 매핑은 다음과 같이 알아낼 수 있다:
여기에서 P는 4×4 균일 촬상 장치 변환 행렬이다:
내부 촬상 장치 파라미터(K 행렬): K는 내부 촬상 장치 파라미터를 포함하는 행렬이며, 촬상 장치 초점 거리, 센서 크기, 및 광학 중심의 위치에 종속된다. 이것은 본질적으로, 밀리미터 좌표를 픽셀 좌표로 변환하고 사진 원점(좌상 코너에 존재)에 대응하지 않는 광학 중심(이미지 중심)을 고려하는 스케일링 및 변환 행렬이다. 파라미터는 사용 중인 촬상 장치에 종속되며, 통상의 기술자는 K를 결정하기 위해 초점 거리(f x , f y )를 결정하기 위해 캘리브레이션 반대(바둑판과 같은)의 사용에 대해 정통하다. 이 경우에, K는 다음과 같다:
여기에서 sx 및 s는 밀리미터 단위의 픽셀 크기이고, Ox 및 Oy는 이미지 내의 광학 중심의 픽셀 좌표이다(이미지의 실제 중심 주위에 있어야 하지만 일치하지는 않는다).
렌즈 왜곡 파라미터는 또한 촬상 장치 캘리브레이션 프로세스로부터 얻어질 수 있고 그에 따라서 K를 조절하기 위해 사용될 수 있다.
외부 촬상 장치 파라미터(R, I 행렬): 월드 좌표계가 촬상 장치 좌표계(도 11에 도시된 바와 같이 축을 가지며, 광학 중심에 위치)와 일치하지 않기 때문에, 회전 행렬(R)과 평행이동 벡터(T)로 표현되는 변환이 요구되며, 따라서 월드 포인트가 촬상 장치 축에 대해 표현된다. 이미지 좌표계에 맞춤화되는 보다 직관적인 촬상 장치 위치 지정 방식이 사용될 수 있다. R, T 행렬을 얻기 위해 지정될 파라미터는 다음과 같다:
· 월드 좌표[눈(eye) 벡터]에서의 촬상 장치의 물리적 위치;
· 촬상 장치가 보고있는 지점의 좌표[중심(centre) 벡터];
· 이미지 평면에 투영될 때 위로 향하게 될 월드에서의 방향, 예를 들어 월드 y축[상(up) 벡터]. 눈, 중심 및 상을 행 벡터로 간주하면, R 행렬은 다음 단계를 통해서 얻어지며:
새로 회전된 좌표계에 대한 촬상 장치 평행이동은 다음과 같다:
이것은 또한 먼저 로 기술되는 평행이동을 적용하고 이어서 R로 기술되는 회전을 적용함으로써 이해될 수 있다.
원통의 숨겨진 부분에 대한 매핑의 제거: 단일 이미지에서 라벨이 불투명하다고 가정하면, 촬상 장치에 대해 라벨의 가까운 쪽에 놓이는 라벨의 부분만 촬상 장치에 보일 수 있는데 이는 원통의 먼 쪽에 놓이는 라벨 부분이 가까운 쪽 부분에 의해 가려질 것이기 때문이다. 따라서, 촬상된 라벨 공간에서 보이지 않는 라벨 공간으로부터 이들 픽셀을 식별 및 제거하는 것이 바람직하다. 이를 행하기 위해, 원통형 용기를 볼 때, 이미지에 나타나는 그 긴 에지는 원통을 양분하는 평면을 형성하며, 이를 보이는 섹션과 보이지 않는 섹션으로 분할하는 것으로 가정될 수 있다. 따라서, 이는 라벨 공간을 도 12에 도시하듯이, 보이는 라벨 부분과 보이지 않는 라벨 부분으로 분할한다. 원통의 긴 에지는 간단한 에지 검출을 사용하여 촬상된 라벨 공간 내의 매핑 지점 사이에서 식별될 수 있으며, 촬상 장치와 이미지 라벨 사이의 거리가 촬상된 라벨 공간의 각 지점에 대해 알려져 있기 때문에, 용기의 먼 절반에 매핑되는 라벨 픽셀은 폐기될 수 있다. 촬상 장치에 의해 수신된 이미지가 약물-함유 용기의 직접 촬상된 묘사뿐만 아니라 약물-함유 용기의 반사된 이미지를 포함하도록 거울이 사용되는 셋업에서는, 매핑이 맞춤화된다. 예를 들어, 도 10의 셋업에서, 각각의 촬상 장치(1010, 1012)는 약물-함유 용기(1014)의 직접 묘사를 갖는 이미지를 취득할 것이며 또한 각각의 거울(1016, 1018)로부터 반사된 약물-함유 용기(1014)의 반사 이미지를 취득할 것이다. 따라서, 촬상 장치에 의해 캡처된 각각의 이미지가 약물-함유 용기(1014)의 두 가지 묘사를 포함하므로, 약물-함유 용기(1014)의 각각의 도시와 관련된 정보를 추출하기 위해 두 개의 상이한 매핑이 각각의 이미지에 적용될 수 있다. 다양한 도시로부터의 정보가 추출되고 전개되면, 다양한 전개된 이미지가 함께 패치될 수 있다.
도 10의 예시적 셋업을 계속하면, 도 14는 약물-함유 용기(1014)를 직접 바라보는 촬상 장치(1010, 1012)를 좌측에 도시한다. 도 14의 우측에는, 촬상 장치(1010, 1012)의 각각이 약물-함유 용기(1014)를 직접 촬상할 뿐 아니라 약물-함유 용기(1014)의 반사된 이미지(1410, 1412)도 촬상하는 것을 강조하기 위해 반사 거울(1016, 1018)의 각도가 과장된 방식으로 도시되어 있다. 이 특정 셋업을 설명하기 위해 사용되는 파라미터는 다음과 같다:
· C1eye, C2eye: 카메라(1) 및 카메라(2)의 (x, y, z) 좌표(월드 좌표계로 표현);
· C1centre, C2centre: 카메라가 보고있는 지점(광학 중심)의 (x, y, z) 좌표. 이것은 고유하지 않으며, 점선을 따르는 임의의 지점이 적합하다;
· C1up, C2up: 각 카메라의 "상" 방향을 연산하기 위해 사용되는 벡터; 카메라가 "오른쪽이 위로" 되어 있으면 (0, 1, 0)이고 카메라가 거꾸로 되어있으면 (0, -1, 0);
·거울의 수직 위치, hM1 및 hM2 (hM2는 네거티브로 간주됨);
· 수평 평면에 대한 거울의 각도, αM1 및 αM2.
이들 파라미터는 장치에서 측정되고 월드 좌표계로 표현된다. z축에서의 측정은 정확한 라벨 판독에 덜 영향을 줄 수 있으며, 따라서 원통의 고정된 길이, 예를 들어 40 mm가 가정될 수 있고, 또한 촬상 장치가 그 중간을 향하고 있다고 가정될 수 있다.
도 10의 셋업은 다른 각도에서 주사기의 네 가지 다른 도시를 제공한다. 따라서 네 가지 매핑이 요구된다:
1. 라벨에서 이미지 1까지: 촬상 장치(1010)가 바라본, 월드 좌표에서의 원통;
2. 라벨에서 이미지 1까지: 촬상 장치(1010)가 바라본, 거울(1) 좌표계에서의 원통;
3. 라벨에서 이미지 2까지: 촬상 장치(1012)가 바라본, 월드 좌표에서의 원통;
4. 라벨에서 이미지 2까지: 촬상 장치(1012)가 바라본, 거울(2) 좌표계에서의 원통;
약물-함유 용기(1014)를 보고있는 촬상 장치 각각에 대해 상이한 투영 행렬을 사용함으로써, 매핑(1, 3)은 전술한 모델에 의해 설명될 수 있다. 거울 이미지에 대한 매핑은 거울 이미지의 좌표를 본래 원통과 동일한 좌표계(촬상 장치 좌표계와 구별하기 위해 "월드" 좌표계로 간주됨)로 표현함으로써 이루어진다. 이것은 상기와 동일한 방식으로, 그러나 거울 좌표계를 월드 좌표계와 정렬하는 변환 행렬을 원통 좌표의 벡터에 곱하는 추가 단계에 의해 실현될 수 있다. 이 변환 행렬은 M으로 지칭될 것이고, 두 개의 거울 파라미터, 즉 거울 각도 및 거울 수직 위치의 함수로서 표현될 수 있으며; 이는 균일한 회전 및 평행이동 행렬과 유사하지만, 거울 좌표계가 더 이상 오른손 법칙을 따르지 않기 때문에 적절한 회전 행렬로 간주되지 않을 것이다. 거울 이미지를 수용하도록 매핑 모델을 수정하면 다음과 같이 되며:
여기에서
이다. 촬상 장치 이미지로부터 라벨로의 매핑은 오프라인에서 생성될 수 있으며, 발생하는 이미지 왜곡을 망라할 수 있다. 매핑은 라벨의 각 픽셀(x, y)에 대한 한 쌍의 좌표이다: 사진 내의 대응 픽셀의 x 좌표를 제공하는 mapx(x, y) 및 y 좌표를 제공하는 mapy(x, y). 다시 말해서, 리매핑(remapping)은 하기 할당을 수행한다:
도 10의 예에서는, 네 개의 매핑 중 두 개가 두 개의 촬상 장치 이미지 중 하나에 적용되고 나머지 두 개의 매핑이 두 개의 이미지 중 다른 하나에 적용된다. 이 결과 3×2 행렬의 이미지를 갖는 도 15에 도시된 바와 같은 라벨의 네 개의 재구성된 패치가 도출되며, 여기에서 1열은 제1 및 제2 촬상 장치 이미지를 나타내고, 2열 1행은 제1 촬상 장치 이미지로부터 약물-함유 용기를 거울 반사하기 위한 재구성된 패치를 나타내며, 3열 1행은 제1 촬상 장치 이미지로부터 직접 본 약물-함유 용기에 대한 재구성된 패치를 나타내고, 2열 2행은 제2 촬상 장치 이미지로부터 약물-함유 용기를 거울 반사하기 위한 재구성된 패치를 나타내며, 3열 2행은 제2 촬상 장치 이미지로부터 직접 본 약물-함유 용기에 대한 재구성된 패치를 나타낸다. 상이한 개수의 촬상 장치 및/또는 거울이 사용되는 예에서는, 매핑 수가 그에 따라 변경될 것이고 따라서 재구성된 패치 이미지의 수가 변경될 것이며; 도 4의 장치의 경우에는 약물-함유 용기가 두 개의 촬상 장치에 의해 직접 보이고 따라서 두 개의 재구성된 패치 이미지가 생성될 수 있으며; 도 6의 장치의 경우에는 약물-함유 용기가 직접 한번 보이고 두 개의 거울 이미지가 (모두 동일한 촬상 장치에 의해) 보이며 따라서 세 개의 재구성된 패치 이미지가 생성될 수 있고; 도 9의 장치의 경우에는 단일 촬상 장치가 네 개의 반사된 이미지를 캡처하며 따라서 네 개의 재구성된 패치 이미지가 생성될 수 있다.
복수의 재구성된 패치 이미지가 생성되는 경우에, 이들 이미지는 라벨의 단일 전개된 이미지를 형성하기 위해 조합될 수 있다. 각각의 패치는 라벨에 대해 그 정확한 위치에 있기 때문에, 재조립 문제는 결국 다양한 패치를 함께 혼합하게 된다. 혼합이 바람직한 이유는 종종 라벨의 동일한 부분이 복수의 이미지로 나타나기 때문이며, 이로 인해 재구성된 패치 이미지가 중첩될 수 있다. 하나의 가능성으로, 각각의 패치는 라벨의 전개된 이미지에 추가되기 전에 마스크가 곱해진다. 도 15의 재구성된 패치를 각각 생성한 매핑에 대응하는 네 개의 예시적 마스크가 도 16에 도시되어 있으며, 여기에서 흰색은 1에 해당되고 검은 색은 0에 해당된다. 통상의 기술자는 다양한 혼합 기술이 사용될 수 있음을 알 것이고 적절한 대체 혼합 기술에 정통할 것이다. 도 17은 도 10의 장치를 사용한 취득 및 전술한 처리 후의 세 개의 전개된 이미지를 도시한다.
약물-함유 용기의 직경이 알려져 있지 않지만 복수의 명백한 특정 잠재 값을 취할 수 있는 상황(즉, 직경 8mm 또는 11mm의 주사기가 예상됨)에서는, 각각의 잠재 값에 대한 매핑이 사용되어 복수의 전개된 이미지를 생성할 수 있으며, 이 전개된 이미지에 대해 후속 처리가 수행될 수 있다. 이러한 방법은 약물-함유 용기의 크기를 식별하기 위한 전용 처리를 필요 없게 만들며, 대신에 라벨의 내용을 나타내는 것으로서 최선의 개별 라벨 결정 결과를 취득하기 전에 각각의 전개된 이미지에 대해 본 명세서에서 이후 기술되는 처리를 수행한다.
라벨 분류
라벨 분류 단계의 목적은 각각의 전개된 이미지를 취득하고 라벨이 사전-지정된 약물 및/또는 용량의 것인지 여부에 대한 결정을 내리는 것이다.
한 가지 방법은 전개된 이미지 내에서 하나 이상의 지정된 템플릿을 검색하는 템플릿 매칭 알고리즘을 사용하는 것이다. 예로서, 이들 템플릿 중 하나는 약물 및 다른 것의 이름이 될 수 있으며, 라벨의 용량 및 기타 중요하거나 특색있는 특징에 대응하는 다른 템플릿이 사용될 것이다.
템플릿 매칭을 수행하기 전에, 관련 정보를 보존하면서 관련되지 않은 정보를 제거함으로써 분류 성능을 향상시키기 위해 전처리 방법이 전개된 이미지에 적용된다. 이들 전처리 단계는 템플릿 매칭을 보다 탄탄하게 만들고 계산 비용을 보다 적게 만든다.
많은 라벨의 경우에, 분류를 위한 주된 요건은 해당 템플릿의 형상을 그 라벨과 매칭시키는 것이며, 이상적으로 다른 요인은 무시될 것이다. 예로서, 조명은 전개된 이미지에 상당한 변동을 초래할 수 있다. 따라서, 전개된 이미지의 픽셀 값은 이러한 변동을 제거하고 여전히 분류 가능한 훨씬 단순한 2-레벨 이미지를 돌려보내는 이진 이미지를 생성하도록 임계치화된다. 이러한 이진화된 이미지의 예가 도 18에 제공되어 있으며, 도 18은 전개된 이미지를 좌측에 도시하고 전개된 이미지의 이진화 버전을 우측에 도시한다.
이제 이진화를 수행하기 위한 두 가지 방법이 설명될 것이다. 특정 형태의 템플릿에 대해 여러 방법 중 하나 또는 다른 방법이 더 적절할 수 있다. 하나 초과의 템플릿에 대한 검색을 통해서 약물 또는 용량이 식별되는 경우에는, 각각의 템플릿 검색을 위해 적절한 버전이 이용될 수 있도록 전개된 이미지의 복수의 (상이한) 이진화 버전을 계산할 필요가 있을 수 있다.
이하의 식에서는 하기 표기법이 사용된다: R, G, B는 픽셀의 적색, 녹색, 청색 값을 나타내기 위해 사용된다. (x, y)는 문제의 픽셀의 특정 위치를 지정하기 위해 사용된다. 예를 들어 R(x, y)는 왼쪽 에지로부터의 x 픽셀, 위에서 아래로 y 픽셀인 픽셀의 적색 값을 나타낸다. 그리고 F는 이진화된 이미지 내의 픽셀 값을 나타내기 위해 사용되며, F가 항상 0 또는 1의 값을 갖도록 배치된다.
첫 번째 이진화 방법은 문자를 포함하는 픽셀이 강도에 기초하여 다른 픽셀로부터 쉽게 분리될 수 있는 템플릿에 적합할 수 있으며, 먼저 컬러 전개된 이미지를 그레이스케일로 변환하는 것을 수반한다. 그레이스케일 값은 RGB 값의 가중 합계로서 계산된다:
통상의 기술자라면 전역(global) 임계치의 사용을 포함하지만 이것에 한정되지 않는, 동등하게 사용될 수 있는 다른 역치화(thresholding) 방법을 알겠지만, 적응 역치화 알고리즘을 적용함으로써 그레이스케일 이미지가 이진화된다. 현재 그레이스케일 전개된 이미지 내의 각 픽셀에 대해서, 직사각형 근방의 평균 픽셀 값이 계산되고 문제의 픽셀로부터 차감된다. 이후 결과적인 이미지에는 고정된 임계치가 적용된다. 이것은 이미지를 가로지르는 조명의 변동에 대해 임계치가 견고해지도록 도움을 준다. 이미지 내의 각 픽셀에 대한 국소 평균 강도는 다음과 같이 계산된다:
각각의 픽셀에 대한 이진 값은 이후 다음과 같이 설정된다:
두 번째 이진화 방법은 문자에 속하는 픽셀과 배경에 속하는 픽셀을 구별하기 위해 컬러 정보를 사용하는 것이 중요한 템플릿에 적합할 수 있다. 이러한 경우에, 전개된 이미지는 필요에 따라 RBG에서 HSV(Hue-Saturation-Value: 색조-채도-명도)로 변환된다. 이 표현의 장점은 컬러 정보가 대부분 H 값에만 포함되어 있고 이것이 다양한 정도의 조명에 대해 비교적 견고하다는 것이다. 전개된 이미지의 HSV 표현은 이후, 그 H, S, V 값이 문자의 컬러에 중심맞춰진 소정 범위 내에 있는 픽셀을 선택함으로써 이진화된다:
, 및 및 인 경우
전개된 이미지가 이진화되면, 템플릿 매칭 방법이 사용되며 이 방법은 템플릿을 이진화된 전개 이미지 주위로 슬라이딩시키며, 템플릿과 이진화된 전개 이미지 내의 복수의 후보 지점 사이의 유사성 측정을 평가함으로써 템플릿이 이진화된 전개 이미지와 최상으로 매칭되는 지점 또는 지점들을 찾아낸다. 이것은 유사성 스코어를 결정하기 위해 전개 이미지 내의 잠재적 템플릿 위치가 평가되고 유사성 스코어가 최적인 템플릿 위치(유사성 스코어에 따라 최대 또는 최소)가 검색되는 최적화 프로세스로 간주될 수 있다. 사용될 수 있는 예시적 최적화 방법은 모든 가능한 템플릿 위치를 평가하거나 구배 하강 방법을 사용하는 것이며; 다른 최적화 방법도 사용될 수 있다.
컬러 전개된 이미지의 컬러 및 강도가 변화하는 문제가 있을 경우에, 전개된 이미지의 이진화가 적합할 수 있다. 다른 가능성으로서, 컬러 이미지에서의 템플릿 매칭이 적절한 컬러-채용 유사성 측정과 함께 사용될 수 있다.
템플릿 매칭은 노이즈에 대해 매우 견고할 수 있으며, 또한 (날카로운 에지를 요구할 수 있는 에지 또는 코너 검출기와 달리) 이미지의 초점이 약간 맞지 않는 것에도 내성을 가지며; 따라서, 템플릿 매칭 방법의 선택은 전개된 이미지의 속성에 대해 동조적이다. 그러나, 표준 템플릿 매칭은 이미지의 회전, 환산 계수(scale factor), 원근 왜곡, 및 폐색/누락 부분에 대해 내성이 없다.
예를 들어 키포인트 추출 및 일반화된 허프 변환(Generalized Hough Transform)과 같은 비템플릿-기반 형상-매칭은 "투표" 절차를 사용하는 경향이 있으며, 이 절차에서는 형상 상의 특정 매칭 지점이 발견되고 객체의 각각의 가능한 위치와 배향 마다 "투표"가 이루어진다. 이것은 몇 가지 장점을 갖는 바: (특정 개수의 누락 투표를 허용함으로써) 이미지의 폐색/누락 부분에 대해 견고하고; 작은 회전 및 원근 왜곡에 대해 견고하며; 더 큰 회전 및 원근 왜곡에 대해 내성을 가질 수 있다. 투표 절차가 적용되는 이미지에 템플릿에 대응하는 객체가 존재하지 않으면, 객체와 관련이 없는 이미지 부분에서는 복수의 배경 "투표"가 매칭에서 벗어나 있을 수 있으며 따라서 이미지에 객체가 존재하는 것을 검출하기 위해 최소 개수의 투표 임계치가 사용된다. 그러나, 전개된 이미지의 경우에, 표준 키포인트 추출 기능의 사용은 신뢰할 수 없는 것으로 입증되었다.
한 가지 방법은 템플릿을 작은 타일로 분할함으로써 투표 방법을 템플릿 매칭과 조합시키는 것이며 도 19는 라벨 RoActemra®의 경우에 커다란 템플릿(1910)을 그 세 개의 작은 서브 타일(1912, 1914, 1916)과 함께 도시한다. 도 19에는 세 개의 타일만 도시되어 있지만, 선택된 템플릿의 전부 또는 거의 전부는 템플릿 내에 담긴 정보의 전부 또는 거의 전부 역시 타일 세트 내에 포함되도록 바람직하게 타일에 의해 커버될 것이다. 이후 템플릿 매칭이 타일에 대해 차례로 이루어진다. 각각의 타일이 작기 때문에, 모든 타일을 처리하는 계산 비용은 전체 템플릿 매칭의 비용과 비슷하다. 임의의 주어진 타일이 템플릿에 의해 표현된 객체 상에 놓이지 않은 전개된 이미지 내의 위치에서 최상의 매칭인 것으로 밝혀질 수 있지만, 정확한 공간 배치에 가까운 복수의 매칭이 우연히 발생할 것 같지는 않다.
각 타일에 대한 템플릿 매칭에 이어서, 각각의 타일은 이진화된 이미지와 동일한 차원수를 갖는 투표 이미지(Vt)를 생성하는 후술되는 방법을 사용하여 "최상의" 위치(오리지널 템플릿의 중심으로 다시 매핑됨)라고 생각하는 장소에 투표한다.
투표 알고리즘은 그 입력으로서, 테스트할 이미지(I)와 이진화된 템플릿 세트를 취한다. 전처리 단계로서, 각각의 템플릿(T)에 대해, 그 템플릿은 N개의 타일로 분할된다. 이하의 설명에서, 하첨자 t는 구체적으로 t번째 타일과 관련된 값을 지칭하기 위해 사용된다. 각각의 타일에 대해, 전체 템플릿의 좌상 코너에 대한 그 위치가 저장된다. f는 전체 템플릿의 좌측 에지와 타일의 좌측 에지 사이의 픽셀 수이다. 마찬가지로 g는 전체 템플릿의 상부 에지와 타일의 상부 에지 사이의 픽셀 수이다.
런-타임 시에:
1. 각각의 템플릿에서
a. 현재 템플릿 내의 각각의 타일에 대해(i). 이하의 것을 계산한다:
여기에서
이며
여기에서 합계는 템플릿의 치수에 대해 취해지고 wh는 가중 인자이며 응답 이미지(Mt)는 템플릿 내의 타일의 상대 위치를 설명하기 위해 (f,g) 양 만큼 오프셋된다.
개별 템플릿으로부터의 스코어는 하기 방식으로 조합된다. 먼저 서브-템플릿 매칭 스코어가 투표로 변환된다:
이후 개별 투표가 합계된다:
마지막으로 이것은 이 경우에 V를 정사각형 윈도우와 컨볼빙(convolving)함으로써 완화되거나 블러링(blur)된다. 상이한 서브-템플릿이 서로에 대해 약간 움직일 수 있게 함으로써 약간의 스케일 및 스큐(skew) 견고성을 제공하는 것은 이 마지막 단계이다:
템플릿에 대한 최종 스코어는 이미지 S(x, y) 내의 최대값으로서 취해지며 템플릿은 그 지점에 위치하는 것으로 간주된다.
일 예로서, 템플릿과 주사기 라벨 사이의 매칭을 얻기 위해, 분류는 하기 단계를 포함한다: 25×150 템플릿을 30개의 5×25 패치로 분할하는 단계 및 이후, 각각의 패치에 대해; 스코어를 생성하기 위해 라벨 내의 각각의 가능한 위치에서 제곱 차이의 합계를 계산하는 단계; 라벨 내의 최대 스코어를 결정하고, 결정된 최대 스코어의 90%에서 임계치를 설정하는 단계; 스코어가 임계치를 초과하는 라벨 내의 위치를 1로 마킹(그렇지 않으면 0으로 마킹)하고 이들 위치를 계수(N으로 지칭)하는 단계; 1로 마킹된 각각의 위치에 1/N의 계산된 값을 부여하는 단계; 각각의 패치 마다, 라벨 내의 각 위치의 계산된 값을 합계하는 단계; 및 최고 합계 값을 갖는 위치를 식별하는 단계.
도 20은 예시적인 전개된 이미지(2010)를, "COPAXONE" 템플릿을 사용하는 표준 템플릿 매칭 알고리즘(2012)에 대한 응답 및 동일한 템플릿에 대한 S(x,y)(2014)와 나란히 도시한다. S(x,y)(2014)는 COPAXONE 템플릿의 정확한 위치에서 강한 응답을 나타낸다는 것을 알 수 있다.
도 21은 다른 예시적인 전개된 이미지(2110)를, "COPAXONE" 템플릿을 사용하는 표준 템플릿 매칭 알고리즘(2112)에 대한 응답 및 동일한 템플릿에 대한 S(x,y)(2114)와 나란히 도시한다. 표준 템플릿 매칭 알고리즘(2112)에 대한 응답은 템플릿에 대한 매칭이 취약한 반면에 S(x,y)(2114)는 COPAXONE 템플릿의 정확한 위치에서 강한 응답을 나타낸다는 것을 알 수 있다. 도 21의 예에서는, 전개된 이미지(2110)에 약간의 원근 왜곡이 남아있지만, 표준 템플릿 매칭과 대조적으로, 투표 알고리즘은 그것에 대해 내성이 있다. 피크는 그것에 대응하여 덜 예리하지만, 여전히 존재한다.
전술한 템플릿 매칭 방법은 문자를 매칭시키는데 적합하지만, 템플릿이 컬러의 블록인 경우에는 그렇게 효과적이지 않다. 예로서, 약물의 경우에 Saizen 컬러 블록은 라벨이 황색이고 20mg 카트리지에 대해 황색 직사각형을 가지며 적색이고 12mg 카트리지에 대해 적색 직사각형을 가지므로 약물-함유 용기에 대한 유용한 정보를 제공한다. 이러한 경우에, 템플릿이 라벨 상의 기입을 나타내기 위해 선택되는 대신에, 이 템플릿은 주어진 컬러 및 크기의 블록이 되도록 선택될 수 있고, 이후 제곱 차이의 합계를 사용하여 템플릿 매칭의 품질을 계산하기 위해 템플릿 매칭이 수행된다. 컬러 블록 템플릿에는 색조 기반 이진화가 사용되었다. 컬러 이진화 프로세스는 컬러 블록의 예상 색조 주위의 광범위한 색조를 수용하도록 구성되었다. 이것은 식별이 다양한 조명 조건에 대해 견고하도록 구성되었으며 이는 또한 프로세스가 인쇄 변형에 대해 견고해질 것임을 의미할 것이다. 이것은, 균일한 컬러의 블록이 전술한 투표 기반 템플릿 매칭 체계를 필요로 하는 원근 왜곡에 대해 매우 견고하기 때문에 잘 작동한다. 이 템플릿 매칭 알고리즘은 컬러 이미지에 적용되고 이진화 버전에는 적용되지 않음을 알아야 한다. 컬러 블록 템플릿의 경우에는, 색조-기반 이진화가 적절할 수 있으며 이진화 프로세스는 컬러 블록의 예상 색조 주위의 광범위한 색조를 수용하도록 구성된다. 이는 식별이 다양한 조명 조건에 대해 견고하게 만들며 또한 인쇄 변동과 관련하여 견고성을 제공한다.
분류될 각각의 라벨은 그것과 연관되는 복수의 템플릿을 가질 수 있다. 단일 라벨이 가질 수 있는 템플릿 형태의 예로는 이하의 것들이 포함된다: 약물 이름을 포함하는 템플릿, 용량을 지정하는 문자를 포함하는 템플릿, 약물 형태 또는 용량을 식별하는데 도움이 되는 컬러 블록의 템플릿, 존재할 것으로 예상되지 않는 특성을 갖는 템플릿. 존재할 것으로 예상되지 않는 특성을 갖는 템플릿은, 유사한 라벨에 존재하지 않아야 하는 특성을 찾는 것이 분류기가 이러한 라벨을 부정확하게 수용하는 것을 방지하는데 도움이 될 수 있기 때문에 유사한 라벨이 있는 것으로 알려져 있는 경우에 분류기를 더 견고하게 만드는데 도움이 될 수 있다.
분류될 전개된 이미지는 그것에 대해 평가되는 템플릿 각각에 대해 템플릿 매칭 스코어를 생성할 것이다. 이후 이들 스코어는 분류 결과로 변환된다. 이것은 각각의 특성에 임계치를 적용하고 템플릿 매칭 스코어가 요구 템플릿 각각에 대한 임계치를 초과하면 라벨을 수용하며 템플릿 매칭 스코어가 도 22에 도시된 바와 같이 존재하지 않아야 하는 템플릿에 대한 임계치 미만이면 라벨을 거부함으로써 이루어진다.
하나의 가능성으로서, 계산의 복잡성을 감소시키기 위해, 템플릿 매칭을 수행할 때 전개된 이미지의 서브-영역 만이 검색될 수 있다. 특히, 약물 이름의 수직 위치는 어디에나 있을 수 있지만, 수평 위치는 약간만 변할 것이며 따라서 검색은 특정 수평 경계 내에서, 예를 들어 약물 이름으로 표시되는 객체의 예상 수평 위치 주위의 이미지 폭의 10% 내에서 이루어지도록 제한될 수 있다.
하나의 가능성으로서, 계산의 복잡성을 감소시키기 위해, 전개된(또는 심지어 촬상 장치) 이미지(들)의 해상도가 감소될 수 있다. 도 20 및 도 21에 도시된 결과는 풀 해상도 이미지에 대해서 달성되었지만, 본 명세서에 기재된 방법은 하나 이상의 촬상 장치 이미지(들) 및 전개된 이미지의 해상도를 감소시키는 추가 단계 이후에 수행될 수도 있다.
하나의 가능성으로서, 계산의 복잡성을 감소시키기 위해, 순차식(cascaded) 방법이 사용될 수 있으며, 이 방법에서는 제한된 템플릿 매칭이 나머지 타일과 함께 수행되기 전에 전개된 이미지 내의 템플릿 위치의 신속한 초기 추정이 가능하도록 템플릿 매칭의 제1 단계 중에 타일의 서브세트(예를 들어 3)만 사용되고, 제한된 템플릿 매칭은 나머지 타일에 대해 최적화가 수행되는 초기 추정치로부터의 거리를 제한한다.
템플릿 매칭 방법의 계산 비용의 대부분은 약물 이름을 포함하는 부분을 찾기 위해 이미지의 대부분을 검색해야 한다는 사실에서 비롯된다. 이것은 약물-함유 용기가 다른 회전 배향에 있을 수 있다는 사실에 기인한다. 하나의 가능성으로서, 각 행에서의 어두운 픽셀 대 밝은 픽셀의 양은 이미지의 그 부분에 존재하는 것에 따라 변할 것이기 때문에, 각 행에서의 어두운 픽셀 대 밝은 픽셀의 미터법 측정치가 계산되어 그 미터법 측정치에 가장 매칭되는 라벨의 회전 배향에 등록될 수 있다. 이후 전술한 패턴 매칭이 수행될 것이지만, 잠재적 위치 약물 이름이 훨씬 더 높은 정도로 알려질 것이기 때문에, 제한된 템플릿 매칭이 상기 등록에 기초하여 수행될 것이며, 따라서 상기 방법이 전개된 이미지의 훨씬 감소된 부분을 검색하면서 수행될 수 있게 한다.
본 명세서에 기재된 방법은 10 ms 내지 15 s 범위의 시간이 걸리는 것으로 밝혀졌으며, 라벨이 특정 형태의 것인지 그리고 0.05 mAh 내지 0.5 mAh의 범위를 필요로 할 것으로 추정되는지를 결정하기 위해 200 ms 걸릴 수 있으며, 라벨 식별 마다 0.06 mAh의 프로세서 및 취득 에너지가 필요할 수 있다. 본 명세서에 기재된 템플릿 매칭 방법을 수행하도록 구성된 장치가 새로운 라벨을 인식할 수 있어야 할 때는, 새로운 템플릿이 장치에 간단히 공급될 수 있으며 따라서 장치의 처리 코드를 근본적으로 변경할 필요 없이 장치를 새로운 라벨을 인식하도록 적응시킬 수 있다.
하나의 가능성으로서, 자동 주사기가 특정 약물-함유 용기를 구비하고 있는 것으로 식별되면, 그 약물-함유 용기로부터의 주사를 허용하도록 진행될 수 있다. 자동 주사기가 구비할 것으로 예상되는 용기 이외의 약물-함유 용기를 구비하고 있는 것으로 식별되는 경우에는, 시각적 또는 청각적 경보를 발령하거나 및/또는 그 주사 기능을 무력화시킬 수 있다.
하나의 가능성으로서, 자동 주사기 내에 광원이 제공되며 이 광원은 일관되지 않은 조명에 의해 야기되는 이미지 처리 문제를 완화시키는데 도움이 되도록 원통형 부분의 곡면을 조명하기 위해 사용된다.
하나의 가능성으로서, 전술한 템플릿 매칭 방법을 사용하는 것을 대신하여 또는 그것에 추가적으로, 신경망 기반 분류 방법이 사용되어 라벨 이미지로부터 약물 및/또는 약물-함유 용기에 대한 상세를 식별할 수 있다. n×m 픽셀 RGB 이미지는 3nm의 기본 치수를 가지며; 따라서 2500×1900 이미지의 경우에, 이는 대략 1400만 치수의 입력 벡터를 초래할 것이다. 따라서 기본 방법은 전개된 이미지를 더 작은 o×p 이미지 타일(예를 들어 15개)의 세트로 절단하고, 이들 타일의 각각에 대해 대표적인 "특성" 미터법 치수를 계산하며, 이후 이 특성 벡터를 신경망에의 입력으로서 사용하는 것이다. 바람직하게, 미터법은 어느 정도의 분리에 도움이 되는 타일의 두드러진 특성을 가능한 한 적은 개수로 캡처할 것이다. 각각의 타일에 대한 미터법에 있어서, 안내 발견적 방법은 고주파 특성과 저주파 특성 둘 다를 어떻게든 캡처할 것을 사용하는 것이었다. 선택된 미터법은 데이터 에너지와 3색 채널 각각의 평균값의 결합이며, 이는 미터법 치수 4를 제공한다. 이 미터법에 의하면, 입력 벡터의 크기는 4rs가 되고, 5×3의 타일링 차원을 사용하면 60의 입력 벡터 치수가 제공된다. 이는 입력 벡터 크기의 6배 감소에 가깝다. 사용된 네트워크는 60 입력, 하나의 감춰진 층, 단일 출력의 완전히 연결된 네트워크였다. 감춰진 층의 크기는 20이다. 네트워크의 한 가지 특징은 감춰진 층의 퍼셉트론에 대해 가우스(Gaussian) 활성화 함수를 사용하는 것이다. 이후 네트워크는 약물 정보가 알려져 있는 트레이닝 이미지 세트에 대해 트레이닝되었다.
본 명세서에서 템플릿 매칭이 언급되는 경우, 하나의 가능성으로서 의료 장치는 임의의 외부 데이터베이스를 조사할 필요 없이 템플릿 매칭을 수행할 수 있을 것으로 생각된다. 이러한 상황에서, 의료 장치의 메모리에는 용기 및/또는 약물에 대한 후보 정보에 대응하는 하나 이상의 템플릿이 저장될 수도 있다. 또한, 템플릿 매칭 알고리즘이 그것이 만들거나/만들지 않는 매칭으로부터 배우는 것이 유익할 수 있지만, 템플릿 매칭 방법은 이러한 학습 능력을 전혀 가질 필요가 없다.
본 명세서에 기재된 방법에 사용되는 촬상 장치(들)는 하나 이상의 카메라일 수 있으며 따라서 본 명세서에서 "촬상 장치"라는 용어의 일체의 사용은 "카메라"라는 용어로 대체될 수 있을 것으로 생각된다.
하나의 가능성으로서, 단 하나의 출력을 갖는 전술한 네트워크 아키텍처(이는 유효하지 않은 어떤 이미지도 거부할 수 없음을 의미한다). 대신에, 멀티-출력 네트워크가 대신 사용될 수 있다. 하나의 이러한 위상학(topology)은 8개의(또는 그보다 많거나 적은 개수의) 출력을(각각의 라벨 범주당 한 개) 가질 수 있으며, 특정 라벨에서 그 라벨의 출력에는 높은 값이 제공될 것이고 다른 모든 출력은 낮을 것으로 예상된다. 이 패턴에서 벗어난 출력 패턴은 거부로 해석될 것이다.
본 명세서에 기재된 방법은 임의의 의료 장치에 사용 및 실현될 수 있지만, 하나의 가능성으로서, 이들 방법은 자동 주사기와 같은 휴대용 의료 장치에서 실현될 수도 있다. 다른 가능성으로서, 이들 방법은 주사바늘 폐기함(sharps bin)과 같은 비휴대 장치에서 실현될 수 있다.
본 명세서에 기재된 방법에서, 약물-함유 용기에 대한 정보는 약물-함유 용기의 원통형 부분의 곡면의 이미지 데이터를 캡처함으로써 결정된다. 이미지 데이터는 곡면 주위로부터 전개되고, 이진화되며, 라벨 정보가 용기 및/또는 약물에 대한 후보 정보를 포함하는 것을 결정하기 위해 템플릿 매칭 알고리즘이 사용된다.
하나의 가능성으로서, 본 명세서에 기재된 방법 중 임의의 것은 템플릿 매칭의 사용, 예를 들어, 문자, 바코드, QRS 및/또는 인식 방법의 사용 없이 라벨 정보가 전개된 이미지로부터 판독되는 다른 방법에 사용될 수 있다.
본 명세서에 기재된 방법은 명령을 실행하는 프로세서의 동작에 의해 초래될 수 있도록 컴퓨터-실행될 수 있다. 본 명세서에 기재된 방법은 예를 들어 비일시적 컴퓨터 판독 가능한 매체일 수 있는 컴퓨터 판독 가능한 매체에서, 하드웨어, 펌웨어 및/또는 소프트웨어를 포함하는 임의의 적절한 형태로 구현될 수 있다. 컴퓨터 판독 가능한 명령을 포함하는 컴퓨터 판독 가능한 매체는 프로세서가 본 명세서에 기재된 방법의 임의의 것 또는 전부를 실행하게 만들고, 따라서 이러한 방법이 컴퓨터 실행되게 만들기 위해 프로세서 상에서 실행되도록 구성된다.
본 명세서에서 사용되는 컴퓨터 판독 가능한 매체라는 용어는 프로세서가 특정 방식으로 동작하게 하기 위한 데이터 및/또는 명령을 저장하는 임의의 매체를 지칭한다. 이러한 저장 매체는 비휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비휘발성 매체는 예를 들어 광학 또는 자기 디스크를 포함할 수 있다. 휘발성 매체는 동적 메모리를 포함할 수 있다. 저장 매체의 예시적인 형태로는 플로피 디스크, 플렉서블 디스크, 하드 디스크, 솔리드 스테이트 드라이브, 자기 테이프, 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 하나 이상의 구멍 또는 돌출부 패턴을 갖는 임의의 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, NVRAM 및 임의의 기타 메모리 칩 또는 카트리지가 포함된다.

Claims (15)

  1. 약물-함유 용기 및/또는 약물 자체에 대한 정보를 결정하기 위한 컴퓨터-구현 방법이며, 상기 용기는 의료 장치 내에 배치되고 용기 및/또는 약물에 대한 라벨 정보를 보유하는 원통형 부분을 갖고, 상기 방법은,
    의료 장치 내에 포함된 하나 이상의 촬상 장치를 사용하여 원통형 부분의 곡면의 이미지 데이터를 캡처하는 단계;
    전개된 이미지가 곡면 주위에 감기는 경우 전개된 이미지 내의 지점들이 곡면 상의 어디로 매핑될지를 식별하는 것에 의해 이미지 데이터로부터 2차원 전개된 이미지를 생성하는 단계;
    전개된 이미지를 이진화하는 단계;
    용기 및/또는 약물에 대한 후보 정보에 대응하는 하나 이상의 템플릿의 이진화된 이미지 내의 존재를 결정하기 위해 이진화된 이미지에 템플릿 매칭 알고리즘을 적용하는 단계; 및
    하나 이상의 템플릿의 이진화된 이미지 내의 존재의 결정에 기초하여, 라벨 정보가 후보 정보를 포함하는 것을 결정하는 단계를 포함하고,
    템플릿 매칭 알고리즘은 각각의 템플릿의 복수의 타일 부분을 이진화된 이미지에 대해 평가함으로써 각각의 템플릿을 이진화된 이미지에 대해 평가하도록 구성되고,
    각각의 템플릿에 대해, 이진화된 이미지와 동일한 치수를 갖는 투표 이미지가 생성되며, 그 픽셀은 각각의 타일 부분의 평가가 그 픽셀에 대한 미리 결정된 임계치보다 높은지 또는 낮은지 여부에 대한 그 템플릿의 복수의 타일 부분 각각으로부터의 투표에 기초하여 파퓰레이팅되고, 각각의 투표 이미지의 최대 픽셀 값은 그 템플릿의 이진화된 이미지 내의 존재를 결정하기 위해 사용되고, 각각의 투표 이미지는 그 최대 픽셀 값을 결정하기 전에 블러링되는, 방법.
  2. 제1항에 있어서, 전개된 이미지를 생성한 후에 및 전개된 이미지를 이진화하기 전에, 상기 전개된 이미지에 대해 패칭 작업을 수행하여 상기 하나 이상의 촬상 장치의 상이한 촬상 장치에 의해 캡처된 이미지 데이터의 부분들을 함께 패칭하는 단계를 추가로 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 2차원 전개된 이미지의 생성은 각각의 촬상 장치에 의해 캡처된 이미지 데이터가 원통형 부분의 곡면의, 캡처 시에 그 촬상 장치에 의해 직접 관찰 가능했던 부분에 대해서만 전개되도록 이루어지는, 방법.
  4. 제1항 또는 제2항에 있어서, 상기 이진화는:
    전개된 이미지를 그레이스케일 이미지로 변환하는 단계; 및
    그레이스케일 이미지 데이터의 그 픽셀의 그레이스케일 값이 국소 평균 강도 임계치보다 작으면 각각의 픽셀이 제1 값을 갖고 그렇지 않으면 제2 값을 갖도록 이진화된 이미지를 생성하는 단계를 포함하는, 방법.
  5. 제1항 또는 제2항에 있어서, 상기 이진화는:
    전개된 이미지를 색조-채도-명도 이미지인 HSV 이미지로 변환하는 단계; 및
    픽셀의 색조, 채도, 명도 값 각각이 각각의 색조, 채도, 명도 상한 임계치와 하한 임계치 사이에 놓이는 경우 각각의 픽셀이 제1 값을 갖고 그렇지 않으면 제2 값을 갖도록 이진화된 이미지를 생성하는 단계를 포함하는, 방법.
  6. 제1항 또는 제2항에 있어서, 전개된 이미지에 템플릿 매칭 알고리즘을 적용하여 용기 및/또는 약물에 대한 유색 후보 정보에 대응하는 하나 이상의 유색 템플릿의 이진화된 이미지 내의 존재를 결정하는 단계; 및
    하나 이상의 유색 템플릿의 전개된 이미지 내의 존재 결정에 기초하여, 라벨 정보가 유색 후보 정보를 포함하는 것을 결정하는 단계를 추가로 포함하는, 방법.
  7. 제1항에 있어서, 투표 이미지의 블러링은 투표 이미지를 정사각형 윈도우와 컨볼빙함으로써 달성되는, 방법.
  8. 제1항 또는 제2항에 있어서, 상기 용기는 주사기 또는 카트리지인, 방법.
  9. 제1항 또는 제2항에 있어서, 의료 장치 내의 광원을 사용하여 원통형 부분의 곡면을 조명하는 단계를 추가로 포함하는, 방법.
  10. 제1항 또는 제2항에 따른 방법을 수행하도록 구성된 의료 장치이며, 선택적으로 하나 이상의 촬상 장치는 카메라인, 의료 장치.
  11. 비일시적 컴퓨터 판독 가능한 매체이며, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 제1항 또는 제2항에 따른 방법을 수행하게 하도록 구성된 기계 판독 가능한 명령을 포함하는, 비일시적 컴퓨터 판독 가능한 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020197035573A 2017-05-05 2018-05-03 약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치 KR102561606B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17169781.6A EP3399463A1 (en) 2017-05-05 2017-05-05 Method and apparatus for determining information about a drug-containing vessel
EP17169781.6 2017-05-05
PCT/EP2018/061401 WO2018202804A1 (en) 2017-05-05 2018-05-03 Method and apparatus for determining information about a drug-containing vessel

Publications (2)

Publication Number Publication Date
KR20200003139A KR20200003139A (ko) 2020-01-08
KR102561606B1 true KR102561606B1 (ko) 2023-08-01

Family

ID=58745015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035573A KR102561606B1 (ko) 2017-05-05 2018-05-03 약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US11538234B2 (ko)
EP (2) EP3399463A1 (ko)
JP (2) JP2020518920A (ko)
KR (1) KR102561606B1 (ko)
CN (1) CN110582782B (ko)
AU (1) AU2018262694B2 (ko)
CA (1) CA3061552A1 (ko)
IL (1) IL270331B2 (ko)
WO (1) WO2018202804A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000002674A1 (it) * 2020-02-11 2021-08-11 Soffieria Bertolini S P A Metodo per controllare la corretta applicazione di una immagine su di un contenitore cilindrico e relativo apparato di controllo
CN111325815B (zh) * 2020-03-05 2023-05-02 成都威爱新经济技术研究院有限公司 一种多层级b样条曲线的编辑方法
JP7436270B2 (ja) * 2020-04-09 2024-02-21 株式会社日立ハイテク 生体検体解析装置
FI20215906A1 (en) * 2021-08-30 2023-03-01 Truemed Oy Method, portable user device and system for identifying the authenticity of a cylindrical object
GB202211146D0 (en) * 2022-07-29 2022-09-14 Augmenticon Gmbh Automated syringe fill state measurement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160243314A1 (en) * 2013-10-31 2016-08-25 José Javier RODIERA OLIVE Device with cameras for monitoring the manual administration of medication

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338789A (ja) * 1989-07-06 1991-02-19 Fuji Electric Co Ltd パターンマッチング方式
JPH08105837A (ja) * 1994-10-05 1996-04-23 Kurabo Ind Ltd ラベルの貼付状態検査方法および装置
JP2002158982A (ja) * 2000-11-20 2002-05-31 Canon Inc 画像処理方法、装置及びコンピュータ可読媒体
US7017623B2 (en) * 2004-06-21 2006-03-28 Forhealth Technologies, Inc. Automated use of a vision system to unroll a label to capture and process drug identifying indicia present on the label
JP4783035B2 (ja) * 2005-02-25 2011-09-28 株式会社リコー 投影型表示装置、投影表示方法、投影表示プログラム及び投影表示プログラムが格納された記録媒体
JP2007299210A (ja) * 2006-04-28 2007-11-15 Sharp Corp 画像処理装置、画像形成装置、画像読取装置及び画像処理方法
JP5039519B2 (ja) * 2007-11-27 2012-10-03 高嶋技研株式会社 外観検査方法および装置
JP2009187204A (ja) * 2008-02-05 2009-08-20 Toyota Motor Corp 画像処理装置
US8179434B2 (en) * 2008-05-09 2012-05-15 Mettler-Toledo, LLC System and method for imaging of curved surfaces
JP2015184906A (ja) * 2014-03-24 2015-10-22 富士通株式会社 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
US11721414B2 (en) * 2015-03-12 2023-08-08 Walmart Apollo, Llc Importing structured prescription records from a prescription label on a medication package
TWI590197B (zh) * 2016-07-19 2017-07-01 私立淡江大學 影像物體特徵描述方法及影像處理裝置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160243314A1 (en) * 2013-10-31 2016-08-25 José Javier RODIERA OLIVE Device with cameras for monitoring the manual administration of medication

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hui Xu et. al., A Study on the Automated Checking Method for Curved Label Image of Powder Medicine Bottle, 20 17 3rd International Conference on Control, Automation and Robotics, 1부.*

Also Published As

Publication number Publication date
US11538234B2 (en) 2022-12-27
IL270331A (ko) 2019-12-31
CN110582782B (zh) 2024-03-19
AU2018262694A1 (en) 2019-11-07
JP2023101571A (ja) 2023-07-21
EP3619646A1 (en) 2020-03-11
US20200089989A1 (en) 2020-03-19
CA3061552A1 (en) 2018-11-08
AU2018262694B2 (en) 2023-03-02
IL270331B2 (en) 2023-10-01
EP3399463A1 (en) 2018-11-07
CN110582782A (zh) 2019-12-17
WO2018202804A1 (en) 2018-11-08
JP2020518920A (ja) 2020-06-25
KR20200003139A (ko) 2020-01-08
IL270331B1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
KR102561606B1 (ko) 약물-함유 용기에 대한 정보를 결정하기 위한 방법 및 장치
US9489560B2 (en) On-the go touchless fingerprint scanner
US10438076B2 (en) System and method for a biometric image sensor with spoofing detection
JP3867512B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2009107237A1 (ja) 生体認証装置
JP5997120B2 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
CN102804229A (zh) 确定设备、指纹输入设备、确定方法以及确定程序
US20140079300A1 (en) Method and Device for Capturing Fingerprints with Reliably High Quality Based on Fingerprint Scanners
JP6894977B2 (ja) 薬剤検査支援装置、薬剤検査支援方法、薬剤識別装置、薬剤識別方法及びプログラム、記録媒体
GB2610734A (en) Barcode readers with 3D camera(s)
US11341348B2 (en) Hand biometrics system and method using digital fingerprints
JPWO2019039302A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
Zhang et al. Application of Structured‐Light 3‐D scanning to the documentation of plastic fingerprint impressions: A quality comparison with traditional photography
CN115994996A (zh) 对照装置、存储介质及对照方法
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
WO2015123374A1 (en) On-the-go touchless fingerprint scanner
AETC comparison and facilitating large scale machine many-to-many matching operation.

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20191202

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210503

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220729

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230626

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230726

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230727

End annual number: 3

Start annual number: 1

PG1601 Publication of registration