KR102623162B1 - 통합된 전자 시각적 검사를 가진 조립 라인 - Google Patents
통합된 전자 시각적 검사를 가진 조립 라인 Download PDFInfo
- Publication number
- KR102623162B1 KR102623162B1 KR1020227024864A KR20227024864A KR102623162B1 KR 102623162 B1 KR102623162 B1 KR 102623162B1 KR 1020227024864 A KR1020227024864 A KR 1020227024864A KR 20227024864 A KR20227024864 A KR 20227024864A KR 102623162 B1 KR102623162 B1 KR 102623162B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- patterns
- imagers
- image
- determining
- Prior art date
Links
- 238000011179 visual inspection Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000007689 inspection Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 239000003814 drug Substances 0.000 description 20
- 229940079593 drug Drugs 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 239000000825 pharmaceutical preparation Substances 0.000 description 4
- 229940127557 pharmaceutical product Drugs 0.000 description 4
- 239000004480 active ingredient Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 108010073929 Vascular Endothelial Growth Factor A Proteins 0.000 description 2
- 102000005789 Vascular Endothelial Growth Factors Human genes 0.000 description 2
- 108010019530 Vascular Endothelial Growth Factors Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 108090000765 processed proteins & peptides Proteins 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 229960002833 aflibercept Drugs 0.000 description 1
- 108010081667 aflibercept Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007918 intramuscular administration Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000008297 liquid dosage form Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007911 parenteral administration Methods 0.000 description 1
- 238000009512 pharmaceutical packaging Methods 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 150000003384 small molecules Chemical class 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007909 solid dosage form Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
- B65G15/30—Belts or like endless load-carriers
- B65G15/58—Belts or like endless load-carriers with means for holding or retaining the loads in fixed position, e.g. magnetic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
- G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0235—Containers
- B65G2201/0258—Trays, totes or bins
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0208—Control or detection relating to the transported articles
- B65G2203/0241—Quantity of articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Manufacturing & Machinery (AREA)
- Analytical Chemistry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Textile Engineering (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
- Control Of Conveyors (AREA)
- Coupling Device And Connection With Printed Circuit (AREA)
- Ceramic Capacitors (AREA)
- Credit Cards Or The Like (AREA)
Abstract
방법들 및 시스템들이 트레이의 제 1 이미지를 획득하고, 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하고, 제 1 이미지에서 각각의 하나 이상의 제 1 패턴들의 회전을 결정하고, 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하기 위해 개시된다.
Description
본 국제 PCT 출원은 2016년 7월 29일에 출원된, 미국 가 출원 번호 제62/368,438호에 대한 우선권을 주장하고, 그 전체는 본원에 참조로서 통합된다.
제약 패키징과 같은, 다수의 아이템들을 포함하는 제품들의 조립은 복잡한 일이다. 조립은 각각의 스테이지에서 제품으로 위치되는 아이템들을 갖고 하나 이상의 스테이지들에서 진행될 수 있다. 오류들이 제품에 정확한 아이템을 두는데 실패하고, 제품에 너무 많은 정확한 아이템을 두며, 및/또는 제품에 부정확한 아이템을 둠으로써 각각의 스테이지에서 도입될 수 있다. 궁극적으로 오류들을 갖고 수송되는 제품들은 손실된 수익, 증가된 고객 불만들, 및 고객 불만들을 처리할 때의 손실된 시간을 야기한다. 제약 제품 패키지의 경우에, 부적절한 패키징에 대한 하나의 의도되지 않은 결과는 임상의들 또는 환자들이 부적절하게 조립된 패키지 내에 포함된 제약 제품을 사용하는 것을 내켜하지 않을 수 있다는 것이다. 이것은 비경구적으로, 예로서 피하로, 근육 내에서, 정맥 안으로, 안구 내로, 또는 흡입에 의해 투여되는 제약 제품들에 대해 특히 사실일 수 있다. 부적절하게 조립된 패키지가 임상의 또는 환자에 의해 제조사로 되돌려질지라도, 미국 식품 의약국과 같은, 관리 기관은 제약 제품이 재패키징되도록 허용하지 않을 것이어서, 이벤트 통지(Notice of Event; NOE)를 야기한다. 이러한 NOE는 조사들 및 부가된 비용을 촉발시키며, 잠재적으로 손상된 경쟁을 야기한다.
그러므로, 종래 기술의 이들 및 다른 제한들을 극복하며, 패키지 조립의 오류들을 감소시키고 효율을 증가시킴으로써 그것을 강화하는, 제품 조립에 대한 새로운 기술들을 개발하는 것이 바람직할 것이다.
다음의 일반적인 설명 및 다음의 상세한 설명 양쪽 모두는 단지 대표적이며 설명적이고 제한적이지 않다는 것이 이해될 것이다. 방법들 및 시스템들은 트레이의 제 1 이미지를 획득하고, 상기 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하고, 상기 제 1 이미지에서 각각의 상기 하나 이상의 제 1 패턴들의 회전을 결정하며, 상기 제 1 이미지에서 하나 이상의 제 1 패턴들의 상기 존재 또는 부재 및 상기 회전에 기초하여 동작을 수행하기 위해 개시된다.
부가적인 이점들은 이어지거나 또는 실시에 의해 학습될 수 있는 설명에서 부분적으로 제시될 것이다. 이점들은 특히 수반되는 청구항들에서 언급되는 요소들 및 조합들에 의해 실현되고 달성될 것이다.
본 개시는 제조 및 제품 조립에 관련된 컴퓨터 기능을 개선한다.
본 명세서에 통합되며 그것의 일부를 구성하는 수반되는 도면들은 실시예들을 예시하며 설명과 함께, 방법들 및 시스템들의 원리들을 설명하도록 작용한다:
도 1은 예시적인 시스템이다;
도 2는 오브젝트의 예시적인 이미지이다;
도 3a는 오브젝트의 예시적인 이미지이다;
도 3b는 오브젝트의 예시적인 이미지이다;
도 4a는 오브젝트의 예시적인 이미지이다;
도 4b는 오브젝트의 예시적인 이미지이다;
도 5a는 오브젝트의 예시적인 이미지이다;
도 5b는 오브젝트의 예시적인 이미지이다;
도 6a는 오브젝트의 예시적인 이미지이다;
도 6b는 오브젝트의 예시적인 이미지이다;
도 7a는 오브젝트의 예시적인 이미지이다;
도 7b는 오브젝트의 예시적인 이미지이다;
도 8a는 오브젝트의 예시적인 이미지이다;
도 8b는 오브젝트의 예시적인 이미지이다;
도 9는 예시적인 시스템의 예시적인 실시예이다;
도 10은 예시적인 방법을 예시한 흐름도이다; 및
도 11은 대표적인 동작 환경이다.
도 1은 예시적인 시스템이다;
도 2는 오브젝트의 예시적인 이미지이다;
도 3a는 오브젝트의 예시적인 이미지이다;
도 3b는 오브젝트의 예시적인 이미지이다;
도 4a는 오브젝트의 예시적인 이미지이다;
도 4b는 오브젝트의 예시적인 이미지이다;
도 5a는 오브젝트의 예시적인 이미지이다;
도 5b는 오브젝트의 예시적인 이미지이다;
도 6a는 오브젝트의 예시적인 이미지이다;
도 6b는 오브젝트의 예시적인 이미지이다;
도 7a는 오브젝트의 예시적인 이미지이다;
도 7b는 오브젝트의 예시적인 이미지이다;
도 8a는 오브젝트의 예시적인 이미지이다;
도 8b는 오브젝트의 예시적인 이미지이다;
도 9는 예시적인 시스템의 예시적인 실시예이다;
도 10은 예시적인 방법을 예시한 흐름도이다; 및
도 11은 대표적인 동작 환경이다.
본 방법들 및 시스템들이 개시되고 설명되기 전에, 방법들 및 시스템들은 특정 방법들, 특정 구성요소들, 또는 특정한 구현들에 제한되지 않는다는 것이 이해될 것이다. 여기에서 사용된 전문 용어는 단지 특정한 실시예들을 설명할 목적을 위한 것이며 제한적이도록 의도되지 않는다는 것이 또한 이해될 것이다.
명세서 및 첨부되는 청구항들에서 사용되는 바와 같이, 단수형 형태들("a", "an" 및 "the")은 문맥이 달리 명확하게 서술하지 않는다면 복수형 지시 대상들을 포함한다. 범위들은 여기에서 "대략" 하나의 특정한 값으로부터, 및/또는 "대략" 또 다른 특정한 값까지로서 표현될 수 있다. 이러한 범위가 표현될 때, 또 다른 실시예는 하나의 특정한 값으로부터 및/또는 다른 특정한 값까지를 포함한다. 유사하게, 값들이 선행사 "약"의 사용에 의해, 근사치들로서 표현될 때, 특정한 값은 또 다른 실시예를 형성한다는 것이 이해될 것이다. 범위들의 각각의 엔드포인트들은 다른 엔드포인트들에 관하여, 및 다른 엔드포인트에 독립적으로 중요하다는 것이 추가로 이해될 것이다.
"선택적" 또는 "선택적으로"는 뒤이어 설명된 이벤트 또는 상황이 발생하거나 또는 발생하지 않으며, 설명은 상기 이벤트 또는 상황이 발생하는 인스턴스들 및 그것이 발생하지 않는 인스턴스들을 포함한다는 것을 의미한다.
본 명세서의 설명 및 청구항들 전체에 걸쳐, 단어("포함하다") 및 "포함하는" 및 "포함하다"와 같은 상기 단어의 변형들은 "이에 제한되지 않지만 ~을 포함하는"을 의미하며, 예를 들면, 다른 구성요소들, 정수들 또는 단계들을 제외하도록 의도되지 않는다. "대표적인"은 "~의 예"를 의미하며 선호된 또는 이상적인 실시예의 표시를 전달하도록 의도되지 않는다. "~와 같은"은 제한적인 의미에서가 아닌, 설명적인 목적들을 위해 사용된다.
개시된 방법들 및 시스템들을 수행하기 위해 사용될 수 있는 구성요소들이 개시된다. 이들 및 다른 구성요소들이 여기에서 개시되며, 이들 구성요소들의 조합들, 서브세트들, 상호작용들, 그룹들 등이 개시될 때, 각각의 다양한 개개의 및 공동 조합들의 특정 참조 및 이들의 치환이 명시적으로 개시되지 않을 수 있지만, 각각은 모든 방법들 및 시스템들에 대해, 역에서 구체적으로 고려되며 설명된다는 것이 이해된다. 이것은, 이에 제한되지 않지만, 개시된 방법들에서의 단계들을 포함한 본 출원의 모든 양상들에 적용된다. 따라서, 수행될 수 있는 다양한 부가적인 단계들이 있다면, 이들 부가적인 단계들의 각각은 개시된 방법들의 임의의 특정 실시예 또는 실시예들의 조합을 갖고 수행될 수 있다는 것이 이해된다.
본 방법들 및 시스템들은 여기에 포함된 바람직한 실시예들 및 예들에 대한 다음의 상세한 설명 및 도면들 및 그것들의 이전 및 이어지는 설명에 대한 참조에 의해 보다 쉽게 이해될 수 있다.
이 기술분야의 숙련자에 의해 이해될 바와 같이, 방법들 및 시스템들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예, 또는 소프트웨어 및 하드웨어 양상들을 조합한 실시예의 형태를 취할 수 있다. 뿐만 아니라, 방법들 및 시스템들은 저장 매체에 구체화된 컴퓨터-판독 가능한 프로그램 지시들(예로서, 컴퓨터 소프트웨어)을 가진 컴퓨터-판독 가능한 저장 매체상에서 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 보다 특히, 본 방법들 및 시스템들은 웹-구현 컴퓨터 소프트웨어의 형태를 취할 수 있다. 하드 디스크들, CD-ROM들, 광학 저장 디바이스들, 또는 자기 저장 디바이스들을 포함한 임의의 적절한 컴퓨터-판독 가능한 저장 매체가 이용될 수 있다.
방법들 및 시스템들의 실시예들은 방법들, 시스템들, 장치들 및 컴퓨터 프로그램 제품들의 블록도들 및 흐름도 예시들을 참조하여 이하에서 설명된다. 블록도들 및 흐름도 예시들의 각각의 블록, 및 블록도들 및 흐름도 예시들에서의 블록들의 조합들은, 각각, 컴퓨터 프로그램 지시들에 의해 구현될 수 있다는 것이 이해될 것이다. 이들 컴퓨터 프로그램 지시들은 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그램 가능한 데이터 프로세싱 장치로 로딩될 수 있으며, 따라서 컴퓨터 또는 다른 프로그램 가능한 데이터 프로세싱 장치상에서 실행하는 지시들은 흐름도 블록 또는 블록들에서 특정된 기능들을 구현하기 위한 수단을 생성한다.
이들 컴퓨터 프로그램 지시들은 또한 특정한 방식으로 기능하도록 컴퓨터 또는 다른 프로그램 가능한 데이터 프로세싱 장치에 지시할 수 있는 컴퓨터-판독 가능한 메모리에 저장될 수 있으며, 따라서 컴퓨터-판독 가능한 메모리에 저장된 지시들은 흐름도 블록 또는 블록들에서 특정된 기능을 구현하기 위한 컴퓨터-판독 가능한 지시들을 포함한 제조 물품을 생성한다. 컴퓨터 프로그램 지시들은 또한 컴퓨터 또는 다른 프로그램 가능한 장치상에서 실행될 일련의 동작 단계들로 하여금 컴퓨터 또는 다른 프로그램 가능한 장치상에서 실행하는 지시들이 흐름도 블록 또는 블록들에서 특정된 기능들을 구현하기 위한 단계들을 제공하도록 컴퓨터-구현된 프로세스를 생성하게 하기 위해 컴퓨터 또는 다른 프로그램 가능한 데이터 프로세싱 장치로 로딩될 수 있다.
따라서, 블록도들 및 흐름도 예시들의 블록들은 특정된 기능들을 수행하기 위한 수단들의 조합들, 특정된 기능들을 수행하기 위한 단계들의 조합들 및 특정된 기능들을 수행하기 위한 프로그램 지시 수단들을 지원한다. 블록도들 및 흐름도 예시들의 각각의 블록, 및 블록도들 및 흐름도 예시들에서의 블록들의 조합들은 특정된 기능들 또는 단계들, 또는 특수 목적 하드웨어 및 컴퓨터 지시들의 조합들을 수행하는 특수 목적 하드웨어-기반 컴퓨터 시스템들에 의해 구현될 수 있다는 것이 또한 이해될 것이다.
본 개시는 제조 및 제품 조립에 관련된 컴퓨터 기능에서의 개선들에 관한 것이다.
도 1은 본 방법들 및 시스템들이 동작할 수 있는 대표적인 시스템(100)의 다양한 양상들을 예시하는 블록도이다. 이 기술분야의 숙련자는 기능적 설명이 여기에서 제공되며 각각의 기능들은 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어의 조합에 의해 수행될 수 있다는 것을 이해할 것이다.
일 양상에서, 시스템(100)은 컨베이어 벨트(101)를 포함할 수 있다. 컨베이어 벨트(101)는 하나 이상의 클리트들(cleats)(102)을 포함할 수 있다. 하나 이상의 클리트들(102)은 컨베이어 벨트(101)로의 부착을 위해 고무 또는 유사한 재료로 만들어질 수 있다. 하나 이상의 클리트들(102)은 컨베이어 벨트(101)의 표면 위로 상승되거나 또는 그 외 연장될 수 있다. 하나 이상의 클리트들(102)은 이동 방향(103)에 기초하여 리딩 클리트 및 트레일링 클리트를 포함할 수 있다. 리딩 클리트 및 트레일링 클리트는 벨트 상에 위치된 오브젝트에 관한 것일 수 있으며, 따라서 리딩 클리트는 이동 방향(103)에 대해 오브젝트의 앞에 있으며 트레일링 클리트는 이동 방향(103)에 대해 오브젝트 뒤에 있다. 따라서, 제 1 오브젝트에 대한 리딩 클리트는 또한 제 1 오브젝트보다 앞선 제 2 오브젝트에 대한 트레일링 클리트일 수 있다. 하나 이상의 오브젝트들(104)은 컨베이어 벨트(101) 상에 위치될 수 있다. 양상에서, 하나 이상의 오브젝트들(104)은 조립의 하나 이상의 상태들에서의 제품을 포함할 수 있다. 예를 들면, 하나 이상의 오브젝트들(104)은 트레이를 포함할 수 있다. 트레이는 하나 이상의 아이템들을 유지하도록 구성될 수 있다. 하나 이상의 아이템들은 의학 치료와 관련될 수 있다. 예를 들면, 하나 이상의 아이템들은 하나 이상의 주사기들, 자동 주입기들, 하나 이상의 주사기 바늘들, 약의 하나 이상의 컨테이너들, 기록된 지시들의 하나 이상의 팜플렛들 또는 세트들, 그것의 조합들 등을 포함할 수 있다.
일 양상에서, 기록된 지시들의 세트는 약을 어떻게 사용하고 투여할지에 대한 정보를 제시한다. 또 다른 양상에서, 기록된 지시들은 미국 식품 의약국과 같은, 관리 기관에 의해 승인된 약물 라벨이다.
일 양상에서, 약은 고형제이다. 또 다른 양상에서, 약은 액상 제형이다. 또 다른 양상에서, 약은 겔 제형이다.
일 양상에서, 약은 경구 투여를 위해 만들어진다. 또 다른 양상에서, 약은 비경구 투여를 위해 만들어진다. 또 다른 양상에서, 약은 피하 투여를 위해 만들어진다. 또 다른 양상에서, 약은 근육내 투여를 위해 만들어진다. 또 다른 양상에서, 약은 정맥내 투여를 위해 만들어진다. 또 다른 양상에서, 약은 흡입 투여를 위해 만들어진다. 또 다른 양상에서, 약은 안구내 투여를 위해 만들어진다.
일 양상에서, 약은 저분자 유효 성분을 포함한다. 또 다른 양상에서, 약은 생물학을 포함한다. 또 다른 양상에서, 약은 펩티드 또는 폴리펩티드 유효 성분을 포함한다.
일 양상에서, 약은 혈관내피 성장 인자(VEGF) 도출 유효 성분을 포함한다. 또 다른 양상에서, 약은 애플리버셉트(aflibercept)를 포함하며, 이것은 그 각각이 전체적으로 참조로서 통합되는, 미국 특허 번호들, 미국 특허 제7,070,959호; 제7,303,746호; 제7,303,747호; 제7,306,799호; 제7,374,757호; 제7,374,758호; 제7,531,173호; 제7,608,261호; 제7,972,598호; 제8,029,791호; 제8,092,803호; 제8,343,737호; 제8,647,842호 중 하나 이상에서 설명된다.
컨베이어 벨트(101)는 스텝퍼 모터(105)에 의해 구동될 수 있는 구동 롤을 넘어갈 수 있다. 스텝퍼 모터(105)의 사용은 카메라(106), 카메라(107), 및 카메라(108)에 대한 하나 이상의 오브젝트들(104)의 정밀한 위치 결정을 가능하게 한다. 하나 이상의 오브젝트들(104)의 각각의 길이는 정확한 수의 모터 스텝들로서 표현될 수 있다. 컨베이어 벨트(101)는 하나 이상의 오브젝트들(104)의 각각이 각각, 카메라(106), 카메라(107), 카메라(108)와 연관된, 시야(109), 시야(110), 및 시야(111)로 이동되게 하기 위해 정확하게 전진되거나 또는 후진될 수 있다. 프로그램 가능한 로직 제어기(PLC)(112)(PLC(112)는 컴퓨팅 디바이스, PLC, 또는 다른 제어기/프로세서를 포함할 수 있다)는 하나 이상의 오브젝트들(104)이 시야(109), 시야(110), 및 시야(111)로 이동되게 하기 위해 어느 하나의 방향으로 임의의 수의 스텝들을 실행하게 하도록 구성될 수 있다.
양상에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 시각적 코드들을 스캔하고, 디코딩하고, 판독하고, 감지하고, 이미징하고, 캡처하며, 및/또는 해석하기 위해 구성될 수 있다. 몇몇 양상들에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 레이저, 선형, 또는 영역 이미징을 프로세싱하도록 구성될 수 있다. 예를 들면, 일 양상에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 1-차원 또는 2-차원 바코드들을 스캔하고, 판독하며, 디코딩하기 위해 이미저를 포함할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 개시된 실시예들과 일치하는 시각적 코드들로부터 정보를 추출하는 것이 가능한 임의의 이미저, 바코드 스캐너, 또는 시각적 코드 스캐너를 포함할 수 있다. 특정한 양상들에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 스캔된 바코드들, 이미지들, 및 다른 데이터를 프로세싱하도록 구성될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 3-차원 환경들을 캡처하고, 프로세싱하고, 감지하고, 관측하고, 모델링하고, 검출하며, 그것과 상호 작용하기 위해 하나 이상의 깊이 카메라들을 포함할 수 있다. 특정한 양상들에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 각각, 시야(109), 시야(110), 및 시야(111)에서 오브젝트들의 깊이들 및 컬러들을 인식하고 검출할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 또한 사진들을 찍는 것, 비디오들을 레코딩하는 것, 이미지들 또는 다른 데이터를 스트리밍하는 것, 이미지 버퍼들에 데이터를 저장하는 것 등과 같은, 다른 카메라 및 비디오 레코더 기능들을 제공할 수 있다. 이들 기능들은 깊이 정보를 포함하거나 또는 포함하지 않을 수 있다. 개시된 실시예들과 일치하는 하드웨어 및/또는 소프트웨어 프로세스들과 관련되어, 카메라(106), 카메라(107), 및/또는 카메라(108)는 하나 이상의 오브젝트들(104)의 크기들, 방향들, 및 시각적 속성들을 결정할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 여기에서 개시된 프로세스들을 핸들링하는 것이 가능한 이 기술분야의 기술자에게 알려진 임의의 카메라를 포함하거나 또는 이를 구체화할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 개시된 실시예들과 일치하는 프로세스들을 행하기 위해 통과/실패(pass/fail) 제어기(113)로 및 그로부터 신호들 및 정보를 송신하기 위한 적절한 하드웨어 및 소프트웨어 구성요소들(예로서, 회로, 소프트웨어 지시들 등)을 포함할 수 있다. 통과/실패 제어기(113)는 컴퓨팅 디바이스, PLC, 또는 다른 제어기/프로세서를 포함할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 이미지 및/또는 통지들을 각각 모니터(114), 모니터(115), 및 모니터(116)로 출력할 수 있다.
시야(109), 시야(110), 및 시야(111)로의 하나 이상의 오브젝트들(104)의 위치 결정은 시스템(100)의 시동 시 발생할 수 있으며 시스템(100)의 사용 동안 조정될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108) 중 하나 이상은 컨베이어 벨트(101)의 적절한 위치 결정을 보장하기 위해 사용될 수 있다. 예를 들면, 카메라(107)는 시야(110) 내에서의 영역의 이미지를 생성하도록 구성될 수 있다. 카메라(107)는 이미지에서 하나 이상의 클리트들(102)의 위치를 결정할 수 있다. 양상에서, 카메라(107)는 리딩 클리트의 위치를 결정할 수 있다. 카메라(107)는 기준 위치에 이미지에서의 하나 이상의 클리트들(102)의 결정된 위치를 비교할 수 있다. 결정된 위치가 기준 위치와 같다면, 컨베이어 벨트(101)에 대해 어떤 조정도 필요하지 않다. 결정된 위치가 기준 위치와 같지 않다면, 카메라(107)는 결정된 위치 및 기준 위치 사이의 차이에 기초하여 오프셋을 결정할 수 있다. 오프셋은 거리의 측정, 예를 들면, 밀리미터, 센티미터, 인치 등으로 결정될 수 있으며 및/또는 오프셋은 스텝들의 수로서 결정될 수 있다. 카메라(107)는 스텝퍼 모터(105)에 맞물림으로써 오프셋만큼 컨베이어 벨트(101)를 전진시키거나 또는 후진시키기 위해 PLC(112)로 신호를 송신할 수 있다.
동작 시, 시스템(100)은 하나 이상의 오브젝트들(104)의 조립의 현재 상태를 평가하며 조립의 현재 상태에 기초하여 하나 이상의 동작들을 취하도록 구성될 수 있다. 하나 이상의 오브젝트들(104)의 각각이 컨베이어 벨트(101)에 의해 전진됨에 따라, 하나 이상의 오브젝트들(104)은 각각 카메라(106), 카메라(107), 및/또는 카메라(108)의 시야(109), 시야(110), 및 시야(111)에 각각 위치될 것이다. 도 1은 단지 세 개의 카메라들만을 예시하지만, 세 개보다 적거나 또는 세 개보다 많은 카메라들이 사용될 수 있다는 것이 구체적으로 고려된다. 컨베이어 벨트(101)는 카메라들의 수에 관계없이, 그것 상에 배치된 예시된 세 개보다 많은 오브젝트들(104)을 갖도록 구성될 수 있다는 것이 추가로 고려된다. 하나 이상의 오브젝트들(104)이 컨베이어 벨트(101)를 따라 진행됨에 따라, 하나 이상의 아이템들은 인간 조작자 또는 로봇에 의해 하나 이상의 오브젝트들(104)로 조립될 수 있다.
하나 이상의 오브젝트들(104)의 각각이 카메라들 중 하나의 시야 내에 있을 때, 카메라는 상기 카메라와 연관된 시야 내의 오브젝트(104)의 이미지를 생성할 수 있다. 예를 들면, 카메라(106)는 시야(109) 내의 영역의 이미지를 생성할 수 있고, 카메라(107)는 시야(110) 내에서의 영역의 이미지를 생성할 수 있으며, 카메라(108)는 시야(111) 내에서의 영역의 이미지를 생성할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각은 그것들 각각의 이미지들을 분석할 수 있다. 이미지의 분석은 하나 이상의 패턴들의 존재 또는 부재를 결정하는 것을 포함할 수 있다. 하나 이상의 패턴들은 텍스트 패턴, 수치 패턴, 심볼 패턴, 및 그것의 조합들을 포함할 수 있다. 예를 들면, 텍스트 패턴은 "FILTER NEELDE"과 같은 문자들의 임의의 시퀀스를 포함할 수 있다. 수치 패턴은 "6941518"과 같은, 숫자들의 임의의 시퀀스를 포함할 수 있다. 심볼 패턴은 "●□□◆"과 같은 심볼들의 임의의 시퀀스를 포함할 수 있다. 양상에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 하나 이상의 패턴들을 "판독"하기 위해 광학 문자 인식(OCR)을 이용할 수 있다. 또 다른 양상에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 OCR을 이용하도록 구성되기보다는, 단지 특정 패턴으로서 하나 이상의 패턴들을 인식하도록 구성될 수 있다.
양상에서, 하나 이상의 패턴들은 하나 이상의 오브젝트들(104)로 조립될 하나 이상의 아이템들 상에서 구체화될 수 있다. 양상에서, 하나 이상의 아이템들의 적어도 일 부분은 하나 이상의 연관된 패턴들을 포함할 수 있다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)가 하나 이상의 패턴들의 존재를 결정하는 경우에, 하나 이상의 패턴들의 존재는 특정 패턴과 연관된 아이템의 존재를 나타낸다. 예를 들면, 카메라(106)가 시야(109) 내에서의 영역에 대해 취한 이미지에서 "FILTER NEEDLE"의 존재를 결정한다면, 패턴 "FILTER NEEDLE"과 연관된 아이템이 시야(109) 내에서의 오브젝트(104)에서 존재한다는 결론이 내려질 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)는 단일 이미지 내에서 복수의 패턴들의 존재 또는 부재를 결정하도록 구성될 수 있다. 예를 들면, 카메라(106)는 시야(109) 내에서의 영역에 대해 취한 이미지에서 "FILTER NEEDLE" 및 "FILTER NEEDLE"의 존재를 결정할 수 있다. 양쪽 패턴들 모두의 존재는 패턴 "FILTER NEEDLE"의 두 개의 발생들과 연관된 아이템이 시야(109) 내에서의 오브젝트(104)에서 존재한다는 것을 나타낼 수 있다.
하나 이상의 오브젝트들(104)로 조립될 수 있는 아이템들의 각각은 특정 수의 아이템의 존재 또는 부재를 나타내는 하나 이상의 패턴들과 연관될 수 있다. 예를 들면, 아이템은 단지 특정 패턴의 하나의 발생을 갖고 구체화될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 단지 한 번 발생한다고 결정하면, 단지 아이템 중 하나만이 존재한다는 결론이 내려질 수 있다. 그러나, 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 2회 이상 발생한다고 결정하면, 아이템 중 하나 이상이 존재한다는 결론이 내려질 수 있다. 또 다른 예에서, 아이템은 특정 패턴의 두 개의 발생들을 갖고 구체화될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 단지 두 번 발생한다고 결정하면, 아이템 중 단지 하나만이 존재한다는 결론이 내려질 수 있다. 그러나, 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 1 또는 3회 이상 발생한다고 결정하면, 아이템 중 하나 이상이 존재한다는 결론이 내려질 수 있다. 추가 예에서, 아이템은 다양한 특정 패턴들을 갖고 구체화될 수 있다. 예를 들면, 아이템은 특정 패턴의 1 내지 2개의 발생들을 갖고 구체화될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 한 번 또는 두 번 발생한다고 결정하면, 아이템 중 단지 하나만이 존재한다는 결론이 내려질 수 있다. 그러나, 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 3회 이상 발생한다고 결정하면, 아이템 중 하나 이상이 존재한다는 결론이 내려질 수 있다.
카메라(106), 카메라(107), 및/또는 카메라(108)의 각각은 전체 이미지 또는 이미지의 하나 이상의 특정 영역들을 분석하도록 구성될 수 있다. 도 2는 오브젝트(104)의 예시적인 이미지(200)를 예시한다. 오브젝트(104)는 하나 이상의 아이템들을 저장하기 위해 구성된 트레이(201)를 포함할 수 있다. 하나 이상의 아이템들은 하나 이상의 아이템들 중 적어도 일 부분이 하나 이상의 특정 영역들에 존재하도록 트레이(201)로 조립될 수 있다. 트레이(201)는 하나 이상의 영역들, 예를 들면, 영역(202), 영역(203), 및 영역(204)을 포함할 수 있다. 영역(202), 영역(203), 및 영역(204)의 각각은 아이템이 트레이(201)에 존재한다면 하나 이상의 패턴들이 존재해야 하는 영역과 연관될 수 있다. 예를 들면, 영역(202)은 트레이(201)로 조립될 때 유리병의 유리병 캡의 위치와 연관될 수 있고, 영역(203)은 트레이(201)로 조립될 때 하나 이상의 주사기들 및/또는 하나 이상의 바늘들의 위치와 연관될 수 있으며, 영역(204)은 트레이(201)로 조립될 때 하나 이상의 팜플렛들의 위치와 연관될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각은 이미지(200)의 하나 이상의 할당된 영역들을 분석하기 위해 구성될 수 있다. 예를 들면, 카메라(106)는 영역(202) 및 영역(203)을 분석하기 위해 할당될 수 있고, 카메라(107)는 영역(203)을 분석하기 위해 할당될 수 있으며, 카메라(108)는 영역(203) 및 영역(204)을 분석하기 위해 할당될 수 있다. 할당된 영역들의 임의의 조합이 고려된다. 더욱이, 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각은 할당된 영역들에서 하나 이상의 할당된 패턴들의 존재 또는 부재를 결정하도록 구성될 수 있다. 예를 들면, 카메라(106)는 영역(202)에서 유리병 캡의 존재 또는 부재 및 영역(203)에서 제 1 패턴(제 1 패턴의 발생들의 수를 포함한)의 존재 또는 부재를 결정하기 위해 할당될 수 있고, 카메라(107)는 영역(203)에서 제 2 패턴(제 2 패턴의 발생들의 수를 포함한)의 존재 또는 부재를 결정하기 위해 할당될 수 있으며, 카메라(108)는 영역(203)에서 제 3 패턴(제 3 패턴의 발생들의 수를 포함한)의 존재 또는 부재 및 영역(204)에서 제 4 패턴(제 4 패턴의 발생들의 수를 포함한)의 존재 또는 부재를 결정하기 위해 할당될 수 있다. 할당된 패턴들 및 할당된 영역들의 임의의 조합이 고려된다.
도 1로 돌아가면, 하나 이상의 오브젝트들(104)의 각각은 하나 이상의 아이템들의 각각의 특정 수를 포함하도록 구성될 수 있다. 특정 수의 각각의 아이템의 존재는 하나 이상의 오브젝트들(104)이 정확하게 조립됨을 나타낸다. 특정 수의 각각의 아이템이 아닌 어떤 것의 존재는 하나 이상의 오브젝트들(104)이 부정확하게 조립됨을 나타낸다. 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각은 각각의 시야 내의 오브젝트(104)의 독립적인 평가를 하도록 구성될 수 있다. 카메라가, 카메라가 검출하도록 구성되는 특정 수의 아이템들이 존재한다고 결정하면, 카메라는 통과/실패 제어기(113)로 통과(PASS) 신호를 발행할 수 있다. 카메라가, 카메라가 검출하도록 구성되는 특정 수의 아이템들이 존재하지 않는다고 결정하면, 카메라는 통과/실패 제어기(113)로 실패(FAIL) 신호를 발행할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각이 통과/실패 제어기(113)로 PASS 신호를 발행하면, 통과/실패 제어기(113)는 스텝퍼 모터(105)로 하여금 다음 카메라의 시야 하에 배치될 하나 이상의 오브젝트들(104)을 전진시키도록 컨베이어 벨트(101)를 전전시키게 하기 위해 신호를 PLC(112)로 제공할 수 있다. 통과/실패 제어기(113)는 PASS 통지를 디스플레이하기 위해 모니터들(114 내지 116)의 각각으로 통지를 추가로 송신할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108) 중 하나 이상이 통과/실패 제어기(113)로 FAIL 신호를 발행하면, 통과/실패 제어기(113)는 스텝퍼 모터(105)를 전진하게 하기 위해 신호를 PLC(112)로 제공하지 않을 것이다. 통과/실패 제어기(113)는 FAIL 통지를 디스플레이하기 위해 FAIL 신호를 발행하는 카메라(들)와 연관된 모니터들(114 내지 116)로 통지를 추가로 송신할 수 있다. FAIL 통지를 디스플레이하는 모니터들(114 내지 116)에 배치된 조작자(예로서, 인간 또는 로봇)는 FAIL 상태를 바로잡기 위해 교정 조치를 취할 수 있다. 예를 들면, FAIL 신호가 손실 아이템의 결과로 발행되었다면, 조작자는 손실 아이템을 대체할 수 있으며 이때 이전 FAIL 결정을 한 카메라는 아이템이 이제 존재한다고 결정하며 PASS 신호를 통과/실패 제어기(113)로 발행하기 위해 이미지를 재-생성하고 재-분석할 수 있다. 또 다른 예에서, FAIL 신호가 하나 이상의 추가 아이템들의 결과로서 발행되었다면, 조작자는 하나 이상의 추가 아이템들을 제거할 수 있으며 이때 이전 FAIL 결정을 한 카메라는 요구된 수의 아이템들이 이제 존재한다고 결정하며 PASS 신호를 통과/실패 제어기(113)로 발행하기 위해 이미지를 재-생성하고 재-분석할 수 있다.
추가 양상에서, 카메라(106), 카메라(107), 및/또는 카메라(108)에 의한 이미지의 분석은 하나 이상의 패턴들의 부재의 존재를 결정할 뿐만 아니라, 둘 이상의 패턴들의 회전을 결정하는 것을 또한 포함할 수 있다. 양상에서, 둘 이상의 패턴들은 특정 축을 따라 하나 이상의 오브젝트들(104)로 조립될 하나 이상의 아이템들 상에서 구체화될 수 있다. 양상에서, 하나 이상의 아이템들의 적어도 일 부분은 특정 축을 따라 둘 이상의 연관된 패턴들을 포함할 수 있다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 축을 따라 둘 이상의 패턴들의 존재를 결정하는 경우에, 특정 축을 따라 둘 이상의 패턴들의 존재는 특정 축을 따라 특정 패턴과 연관된 아이템의 존재를 나타낸다. 예를 들면, 카메라(106)가 시야(109) 내에서의 영역에 대해 취해진 이미지에서 동일한 축(예로서, 30°, 60°, 90°, 120°, 180° 등)을 따라 "FILTER NEEDLE" 및 "FILTER NEEDLE"의 존재를 결정한다면, 동일한 축을 따라 패턴 "FILTER NEEDLE" 및 "FILTER NEEDLE"과 연관된 아이템이 시야(109) 내에서의 오브젝트(104)에 존재한다는 결론이 내려질 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)가 단일 이미지 내에서 복수의 패턴들의 회전을 결정하기 위해 구성될 수 있다. 예를 들면, 카메라(106)는 시야(109) 내에서의 영역에 대해 취해진 이미지에서 제 1 축을 따라 "FILTER NEEDLE" 및 "FILTER NEEDLE"의 존재 및 제 2 축을 따라 "SYRINGE NEEDLE" 및 "SYRINGE NEEDLE"의 존재를 결정할 수 있다. 두 개의 상이한 축들을 따르는 양쪽 패턴들의 존재는 제 1 축을 따라 패턴 "FILTER NEEDLE"의 두 개의 발생들과 연관된 아이템이 오브젝트(104)에 존재하며 제 2 축을 따라 패턴 "SYRINGE NEEDLE"의 두 개의 발생들과 연관된 아이템이 오브젝트(104)에 또한 존재한다는 것을 나타낼 수 있다. 추가 예로서, 카메라(106)는 시야(109) 내에서의 영역에 대해 취해진 이미지에서 제 1 축을 따라 "FILTER NEEDLE" 및 "FILTER NEEDLE"의 존재 및 제 2 축을 따라 "FILTER NEEDLE"의 존재를 결정할 수 있다. 두 개의 상이한 축들을 따르는 양쪽 패턴들의 존재는 패턴 "FILTER NEEDLE"과 연관된 아이템의 두 개의 발생들이 오브젝트(104)에 존재한다는 것을 나타낼 수 있다.
하나 이상의 오브젝트들(104)로 조립될 수 있는 아이템들의 각각은 특정 수의 아이템의 존재 또는 부재를 나타내는 특정 축을 따라 구체화되는 하나 이상의 패턴들과 연관될 수 있다. 예를 들면, 아이템은 특정 축을 따라 특정 패턴의 두 개의 발생들을 갖고 구체화될 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 특정 축을 따라 단지 두 번 발생한다고 결정하면, 아이템 중 단지 하나만이 존재한다는 결론이 내려질 수 있다. 그러나, 카메라(106), 카메라(107), 및/또는 카메라(108)가 특정 패턴이 하나 이상의 축을 따라 발생한다고 결정하면, 아이템 중 하나 이상이 존재한다는 결론이 내려질 수 있다.
도 3a 및 도 3b는 아이템(301) 및 아이템(302)을 포함하는 트레이(201)의 예시적인 이미지(300 및 303)를 예시한다. 아이템(301)은 유리병일 수 있으며 아이템(302)은 예를 들면, 필터 바늘일 수 있다. 이미지(300)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)가 무엇이든 유리병 캡이 영역(202)에 존재한다고 결정할 수 있다. 단일 유리병 캡의 존재는 아이템(301)이 존재한다는 것을 나타낸다. 이미지(300)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 패턴의 두 개의 발생들, 즉 "TEXT A"이 존재한다고 결정할 수 있다. 양상에서, 패턴의 두 개의 발생들, 즉 "TEXT A"는 아이템(302)의 하나 또는 하나 이상의 인스턴스가 존재한다는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(302) 상에서의 패턴 구성에 의존하여(예로서, 아이템(302)의 단일 인스턴스는 "TEXT A"의 단일 발생 또는 "TEXT A의 이중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT A" 및 "TEXT A"가 동일한 축 상에 나타나는지를 결정할 수 있다. "TEXT A" 및 "TEXT A"가 동일한 축 상에 나타나면, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(302)의 단일 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. "TEXT A" 및 "TEXT A"가 상이한 축들 상에 나타나면, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(302)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(302)이 존재한다는 것을 확인하며 아이템(302)의 예상된 수의 인스턴스들 대 아이템(302)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다.
도 4a는 아이템(301) 및 아이템(302)의 두 개의 인스턴스들을 포함하는 트레이(201)의 예시적인 이미지(400)를 예시한다. 이미지(400)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 패턴("TEXT A")의 세 개의 발생들이 존재한다고 결정한다. 양상에서, 패턴, "TEXT A"의 세 개의 발생들은 아이템(302)의 하나 또는 하나 이상의 인스턴스가 존재한다는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(302)에 대한 패턴 구성에 의존하여(예로서, 아이템(302)의 단일 인스턴스는 "TEXT A"의 단일 발생, TEXT A"의 이중 발생, 또는 "TEXT A"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT A"의 세 개의 발생들이 동일한 축 상에 나타나는지를 결정할 수 있다. 도 4a에 도시된 바와 같이, "TEXT A"의 두 개의 발생들은 동일한 축 상에서 나타나며 "TEXT A"의 하나의 발생은 상이한 축 상에서 나타난다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(302)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(302)이 존재하는 것을 확인하고 아이템(302)의 예상된 수의 인스턴스들 대 아이템(302)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다.
도 4b는 아이템(301), 아이템(302)의 하나의 인스턴스, 및 아이템(402)의 하나의 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(401)를 예시한다. 일 양상에서, 이미지(400)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 제 1 패턴("TEXT A")의 두 개의 발생들이 존재하며, 제 2 패턴("TEXT B")의 한 번의 발생이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT A"의 두 개의 발생들은 아이템(302)의 하나 또는 하나 이상의 인스턴스가 존재하는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(302)에 대한 패턴 구성에 의존하여(예로서, 아이템(302)의 단일 인스턴스는 "TEXT A"의 단일 발생, "TEXT A"의 이중 발생, 또는 "TEXT A"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT A"의 두 개의 발생들이 동일한 축 상에 나타나는지를 결정할 수 있다. 도 4b에 도시된 바와 같이, "TEXT A"의 두 개의 발생들은 동일한 축 상에 나타난다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(302)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 그러나, 패턴 "TEXT B"의 한 번의 발생은 아이템이 조립 프로세스에서의 이 스테이지에서 트레이(201)에 있지 않아야 하는 트레이(201)에 위치되었음을 나타낼 수 있다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 존재하도록 의도되지 않은 패턴의 존재에 기초하여 FAIL 신호를 생성할 수 있다.
또 다른 양상에서, 이미지(400)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는 패턴 "TEXT B"가 존재한다고 결정할 수 있으며 패턴 "TEXT A"(또는 요구된다면 임의의 다른 패턴)의 존재를 무시할 수 있다. 양상에서, 패턴, "TEXT B"의 한 번의 발생은 아이템(302)의 하나의 인스턴스가 존재한다는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 PASS 신호를 생성할 수 있다.
도 5a는 아이템(301), 아이템(302), 및 아이템(501)의 단일 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(500)를 예시한다. 이미지(500)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는 영역(202)에서 유리병 캡을 무시하며 영역(203)에서 패턴 "TEXT A"의 존재를 무시하도록 구성될 수 있다. 대신에, 이미지(400)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는 영역(203)에서, 또 다른 패턴("TEXT B")의 두 개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT B"의 두 개의 발생들은 아이템(501)의 하나 또는 하나 이상의 인스턴스가 존재하는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(501)에 대한 패턴 구성에 의존하여(예로서, 아이템(501)의 단일 인스턴스는 "TEXT B"의 단일 발생, "TEXT B"의 이중 발생, 또는 "TEXT B"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT B"의 두 개의 발생들이 동일한 축 상에 나타나는지를 결정할 수 있다. 도 5a에 도시된 바와 같이, "TEXT B"의 두 개의 발생들은 동일한 축 상에 나타난다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(501)의 하나의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템이 존재하는 것을 확인하고 아이템(501)의 예상된 수의 인스턴스들 대 아이템(501)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다. 도 5b는 아이템(301), 아이템(302), 및 아이템(501)의 단일 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(503)를 예시한다. 도 5b는 도 5b가, 패턴 "TEXT B"가 동일한 축을 따라, 그러나 도 5a에서의 축과 상이한 각도로 두 번 발생함을 예시한다는 것을 제외하고, 도 5a와 유사하다.
도 6a는 아이템(301) 및 아이템(501)의 두 개의 인스턴스들을 포함하는 트레이(201)의 예시적인 이미지(600)를 예시한다. 이미지(600)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 패턴 "TEXT B"의 4개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT B"의 4개의 발생들은 아이템(501)의 하나 또는 하나 이상의 인스턴스가 존재한다는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(501)에 대한 패턴 구성에 의존하여(예로서, 아이템(501)의 단일 인스턴스는 "TEXT B"의 단일 발생, "TEXT B"의 이중 발생, 또는 "TEXT B"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT B"의 4개의 발생들이 나타나는 축들을 결정할 수 있다. 도 5a에 도시된 바와 같이, "TEXT B"의 두 개의 발생들은 제 1 축 상에서 나타나며 "TEXT B"의 다른 두 개의 발생들은 제 2 축 상에서 나타난다. 따라서, "TEXT B"의 두 개의 세트들이 상이한 축들 상에서 나타남에 따라, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(501)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(501)이 존재하는 것을 확인하고 아이템(501)의 예상된 수의 인스턴스들 대 아이템(501)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다.
도 6b는 아이템(301), 아이템(302), 및 아이템(501)의 두 개의 인스턴스들을 포함하는 트레이(201)의 예시적인 이미지(601)를 예시한다. 이미지(601)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 패턴 "TEXT B"의 세 개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT B"의 세 개의 발생들은 아이템(501)의 하나 또는 하나 이상의 인스턴스가 존재한다는 것을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(501)에 대한 패턴 구성에 의존하여(예로서, 아이템(501)의 단일 인스턴스는 "TEXT B"의 단일 발생, "TEXT B"의 이중 발생, "TEXT B"의 삼중 발생, 또는 "TEXT B"의 사중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT B"의 세 개의 발생들이 나타나는 축들을 결정할 수 있다. 도 6b에 도시된 바와 같이, "TEXT B"의 두 개의 발생들은 제 1 축 상에서 나타나며 "TEXT B"의 하나의 발생들은 제 2 축 상에서 나타난다. 따라서, "TEXT B"의 두 개의 세트들이 상이한 축들 상에서 나타남에 따라, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(501)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(501)이 존재하는 것을 확인하고 아이템(501)의 예상된 수의 인스턴스들 대 아이템(501)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다.
도 7a는 아이템(301), 아이템(302), 아이템(501), 아이템(701)의 단일 인스턴스, 및 아이템(702)의 단일 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(700)를 예시한다. 이미지(700)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는 영역(202)에서 유리병 캡을 무시하며 영역(203)에서 패턴들 "TEXT A" 및 "TEXT B"의 존재를 무시하도록 구성될 수 있다. 대신에, 이미지(700)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는 영역(203)에서, 또 다른 패턴("TEXT D")의 두 개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT D"의 두 개의 발생들은 아이템(701)의 하나 또는 하나 이상의 인스턴스가 존재함을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(701)에 대한 패턴 구성에 의존하여(예로서, 아이템(701)의 단일 인스턴스는 "TEXT D"의 단일 발생, "TEXT D"의 이중 발생, 또는 "TEXT D"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT D"의 2개의 발생들이 동일한 축 상에서 나타나는지를 결정할 수 있다. 도 7a에 도시된 바와 같이, "TEXT D"의 두 개의 발생들은 동일한 축 상에서 나타난다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(701)의 하나의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(701)이 존재함을 확인하고 아이템(701)의 예상된 수의 인스턴스들 대 아이템(701)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다. 동일한 이미지(700)에서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 영역(204)에서, 또 다른 패턴("TEXT C")의 두 개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT C"의 두 개의 발생들은 아이템(702)의 하나 또는 하나 이상의 인스턴스가 존재함을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(702)에 대한 패턴 구성에 의존하여(예로서, 아이템(702)의 단일 인스턴스는 "TEXT C"의 단일 발생, "TEXT C"의 이중 발생, 또는 "TEXT C"의 삼중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT C"의 2개의 발생들이 동일한 축 상에서 나타나는지를 결정할 수 있다. 도 7a에 도시된 바와 같이, "TEXT C"의 두 개의 발생들은 동일한 축 상에 나타난다. 따라서, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(702)의 하나의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(702)이 존재함을 확인하고 아이템(702)의 예상된 수의 인스턴스들 대 아이템(702)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다. 도 7b는 아이템(301), 아이템(302), 아이템(501), 아이템(701)의 단일 인스턴스, 및 아이템(702)의 단일 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(703)를 예시한다. 도 7b는 도 7b가, 패턴 "TEXT D"가 동일한 축을 따라, 그러나 도 7a에서의 축과 상이한 각도로 두 번 발생하며 유사하게 패턴 "TEXT C"가 동일한 축을 따라, 그러나 도 7a에서의 축과 상이한 각도로 두 번 발생함을 예시한다는 것을 제외하고, 도 7a와 유사하다.
도 8a는 아이템(301), 아이템(302), 아이템(501), 아이템(701)의 두 개의 인스턴스들, 및 아이템(702)의 단일 인스턴스를 포함하는 트레이(201)의 예시적인 이미지(800)를 예시한다. 이미지(800)를 생성하는 카메라(106), 카메라(107), 및/또는 카메라(108)는, 영역(203)에서, 패턴, "TEXT D"의 세 개의 발생들이 존재한다고 결정할 수 있다. 양상에서, 패턴, "TEXT D"의 세 개의 발생들은 아이템(701)의 하나 또는 하나 이상의 인스턴스가 존재함을 나타낼 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 또 다른 양상에서, 아이템(701)에 대한 패턴 구성에 의존하여(예로서, 아이템(701)의 단일 인스턴스는 "TEXT D"의 단일 발생, "TEXT D"의 이중 발생, "TEXT D"의 삼중 발생, 또는 "TEXT D"의 사중 발생을 가질 수 있다), 카메라(106), 카메라(107), 및/또는 카메라(108)는 "TEXT D"의 세 개의 발생들이 나타나는 축들을 결정할 수 있다. 도 8a에 도시된 바와 같이, "TEXT D"의 두 개의 발생들은 제 1 축 상에 나타나며 "TEXT D"의 하나의 발생은 제 2 축 상에 나타난다. 따라서, "TEXT D"의 두 개의 세트들이 상이한 축들 상에 나타남에 따라, 카메라(106), 카메라(107), 및/또는 카메라(108)는 아이템(701)의 하나 이상의 인스턴스가 존재한다고 결정할 수 있으며 카메라(106), 카메라(107), 및/또는 카메라(108)는 적절하다면 PASS 또는 FAIL 신호를 생성할 수 있다. 양상에서, 축들의 결정은 임의의 수의 아이템(701)이 존재함을 확인하고 아이템(701)의 예상된 수의 인스턴스들 대 아이템(701)의 결정된 수의 인스턴스들에 기초하여 PASS 또는 FAIL 신호를 생성하기 위해 사용될 수 있다. 도 8b는 도 8b가, 패턴 "TEXT D"가 제 1 축을 따라 두 번 및 제 2 축을 따라 한 번 발생하지만, 제 1 및 제 2 축들은 도 8a에서의 축들과 상이한 각도들에 있음을 예시한다는 것을 제외하고, 도 8a와 유사하다.
도 1로 돌아가면, 카메라(106), 카메라(107), 및 카메라(108)의 각각은 이미지에서 하나 이상의 패턴들의 존재 또는 부재 양쪽 모두를 독립적으로 결정하며 오브젝트(104)의 이미지에서 각각의 하나 이상의 패턴들의 회전을 결정할 수 있다. 카메라(106), 카메라(107), 및 카메라(108)의 각각은 이미지에서 하나 이상의 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행할 수 있다. 카메라가 패턴의 존재 및 패턴의 회전에 기초하여 정확한 수의 아이템이 오브젝트(104)의 이미지에 존재한다고 결정한다면, 동작은 PASS 신호를 통과/실패 제어기(113)로 송신하는 것을 포함할 수 있다. 카메라가 패턴의 존재 및 패턴의 회전에 기초하여 부정확한 수의 아이템이 오브젝트(104)의 이미지에 존재한다고 결정한다면, 동작은 FAIL 신호를 통과/실패 제어기(113)로 송신하는 것을 포함할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108)의 각각이 통과/실패 제어기(113)로 PASS 신호를 발행한다면, 통과/실패 제어기(113)는 스텝퍼 모터(105)로 하여금 다음 카메라의 시야 하에 배치될 하나 이상의 오브젝트들(104)을 전진시키도록 컨베이어 벨트(101)를 전진시키게 하기 위해 PLC(112)로 신호를 제공할 수 있다. 통과/실패 제어기(113)는 PASS 통지를 디스플레이하기 위해 통지를 모니터들(114 내지 116)의 각각으로 추가로 송신할 수 있다. 카메라(106), 카메라(107), 및/또는 카메라(108) 중 하나 이상이 통과/실패 제어기(113)로 FAIL 신호를 발행한다면, 통과/실패 제어기(113)는 스텝퍼 모터(105)로 하여금 전진하게 하기 위해 PLC(112)로 신호를 제공하지 않을 것이다. 통과/실패 제어기(113)는 FAIL 통지를 디스플레이하기 위해 FAIL 신호를 발행한 카메라(들)와 연관된 모니터들(114 내지 116)로 통지를 추가로 송신할 수 있다. FAIL 통지를 디스플레이하는 모니터들(114 내지 116)에 배치된 조작자(예로서, 인간 또는 로봇)는 FAIL 상태를 바로잡기 위해 교정 조치를 취할 수 있다.
또 다른 양상에서, 카메라(106), 카메라(107), 및 카메라(108) 중 하나 이상은 하나 이상의 오브젝트들(104)의 수를 카운트할 수 있다. 예를 들면, 하나 이상의 오브젝트들(104)이 카메라(106), 카메라(107), 및 카메라(108) 중 하나를 지나감에 따라, 카메라는 카메라에 의해 이미징된 하나 이상의 오브젝트들(104)의 검수(tally)를 증가시킬 수 있다. 추가 양상에서, 다수의 빈 위치들은 하나 이상의 오브젝트들(104) 사이에 배치될 수 있다. 예를 들면, 특정한 시나리오들에서, 카메라(106), 카메라(107), 및 카메라(108) 중 하나 이상은 각각의 시야 내의 오브젝트(104)를 갖지 않을 수 있다. 컨베이어 벨트(101)는 오브젝트(104)가 그 외 위치될 위치에서 그것 상에 구체화된 패턴(예로서, "무 트레이" 패턴)을 가질 수 있다. 카메라(106), 카메라(107), 및 카메라(108)는 패턴을 식별하며 컨베이어 벨트(101)의 전진에 기여하기 위해 PASS 신호를 발행할 수 있다.
도 9는 컨베이어 벨트(101)에 대한 카메라(106), 카메라(107), 및 카메라(108)의 위치 결정을 예시하는 시스템(100)의 예시적인 실시예를 예시한다. 도 9는 모니터들(114 내지 116)의 위치 결정을 추가로 예시한다. 스텝퍼 모터(105)는 컨베이어 벨트(101)의 일 단부에서 예시된다. PLC(112) 및/또는 통과/실패 제어기(113) 중 하나 이상은 하우징(901)과 함께 포함될 수 있다. 하나 이상의 분배기들(902)은 하나 이상의 오브젝트들(104)로의 조립 동안 액세스될 하나 이상의 아이템들을 저장하기 위해 구성될 수 있다. 시스템(100)은 하나 이상의 비상 정지("E-정지") 버튼들(903)을 포함할 수 있다. E-정지 버튼들(903)은 임의의 이유로, 시스템(100)의 동작을 일시적으로 중단시키기 위해 어제든지 맞물려질 수 있다. E-정지 버튼들(903)은 리셋될 수 있으며, 시스템(100)은 재시작된다(예로서, 그렇게 하는 것이 안전하다고 결정한 조작자 또는 기술자에 의해). 시스템(100)은 하나 이상의 옵토스위치(OptoSwitch)들(904)을 포함할 수 있다. 옵토스위치들(904)은 옵토스위치(904)의 안장-형 구조에서 손가락 또는 엄지 손가락을 둠으로써 작동("트리핑")될 수 있다. 이러한 동작은 광학 신호 경로를 끊어서, 스위치 조건을 야기한다. 옵토스위치들(904)은 "수동 트리거" 모드 동안 시각적 검사를 수용하며, "자율"(또는 "자동") 모드 동안 벨트 모션을 시작/재시작하기 위해 사용될 수 있다.
시스템(100)은 키 스위치 메커니즘(905)을 포함할 수 있다. 키 스위치 메커니즘(905)은 "자율" 모드 및 "수동 트리거" 모드 사이에서 토글링하기 위해 사용될 수 있다. 정상 동작하에서, 모드에 관계없이, 제 1 조작자 스테이션은 조작자가 컨베이어 벨트(101)로 트레이들을 로딩하는 것을 포함할 수 있다. 양상에서, 이들 트레이들은 프리필형 뚜껑이 덮힌 유리병과 사전에 맞춰질 수 있다. 수동 트리거 모드에서, 제 2 조작자 스테이션에서, 조작자는 트레이로 필터 바늘 끝을 로딩할 수 있다. 이 동작 후, 카메라(106)는 적절한 아이템들을 위한 트레이를 검사한다. 제 3 조작자 스테이션에서, 주입 바늘 끝이 트레이에 부가될 수 있다. 그 후, 카메라(107)는 적절한 아이템들을 위한 트레이를 검사한다. 제 4 조작자 스테이션에서, 조작자는 트레이로 빈 블리스터-팩형 주사기를 로딩한다. 나중에, 제 5 조작자는 트레이로 의사 삽입(Physician Insert; PI)을 로딩한다. PI가 로딩된 후, 카메라(108)는 완성된 로딩을 위한 트레이를 검사한다. 일단 트레이가 이러한 마지막 스테이션을 통과하면, 완전히 실장된 트레이는 박싱을 위해 컨베이어 벨트(101)를 빠져나간다.
자동화 모드에서, 트레이들은 자동으로 컨베이어 벨트(101) 아래로 이동된다. 시스템(100)은 컨베이어 벨트(101)가 다음 위치로 시프트되기 전에 체류 시간(예로서, 1 내지 5초)을 유지할 수 있다. 시프트는 단지 모든 세 개의 검사 카메라들(예로서, 카메라(106), 카메라(107), 및 카메라(108))이 각각의 카메라에 의해 검사되고 있는 트레이를 제거할 때만("통과") 발생한다. 임의의 검사 스테이션에서의 이슈는 컨베이어 벨트(101) 및 "적색 광" 조건("실패")을 야기할 수 있으며, 이때 조작자는 이슈를 정정하거나 또는 컨베이어 벨트(101)로부터 트레이를 당길 수 있다(각각의 카메라는 그것의 시야에서 어떤 트레이도 없을 때 컨베이어 벨트(101)가 전진하도록 허용할 수 있다). 컨베이어 벨트(101)의 전진은 모든 카메라들이 "통과" 트레이 구성을 검출하는 것에 의존적일 수 있다. 각각의 카메라 스테이션에서 디스플레이 스크린(예로서, 모니터들(114 내지 116))은 검사 결과들에 의존하는 오버레이된 "통과", "실패", 또는 "작업 없음" 상태들을 갖고, 연관된 카메라의 비디오 스트림을 디스플레이할 수 있다. 카메라 온라인 상태는 동작 동안 요구된다면 모니터들(114 내지 116)로부터 리셋될 수 있다.
도 10에 예시된, 양상에서, 단계(1010)에서 트레이의 제 1 이미지를 획득하는 것을 포함한 방법(1000)이 개시된다. 방법(1000)은 단계(1020)에서 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것을 포함할 수 있다. 하나 이상의 제 1 패턴들은 텍스트 패턴들, 수치 패턴들, 심볼 패턴들, 및 그것의 조합들을 포함할 수 있다. 방법(1000)은 단계(1030)에서 제 1 이미지에서 각각의 하나 이상의 제 1 패턴들의 회전을 결정하는 것을 포함할 수 있다. 방법(1000)은 단계(1040)에서 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것을 포함할 수 있다. 양상에서, 방법(1000)의 각각의 단계는 컴퓨팅 디바이스, 카메라(프로세싱 기능을 가진), 또는 그것의 조합에 의해 수행될 수 있다. 몇몇 양상에서, 다수의 컴퓨팅 디바이스들 및/또는 카메라들은 방법(1000)을 수행하기 위해 이용될 수 있다. 예를 들면, 다수의 카메라들이 사용될 수 있으며 여기에서 제 1 카메라는, 제 2 카메라가 단계(1040)를 수행하는 동안 단계들(1010, 1020), 및 단계(1030)를 수행할 수 있다. 또 다른 양상에서, 방법(1000)은 트레이가 조립 라인을 따라 진행됨에 따라 여러 개의 카메라들 및/또는 컴퓨팅 디바이스들의 각각에서 반복될 수 있다. 예를 들면, 단계들(1010, 1020, 1030, 및 1040)은 특정 패턴(들)에 대해 제 1 카메라에 의해 수행될 수 있으며, 그 후 단계들(1010, 1020, 1030, 및 1040)은 또 다른 특정 패턴(들)에 대해 제 2 카메라에 의해 다시 수행될 수 있다. 더 나아가, 여기에서 설명된 하나 이상의 서브-단계들은 지정된 카메라 및/또는 컴퓨팅 디바이스에 의해 수행될 수 있다.
제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 1 패턴들 중 하나 또는 두 개의 존재를 결정하는 것을 포함할 수 있고 여기에서 제 1 이미지에서 각각의 하나 이상의 제 1 패턴들의 회전을 결정하는 것은 하나 이상의 제 1 패턴들 중 하나 또는 두 개가 제 1 축 상에 있음을 결정하는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 통과 검사 신호를 생성하는 것 및 트레이가 위에 배치된 벨트를 전진시키는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 1 패턴들 중 세 개 이상의 존재를 결정하는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 실패 검사 신호를 생성하는 것 및 하나 이상의 제 1 패턴들과 연관된 제 1 아이템이 트레이로부터 제거되어야 함을 조작자에게 통지하는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 1 패턴들 중 두 개의 존재를 결정하는 것을 포함할 수 있고 여기에서 제 1 이미지에서 각각의 하나 이상의 제 1 패턴들의 회전을 결정하는 것은 하나 이상의 제 1 패턴들 중 두 개가 동일한 축 상에 있지 않다고 결정하는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 실패 검사 신호를 생성하는 것 및 하나 이상의 제 1 패턴들과 연관된 제 1 아이템이 트레이로부터 제거되어야 함을 조작자에게 통지하는 것을 포함할 수 있다.
방법(1000)은 트레이의 제 2 이미지를 획득하는 것, 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재를 결정하는 것, 제 2 이미지에서 각각의 하나 이상의 제 2 패턴들의 회전을 결정하는 것, 및 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것을 추가로 포함할 수 있다. 하나 이상의 제 2 패턴들은 텍스트 패턴들, 수치 패턴들, 심볼 패턴들, 및 그것의 조합들을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 2 패턴들 중 하나 또는 두 개의 존재를 결정하는 것을 포함할 수 있고 여기에서 제 2 이미지에서 각각의 하나 이상의 제 2 패턴들의 회전을 결정하는 것은 하나 이상의 제 2 패턴들 중 하나 또는 두 개가 제 2 축 상에 있다고 결정하는 것을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 통과 검사 신호를 생성하는 것 및 트레이가 위에 배치된 벨트를 전진시키는 것을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 2 패턴들 중 세 개 이상의 존재를 결정하는 것을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 실패 검사 신호를 생성하는 것 및 하나 이상의 제 2 패턴들과 연관된 제 2 아이템이 트레이로부터 제거되어야 함을 조작자에게 통지하는 것을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재를 결정하는 것은 하나 이상의 제 2 패턴들 중 두 개의 존재를 결정하는 것을 포함할 수 있으며 여기에서 제 2 이미지에서 각각의 하나 이상의 제 2 패턴들의 회전을 결정하는 것은 하나 이상의 제 2 패턴들 중 두 개가 동일한 축 상에 있지 않다고 결정하는 것을 포함할 수 있다. 제 2 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 실패 검사 신호를 생성하는 것 및 하나 이상의 제 2 패턴들과 연관된 제 2 아이템이 트레이로부터 제거되어야 함을 조작자에게 통지하는 것을 포함할 수 있다.
방법(1000)은 제 1 이미지에서 클리트의 위치를 결정하는 것, 기준 위치에 제 1 이미지에서의 클리트의 결정된 위치를 비교하는 것, 결정된 위치가 기준 위치와 상이하다고 결정하는 것, 결정된 위치 및 기준 위치 사이의 차이에 기초하여 오프셋을 결정하는 것, 및 오프셋에 의해 트레이가 위에 배치된 벨트를 전진시키기 위한 거리를 조정하기 위해 벨트 제어기로 신호를 송신하는 것을 추가로 포함할 수 있다. 오프셋은 음의 값, 양의 값, 또는 제로 값 중 하나일 수 있다. 양상에서, 결정된 위치 및 기준 위치 사이의 차이에 기초하여 오프셋을 결정하는 것, 및 오프셋에 의해 트레이가 위에 배치된 벨트를 전진시키기 위한 거리를 조정하기 위해 벨트 제어기로 신호를 송신하는 것은 하나 이상의 카메라들에 의해 수행될 수 있다. 예를 들면, 단일 카메라는 오프셋을 결정하기 위해 지정될 수 있다. 오프셋 결정은 벨트의 각각의 움직임 후 이루어질 수 있다.
방법(1000)은 트레이의 제 1 이미지를 반복적으로 획득하는 것, 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것, 제 1 이미지에서 각각의 하나 이상의 제 1 패턴들이 회전을 결정하는 것, 및 복수의 트레이들의 각각에 대한 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것을 추가로 포함할 수 있다.
방법(1000)은 복수의 트레이들의 수를 카운트하는 것을 추가로 포함할 수 있으며, 여기에서 다수의 빈 트레이 위치들은 복수의 트레이들 사이에 배치된다. 방법(1000)은 빈 트레이 위치들의 수를 카운트하는 것을 추가로 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 1 패턴들의 존재 또는 부재를 결정하는 것은 무 트레이 패턴을 결정하는 것을 포함할 수 있다. 제 1 이미지에서 하나 이상의 제 2 패턴들의 존재 또는 부재 및 회전에 기초하여 동작을 수행하는 것은 무 트레이 패턴이 위에 배치된 벨트를 전진시키는 것을 포함할 수 있다.
대표적인 양상에서, 방법들 및 시스템들은 도 11에 예시되며 이하에서 설명되는 바와 같이 컴퓨터(1101) 상에 구현될 수 있다. 예로서, 도 1의 카메라(106), 카메라(107), 카메라(108), PLC(112), 및/또는 통과/실패 제어기(113)(또는 그것의 조합)는 도 11에 예시된 바와 같이 컴퓨터(1101)일 수 있다. 유사하게, 개시된 방법들 및 시스템들은 하나 이상의 위치들에서 하나 이상의 기능들을 수행하기 위해 하나 이상의 컴퓨터들을 이용할 수 있다. 도 2는 개시된 방법들을 수행하기 위한 대표적인 동작 환경(1100)을 예시한 블록도이다. 이러한 대표적인 동작 환경(1100)은 단지 동작 환경의 예이며 동작 환경 아키텍처의 사용 또는 기능의 범위에 대한 임의의 제한을 제안하도록 의도되지 않는다. 동작 환경(1100)은 대표적인 동작 환경(1100)에서 예시된 구성요소들 중 임의의 하나 또는 그것의 조합에 관한 임의의 의존성 또는 요건을 갖는 것으로 해석되지 않아야 한다.
본 방법들 및 시스템들은 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경들 또는 구성들을 갖고 동작적일 수 있다. 시스템들 및 방법들과 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은, 이에 제한되지 않지만, 개인 컴퓨터들, 서버 컴퓨터들, 랩탑 디바이스들, 및 다중프로세서 시스템들을 포함한다. 부가적인 예들은 셋 탑 박스들, 프로그램 가능한 소비자 전자 장치들, 네트워크 PC들, 프로그램 가능한 로직 제어기들(PLC들), 미니컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산형 컴퓨팅 환경들 등을 포함한다.
개시된 방법들 및 시스템들의 프로세싱은 소프트웨어 구성요소들에 의해 수행될 수 있다. 개시된 시스템들 및 방법들은 하나 이상의 컴퓨터들 또는 다른 디바이스들에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터-실행 가능한 지시들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈들은 특정한 태스크들을 수행하거나 또는 특정한 추상 데이터 유형들을 구현하는 컴퓨터 코드, 루틴들, 프로그램들, 오브젝트들, 구성요소들, 데이터 구조들 등을 포함한다. 개시된 방법들은 또한 태스크들이 통신 네트워크를 통해 연결되는 원격 프로세싱 디바이스들에 의해 수행되는 그리드-기반 및 분산형 컴퓨팅 환경들에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함한 로컬 및/또는 원격 컴퓨터 저장 미디어에 위치될 수 있다.
뿐만 아니라, 이 기술분야의 숙련자는 여기에서 개시된 시스템들 및 방법들이 컴퓨터(1101)의 형태로 범용 컴퓨팅 디바이스를 통해 구현될 수 있다는 것을 이해할 것이다. 컴퓨터(1101)는 하나 이상의 프로세서들(1103), 시스템 메모리(1112), 및 하나 이상의 프로세서들(1103)을 포함한 컴퓨터(1101)의 다양한 구성요소들을 시스템 메모리(1112)에 결합하는 버스(1113)와 같은, 하나 이상의 구성요소들을 포함할 수 있다. 다수의 프로세서들(1103)의 경우에, 시스템은 병렬 컴퓨팅을 이용할 수 있다.
버스(1113)는 메모리 버스, 메모리 제어기, 주변 버스, 가속 그래픽 포트, 및 다양한 버스 아키텍처들 중 임의의 것을 사용한 프로세서 또는 로컬 버스와 같은, 여러 개의 가능한 유형들의 버스 구조들 중 하나 이상을 포함할 수 있다. 버스(1113), 및 이러한 설명에서 특정된 모든 버스들은 또한 유선 또는 무선 네트워크 연결을 통해 구현될 수 있다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독 가능한 미디어를 포함한다. 대표적인 판독 가능한 미디어는 컴퓨터(1101)에 의해 액세스 가능하며 예를 들면, 제한적이도록 의도되지 않지만, 휘발성 및 비-휘발성 미디어, 착탈 가능한 및 착탈 가능하지 않는 미디어 양쪽 모두를 포함하는 임의의 이용 가능한 미디어일 수 있다. 시스템 메모리(1112)는 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리, 및/또는 판독 전용 메모리(ROM)와 같은, 비-휘발성 메모리의 형태의 컴퓨터 판독 가능한 미디어를 포함할 수 있다. 시스템 메모리(1112)는 통상적으로 이미지 분석 데이터(1107)와 같은 데이터 및/또는 하나 이상의 프로세서들(1103)로 액세스 가능하며 및/또는 그것 상에서 동작되는 운영 시스템(1105) 및 이미지 분석 소프트웨어(1106)와 같은 프로그램 모듈을 포함할 수 있다.
또 다른 양상에서, 컴퓨터(1101)는 또한 다른 착탈 가능한/착탈 가능하지 않은, 휘발성/비-휘발성 컴퓨터 저장 미디어를 포함할 수 있다. 대용량 저장 디바이스(1104)는 컴퓨터(1101)에 대한 컴퓨터 코드, 컴퓨터 판독 가능한 지시들, 데이터 구조들, 프로그램 모듈들, 및 다른 데이터의 비-휘발성 저장을 제공할 수 있다. 예를 들면, 대용량 저장 디바이스(1104)는 하드 디스크, 착탈 가능한 자기 디스크, 착탈 가능한 광학 디스크, 자기 카세트들 또는 다른 자기 저장 디바이스들, 플래시 메모리 카드들, CD-ROM, 디지털 다용도 디스크들(DVD) 또는 다른 광학 저장 장치, 랜덤 액세스 메모리들(RAM), 판독 전용 메모리들(ROM), 전기적으로 삭제 가능한 프로그램 가능 판독-전용 메모리(EEPROM) 등일 수 있다.
선택적으로, 예로서, 운영 시스템(1105) 및 이미지 분석 소프트웨어(1106)를 포함한, 임의의 수의 프로그램 모듈들이 대용량 저장 디바이스(1104) 상에 저장될 수 있다. 운영 시스템(1105) 및 이미지 분석 소프트웨어(1106)(또는 그것의 몇몇 조합) 중 하나 이상은 프로그래밍 및 이미지 분석 소프트웨어(1106)의 요소들을 포함할 수 있다. 이미지 분석 데이터(1107)는 또한 대용량 저장 디바이스(1104) 상에 저장될 수 있다. 이미지 분석 데이터(1107)는 이 기술분야에 알려진 하나 이상의 데이터베이스들 중 임의의 것에 저장될 수 있다. 이러한 데이터베이스들의 예들은 DB2®, Microsoft® Access, Microsoft® SQL 서버, Oracle®, mySQL, PostgreSQL 등을 포함한다. 데이터베이스들은 네트워크(1115) 내에서 다수의 위치들에 걸쳐 집중되거나 또는 분산될 수 있다.
또 다른 양상에서, 사용자는 입력 디바이스(도시되지 않음)를 통해 컴퓨터(1101)로 명령들 및 정보를 입력할 수 있다. 이러한 입력 디바이스들의 예들은, 이에 제한되지 않지만, 키보드, 포인팅 디바이스(예로서, 컴퓨터 마우스, 원격 제어), 마이크로폰, 조이스틱, 스캐너, 터치스크린과 같은 터치-가능 디바이스들, 글러브들 및 다른 신체 덮개들과 같은 촉각 입력 디바이스들, 모션 센서들 등을 포함한다. 이들 및 다른 입력 디바이스들은 버스(1113)에 결합되는 인간 기계 인터페이스(1102)를 통해 하나 이상의 프로세서들(1103)에 연결될 수 있지만, 이에 제한되지 않고, 병렬 포트, 게임 포트, IEEE 1394 포트(파이어와이어 포트로서 또한 알려진), 직렬 포트, 네트워크 어댑터(1108), 및/또는 범용 직렬 버스(USB)와 같은, 다른 인터페이스 및 버스 구조들에 의해 연결될 수 있다.
또 다른 양상에서, 디스플레이 디바이스(1111)는 또한 디스플레이 어댑터(1109)와 같은, 인터페이스를 통해 버스(1113)에 연결될 수 있다. 컴퓨터(1101)는 하나 이상의 디스플레이 어댑터(1109)를 가질 수 있으며 컴퓨터(1101)는 하나 이상의 디스플레이 디바이스(1111)를 가질 수 있다는 것이 고려된다. 예를 들면, 디스플레이 디바이스(1111)는 모니터, LCD(액정 디스플레이), 발광 다이오드(LED) 디스플레이, 텔레비전, 스마트 렌즈, 스마트 안경, 및/또는 프로젝터일 수 있다. 디스플레이 디바이스(1111) 외에, 다른 출력 주변 디바이스들은 입력/출력 인터페이스(1110)를 통해 컴퓨터(1101)에 연결될 수 있는 스피커들(도시되지 않음) 및 프린터(도시되지 않음)와 같은 구성요소들을 포함할 수 있다. 방법들의 임의의 단계 및/또는 결과는 임의의 형태로 출력 디바이스로 출력될 수 있다. 이러한 출력은, 이에 제한되지 않지만, 텍스트, 그래픽, 애니메이션, 오디오, 촉각 등을 포함한, 임의의 형태의 시각적 표현일 수 있다. 디스플레이(1111) 및 컴퓨터(1101)는 하나의 디바이스의 부분, 또는 별개의 디바이스들일 수 있다.
양상에서, 컴퓨터(1101)는 입력/출력 인터페이스(1110)를 통해 시스템(100)에 결합될 수 있다. 컴퓨터(1101)는 데이터를 모니터링하고 저장하도록 구성될 수 있다. 컴퓨터(1101)는 시스템(100)에 연결된 카메라들에 의해 획득된 이미지들을 저장하고, 시스템-생성 검사들 동안 생성된 통과/실패 통계들에 관련된 데이터를 저장하는 등을 위해 구성될 수 있다. 컴퓨터(1101)는 또한 맞춤화된 펌웨어가 동작하도록 요구하는 하나 이상의 스마트 디바이스들(예로서, 스마트 카메라들) 및/또는 내장된 로직 제어기들에 대한 프로그래밍 인터페이스로서 사용될 수 있다. 컴퓨터(1101)는 이러한 소프트웨어 또는 펌웨어의 반복들을 생성하고, 분석 해결하고, 업로드하며, 저장하기 위해 사용될 수 있다.
컴퓨터(1101)는 하나 이상의 원격 컴퓨팅 디바이스들(1114a, 1114b, 1114c)로의 논리적 연결들을 사용하여 네트워킹 환경에서 동작할 수 있다. 예로서, 원격 컴퓨팅 디바이스(1114a, 1114b, 1114c)는 개인 컴퓨터, 컴퓨팅 스테이션(예로서, 워크스테이션), 휴대용 컴퓨터(예로서, 랩탑, 이동 전화, 태블릿 디바이스), 스마트 디바이스(예로서, 스마트폰, 스마트 워치, 활동 추적기, 스마트 의류, 스마트 액세서리), 보안 및/또는 모니터링 디바이스, 서버, 라우터, 네트워크 컴퓨터, 피어 디바이스, 에지 디바이스 또는 다른 공통 네트워크 노드 등일 수 있다. 컴퓨터(1101) 및 원격 컴퓨팅 디바이스(1114a, 1114b, 1114c) 사이에서의 논리적 연결들은 근거리 네트워크(LAN) 및/또는 일반 광역 네트워크(WAN)와 같은 네트워크(1115)를 통해 이루어질 수 있다. 이러한 네트워크 연결들은 네트워크 어댑터(1108)를 통할 수 있다. 네트워크 어댑터(1108)는 유선 및 무선 환경들 양쪽 모두에서 구현될 수 있다. 이러한 네트워킹 환경들은 주거지들, 사무실들, 전-기업 컴퓨터 네트워크들, 인트라넷들, 및 인터넷에서 관습적이며 아주 흔하다. 양상에서, 네트워크 어댑터(1108)는 하나 이상의 연결된 디바이스들(예로서, 카메라)에 전력을 제공하도록 구성될 수 있다. 예를 들면, 네트워크 어댑터(1108)는 PoE(Power-over-Ethernet) 표준 등을 고수할 수 있다.
예시의 목적들을 위해, 애플리케이션 프로그램들 및 운영 시스템(1105)과 같은 다른 실행 가능한 프로그램 구성요소들이 여기에서 별개의 블록들로서 예시되지만, 이러한 프로그램들 및 구성요소들은 컴퓨팅 디바이스(1101)의 상이한 저장 구성요소들에서 다양한 시간들에서 존재할 수 있으며, 컴퓨터(1101)의 하나 이상의 프로세서들(1103)에 의해 실행된다는 것이 인식된다. 이미지 분석 소프트웨어(1106)의 구현은 몇몇 형태의 컴퓨터 판독 가능한 미디어 상에 저장되거나 또는 그것에 걸쳐 송신될 수 있다. 개시된 방법들 중 임의의 것은 컴퓨터 판독 가능한 미디어 상에 구체화된 컴퓨터 판독 가능한 지시들에 의해 수행될 수 있다. 컴퓨터 판독 가능한 미디어는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 미디어일 수 있다. 제한적이도록 의도되는 것이 아닌 예로서, 컴퓨터 판독 가능한 미디어는 "컴퓨터 저장 미디어" 및 "통신 미디어"를 포함할 수 있다. "컴퓨터 저장 미디어"는 컴퓨터 판독 가능한 지시들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법들 또는 기술로 구현된 휘발성 및 비-휘발성, 착탈 가능한 및 착탈 가능하지 않은 미디어를 포함할 수 있다. 대표적인 컴퓨터 저장 미디어는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크들(DVD) 또는 다른 광학 저장 장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다.
방법들 및 시스템들은 기계 학습 및 반복 학습과 같은 인공 지능(AI) 기술들을 이용할 수 있다. 이러한 기술들의 예들은, 이에 제한되지 않지만, 전문가 시스템들, 사례 기반 추론, 베이즈(Bayesian) 네트워크들, 거동 기반 AI, 신경망들, 퍼지 시스템들, 진화 연산(예로서, 유전 알고리즘들), 군집 지능(예로서, 개미 알고리즘들), 및 하이브리드 지능 시스템들(예로서, 통계적 학습으로부터 제품 규칙들 또는 신경망을 통해 생성된 전문가 추론 규칙들)을 포함한다.
개시된 방법들 및 시스템들이 구현되고 테스트되며, 결과들이 표준 수동-전용, 조작자-구동 조립 라인 프로세스와 비교된다. 다음의 표는 개시된 방법들 및 시스템들이 표준 수동-전용, 조작자-구동 조립 라인 프로세스를 능가한다는 것을 나타낸다:
방법들 및 시스템들은 바람직한 실시예들 및 특정 예들과 관련되어 설명되었지만, 여기에서의 실시예가 모든 면들에서 제한적이기보다는 예시적이도록 의도됨에 따라, 범위는 제시된 특정한 실시예들에 제한되도록 의도되지 않는다.
달리 명확하게 서술되지 않는다면, 여기에서 제시된 임의의 방법은 결코 그것의 단계들이 특정 순서로 수행되는 것을 요구하는 것으로 해석되도록 의도되지 않는다. 따라서, 방법 청구항은 실제로 그것의 단계들로 이어지는 것을 순서를 나열하지 않거나 또는 그 외 청구항들 또는 설명들에서 단계들이 특정 순서에 제한된다고 구체적으로 서술되지 않는 경우에, 임의의 면에서 결코 순서가 추론되도록 의도되지 않는다. 이것은: 단계들의 배열 또는 동작 흐름에 대한 로직의 문제들; 문법적 구성 또는 구두법으로부터 도출된 분명한 의미; 명세서에서 설명된 실시예들의 수 또는 유형을 포함하여, 해석을 위한 임의의 가능한 분명하지 않은 기초에 대해 유효하다.
다양한 수정들 및 변화들이 범위 또는 사상으로부터 벗어나지 않고 이루어질 수 있다는 것이 이 기술분야의 숙련자들에게 명백할 것이다. 다른 실시예들은 여기에서 개시된 명세서 및 실시의 고려사항으로부터 이 기술분야의 숙련자들에게 명백할 것이다. 명세서 및 예들은 단지 대표적인 것으로 고려되도록 의도되며, 실제 범위 및 사상은 다음의 청구항들에 의해 나타내어진다.
100: 시스템 101: 컨베이어 벨트
102: 클리트 104 오브젝트
105: 스텝퍼 모터 106, 107, 108: 카메라
109, 110, 111: 시야 112: PLC
113: 통과/실패 제어기 114, 115, 116: 모니터
201: 트레이 301, 302: 아이템
402: 아이템 501: 아이템
701, 702: 아이템 901: 하우징
902: 분배기 903: E-정지 버튼
904: 옵토스위치 905: 키 스위치 메커니즘
1101: 컴퓨터 1102: 인간 기계 인터페이스
1103: 프로세서 1104: 대용량 저장 디바이스
1105: 운영 시스템 1106: 이미지 분석 소프트웨어
1107: 이미지 분석 데이터 1108: 네트워크 어댑터
1109: 디스플레이 어댑터 1110: 입력/출력 인터페이스
1111: 디스플레이 디바이스 1112: 시스템 메모리
1113: 버스 1114a-c: 원격 컴퓨팅 디바이스
1115: 네트워크
102: 클리트 104 오브젝트
105: 스텝퍼 모터 106, 107, 108: 카메라
109, 110, 111: 시야 112: PLC
113: 통과/실패 제어기 114, 115, 116: 모니터
201: 트레이 301, 302: 아이템
402: 아이템 501: 아이템
701, 702: 아이템 901: 하우징
902: 분배기 903: E-정지 버튼
904: 옵토스위치 905: 키 스위치 메커니즘
1101: 컴퓨터 1102: 인간 기계 인터페이스
1103: 프로세서 1104: 대용량 저장 디바이스
1105: 운영 시스템 1106: 이미지 분석 소프트웨어
1107: 이미지 분석 데이터 1108: 네트워크 어댑터
1109: 디스플레이 어댑터 1110: 입력/출력 인터페이스
1111: 디스플레이 디바이스 1112: 시스템 메모리
1113: 버스 1114a-c: 원격 컴퓨팅 디바이스
1115: 네트워크
Claims (23)
- 시스템에 있어서:
벨트;
복수의 이미저들로서, 각각이:
각각의 시야의 이미지를 획득하고,
각각의 시야 내의 하나 이상의 아이템들의 수량 및/또는 방향을 결정하기 위해 상기 이미지를 분석하고,
각각의 시야 내의 상기 하나 이상의 아이템들의 상기 수량 및/또는 방향에 기초하여, 통과 검사 신호 또는 실패 검사 신호를 생성하도록 구성된, 상기 복수의 이미저들; 및
상기 복수의 이미저들의 각각에 결합된 프로세서로서,
상기 통과 검사 신호 또는 상기 실패 검사 신호를 수신하고,
상기 복수의 이미저들의 각각으로부터 통과 검사 신호를 수신하는 것에 기초하여 상기 벨트를 전진시키도록 구성된, 상기 프로세서를 포함하고,
상기 하나 이상의 아이템들은 하나 이상의 제 1 패턴들을 포함하고,
상기 하나 이상의 아이템들의 수량 및/또는 방향을 결정하기 위해, 상기 복수의 이미저들 중 적어도 하나는 또한:
각각의 시야 내의 상기 하나 이상의 제 1 패턴들 중 두 개의 존재를 결정하고;
상기 하나 이상의 제 1 패턴들 중 상기 두 개가 각각의 시야 내의 동일한 축 상에 정렬되어 있지 않다고 결정하도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 하나 이상의 제 1 패턴들은 텍스트 패턴들, 수치 패턴들, 심볼 패턴들 또는 그것의 조합들을 포함하는, 시스템. - 제 1 항에 있어서,
상기 복수의 이미저들 중 적어도 하나는 또한:
각각의 시야 내의 클리트(cleat)의 위치를 결정하고;
각각의 시야 내의 상기 클리트의 상기 결정된 위치를 기준 위치와 비교하고;
상기 결정된 위치가 상기 기준 위치와 상이하다고 결정하고;
상기 결정된 위치 및 상기 기준 위치 사이의 차이에 기초하여 오프셋을 결정하고;
상기 오프셋만큼 상기 벨트를 이동시키도록 거리를 조정하기 위해 상기 프로세서로 신호를 송신하도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 복수의 이미저들 중 적어도 하나는 또한 빈 트레이 위치들의 수를 카운트하도록 구성되는, 시스템 - 제 1 항에 있어서,
상기 복수의 이미저들 중 적어도 하나는 또한 상기 이미지에서 상기 하나 이상의 제 1 패턴들이 무 트레이(no tray) 패턴을 포함한다고 결정하도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 프로세서는 상기 복수의 이미저들의 각각으로부터 통과 검사 신호를 수신한 후에만 상기 벨트를 전진시키도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 복수의 이미저들의 각각은 상기 벨트가 고정되어 있는 동안 결정된 상기 하나 이상의 아이템들의 수량 및/또는 방향에 기초하여 통과 검사 신호 또는 실패 검사 신호를 발생시키도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 복수의 이미저들의 각각의 상기 시야는 임의의 주어진 시간에 임의의 서로 다른 시야에 존재하는 것과 상이한 상기 벨트의 부분들을 포함하는, 시스템. - 제 3 항에 있어서:
상기 벨트는 서로 이격된 복수의 클리트들을 포함하고;
각각의 클리트의 길이는 상기 벨트의 길이에 실질적으로 수직이고;
상기 시야들 중 하나 이상은 상기 복수의 클리트들의 인접한 클리트들 사이에 위치되는, 시스템. - 제 2 항에 있어서,
상기 이미저들 중 적어도 하나는:
상기 텍스트 패턴들, 수치 패턴들, 심볼 패턴들, 또는 그것의 조합들의 다수의 인스턴스들이 동일한 축을 따라 정렬되는지 여부를 결정하고,
상기 결정에 기초하여 상기 통과 검사 신호 또는 실패 검사 신호를 발생시키도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 하나 이상의 아이템들은 하나 이상의 주사기들, 주사기 바늘들, 또는 자동 주입기들 중 하나 이상을 포함하는, 시스템. - 방법에 있어서:
복수의 이미저들의 각각으로, 트레이의 제 1 이미지를 획득하는 단계;
상기 복수의 이미저들의 각각에 대해, 상기 제 1 이미지에서 하나 이상의 제 1 패턴들의 수량 및/또는 방향을 결정하는 단계;
상기 복수의 이미저들의 각각에 대해, 상기 제 1 이미지에서 상기 하나 이상의 패턴들의 상기 결정된 수량 및 방향을 상기 하나 이상의 제 1 패턴들의 예상된 수량 및 방향과 비교하는 단계;
상기 복수의 이미저들의 각각에 대해, 상기 비교에 기초하여 통과 신호 또는 실패 신호를 발생시키는 단계; 및
상기 복수의 이미저들의 각각에 대해 통과 신호를 수신할 때만 상기 하나 이상의 제 1 패턴들을 갖는 아이템들을 포함하는 벨트를 전진시키는 단계를 포함하고,
상기 하나 이상의 제 1 패턴들의 수량 및/또는 방향을 결정하는 단계는:
각각의 시야 내의 상기 하나 이상의 제 1 패턴들 중 두 개의 존재를 결정하는 단계; 및
상기 하나 이상의 제 1 패턴들 중 상기 두 개가 각각의 시야 내의 동일한 축 상에 정렬되어 있지 않다고 결정하는 단계를 더 포함하는, 방법. - 제 12 항에 있어서,
상기 하나 이상의 제 1 패턴들은 텍스트 패턴들, 수치 패턴들, 심볼 패턴들 또는 그것의 조합들을 포함하는, 방법. - 제 12 항에 있어서,
상기 하나 이상의 제 1 패턴들은 하나 이상의 주사기들, 주사기 바늘들, 또는 자동 주입기들 중 하나 이상에 위치되는, 방법. - 제 12 항에 있어서,
상기 트레이의 제 1 이미지를 획득하는 단계는:
상기 복수의 이미저들의 각각에 대해, 각각의 시야 내의 클리트의 위치를 결정하는 단계;
상기 복수의 이미저들의 각각에 대해, 각각의 시야 내의 상기 클리트의 상기 결정된 위치를 기준 위치와 비교하는 단계;
상기 복수의 이미저들의 각각에 대해, 상기 결정된 위치가 상기 기준 위치와 상이하다고 결정하는 단계;
상기 복수의 이미저들의 각각에 대해, 상기 결정된 위치 및 상기 기준 위치 사이의 차이에 기초하여 오프셋을 결정하는 단계; 및
상기 복수의 이미저들의 각각에 대해, 상기 오프셋만큼 상기 벨트를 이동시키도록 거리를 조정하기 위해 프로세서로 신호를 송신하는 단계를 더 포함하는, 방법. - 제 12 항에 있어서,
상기 트레이의 제 1 이미지를 획득하는 단계 후, 상기 복수의 이미저들의 각각에 대해, 빈 트레이 위치들의 수를 카운트하는 단계를 더 포함하는, 방법. - 제 12 항에 있어서,
상기 제 1 이미지에서 하나 이상의 제 1 패턴들의 수량 및/또는 방향을 결정하는 단계는:
상기 복수의 이미저들의 각각에 대해, 상기 이미지에서 상기 하나 이상의 제 1 패턴들이 무 트레이 패턴을 포함한다고 결정하는 단계를 더 포함하는, 방법. - 제 12 항에 있어서,
상기 하나 이상의 제 1 패턴들의 수량 및/또는 방향을 결정하는 단계는:
상기 벨트가 고정되어 있는 동안 상기 제 1 이미지에서 상기 하나 이상의 제 1 패턴들의 수량 및/또는 방향을 결정하는 단계를 포함하는, 방법. - 제 13 항에 있어서,
상기 복수의 이미저들의 각각에 대해, 상기 텍스트 패턴들, 수치 패턴들, 심볼 패턴들, 또는 그것의 조합들의 다수의 인스턴스들이 동일한 축을 따라 정렬되는지 여부를 결정하는 단계; 및
상기 결정에 기초하여 상기 통과 검사 신호 또는 실패 검사 신호를 발생시키는 단계를 더 포함하는, 방법. - 제 15 항에 있어서,
상기 각각의 시야 내의 클리트의 위치를 결정하는 단계는:
서로 이격된 복수의 클리트들로부터, 시야 내의 클리트의 위치를 결정하는 단계를 포함하고;
각각의 클리트의 길이는 상기 벨트의 길이에 실질적으로 수직이고;
상기 시야는 상기 복수의 클리트들의 인접한 클리트들 사이에 위치되는, 방법. - 제 6 항에 있어서,
상기 프로세서는 다른 통과 신호를 수신할 때까지 상기 벨트의 이동을 금지하도록 구성되는, 시스템. - 제 21 항에 있어서,
상기 프로세서는 상기 벨트의 이동이 금지될 때 조작자에게 통지하도록 구성되는, 시스템. - 제 18 항에 있어서,
상기 벨트는 실패 신호가 수신될 때 이동이 금지되고 상기 복수의 이미저들의 각각으로부터 통과 신호를 수신할 때까지 정지 상태로 유지되는, 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247000507A KR20240010084A (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662368438P | 2016-07-29 | 2016-07-29 | |
| US62/368,438 | 2016-07-29 | ||
| PCT/US2017/043595 WO2018022546A1 (en) | 2016-07-29 | 2017-07-25 | Assembly line with integrated electronic visual inspection |
| KR1020197002693A KR102489691B1 (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197002693A Division KR102489691B1 (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247000507A Division KR20240010084A (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220107314A KR20220107314A (ko) | 2022-08-02 |
| KR102623162B1 true KR102623162B1 (ko) | 2024-01-11 |
Family
ID=59700164
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197002693A KR102489691B1 (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
| KR1020247000507A KR20240010084A (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
| KR1020227024864A KR102623162B1 (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197002693A KR102489691B1 (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
| KR1020247000507A KR20240010084A (ko) | 2016-07-29 | 2017-07-25 | 통합된 전자 시각적 검사를 가진 조립 라인 |
Country Status (14)
| Country | Link |
|---|---|
| US (3) | US10991089B2 (ko) |
| EP (1) | EP3491559A1 (ko) |
| JP (3) | JP7025403B2 (ko) |
| KR (3) | KR102489691B1 (ko) |
| CN (7) | CN117593361A (ko) |
| AU (3) | AU2017301504B2 (ko) |
| BR (2) | BR112019000778A8 (ko) |
| CA (1) | CA3030472A1 (ko) |
| EA (2) | EA202191535A3 (ko) |
| IL (3) | IL307227A (ko) |
| MX (1) | MX2019000775A (ko) |
| MY (1) | MY195228A (ko) |
| SG (1) | SG11201900192VA (ko) |
| WO (1) | WO2018022546A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3030472A1 (en) * | 2016-07-29 | 2018-02-01 | Regeneron Pharmaceuticals, Inc. | Assembly line with integrated electronic visual inspection |
| US11042953B1 (en) * | 2019-12-23 | 2021-06-22 | Shopify Inc. | Methods and systems for detecting errors in kit assembly |
| US11481857B2 (en) | 2019-12-23 | 2022-10-25 | Shopify Inc. | Methods and systems for generating a product packaging model |
| CA3121972A1 (en) * | 2020-06-11 | 2021-12-11 | Interaptix Inc. | Systems, devices, and methods for quality control and inspection of parts and assemblies |
| US11937019B2 (en) | 2021-06-07 | 2024-03-19 | Elementary Robotics, Inc. | Intelligent quality assurance and inspection device having multiple camera modules |
| CN113988666B (zh) * | 2021-11-01 | 2022-08-09 | 常州天晟紫金自动化设备有限公司 | 一种有机硅混炼胶智能定量包装方法及系统 |
| US11605159B1 (en) | 2021-11-03 | 2023-03-14 | Elementary Robotics, Inc. | Computationally efficient quality assurance inspection processes using machine learning |
| US11675345B2 (en) | 2021-11-10 | 2023-06-13 | Elementary Robotics, Inc. | Cloud-based multi-camera quality assurance architecture |
| US11605216B1 (en) | 2022-02-10 | 2023-03-14 | Elementary Robotics, Inc. | Intelligent automated image clustering for quality assurance |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015093A (ja) * | 2014-07-03 | 2016-01-28 | アレイ株式会社 | 錠剤識別装置およびその方法、並びに、分包錠剤監査装置 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08322912A (ja) * | 1995-05-30 | 1996-12-10 | Sanyo Electric Co Ltd | 錠剤検査システム |
| US7306799B2 (en) | 1999-06-08 | 2007-12-11 | Regeneron Pharmaceuticals, Inc. | Use of VEGF inhibitors for treatment of eye disorders |
| US7087411B2 (en) | 1999-06-08 | 2006-08-08 | Regeneron Pharmaceuticals, Inc. | Fusion protein capable of binding VEGF |
| US7070959B1 (en) | 1999-06-08 | 2006-07-04 | Regeneron Pharmaceuticals, Inc. | Modified chimeric polypeptides with improved pharmacokinetic properties |
| US7303746B2 (en) | 1999-06-08 | 2007-12-04 | Regeneron Pharmaceuticals, Inc. | Methods of treating eye disorders with modified chimeric polypeptides |
| US7028723B1 (en) * | 2003-11-03 | 2006-04-18 | Alouani Ali Tahar | Apparatus and method for automatic prescription verification |
| US9238518B2 (en) | 2004-10-01 | 2016-01-19 | Edge Medical Properties, Llc | Inspection system and method with a control process that inspects different medications |
| US8121392B2 (en) * | 2004-10-25 | 2012-02-21 | Parata Systems, Llc | Embedded imaging and control system |
| EP1877438A2 (en) | 2005-02-02 | 2008-01-16 | Regeneron Pharmaceuticals, Inc. | Method of treating eye injury with local administration of a vegf inhibitor |
| US20070194034A1 (en) * | 2006-02-17 | 2007-08-23 | Vasilios Vasiadis | Device for printing pills, tablets or caplets in a precise manner |
| ES2406764T3 (es) | 2006-06-16 | 2013-06-10 | Regeneron Pharmaceuticals, Inc. | Formulaciones que comprenden antagonistas de VEGF para administración intravítrea |
| US9147326B2 (en) * | 2008-01-18 | 2015-09-29 | Sensors Incorporated | Encoder based speed compensated reject system and method |
| WO2010008846A2 (en) * | 2008-06-23 | 2010-01-21 | John Richard Dein | Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges |
| US7881426B2 (en) * | 2009-02-26 | 2011-02-01 | Morpho Detection, Inc. | Method and system for performing a scan of an object |
| WO2011106900A1 (en) | 2010-03-05 | 2011-09-09 | Poirier Frederic | Verification system for prescription packaging and method |
| JP2012000440A (ja) | 2010-05-18 | 2012-01-05 | Kansai Seiki Kogyo Kk | 分包薬剤監査装置 |
| WO2012104681A1 (en) | 2011-02-03 | 2012-08-09 | Swisslog Italia S.P.A. | System and method for packaged medicament inspection |
| KR101899269B1 (ko) * | 2011-04-28 | 2018-10-29 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제 감사 장치 및 약제 분포 장치 |
| DE102011082266B4 (de) * | 2011-09-07 | 2015-08-27 | Siemens Aktiengesellschaft | Abbilden eines Teilbereichs am Rand des Gesichtsfeldes eines Untersuchungsobjekts in einer Magnetresonanzanlage |
| JP6009888B2 (ja) | 2012-09-27 | 2016-10-19 | 富士フイルム株式会社 | 薬剤検査装置及び方法 |
| JP5696822B1 (ja) | 2013-07-01 | 2015-04-08 | 株式会社湯山製作所 | 混注管理装置、混注装置、混注管理プログラム |
| US9646369B2 (en) * | 2014-03-11 | 2017-05-09 | United Parcel Service Of America, Inc. | Concepts for sorting items using a display |
| US20170305589A1 (en) | 2014-09-25 | 2017-10-26 | Yuyama Mfg. Co., Ltd. | Inspection assistance system and tablet packaging device |
| KR102322987B1 (ko) * | 2015-06-26 | 2021-11-09 | (주)제이브이엠 | 약포 검사 장치 및 약포 검사 방법 |
| CA3030472A1 (en) * | 2016-07-29 | 2018-02-01 | Regeneron Pharmaceuticals, Inc. | Assembly line with integrated electronic visual inspection |
-
2017
- 2017-07-25 CA CA3030472A patent/CA3030472A1/en active Pending
- 2017-07-25 KR KR1020197002693A patent/KR102489691B1/ko active IP Right Grant
- 2017-07-25 IL IL307227A patent/IL307227A/en unknown
- 2017-07-25 EP EP17757586.7A patent/EP3491559A1/en active Pending
- 2017-07-25 KR KR1020247000507A patent/KR20240010084A/ko active Application Filing
- 2017-07-25 CN CN202311395475.0A patent/CN117593361A/zh active Pending
- 2017-07-25 JP JP2019503713A patent/JP7025403B2/ja active Active
- 2017-07-25 US US16/317,039 patent/US10991089B2/en active Active
- 2017-07-25 CN CN202311393583.4A patent/CN117593359A/zh active Pending
- 2017-07-25 MY MYPI2019000330A patent/MY195228A/en unknown
- 2017-07-25 CN CN202311393655.5A patent/CN117593360A/zh active Pending
- 2017-07-25 EA EA202191535A patent/EA202191535A3/ru unknown
- 2017-07-25 SG SG11201900192VA patent/SG11201900192VA/en unknown
- 2017-07-25 KR KR1020227024864A patent/KR102623162B1/ko active IP Right Grant
- 2017-07-25 IL IL290640A patent/IL290640B2/en unknown
- 2017-07-25 BR BR112019000778A patent/BR112019000778A8/pt unknown
- 2017-07-25 CN CN202311399873.XA patent/CN117611662A/zh active Pending
- 2017-07-25 CN CN202311396037.6A patent/CN117593362A/zh active Pending
- 2017-07-25 CN CN202311396273.8A patent/CN117593363A/zh active Pending
- 2017-07-25 AU AU2017301504A patent/AU2017301504B2/en active Active
- 2017-07-25 CN CN201780046473.7A patent/CN109496337B/zh active Active
- 2017-07-25 BR BR122020014835A patent/BR122020014835A8/pt unknown
- 2017-07-25 EA EA201990398A patent/EA038729B1/ru unknown
- 2017-07-25 WO PCT/US2017/043595 patent/WO2018022546A1/en active Application Filing
- 2017-07-25 MX MX2019000775A patent/MX2019000775A/es unknown
-
2019
- 2019-01-13 IL IL264229A patent/IL264229B/en unknown
-
2021
- 2021-03-26 US US17/214,402 patent/US11823371B2/en active Active
-
2022
- 2022-02-10 JP JP2022019582A patent/JP7288105B2/ja active Active
- 2022-08-10 AU AU2022215211A patent/AU2022215211B2/en active Active
-
2023
- 2023-05-25 JP JP2023086206A patent/JP7479545B2/ja active Active
- 2023-10-12 US US18/485,977 patent/US20240037729A1/en active Pending
-
2024
- 2024-01-25 AU AU2024200475A patent/AU2024200475A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015093A (ja) * | 2014-07-03 | 2016-01-28 | アレイ株式会社 | 錠剤識別装置およびその方法、並びに、分包錠剤監査装置 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102623162B1 (ko) | 통합된 전자 시각적 검사를 가진 조립 라인 | |
| US11763448B2 (en) | System and method for preparing a pharmaceutical compound | |
| EA046107B1 (ru) | Сборочная линия со встроенным электронным визуальным контролем |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |