JP7374611B2 - 撮像システム - Google Patents
撮像システム Download PDFInfo
- Publication number
- JP7374611B2 JP7374611B2 JP2019092304A JP2019092304A JP7374611B2 JP 7374611 B2 JP7374611 B2 JP 7374611B2 JP 2019092304 A JP2019092304 A JP 2019092304A JP 2019092304 A JP2019092304 A JP 2019092304A JP 7374611 B2 JP7374611 B2 JP 7374611B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image data
- imaging
- processing device
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 145
- 238000012545 processing Methods 0.000 claims description 115
- 230000015654 memory Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 20
- 230000007547 defect Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図1(A)は、本実施形態に係る撮像システムの基本的構成を示したものである。本実施形態では、検査システムを対象としている。本撮像システムは、3つのユニットを有する。具体的には、撮像装置121と処理装置131により、第1のユニット181が構成され、撮像装置122と処理装置132により、第2のユニット182が構成され、撮像装置123と処理装置133により、第3のユニット183が構成されている。以下、図3に示す処理フローとともに、図1に示す検査システムを説明する。
図1(B)は、撮像装置121~123のそれぞれが有する機能をブロックで表示したものである。図1(B)では、撮像装置121を例として示している。撮像装置は、レンズ部191と、撮像素子192と、撮像素子から出力される信号を処理する信号処理部193と、信号処理部により生成された画像データを出力する出力部194を有する。撮像装置121~123のそれぞれには、撮影トリガ信号の入力部195が設けられており、撮影トリガ信号が入力されると、撮像装置121~123は撮影を開始する。
センサ100は、例えば、生産ライン上で高速で移動するワークを検知するためのセンサであり、例えば赤外線センサである。センサ100により、撮像装置121に接近したワークが検知されると、センサ100からトリガ生成回路110に対して信号が出力される(図3:ステップ310)。
撮像装置121(第1の撮像装置)から出力された画像データは、第1の処理装置131に入力されてデータの処理がされる。同様に、撮像装置122(第2の撮像装置)から出力された画像データは、第2の処理装置132に入力され、撮像装置123(第3の撮像装置)から出力された画像データは、第3の処理装置133に入力されてデータ処理がされる。
図2(A)は、生産ラインにおける撮像装置121~123の配置例を示したものである。撮像装置121~123の撮像可能範囲(視野)240は、それぞれが重複領域を有する。
図4は、処理装置131~133のGPU150で行われるワークの欠陥判定を行うAIを説明するための図である。
上記第1の実施形態では、ワークの欠陥の有無を判定する撮像システムを説明した。他方、本実施形態では、監視システムに適用可能な撮像システムである。以下、図5および図6を用いて説明する。なお、図5において、図1と同じ符号を示したブロックは同じ機能を果たすブロックである。
図1では、1つの撮像装置に対して1つの処理装置が設けられているが、3つの撮像装置に対して1つまたは2つの処理装置を設ける形態でも構わない。もっとも、1つの撮像装置に対して1つの処理装置が設けた方が、信号処理速度を遅延させることがないため、好ましい。
110 トリガ生成回路
121、122、123 撮像装置
131、132、133 処理装置
140 CPU
150 GPU
Claims (9)
- トリガ生成回路からの第1のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第1の撮像装置と、前記第1のトリガ信号の入力に基づき前記第1の撮像装置で撮影された第1の画像データを保持する第1のメモリと、前記第1の画像データが保持された前記第1のメモリにアクセスして、前記第1の画像データに含まれる対象の認識処理を行う第1の処理装置と、を有する第1のユニットと、
前記トリガ生成回路からの第2のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第2の撮像装置と、前記第2のトリガ信号の入力に基づき前記第2の撮像装置で撮影された第2の画像データを保持する第2のメモリと、前記第2の画像データが保持された前記第2のメモリにアクセスして、前記第2の画像データに含まれる対象の認識処理を行う第2の処理装置と、を有する第2のユニットと、を有し、
前記第1のトリガ信号と前記第2のトリガ信号は、前記第1の撮像装置および前記第2の撮像装置で同時刻に撮影を開始するために生成された信号であり、
前記第2の処理装置は、前記認識処理の結果を前記第1の処理装置に出力し、
前記第1の処理装置は、前記第1の処理装置による前記認識処理の結果の情報と、前記第2の処理装置による前記認識処理の結果の情報を統合した統合情報を生成し、
前記第1の処理装置は、前記統合情報を出力することを特徴とする撮像システム。 - 前記第1のメモリは、前記第1の処理装置が有し、
前記第2のメモリは、前記第2の処理装置が有することを特徴とする請求項1に記載の撮像システム。 - 前記第1の処理装置は、第1のGPUを有し、
前記第2の処理装置は、第2のGPUを有し、
前記第1のGPUにより、前記第1の画像データに含まれる対象の認識処理を行い、
前記第2のGPUにより、前記第2の画像データに含まれる対象の認識処理を行うことを特徴とする請求項1または2に記載の撮像システム。 - 前記第1の処理装置は、CPUを有し、
前記統合情報の生成は、前記CPUにより行われることを特徴とする請求項3に記載の撮像システム。 - 前記第1の撮像装置の撮像可能範囲と、前記第2の撮像装置の撮像可能範囲が重複するように、前記第1の撮像装置と前記第2の撮像装置が設けられていることを特徴とする請求項1から4のいずれか1項に記載の撮像システム。
- 前記第1の画像データと前記第2の画像データは同時刻に撮影された画像データであることを特徴とする請求項1から5のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記対象に欠陥が含まれるか否かを判定する処理であることを特徴とする請求項1から6のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記対象に不審者が含まれるか否かを判定する処理であることを特徴とする請求項1から6のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記第1の画像データに含まれる前記対象の数と、前記第2の画像データに含まれる前記対象の数をカウントすることを特徴とする請求項1から6のいずれか1項に記載の撮像システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092304A JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
PCT/JP2020/018773 WO2020230750A1 (ja) | 2019-05-15 | 2020-05-11 | 撮像システム |
US17/524,370 US20220067917A1 (en) | 2019-05-15 | 2021-11-11 | Imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092304A JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020188385A JP2020188385A (ja) | 2020-11-19 |
JP2020188385A5 JP2020188385A5 (ja) | 2022-05-11 |
JP7374611B2 true JP7374611B2 (ja) | 2023-11-07 |
Family
ID=73222144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019092304A Active JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220067917A1 (ja) |
JP (1) | JP7374611B2 (ja) |
WO (1) | WO2020230750A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7332904B2 (ja) * | 2020-11-12 | 2023-08-24 | サミー株式会社 | ぱちんこ遊技機 |
JP7332898B2 (ja) * | 2020-11-12 | 2023-08-24 | サミー株式会社 | ぱちんこ遊技機 |
JP7332903B2 (ja) * | 2020-11-12 | 2023-08-24 | サミー株式会社 | ぱちんこ遊技機 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266458A (ja) | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006203448A (ja) | 2005-01-19 | 2006-08-03 | Hitachi Ltd | 車載ステレオカメラ装置 |
JP2010081229A (ja) | 2008-09-25 | 2010-04-08 | Omron Corp | 画像合成方法および画像処理システム |
WO2018163644A1 (ja) | 2017-03-07 | 2018-09-13 | ソニー株式会社 | 情報処理装置、支援システム及び情報処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315112A (ja) * | 1995-05-16 | 1996-11-29 | Hitachi Ltd | 画像取込装置 |
JP3661375B2 (ja) * | 1997-11-11 | 2005-06-15 | 富士電機システムズ株式会社 | 画像処理装置 |
FI20031657A (fi) * | 2003-11-14 | 2005-05-15 | Nokia Corp | Langaton monikamerajärjestelmä |
US20080080748A1 (en) * | 2006-09-28 | 2008-04-03 | Kabushiki Kaisha Toshiba | Person recognition apparatus and person recognition method |
KR102641894B1 (ko) * | 2017-02-03 | 2024-02-29 | 삼성전자주식회사 | 이미지를 촬영하는 센서 및 그 제어 방법 |
WO2019075276A1 (en) * | 2017-10-11 | 2019-04-18 | Aquifi, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING OBJECT |
CA3139074A1 (en) * | 2018-05-04 | 2019-11-07 | Aquifi, Inc. | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
US11560153B2 (en) * | 2019-03-07 | 2023-01-24 | 6 River Systems, Llc | Systems and methods for collision avoidance by autonomous vehicles |
-
2019
- 2019-05-15 JP JP2019092304A patent/JP7374611B2/ja active Active
-
2020
- 2020-05-11 WO PCT/JP2020/018773 patent/WO2020230750A1/ja active Application Filing
-
2021
- 2021-11-11 US US17/524,370 patent/US20220067917A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266458A (ja) | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006203448A (ja) | 2005-01-19 | 2006-08-03 | Hitachi Ltd | 車載ステレオカメラ装置 |
JP2010081229A (ja) | 2008-09-25 | 2010-04-08 | Omron Corp | 画像合成方法および画像処理システム |
WO2018163644A1 (ja) | 2017-03-07 | 2018-09-13 | ソニー株式会社 | 情報処理装置、支援システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220067917A1 (en) | 2022-03-03 |
WO2020230750A1 (ja) | 2020-11-19 |
JP2020188385A (ja) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7374611B2 (ja) | 撮像システム | |
JP2018116692A5 (ja) | 情報処理装置および情報処理システム | |
JP7038345B2 (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
EP2038842A2 (en) | A method and device for video stitching | |
JP2021072615A (ja) | 映像復元装置及び方法 | |
JP2018056971A5 (ja) | ||
JP2020086983A5 (ja) | ||
JP7177609B2 (ja) | 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 | |
JP2010231756A (ja) | Hdr画像生成方法および同方法を用いる電子デバイス | |
JP2015035715A (ja) | 画像撮像方法及び画像撮像装置 | |
US20220084182A1 (en) | Control method for controlling system and system | |
JP6814179B2 (ja) | 3次元走査装置及び3次元モデリングの方法 | |
JPWO2021153198A5 (ja) | ||
EP1160730A1 (en) | Method and apparatus for extracting feature of image, monitor and test system, exposure system, and interface system | |
Noda et al. | Frame synchronization for networked high-speed vision systems | |
WO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
JP6699902B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2021516912A (ja) | インターライン時間遅延積分方法、装置及びカメラ | |
JP2020046960A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP7176429B2 (ja) | ガス漏れ位置特定システム及びガス漏れ位置特定プログラム | |
JP6849150B2 (ja) | 産業プラント監視制御システム | |
JP2020160756A5 (ja) | ||
Yoshimura et al. | FPGA-based image processor for sensor nodes in a sensor network | |
JP7237499B2 (ja) | 画像センサ、センシング方法、制御システム及びプログラム | |
JP2007114923A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231025 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7374611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |