JPWO2020129176A1 - 画像処理システム、画像処理方法および画像処理プログラム - Google Patents
画像処理システム、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JPWO2020129176A1 JPWO2020129176A1 JP2020560695A JP2020560695A JPWO2020129176A1 JP WO2020129176 A1 JPWO2020129176 A1 JP WO2020129176A1 JP 2020560695 A JP2020560695 A JP 2020560695A JP 2020560695 A JP2020560695 A JP 2020560695A JP WO2020129176 A1 JPWO2020129176 A1 JP WO2020129176A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- estimation
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 89
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 10
- 241000282412 Homo Species 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 42
- 230000008569 process Effects 0.000 description 34
- 210000002569 neuron Anatomy 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000001771 impaired effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 241000288673 Chiroptera Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
この課題を解決するために、代表的な本発明の画像処理システムの一つは、映像として取得された入力画像を取り込む映像取得部と、予め定められた検出対象の領域について学習されたFCN(Fully Convolutional Network)の学習モデルを有し、入力画像を学習モデルで処理することにより、検出対象の領域推定画像を生成する推定部と、領域推定画像に基づいて検出対象の領域を検出する画像処理部とを備える。
Description
実施例1は、例えば白杖(を所持する視覚障がい者)を検出する画像処理システム100である。
図1は、この画像処理システム100の構成を示す図である。
同図において、画像処理システム100は、ハードウェアとしてCPU(Central Processing Unit)やメモリなどを備えた情報処理システム(情報処理装置)として構成される。このハードウェアが画像処理プログラムを実行することにより、後述する各種機能が実現する。このハードウェアの一部または全部については、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などで代替してもよい。また、ハードウェアの一部または全部をネットワーク上に集中または分散して配置してもよい。
図2は、この学習モデル132の構成を説明する図である。
同図において、学習モデル132は、入力画像が入力される入力層IN、複数の中間層L1〜L4、および領域推定画像を出力する出力層OUTを備える。
同図において、入力1チャンネルの画像は、入力層INまたは一つ前の中間層から入力される。
このとき、畳込み処理の前にパディング(画像の上下左右を固定値などで数画素分だけ拡大する処理)を行うことで、積和演算における画像の上下左右の画素欠落を回避してもよい。
同図において、学習部154は、事前に収集された学習データEを有する。この学習データEは、「人間が白杖を持つ学習画像」と「その学習画像の白杖を第1画素値(例えば白)とし、それ以外を第2画素値(例えば黒)とした教師画像」とを1セットとしたデータセットの群である。
図6は、画像処理システム100による白杖検出の動作を説明する流れ図である。
以下、同図に示すステップ番号に沿って、白杖検出を説明する。
また、用途に応じてRGBカラーやYUV、モノクロなどのデータ形式を選択してもよい。さらには、演算負荷を低減するために、画像データに縮小処理を施してもよい。
同図において、二値化部141は、領域推定画像402に対して二値化処理を行い、二値化画像501を生成する。この二値化画像501は、白杖の領域と推定される第1画素値に近い領域を白とし、それ以外を黒の背景色とした画像である。
この二値化処理の閾値は、予め実験によって定めてもよいし、大津の二値化などにより自動的に定めてもよい。
白杖の推定領域の内部には、黒画素が欠陥として混入する場合がある。膨張化処理では、白画素の領域に混入した黒画素が、膨張化された白画素によって塗りつぶされ、黒画素の欠陥は除去される。
ここでの膨張処理の回数や膨張幅(フィルタの大きさ)は、黒画素の発生頻度などによって適宜に設定される。なお、膨張処理の前または後に白画素に対する縮小処理を行ってもよい。
・白画素領域の面積(画素数)は、白杖の面積の許容範囲に適合するか。
・白画素領域(を囲む最小矩形)の高さや幅やその縦横比は、白杖(を囲む最小矩形)の高さや幅や縦横比の許容範囲に適合するか。
・白画素領域の最大幅と最小幅とその扁平率は、白杖の最大幅と最小幅とその扁平率の許容範囲に適合するか。
・白画素領域に内包される最大直線の長さは、白杖の画面上の直線の長さの許容範囲に適合するか。
このように、画像処理部140は、領域推定画像402に基づいて検出対象である白杖の有無を判定する。つまり、画像処理部140は、領域推定画像402において検出対象として推定された画素値の領域の面積、形状、長さの一部または全部に基づいて検出対象の有無を判定する。
表示制御部145は、映像フレーム301を内部のFIFO(First In First Out)やフレームメモリを介して遅延させることにより、映像フレームと表示画像のタイムラグを調整する。表示制御部145は、時間を合わせた映像フレームの表示画面の対応位置に表示画像を子画面として逐次に合成する。図10に、このように合成された表示画面を示す。
・撮像装置110の調整項目(撮影範囲、撮影ズーム量、撮影フレームレート、電子シャッタ時間、絞り値、撮像感度、ガンマ調整、暗所や時刻による赤外線撮影への切替、彩度調整、ホワイトバランス、ノイズ除去、輪郭強調など)
・解析領域指定部122の調整項目(映像フレームの切り出し範囲やマスク範囲など)
・画像処理部140の調整項目(二値化の閾値設定、二値化の閾値のシステリシス幅、膨張化の幅、形状判定の項目や許容範囲など)
調整部148によるこれらの調整は、表示画面(図10参照)に迅速に反映される。そのため、担当者は、調整の具合を表示画面で即座に確認しながら、白杖検出が適切に行えるように調整を追い込むことができる。
記録制御部146は、この動画記録を常時記録(一定時間経つと上書き)してもよいし、白杖を検出した期間のみ記録してもよい。また、記録制御部146は、動画記録の圧縮率や記録間隔を制御してもよい。
<実施例1の効果>
膨張化処理は、検出対象を示す第1画素値(白)側を膨張化させることにより、欠陥ノイズを除去し、推定領域の形状崩れを修正する。
そのため、白杖のような小さな検出対象をより適切に検出できるようになる。
したがって、撮像装置110の映像と共に、検出対象(白杖)の検出状況を分かりやすく確認することが可能になる。
なお、その他の構成および動作は、実施例1で示した図1〜4,6〜10と同様であるため、ここでの重複説明を省略する。
<白杖用の学習モデル132aの説明>
図11は、白杖用の学習モデル132aの学習処理に使用する2種類の学習データEa,Ebを示す図である。
その結果、学習モデル132aは、「人間が持つ白杖」については領域を推定し、「人間が持たない偽物」や「それ以外」については白杖と推定をしないようになる。
実施例2は、上述した実施例1の効果に加えて、次の効果を奏する。
この統合学習データを使用して学習モデル132aを学習処理することにより、学習モデル132aは、「人間が持つもの」という白杖(検出対象)の特徴に活性化しやすくなる一方で、「人間が持たない偽物」には活性化しないようになる。
したがって、「人間が持たない偽物」による誤った推定を抑制し、「人間が持つもの」である白杖(検出対象)をより正確に領域推定することが可能になる。
また、その他の構成は、実施例1で示した図1〜4,6〜10と同様であるため、ここでの重複説明を省略する。
図12は、偽物用の学習モデル132bの学習処理に使用する2種類の学習データEc,Edを示す図である。
学習データEc,Edの統合学習データを用いて学習処理を行うことにより、学習モデル132b内の中間層L1〜L4で生成される特徴マップの画素(ニューロン)は、「人間が持つ白杖」と「人間が持たない偽物」と「それ以外」とを、人間(顔、手、胴体、足、または肌色など)の有無や位置や間隔などの関係性によって分別するようになる。その結果、偽物用の学習モデル132bは、「人間が持たない偽物」については領域を推定し、「人間が持つ白杖」については推定をしないようになる。
図13は、実施例3による白杖の領域検出の様子を説明する図である。
白杖用の学習モデル132aは、この入力画像302を処理して、白杖の領域推定画像402aを生成する。この白杖の領域推定画像402aには、偽物によるグレーのノイズが含まれる。
例えば、二値化部141は、白杖の領域推定画像402aから、偽物の領域推定画像402bを減算して差分画像を求める。二値化部141は、差分画像について、正の画素値を第1画素値(白)とし、負の画素値を第2画素値(黒)とする二値化処理を実施することにより、偽物を除いた白杖の領域推定画像402c(二値化画像)を生成することができる。
同図において、偽物として白ポールを撮影した入力画像312が入力される。
(1)実施例3は、「人間が持たない偽物の入力画像」から前記偽物を領域推定する偽物用の学習モデル132bを備える。
この偽物用の学習モデル132bにより、偽物の領域推定画像402bが生成される。この偽物の領域推定画像402bは、白杖の領域推定画像402aに誤って含まれる偽物のノイズと強い相関を示す。
そこで、白杖の領域推定画像402aに含まれる偽物のノイズを、偽物の領域推定画像402bとの相関部分を除くなどの演算処理を用いて低減できる。したがって、白杖のような小さな検出対象をより正確に領域推定することが可能になる。
この統合学習データを使用して学習モデル132bを学習処理することにより、学習モデル132bは、「人間が持つもの」という白杖(検出対象)の特徴に活性化しないようになる一方で、「人間が持たない偽物」には活性化しやすくなる。
そのため、「人間が持つもの」である白杖(検出対象)を偽物とはせずに、「人間が持たない偽物」をより正確に領域推定することが可能になる。
したがって、白杖の領域推定画像402aに含まれる白杖(検出対象)の領域を、偽物の領域推定画像402bとの演算処理で、誤って除いてしまうなどの不具合が少なくなる。
その結果、白杖のような小さな検出対象をより正確に領域推定することが可能になる。
上述した実施形態では、白杖を検出対象とするケースについて説明した。しかしながら、検出可能な対象は白杖に限定されない。例えば、電柱・電線・標識・人・動物・建造物・乗り物・道具・部品・レントゲンその他の多様な物体を検出対象にできる。
なお、実施形態では、学習データにおいて検出対象である白杖を第1の画素値、その他の領域を第2の画素値としたが、その他の領域を複数の画素値に分けたものとしてもよい。例えば、人の領域を第2の画素値とし、背景を第3の画素値とするなど検出対象の数や種類によって種々変更することが好ましい。また、教師画像の画素値は輝度のみに限定されない。
また、実施形態では、画像処理部140の二値化部141および膨張処理部142が領域推定画像402に画像処理を施した後に形状判定部143の形状判定に基づいて検出対象の有無を制御部144が判定した。しかし、本発明はこれに限定されず、二値化部141および膨張処理部142の処理は無くても良いし、いずれか一方の処理のみでもよい。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
Claims (12)
- 映像として取得された入力画像を取り込む映像取得部と、
予め定められた検出対象の領域について学習されたFCN(Fully Convolutional Network)の学習モデルを有し、前記入力画像を前記学習モデルで処理することにより、前記検出対象の領域推定画像を生成する推定部と、
前記領域推定画像に基づいて前記検出対象の領域を検出する画像処理部と、
を備えた画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像処理部は、
前記領域推定画像に対して、二値化・膨張化・形状判定の少なくとも1つの画像処理により、前記検出対象の領域を検出する
ことを特徴とする画像処理システム。 - 請求項1〜2のいずれか1項に記載の画像処理システムにおいて、
前記推定部は、
「学習画像」および「前記学習画像における前記検出対象を第1画素値、それ以外を第2画素値とした教師画像」のセット群を学習データとして学習された前記学習モデルを有する
ことを特徴とする画像処理システム。 - 請求項1〜3のいずれか1項に記載の画像処理システムにおいて、
前記推定部は、
前記入力画像における人間が持つ前記検出対象を領域推定しつつ、人間が持たない偽物による推定誤りを抑制する
ことを特徴とする画像処理システム。 - 請求項4記載の画像処理システムにおいて、
前記推定部は、
「人間が持つ前記検出対象が写った画像」および「人間が持たない前記偽物が写った画像」を含む学習画像それぞれに、「前記学習画像において人間が持つ前記検出対象を第1の画素値、それ以外を第2の画素値とした教師画像」を対応させたセット群を学習データとして学習された前記学習モデルを有する
ことを特徴とする画像処理システム。 - 請求項4記載の画像処理システムにおいて、
前記推定部は、
前記学習モデルとして、
「人間が持つ前記検出対象が写った入力画像」から前記検出対象を領域推定する検出対象用の学習モデルと、
「人間が持たない前記偽物が写った入力画像」から前記偽物を領域推定する偽物用の学習モデルとを有し、
前記入力画像を、前記検出対象用の学習モデルで処理することにより、前記検出対象の領域推定画像を生成し、
前記入力画像を、前記偽物用の学習モデルで処理することにより、前記偽物の領域推定画像を生成し、
前記検出対象の領域推定画像と、前記偽物の領域推定画像とについて演算処理を行って、前記偽物の推定誤りを抑制した前記検出対象の領域推定を行う
ことを特徴とする画像処理システム。 - 映像として取得された入力画像を取り込む映像取得部と、
予め定められた検出対象の領域について学習されたFCN(Fully Convolutional Network)の学習モデルを有し、前記入力画像を前記学習モデルで処理することにより、前記検出対象の領域推定画像を生成する推定部と、
前記領域推定画像に基づいて前記検出対象の領域を検出する画像処理部とを備え、
前記画像処理部は、
前記領域推定画像に基づく表示画像を生成し、前記表示画像を表示制御する表示制御部を有する
を備えた画像処理システム。 - 請求項7に記載の画像処理システムにおいて、
前記画像処理部は、
「撮影により前記入力画像を出力するカメラ」、「前記映像取得部の映像処理」および「前記領域推定画像から前記検出対象の領域を検出する画像処理」の少なくとも一つの調整パラメータを変更設定する調整部を備え、
前記表示制御部は、
前記調整部による調整を前記表示画像に反映させ、前記表示画像を確認しながらの前記調整部の調整作業を可能にする
ことを特徴とする画像処理システム。 - 請求項8に記載の画像処理システムにおいて、
前記表示制御部は、
前記映像を表示する画面の対応位置に、前記表示画像を部分的な子画面として表示する
ことを特徴とする画像処理システム。 - 請求項1〜9のいずれか1項に記載の画像処理システムにおいて、
前記推定部は、
白杖を前記検出対象として、前記入力画像における前記白杖を領域推定する前記学習モデルを有する
ことを特徴とする画像処理システム。 - 映像として取得された入力画像を取り込む映像取得ステップと、
予め定められた検出対象の領域について学習されたFCN(Fully Convolutional Network)の学習モデルを使用し、前記入力画像を前記学習モデルで処理することにより、前記検出対象の領域推定画像を生成する推定ステップと、
前記領域推定画像に基づいて前記検出対象の領域を検出する画像処理ステップと、
を備えた画像処理方法。 - 請求項1ないし請求項10のいずれか1項に記載の前記映像取得部、前記推定部、および前記画像処理部として、情報処理装置を機能させる
ことを特徴とする画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/046756 WO2020129176A1 (ja) | 2018-12-19 | 2018-12-19 | 画像処理システム、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020129176A1 true JPWO2020129176A1 (ja) | 2021-09-02 |
JP6934118B2 JP6934118B2 (ja) | 2021-09-15 |
Family
ID=71101149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560695A Active JP6934118B2 (ja) | 2018-12-19 | 2018-12-19 | 画像処理システム、画像処理方法および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11275947B2 (ja) |
EP (1) | EP3901900B1 (ja) |
JP (1) | JP6934118B2 (ja) |
WO (1) | WO2020129176A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7430620B2 (ja) * | 2020-11-04 | 2024-02-13 | 株式会社エクシオテック | 白杖利用入構者駅員報知システム |
JP7321577B2 (ja) * | 2021-11-10 | 2023-08-07 | 株式会社アクセル | 情報処理装置、情報処理方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06233761A (ja) * | 1993-02-09 | 1994-08-23 | Hitachi Medical Corp | 医用画像診断装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003168110A (ja) | 2001-12-03 | 2003-06-13 | Nec Corp | 視覚障害者支援方法、視覚障害者認識システムおよび方法、プログラム |
US20170017841A1 (en) * | 2015-07-17 | 2017-01-19 | Nokia Technologies Oy | Method and apparatus for facilitating improved biometric recognition using iris segmentation |
US9990728B2 (en) * | 2016-09-09 | 2018-06-05 | Adobe Systems Incorporated | Planar region guided 3D geometry estimation from a single image |
US10055053B2 (en) * | 2016-10-03 | 2018-08-21 | Poynt Co. | System and method for disabled user assistance |
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
-
2018
- 2018-12-19 WO PCT/JP2018/046756 patent/WO2020129176A1/ja unknown
- 2018-12-19 US US17/297,761 patent/US11275947B2/en active Active
- 2018-12-19 JP JP2020560695A patent/JP6934118B2/ja active Active
- 2018-12-19 EP EP18943358.4A patent/EP3901900B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06233761A (ja) * | 1993-02-09 | 1994-08-23 | Hitachi Medical Corp | 医用画像診断装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220044020A1 (en) | 2022-02-10 |
WO2020129176A1 (ja) | 2020-06-25 |
US11275947B2 (en) | 2022-03-15 |
EP3901900B1 (en) | 2024-05-01 |
EP3901900A1 (en) | 2021-10-27 |
EP3901900A4 (en) | 2022-08-24 |
JP6934118B2 (ja) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104052905B (zh) | 用于处理图像的方法和设备 | |
US9247155B2 (en) | Method and system for robust scene modelling in an image sequence | |
JP6597609B2 (ja) | 画像処理装置、監視システム、画像処理方法、及びプログラム | |
US20120141000A1 (en) | Method and system for image analysis | |
WO2017163955A1 (ja) | 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体 | |
JP5832910B2 (ja) | 画像監視装置 | |
JP6654789B2 (ja) | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 | |
US20170337431A1 (en) | Image processing apparatus and method and monitoring system | |
KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
JP6934118B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
US20220122360A1 (en) | Identification of suspicious individuals during night in public areas using a video brightening network system | |
KR101124560B1 (ko) | 동영상 내의 자동 객체화 방법 및 객체 서비스 저작 장치 | |
CN115331152B (zh) | 一种消防识别方法和系统 | |
JP3571628B2 (ja) | 画像処理装置 | |
JP6963038B2 (ja) | 画像処理装置および画像処理方法 | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
KR100994418B1 (ko) | 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법 | |
US20100202688A1 (en) | Device for segmenting an object in an image, video surveillance system, method and computer program | |
JP6124739B2 (ja) | 画像センサ | |
JP2009003615A (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 | |
JP7479535B1 (ja) | 人物検知システムおよび人物検知方法 | |
CN109948456B (zh) | 应用于数字法庭的人脸识别方法及装置 | |
KR20150060032A (ko) | 움직임 검출 시스템 및 방법 | |
Sharma et al. | Dataset for Face-mask Recognition in Poor Visibility Conditions based upon IoT enabled Robotics | |
Berg | Real-time people counting system using video camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20210312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6934118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |