JP7087971B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP7087971B2 JP7087971B2 JP2018227561A JP2018227561A JP7087971B2 JP 7087971 B2 JP7087971 B2 JP 7087971B2 JP 2018227561 A JP2018227561 A JP 2018227561A JP 2018227561 A JP2018227561 A JP 2018227561A JP 7087971 B2 JP7087971 B2 JP 7087971B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- image
- model set
- model
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
この開示によれば、画像処理装置は、文字の像におけるモデルの変更の適否を判断できる情報をユーザに提供可能となる。
図1を参照して、本発明の適用例について説明する。図1は、画像処理装置100の構成例について説明する図である。本実施の形態では、画像処理装置100は、例えば後述するカメラ(例えば、図6に示すカメラ8)が、後述するワーク(例えば、図6に示すワーク2)を撮影して得られる文字の像を認識する処理を実行する。より具体的には、画像処理装置100は、入力画像300に含まれる像について、複数のカテゴリのうちのいずれのカテゴリに属するかを判断する。なお、画像処理装置100が実行する処理は、文字認識処理に限定されることなく、その他の認識処理であってもよい。その他の認識処理として、例えば装置の部品形状または食品の形状等が含まれる。さらに、例えば対象物の傷、打痕および異物の付着等をカテゴリとする対象物の欠陥に関する認識処理が含まれる。
[画像処理システム1の構成]
以下、画像処理装置を100を含む画像処理システム1の構成、画像処理装置100のハードウェア構成および画像処理装置100の具体的な処理について説明する。
図4は、画像処理装置100のハードウェア構成例を説明する図である。図4を参照して、画像処理装置100は、演算処理部であるプロセッサ150と、記憶部としてのメモリ152および記憶装置154と、取得部130と、入力インターフェイス160と、表示コントローラ162と、PLCインターフェイス164と、通信インターフェイス166とを含む。これらの各部は、バス175を介して、互いにデータ通信可能に接続される。
図6は、画像処理装置100において実行される文字認識処理の機能ブロック図である。図6を参照して、画像処理装置100は、決定部170、出力部174、受付部181、生成部182、追加部183および算出部184を含む。また、決定部170は、抽出部171、導出部172および設定部173を含む。プロセッサ150は、記憶装置154に格納された制御プログラム110が読み出されて実行されることで、上記各部として機能する。以下では、プロセッサ150により実行される各部の具体的な処理について説明する。
図11および図12を参照して、画像処理装置100におけるプロセッサ150の制御構造について説明する。図11および図12の制御は、例えばプロセッサ150が制御プログラム110を実行することによって実現される。図11は、像の識別情報を出力する処理について説明するフローチャートである。ステップS105において、プロセッサ150は、入力画像300に含まれる像を抽出する。
ステップS215において、プロセッサ150は、第1モデルセットに含まれるカテゴリのうちユーザが選択したカテゴリに、ユーザが選択したモデルを追加する。プロセッサ150は、モデルの追加により、第1モデルセット111とは異なる第2モデルセット112を作成する。
以下、本開示に係る第2の実施の形態について説明する。第1の実施の形態では、画像処理装置100が、複数のカテゴリ内で指標を算出することについて説明した。これに対して、第2の実施の形態では、画像処理装置100は、複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で指標を算出する。より具体的には、例えば、画像処理装置100は、フォーマット文字列を用いて、指標を算出するカテゴリを限定する。
以下、本開示に係る第3の実施の形態について説明する。第1の実施の形態では、画像処理装置100はモデルを追加したことによる像321とモデルとの類似度に関する距離の変化から算出された指標の差を出力することについて説明した。これに対して、第3の実施の形態では、画像処理装置100は、カテゴリに属するレファレンス701とカテゴリに属するモデルとの類似度と、カテゴリに属するレファレンス701と他のカテゴリに属するモデルとの類似度とに基づいて指標を算出する。
第1~第3の実施の形態では、画像処理装置100は、あるカテゴリにモデルを追加した場合の指標の差を出力することについて説明した。これに対して、画像処理装置100は、ユーザの入力部を用いた操作により、あるカテゴリに登録されているモデルの削除を受け付けて、当該モデルを削除した場合の指標の差を含む情報を表示部140に出力するようにしてもよい。画像処理装置100は、例えば入力部を用いたユーザ操作により、当該モデルを削除した場合の指標の差を含む情報を表示部140に出力する。これにより、画像処理装置100は、モデルの登録数が登録可能な上限に達した場合に、既に登録されたモデルを削除することで新たなモデルを追加可能となる。また、画像処理装置100は、登録されたモデルが認識の精度を低下させている場合に、当該モデルを削除することで認識の精度を向上させることができる。
以上のように、本実施の形態は以下のような開示を含む。
複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセット(111)を格納する記憶部(154)と、
前記記憶部(154)に格納された前記第1モデルセット(111)を参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する決定部(170)と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する算出部(184)と、
前記第1モデルセット(111)を対象として算出された前記第1モデルセットに含まれるカテゴリ毎の指標と、前記第1モデルセット(111)とは異なる第2モデルセット(112)を対象として算出された前記第2モデルセット(112)に含まれるカテゴリ毎の指標との間の差を含む情報を出力する出力部(174)とを備える、画像処理装置。
前記出力部(174)は、前記第1モデルセット(111)に含まれるカテゴリ毎の指標と、前記第2モデルセット(112)に含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する、構成1に記載の画像処理装置。
前記入力画像(300)に含まれる像の選択と、当該選択された像のカテゴリの設定とを受け付ける受付部(181)と、
前記選択された像に基づいてモデルを生成する生成部(182)と、
前記第1モデルセット(111)の設定されたカテゴリに前記生成されたモデルを追加したものを前記第2モデルセット(112)とする追加部(183)とをさらに備える、構成1または2に記載の画像処理装置。
前記出力部(174)は、前記第2モデルセット(112)に含まれるカテゴリ毎の指標のうちの前記指標の値が予め定められた値未満となる指標がある場合に、前記生成されたモデルの前記第1モデルセット(111)への追加を確定させるか否かの確認をユーザに促す情報を出力する、構成3に記載の画像処理装置。
前記出力部(174)は、前記第2モデルセット(112)に含まれるカテゴリ毎の指標と、前記第1モデルセット(111)に含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間での指標の値の変化が予め定められた値以上となる場合に、前記生成されたモデルの前記第1モデルセット(111)への追加を確定させるか否かの確認をユーザに促す情報を出力する、構成3に記載の画像処理装置。
前記受付部(181)は、前記第1モデルセット(111)に含まれる前記モデルの選択を受け付け、
前記選択されたモデルを削除する削除部をさらに備える、構成3~5のいずれか1項に記載の画像処理装置。
前記算出部(184)は、前記指標を、前記複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で算出する、構成1~6のいずれか1項に記載の画像処理装置。
前記算出部(184)は、前記選択されたカテゴリに属するモデルと、前記他のカテゴリに属するモデルとの類似度に基づいて、当該選択されたカテゴリの前記指標を算出する、構成1~7のいずれか1項に記載の画像処理装置。
前記記憶部(154)は、属する前記カテゴリが予め決定されたレファレンス(701)を格納し、
前記算出部(184)は、前記カテゴリに属するレファレンス(701)と前記カテゴリに属する前記モデルとの類似度と、前記カテゴリに属する前記レファレンス(701)と他のカテゴリに属する前記モデルとの類似度とに基づいて、当該カテゴリの前記指標を算出する、構成1~7のいずれか1項に記載の画像処理装置。
前記入力画像(300)に含まれる像は、文字の像である、構成1~9のいずれか1項に記載の画像処理装置。
記憶部(154)に格納された複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセット(111)を参照して、入力画像(300)に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップ(S115)と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップ(S225)と、
前記第1モデルセット(111)を対象として算出された前記第1モデルセット(111)に含まれるカテゴリ毎の指標と、前記第1モデルセット(111)とは異なる第2モデルセット(112)を対象として算出された前記第2モデルセット(112)に含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップ(S235)とを含む、画像処理方法。
コンピュータを画像処理装置(100)として機能させるための画像処理プログラムであって、
前記画像処理プログラムは前記コンピュータに、
記憶部(154)に格納された複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセット(111)を参照して、入力画像(300)に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップ(S115)と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップ(S225)と、
前記第1モデルセット(111)を対象として算出された前記第1モデルセット(111)に含まれるカテゴリ毎の指標と、前記第1モデルセットとは異なる第2モデルセット(112)を対象として算出された前記第2モデルセット(112)に含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップ(S235)とを実行させる、画像処理プログラム。
Claims (11)
- 複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセットを格納する記憶部と、
前記記憶部に格納された前記第1モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する決定部と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する算出部と、
前記第1モデルセットを対象として算出された前記第1モデルセットに含まれるカテゴリ毎の指標と、前記第1モデルセットとは異なる第2モデルセットを対象として算出された前記第2モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力する出力部とを備え、
前記出力部が出力する情報は、前記第1モデルセットと前記第2モデルセットとの間で指標に差が生じるカテゴリを特定するための情報を含む、画像処理装置。 - 前記出力部は、前記第1モデルセットに含まれるカテゴリ毎の指標と、前記第2モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する、請求項1に記載の画像処理装置。
- 前記入力画像に含まれる像の選択と、当該選択された像のカテゴリの設定とを受け付ける受付部と、
前記選択された像に基づいてモデルを生成する生成部と、
前記第1モデルセットの設定されたカテゴリに前記生成されたモデルを追加したものを前記第2モデルセットとする追加部とをさらに備える、請求項1または2に記載の画像処理装置。 - 前記出力部は、前記第2モデルセットに含まれるカテゴリ毎の指標のうちの前記指標の値が予め定められた値未満となる指標がある場合に、前記生成されたモデルの前記第1モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する、請求項3に記載の画像処理装置。
- 前記出力部は、前記第2モデルセットに含まれるカテゴリ毎の指標と、前記第1モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間での指標の値の変化が予め定められた値以上となる場合に、前記生成されたモデルの前記第1モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する、請求項3に記載の画像処理装置。
- 前記受付部は、前記第1モデルセットに含まれる前記モデルの選択を受け付け、
前記選択されたモデルを削除する削除部をさらに備える、請求項3~5のいずれか1項に記載の画像処理装置。 - 前記算出部は、前記指標を、前記複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で算出する、請求項1~6のいずれか1項に記載の画像処理装置。
- 前記記憶部は、属する前記カテゴリが予め決定されたレファレンスを格納し、
前記算出部は、前記カテゴリに属するレファレンスと前記カテゴリに属する前記モデルとの類似度と、前記カテゴリに属する前記レファレンスと他のカテゴリに属する前記モデルとの類似度とに基づいて、当該カテゴリの前記指標を算出する、請求項1~7のいずれか1項に記載の画像処理装置。 - 前記入力画像に含まれる像は、文字の像である、請求項1~8のいずれか1項に記載の画像処理装置。
- コンピュータが実行する画像処理方法であって、前記画像処理方法は、
記憶部に格納された複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、
前記第1モデルセットを対象として算出された前記第1モデルセットに含まれるカテゴリ毎の指標と、前記第1モデルセットとは異なる第2モデルセットを対象として算出された前記第2モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを含み、
前記出力される情報は、前記第1モデルセットと前記第2モデルセットとの間で指標に差が生じるカテゴリを特定するための情報を含む、画像処理方法。 - コンピュータを画像処理装置として機能させるための画像処理プログラムであって、
前記画像処理プログラムは前記コンピュータに、
記憶部に格納された複数のカテゴリの各々に1または複数のモデルを対応付けた第1モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、
前記第1モデルセットを対象として算出された前記第1モデルセットに含まれるカテゴリ毎の指標と、前記第1モデルセットとは異なる第2モデルセットを対象として算出された前記第2モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを実行させ、
前記出力される情報は、前記第1モデルセットと前記第2モデルセットとの間で指標に差が生じるカテゴリを特定するための情報を含む、画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227561A JP7087971B2 (ja) | 2018-12-04 | 2018-12-04 | 画像処理装置、画像処理方法、および画像処理プログラム |
CN201911029972.2A CN111275138B (zh) | 2018-12-04 | 2019-10-28 | 图像处理装置、图像处理方法以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227561A JP7087971B2 (ja) | 2018-12-04 | 2018-12-04 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091602A JP2020091602A (ja) | 2020-06-11 |
JP7087971B2 true JP7087971B2 (ja) | 2022-06-21 |
Family
ID=71001543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227561A Active JP7087971B2 (ja) | 2018-12-04 | 2018-12-04 | 画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7087971B2 (ja) |
CN (1) | CN111275138B (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000011094A (ja) | 1998-06-26 | 2000-01-14 | Hitachi Ltd | 手書き文字認識装置及び方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03158986A (ja) * | 1989-11-17 | 1991-07-08 | Hitachi Ltd | パターン認識装置 |
JPH06139412A (ja) * | 1992-10-26 | 1994-05-20 | Seiko Epson Corp | パターン認識辞書の作成方法およびその作成装置 |
JPH09223197A (ja) * | 1996-02-15 | 1997-08-26 | Fujitsu Ltd | 文字認識装置 |
WO2013139032A1 (en) * | 2012-03-23 | 2013-09-26 | Microsoft Corporation | Rotation-free recognition of handwritten characters |
CN107368827B (zh) * | 2017-04-01 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 字符识别方法及装置、用户设备、服务器 |
CN108898137B (zh) * | 2018-05-25 | 2022-04-12 | 黄凯 | 一种基于深度神经网络的自然图像字符识别方法及系统 |
-
2018
- 2018-12-04 JP JP2018227561A patent/JP7087971B2/ja active Active
-
2019
- 2019-10-28 CN CN201911029972.2A patent/CN111275138B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000011094A (ja) | 1998-06-26 | 2000-01-14 | Hitachi Ltd | 手書き文字認識装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020091602A (ja) | 2020-06-11 |
CN111275138B (zh) | 2024-01-16 |
CN111275138A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109409398B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
US10719743B2 (en) | License plate reader using optical character recognition on plural detected regions | |
US9189694B2 (en) | Image processing device and image processing method | |
JP6517666B2 (ja) | 物品管理装置、その方法、及びそのプログラム | |
US20150262030A1 (en) | Image processing device, image processing method, and image processing program | |
JP7102103B2 (ja) | 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム | |
CN111985465A (zh) | 文本识别方法、装置、设备及存储介质 | |
US11797857B2 (en) | Image processing system, image processing method, and storage medium | |
CN110705596A (zh) | 白屏检测方法、装置、电子设备及存储介质 | |
US10509934B1 (en) | Methods and apparatus for improving QR code locator detectability and/or finding the corners of a locator pattern | |
CN111967490A (zh) | 用于地图检测的模型训练方法和地图检测方法 | |
JP2015210542A (ja) | 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム | |
JP2018081629A (ja) | 判定装置、判定方法および判定プログラム | |
JP2020017156A (ja) | 文字認識装置、文字認識プログラムおよび文字認識方法 | |
JP7087971B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US11922680B2 (en) | Image determination device, image determination method, and non-transitory computer readable medium storing program | |
KR20190056873A (ko) | 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법 | |
JP2002163637A (ja) | 画像検査装置及び画像検査方法 | |
CN112232295B (zh) | 一种新增目标船只的确认方法、装置及电子设备 | |
US11961218B2 (en) | Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images | |
CN115526859A (zh) | 生产缺陷识别的方法、分布式处理平台、设备及存储介质 | |
US11671565B2 (en) | Image processing system, image processing device, image processing method, and non-transitory computer readable medium storing program | |
CN111402341A (zh) | 相机参数确定方法、装置、电子设备及可读存储介质 | |
JP2020047138A (ja) | 情報処理装置 | |
CN114998906B (zh) | 文本检测方法、模型的训练方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7087971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |