JP6880294B2 - ずれ補正装置、ずれ補正方法及びずれ補正プログラム - Google Patents
ずれ補正装置、ずれ補正方法及びずれ補正プログラム Download PDFInfo
- Publication number
- JP6880294B2 JP6880294B2 JP2020147244A JP2020147244A JP6880294B2 JP 6880294 B2 JP6880294 B2 JP 6880294B2 JP 2020147244 A JP2020147244 A JP 2020147244A JP 2020147244 A JP2020147244 A JP 2020147244A JP 6880294 B2 JP6880294 B2 JP 6880294B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- deviation
- correction
- amount
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 151
- 238000000034 method Methods 0.000 title claims description 48
- 238000000605 extraction Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Description
本開示は、監視カメラといった撮影装置のずれを補正する技術に関する。
監視カメラといった撮影装置によって撮影領域を撮影して得られた撮影画像データから、対象物を検出することが行われている。例えば、撮影領域に対象物が存在しない状態で得られた撮影画像データである背景画像データと、撮影画像データとを比較することにより、対象物が検出される。
風による振動又は物の衝突等の影響により、撮影装置がずれてしまうことがある。その結果、対象物が検出される領域がずれてしまうこと、又は、対象物の検出精度が低くなってしまうことがある。例えば、背景画像データと撮影画像データとを比較する場合に、撮影装置がずれ撮影領域がずれてしまうと、比較される位置がずれてしまい、対象物の検出精度が低くなってしまう。
特許文献１には、対象画像と参照画像との画素の差分絶対値から対象画像と参照画像とのずれ量を計算して、対象画像の画角ずれを補正することが記載されている。
特許文献１に記載された技術では、ある程度の小さな画角のずれについては補正できる。しかし、例えば、何かが撮影装置にぶつかってしまい、大きく画角がずれてしまったような場合には補正することはできない。
本開示は、撮影装置のずれを適切に補正可能にすることを目的とする。
本開示は、撮影装置のずれを適切に補正可能にすることを目的とする。
本開示に係るずれ補正装置は、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定部によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部と
を備える。
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定部によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部と
を備える。
前記補正ずれ量は、前記撮影装置の平行移動によるずれと、撮影方向のずれと、撮影領域の広さのずれとの少なくともいずれかを表す。
前記表示部は、前記補正ずれ量を数値化した誤差値を表示する。
前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記ずれ補正装置は、さらに、
前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する設定変更部
を備える。
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記ずれ補正装置は、さらに、
前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する設定変更部
を備える。
前記ずれ補正装置は、さらに、
手動によるずれの補正が完了した完了通知の入力を受け付ける受付部
を備え、
前記後画像データは、前記受付部によって前記完了通知の入力が受け付けられた後に前記撮影装置によって得られた撮影画像データである。
手動によるずれの補正が完了した完了通知の入力を受け付ける受付部
を備え、
前記後画像データは、前記受付部によって前記完了通知の入力が受け付けられた後に前記撮影装置によって得られた撮影画像データである。
本開示に係るずれ補正装置は、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更部と
を備える。
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更部と
を備える。
前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部を備える。
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部を備える。
前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、通知する通知部
を備える。
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、通知する通知部
を備える。
前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記設定変更部は、前記検知領域と前記マスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する。
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記設定変更部は、前記検知領域と前記マスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する。
本開示に係るずれ補正方法は、
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
表示部が、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する。
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
表示部が、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する。
本開示に係るずれ補正方法は、
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
設定変更部が、前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する。
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
設定変更部が、前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する。
本開示に係るずれ補正プログラムは、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定処理によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示処理と
を行うずれ補正装置としてコンピュータを機能させる。
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定処理によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示処理と
を行うずれ補正装置としてコンピュータを機能させる。
本開示に係るずれ補正プログラムは、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更処理と
を行うずれ補正装置としてコンピュータを機能させる。
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更処理と
を行うずれ補正装置としてコンピュータを機能させる。
本開示では、撮影画像データに重畳させて、第１マークが表示されるとともに、補正ずれ量だけ第１マークをずらした第２マークが表示される。これにより、作業者が手動で撮影装置のずれを容易に補正することが可能になる。その結果、大きく撮影装置がずれてしまった場合にも、適切な位置に撮影装置を戻すことが可能である。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、コンピュータである。
ずれ補正装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、コンピュータである。
ずれ補正装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦ
ｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
ｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
ずれ補正装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）といった表示装置４２と接続されている。
ずれ補正装置１０は、機能構成要素として、初期設定部２１と、画像取得部２２と、特徴抽出部２３と、ずれ特定部２４と、表示部２５とを備える。ずれ補正装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、ずれ補正装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、ずれ補正装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、ずれ補正装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、ずれ補正装置１０の各機能構成要素の機能が実現される。
また、ストレージ１３は、基準データ記憶部３１と、設定データ記憶部３２とを実現する。
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
＊＊＊動作の説明＊＊＊
図２及び図３を参照して、実施の形態１に係るずれ補正装置１０の動作を説明する。
実施の形態１に係るずれ補正装置１０の動作手順は、実施の形態１に係るずれ補正方法に相当する。また、実施の形態１に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態１に係るずれ補正プログラムに相当する。
図２及び図３を参照して、実施の形態１に係るずれ補正装置１０の動作を説明する。
実施の形態１に係るずれ補正装置１０の動作手順は、実施の形態１に係るずれ補正方法に相当する。また、実施の形態１に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態１に係るずれ補正プログラムに相当する。
（図２のステップＳ１０１：初期処理）
初期設定部２１は、ずれ補正装置１０の初期設定を行う。
具体的には、初期設定部２１は、撮影装置４１及び表示装置４２のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスといった、ずれ補正装置１０の動作に必要になる初期設定情報を取得する。例えば、初期設定部２１は、ずれ補正装置１０の使用者によって初期設定情報が入力される、あるいは、事前に設定されたストレージ１３のアドレスから初期設定情報を読み込む。そして、初期設定部２１は、初期設定情報に従い、ずれ補正装置１０の初期設定を行う。
初期設定部２１は、ずれ補正装置１０の初期設定を行う。
具体的には、初期設定部２１は、撮影装置４１及び表示装置４２のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスといった、ずれ補正装置１０の動作に必要になる初期設定情報を取得する。例えば、初期設定部２１は、ずれ補正装置１０の使用者によって初期設定情報が入力される、あるいは、事前に設定されたストレージ１３のアドレスから初期設定情報を読み込む。そして、初期設定部２１は、初期設定情報に従い、ずれ補正装置１０の初期設定を行う。
（図２のステップＳ１０２：データ取得処理）
初期設定部２１は、基準画像データを取得する。
具体的には、初期設定部２１は、基準データ記憶部３１から基準画像データを読み出す。基準画像データは、撮影装置４１の初期設置時に、撮影領域に対象物が存在しない状態で、撮影装置４１によって撮影領域が撮影されて得られた撮影画像データである。初期設定部２１は、基準画像データをメモリ１２に書き込む。
初期設定部２１は、基準画像データを取得する。
具体的には、初期設定部２１は、基準データ記憶部３１から基準画像データを読み出す。基準画像データは、撮影装置４１の初期設置時に、撮影領域に対象物が存在しない状態で、撮影装置４１によって撮影領域が撮影されて得られた撮影画像データである。初期設定部２１は、基準画像データをメモリ１２に書き込む。
（図２のステップＳ１０３：第１特徴抽出処理）
特徴抽出部２３は、ステップＳ１０２で取得された基準画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、基準画像データをメモリ１２から読み出す。特徴抽出部２３は、既存の方法により、基準画像データを構成する画素のうち、エッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、基準画像データの複数の特徴点としてメモリ１２に書き込む。
エッジ部分を抽出する方法としては、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）と、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）と、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）と、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）といった方法がある。なお、ＦＡＳＴは、Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔの略である。また、ＢＲＩＥＦは、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ
Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓの略である。
特徴抽出部２３は、ステップＳ１０２で取得された基準画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、基準画像データをメモリ１２から読み出す。特徴抽出部２３は、既存の方法により、基準画像データを構成する画素のうち、エッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、基準画像データの複数の特徴点としてメモリ１２に書き込む。
エッジ部分を抽出する方法としては、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）と、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）と、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）と、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）といった方法がある。なお、ＦＡＳＴは、Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔの略である。また、ＢＲＩＥＦは、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ
Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓの略である。
（図２のステップＳ１０４：画像取得処理）
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを対象画像データとして取得する。画像取得部２２は、対象画像データをメモリ１２に書き込む。
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを対象画像データとして取得する。画像取得部２２は、対象画像データをメモリ１２に書き込む。
（図２のステップＳ１０５：第２特徴抽出処理）
特徴抽出部２３は、ステップＳ１０４で取得された対象画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、対象画像データをメモリ１２から読み出す。特徴抽出部２３は、対象画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ１０３で用いた方法と同じ方法により、対象画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、対象画像データの複数の特徴点としてメモリ１２に書き込む。
特徴抽出部２３は、ステップＳ１０４で取得された対象画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、対象画像データをメモリ１２から読み出す。特徴抽出部２３は、対象画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ１０３で用いた方法と同じ方法により、対象画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、対象画像データの複数の特徴点としてメモリ１２に書き込む。
（図２のステップＳ１０６：補正ずれ量特定処理）
ずれ特定部２４は、ステップＳ１０５で対象画像データから抽出された複数の特徴点と、ステップＳ１０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する対象画像データのずれ量を補正ずれ量として特定する。
具体的には、ずれ特定部２４は、対象画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、対象画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。例えば、ずれ特定部２４は、ＫＮＮ（Ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）とＦＬＡＮＮ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）といった既存の手法により、特徴点同士を対応付けすることができる。ずれ特定部２４は、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの補正ずれ量を表す透視投影変換行列を計算する。例えば、ずれ特定部２４は、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）といった既存の手法により、特徴点間の対応関係から透視投影変換行列を計算することが可能である。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。
ずれ特定部２４は、ステップＳ１０５で対象画像データから抽出された複数の特徴点と、ステップＳ１０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する対象画像データのずれ量を補正ずれ量として特定する。
具体的には、ずれ特定部２４は、対象画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、対象画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。例えば、ずれ特定部２４は、ＫＮＮ（Ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）とＦＬＡＮＮ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）といった既存の手法により、特徴点同士を対応付けすることができる。ずれ特定部２４は、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの補正ずれ量を表す透視投影変換行列を計算する。例えば、ずれ特定部２４は、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）といった既存の手法により、特徴点間の対応関係から透視投影変換行列を計算することが可能である。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。
（図２のステップＳ１０７：表示処理）
表示部２５は、ステップＳ１０４で取得された対象画像データに重畳させて、第１マークを表示するとともに、ステップＳ１０６で特定された補正ずれ量だけ第１マークをずらした第２マークを表示する。
具体的には、表示部２５は、対象画像データと透視投影変換行列とをメモリ１２から読
み出す。表示部２５は、対象画像データを表示装置４２に表示する。この際、表示部２５は、第１マークを表示装置４２に表示するとともに、透視投影変換行列によって第１マークを変換して得られた第２マークを表示装置４２に表示する。また、表示部２５は、透視投影変換行列が示す補正ずれ量を数値化した誤差値を表示装置４２に表示する。補正ずれ量は、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを示す。ズームのずれ量は、撮影領域の広さのずれを表している。
例えば、図３に示すように第１マーク５１は四角形である。表示部２５は、対象画像データの中心に、第１マーク５１を表示する。また、表示部２５は、透視投影変換行列によって第１マークを変換して得られた第２マーク５２を表示する。第２マーク５２は、第１マーク５１に比べて、Ｘ軸方向のずれ量及びＹ軸方向のずれ量だけ位置がずれており、ズームのずれ量だけ大きさがずれており、角度のずれ量だけ回転している。なお、第１マーク５１は、対象画像データの中心を表しており、第２マーク５２は、基準画像データの中心を表している。
表示部２５は、ステップＳ１０４で取得された対象画像データに重畳させて、第１マークを表示するとともに、ステップＳ１０６で特定された補正ずれ量だけ第１マークをずらした第２マークを表示する。
具体的には、表示部２５は、対象画像データと透視投影変換行列とをメモリ１２から読
み出す。表示部２５は、対象画像データを表示装置４２に表示する。この際、表示部２５は、第１マークを表示装置４２に表示するとともに、透視投影変換行列によって第１マークを変換して得られた第２マークを表示装置４２に表示する。また、表示部２５は、透視投影変換行列が示す補正ずれ量を数値化した誤差値を表示装置４２に表示する。補正ずれ量は、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを示す。ズームのずれ量は、撮影領域の広さのずれを表している。
例えば、図３に示すように第１マーク５１は四角形である。表示部２５は、対象画像データの中心に、第１マーク５１を表示する。また、表示部２５は、透視投影変換行列によって第１マークを変換して得られた第２マーク５２を表示する。第２マーク５２は、第１マーク５１に比べて、Ｘ軸方向のずれ量及びＹ軸方向のずれ量だけ位置がずれており、ズームのずれ量だけ大きさがずれており、角度のずれ量だけ回転している。なお、第１マーク５１は、対象画像データの中心を表しており、第２マーク５２は、基準画像データの中心を表している。
その後、処理がステップＳ１０４に戻され、次のフレームの撮影画像データを対象画像データとして処理が実行される。
図２に示す処理が実行されているときに、ずれ補正装置１０の使用者によって、表示装置４２に表示された第１マーク及び第２マークが参照され、撮影装置４１のずれが手動で補正される。具体的には、ずれ補正装置１０の使用者によって、第１マークと第２マークとが重なるように、撮影装置４１について、Ｘ軸方向及びＹ軸方向の位置と、ズームと、角度とが補正される。例えば、スマートフォンといった携帯端末を表示装置４２として用いることにより、ずれ補正装置１０の使用者は、表示装置４２を見ながら第１マークと第２マークとが重なるように撮影装置４１のずれを補正することが可能である。
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係るずれ補正装置１０は、基準画像データに対する対象画像データのずれ量である補正ずれ量を計算する。そして、ずれ補正装置１０は、撮影画像データに重畳させて、第１マークを表示するとともに、補正ずれ量だけ第１マークをずらした第２マークを表示する。
これにより、作業者が手動で撮影装置のずれを容易に補正することが可能になる。その結果、大きく撮影装置がずれてしまった場合にも、適切な位置に撮影装置を戻すことが可能である。
以上のように、実施の形態１に係るずれ補正装置１０は、基準画像データに対する対象画像データのずれ量である補正ずれ量を計算する。そして、ずれ補正装置１０は、撮影画像データに重畳させて、第１マークを表示するとともに、補正ずれ量だけ第１マークをずらした第２マークを表示する。
これにより、作業者が手動で撮影装置のずれを容易に補正することが可能になる。その結果、大きく撮影装置がずれてしまった場合にも、適切な位置に撮影装置を戻すことが可能である。
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、第１マークは四角形であった。しかし、第１マークは四角形に限らず、他の形状であってもよい。但し、第１マークは、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを表す形状である必要がある。
例えば、縦線と横線とを組み合わせた十字形では、ズームのずれ量を表すことができない。また、円形では、角度のずれ量を表すことができない。そのため、このような形状ではなく、三角形及び五角形といった頂点数の少ない多角形が望ましい。
＜変形例１＞
実施の形態１では、第１マークは四角形であった。しかし、第１マークは四角形に限らず、他の形状であってもよい。但し、第１マークは、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを表す形状である必要がある。
例えば、縦線と横線とを組み合わせた十字形では、ズームのずれ量を表すことができない。また、円形では、角度のずれ量を表すことができない。そのため、このような形状ではなく、三角形及び五角形といった頂点数の少ない多角形が望ましい。
＜変形例２＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
図４を参照して、変形例２に係るずれ補正装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、ずれ補正装置１０は、プロセッ
サ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、ずれ補正装置１０は、プロセッ
サ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
＜変形例３＞
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態２．
実施の形態２では、手動で補正された後に残った残存ずれ量について補正する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態２では、手動で補正された後に残った残存ずれ量について補正する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
＊＊＊構成の説明＊＊＊
図５を参照して、実施の形態２に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、受付部２６と、設定変更部２７とを備える点が図１に示すずれ補正装置１０と異なる。受付部２６と、設定変更部２６とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。
図５を参照して、実施の形態２に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、受付部２６と、設定変更部２７とを備える点が図１に示すずれ補正装置１０と異なる。受付部２６と、設定変更部２６とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。
＊＊＊動作の説明＊＊＊
図６及び図７を参照して、実施の形態２に係るずれ補正装置１０の動作を説明する。
実施の形態２に係るずれ補正装置１０の動作手順は、実施の形態２に係るずれ補正方法に相当する。また、実施の形態２に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態２に係るずれ補正プログラムに相当する。
図６及び図７を参照して、実施の形態２に係るずれ補正装置１０の動作を説明する。
実施の形態２に係るずれ補正装置１０の動作手順は、実施の形態２に係るずれ補正方法に相当する。また、実施の形態２に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態２に係るずれ補正プログラムに相当する。
ステップＳ２０１からステップＳ２０７の処理は、図２のステップＳ１０１からステップＳ１０７の処理と同じである。
但し、ステップＳ２０２では、初期設定部２１は、基準画像データを取得するとともに、設定データ記憶部３２から設定データを取得する。設定データは、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかが設定されている。初期設定部２１は、基準画像データと設定データとをメモリ１２に書き込む。
但し、ステップＳ２０２では、初期設定部２１は、基準画像データを取得するとともに、設定データ記憶部３２から設定データを取得する。設定データは、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかが設定されている。初期設定部２１は、基準画像データと設定データとをメモリ１２に書き込む。
（図６のステップＳ２０８：受付処理）
受付部２６は、手動によるずれの補正が完了したことを意味する完了通知の入力を受け付ける。
具体的には、ずれ補正装置１０の使用者によって撮影装置４１の補正が完了すると、使用者は完了通知をずれ補正装置１０に入力する。例えば、使用者は、タッチパネル又はキーボードを操作することにより、完了通知を入力する。すると、受付部２６は、完了通知
を受け付ける。
受付部２６は、完了通知を受け付けた場合には、処理をステップＳ２０９に進める。一方、受付部２６は、完了通知を受け付けていない場合には、処理をステップＳ２０４に戻して、次のフレームの撮影画像データを対象画像データとして処理を実行させる。
受付部２６は、手動によるずれの補正が完了したことを意味する完了通知の入力を受け付ける。
具体的には、ずれ補正装置１０の使用者によって撮影装置４１の補正が完了すると、使用者は完了通知をずれ補正装置１０に入力する。例えば、使用者は、タッチパネル又はキーボードを操作することにより、完了通知を入力する。すると、受付部２６は、完了通知
を受け付ける。
受付部２６は、完了通知を受け付けた場合には、処理をステップＳ２０９に進める。一方、受付部２６は、完了通知を受け付けていない場合には、処理をステップＳ２０４に戻して、次のフレームの撮影画像データを対象画像データとして処理を実行させる。
（図６のステップＳ２０９：第２画像取得処理）
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを後画像データとして取得する。つまり、後画像データは、第１マーク及び第２マークが表示され、使用者によって撮像装置４１の撮影領域が補正された後に撮影装置によって得られた撮影画像データである。画像取得部２２は、後画像データをメモリ１２に書き込む。
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを後画像データとして取得する。つまり、後画像データは、第１マーク及び第２マークが表示され、使用者によって撮像装置４１の撮影領域が補正された後に撮影装置によって得られた撮影画像データである。画像取得部２２は、後画像データをメモリ１２に書き込む。
（図６のステップＳ２１０：第３特徴抽出処理）
特徴抽出部２３は、ステップＳ２０９で取得された後画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、後画像データをメモリ１２から読み出す。特徴抽出部２３は、後画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ２０３及びステップＳ２０５で用いた方法と同じ方法により、後画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、後画像データの複数の特徴点としてメモリ１２に書き込む。
特徴抽出部２３は、ステップＳ２０９で取得された後画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、後画像データをメモリ１２から読み出す。特徴抽出部２３は、後画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ２０３及びステップＳ２０５で用いた方法と同じ方法により、後画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、後画像データの複数の特徴点としてメモリ１２に書き込む。
（図６のステップＳ２１１：残存ずれ量特定処理）
ずれ特定部２４は、ステップＳ２１０で後画像データから抽出された複数の特徴点と、ステップＳ２０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する後画像データのずれ量を残存ずれ量として特定する。
具体的には、ずれ特定部２４は、後画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、ステップＳ２０６と同様に、後画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。そして、ずれ特定部２４は、ステップＳ２０６と同様に、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの残存ずれ量を表す透視投影変換行列を計算する。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。
ずれ特定部２４は、ステップＳ２１０で後画像データから抽出された複数の特徴点と、ステップＳ２０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する後画像データのずれ量を残存ずれ量として特定する。
具体的には、ずれ特定部２４は、後画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、ステップＳ２０６と同様に、後画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。そして、ずれ特定部２４は、ステップＳ２０６と同様に、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの残存ずれ量を表す透視投影変換行列を計算する。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。
（図６のステップＳ２１２：設定変更処理）
設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ２１１で特定された残存ずれ量だけずらして設定する。
具体的には、設定変更部２７は、残存ずれ量と設定データとをメモリ１２から読み出す。ここでは、設定データは、マスク領域を示すものとする。設定変更部２７は、設定データが示すマスク領域を残存ずれ量だけずらした上で、設定データを設定データ記憶部３２に上書き保存する。
なお、ここでは、設定データは、マスク領域を示した。しかし、設定データが検知領域を示す場合には、設定変更部２７は検知領域を残存ずれ量だけずらす。また、設定データが検知領域及びマスク領域を示す場合には、設定変更部２７は、検知領域及びマスク領域を残存ずれ量だけずらす。
設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ２１１で特定された残存ずれ量だけずらして設定する。
具体的には、設定変更部２７は、残存ずれ量と設定データとをメモリ１２から読み出す。ここでは、設定データは、マスク領域を示すものとする。設定変更部２７は、設定データが示すマスク領域を残存ずれ量だけずらした上で、設定データを設定データ記憶部３２に上書き保存する。
なお、ここでは、設定データは、マスク領域を示した。しかし、設定データが検知領域を示す場合には、設定変更部２７は検知領域を残存ずれ量だけずらす。また、設定データが検知領域及びマスク領域を示す場合には、設定変更部２７は、検知領域及びマスク領域を残存ずれ量だけずらす。
図７に示すように、窓５３がマスク領域５４として指定されているとする。この場合には、残存ずれ量だけマスク領域５４が窓５３からずれた状態になっている。そのため、対象物を検知する対象外の領域である窓５３の一部部分についても、対象物の検知が行われてしまう。また、対象物を検知する対象の一部の領域についても、対象物の検知が行われなくなってしまう。その結果、誤検知及び検知漏れが発生する可能性がある。
しかし、設定変更部２７は、マスク領域を残存ずれ量だけずらして設定する。そのため
、マスク領域５４が窓５３に一致した状態になり、窓５３部分については対象物の検知が行われなくなり、その他の部分については対象物の検知が行われるようになる。
しかし、設定変更部２７は、マスク領域を残存ずれ量だけずらして設定する。そのため
、マスク領域５４が窓５３に一致した状態になり、窓５３部分については対象物の検知が行われなくなり、その他の部分については対象物の検知が行われるようになる。
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係るずれ補正装置１０は、手動での補正後に残っている残存ずれ量だけマスク領域等を補正する。これにより、手動での補正では補正しきれなかった細かなずれについても補正することが可能である。
例えば、手動では、１ピクセルといった細かなずれがなくなるほど正確に撮影装置４１をずらすことは難しい可能性がある。しかし、実施の形態２に係るずれ補正装置１０は、手動では補正しきれなかったずれを補正するため、精度よく対象物の検知が可能になる。
以上のように、実施の形態２に係るずれ補正装置１０は、手動での補正後に残っている残存ずれ量だけマスク領域等を補正する。これにより、手動での補正では補正しきれなかった細かなずれについても補正することが可能である。
例えば、手動では、１ピクセルといった細かなずれがなくなるほど正確に撮影装置４１をずらすことは難しい可能性がある。しかし、実施の形態２に係るずれ補正装置１０は、手動では補正しきれなかったずれを補正するため、精度よく対象物の検知が可能になる。
＊＊＊他の構成＊＊＊
＜変形例４＞
撮影画像データを背景画像データと比較して対象物を検出する場合には、ステップＳ２０９で取得された後画像データを新たな背景画像データとして設定する。これにより、手動での補正が終わった後に得られた撮影画像データが新たな背景画像データとして設定されることになる。手動での補正により基準画像データが示す位置とは多少ずれがある場合にも、背景画像データを取得し直すことにより、適切に対象物を検出することが可能になる。
但し、後画像データに対象物が映っている場合には、後画像データは背景画像データには適さない。そのため、この場合には、図６のステップＳ２１２の後に取得された、対象物が映っていない撮影画像データを背景画像データとして設定する必要がある。
＜変形例４＞
撮影画像データを背景画像データと比較して対象物を検出する場合には、ステップＳ２０９で取得された後画像データを新たな背景画像データとして設定する。これにより、手動での補正が終わった後に得られた撮影画像データが新たな背景画像データとして設定されることになる。手動での補正により基準画像データが示す位置とは多少ずれがある場合にも、背景画像データを取得し直すことにより、適切に対象物を検出することが可能になる。
但し、後画像データに対象物が映っている場合には、後画像データは背景画像データには適さない。そのため、この場合には、図６のステップＳ２１２の後に取得された、対象物が映っていない撮影画像データを背景画像データとして設定する必要がある。
実施の形態３．
実施の形態３では、ずれ量が大きい場合にのみ手動での補正を行う点が実施の形態２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、ずれ量が大きい場合にのみ手動での補正を行う点が実施の形態２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
＊＊＊構成の説明＊＊＊
図８を参照して、実施の形態３に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、判定部２８と、通知部２９とを備える点が図５に示すずれ補正装置１０と異なる。判定部２８と通知部２９とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。
図８を参照して、実施の形態３に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、判定部２８と、通知部２９とを備える点が図５に示すずれ補正装置１０と異なる。判定部２８と通知部２９とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。
＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態３に係るずれ補正装置１０の動作を説明する。
実施の形態３に係るずれ補正装置１０の動作手順は、実施の形態３に係るずれ補正方法に相当する。また、実施の形態３に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態３に係るずれ補正プログラムに相当する。
図９を参照して、実施の形態３に係るずれ補正装置１０の動作を説明する。
実施の形態３に係るずれ補正装置１０の動作手順は、実施の形態３に係るずれ補正方法に相当する。また、実施の形態３に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態３に係るずれ補正プログラムに相当する。
ステップＳ３０１からステップＳ３０６の処理は、図６のステップＳ２０１からステップＳ２０６の処理と同じである。
（図９のステップＳ３０７：判定処理）
判定部２８は、ステップＳ３０６で特定された補正ずれ量が基準ずれ量よりも大きいか否かを判定する。
具体的には、補正ずれ量に含まれるＸ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのそれぞれについて基準ずれ量が事前に設定される。つまり、Ｘ軸方向のずれ量についての基準ずれ量と、Ｙ軸方向のずれ量についての基準ずれ量と、ズームのずれ量についての基準ずれ量と、角度のずれ量についての基準ずれ量とが事前に設定
される。基準ずれ量は、どの程度のずれであれば、撮影装置４１を手動で補正することなく、設定データの補正だけで対応可能かによって定められる。そして、判定部２８は、Ｘ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのうち、少なくともいずれかが基準ずれ量よりも大きいか否かを判定する。
判定部２８は、少なくともいずれかが基準ずれ量よりも大きい場合には、処理をステップＳ３０８に進める。一方、判定部２８は、いずれも基準ずれ量以下である場合には、処理をステップＳ３１０に進める。
判定部２８は、ステップＳ３０６で特定された補正ずれ量が基準ずれ量よりも大きいか否かを判定する。
具体的には、補正ずれ量に含まれるＸ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのそれぞれについて基準ずれ量が事前に設定される。つまり、Ｘ軸方向のずれ量についての基準ずれ量と、Ｙ軸方向のずれ量についての基準ずれ量と、ズームのずれ量についての基準ずれ量と、角度のずれ量についての基準ずれ量とが事前に設定
される。基準ずれ量は、どの程度のずれであれば、撮影装置４１を手動で補正することなく、設定データの補正だけで対応可能かによって定められる。そして、判定部２８は、Ｘ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのうち、少なくともいずれかが基準ずれ量よりも大きいか否かを判定する。
判定部２８は、少なくともいずれかが基準ずれ量よりも大きい場合には、処理をステップＳ３０８に進める。一方、判定部２８は、いずれも基準ずれ量以下である場合には、処理をステップＳ３１０に進める。
（図９のステップＳ３０８：通知処理）
通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを、ずれ補正装置１０の使用者に通知する。具体例としては、通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを示すメッセージ等を、通信インタフェース１４を介して表示装置４２に送信する。
通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを、ずれ補正装置１０の使用者に通知する。具体例としては、通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを示すメッセージ等を、通信インタフェース１４を介して表示装置４２に送信する。
（図９のステップＳ３０９：第１補正処理）
ずれ補正装置１０は、図６のステップＳ２０４からステップＳ２１２の処理を実行する。これにより、補正ずれ量を示す第１マーク及び第２マークを参照して、手動で補正がされた後に、残存ずれ量の補正が行われる。
あるいはステップＳ３０８で補正ずれ量が基準ずれ量より大きいことをずれ補正装置１０の使用者に通知した後、以降の処理は使用者に委ねるようにし、ステップＳ３０９の処理を省略して終了するように構成してもよい。つまり、ずれ量が大きい場合、図６のステップＳ２０４からステップＳ２１２の処理を実行するとしても、実行のタイミングは使用者に委ねるように構成してもよい。
ずれ補正装置１０は、図６のステップＳ２０４からステップＳ２１２の処理を実行する。これにより、補正ずれ量を示す第１マーク及び第２マークを参照して、手動で補正がされた後に、残存ずれ量の補正が行われる。
あるいはステップＳ３０８で補正ずれ量が基準ずれ量より大きいことをずれ補正装置１０の使用者に通知した後、以降の処理は使用者に委ねるようにし、ステップＳ３０９の処理を省略して終了するように構成してもよい。つまり、ずれ量が大きい場合、図６のステップＳ２０４からステップＳ２１２の処理を実行するとしても、実行のタイミングは使用者に委ねるように構成してもよい。
（図９のステップＳ３１０：第２補正処理）
図６のステップＳ２１２の処理と同様に、設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ３０６で特定された補正ずれ量だけずらして設定する。
図６のステップＳ２１２の処理と同様に、設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ３０６で特定された補正ずれ量だけずらして設定する。
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係るずれ補正装置１０は、ずれ量が大きい場合にのみ手動で撮影装置４１の補正を行い、ずれ量が小さい場合には設定データの補正だけを行う。これにより、ずれの補正にかかる手間を減らすことが可能である。
例えば、管理している撮影装置４１が１０００台以上のように多数存在する場合がある。この場合には、全ての撮影装置４１について手動で補正を行うには、手間がかかってしまう。しかし、実施の形態３に係るずれ補正装置１０では、必要になった場合にのみ手動で補正をすればよいので、手間を減らすことができる。
以上のように、実施の形態３に係るずれ補正装置１０は、ずれ量が大きい場合にのみ手動で撮影装置４１の補正を行い、ずれ量が小さい場合には設定データの補正だけを行う。これにより、ずれの補正にかかる手間を減らすことが可能である。
例えば、管理している撮影装置４１が１０００台以上のように多数存在する場合がある。この場合には、全ての撮影装置４１について手動で補正を行うには、手間がかかってしまう。しかし、実施の形態３に係るずれ補正装置１０では、必要になった場合にのみ手動で補正をすればよいので、手間を減らすことができる。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
１０ ずれ補正装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 初期設定部、２２ 画像取得部、２３ 特徴抽出部、２４ ずれ特定部、２５ 表示部、２６ 受付部、２７ 設定変更部、２８ 判定部、２９ 通知部、３１ 基準データ記憶部、３２ 設定データ記憶部、４１ 撮影装置、４２ 表示装置、５１ 第１マーク、５２ 第２マーク、５３ 窓、５４ マスク領域。
Claims (13)
- １台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定部によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部と
を備えるずれ補正装置。 - 前記補正ずれ量は、前記１台の撮影装置の平行移動によるずれと、撮影方向のずれと、撮影領域の広さのずれとの少なくともいずれかを表す
請求項１に記載のずれ補正装置。 - 前記表示部は、前記補正ずれ量を数値化した誤差値を表示する
請求項１又は２に記載のずれ補正装置。 - 前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に前記１台の撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記ずれ補正装置は、さらに、
前記１台の撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する設定変更部
を備える請求項１から３までのいずれか１項に記載のずれ補正装置。 - 前記ずれ補正装置は、さらに、
手動によるずれの補正が完了した完了通知の入力を受け付ける受付部
を備え、
前記後画像データは、前記受付部によって前記完了通知の入力が受け付けられた後に前記１台の撮影装置によって得られた撮影画像データである
請求項４に記載のずれ補正装置。 - 撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更部と
を備えるずれ補正装置。 - 前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部を備える請求項６に記載のずれ補正装置。 - 前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、通知する通知部
を備える請求項６又は７に記載のずれ補正装置。 - 前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記設定変更部は、前記検知領域と前記マスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する
請求項７に記載のずれ補正装置。 - 特徴抽出部が、１台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
表示部が、前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示するずれ補正方法。 - 特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
設定変更部が、前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定するずれ補正方法。 - １台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定処理によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示処理と
を行うずれ補正装置としてコンピュータを機能させるずれ補正プログラム。 - 撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更処理と
を行うずれ補正装置としてコンピュータを機能させるずれ補正プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147244A JP6880294B2 (ja) | 2020-09-02 | 2020-09-02 | ずれ補正装置、ずれ補正方法及びずれ補正プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147244A JP6880294B2 (ja) | 2020-09-02 | 2020-09-02 | ずれ補正装置、ずれ補正方法及びずれ補正プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019166156A Division JP6768905B1 (ja) | 2019-09-12 | 2019-09-12 | ずれ補正装置、ずれ補正方法及びずれ補正プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021044802A JP2021044802A (ja) | 2021-03-18 |
| JP6880294B2 true JP6880294B2 (ja) | 2021-06-02 |
Family
ID=74862649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020147244A Active JP6880294B2 (ja) | 2020-09-02 | 2020-09-02 | ずれ補正装置、ずれ補正方法及びずれ補正プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6880294B2 (ja) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005064699A (ja) * | 2003-08-08 | 2005-03-10 | Olympus Corp | カメラ |
| JP2008256414A (ja) * | 2007-04-02 | 2008-10-23 | Nissan Motor Co Ltd | 複数のカメラの位置調整装置及び位置調整方法 |
| JP5084339B2 (ja) * | 2007-04-20 | 2012-11-28 | 三洋電機株式会社 | ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器 |
| JP2012065027A (ja) * | 2010-09-14 | 2012-03-29 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
| JP6103526B2 (ja) * | 2013-03-15 | 2017-03-29 | オリンパス株式会社 | 撮影機器，画像表示機器，及び画像表示機器の表示制御方法 |
-
2020
- 2020-09-02 JP JP2020147244A patent/JP6880294B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021044802A (ja) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
| US11790583B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2009135921A (ja) | 画像投影装置及び画像投影方法 | |
| JP2002203243A (ja) | 画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラム | |
| JP6768905B1 (ja) | ずれ補正装置、ずれ補正方法及びずれ補正プログラム | |
| JP5414620B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び集積回路 | |
| JP6880294B2 (ja) | ずれ補正装置、ずれ補正方法及びずれ補正プログラム | |
| JP2009110070A (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
| WO2021084797A1 (ja) | 物体検出装置、物体検出方法、物体検出プログラム及び学習装置 | |
| JP4686624B2 (ja) | 情報処理装置、画像処理方法およびプログラム | |
| US20140267806A1 (en) | Device and method for processing video content | |
| US10834281B2 (en) | Document size detecting by matching between image of entire document and read size image | |
| JP3796356B2 (ja) | カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| US11176720B2 (en) | Computer program, image processing method, and image processing apparatus | |
| US11107197B2 (en) | Apparatus for processing image blurring and method thereof | |
| JP2017173048A (ja) | 被検査対象物の検査装置及び検査方法 | |
| JP2009098867A (ja) | 文字列認識方法、コンピュータプログラム、記憶媒体 | |
| JP2020165114A (ja) | 石材位置特定プログラム、石材位置特定システム、及び石材位置特定装置 | |
| JP5636966B2 (ja) | 誤差検出装置及び誤差検出プログラム | |
| WO2023073972A1 (ja) | 領域検出装置、領域検出方法、及びプログラム | |
| JP2007328652A (ja) | 画像処理装置および画像処理プログラム | |
| JPH0894534A (ja) | パターン欠陥検出装置 | |
| JP2007048194A (ja) | 画像処理方法および画像処理装置 | |
| JP6639120B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2005173940A (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210430 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6880294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |