JP6256475B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP6256475B2 JP6256475B2 JP2015537434A JP2015537434A JP6256475B2 JP 6256475 B2 JP6256475 B2 JP 6256475B2 JP 2015537434 A JP2015537434 A JP 2015537434A JP 2015537434 A JP2015537434 A JP 2015537434A JP 6256475 B2 JP6256475 B2 JP 6256475B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary line
- marker
- vertex
- pixel
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
(1−1)作業対象箇所や手順を記載した大量の紙媒体の作業手順書を作業現場に持って行き、作業者が必要な個所を自分で選択して参照すると共に、作業手順書の記載と現場の状況を見比べながら作業を実施する。この為、必要箇所の選択に時間がかかる、間違った箇所を選択する・見比べる時に見間違いが発生するなどの作業ミスが発生する。
(1−2)作業結果は、紙媒体のチェックシートへ記入して記録する。記録内容を電子化する作業負荷は大きいことから、紙媒体のチェックシートのまま作業結果が保存されることになる為、作業結果の整理や解析が難しくなる。
(2−1)電子化したマニュアルを格納した画像処理装置のカメラを用いて作業対象の物体を撮影するだけで、その作業対象の物体に関する作業箇所や手順を、ディスプレイの画像(カメラプレビュー画像と称しても良い)への表示情報(オブジェクトアイコンと称しても良い)の重畳表示という形でリアルタイムに表示して提示する。これにより、ユーザの作業時間の短縮と作業ミスの低減を図ることが可能となる。
(2−2)作業結果の記録作業は、作業対象の物体に関連付けて表示されている表示情報を、例えば、手指で押下して選択することで、作業結果の入力用画面に切り替えて実施する。作業結果の記録完了時において、既に作業結果は電子化されている為、作業結果のデータの整理や編集が容易になる。この様に、拡張現実感を用いた画像処理技術においては、作業現場における様々な作業効率化が期待されている。
(数1)
PCn = R(θx、θy、θz)・PMn+T
但し、上述の(数1)において、
T=(Tx、Ty、Tz)
R(θx、θy、θz)=Rx(θx,)・Ry(θy)・Rz(θz)であり、更に、
であるものとする。また、回転ベクトル(Rx、Ry、Rz)は、上記の回転行列R(θ x、θy、θz)から算出することが出来る。ここで、R(θx、θy、θz)は、上述の(数1)において、連立方程式を用いて算出することが出来る。例えば、マーカの4隅を用いる場合、4隅の各点は同一平面上にあること(Zn=0)を前提とすることで、1枚の画像中の4点分の点の座標が分かれば連立方程式を解くことが可能となる。この時、PMn=(Xn、Yn、Zn)、PCn=(xn、yn、zn)は、マーカの基準位置に基づいて一意的に係数をして定められる。この様に、並進ベクトルならびに回転ベクトルはマーカの基準位置に基づいて算出される。
図3は、第1の実施形態による画像処理装置1の機能ブロック図である。画像処理装置1は、取得部2、認識部3、記憶部4、生成部5、抽出部6、算出部7ならびに、表示部8を有する。なお、画像処理装置1は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路で構成しても良い。
(数2)
上述の(数2)を用いることで、並進ベクトルならびに回転ベクトルの算出誤差を低減させることが可能となる。
(数3)
上述の(数3)を用いることで、優先順位に応じた並進ベクトルならびに回転ベクトルの算出誤差を低減させることが可能となる。
図12は、第2の実施形態による画像処理装置1の機能ブロック図である。画像処理装置1は、取得部2、認識部3、記憶部4、生成部5、抽出部6、算出部7、ならびに規定部9を有する。なお、画像処理装置1は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路で構成しても良い。実施例2における規定部9以外の画像処理装置1の各機能部の機能は実施例1と同様である為、詳細な説明は省略する。
図14は、一つの実施形態による画像処理装置1として機能するコンピュータのハードウェア構成図である。図14に示す通り、画像処理装置1は、コンピュータ100、およびコンピュータ100に接続する入出力装置(周辺機器)を含んで構成される。
Device)である。更に、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
2 取得部
3 認識部
4 記憶部
5 生成部
6 抽出部
7 算出部
8 表示部
9 規定部
Claims (10)
- 第1画素領域と第2画素領域を含む画像パターンにより、表示情報と前記表示情報を表示する為の基準位置を規定するマーカを含む画像を取得する取得部と、
前記第1画素領域と前記第2画素領域が縦方向に連接する第1連接領域における、前記第1画素領域と前記第2画素領域とを区分する第1境界線と、前記第1連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域の第2境界線とに基づいて規定される第1線分と、前記第1画素領域と前記第2画素領域が横方向に連接する第2連接領域における、前記第1画素領域と前記第2画素領域とを区分する第3境界線と、前記第2連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域とを区分する第4境界線とに基づいて規定される第2線分と、の交点、前記第1画素領域を含む前記マーカの外縁の4隅形状の頂点を示す第1頂点、または、複数の前記第1画素領域の頂点若しくは複数の前記第2画素領域の頂点を示す第2頂点、を抽出する抽出部と、
前記第1頂点、前記第2頂点または前記交点を前記基準位置として前記表示情報の表示位置を算出する算出部と、
を備え、
前記第1線分は、前記第1境界線と前記第2境界線に平行かつ前記第1境界線と前記第2境界線の中点に基づいて規定され、
前記第2線分は、前記第3境界線と前記第4境界線に平行かつ前記第3境界線と前記第4境界線の中点に基づいて規定されることを特徴とする画像処理装置。 - 前記第2頂点は、複数の前記第1画素領域が連接、または複数の前記第2画素領域が連接した多角形状の頂点を含むことを特徴とする請求項1記載の画像処理装置。
- 前記抽出部は、前記交点、前記第1頂点、前記第2頂点の順に優先度を付与し、
前記算出部は、前記優先度に基づいて前記表示位置を算出することを特徴とする請求項1または請求項2記載の画像処理装置。 - 前記抽出部は、前記第2頂点を形成する長辺と短辺を抽出し、前記短辺が長い順に複数の前記第2頂点に対して優先度を付与することを特徴とする請求項2記載の画像処理装置。
- 前記抽出部は、複数の前記第1画素領域と、複数の前記第2画素領域同士が互いに対向する市松形状の中心点を前記交点として抽出することを特徴とする請求項1乃至請求項4の何れか一項に記載の画像処理装置。
- 前記抽出部は、複数の市松形状の縁辺を抽出し、前記縁辺が長い順に複数の前記交点に対して優先度を付与することを特徴とする請求項2または請求項3記載の画像処理装置。
- 前記取得部が取得するマーカからマーカIDを認識する認識部と、
前記マーカIDから、マーカパターンを生成する生成部と、を更に含み、
前記抽出部は、前記マーカパターンに含まれる前記4隅形状、前記市松形状、または前記多角形状と、前記マーカに含まれる前記4隅形状、前記市松形状、または前記多角形状とを対応付けて、前記第1頂点、前記第2頂点、または前記交点を抽出することを特徴とする請求項6記載の画像処理装置。 - 前記表示位置の算出に用いられた前記交点、前記第1頂点、または、前記第2頂点の数に基づいて、前記表示情報を表示する並進ベクトルまたは回転ベクトルの信頼度を規定する規定部、
を更に備えることを特徴とする請求項1乃至請求項7の何れか一項に記載の画像処理装置。 - 第1画素領域と第2画素領域を含む画像パターンにより、表示情報と前記表示情報を表示する為の基準位置を規定するマーカを含む画像を取得し、
前記第1画素領域と前記第2画素領域が縦方向に連接する第1連接領域における、前記第1画素領域と前記第2画素領域とを区分する第1境界線と、前記第1連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域の第2境界線とに基づいて規定される第1線分と、前記第1画素領域と前記第2画素領域が横方向に連接する第2連接領域における、前記第1画素領域と前記第2画素領域とを区分する第3境界線と、前記第2連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域とを区分する第4境界線とに基づいて規定される第2線分と、の交点、前記第1画素領域を含む前記マーカの外縁の4隅形状の頂点を示す第1頂点、または、複数の前記第1画素領域の頂点若しくは複数の前記第2画素領域の頂点を示す第2頂点、を抽出し、
前記第1頂点、前記第2頂点または前記交点を前記基準位置として前記表示情報の表示位置を算出し、
前記第1線分は、前記第1境界線と前記第2境界線に平行かつ前記第1境界線と前記第2境界線の中点に基づいて規定され、
前記第2線分は、前記第3境界線と前記第4境界線に平行かつ前記第3境界線と前記第4境界線の中点に基づいて規定されることを特徴とする画像処理方法。 - コンピュータに、
第1画素領域と第2画素領域を含む画像パターンにより、表示情報と前記表示情報を表示する為の基準位置を規定するマーカを含む画像を取得する処理と、
前記第1画素領域と前記第2画素領域が縦方向に連接する第1連接領域における、前記第1画素領域と前記第2画素領域とを区分する第1境界線と、前記第1連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域の第2境界線とに基づいて規定される第1線分と、前記第1画素領域と前記第2画素領域が横方向に連接する第2連接領域における、前記第1画素領域と前記第2画素領域とを区分する第3境界線と、前記第2連接領域に対してそれぞれ点対称となる前記第1画素領域と前記第2画素領域とを区分する第4境界線とに基づいて規定される第2線分と、の交点、前記第1画素領域を含む前記マーカの外縁の4隅形状の頂点を示す第1頂点、または、複数の前記第1画素領域の頂点若しくは複数の前記第2画素領域の頂点を示す第2頂点、を抽出する処理と、
前記第1頂点、前記第2頂点または前記交点を前記基準位置として前記表示情報の表示位置を算出する処理と、
を実行させ、
前記第1線分は、前記第1境界線と前記第2境界線に平行かつ前記第1境界線と前記第2境界線の中点に基づいて規定され、
前記第2線分は、前記第3境界線と前記第4境界線に平行かつ前記第3境界線と前記第4境界線の中点に基づいて規定されることを特徴とする画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/005597 WO2015040657A1 (ja) | 2013-09-20 | 2013-09-20 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015040657A1 JPWO2015040657A1 (ja) | 2017-03-02 |
JP6256475B2 true JP6256475B2 (ja) | 2018-01-10 |
Family
ID=52688346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015537434A Active JP6256475B2 (ja) | 2013-09-20 | 2013-09-20 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9704246B2 (ja) |
EP (1) | EP3048555B1 (ja) |
JP (1) | JP6256475B2 (ja) |
WO (1) | WO2015040657A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6759951B2 (ja) * | 2015-11-09 | 2020-09-23 | ぺんてる株式会社 | 学習支援プログラム、学習支援装置、学習ツール生成用帳面および学習ツール生成方法 |
AU2017222088B2 (en) * | 2016-02-24 | 2022-04-21 | Zünd Skandinavien Aps | CNC flatbed cutting machine, its method of operation, and a graphics sheet with a fiducial that indicates the orientation of the graphics sheet |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
CN107909567B (zh) * | 2017-10-31 | 2022-02-15 | 华南理工大学 | 数字图像的细长型连通区域提取方法 |
CN109344832B (zh) * | 2018-09-03 | 2021-02-02 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
JP7248490B2 (ja) * | 2019-04-24 | 2023-03-29 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、デバイスの位置および姿勢の推定方法 |
US11151792B2 (en) | 2019-04-26 | 2021-10-19 | Google Llc | System and method for creating persistent mappings in augmented reality |
US11163997B2 (en) * | 2019-05-05 | 2021-11-02 | Google Llc | Methods and apparatus for venue based augmented reality |
CN110910409B (zh) * | 2019-10-15 | 2023-10-27 | 平安科技(深圳)有限公司 | 一种灰度图像处理方法、装置和计算机可读存储介质 |
CN111508031B (zh) * | 2020-04-10 | 2023-11-21 | 中国科学院自动化研究所 | 特征自识别标定板 |
CN116957524B (zh) * | 2023-09-21 | 2024-01-05 | 青岛阿斯顿工程技术转移有限公司 | 一种技术转移过程中人才信息智能管理方法及系统 |
CN118135261B (zh) * | 2024-05-06 | 2024-08-06 | 浙江大学 | 一种超大规模版图的图形匹配方法及系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4119900A (en) * | 1973-12-21 | 1978-10-10 | Ito Patent-Ag | Method and system for the automatic orientation and control of a robot |
JP2940736B2 (ja) * | 1992-03-26 | 1999-08-25 | 三洋電機株式会社 | 画像処理装置及びこの画像処理装置における歪み補正方法 |
JP4147719B2 (ja) | 2000-04-07 | 2008-09-10 | マックス株式会社 | 釘打ち機のコンタクトアーム |
JP3423676B2 (ja) * | 2000-07-19 | 2003-07-07 | キヤノン株式会社 | 仮想対象物操作装置および仮想対象物操作方法 |
JP2001195597A (ja) | 2000-12-11 | 2001-07-19 | Mitsubishi Electric Corp | 画像処理装置 |
JP4532982B2 (ja) | 2004-05-14 | 2010-08-25 | キヤノン株式会社 | 配置情報推定方法および情報処理装置 |
US20070077987A1 (en) * | 2005-05-03 | 2007-04-05 | Tangam Gaming Technology Inc. | Gaming object recognition |
US9526587B2 (en) * | 2008-12-31 | 2016-12-27 | Intuitive Surgical Operations, Inc. | Fiducial marker design and detection for locating surgical instrument in images |
US7769236B2 (en) * | 2005-10-31 | 2010-08-03 | National Research Council Of Canada | Marker and method for detecting said marker |
KR20100038168A (ko) * | 2007-08-03 | 2010-04-13 | 각고호우징 게이오기주크 | 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
JP2010160056A (ja) | 2009-01-08 | 2010-07-22 | Fuji Xerox Co Ltd | 位置計測装置およびプログラム |
JP2010287174A (ja) * | 2009-06-15 | 2010-12-24 | Dainippon Printing Co Ltd | 家具シミュレーション方法、装置、プログラム、記録媒体 |
JP5062497B2 (ja) * | 2010-03-31 | 2012-10-31 | アイシン・エィ・ダブリュ株式会社 | 風景画像認識を用いた自車位置検出システム |
JP5472463B2 (ja) * | 2010-06-30 | 2014-04-16 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
JP5573618B2 (ja) * | 2010-11-12 | 2014-08-20 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
JP2011134343A (ja) * | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
-
2013
- 2013-09-20 WO PCT/JP2013/005597 patent/WO2015040657A1/ja active Application Filing
- 2013-09-20 JP JP2015537434A patent/JP6256475B2/ja active Active
- 2013-09-20 EP EP13893691.9A patent/EP3048555B1/en active Active
-
2016
- 2016-03-01 US US15/057,478 patent/US9704246B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3048555A4 (en) | 2017-03-08 |
JPWO2015040657A1 (ja) | 2017-03-02 |
US20160180536A1 (en) | 2016-06-23 |
US9704246B2 (en) | 2017-07-11 |
EP3048555B1 (en) | 2020-07-15 |
EP3048555A1 (en) | 2016-07-27 |
WO2015040657A1 (ja) | 2015-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6256475B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6417702B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6842039B2 (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
US9141873B2 (en) | Apparatus for measuring three-dimensional position, method thereof, and program | |
JP6089722B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20050151759A1 (en) | Systems and methods for directly generating a view using a layered approach | |
JP4001162B2 (ja) | 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置 | |
JP2017106959A (ja) | 投影装置、投影方法及び投影用コンピュータプログラム | |
TW201616451A (zh) | 點雲套索選取系統及方法 | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP6031819B2 (ja) | 画像処理装置、画像処理方法 | |
JP5935435B2 (ja) | 画像処理装置、画像処理方法 | |
JP6762570B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP4649559B2 (ja) | 3次元物体認識装置、並びに3次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体 | |
JP7020240B2 (ja) | 認識装置、認識システム、プログラムおよび位置座標検出方法 | |
JP7003617B2 (ja) | 推定装置、推定方法、及び推定プログラム | |
JP6579659B2 (ja) | 光源推定装置及びプログラム | |
JP7329951B2 (ja) | 画像処理装置およびその制御方法 | |
JP2016072691A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2009146150A (ja) | 特徴位置検出方法及び特徴位置検出装置 | |
JP6906177B2 (ja) | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 | |
JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6256475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |