JP4902564B2 - マーカ検出識別装置およびそのプログラム - Google Patents
マーカ検出識別装置およびそのプログラム Download PDFInfo
- Publication number
- JP4902564B2 JP4902564B2 JP2008028336A JP2008028336A JP4902564B2 JP 4902564 B2 JP4902564 B2 JP 4902564B2 JP 2008028336 A JP2008028336 A JP 2008028336A JP 2008028336 A JP2008028336 A JP 2008028336A JP 4902564 B2 JP4902564 B2 JP 4902564B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- color
- invisible
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
加藤博一、他3名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Vol.4、No.4、pp.607-616、1999年 Hanhoon Park and Jong-Il Park, "Invisible Marker Tracking for AR," Proceedings of The Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR) 2004, pp.272-273, Washington, DC, USA, 2004. IEEE Computer Society.
なお、マーカ識別情報は、3次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラムであって、検出マーカ色情報生成手段は、画素ごとに各色の値を色平面座標に投影して累計した色ヒストグラムを検出マーカ色情報として生成する。
請求項1,3に記載の発明によれば、可視光画像には、不可視マーカが撮像されないため、撮像映像(画像)がマーカによって妨害されない。このため、本発明では、マーカを画像(映像)上で画像処理や手作業によって消去する必要がない。また、請求項1,3に記載の発明によれば、不可視光画像上で不可視マーカの位置を検出し、その位置に対応する不可視マーカが撮像されていない可視光画像における色特徴量に基づいて、不可視マーカを個々に識別するため、不可視マーカが存在する領域の色特徴量を精度よく抽出することができる。このため、本発明では、個々に配置した不可視マーカの位置における色特徴量から、精度よく不可視マーカを識別することができる。
最初に、図1を参照して、本発明の実施の形態に係るマーカ検出識別装置を含んだ映像処理システムの概要について説明する。図1は、映像処理システムの構成を示すブロック図である。映像処理システム1は、スタジオ等でカメラによって撮像された映像から、撮像対象に埋め込まれたマーカを検出し、個別に識別するものである。ここでは、映像処理システム1は、同軸撮像装置2と、マーカ検出識別装置3とを備えている。また、撮像対象となる領域には、不可視マーカMが埋め込まれている。
図3(a)に示した3次元色空間のR,G,B軸と、平面Pとの交点を、例えば、(1,0,0)、(0,1,0)、(0,0,1)とし、r,g,bをそれぞれR,G,B軸の変数としたとき、平面Pの方程式は以下の(1)式で表される。
r+g+b−1=0 …(1)式
(R,G,B)=(r,g,b)+k(1,1,1) …(2)式
k=−(r+g+b−1)/3 …(3)式
よって、前記(2)式および(3)式から、以下の(4)式の投影変換式が求められる。
R=r−(r+g+b−1)/3
G=g−(r+g+b−1)/3
B=b−(r+g+b−1)/3 …(4)式
この投影変換式を用いることで、マーカ検出識別装置3は、3次元色空間座標(r,g,b)の点を、平面Pの座標(R,G,B)の点に投影変換することができる。
次に、図4を参照(適宜図1参照)して、同軸撮像装置2(図1参照)の構成について説明する。図4は、同軸撮像装置の概略構成を示す構成図である。図4に示すように、同軸撮像装置2は、レンズ21と、分光器22と、赤外カメラ23と、カラーカメラ24とを備えている。なお、赤外カメラ23とカラーカメラ24とは、光軸が同じ(同光軸)で、レンズ主点が共役な位置になるように配置されている。
次に、図6を参照して、マーカ検出識別装置3(図1参照)の構成について説明する。図6は、本発明の実施の形態に係るマーカ検出識別装置の構成を示すブロック図である。図6に示すように、マーカ検出識別装置3は、記憶手段31と、赤外画像入力手段32と、カラー画像入力手段33と、マーカ検出手段34と、検出マーカ色情報生成手段35と、マーカ識別手段36とを備えている。
次に、図7を参照し(適宜図6参照)て、マーカ検出識別装置3の動作について説明する。図7は、本発明の実施の形態に係るマーカ検出識別装置の動作を示すフローチャートである。
以上の動作によって、マーカ検出識別装置3は、撮像画像から、精度よく不可視マーカMを検出し、個別に識別することができる。
次に、マーカ検出識別装置の応用例として、識別されたマーカから、カメラパラメータを推定するカメラパラメータ推定装置について説明する。ここでは、カメラとして、図8に示すような同軸撮像装置2Bを用いることとする。この同軸撮像装置2Bは、図4で説明した同軸撮像装置2のレンズ21を、ズームレンズであるレンズ21Bとして構成している。また、このレンズ21Bは、ズームリング211の回転量をロータリエンコーダ212のカウント値として出力する機能を有している。
これによって、カメラパラメータ推定装置4は、不可視マーカMを識別することで、カメラ(同軸撮像装置2B)のカメラパラメータを推定することができる。
2 同軸撮像装置
21 レンズ
22 分光器
23 赤外カメラ(不可視光撮像系)
24 カラーカメラ(可視光撮像系)
3 マーカ検出識別装置
31 記憶手段(マーカ識別情報記憶手段)
32 赤外画像入力手段
33 カラー画像入力手段
34 マーカ検出手段
35 検出マーカ色情報生成手段
36 マーカ識別手段
Claims (3)
- 不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、前記複数の不可視マーカを検出し、個別に識別するマーカ検出識別装置であって、
前記不可視マーカごとに、当該不可視マーカが配置されている位置の近傍領域における色特徴量をマーカ識別情報として予め記憶するマーカ識別情報記憶手段と、
前記不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を前記不可視マーカの位置として検出するマーカ検出手段と、
このマーカ検出手段で検出された不可視マーカの位置に対応する前記可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する検出マーカ色情報生成手段と、
この検出マーカ色情報生成手段で生成された検出マーカ色情報と、前記マーカ識別情報記憶手段に記憶されているマーカ識別情報との類似の度合に基づいて、前記不可視マーカを個別に識別するマーカ識別手段と、を備え、
前記マーカ識別情報は、前記不可視マーカが配置されている位置の近傍領域における各色の値を、3次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラムであって、
前記検出マーカ色情報生成手段は、前記不可視マーカの位置に対応する前記可視光画像の位置の近傍領域において、画素ごとに各色の値を前記色平面座標に投影して累計した色ヒストグラムを前記検出マーカ色情報として生成することを特徴とするマーカ検出識別装置。 - 前記マーカ識別情報記憶手段に、前記撮像対象を複数の位置で撮像した撮像画像における前記不可視マーカが配置されている近傍領域における各色の値を、色ヒストグラムの累計単位であるビンごとに平均化して、前記マーカ識別情報として記憶しておくことを特徴とする請求項1に記載のマーカ検出識別装置。
- 不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、前記複数の不可視マーカを検出し、個別に識別するために、コンピュータを、
前記不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を前記不可視マーカの位置として検出するマーカ検出手段、
このマーカ検出手段で検出された不可視マーカの位置に対応する前記可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する検出マーカ色情報生成手段、
この検出マーカ色情報生成手段で生成された検出マーカ色情報と、予め記憶手段に記憶されている前記不可視マーカが配置されている位置の近傍領域における色特徴量であるマーカ識別情報との類似の度合に基づいて、前記不可視マーカを個別に識別するマーカ識別手段、として機能させ、
前記マーカ識別情報は、前記不可視マーカが配置されている位置の近傍領域における各色の値を、3次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラムであって、
前記検出マーカ色情報生成手段は、前記不可視マーカの位置に対応する前記可視光画像の位置の近傍領域において、画素ごとに各色の値を前記色平面座標に投影して累計した色ヒストグラムを前記検出マーカ色情報として生成することを特徴とするマーカ検出識別プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008028336A JP4902564B2 (ja) | 2008-02-08 | 2008-02-08 | マーカ検出識別装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008028336A JP4902564B2 (ja) | 2008-02-08 | 2008-02-08 | マーカ検出識別装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009187412A JP2009187412A (ja) | 2009-08-20 |
JP4902564B2 true JP4902564B2 (ja) | 2012-03-21 |
Family
ID=41070562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008028336A Expired - Fee Related JP4902564B2 (ja) | 2008-02-08 | 2008-02-08 | マーカ検出識別装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4902564B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201909118A (zh) * | 2017-07-20 | 2019-03-01 | 日商倉敷紡績股份有限公司 | 線狀物的三維測量方法與裝置 |
JP6961506B2 (ja) * | 2018-01-31 | 2021-11-05 | セコム株式会社 | 画像処理装置 |
US10643329B2 (en) * | 2018-04-09 | 2020-05-05 | The Boeing Company | Automated paint quality control for aircraft |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0697459B2 (ja) * | 1991-06-20 | 1994-11-30 | インターナショナル・ビジネス・マシーンズ・コーポレイション | カラー画像領域管理装置及びカラー画像領域管理方法並びにカラー画像領域検索方法 |
JPH05312520A (ja) * | 1992-05-01 | 1993-11-22 | Anima Kk | 被検体部位の動作解析装置 |
JP3057004B2 (ja) * | 1996-06-19 | 2000-06-26 | 松下電工株式会社 | 追尾装置 |
JPH11296672A (ja) * | 1998-04-07 | 1999-10-29 | Dainippon Screen Mfg Co Ltd | 画像色情報抽出方法 |
JP2007241725A (ja) * | 2006-03-09 | 2007-09-20 | Nippon Hoso Kyokai <Nhk> | データ取得装置 |
-
2008
- 2008-02-08 JP JP2008028336A patent/JP4902564B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009187412A (ja) | 2009-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI253006B (en) | Image processing system, projector, information storage medium, and image processing method | |
US20070229850A1 (en) | System and method for three-dimensional image capture | |
US20160134851A1 (en) | Method and System for Projector Calibration | |
WO2010032792A1 (ja) | 3次元計測装置およびその方法 | |
US20150369593A1 (en) | Orthographic image capture system | |
CN110798677B (zh) | 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备 | |
JP2002259976A (ja) | 特定点検出方法及び装置 | |
JP2004144557A (ja) | 3次元視覚センサ | |
WO2014006545A1 (en) | 3-d scanning and positioning system | |
JP2002503338A (ja) | 位置検出 | |
JP2003281504A (ja) | 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム | |
JP2007018426A (ja) | 情報処理装置および方法 | |
JPWO2017168986A1 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
US20210374978A1 (en) | Capturing environmental scans using anchor objects for registration | |
JP6601489B2 (ja) | 撮像システム、撮像装置、撮像方法、及び撮像プログラム | |
JP2017504017A (ja) | 計測機器、システム、及びプログラム | |
US20200364900A1 (en) | Point marking using virtual fiducial elements | |
JP7173133B2 (ja) | カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム | |
US9336607B1 (en) | Automatic identification of projection surfaces | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP6963295B2 (ja) | 3次元情報取得装置 | |
JP4902564B2 (ja) | マーカ検出識別装置およびそのプログラム | |
JP6027952B2 (ja) | 拡張現実画像生成システム、3次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム | |
JP6550102B2 (ja) | 光源方向推定装置 | |
CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4902564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |