JP5147980B1 - 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム - Google Patents
対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム Download PDFInfo
- Publication number
- JP5147980B1 JP5147980B1 JP2011209082A JP2011209082A JP5147980B1 JP 5147980 B1 JP5147980 B1 JP 5147980B1 JP 2011209082 A JP2011209082 A JP 2011209082A JP 2011209082 A JP2011209082 A JP 2011209082A JP 5147980 B1 JP5147980 B1 JP 5147980B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- photographing
- data
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 21
- 238000005259 measurement Methods 0.000 claims abstract description 55
- 239000003086 colorant Substances 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000036544 posture Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 29
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】レーザースキャナ11〜13による測定点の座標の測定と、カメラ14〜16による写真画像の撮影を行う。制御部19は、測定点のXYZ座標を求め、記録部18に格納する。色付き点群生成部22は、各写真画像毎に、記録部18に格納されている写真画像から色情報がマッピングされた座標点の群(色付き点群データ)を生成し、合成部24は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
【選択図】図1
Description
点位置(X,Y,Z),反射強度,…,GPS情報,色情報(RGB)
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置(撮影位置)を示す情報とを対応付けた点群データを作成する作成手段とを備えることを要旨とする。
各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置(撮影位置)を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、
抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色(描画色)を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、
各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置(撮影位置)を示す情報とを対応付けた点群データを作成する作成手段と、
作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色(描画色)を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
このため、表面の画像が反転することを避け、適切な画像として再生可能なデータを作成することができる。
なお、以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
この画像処理システムは、例えば道路付近の物体の形状の測定と画像の撮影を行う撮影装置10と、画像に基づく色情報を道路付近の物体の座標点にマッピングしたデータを作成するデータ作成装置20と、データ作成装置20が作成したデータに基づく画像の表示を行うデータ表示装置30とを備えている。
上述のように構成された画像処理システムでは、以下の3つの処理を、独立して実行する。
(1)測定・撮影処理
この処理では、複数の位置・姿勢から物体表面の座標点を測定し、複数の位置姿勢から物体の写真画像を撮影する。
(2)拡張色付き点群データの生成処理
この処理では、座標点毎に、撮影点の異なる複数の写真画像から求めた色と当該写真を撮影した位置を対応付けた拡張色付き点群データを作成する。
(3)再生処理
この処理では、外部のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積によって撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、CG画像を作成する。
撮影装置10により、測定・撮影を行う際には、例えば図4に示すように、所定のルートに従って自動車を走行させ、位置姿勢取得部17により、位置と姿勢を測定しながら、レーザースキャナ11〜13による道路周辺の物体の測定点の座標(座標点)の測定と、カメラ14〜16による道路周辺の写真画像の撮影を行う。
(2−1)色付き点群データの生成
データ作成装置20は、まず、例えば図7に示すように、記録部18に格納されている写真画像から色情報がマッピングされた座標点の群(色付き点群データ)を作成する。
上述のように色付き点群データが作成されると、合成部24は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、例えば図11及び図12に示すように、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
上述のように生成された拡張色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおいて、視点から見える2次元画像の画素値を求めるため等に用いることができる。
ここで、色情報(RGB値)として再生時の視点と近い方向から撮影したもの一つを使うものとすれば、上記式(1)のGiは次式によって求めることができる。
なお、色情報(RGB値)として(再生時の)視点と同じ方向から撮影したいくつかの値を、重み付けによって使うようにしてもよい。この場合は、Giを、上記式(2)の代わりに例えば次式によって求めるようにしてもよい。
上述の例では、レーザースキャナ11〜13によって、道路付近の物体の形状を測定していたが、これらの代わりに、移動前後の画像内の物体の位置の変化を用いて物体の形状を測定してもよい。上述のように、カメラが取り付けられた自動車が移動している場合、移動の前後の写真画像中に写っている物体の位置(厳密にはカメラの光軸に対する角度)の変化により、カメラから物体までの距離を求めることができる。具体的には、例えば写真画像中の特徴点を抽出し、移動前後のカメラの位置・姿勢の変化と、画像内の特徴点の位置の変化から三角測量と同じ原理により、当該特徴点までの距離を測定することができる。このため、移動に伴う自動車の位置・姿勢(当該写真画像を撮影したカメラの位置・姿勢)の変化と写真画像中の位置の変化とから、当該特徴点の座標を求め、上述の座標点としてもよい。
17 位置姿勢取得部
18 記録部
20 データ作成装置
22 色付き点群生成部
23 色付き点群データ保持部
24 合成部
25 拡張色付き点群データ保持部
30 データ再生装置
31 描画パラメータ指定部
33 描画色割り付け部
34 レンダリング部
Claims (3)
- 対象とする物体を同一点で複数のカメラで各々異なる方向から撮影した複数の撮影画像及びその撮影位置並びに各々の姿勢並びに前記各々のカメラが撮影した方向からの前記物体に対して各々発射したレーザに基づいた各々の前記物体の表面の座標点が記憶された記録部と、
物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と
を備えることを特徴とするデータ作成装置。 - 各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とするデータ再生装置。 - 物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と、
該作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とする画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209082A JP5147980B1 (ja) | 2011-09-26 | 2011-09-26 | 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209082A JP5147980B1 (ja) | 2011-09-26 | 2011-09-26 | 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5147980B1 true JP5147980B1 (ja) | 2013-02-20 |
JP2013069235A JP2013069235A (ja) | 2013-04-18 |
Family
ID=47890543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011209082A Active JP5147980B1 (ja) | 2011-09-26 | 2011-09-26 | 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5147980B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109643465A (zh) * | 2016-06-20 | 2019-04-16 | Cy游戏公司 | 用于创建混合现实环境的系统等 |
CN112384891A (zh) * | 2018-05-01 | 2021-02-19 | 联邦科学与工业研究组织 | 用于点云着色的方法和系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6389049B2 (ja) * | 2014-03-17 | 2018-09-12 | アジア航測株式会社 | レーザ点群色付方法及びレーザ点群色付プログラム |
US20160342861A1 (en) * | 2015-05-21 | 2016-11-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for Training Classifiers to Detect Objects Represented in Images of Target Environments |
DE102016100656A1 (de) | 2016-01-15 | 2017-07-20 | Fachhochschule Nordwestschweiz | Stereobilderfassungssystem |
JP6171079B1 (ja) | 2016-12-22 | 2017-07-26 | 株式会社Cygames | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 |
EP3716210B1 (en) * | 2017-11-20 | 2023-09-06 | Panasonic Intellectual Property Corporation of America | Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device |
JP7091844B2 (ja) * | 2018-05-30 | 2022-06-28 | 沖電気工業株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7153264B2 (ja) * | 2018-08-02 | 2022-10-14 | 三菱重工業株式会社 | 画像解析システム、画像解析方法及び画像解析プログラム |
JP7354706B2 (ja) * | 2019-09-10 | 2023-10-03 | 株式会社デンソー | 計測装置ユニット |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4486737B2 (ja) * | 2000-07-14 | 2010-06-23 | アジア航測株式会社 | モービルマッピング用空間情報生成装置 |
JP2002042158A (ja) * | 2000-07-28 | 2002-02-08 | Toshiba Corp | 画像合成装置および画像合成方法およびプログラムを記録した媒体 |
JP4437677B2 (ja) * | 2004-03-01 | 2010-03-24 | 三菱電機株式会社 | 景観表示装置 |
JP5322789B2 (ja) * | 2009-06-15 | 2013-10-23 | 三菱電機株式会社 | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム |
-
2011
- 2011-09-26 JP JP2011209082A patent/JP5147980B1/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109643465A (zh) * | 2016-06-20 | 2019-04-16 | Cy游戏公司 | 用于创建混合现实环境的系统等 |
CN109643465B (zh) * | 2016-06-20 | 2023-08-01 | Cy游戏公司 | 用于创建混合现实环境的系统、方法、显示装置、介质 |
CN112384891A (zh) * | 2018-05-01 | 2021-02-19 | 联邦科学与工业研究组织 | 用于点云着色的方法和系统 |
CN112384891B (zh) * | 2018-05-01 | 2024-04-26 | 联邦科学与工业研究组织 | 用于点云着色的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2013069235A (ja) | 2013-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147980B1 (ja) | 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム | |
US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
JP3624353B2 (ja) | 3次元形状計測方法およびその装置 | |
US9772405B2 (en) | Backfilling clouds of 3D coordinates | |
US20170132806A1 (en) | System and method for augmented reality and virtual reality applications | |
TWI496108B (zh) | AR image processing apparatus and method | |
KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
US20150302648A1 (en) | Systems and methods for mapping an environment using structured light | |
JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
US10204404B2 (en) | Image processing device and image processing method | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
JPH09187038A (ja) | 3次元形状抽出装置 | |
JP3524147B2 (ja) | 3次元画像表示装置 | |
JP2011254411A (ja) | 映像投影システムおよび映像投影プログラム | |
JP6589636B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP2010014718A (ja) | 対象物を3dデジタル化するための方法及び装置 | |
JP4306006B2 (ja) | 3次元データ入力方法及び装置 | |
RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
JP2017149126A (ja) | 携帯型直接印字式ハンディプリンタ | |
JP2015045751A (ja) | 投影装置 | |
CN113412612A (zh) | 信息处理装置、信息处理方法和记录介质 | |
JP2020017265A5 (ja) | ||
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
JPWO2012131862A1 (ja) | 画像処理装置、立体画像表示装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5147980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |