JP5311033B2 - 対象物体の厚さの推定方法 - Google Patents
対象物体の厚さの推定方法 Download PDFInfo
- Publication number
- JP5311033B2 JP5311033B2 JP2009059630A JP2009059630A JP5311033B2 JP 5311033 B2 JP5311033 B2 JP 5311033B2 JP 2009059630 A JP2009059630 A JP 2009059630A JP 2009059630 A JP2009059630 A JP 2009059630A JP 5311033 B2 JP5311033 B2 JP 5311033B2
- Authority
- JP
- Japan
- Prior art keywords
- binocular
- image
- parallax
- wavelet
- thickness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
その結果、人間が対象物体を観察することによって感じることのできる“物体のそのものらしさ”−いわゆる質感− までをも再現可能な画像・映像技術の開発が求められるようになった。
従来なら、例えば素材の「厚み」に関しては、繊維機械に代表される厚さ測定装置が開発されているが、これらは圧力センサー等のようにその素材に実際に接触する必要性のあるデバイス(以下では単に接触デバイスと称する)を利用して、厚さを直接的に計測する直接的手段である。
他方、その物体には実際に接触する必要が無い、例えば、ステレオカメラ等を用いたいわゆる三角測量技術に基づいてその物体の三次元構造を計測する技術も開発されており、例えば、貴重な建造物を計測して画像データとして保存するデジタル・アーカイブの分野、等で応用され役立っている。
ちなみに、文献技術として(必ずしも「厚み」に拘った技術ではないが)、例えば、自然光と同質の光線を用いつつ、正確な両眼視差情報の獲得により認識される良好な立体映像を形成可能と云う3次元表示装置に関する発明が有り特許文献1に記載されている。
従って、人間が手に取って観察するような対象物体、例えば茶碗などの陶磁器や、布地・毛皮・織物、透明な層を持った物体などの厚さを非接触で計測することは未だ困難な問題であった。
[a1]所定の視差角θでのステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像(左眼画像および右眼画像)を撮影し、
[a2]前記両眼画像のそれぞれについて、周波数変換を施して、元の前記両眼画像の空間周波数をn個の周波数レベルにそれぞれ分解して、
[a3]前記分解レベル1〜nのうち、注目する分解レベルの周波数成分に前記周波数変換の逆変換を施すことにより、注目する周波数成分だけで再構成画像を構成して、
[a4]各分解レベルにおいて、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対象物体上の同一点間の平行移動量を算出して両眼視差量として、
[a5]前記視差角θを一定の割合で変化させて前記[a1]〜[a4]を複数回繰り返して、得られる複数の視差角に対する対象物の両眼視差量に基づいて、
前記複数の視差角に対する対象物の両眼視差量から、各分解レベルごとに視差角の変化に対する両眼視差量の変化率を計算し、両眼視差量の変化率が、一定の値以下であれば奥行きあるいは厚みが小さいと判定し、一定の値以上であれば奥行きあるいは厚みが大きいと判定すること、を特徴とする対象物体の厚さの推定方法である。
尚、ここで視差角とは、対象物の同一の点を左眼画像と右眼画像を撮像した際に生じる各視軸の角度の差分である。
尚、ここで両眼視差とは、ある対象を固視しているときの左眼の視軸(あるいは視線)と右眼の視軸(あるいは視線)の方向の差をいい、それぞれの眼の節点が対象に対して張る角度で表される。(「視覚情報処理ハンドブック」、日本視覚学会編、朝倉書店 より)
本発明では、非接触で対象物の厚さを推定するために、人間の眼の機構を参考にして両眼視差に着目し、それに相当する物理量を得るために撮像装置によるステレオ撮像法を応用して、画像処理の問題に定式化する。
前記周波数変換としてウェーブレット変換を適用し、前記両眼画像それぞれについてウェーブレット変換をn回繰り返して(このときの各ウェーブレット変換をそれぞれ分解レベル1〜nと呼ぶ)、元の前記両眼画像の空間周波数の1/2倍、1/4倍、・・・、1/2 n 倍の周波数成分にそれぞれ分解して、各分解レベルごとにウェーブレット係数を得る、分解段階と、
前記分解レベル1〜nのうち、注目する分解レベルのウェーブレット係数には1を乗じ、その他のウェーブレット係数には0を乗じて、ウェーブレット逆変換をn回繰り返すことにより、注目する周波数成分だけを再構成した再構成画像を得る画像再構成段階と、
を具備してなること、を特徴とする請求項1に記載の対象物体の厚さの推定方法である。
[b1]所定の視差角θでのステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像(左眼画像および右眼画像)を撮影するステレオ撮像段階と、
[b2]前記両眼画像のそれぞれについて、ウェーブレット変換をn回繰り返して(このときの各ウェーブレット変換をそれぞれ分解レベル1〜nと呼ぶ)、元の前記両眼画像の空間周波数の1/2倍、1/4倍、・・・、1/2 n 倍の周波数成分にそれぞれ分解して、各分解レベルごとにウェーブレット係数を得る、分解段階と、
[b3]前記分解レベル1〜nのうち、注目する分解レベルのウェーブレット係数には1を乗じ、その他のウェーブレット係数には0を乗じて、ウェーブレット逆変換をn回繰り返すことにより、注目する周波数成分だけを再構成した再構成画像を得る画像再構成段階と、
[b4]各分解レベルにおいて、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対象物体上の同一点を検出する、対応点探索段階と、
[b5]前記対応点探索段階で得られた各分解レベルごとの対応点から平行移動量を計算して、これを両眼視差量とする、両眼視差量算出段階と、
[b6]前記視差角θを一定の割合で変化させて前記[b1]〜[b5]を複数回繰り返し、複数の視差角に対して対象物の両眼視差量を求める段階と、
[b7]前記[b6]で得られた複数の視差角に対する対象物の両眼視差量から、各分解レベルごとに視差角の変化に対する両眼視差量の変化率を求める両眼視差量変化率算出段階と、
[b8]前記[b7]で得られた両眼視差量の変化率が、一定の値以下であれば奥行きあるいは厚みが小さいと判定し、一定の値以上であれば奥行きあるいは厚みが大きいと判定する判定段階と、
を有すること、を特徴とする対象物体の厚さの推定方法である。
(a)面積に応じて撮像装置の数を適宜増やすことで、撮像する点(ポジション)を多数に増やしたうえ係るステレオ撮像を実現し、各々の2台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、(面積の大きくない対象物体の場合と)同様の効果を実現することが可能となる。
又は、(b)面積に応じて撮像装置の移動距離を適宜増やすことで、撮像する点(ポジション)を多数に増やしたうえ係るステレオ撮像を実現し、各々の2台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、(面積の大きくない対象物体の場合と)同様の効果を実現することが可能となる。
ここで(a)に関して述べる。本発明では、人間が比較的近距離で対象物を観察している場合を想定し、その場合の対象面の厚さを推定する有効な方法を提供する。対象面の面積は必然的に比較的小さなものになる。そのため、視距離が小さくて済むため、高解像度の撮像が可能になる。対象物の面の面積が大きくなると、面全体を撮像に収めることが困難になる。もし、光学的歪みを抑えながら(広角レンズを使わずに)面全体を収めるためには視距離を増す必要があり、そうすると、得られる撮像の解像度が低下してしまうことになる。そこで、高解像度撮像の得られる短い視距離で面を撮影するためには、面を細かく区切り、各部分毎に撮像することになる。その方法としては、多数の撮像装置を等間隔に並置して撮像する方法、および2台の撮像装置を各部分に応じて逐次平行移動しながら撮像する方法が考えられる。
尚、本発明をそのままスケールを拡大および縮小して適用することにより、より大きな厚みの推定およびより小さな厚みの推定を行なうことが可能である。(例えば、スケールを拡大する場合は、視距離・視差角を増大してより大きな面を撮像し、より低い周波数帯域の分析を行なって、より大きな厚さを推定することができる。逆に、スケールを縮小する場合は、視距離・視差角を縮小して、より小さな面をより高解像度で撮像し、より高い周波数帯域の分析を行なって、より小さな厚さを推定することができる。)
またこの他にも、本発明によれば、両眼立体視が可能な観察条件で、提示する画像や映像における対象物体の面に本発明の方法に基づいた周波数分布をもった両眼視差量を左右眼画像や左右眼映像に付与することにより、より現実感の高い表現が実現可能になる。
図1は、本発明で必要とする2枚の画像(左眼画像および右眼画像)を撮像するための撮像環境の一例である。
対象物体を点Pの位置に、2台の撮像装置をそれぞれ点LおよびRの位置に配置する。対象物体の面が凸状である場合、その上の位置は例えば点P’に移動する。その際、点P’を撮像するために2台の撮像装置はそれぞれ内側に輻輳する。両者の輻輳角の和が視差角となる。この視差角を様々に変化させて左目画像および右眼画像を撮像する。
尚、これはコンピュータ・ビジョン技術の分野では“輻輳ステレオ”という方法であるが、この他にも例えば撮像装置を平行に移動して撮像する“平行ステレオ”法を用いることも可能である。
ウェーブレット変換は、ツースケール関係と正規直交系条件をみたす2種類の関数(スケーリング関数とウェーブレット関数)を用いて信号を分解・生成する方法である。ウェーブレット変換の基本的内容は、例えば「非特許文献1」などで説明されている。又、ウェーブレットを構成するための関数系に関しては、例えば「非特許文献2」で説明されている。
ウェーブレット関数の例としては、Daubechiesウェーブレットや、カーディナル・スプライン・ウェーブレット、等がある。性質が素直で滑らかなウェーブレット関数は、本発明には好適である。
図3にDaubechiesウェーブレット(10次)のウェーブレット関数およびスケーリング関数の一例を示す。
図9から図11に、本発明の方法でDaubechies(10次)のウェーブレットを用いて、シルク、ウールおよびパイルの周波数成分再構成画像の例を示す。分解レベルは2,4,6の3つを示してある。各素材の周波数分布の差違、および各成分の二次元配置が見て取れる。
対応点探索の方法としてはいくつか考案されているが、本発明では、高いマッチング精度が必要であるため、高精度な方法を使用する。そのような方法としては、例えば「非特許文献3」の位相限定相関法がある。
この変化率の求め方の一例として、両眼視差量の変化率は、各分解レベル毎に(各周波数成分毎に)視差角変化に対する変化を加算平均することにより、次式によって求められる。
この場合には、素材毎に当該特徴ベクトルを算出し、統計的解析手法、例えば多変量解析手法の判別手法を適用することにより、素材間の距離を算出する。当該距離に基づいて素材の厚みの大小を対応付けることにより、素材の面を人間が観察した場合に感じる厚さを推定することが可能となる。
本発明の処理の流れ(フロー・チャート)を図4から図8に示す。
P ・・・対象物体の位置を示す点
P’ ・・対象物体が移動した位置を示す点
R ・・・2台の撮像装置の他方を配置する位置
Claims (3)
- [a1]所定の視差角θでのステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像(左眼画像および右眼画像)を撮影し、
[a2]前記両眼画像のそれぞれについて、周波数変換を施して、元の前記両眼画像の空間周波数をn個の周波数レベルにそれぞれ分解して、
[a3]前記分解レベル1〜nのうち、注目する分解レベルの周波数成分に前記周波数変換の逆変換を施すことにより、注目する周波数成分だけで再構成画像を構成して、
[a4]各分解レベルにおいて、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対象物体上の同一点間の平行移動量を算出して両眼視差量として、
[a5]前記視差角θを一定の割合で変化させて前記[a1]〜[a4]を複数回繰り返して、得られる複数の視差角に対する対象物の両眼視差量に基づいて、
前記複数の視差角に対する対象物の両眼視差量から、各分解レベルごとに視差角の変化に対する両眼視差量の変化率を計算し、両眼視差量の変化率が、一定の値以下であれば奥行きあるいは厚みが小さいと判定し、一定の値以上であれば奥行きあるいは厚みが大きいと判定すること、を特徴とする対象物体の厚さの推定方法。 - 前記周波数変換としてウェーブレット変換を適用し、前記両眼画像それぞれについてウェーブレット変換をn回繰り返して(このときの各ウェーブレット変換をそれぞれ分解レベル1〜nと呼ぶ)、元の前記両眼画像の空間周波数の1/2倍、1/4倍、・・・、1/2 n 倍の周波数成分にそれぞれ分解して、各分解レベルごとにウェーブレット係数を得る、分解段階と、
前記分解レベル1〜nのうち、注目する分解レベルのウェーブレット係数には1を乗じ、その他のウェーブレット係数には0を乗じて、ウェーブレット逆変換をn回繰り返すことにより、注目する周波数成分だけを再構成した再構成画像を得る画像再構成段階と、
を具備してなること、を特徴とする請求項1に記載の対象物体の厚さの推定方法。 - [b1]所定の視差角θでのステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像(左眼画像および右眼画像)を撮影するステレオ撮像段階と、
[b2]前記両眼画像のそれぞれについて、ウェーブレット変換をn回繰り返して(このときの各ウェーブレット変換をそれぞれ分解レベル1〜nと呼ぶ)、元の前記両眼画像の空間周波数の1/2倍、1/4倍、・・・、1/2 n 倍の周波数成分にそれぞれ分解して、各分解レベルごとにウェーブレット係数を得る、分解段階と、
[b3]前記分解レベル1〜nのうち、注目する分解レベルのウェーブレット係数には1を乗じ、その他のウェーブレット係数には0を乗じて、ウェーブレット逆変換をn回繰り返すことにより、注目する周波数成分だけを再構成した再構成画像を得る画像再構成段階と、
[b4]各分解レベルにおいて、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対象物体上の同一点を検出する、対応点探索段階と、
[b5]前記対応点探索段階で得られた各分解レベルごとの対応点から平行移動量を計算して、これを両眼視差量とする、両眼視差量算出段階と、
[b6]前記視差角θを一定の割合で変化させて前記[b1]〜[b5]を複数回繰り返し、複数の視差角に対して対象物の両眼視差量を求める段階と、
[b7]前記[b6]で得られた複数の視差角に対する対象物の両眼視差量から、各分解レベルごとに視差角の変化に対する両眼視差量の変化率を求める両眼視差量変化率算出段階と、
[b8]前記[b7]で得られた両眼視差量の変化率が、一定の値以下であれば奥行きあるいは厚みが小さいと判定し、一定の値以上であれば奥行きあるいは厚みが大きいと判定する判定段階と、
を有すること、を特徴とする対象物体の厚さの推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009059630A JP5311033B2 (ja) | 2009-03-12 | 2009-03-12 | 対象物体の厚さの推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009059630A JP5311033B2 (ja) | 2009-03-12 | 2009-03-12 | 対象物体の厚さの推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010210573A JP2010210573A (ja) | 2010-09-24 |
JP5311033B2 true JP5311033B2 (ja) | 2013-10-09 |
Family
ID=42970885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009059630A Expired - Fee Related JP5311033B2 (ja) | 2009-03-12 | 2009-03-12 | 対象物体の厚さの推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5311033B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160103230A (ko) | 2015-02-23 | 2016-09-01 | 부경대학교 산학협력단 | 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102607497B (zh) * | 2012-03-19 | 2015-09-16 | 柳州市智博科技有限公司 | 缫丝生产中生丝质量检测方法及系统 |
WO2016194177A1 (ja) * | 2015-06-03 | 2016-12-08 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000088558A (ja) * | 1998-09-17 | 2000-03-31 | Shiseido Co Ltd | 肌観察記録システム及び観察対象面の凹凸解析システム |
JP4133248B2 (ja) * | 2002-11-18 | 2008-08-13 | 株式会社コーセー | 肌のつやの評価方法 |
JP2008304225A (ja) * | 2007-06-05 | 2008-12-18 | Topcon Corp | 絵画表面計測装置及びその計測方法 |
-
2009
- 2009-03-12 JP JP2009059630A patent/JP5311033B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160103230A (ko) | 2015-02-23 | 2016-09-01 | 부경대학교 산학협력단 | 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2010210573A (ja) | 2010-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
US9230330B2 (en) | Three dimensional sensing method and three dimensional sensing apparatus | |
US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
WO2014073670A1 (ja) | 画像処理方法及び画像処理装置 | |
JP2019510311A (ja) | 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品 | |
JP5901447B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
CN105579809B (zh) | 测量方法、测量装置以及计算机可读记录介质 | |
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
Inoue et al. | Three-dimensional sound-field visualization system using head mounted display and stereo camera | |
JP5311033B2 (ja) | 対象物体の厚さの推定方法 | |
JP2018197674A (ja) | 計測装置の作動方法、計測装置、計測システム、3次元形状復元装置、およびプログラム | |
JP2008275366A (ja) | ステレオ3次元計測システム | |
JP2015019346A (ja) | 視差画像生成装置 | |
KR101226668B1 (ko) | 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 | |
JP2022524787A (ja) | 物体検出範囲推定のための、方法、システム、及びプログラム | |
US20230177771A1 (en) | Method for performing volumetric reconstruction | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
Papanikolaou et al. | Colour digital image correlation method for monitoring of cultural heritage objects with natural texture | |
JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
JP6162924B2 (ja) | 画像処理方法及び装置 | |
Ko et al. | Accurate depth estimation of skin surface using a light‐field camera toward dynamic haptic palpation | |
JP2009186369A (ja) | 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体 | |
KR20130057147A (ko) | 3차원 입체영상의 안정성 측정 장치 및 방법 | |
Xiao et al. | Performance characterization of a high-speed stereo vision sensor for acquisition of time-varying 3D shapes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130618 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5311033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |