JPH07332970A - 画像処理方式 - Google Patents
画像処理方式Info
- Publication number
- JPH07332970A JPH07332970A JP14399994A JP14399994A JPH07332970A JP H07332970 A JPH07332970 A JP H07332970A JP 14399994 A JP14399994 A JP 14399994A JP 14399994 A JP14399994 A JP 14399994A JP H07332970 A JPH07332970 A JP H07332970A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- computer
- similarity
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【目的】 カラー画像の三次元情報を用いて、２枚の画
像間の類似度を求める 【構成】 コンピュータ１には、スライドスキャナ等の
画像入力装置２、マウス、キーボード等のコマンド入力
装置３、画像表示装置４、画像記憶装置５がそれぞれ接
続されている。ステレオ撮影により得られた一対の立体
画像は、画像入力装置２によりデジタル画像に変換さ
れ、コンピュータ１を介して画像記憶装置５に入力され
て記憶される。コンピュータ１は画像記憶装置５に記憶
されている立体画像からディスパリティ画像を作成す
る。
像間の類似度を求める 【構成】 コンピュータ１には、スライドスキャナ等の
画像入力装置２、マウス、キーボード等のコマンド入力
装置３、画像表示装置４、画像記憶装置５がそれぞれ接
続されている。ステレオ撮影により得られた一対の立体
画像は、画像入力装置２によりデジタル画像に変換さ
れ、コンピュータ１を介して画像記憶装置５に入力され
て記憶される。コンピュータ１は画像記憶装置５に記憶
されている立体画像からディスパリティ画像を作成す
る。
Description
【０００１】
【産業上の利用分野】本発明は、例えばステレオ距離計
測に利用し、２枚の画像間での対応点検索を行う画像処
理方式に関するものである。
測に利用し、２枚の画像間での対応点検索を行う画像処
理方式に関するものである。
【０００２】
【従来の技術】ステレオ距離計測において、１組の立体
画像の視差を求めるための対応点探索には、左画像又は
右画像から小領域（以下、テンプレート画像と云う）を
切り出し、他の右画像又は左画像においてこのテンプレ
ート画像と最も類似している領域を見付け出すという画
像マッチング方法が採用されている。この方法におい
て、類似度の基準には他画像の小領域とテンプレート画
像との相関係数を用いている。
画像の視差を求めるための対応点探索には、左画像又は
右画像から小領域（以下、テンプレート画像と云う）を
切り出し、他の右画像又は左画像においてこのテンプレ
ート画像と最も類似している領域を見付け出すという画
像マッチング方法が採用されている。この方法におい
て、類似度の基準には他画像の小領域とテンプレート画
像との相関係数を用いている。
【０００３】また、カラー画像の相関係数を求めるに
は、カラー画像の輝度信号或いはＧ信号を用いて、カラ
ー画像を白黒画像に変換して上述の相関関数を求めてい
る。
は、カラー画像の輝度信号或いはＧ信号を用いて、カラ
ー画像を白黒画像に変換して上述の相関関数を求めてい
る。
【０００４】
【発明が解決しようとする課題】カラー情報は三次元の
情報であり、例えばＲＧＢ表色系ではＲ値、Ｇ値、Ｂ値
から成る。しかしながら、従例では輝度又は濃度という
ような一次元の情報のみを用いてカラー画像の相関係数
を求めているため、カラー情報を有効に活用していると
は云い難い。
情報であり、例えばＲＧＢ表色系ではＲ値、Ｇ値、Ｂ値
から成る。しかしながら、従例では輝度又は濃度という
ような一次元の情報のみを用いてカラー画像の相関係数
を求めているため、カラー情報を有効に活用していると
は云い難い。
【０００５】本発明の目的は、上述の問題点を解消し、
カラー画像の三次元情報を用いて、２枚の画像間の類似
度を求める画像処理方式を提供することにある。
カラー画像の三次元情報を用いて、２枚の画像間の類似
度を求める画像処理方式を提供することにある。
【０００６】
【課題を解決するための手段】上記目的を達成するため
の本発明に係る画像処理方式は、２枚の画像間の三次元
カラー情報の統計的距離を画素毎に求め、前記画像の全
ての画素についての前記距離の平均値を前記２枚の画像
間の類似度として用いることを特徴とする。
の本発明に係る画像処理方式は、２枚の画像間の三次元
カラー情報の統計的距離を画素毎に求め、前記画像の全
ての画素についての前記距離の平均値を前記２枚の画像
間の類似度として用いることを特徴とする。
【０００７】
【作用】上述の構成を有する画像処理方式は、カラー画
像の三次元情報を基に、画素の値を成分とするベクトル
間の距離を求めて、２枚の画像間の類似度を算出する。
像の三次元情報を基に、画素の値を成分とするベクトル
間の距離を求めて、２枚の画像間の類似度を算出する。
【０００８】
【実施例】本発明を図示の実施例に基づいて詳細に説明
する。図１は実施例のブロック回路構成図であり、コン
ピュータ１にはスライドスキャナ等の画像入力装置２、
マウス、キーボード等のコマンド入力装置３、画像表示
装置４、画像記憶装置５がそれぞれ接続されている。
する。図１は実施例のブロック回路構成図であり、コン
ピュータ１にはスライドスキャナ等の画像入力装置２、
マウス、キーボード等のコマンド入力装置３、画像表示
装置４、画像記憶装置５がそれぞれ接続されている。
【０００９】ステレオ撮影により得られた一対の立体画
像は、画像入力装置２によりデジタル画像に変換され、
コンピュータ１を介して画像記憶装置５に入力されて記
憶される。コンピュータ１は画像記憶装置５に記憶され
ている立体画像から視差画像を作成する。なお、視差画
像を作成すべき立体画像を選択するには、コマンド入力
装置３により所望の立体画像のファイル名等を入力す
る。この入力に応じて、コンピュータ１はその画像デー
タを画像記憶装置５から取り込むと共に、画像表示装置
４に出力して立体画像の左画像、右画像を同時に映出す
る。
像は、画像入力装置２によりデジタル画像に変換され、
コンピュータ１を介して画像記憶装置５に入力されて記
憶される。コンピュータ１は画像記憶装置５に記憶され
ている立体画像から視差画像を作成する。なお、視差画
像を作成すべき立体画像を選択するには、コマンド入力
装置３により所望の立体画像のファイル名等を入力す
る。この入力に応じて、コンピュータ１はその画像デー
タを画像記憶装置５から取り込むと共に、画像表示装置
４に出力して立体画像の左画像、右画像を同時に映出す
る。
【００１０】図２は視差画像の作成過程のフローチャー
ト図であり、ステップS1において、図３に示すように画
像表示装置４に映出されている左画像PL、右画像PRを観
察しながら、コマンド入力装置３のマウス等を操作して
左画像PLから適当な大きさの領域をテンプレート画像Pt
として指定する。コンピュータ１はテンプレート画像Pt
の重心の座標（ｘ，ｙ）を求め、右画像PRにおいて座標
（ｘ，ｙ）を重心とするサーチ領域Rsを設定する。な
お、サーチ領域Rsは右画像PRにおいて点線で示されてい
るテンプレート画像Ptを、横方向に所定の長さだけ走査
したものに相当する。
ト図であり、ステップS1において、図３に示すように画
像表示装置４に映出されている左画像PL、右画像PRを観
察しながら、コマンド入力装置３のマウス等を操作して
左画像PLから適当な大きさの領域をテンプレート画像Pt
として指定する。コンピュータ１はテンプレート画像Pt
の重心の座標（ｘ，ｙ）を求め、右画像PRにおいて座標
（ｘ，ｙ）を重心とするサーチ領域Rsを設定する。な
お、サーチ領域Rsは右画像PRにおいて点線で示されてい
るテンプレート画像Ptを、横方向に所定の長さだけ走査
したものに相当する。
【００１１】ステップS2において、コンピュータ１は図
４に示すようにサーチ領域Rsからテンプレート画像Ptと
合同な画素の配列を持つ対応画像Pcを切り出す。ステッ
プS3で、画素のＲ、Ｇ、Ｂ値に基づいて、この対応画像
Pcとテンプレート画像Ptとの類似度を求める。
４に示すようにサーチ領域Rsからテンプレート画像Ptと
合同な画素の配列を持つ対応画像Pcを切り出す。ステッ
プS3で、画素のＲ、Ｇ、Ｂ値に基づいて、この対応画像
Pcとテンプレート画像Ptとの類似度を求める。
【００１２】図５に示すように、テンプレート画像Pt、
対応画像Pcにおいて、同じ格子座標位置（ｉ，ｊ）にあ
る画素の値ｆ（ｉ，ｊ）、ｇ（ｉ，ｊ）を求める。ｆ
（ｉ，ｊ）、ｇ（ｉ，ｊ）はＲ値、Ｇ値、Ｂ値を要素と
する３×１の縦ベクトルで表現され、横ベクトルで表記
すると、それぞれ、 ｆt ＝（ｆR ，ｆG ，ｆB ）、ｇt ＝（ｇR ，ｇG ，ｇB ） …(1)
対応画像Pcにおいて、同じ格子座標位置（ｉ，ｊ）にあ
る画素の値ｆ（ｉ，ｊ）、ｇ（ｉ，ｊ）を求める。ｆ
（ｉ，ｊ）、ｇ（ｉ，ｊ）はＲ値、Ｇ値、Ｂ値を要素と
する３×１の縦ベクトルで表現され、横ベクトルで表記
すると、それぞれ、 ｆt ＝（ｆR ，ｆG ，ｆB ）、ｇt ＝（ｇR ，ｇG ，ｇB ） …(1)
【００１３】
【式２】 である。
【００１４】同じ格子座標位置（ｉ，ｊ）にあるベクト
ルｆ（ｉ，ｊ）とベクトルｇ（ｉ，ｊ）の近さＴ（ｉ，
ｊ）は、式(2) で表現されるＲ、Ｇ、Ｂ値の共分散行列
Ａを用いて、 Ｔ（ｉ，ｊ）＝（ｆt ・Ａ・ｇt) ／{(ｆt ・Ａ・ｆt)1/2 ・（ｆt ・Ａ・ｇt)1/2 ｝ …(3) と表すことができる。そして、テンプレート画像Ptと、
対応画像Pcの全画素について、近さＴ（ｉ，ｊ）の平均
Ｔavは、ｎを画素数とすると次式で表すことができ、こ
の平均Ｔavをテンプレート画像Ptと対応画像Pcとの類似
度としている。 Ｔav＝｛Σｉｊ・Ｔ（ｉ，ｊ)}／ｎ …(4)
ルｆ（ｉ，ｊ）とベクトルｇ（ｉ，ｊ）の近さＴ（ｉ，
ｊ）は、式(2) で表現されるＲ、Ｇ、Ｂ値の共分散行列
Ａを用いて、 Ｔ（ｉ，ｊ）＝（ｆt ・Ａ・ｇt) ／{(ｆt ・Ａ・ｆt)1/2 ・（ｆt ・Ａ・ｇt)1/2 ｝ …(3) と表すことができる。そして、テンプレート画像Ptと、
対応画像Pcの全画素について、近さＴ（ｉ，ｊ）の平均
Ｔavは、ｎを画素数とすると次式で表すことができ、こ
の平均Ｔavをテンプレート画像Ptと対応画像Pcとの類似
度としている。 Ｔav＝｛Σｉｊ・Ｔ（ｉ，ｊ)}／ｎ …(4)
【００１５】ところで、式(2) で表現される共分散行列
Ａは３×３の対称行列であり、対角要素ａssはＲ、Ｇ、
Ｂ値の分散を表し、他の要素ａttはＲ、Ｇ、Ｂ値の共分
散を表している。それらは左画像PL、右画像PRの全ての
画素、或いは画像処理システムで取り扱う画像の全ての
画素の値を用いて、以下の統計処理により求めている。
Ａは３×３の対称行列であり、対角要素ａssはＲ、Ｇ、
Ｂ値の分散を表し、他の要素ａttはＲ、Ｇ、Ｂ値の共分
散を表している。それらは左画像PL、右画像PRの全ての
画素、或いは画像処理システムで取り扱う画像の全ての
画素の値を用いて、以下の統計処理により求めている。
【００１６】画素のＲ，Ｇ，Ｂ値ｘi （ｉ＝Ｒ，Ｇ，
Ｂ）の１画素当りのＲ、Ｇ、Ｂ値の平均値ｘsav は、ｉ
をＲ、Ｇ、Ｂ、Ｎを画素数とすると、次式となる。 ｘsav ＝（Σｘs)／Ｎ …(5)
Ｂ）の１画素当りのＲ、Ｇ、Ｂ値の平均値ｘsav は、ｉ
をＲ、Ｇ、Ｂ、Ｎを画素数とすると、次式となる。 ｘsav ＝（Σｘs)／Ｎ …(5)
【００１７】この式(5) を用いて、画素の値ｘi 、ｘj
（ｓ，ｔ＝Ｒ、Ｇ、Ｂ）の共分散、分散Ｓstを求める。 Ｓst＝１／Ｎ・Σ（ｘi −ｘsav)・（ｘj −ｘtav) …(6)
（ｓ，ｔ＝Ｒ、Ｇ、Ｂ）の共分散、分散Ｓstを求める。 Ｓst＝１／Ｎ・Σ（ｘi −ｘsav)・（ｘj −ｘtav) …(6)
【００１８】そして、このＳstを（Ｓss・Ｓtt）1/2 で
除したｘi 、ｘj の相関係数を、次式のように行列要素
ａstとしている。 ａst＝Ｓst2 ／（Ｓss・Ｓtt）1/2 …(7)
除したｘi 、ｘj の相関係数を、次式のように行列要素
ａstとしている。 ａst＝Ｓst2 ／（Ｓss・Ｓtt）1/2 …(7)
【００１９】ステップS4において、テンプレート画像Pt
とサーチ領域Rsのディスパリティを求める。テンプレー
ト画像Ptを固定し、サーチ領域Rs内で対応画像Pcを横方
向に走査しながら、式(4) で表現されるテンプレート画
像Ptと対応画像Pcの類似度Ｔavを逐次に求め、この類似
度Ｔavが最大になる対応画像Pcの重心の座標を検出し
て、これをマッチング位置（xm，ym）とし、図６に示す
ように点線で表示されているテンプレート画像Ptの重心
の座標（ｘ，ｙ）との距離ｄを求め、位置（ｘ，ｙ）で
のディスパリティ値とする。
とサーチ領域Rsのディスパリティを求める。テンプレー
ト画像Ptを固定し、サーチ領域Rs内で対応画像Pcを横方
向に走査しながら、式(4) で表現されるテンプレート画
像Ptと対応画像Pcの類似度Ｔavを逐次に求め、この類似
度Ｔavが最大になる対応画像Pcの重心の座標を検出し
て、これをマッチング位置（xm，ym）とし、図６に示す
ように点線で表示されているテンプレート画像Ptの重心
の座標（ｘ，ｙ）との距離ｄを求め、位置（ｘ，ｙ）で
のディスパリティ値とする。
【００２０】ステップS5では、左画像PLのテンプレート
画像Ptの位置をずらしながら、ステップS2からステップ
S4までを繰り返して行い、左画像PLの全ての座標位置
（Ｘ，Ｙ）でのディスパリティ値を求め、この値を画素
の値とするディスパリティ画像を作成する。
画像Ptの位置をずらしながら、ステップS2からステップ
S4までを繰り返して行い、左画像PLの全ての座標位置
（Ｘ，Ｙ）でのディスパリティ値を求め、この値を画素
の値とするディスパリティ画像を作成する。
【００２１】また、画像をステレオ画像とし、２枚の画
像間の高精度な視差（距離）画像を得ることもできる。
像間の高精度な視差（距離）画像を得ることもできる。
【００２２】
【発明の効果】以上説明したように本発明に係る画像処
理方式は、２枚の画像のＲ値、Ｇ値、Ｂ値から成る三次
元のカラー情報を全て用い、かつ統計的精度も考慮して
２枚の画像の類似度を求めるため、カラー画像の情報を
無駄にすることなく、対応点探索を高精度に行うことが
できる。
理方式は、２枚の画像のＲ値、Ｇ値、Ｂ値から成る三次
元のカラー情報を全て用い、かつ統計的精度も考慮して
２枚の画像の類似度を求めるため、カラー画像の情報を
無駄にすることなく、対応点探索を高精度に行うことが
できる。
【図１】実施例のブロック回路構成図である。
【図２】ディスパリティ画像を作成する過程を表すフロ
ーチャート図である。
ーチャート図である。
【図３】左画像のテンプレート画像と右画像のサーチ領
域の説明図である。
域の説明図である。
【図４】サーチ領域での対応画像の走査を表す説明図で
ある。
ある。
【図５】テンプレート画像と対応画像との画素の対応を
表す説明図である。
表す説明図である。
【図６】ディスパリティ値の算出方法を表す説明図であ
る。
る。
１ コンピュータ ２ 画像入力装置３ ３ コマンド入力装置３ ４ 画像表示装置 ５ 画像記憶装置
Claims (2)
- 【請求項１】 ２枚の画像間の三次元カラー情報の統計
的距離を画素毎に求め、前記画像の全ての画素について
の前記距離の平均値を前記２枚の画像間の類似度として
用いることを特徴とする画像処理方式。 - 【請求項２】 前記２枚の画像をステレオ画像とし、視
差画像を作成するようにした請求項１に記載の画像処理
方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14399994A JPH07332970A (ja) | 1994-06-02 | 1994-06-02 | 画像処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14399994A JPH07332970A (ja) | 1994-06-02 | 1994-06-02 | 画像処理方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07332970A true JPH07332970A (ja) | 1995-12-22 |
Family
ID=15351966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14399994A Pending JPH07332970A (ja) | 1994-06-02 | 1994-06-02 | 画像処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07332970A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
| US6556696B1 (en) | 1997-08-19 | 2003-04-29 | The United States Of America As Represented By The Department Of Health And Human Services | Method for segmenting medical images and detecting surface anomalies in anatomical structures |
| US7260250B2 (en) | 2002-09-30 | 2007-08-21 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Computer-aided classification of anomalies in anatomical structures |
| US9747524B2 (en) | 2014-02-28 | 2017-08-29 | Ricoh Company, Ltd. | Disparity value deriving device, equipment control system, movable apparatus, and robot |
-
1994
- 1994-06-02 JP JP14399994A patent/JPH07332970A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
| US6556696B1 (en) | 1997-08-19 | 2003-04-29 | The United States Of America As Represented By The Department Of Health And Human Services | Method for segmenting medical images and detecting surface anomalies in anatomical structures |
| US7260250B2 (en) | 2002-09-30 | 2007-08-21 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Computer-aided classification of anomalies in anatomical structures |
| US7646904B2 (en) | 2002-09-30 | 2010-01-12 | The United States Of America As Represented By The Department Of Health And Human Services | Computer-aided classification of anomalies in anatomical structures |
| US8189890B2 (en) | 2002-09-30 | 2012-05-29 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Computer-aided classification of anomalies in anatomical structures |
| US9747524B2 (en) | 2014-02-28 | 2017-08-29 | Ricoh Company, Ltd. | Disparity value deriving device, equipment control system, movable apparatus, and robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7003136B1 (en) | Plan-view projections of depth image data for object tracking | |
| US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
| JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
| US6556704B1 (en) | Method for forming a depth image from digital image data | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| US7031555B2 (en) | Perceptual similarity image retrieval | |
| US7362922B2 (en) | Image database apparatus and method of controlling operation of same | |
| JP2000182038A (ja) | 歪まされた情報からの遠近法的矯正デ―タの生成方法及びこれに用いる装置並びにコンピュ―タプログラム製品 | |
| US7519236B2 (en) | Image retrieval | |
| JP6935786B2 (ja) | 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム | |
| JP2002288687A (ja) | 特徴量算出装置および方法 | |
| JP4160050B2 (ja) | 画像検索プログラム | |
| US6480620B1 (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH07332970A (ja) | 画像処理方式 | |
| WO2008115885A1 (en) | Methods and apparatuses for upscaling video | |
| JP2002342758A (ja) | 視覚認識システム | |
| EP0849935A2 (en) | Illuminant color detection | |
| US20030146918A1 (en) | Appearance modelling | |
| CN112417961B (zh) | 一种基于场景先验知识的海面目标检测方法 | |
| JP2018010359A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2020165114A (ja) | 石材位置特定プログラム、石材位置特定システム、及び石材位置特定装置 | |
| JP2001337990A (ja) | 画像検索システム及び画像検索件方法 | |
| CN111047604B (zh) | 一种高清图像的透明度遮罩提取方法、装置及存储介质 | |
| JPH04241684A (ja) | 画像整合方法及び装置 |