JPH11120359A - 画像処理装置および方法、並びに伝送媒体 - Google Patents

Abstract

(57)【要約】 【課題】 正常な画素には影響を与えずに、様々な大き
さのノイズを除去する。 【解決手段】 CPU１１は、距離画像１０１に発生した
ノイズ５０に対応する画素を抽出し、その画素のラベル
番号を０に変更する。そして、ラベル番号が０の画素を
含む領域（例えば、領域５１）を選択し、その領域に例
えば、３×３のメディアンフィルタ処理を実行すること
により、ラベル番号が０である画素の輝度値を、隣接し
た他のラベル番号の画素の輝度値のうちの中間値に補正
する。そして、同様に、CPU１１は、ラベル番号が０で
ある画素を含む領域を順次選択して、メディアンフィル
タ処理を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに伝送媒体に関し、特に、正常な画素には
影響を与えずに、様々な大きさのノイズを除去すること
ができるようにし、もって、より正確な距離の測定結果
を得ることができるようにした、画像処理装置および方
法、並びに伝送媒体に関する。

【０００２】

【従来の技術】複数のカメラ（撮像装置）により、所定
の対象までの距離を測定する方法としては、ステレオ法
が知られている。ステレオ法は、複数の撮像装置（カメ
ラ）から撮影した画像を用いて、シーン内の対象（被写
体）までの距離を３角測量の原理を用いて測定するもの
である。このステレオ法の応用としては、カメラの位置
からの距離に応じて、画像上の対象物を切り出し、他の
画像と合成する処理や、３次元空間の再現などが挙げら
れる。

【０００３】図１６は、ステレオ法の概略を説明する図
である。なお、簡単のため、２つのカメラにより撮像さ
れた画像を用いて説明する。この図に示すように、第１
のカメラにより撮像された画像３０１と、第２のカメラ
により撮像された画像３０２を用いて、対象点Ｐの３次
元空間における位置（基準点からの距離）を求める。こ
の例においては、画像３０１，３０２の位置は、それぞ
れを撮像したカメラの撮像面の位置に対応しており、そ
れぞれのカメラの光学中心（光軸）は、光学中心４０
１，４０２として示されている。

【０００４】まず、画像３０１における対象点Ｐの写像
としての画素ｎaと、画像３０２における対象点Ｐの写
像としての画素ｎbを求める。例えば、画素ｎaに対応す
る画素ｎbを検出する方法としては、エピポーラライン
（Epipolar line）を用いる方法がある。図１６に示す
ように、画像３０２の画素ｎbは、両カメラの光学中心
４０１，４０２と画像３０２の画素ｎaにより決まる平
面と、画像３０２が交わる直線上に存在する。この直線
をエピポーララインと称する。画像３０１と画像３０２
の位置関係（第１のカメラと第２のカメラの位置関係）
が既知であれば、画像３０１の画素毎に、画像３０２上
のエピポーララインを求めることができるので、このエ
ピポーラライン上で、対応点の検出を行う。このような
処理をエリアベースマッチングと称する。

【０００５】このようにして、エリアベースマッチング
を行い、それにより得た各画像間の対応画素を用いて、
対象点までの距離を測定する。そして、その測定結果
を、画素の輝度の明暗を用いて示したのが、距離画像で
ある。この距離画像は、撮像されたカメラからより近い
位置にある物体に対応する画素をより明るく示し（大き
な輝度値としたもの）、カメラから遠い位置にある物体
に対応する画素をより暗く示したもの（小さな輝度値と
したもの）である。

【０００６】ところが、エリアベースマッチングの対象
となる画像によっては、画素の対応を誤ってしまう場合
がある。その結果、距離画像中に、パルス状のノイズが
発生し、その部分の距離が著しく変わってしまい、正し
い測定結果を得ることができない。

【０００７】このノイズの発生の原因としては、 （１） 撮像されたシーンに特徴となる模様が少ない
（画像上の輝度の変化が少ない）場合。 （２） カメラの位置によっては、光源からの光が正反
射を生じている状態で画像が撮像されてしまい、他の位
置のカメラで撮像された画像との間で、同一物体の輝度
が著しく異なる場合。 （３） 奥行き方向に不連続の部分（エッジ）を含む近
傍の模様が、各カメラにより撮像された画像間で大きく
ことなる場合。等が挙げられる。

【０００８】原因（１）のように、撮像されたシーンに
特徴となる部分が少ない場合は、エリアベースマッチン
グの際の画像のウインドウを大きくする方法が考えられ
る。これにより、ウインドウ内の特徴となる部分を増や
し、これにより、画素間の誤った対応を削減することが
できる。

【０００９】また、原因（２）または原因（３）のよう
な場合、ノイズが発生している距離画像全体に対して、
例えば、３×３画素のメディアンフィルタを用いる方法
がある。これは、３×３の合計９画素の範囲内に存在す
るノイズとしての画素の輝度値を、隣接している他の正
常な画素の輝度値の中間値に修正するものである。

【００１０】

【発明が解決しようとする課題】しかしながら、上述し
た原因（２）と（３）の場合、エリアベースマッチング
の際のウインドウを大きくしても、画像毎の輝度自体が
異なるため、誤対応を削減することができない課題があ
った。

【００１１】また、３×３画素のメディアンフィルタを
１回だけ使用した場合においては、除去できるノイズの
大きさに制限が生じる。例えば、３×３画素の正方形の
ノイズが存在した場合、フィルタ処理を施しても、正常
な画素に隣接していない中央のノイズが除去されず、そ
のままノイズとして残ってしまう課題があった。

【００１２】そこで、距離画像の全画面にメディアンフ
ィルタ処理を施すと、対象となる画素中に、ノイズ以外
にも、他の画素と輝度値が大きく異なる正常な画素（例
えば、物体のエッジに対応する画素）が存在する場合、
ノイズとしてその輝度値が補正されてしまい、その部分
の距離が変化してしまう課題があった。

【００１３】本発明はこのような状況に鑑みてなされた
ものであり、正常な画素には影響を与えずに、さまざま
な大きさのノイズを除去するものである。

【００１４】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、被写体の距離画像を構成している各画素を、
その距離別に区分する区分手段と、区分手段により距離
別に区分された画素毎の、距離画像中に占める総面積を
算出する算出手段と、距離別に区分された画素毎の、算
出手段により算出された総面積に対応して、ノイズに対
応する画素を抽出する抽出手段と、抽出手段により抽出
されたノイズに対応する画素を含む、距離画像の所定の
領域を選択する選択手段と、選択手段により選択された
領域において、ノイズに対応する画素以外の画素の輝度
値を用いて、ノイズに対応する画素の輝度値を修正する
修正手段とを備えることを特徴とする。

【００１５】請求項５に記載の画像処理方法は、被写体
の距離画像を構成している各画素を、その距離別に区分
する区分ステップと、区分ステップで距離別に区分され
た画素毎の、距離画像中に占める総面積を算出する算出
ステップと、距離別に区分された画素毎の、算出ステッ
プで算出された総面積に対応して、ノイズに対応する画
素を抽出する抽出ステップと、抽出ステップで抽出され
たノイズに対応する画素を含む、距離画像の所定の領域
を選択する選択ステップと、選択ステップで選択された
領域において、ノイズに対応する画素以外の画素の輝度
値を用いて、ノイズに対応する画素の輝度値を修正する
修正ステップとを備えることを特徴とする。

【００１６】請求項６に記載の伝送媒体は、被写体の距
離画像を構成している各画素を、その距離別に区分する
区分ステップと、区分ステップで距離別に区分された画
素毎の、距離画像中に占める総面積を算出する算出ステ
ップと、距離別に区分された画素毎の、算出ステップで
算出された総面積に対応して、ノイズに対応する画素を
抽出する抽出ステップと、抽出ステップで抽出されたノ
イズに対応する画素を含む、距離画像の所定の領域を選
択する選択ステップと、選択ステップで選択された領域
において、ノイズに対応する画素以外の画素の輝度値を
用いて、ノイズに対応する画素の輝度値を修正する修正
ステップとを有するコンピュータプログラムを伝送する
ことを特徴とする。

【００１７】請求項１に記載の画像処理装置、請求項５
に記載の画像処理方法、および請求項６に記載の伝送媒
体においては、被写体の距離画像を構成している各画素
が、その距離別に区分され、距離別に区分された画素毎
の、距離画像中に占める総面積が算出され、距離別に区
分された画素毎の、算出された総面積に対応して、ノイ
ズに対応する画素が抽出され、抽出されたノイズに対応
する画素を含む、距離画像の所定の領域が選択され、選
択された領域において、ノイズに対応する画素以外の画
素の輝度値を用いて、ノイズに対応する画素の輝度値が
修正される。

【００１８】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００１９】請求項１に記載の画像処理装置は、被写体
の距離画像を構成している各画素を、その距離別に区分
する区分手段（例えば、図３のステップＳ１３）と、区
分手段により距離別に区分された画素毎の、距離画像中
に占める総面積を算出する算出手段（例えば、図３のス
テップＳ１４）と、距離別に区分された画素毎の、算出
手段により算出された総面積に対応して、ノイズに対応
する画素を抽出する抽出手段（例えば、図３のステップ
Ｓ１５）と、抽出手段により抽出されたノイズに対応す
る画素を含む、距離画像の所定の領域を選択する選択手
段（例えば、図３のステップＳ１７）と、選択手段によ
り選択された領域において、ノイズに対応する画素以外
の画素の輝度値を用いて、ノイズに対応する画素の輝度
値を修正する修正手段（例えば、図３のステップＳ１
９）とを備えることを特徴とする。

【００２０】図１は、本発明を適用した画像処理装置の
構成例を示すブロック図である。この例においては、ワ
ークステーション１０は、CPU１１、ROM１２、RAM１
３、およびインタフェース１４により構成されており、
カメラ３０-１乃至３０-５から出力された画像信号に対
して所定の処理を施すようになされている。

【００２１】CPU１１は、装置の各部を制御するととも
に、所定の演算を行うようになされている。ROM１２
は、CPU１１が実行するプログラムや各種データ等を格
納している。RAM１３は、CPU１１が各種処理を事項する
際の演算途中のデータやプログラム等を格納するように
なされている。インタフェース１４は、外部装置との間
でデータを授受する場合において、データの表現形式を
適宜変換するようになされている。

【００２２】CRTモニタ２０は、ワークステーション１
０から出力された画像を表示するようになされている。
HDD２１は、各種プログラムや各カメラから出力された
画像信号を記憶し、CPU１１の命令に応じて、それらを
適宜読み出すようになされている。

【００２３】カメラ３０-１乃至３０-５は、被写体の光
画像を対応する電気信号（画像信号）に変換して出力す
るようになされている。この際、各カメラは、図２に示
すように配置され、中央のカメラ３０-３により撮像さ
れた画像（原画像）に対応する距離画像は、ワークステ
ーション１０により、原画像と他のカメラにより撮像さ
れた画像を用いて生成される。

【００２４】次に、以上の装置を用いて、所定の対象物
（被写体）の距離画像を生成し、それに発生したノイズ
を除去する処理を、図３のフローチャートを用いて説明
する。まず、ステップＳ１１において、カメラ３０-１
乃至３０-５により、所定のシーンが撮像され、画像信
号としてワークステーション１０に入力される。このと
き、中央のカメラ３０-３により撮像された原画像１０
０は、例えば、図４に示すように、人物４０が、背景４
１を背にして立っているシーンであるものとする。次に
ステップＳ１２において、CPU１１は、各カメラにより
撮像された画像を用いて、エリアベースマッチング処理
を行い、図５に示すように、原画像１００に対応する距
離画像１０１を生成する。

【００２５】この距離画像１０１は、各画素の距離の違
いが、その輝度の差として表される。その輝度を表す値
として、０乃至２５５の範囲のいずれかの値が、各画素
に対して与えられる。すなわち、より遠くに位置する対
象物に対応する画素（例えば、原画像１００における背
景４１に対応する画素）は、その輝度が暗く示され（そ
の輝度値がより０に近い値に設定され）、より近くに位
置する対象物に対応する画素（例えば、原画像１００に
おける人物４０に対応する画素）は、その輝度が明るく
示されている（その輝度値がより２５５に近い値に設定
される）。

【００２６】この例においては、図５に示すように、ノ
イズ５０が発生しているものとする。例えば、このノイ
ズ５０を含む５×５画素の領域５１を例に挙げると、そ
の各画素の輝度値の様子は、図６に示すようになる。こ
の図においては、ノイズ５０に対応する中央の３×３画
素の輝度値が、周囲の画素の輝度値に比較して大きく異
なっていることが分かる。

【００２７】続いて、ステップＳ１３で、CPU１１は、
距離画像１０１中の異なる距離の物体を区分するため
に、近似した輝度が連続している部分を１つの物体と
し、その構成要素である各々の画素に対して同一のラベ
ル番号を与える。具体的には、隣接する画素との輝度差
が、所定の閾値以下ならば同一のラベル番号を付加す
る。これにより、例えば、グラデーションのように、画
素の輝度が徐々に変化していくような物体に対しても、
１つのまとまりとして同一のラベル番号を付加すること
ができ、もって、１つの連続した物体として表すことが
できる。一方、その輝度が隣接した画素のものと大きく
異なっている（隣接した画素との輝度差が、所定の閾値
以上である）画素には、隣接した画素のものとは異なっ
たラベル番号が付加される。

【００２８】距離画像１０１の各画素に付加されたラベ
ル番号の違いを輝度の差として示したラベル画像１０２
おいては、図７に示すように、人物４０に対応する画素
に対しては、ラベル番号３が、背景４１に対応する画素
に対しては、ラベル番号１が、ノイズ５０に対応する画
素に対しては、ラベル番号２が、それぞれ付加されるも
のとする。さらに、距離画像１０１の領域５１に対応す
るラベルが像１０２の領域５２を見ると、図８に示すよ
うに、領域５１おいて輝度値が８５乃至８８までの範囲
で示されていた画素にはラベル番号として値２が、その
他の画素にはラベル番号として値１が、それぞれ付加さ
れる。

【００２９】次に、ステップＳ１４において、CPU１１
は、同一のラベル番号が付加された画素の数をラベル番
号別に累加算することにより、各ラベル番号別に区分さ
れた画素の、ラベル画像１０２中（距離画像１０１中）
にそれぞれ占める総面積を算出する。ステップＳ１５で
は、各ラベル番号の画素のうち、その総面積が所定の面
積よりも狭いものをノイズ５０とする。この他、各ラベ
ル番号の画素のうち、総面積が最も広いものから所定の
順位までを正常な画素とし、それ以下の総面積のものは
ノイズ５０とする方法も考えられる。このようにしてノ
イズ５０が抽出される。

【００３０】そして、ステップＳ１６では、ステップＳ
１５で抽出されたノイズ５０に対応する画素のラベル番
号を０に変更する。例えば、図９に示すように、領域５
２のノイズ５０に対応する画素のラベル番号が、値２か
ら値０に変更される。いま、わかりやすくするため、図
１０に示すように、領域５１のラベル番号が０である
（ノイズ５０に対応する）画素の輝度値を×印として表
す。

【００３１】ステップＳ１７において、メディアンフィ
ルタ処理の対象となる領域として、ラベル番号が０の画
素を含む領域（例えば、３×３の領域）を選択する。そ
して、ステップＳ１８では、ステップＳ１７で選択され
た領域の全ての画素のラベル番号が０であるか（全ての
画素が、ノイズ５０に対応する部分であるか）否かが判
定され、領域の全ての画素のラベル番号が０であると判
定された場合、ステップＳ１７に戻り、再び領域の選択
を行う。ステップＳ１８において、領域の全ての画素の
ラベル番号が０ではない（３×３個の画素のうち、少な
くとも１個の画素のラベル番号は０ではない）と判定さ
れた場合、ステップＳ１９に進み、メディアンフィルタ
処理を実行することにより、ラベル番号が０の画素の輝
度値を、隣接している他のラベル番号の画素の輝度値の
うちの中間値（９個の輝度値を小さい値のものから順番
に並べた場合において、５番目の順番の輝度値）に変更
するとともに、そのラベル番号を、輝度値が中間値であ
る画素のラベル番号と同一の番号に変更する。これによ
り、例えば領域５１の場合、図１１に示すように、ノイ
ズに対応する画素のうち、正常な画素と隣接してる画素
が、正常な画素の輝度値の中間値に修正され、さらに、
図１２の領域５２に示すように、そのラベル番号０が、
正常な画素のラベル番号１に変更される。

【００３２】そして、ステップＳ２０においては、ラベ
ル番号が０の画素が存在するか否かが判定され、まだ、
ラベル番号が０の画素が存在すると判定された場合、ス
テップＳ１７に戻り、ラベル番号が０の画素を含む領域
のメディアンフィルタ処理に移る。これにより、図１３
と図１４に示すように、領域５１における、全てのノイ
ズ５０に対応する輝度値と、それに対応する領域５２の
ラベル番号が修正されることになる。

【００３３】このようにして、図１５に示すように、距
離画像１０１に発生したノイズ５０を除去することがで
きる。

【００３４】なお、上記したような処理を行うコンピュ
ータプログラムを伝送する伝送媒体としては、磁気ディ
スク、CD-ROM、固体メモリ等の記録媒体の他、ネットワ
ーク、衛星等の通信媒体を利用することができる。

【００３５】

【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項５に記載の情報処理方法、および請求項６
に記載の伝送媒体によれば、距離画像を構成している各
画素を、その距離別に区分し、距離別に区分された画素
毎の、距離画像中に占める総面積を算出し、距離別に区
分された画素毎の算出された総面積に対応して、ノイズ
に対応する画素を抽出し、距離画像中の抽出されたノイ
ズに対応する画素を含む所定の領域を選択し、選択され
た領域において、ノイズに対応する画素以外の画素の輝
度値を用いて、ノイズに対応する画素の輝度値を修正す
るようにしたので、正常な画素には影響を与えずに、様
々な大きさのノイズを除去することが可能となり、もっ
て、より正確な距離の測定結果を得ることができる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成例を示す
ブロック図である。

【図２】カメラの配置を説明する図である。

【図３】距離画像に発生したノイズを除去する処理を説
明するフローチャートである。

【図４】撮像された原画像を示す図である。

【図５】図４の原画像に対応する距離画像を示す図であ
る。

【図６】ノイズを含む５×５の領域における各画素の輝
度値を示す図である。

【図７】図５の距離画像に対応するラベル画像を示す図
である。

【図８】図６に対応する領域における各画素のラベル番
号を示す図である。

【図９】図８の領域における画素のうちのノイズに対応
する画素のラベル番号が変更された様子を示す図であ
る。

【図１０】図６の領域における画素のうちのノイズに対
応する画素の輝度値を×印として表した図である。

【図１１】図１０の領域におけるノイズの外周にメディ
アンフィルタ処理を実行した様子を示す図である。

【図１２】図１１の領域メディアンフィルタ処理が実行
された部分のラベル番号が変更された様子を示す図であ
る。

【図１３】図１１の領域のノイズに対応する全ての画素
の輝度値を変更した様子を示す図である。

【図１４】図１３の領域の各画素に対応するラベル番号
を示す図である。

【図１５】ノイズが除去された後の距離画像を示す図で
ある。

【図１６】対応する画素から距離を測定する処理を説明
する図である。

【符号の説明】

１０ ワークステーション， １１ CPU， １２ RO
M， １３ RAM， １４ インタフェース， ２０ CR
Tモニタ， ２１ HDD， ３０-１乃至３０-５カメラ，
５０ ノイズ， ５１，５２ 領域 １００ 原画
像， １０１距離画像， １０２ ラベル画像

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数の撮像装置により撮像された被写体
   の画像を処理する画像処理装置において、 前記被写体の距離画像を構成している各画素を、その距
   離別に区分する区分手段と、 前記区分手段により距離別に区分された前記画素毎の、
   前記距離画像中に占める総面積を算出する算出手段と、 距離別に区分された前記画素毎の、前記算出手段により
   算出された前記総面積に対応して、ノイズに対応する画
   素を抽出する抽出手段と、 前記抽出手段により抽出された前記ノイズに対応する前
   記画素を含む、前記距離画像の所定の領域を選択する選
   択手段と、 前記選択手段により選択された前記領域において、前記
   ノイズに対応する前記画素以外の画素の輝度値を用い
   て、前記ノイズに対応する前記画素の輝度値を修正する
   修正手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記区分手段は、前記距離画像を構成す
   る前記各画素に対して、距離別に異なるラベル番号を付
   加することを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記抽出手段は、距離別に区分された前
   記画素のうち、前記算出手段により算出された総面積
   が、所定の面積よりも狭いものを前記ノイズとすること
   を特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】 前記修正手段は、前記選択手段により選
   択された前記領域の各画素に対して、メディアンフィル
   タ処理を実行することを特徴とする請求項１に記載の画
   像処理装置。
5. 【請求項５】 複数の撮像装置により撮像された被写体
   の画像を処理する画像処理方法において、 前記被写体の距離画像を構成している各画素を、その距
   離別に区分する区分ステップと、 前記区分ステップで距離別に区分された前記画素毎の、
   前記距離画像中に占める総面積を算出する算出ステップ
   と、 距離別に区分された前記画素毎の、前記算出ステップで
   算出された前記総面積に対応して、ノイズに対応する画
   素を抽出する抽出ステップと、 前記抽出ステップで抽出された前記ノイズに対応する前
   記画素を含む、前記距離画像の所定の領域を選択する選
   択ステップと、 前記選択ステップで選択された前記領域において、前記
   ノイズに対応する前記画素以外の画素の輝度値を用い
   て、前記ノイズに対応する前記画素の輝度値を修正する
   修正ステップとを備えることを特徴とする画像処理方
   法。
6. 【請求項６】 複数の撮像装置により撮像された被写体
   の画像を処理する画像処理装置に用いられるコンピュー
   タプログラムを伝送する伝送媒体において、 前記距離画像を構成している各画素を、その距離別に区
   分する区分ステップと、 前記区分ステップで距離別に区分された前記画素毎の、
   前記距離画像中に占める総面積を算出する算出ステップ
   と、 距離別に区分された前記画素毎の、前記算出ステップで
   算出された前記総面積に対応して、ノイズに対応する画
   素を抽出する抽出ステップと、 前記抽出ステップで抽出された前記ノイズに対応する前
   記画素を含む、前記距離画像の所定の領域を選択する選
   択ステップと、 前記選択ステップで選択された前記領域において、前記
   ノイズに対応する前記画素以外の画素の輝度値を用い
   て、前記ノイズに対応する前記画素の輝度値を修正する
   修正ステップとを有するコンピュータプログラムを伝送
   することを特徴とする伝送媒体。