JPH09288735A

JPH09288735A - 画像処理装置

Info

Publication number: JPH09288735A
Application number: JP8101702A
Authority: JP
Inventors: Kouichirou Tanaka; 宏一良田中; Akihiro Katayama; 昭宏片山; Eita Ono; 英太小野; Shinya Urisaka; 真也瓜阪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-04-23
Filing date: 1996-04-23
Publication date: 1997-11-04

Abstract

(57)【要約】【課題】多視点入力画像から、精度よく、対応点軌跡
を同定することの出来る画像処理装置を提供する。【解決手段】それぞれ異なる位置から同じ被写体を撮
像して得た複数の多視点画像を入力し、被写体のそれぞ
れの輝点について、所定の検出条件を用いて、前記輝点
の対応点を前記複数の多視点画像に亙って同定するに際
して、前記所定の検出条件を変更しながら同定する。輝
点について同定された対応点を表すパラメトリック画像
データを生成し、生成されたパラメトリック画像データ
を記憶手段に記憶する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視点の異なる複数の多
視点画像から、観察者の視点位置を有する再生画像に役
立つ画像を生成する画像処理装置に関する。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラーディスプレイなどがある。ステレオディスプレイ
は、２台のカメラから得られる画像を交互に高速に切り
替えて表示される。観察者は、この切り替えに同期する
シャッターメガネや偏光メガネを用いることにより、映
像を立体的に観察することができる。また、レンチキュ
ラディスプレイは、例えば４台のカメラからの画像をそ
れぞれ画素単位に並べ替え、前面にレンチキュラーシー
トを張り付けることにより４視点の映像を立体的に表現
することができるというものである。

【０００３】また、多視点入力画像から、実際の観察者
の視点に応じた多視点再生画像を生成するための手法と
してエピポーラプレーン画像を生成する方法が提案され
ている。これは、多視点入力画像にエピポーラプレーン
画像を設定して、被写体輝点の対応点軌跡を直線として
規定するものである。多視点入力画像が直線データの集
合として記憶されるので、圧縮効率があがるというメリ
ットがある。

【０００４】

【発明が解決しようとする課題】しかしながら、エピポ
ーラプレーン画像上では、対応点の色（輝度）が変化し
たり、オクルージョン等により対応点が消失したりする
ため、エピポーラプレーン画像内で対応点を探索するこ
とは容易でない。従来では、画素値が近似している画素
を同じ軌跡上の対応点と同定していたので、精度が低い
ものであった。

【０００５】本発明は上記問題点に鑑みてなされたもの
で、その目的は、多視点入力画像から、精度よく、対応
点軌跡を同定することの出来る画像処理装置を提供する
ことにある。

【０００６】

【課題を解決するための手段】上記課題を達成するため
の本発明の画像処理装置は、それぞれ異なる位置から同
じ被写体を撮像して得た複数の多視点画像を入力する入
力手段と、被写体のそれぞれの輝点について、所定の検
出条件を用いて、前記輝点の対応点を前記複数の多視点
画像に亙って同定する同定手段と、前記同定手段が用い
る前記所定の検出条件を変更する条件変更手段と、個々
の輝点毎に、輝点について同定された対応点を表すパラ
メトリック画像データを生成する生成手段と、生成され
たパラメトリック画像データを記憶する記憶手段とを有
することを特徴とする。

【０００７】変更手段は、同定手段が用いる前記所定の
検出条件を同定処理過程において変更するために、目的
にあった検出条件を設定することが出来て、精度の良い
対応点検出が実現する。本発明の好適な一態様に拠れ
ば、前記同定手段は、前記多視点画像データのエピポー
ラ・プレーン画像上で前記輝点の対応点の軌跡を表す直
線を同定する。

【０００８】本発明の好適な一態様に拠れば、前記同定
手段は、前記多視点画像データのエピポーラ・プレーン
画像上で前記輝点の対応点の軌跡を表す平面を同定する
本発明の好適な一態様に拠れば、前記同定手段は、前記
多視点画像の画素間の画像データ値の差が所定の閾値以
内にあるときは前記画素は互いに対応すると判断し、前
記所定の閾値外にあるときは判断を保留することを、エ
ピポーラプレーン画像上の画素に対して繰り返し、前記
変更手段は繰り返し回数に応じて前記所定の検出条件を
変更する。

【０００９】同定処理を繰り返す過程で、種々の軌跡の
性質に合った検出条件を設定することができる。本発明
の好適な一態様に拠れば、前記変更手段は繰り返し回数
に応じて前記所定の検出条件を緩和する。本発明の好適
な一態様に拠れば、前記同定手段は、被写体の輝点を、
エピポーラプレーン画像において直線軌跡もしくは平面
軌跡によって同定し、前記同定手段は、注目画素が、直
線軌跡もしくは平面軌跡上の対応点として検出されてい
るかいないかに応じて、前記所定の検出条件を変更す
る。

【００１０】オートクルーズ関係を考慮することが可能
となる。例えば、注目画素が、直線軌跡もしくは平面軌
跡上の対応点として検出されている場合には、前記所定
の検出条件を厳しく設定し、検出されていない場合は緩
く設定する。本発明の好適な一態様に拠れば、判定対象
画素と注目画素とがオクルージョン関係にあるかを判断
する。

【００１１】本発明の好適な一態様に拠れば、前記検出
条件は、判定対象画素と注目画素との画素値の差を判断
するための第１の閾値、及びまたは、軌跡を構成すると
認定するための画素数を表す第２の閾値、及びまたは、
前記判定対象画素と注目画素のオクルージョン関係を維
持するか否か、である。

【００１２】本発明の好適な一態様に拠れば、検出条件
を上記のように設定した上で、変更手段は、繰り返し回
数が大きくなるほど、前記第１の閾値と第２の閾値とを
大きくする。これにより、色の判定では検出困難であっ
た軌跡を正確に検出することができる。本発明の好適な
一態様に拠れば、検出条件を上記のように設定した上
で、変更手段は、繰り返し回数が大きくなるほど、前記
第１の閾値と第２の閾値とを小さくする。これにより、
より小さな軌跡を検出し易くする。

【００１３】本発明の好適な一態様に拠れば、検出条件
を上記のように設定した上で、前記同定手段は、変更手
段は、繰り返し回数が大きくなるほど、前記第２の閾値
とを大きくし、オクルージョン関係の維持の制約を緩く
することにより、誤検出された軌跡の影響を少なくす
る。本発明の好適な一態様に拠れば、検出条件を上記の
ように設定した上で、変更手段は、繰り返し回数が大き
くなるほど、前記第１の閾値を大きくし、前記第２の閾
値を小さくする。これにより、検出されない軌跡を少な
くする。

【００１４】

【発明の実施の形態】次に、添付図面を参照しながら本
発明の実施形態について説明する。〈システム構成〉第１図は本発明の画像処理装置を適用
した立体視システム構成を示す図である。第１図のシス
テムは本発明の全ての実施形態に共通である。

【００１５】図中、２１は投影する被写体、２２ａ〜２
２ｆは直線状に並べられた多眼カメラ、１００は本シス
テムの中核をなす画像処理装置、７０は画像処理装置１
００が出力する多視点画像を表示するための視点検出器
８０つき表示スクリーン、８０は、視点位置・方向を検
出する視点検出装置、８１は表示スクリーンに表示され
た立体画像を観察する眼鏡である。

【００１６】尚、このシステムにおいては、表示スクリ
ーン７０に左目用画像と右目用画像を高速に切り替えな
がら表示し、それに同期して眼鏡８１の左目部分と右目
部分の透過率が変化することにより、表示スクリーン７
０に表示された左目用画像は左目だけに、右目用画像は
右目だけに見せるような液晶シャッタ眼鏡を用いた立体
表示システムを利用してもよい。また、表示スクリーン
７０に左目用画像と右目用画像を夫々異なる偏光をかけ
て表示し、眼鏡８１のレンズ部分に左目用画像と右目用
画像を分離する偏光フィルタを装着した立体表示システ
ムを利用してもよい。また、立体表示できるものであれ
ばこれに限らず他の方式でもよい。待たし点検出装置８
０が装着できれば、立体表示が不要な場合は通常の２Ｄ
の表示システムでもよい。

【００１７】〈エピポーラプレーン画像〉画像処理装置
１００（他の実施形態の画像処理装置も）はＥＰＩを用
いる。ＥＰＩについて第２図，第３図を用いて説明す
る。ＥＰＩとは、他眼カメラ２２によって各視点から撮
影された画像から、各画像における同じ位置にあるライ
ンを集め、それらを視点順に並べることによって構成さ
れた画像である。例えば、第２図のように、異なる視点
位置の複数のカメラ（第２図の例では４つ）により、あ
るいは多眼カメラにより１つの被写体を撮像すると、画
像１〜４が得られる。これらの画像の夫々において、同
じ水平ラインに注目する。多眼カメラ２２は水平面上に
並んでいるので、この水平ライン上にのった被写体上の
同じ輝点（第２図において黒の矩形で表す）は、視点位
置に応じて、個々の水平ライン上において水平方向にず
れた位置をとる。

【００１８】第２図に示すように、カメラの視点の移動
方向にＸ軸を取り、このＸ軸に垂直にカメラの光軸方向
にＺ軸をとり、カメラの画像空間にｘ軸をとると、第３
図に示すように、横軸ｘが輝点の水平表示位置を示すよ
うに、縦軸Ｘが視点位置を示すように、ｘ軸，Ｘ軸をと
ると、ある水平ライン上に載った１つの輝点の像（即ち
ＥＰＩ）は第３図の点の集合、即ち、ある傾きｋと切片
ｘ₀を有する直線となる。

【００１９】

【数１】

【００２０】第３図において、切片ｘ₀は、最も左のカ
メラ（視点位置Ｘ＝０）によって得られた画像の表示値
を示す。従って、この直線が表す輝点の位置は、カメラ
２２の光学系の焦点距離をｆ、カメラ２２のイメージセ
ンサの画素ピッチをｐとして座標系ＸＺで表すと、第５
図に示すように、

【００２１】

【数２】

【００２２】

【数３】

【００２３】が得られる。式１は、ある輝点の表示位置
ｘは、離散的な視点Ｘ（Ｘ₁，Ｘ₂，…）から得られる
だけでなく、視点Ｘの値が任意の値、即ち、観察者がカ
メラ視点以外の位置Ｘにいる場合にも、表示位置ｘを演
算できることを意味する。この演算は内挿補間処理によ
る。

【００２４】尚、カメラから遠い被写体の多視点画像を
とった場合、その被写体上の一点である輝点位置は、視
点位置の変化に対して、水平方向の変化が少ない。従っ
て、このような被写体のＥＰＩにおける直線の傾きは垂
直に近くなる。即ち、観察者が後方に移動した場合に対
応する多視点画像のＥＰＩは急峻な傾きｋを有するもの
であり、観察者が前方に移動した場合に対応する多視点
画像のＥＰＩは緩い傾きを有するものである。また、手
前にある輝点の直線軌跡が、奥にある輝点の直線軌跡を
覆い隠すという、オクルージョン関係も存在する。

【００２５】従って、ある輝点の多視点画像は、その輝
点の多視点画像におけるＥＰＩ上において、直線の傾き
ｋと横軸ｘとの切片ｘ₀とによって定義される。換言す
れば、１つの輝点の複数の多視点画像データは、その輝
点の画素値（濃度値もしくは色データ値）と共に、デー
タｋとｘ₀とに圧縮されることになる。１つのＥＰＩに
は、通常、複数の輝点が含まれる。従って、第３図の直
線を抽出するためには、複数の画像データの中から、同
じ輝点に由来するものだけを同定しなければならない。
この同定の処理を、本実施形態では、輝点に対応する複
数の点によって表される軌跡を検出するという意味で、
「対応点軌跡の検出」と呼ぶ。また、検出された軌跡を
表す直線のデータ、上述のｋとｘ₀とを「軌跡データ」
と呼ぶ。

【００２６】第４図に画像処理装置１００における処理
の概略を示す。第４図中、カメラ２２からの多視点画像
に基づいて、対応点の軌跡が検出され、続いて軌跡デー
タに圧縮される。即ち、被写体の全ての輝点についての
軌跡データが得られる。これらの軌跡データはパラメト
リックデータとしてファイルに記憶される。

【００２７】以上が、多視点画像を取得し、それをパラ
メトリックデータとしての記憶するまでの処理である。
実際に立体視するときは、観察者の視点に応じて多視点
画像データを補正しなければならないから、その補正処
理、即ち内挿処理が第４図に示されている。即ち、立体
視を行うときは、ファイルからパラメトリックデータが
読み取られ、軌跡データに伸張される。その上で、検出
器８０によって検出された観察者の視点が入力されて、
内挿処理が行われる。この内挿処理は、視点位置の変化
に応じてリアルタイムで行われる必要があるために、本
実施形態では「オンデマンド内挿表示」処理と呼ぶ。

【００２８】〈対応点軌跡検出の概略〉第６図は画像処
理装置１００の詳細構成、即ち、対応点軌跡検出部５０
とオンデマンド内挿表示部６０の構成を示す図である。
先ず、対応点軌跡検出部５０における処理について説明
する。図中、画像メモリ１１は、多眼カメラ２２によっ
て撮影した複数の画像を記憶する。メモリ１１の記憶デ
ータは、左右に直線上に並んだ多数の視点から得た被写
体の多視点画像である。対応点軌跡判定部１２はメモリ
１１中の多視点画像をスキャンし、直線状の軌跡を有す
る輝点像を探索する。この探索は係数制御部１３から送
られてくる係数によって制御される。メモリ１４は、軌
跡判定部１２が検出した輝点ｎの軌跡の係数（ｋ_nとｘ
_0n）および同輝点ｎの濃淡値Ｄ_nを第７図に示すフォー
マットでファイル４０に記憶する。尚、第７図の例で
は、水平方向のライン番号が例えば１００番のラインに
対して、一例として２０４８個の輝点が検出され、その
ラインの輝点の軌跡データが記憶されていることを示
す。

【００２９】係数制御部１３が生成する係数は、１組の
傾きｋと切片ｘ₀の値である。前述したように、被写体
の１つの輝点のＥＰＩは、傾きｋと切片のｘ₀によって
定義できるので、判定部における探索は、係数制御部１
３から送られてくる１組の傾きｋと切片ｘ₀によって定
義される直線に載るような輝点の画像を探索することに
等しい。

【００３０】軌跡判定部１２における判定にはある閾値
が用いられる。この閾値を制御するのが閾値制御部１５
である。メモリ１６は、軌跡判定部１２が検出した対応
点軌跡の画像中での位置と検出した条件とを保持する。
データ出力部１７はメモリ１４に記憶された対応点軌跡
係数を出力する。〈オンデマンド内挿〉オンデマンド内挿表示部６０は、
データ入力部３０と、対応点軌跡内挿部３１と、画像表
示部３３と、視点位置入力部３２とを有する。

【００３１】データ入力部１１０はパラメトリックデー
タをファイル４０から入力する。対応点軌跡内挿部３１
は、観察者の実際の視点位置（視点位置入部３２が検出
器８０から入力した）にもとづいてデータ入力部３０の
対応点軌跡を内挿することにより、その視点から見える
画像を生成する。こうして生成された立体画像は画像表
示部３３によりスクリーン７０に表示される。

【００３２】次に、対応点軌跡内挿部３１の動作をくわ
しく説明する。対応点軌跡内挿部３１は視点検出器８０
から左右方向の視点位置Ｘ_pを得る。もし、視点位置Ｘ_p
がカメラの位置に等しいならば、ファイル４０のパラメ
トリックデータ（軌跡係数と濃淡値情報Ｄとからなる）
の各水平ライン上のすべての輝点について、式１に基づ
いて、画像中の水平方向の表示位置を算出し、その表示
位置に輝点の濃淡値Ｄを描画する。結果として。視点位
置に対応した画像が１枚生成される。

【００３３】さらに詳細に、対応点軌跡内挿部３１にお
ける処理について説明する。ここで、ある水平ライン中
のある輝点の水平方向（Ｘ方向）の表示位置をｘ、対応
点軌跡の直線位置をｘ₀、直線傾きをｋ、視点位置をＸ_p
とすると、

【００３４】

【数４】

【００３５】が得られる。なお、本実施形態で、表示ス
クリーン７０および画像表示部３３に、レンチキュラ方
式やメガネ方式などの両眼立体視が可能な立体表示スク
リーン及び立体画像表示部を用い、かつ、視点位置入力
部３２が左右おのおのの目の位置に対応する視点パラメ
ータを算出するように変形することは、第１実施形態と
同じように可能である。この変形に対応して対応点軌跡
内挿部３１が左右おのおのの目に提示するための画像を
生成することにより、前後左右に視点移動可能な両眼立
体表示装置となる。

【００３６】〈観察者の前後方向への移動〉次に、観察
者が前後左右に視点を移動する場合にも、立体視を提供
し得るようにしたシステムにおけるオンデマンドの内挿
表示部６０における処理を説明する。第８図は対応点軌
跡内挿部３１の内挿計算の算出原理を示す図である。

【００３７】図中、ある輝点２００（Ｘ_I，Ｚ_I）が（＋
Ｘ，＋Ｚ）だけずれた点２０１へＸＺ空間で移動する場
合を考える。カメラ２２の光学系の焦点距離をｆとする
と、Ｚ軸の距離ｆのところに撮像面が存在し、その撮像
面においては画素ピッチはｐであるとする。輝点２００
（Ｘ_I，Ｚ_I）は撮像面においてはｘ₀位置にある。輝点
２００（Ｘ_I，Ｚ_I）が（＋Ｘ，＋Ｚ）だけＸＺ空間で移
動すると、画像の表示位置は２０２ｘ₀から２０３ｘに
移動する。ｘ₀位置が、視点位置（０，０）の仮想的な
カメラの撮像面に投影されているとする。投影される位
置は、直線の切片位置ｘ₀に相当する。このとき、視点
位置が移動した場合の、輝点の像の移動を考える。

【００３８】視点２０２がある方向へ移動することは、
逆方向ヘ輝点２００が移動することと等価である。この
原理を利用して、輝点２００が移動量（＋Ｘ，＋Ｚ）だ
け移動した場合の移動後の像２０３（ｘ）を式５に従っ
て求める。

【００３９】

【数５】

【００４０】但し、式５中のｋ，ａは、

【００４１】

【数６】

【００４２】

【数７】

【００４３】で表すことが出来る。尚、式５は、第８図
において、

【００４４】

【数８】

【００４５】

【数９】

【００４６】を解くことにより導かれる。式５を用いる
ことにより、視点移動（−Ｘ、−Ｚ）に対応した、移動
後の像ｘ２０３を求めることができる。観察者が前後に
移動する場合における対応点軌跡内挿部３１の動作を説
明する。視点検出器８０は左右前後の視点位置（−Ｘ、
−Ｚ）を対応点軌跡内挿部３１へ送る。対応点軌跡内挿
部３１は、パラメトリックデータの各水平ラインのすべ
ての対応点軌跡について５式を計算することにより、前
後左右の視点移動に対応した画像を生成する。

【００４７】この例では、入力画像に上下方向の視差が
ないため、前後の視点移動に対して生成される画像には
上下方向の歪みが生じる。被写体までの距離に応じて、
画像の表示時に、上下方向に拡大縮小変換を行うことに
よりこの歪みを目立たなく補正することができる。〈内挿処理の高速化〉次に、内挿表示部６０における処
理を高速に行うという観点からの提案を示す。

【００４８】前述の５式は以下の１０式に変形できる。

【００４９】

【数１０】

【００５０】ここで、ｘ'，ｋ'，Ｚ'を式１１，式１
２，式１３のように定義すると、式１０は、式１４のよ
うに変形される。

【００５１】

【数１１】

【００５２】

【数１２】

【００５３】

【数１３】

【００５４】

【数１４】

【００５５】ここで、ｘ^'およびｋ^'は視点位置に依存し
ないため、あらかじめ計算しておくことができる。ま
た、Ｚ^'は対応点軌跡に依存しないため、視点位置の変
化に対して１回だけ計算すればよい。次に、対応点軌跡
内挿部３１の内挿処理の動作を説明する。対応点軌跡内
挿部３１はまず第９図のステップＳ１１１およびステッ
プＳ１１２において、すべての対応点の軌跡係数（ｋと
ｘ₀）について、それぞれｘ^'およびｋ^'を式１１，式１
２を用いて求める。次にステップＳ１１３で、視点位置
（Ｘ_p，Ｚ_p）を視点位置入力部３２から取得し、ステッ
プＳ１１４において、視点位置が変化するごとに１回だ
け、式１３を用いてＺ^'を計算する。そして、各水平ラ
インの全ての対応点軌跡係数について、ステップＳ１１
５で式１４を用いて輝点の表示位置を算出し、ステップ
Ｓ１１６で輝点の濃淡値を描画する。

【００５６】以上の処理により、本実施形態では高速に
対応点軌跡内挿処理を行うことができ、よりスムーズな
視点移動が可能になるという実施形態特有の効果があ
る。〈上下方向への移動〉次に、本実施形態のシステムを、
前後上下左右に視点移動可能な画像処理装置に適用した
例を説明する。第１０図は上下左右に撮影可能な多眼カ
メラを示す。

【００５７】上下左右に観察者が移動することを前提と
する場合には、ある輝点の像の軌跡は、多視点画像がな
す４次元画像空間中の平面となる。したがって、対応点
軌跡判定部１２の対応点軌跡判定処理は、この入力４次
元画像空間中の平面判定処理に等しい。左右方向及び観
察者の見つめる方向を、Ｘ軸、Ｚ軸にとり、さらに、上
下方向にＹ軸をとると、前記４次元空間は、ＸＹＺの三
次元と、表示位置のｘ軸の４次元空間である。輝点位置
を表す平面は以下の１５式で表される。

【００５８】

【数１５】

【００５９】ここで、視点位置、軌跡上の輝点位置、軌
跡の位置、傾きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。軌跡係数制御部１３の算出する軌跡係数は、平
面の位置と傾きを示す（ｘ₀，ｙ₀，ｋ））の３つの係数
の組みとなる。対応点軌跡判定部１２は軌跡係数制御部
１３および判定しきい値制御部１５に順次制御され、画
像空間中で平面上の軌跡を判定し、検出した平面の係数
をメモリ１４に記憶する。

【００６０】対応点軌跡内挿部３１のステップＳ１１１
は、上記の１１式に加えて、以下の１６式を計算する。

【００６１】

【数１６】

【００６２】また、ステップＳ１１５では、以下の１７
式を用いて、輝点の表示位置（ｘ，ｙ）を計算する。

【００６３】

【数１７】

【００６４】ステップＳ１１６では、表示位置に合わせ
て輝点の濃淡値を描画する。このように、入力画像が上
下方向の視差を持つことを許すと、上下方向の画像の歪
みが生じないという実施形態特有の効果がある。以上、
本発明の実施形態の立体視システムの全体構成、輝点対
応軌跡の検出の概略、さらには、オンデマンド式の内挿
表示（左右方向の移動、前後左右方向の移動、左右上下
方向の移動）における詳細な動作説明について行った。

【００６５】次に、本発明の立体視システムの軌跡の検
出（対応点軌跡検出部５００について、２つの実施形態
を挙げて説明する。〈軌跡の検出〉…第１実施形態第１１図は、被写体２１を多眼カメラ２２が撮影したこ
とによって、画像ライン３００と３０１を得たことを示
している。ここで、第１１図の被写体２１は、平面図，
正面図，右側面図が２１ａ，２１ｂ，２１ｃとして示さ
れる形状を有している。図中、□，＊，○，△は、被写
体２１上の、同じ水平ライン上に載る異なる位置の４つ
の輝点を示している。また、輝点□は平面２１ｄ上にあ
り、輝点○と＊は曲面２１ｅ飢えにあり、輝点△は平面
２１ｆ上にある。

【００６６】カメラ２２ａの位置で撮像した画像３００
には、左から順に、輝点□，○，＊（△は見えない）が
撮像されている。また、カメラ２２ｂ位置において撮像
した画像３０１には、左から順に、輝点○，＊，△（輝
点□は見えない）が撮像されている。前述したように、
画像３００，３０１の２つの輝点○、２つの輝点＊は、
それぞれ、各々のエピポーラプレーン画像上で直線状の
軌跡を形成する。

【００６７】ここで、多眼カメラ２２によって、第１２
図に示すような４つの画像ラインが得られたとする。視
点１において得られた画像には左から順に輝点□，○，
＊が撮像されている。視点２において得られた画像には
左から順に輝点□，○，＊，△が撮像されている。視点
３において得られた画像には左から順に輝点○，＊，△
が撮像されている。視点４において得られた画像には左
から順に輝点＊，△が撮像されている。

【００６８】第１３図にこれら４つの輝点のエピポーラ
プレーン画像を示す。輝点＊と輝点△のエピポーラプレ
ーン画像の直線の傾きｋ_*，ｋ△が等しいのは、輝点＊
と輝点△の奥行き方向（Ｚ方向）の位置が等しいからで
ある。一方、輝点□は４つの輝点の中で最も後方にある
ために傾きｋ□が急峻である。多眼カメラ２２から得た
画像は第１２図に示すように、１つのライン上に複数の
輝点が存在し、これらの輝点は異なる輝点であるから異
なる直線上に載っている筈の輝点である。前述したよう
に、軌跡判定部１２は、多視点画像上の任意のライン上
の全ての輝点がどの直線に載るかを同定する。多視点画
像上では、輝点に識別子が付いていないから、異なる多
視点画像間で、同じ輝点の軌跡を、多の輝点の画素との
識別を行いながら抽出することを行うのが判定部１２の
動作である。

【００６９】次に、実施形態における輝点の同定を説明
する。第１４図の例では、扇形上の壁面を有する被写体
であってその壁面に濃度を徐々に薄くして色が彩色され
ているその被写体を多視点から撮影した場合を考える。
図中、“１０”などの値は濃度値を示す。この場合、被
写体壁面の各点は奥行き方向に変化しているために、多
視点画像の水平座標位置からは輝点を同定することは出
来ない。本実施形態では、濃度値が同じ（近い）ものを
同じ輝点のエピポーラプレーンの軌跡と見なす。

【００７０】実施形態における輝点の同定の手法を第１
５図に示す。第１５図において、視点ｉ−１までの多視
点画像について、ある輝点＊の軌跡が追跡できていると
する。ここで、視点ｉの多視点画像上の複数の画素の中
から、前記軌跡上の画素（…，視点ｉ−３の画像の画
素，視点ｉ−２の画像の画素，視点ｉ−１の画像の画
素）と同じ輝点に対応するｓ番目の画素を同定する場合
には、視点ｉ−１の画素値Ｄ_i-1と大きな差異の無い画
素を選択するようにする。同じ輝点の対応点であるなら
ば、視点ｉのｓ番目の画素の画素値Ｃ_isは、視点ｉ−１
の画素値Ｃ_i-1と大きな差異はないはずであるからであ
る。差異はあっても、照明光の変動による差異程度であ
る。本実施形態では、この差異の絶対値が所定の閾値Ｔ
ｈ以下であるならば、同じ直線上に載っているものと粗
く判断する。尚、閾値Ｔｈは各色（ＲＧＢ）について判
断することはいうまでもない。即ち、２つの画素（ｉと
ｉ−１）間の色データの濃度差の絶対値が閾値に対し
て、

【００７１】

【数１８】

【００７２】であれば、画素Ｃ_iは軌跡上の画素と判定
する。第１６図は、第１４図の例の被写体から得た多視
点画像を解析して同定した輝点の軌跡を示す。第１５図
において、グラフに付された数字は輝点を便宜的に示す
ための濃度値である。軌跡判定部１２の詳細な動作を更
に説明する。第１７図は、軌跡判定部１２が参照するメ
モリ１１に記憶されている多視点画像のデータ構成を示
す。視点ごとに分類された多視点画像は、ライン毎に且
つ画素順に第１７図の如く記憶される。画素毎に「処理
済み」フラグが設けられている。ここで、処理済みと
は、その画素が、或る輝点の軌跡を形成する直線の一部
を構成する「有効画素」として認定されていることを示
す。第１５図の例で、視点ｉ−１までの画像にたいして
傾きｋ，切片ｘ₀が検出されていた場合において、視点
ｉの画素のうちｓ番目の画素が上記式１８を満足したな
らば、ｓ番目の画素に対して傾きｋ，切片ｘ₀が与えら
れる。

【００７３】第１実施形態において輝点の対応点を同定
するには、式１８に用いる閾値が重要である。そこで、
第１実施形態では、判定対象の画素が「処理済み」であ
るか否かにより閾値Ｔｈの値を異ならせるようにしてい
る。即ち、所定の変数値Ｔｈ _AとＴｈ_B（Ｔｈ_A≧Ｔｈ_B）
を用いて、閾値Ｔｈを、Ｔｈ＝Ｔｈ_A（未処理の画素に対して）Ｔｈ＝Ｔｈ_B（処理済みの画素に対して）となるように選択する。更に、上記変数値Ｔｈ_AとＴｈ_B
を、第１８図に示すように、判定処理の繰り返し回数が
大きくなるにつれて、Ｔｈ_A≧Ｔｈ_Bを保ったままおのお
のの値を徐々に大きくしていく。更に詳しくいえば、ま
ず、閾値Ｔｈ_Bを小さな値に固定したままで、閾値Ｔｈ_A
を徐々に大きくして判定処理を繰り返す。閾値Ｔｈ_Aが
ある上限に達したら、閾値Ｔｈ_Aは固定し、今度は閾値
Ｔｈ_Bを徐々に大きくして判定処理を繰り返す。閾値Ｔ
ｈ_Bも上限に達した場合、処理を終了する。

【００７４】第１９図は、閾値制御部１５，判定部１
２，係数制御部１３による処理の制御手順を示す。ステ
ップＳ２００において、閾値制御部１５は閾値の変数値
Ｔｈ_A，Ｔｈ_Bを初期値（第１８図参照）に設定する。初
期においてはＴｈ_A，Ｔｈ_Bは同じ値を有する。ステップ
Ｓ２０２では、判定部１２が変数値Ｔｈ_A，Ｔｈ_Bが共に
上限値ＬＭＴを超えたかをチェックする。上限値ＬＭＴ
を超えるということは、判定処理を終了してもよいほど
の大きな濃度差まで判定処理行ったということである。
従って、

【００７５】

【数１９】

【００７６】ならば判定部１２は判定処理を終了する。
係数制御部１３は、傾きｋおよび切片ｘ₀を色々と変え
て判定部１２に送る。判定部１２は、送られてきた傾き
ｋや切片ｘ₀が所定の範囲内に或るのを確認しながらス
テップＳ２１２で軌跡判定を行う。ステップＳ２１２の
判定処理の詳細は第２０図に示す。

【００７７】ステップＳ２０４では、係数制御部１３は
傾きｋを初期値ｋ_minに設定する。ステップＳ２０６で
は、判定部１２は、変数である傾きｋがｋ_maxを超えて
いないことをチェックする。被写体はある値以上の奥行
き位置には存在しないから、ｋ_min≦ｋ≦ｋ_maxの範囲で
判定処理を行えばよい。ステップＳ２０８では切片ｘ ₀
を初期値ｘ_minに設定する。ステップＳ２１２では、判
定部１２は、切片ｘ₀が、

【００７８】

【数２０】

【００７９】であることを確認して、ステップＳ２１２
で直線判定を行う。切片ｘ₀は被写体のＸ’方向の拡が
りを示すから、式２０の範囲で判定処理を行った後に、
係数制御部１３はステップＳ２１４で切片ｘ₀を、

【００８０】

【数２１】

【００８１】というようにインクリメントする。式２１
に従って切片ｘ₀をインクリメントすることは、エピポ
ーラプレーン画像上の隣の画素をチェックすることを意
味する。即ち、ステップＳ２１２〜ステップＳ２１４の
ループは、ある値の傾きｋについて、全てのエピポーラ
プレーン画像の全ての画素について、ステップＳ２１２
で、注目画素が軌跡上に有るか否かの判定を濃度差Ｔｈ
_AまたはＴｈ_Bで行う。

【００８２】ある値の傾きｋについて、全ての多視点画
像についてステップＳ２１の判定を行ったならば、ステ
ップＳ２１６で傾きｋを、ｋ＝ｋ＋Δｋというようにインクリメントする。即ち、このインクリ
メントはΔｋだけ奥に有る輝点を調べることを意味す
る。そして、ステップＳ２０８でｘ切片を初期化して、
再び、ステップＳ２１２〜ステップＳ２１４のループ
で、注目画素が軌跡上に有るか否かの判定を濃度差Ｔｈ
_AまたはＴｈ_Bで行う。

【００８３】判定処理を一番奥にある輝点について行え
ば、ｋ≧ｋ_maxとなるので、ステップＳ２１８におい
て、軌跡判定のための濃度差閾値Ｔｈ_AまたはＴｈ_Bを第
１８図に従って変更した後、ステップＳ２０２に戻り、
更にステップＳ２０４で傾き変数ｋを初期化して、ステ
ップＳ２０８で切片変数ｘ₀を初期化して、再度ステッ
プＳ２１０〜ステップＳ２１４のループを繰り返す。

【００８４】次に、ステップＳ２１２で行なわれる直線
判定処理を説明する。第２０図は、第１実施形態におけ
る直線判定に際して、複数のエピポーラプレーン画素が
同じ直線に載っていることを結論するために、少なくと
もＴｈ_VAL個の画素が１つの直線に載っていることが必
要なことを示している。前述したように、輝点の対応点
の画素は、既に軌跡に載っている画素の濃度値と１８式
を満足する関係にある画素をいう。しかし、画素値が近
似している２つの画素は多く有りえるから、誤った画素
を対応点と誤認識することが在りえる。そこで、第２０
図に示すように、少なくともＴｈ_VAL個の画素が近似し
た濃度値を持っていることが確認されて、それらは同じ
輝点の対応点と確認するのである。或る画素が或る輝点
の対応点と認識されると、その軌跡を表す傾きｋと切片
ｘ₀の値が、「処理済み」のフラグと共に第１７図のデ
ータアレーに書き込まれる。

【００８５】第２１図のフローチャートに従って第１９
図のステップＳ２１２の詳細を説明する。第１９図の
ステップＳ２１２が実行されるたびに、第２１図のステ
ップＳ３００からの動作を判定部１２は実行する。第２
１図の制御手順が実行されるときは、第１９図の制御手
順から、係数制御部１３から送られてきている傾きｋと
切片ｘ₀と閾値Ｔｈ_a，Ｔｈ_Bとが引数として渡される。

【００８６】まず、ステップＳ３００では、処理済みの
マークがされていない画素を探索する。全ての画素が処
理済みであれば第１９図のステップＳ２１４に戻る。未
処理の画素が有ればステップＳ３０２で、その未処理の
画素を注目画素として、その画素の濃度値をＣ_xとして
保持する。つぎに、ステップＳ３０４では、視点を表す
カウンタｓをクリアする。ステップＳ３０６では、カウ
ンタｓによって指定される画素の濃度値をＣ_sとして保
持する。次に、画素Ｃｓが有効な直線として検出された
対応点の一部で有るか否かをフラグ「処理済み」を調べ
る。処理済みでなければ、ステップＳ３１０に進み、ス
テップＳ３１０で「処理済みでない」画素に与えられる
閾値Ｔｈ_Aをセットして、ステップＳ３１２で、式１８
式に従って画素Ｃ_sと画素Ｃ_xの濃度差を調べる。濃度差
が閾値以内であれば、対応点軌跡を構成する有効画素が
見つかったとしてその数を計数するカウンタＣＮＴをス
テップＳ３２６でだけインクリメントする。ステップＳ
３２８では次の視点画像を探索すべくカウンタｓをイン
クリメントする。ステップＳ３３０では全ての多視点画
像のエピポーラプレーン画像を探索したかを調べる。ま
だの時はステップＳ３０６に戻って前述の作業を繰り返
す。即ち、式１８を満足する画素を次々と探索し、それ
を有効画素とカウントしていく。一方、未処理であった
画素が式１８を満足しない場合はステップＳ３１２から
ステップＳ３４０に進んで、不適切画素として処理す
る。

【００８７】一方、ステップＳ３０８での画素Ｃ_sが直
線に載った軌跡として検出済みであった場合には、ステ
ップＳ３２０に進んで、その画素Ｃ_sに対応する輝点と
注目画素Ｃ_xとのオクルージョン関係を調べる。オクル
ージョンは、傾きｋ同士を比較することによって分か
る。この場合、Ｃ_xの傾きｋ（即ち、計数制御部から送
られてきた傾きｋ）が示す奥行きが、既に検出されてい
る画素Ｃ_sの傾きが示す奥行きよりも前に或る場合（ス
テップＳ３２０でＹＥＳの判定）には、ステップＳ３２
２で閾値をＴｈ_Bに変えて、ステップＳ３２４で変えた
閾値を用いて式１８に従って濃度差をチェックする。式
１８が満足する場合、即ち画素Ｃ_sと画素Ｃ_xとがＴｈ_B
しか異ならない場合には、画素Ｃ_xは有効画素としてス
テップＳ３２６でカウントする。反対に、濃度差がＴｈ
_Bを超える場合にはその画素をスキップするためにステ
ップＳ３２８に進む。

【００８８】一方、ステップＳ３０８で画素Ｃ_sが画素
Ｃ_xとオクルージョン関係に無いと検出された場合に
は、ステップＳ３３４に進んで当該画素Ｃ_sを不適切画
素として処理する。ステップＳ３３０で、注目画素Ｃ_x
と、全ての多視点画像の判定画素Ｃ_sとについて判定を
行ったならば場合は、ステップＳ３３２に進み、計数値
ＣＮＴがＴｈ _VALを超えているならば、計数制御部１３
が送ってきた傾きｋ及び切片ｘ₀によって表される直線
は有効な軌跡であるとステップＳ３３４で判定する。

【００８９】ステップＳ３３４で直線状の軌跡と判定さ
れた輝点は、メモリ１４に、軌跡係数（傾きｋと切片ｘ
₀）と濃度値とがメモリ１４に記憶されると共に、傾き
ｋが奥行き情報としてメモリ１６に記憶される。奥行き
情報として記憶された傾きは、他の画素が直線に載って
いるかいなかを判定するときに、その直線とオクルージ
ョン関係にあるかいなかを判定する際にステップＳ３２
０において参照される。

【００９０】第２２図は、第２１図の制御手順によって
行なわれる直線判定の判定条件をまとめて図示したもの
である。既に直線として検出されている輝点の濃度値
と、注目画素の濃度値との値に差があるときに、判定用
の閾値を、閾値Ｔｈ_Aと閾値Ｔｈ_Bのいずれかを用いるよ
うにしたのは、オクルージョン関係が或る場合において
誤判定を防ぐために式１８による判定をオクルージョン
が無い場合に比してより厳格にするためである。

【００９１】以上説明した第１実施形態の軌跡検出部５
０は、前述の各種形態のオンデマンド内挿表示部６０に
適用可能である。〈軌跡の判定〉…第２実施形態前述の第１実施形態にかかる対応点軌跡検出部５０は、
軌跡検出に当たり、２つの閾値のいずれかを、オクルー
ジョン関係が発生する恐れが有るか否かに応じて選択し
ていた。これから説明する第２実施形態の対応点軌跡検
出部５０は、さらに多くの手法を用意し且つこれを使い
分けるようにしている。

【００９２】第２実施形態の軌跡検出部５０の構成は第
１実施形態のそれ（第６図）に近い。ただ、第２実施形
態の軌跡検出部５０は、第６図の構成において、検出マ
ーク配列メモリ１６の代わりに、奥行き情報メモリが設
けられている。第２３図は、ある注目画素Ｃ_xが、ある
輝点の対応点軌跡Ｃ_sの直線上に載っているかを判定す
る場合において発生する論理状態を示す図である。円形
の論理領域４００は、２つの画素Ｃ_x，Ｃ_sが共に同じ画
素値（差が前述のＴｈ以下を含む）を有する場合を、半
円形領域４０３は判定対象の画素Ｃ_sが注目画素Ｃ_xの手
前にある場合を、また、半円形領域４０４は判定対象の
画素Ｃ_sが注目画素Ｃ_xの後方にある場合を示す。

【００９３】第２実施形態では、直線検出の手法を、：２つの画素Ｃ_x，Ｃ_sの前後の位置関係を考慮して行
う。：先に検出した直線Ｃ_sと注目画素Ｃ_xとの前後関係を
考慮しないで行う。ここで、の「前後の位置関係」を考慮した直線検出で
は、さらに、 -1：直線を構成すべきと判定される全ての点が「未処
理」とマークされた画素でかつ互いに同一の色であるこ
と、即ち、領域４００から領域４０１，４０２を除いた
論理状態にあれば、直線Ｃ_sと注目画素Ｃ_xとは直線に載
っていると判定する。

【００９４】-2：または、対象画素Ｃ_sが注目画素Ｃ_s
の手前にある直線に載っていていると検出されており、
且つ、Ｃ_sとＣ_sとが同一色である場合、即ち、共通領域
４０１の論理状態にあるときは直線Ｃ_sと注目画素Ｃ_xと
は直線に載っていると判定する。 -3：または、対象画素Ｃ_sが注目画素Ｃ_sの手前にある
直線に載っていていると検出されており、且つ、Ｃ_sと
Ｃ_sとが異なる色である場合、即ち、領域４０３から領
域４０１を除いた論理状態にあるときは、直線Ｃ_sと注
目画素Ｃ_xとは直線に載っていると判定する。

【００９５】また、の前後関係を考慮しない場合に
は、 -1：直線を構成すべきと判定される全ての点が「未処
理」とマークされた画素でかつ互いに同一の色であるこ
と、即ち、領域４００から領域４０１，４０２を除いた
論理状態にあれば、直線Ｃ_sと注目画素Ｃ_xとは直線に載
っていると判定する。

【００９６】-2：または、対象画素Ｃ_sが注目画素Ｃ_s
の手前にある直線に載っていていると検出されており、
且つ、Ｃ_sとＣ_sとが同一色である場合、即ち、共通領域
４０１の論理状態にあるときは直線Ｃ_sと注目画素Ｃ_xと
は直線に載っていると判定する。 -3：または、対象画素Ｃ_sが注目画素Ｃ_sの後方にある
直線に載っていていると検出されており、且つ、Ｃ_sと
Ｃ_sとが同一色である場合、即ち、共通領域４０２の論
理状態にあるときは、直線Ｃ_sと注目画素Ｃ_xとは直線に
載っていると判定する。

【００９７】-4：または、対象画素Ｃ_sが注目画素Ｃ_s
の手前にある直線に載っていていると検出されており、
且つ、Ｃ_sとＣ_sとが異なる色である場合、即ち、共通領
域４０３の論理状態にあるときは、直線Ｃ_sと注目画素
Ｃ_xとは直線に載っていると判定する。但し、対象画素
Ｃ_sが注目画素Ｃ_sの後方にある直線に載っていていると
検出されており、且つ、Ｃ_sとＣ_sとが異なる色である場
合、即ち、領域４０４の論理状態を許すと、前後位置の
逆転現象が多く発生する可能性が高くなるので、許可し
ていない。

【００９８】第２４図は、第２実施形態の軌跡検出部５
０の制御手順を示すフローチャートであり、第１実施形
態の第１９図の制御手順に相当する。また、第２５図は
第２４図のステップＳ４１２の詳細手順を示すフローチ
ャートであり、第１実施形態の第２１図の制御手順に相
当する。説明の便宜上、第２５図の直線判定処理から説
明する。

【００９９】第１実施形態の時と同じように、判定する
直線の傾きｋと位置ｘが軌跡係数制御部１３から、閾値
制御部１５から判定条件の要素として色の差の閾値Ｔｈ
と直線の構成点数閾値Ｔｈ_VALと判定方法（前述の判定
方法と）のタイプとが先だって入力されている。先
ず、未処理画素を探索するステップＳ４５０で直線上の
画素をたどり、未処理画素が存在するか調べる。未処理
画素が無い場合には、直線未検出とする。反対に、未処
理画素が存在する場合には、注目画素を設定するステッ
プＳ４５２に進んで、その未処理画素を注目画素Ｃ_xと
する。次に、被判定画素を設定するステップＳ４５６
で、直線上のｉ番目の視点の画像にある画素Ｃ_sを被判
定画素とする。次に、色の差分を比較するステップＳ４
５８で注目画素Ｃ_xと被判定画素Ｃ_sの色の差を比較し、
色の差が閾値Ｔｈより小さい場合は、構成点数カウンタ
ＣＮＴをインクリメントするステップＳ４６２に進み、
Ｔｈよりも大きい場合は、判定対象画素Ｃ_sの「処理済
み」フラグを調べるステップＳ４７０に進む。

【０１００】処理済みを調べるステップＳ４７０で、未
処理と判定された場合は直線未検出とする。一方、画素
Ｃ_sが処理済みの場合は、判定制御部１５が設定した判
定方法のタイプを調べる。もし制御部が前後関係を維持
する（の手法）検出方式を指示している場合には、ス
テップＳ４７４に進み、ステップＳ４７４で対象画素Ｃ
_sが手前の物体の輝点として検出されているかを調べ
る。尚、このオクルージョン関係の検査は、第１実施形
態と同じく、奥行き情報メモリ１６に記憶されている傾
きｋに基づいて行う。ステップＳ４７４で対象画素Ｃ_s
が後方にある輝点として検出されていたならば、直線未
検出としてそのままリターンする。

【０１０１】一方、前後関係無視を無視して直線追跡を
行う場合にはステップＳ４７２からステップＳ４６４に
進む。そして、ステップＳ４６４で視点位置ｓを移動す
る。処理済み画素の前後関係を調べるステップＳ４７４
は、検出マーク配列メモリ１６が保持している値と、現
在判定中の直線の傾きを元に計算した値とを比較して前
後関係を調べる。ここで、後方にある処理済み画素と判
定された場合（ステップＳ４７４でＮＯ）は直線未検出
とし、反対に、前方にある処理済み画素と判定された場
合には、オクルージョンによって判定直線の一部分が隠
されているとして処理を続行する。

【０１０２】ステップＳ４６６では視点位置の存在をチ
ェックする。次の視点がある場合は被判定画素を設定す
るステップＳ４５６に進み、次の視点がない場合は構成
点数をチェックするステップＳ４６８に進む。ステップ
Ｓ４６８では、構成点数ＣＮＴと直線の構成点数閾値Ｔ
ｈ_VALとを比較して、閾値Ｔｈ_VALより小さい場合は直線
未検出とし、大きい場合は、判定した直線を対応点の軌
跡として検出軌跡メモリ１４に記憶する。

【０１０３】以上のようなアルゴリズムで直線の判定を
行う。次に、制御部１５によって設定された判定条件に
したがって直線を探索する手順について第２４図を用い
て説明する。設定された判定条件から、色の閾値Ｔｈ、
直線の傾きｋ、直線の位置ｘ₀を制御しながら対象とな
る直線の探索を行う。第２４図の処理の流は三重のルー
プ処理になっており、色の閾値との判定ループの中に、
直線の傾きｋを制御するループがあり、直線の傾きルー
プの中に直線の位置ｘ₀を制御するループがある。

【０１０４】これについて第２４図のフローチャートで
詳しく説明する。最初に、ステップＳ４００で色しきい
値Ｔｈの最小値Ｔｈ_min、色しきい値の最大値Ｔｈ_max、
直線の傾きの最小値ｋ_min、直線の傾きの最大値ｋ_max、
直線の位置の最小値ｘ_min、直線の位置の最大値ｘ_maxが
指定される。次に、ステップＳ４００で、色の閾値Ｔｈ
に初期設定値Ｔｈ_miが設定される。ステップＳ４０２で
は判定閾値Ｔｈの範囲をチェックする。範囲外と判定さ
れた場合には処理を終了する。また、範囲内であれば、
直線の傾きｋを、初期設定ｋ_minに設定する。ここで直
線の傾きの最小値ｋ_minは、最も手前にある対象物体の
傾きに相当している。

【０１０５】ステップＳ４０６で直線の傾きｋが範囲内
であるかをチェックする。範囲外と判定された場合には
ステップＳ４１８で色閾値Ｔｈを微小分ΔＴｈだけ変化
させることにより、色の閾値を緩める。また、直線の傾
きｋが範囲内であれば、探索直線の傾きｋを初期設定最
小値ｋ_minに設定する。次に、ステップＳ４１０で直線
の位置ｘが範囲内であるかをチェックする。範囲外と判
定された場合には、ステップＳ４１６で直線の傾きｋを
微小分Δｋだけ変化させることにより、直線の傾きｋを
より遠方の物体の傾きに変えて、ステップＳ４０６に進
み、直線の傾きｋが範囲ないにあるかをチェックする。
そしてステップＳ４０６に進む。また直線の位置ｘが範
囲内であれば、設定された色の閾値（Ｔｈ_min，Ｔ
ｈ_max）、直線の傾きｋ、位置ｘ₀にしたがって行う。そ
の後、ステップＳ４１４で、直線の位置ｘ₀を微小分Δ
ｘだけ変化させる。ステップＳ４１４で直線の位置ｘ₀
を微小分Δｘだけ変化させることは、直線の位置ｘを動
かして直線の閾値が厳しい軌跡（直線）ほど優先に検出
し、同一の閾値では手前にある物体の軌跡（直線）から
順に検出することを意味する。このようにして３次元的
な位置関係を維持しながら直線検出を行う。

【０１０６】検出した直線の位置と傾きは検出軌跡メモ
リ１４に記憶される。データ出力部１７によって出力さ
れるパラメトリックデータ１９は、各水平ラインごと
の、検出された直線上軌跡の本数分の、直線の位置と傾
きと直線の色の組みである。次に、判定閾値制御部１５
が制御する判定条件について詳しく述べる。判定条件
（閾値の初期値、最大値、判定のタイプ等）の設定は、
対象物体の軌跡（直線）を忠実に、且つ確実に検出でき
るようにするために行われる。そのため、第２実施形態
では、判定条件を目的別に設定し、数段階にわけて直線
検索をおこなう。

【０１０７】第２６図は、制御部１５が設定する判定条
件がどのように変化するかを示す代わりに、判定条件の
目的をどのように変遷させて設定しているかを示すもの
である。即ち、第１実施形態では、閾値Ｔｈのみを処理
の回数が増えるに従って漸増させていたが、第２実施形
態では、閾値のみならず他の条件も変えるものである。

【０１０８】まず、制御部１５が最初に設定する判定条
件は、ステップＳ５００に示すように、対応点軌跡判定
のための通常の判定条件である。処理がある程度進んだ
ところで、判定部１５は、直線構成点数閾値Ｔｈ_VALを
固定させて変化しないように維持し、直線判定の際の前
後位置関係も維持されるようにした上で、色のしきい値
をある程度の範囲で変化させる。色の差が少ない直線か
ら優先的に検出する。

【０１０９】ステップＳ５００の例として、色の閾値Ｔ
ｈを、２〜３２の範囲で可変とし、構成点数閾値Ｔｈ
_VALは全点数の１／３とし、前後関係は維持する。ステ
ップＳ５０２の判定条件は、ステップＳ５００の色判定
では検出しにくい直線の検出を目的とするもので、未処
理画素を重視した判定を行う。ここでは、色の閾値Ｔｈ
を大幅に緩め、直線の構成点数閾値Ｔｈ_VALを大きく
し、且つ直線の前後関係を維持することにより未処理画
素を多く含む直線を検出するものである。

【０１１０】ステップＳ５０２の例として、色の閾値Ｔ
ｈを６４とし、構成点数閾値Ｔｈ_VA _Lは全点数の２／３
とし、前後関係は維持する。ステップＳ５０４の判定条
件は、部分的にしか観察されない直線の検出を目的とし
て同色性を重視したものである。ここでは、色のしきい
値Ｔｈをきつくし（大きな値とし）、直線の構成点数閾
値Ｔｈ_VALを少なく（例えば２点）を設定する。これに
より、これまで直線の構成点数閾値で未検出になってい
た直線を検出する。ステップＳ５０４の判定条件の例と
して、色の閾値Ｔｈを２〜１６の範囲で可変とし、構成
点数閾値Ｔｈ_VALは２、前後関係は維持するというもの
である。

【０１１１】次に、ステップＳ５０６の判定条件は、誤
検出された直線の影響で直線が検出されないようにする
ことを目的とするもので、未処理画素を重視するために
色の閾値Ｔｈは適当に設定し、構成点数閾値Ｔｈ_VALを
大きくとり、前後関係の制約を無くす。ステップＳ５０
６の判定条件の例として、色の閾値ＴＨを６４、構成点
数閾値Ｔｈ_VALは全点数の２／３とし、同一色なら前後
逆転も許すというものである。

【０１１２】最後に、ステップＳ５０８の判定条件は、
未処理のままの画素を最小にする事を目的とするもの
で、色のしきい値Ｔｈを緩めに設定し、直線の構成点数
閾値Ｔｈ_VALも少なくする。ただし前後位置関係は維持
するように設定する。ステップＳ５０８の条件の例とし
て、色の閾値Ｔｈを３２〜６４の範囲で可変とし、構成
点数閾値Ｔｈ_VALは２とし、前後関係は維持するものと
する。

【０１１３】第２実施形態の軌跡判定の処理は、前述の
種々のオンデマンド内挿表示部６０における処理形態に
適用可能である。〈他の実施形態〉以上の各実施例では、あらかじめ撮影
された多視点画像が入力多視点画像メモリ１１に保持さ
れている構成としたが、これを、多視点画像を実時間で
取り込むことのできる多眼テレビカメラに置き換えるこ
とにより、実時間の任意視点画像撮影・表示システムと
なる。

【０１１４】さらに、パラメトリックデータ１９を通信
データとして遠隔端末間でやり取りする場合、実時間の
任意視点画像通信システムとなる。なお、本発明は単体
の画像処理装置に適用しても良いし、多視点テレビ、多
視点テレビ電話端末や多視点テレビ会議システムのよう
なシステム機器に適用しても良いし、コンピュータや他
の画像処理装置と組み合わせた複合装置にも適用でき
る。

【０１１５】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【０１１６】

【発明の効果】以上説明したように本発明の画像処理装
置によれば、多視点入力画像から精度の良く、被写体の
輝点に対応する軌跡を抽出することが出来る。従って、
この抽出された画像データを多視点再生画像に利用すれ
ば、観察者の視点位置に応じた再生画像を精度よく再生
することが可能となる。

【図面の簡単な説明】

【図１】本発明の画像処理装置が適用された立体視シス
テムの構成を示す図。

【図２】本発明の画像処理装置に用いられるエピポーラ
プレーン画像の生成過程を説明する図。

【図３】エピポーラプレーン画像において、輝点対応点
の軌跡が直線で近似され、その直線が傾き及び切片の値
によって表されることを示す図。

【図４】本発明の画像処理装置の一形態の概略的構成を
示す図。

【図５】輝点位置とエピポーラプレーン画像の直線との
関係を説明する図。

【図６】本発明の画像処理装置の第１実施形態及び第２
実施形態の構成を示す図。

【図７】第１，第２実施形態において、メモリ１１にお
ける多視点画像データの記憶形態を説明する図。

【図８】第１実施形態，第２実施形態において、視点の
移動に伴う輝点の移動を説明する図。

【図９】第１実施形態，第２実施形態の軌跡内挿処理の
制御手順を示すフローチャート。

【図１０】本発明を適用した、上下左右の視点移動にも
対処できる立体視システムの構成を示す図。

【図１１】第１実施形態，第２実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。

【図１２】第１実施形態，第２実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。

【図１３】図１２のエピポーラプレーン画像から生成さ
れた輝点の軌跡を示す図。

【図１４】第１実施形態，第２実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。

【図１５】第１実施形態，第２実施形態の軌跡検出の原
理を説明する図。

【図１６】図１４のエピポーラプレーン画像から生成さ
れた輝点の軌跡を示す図。

【図１７】第１実施形態多視点画像メモリ１１の記憶配
置を示す図。

【図１８】第１実施形態における閾値Ｔｈの制御を説明
する図。

【図１９】第１実施形態の軌跡探索のための制御手順を
示すフローチャート。

【図２０】軌跡が直線に載っていることを判定する原理
を説明する図。

【図２１】第１実施形態の軌跡探索のための制御手順を
示すフローチャート。

【図２２】第１実施形態における検出条件の変更を説明
する図。

【図２３】本発明の第２実施形態における直線検出の原
理を説明する図。

【図２４】第２実施形態の軌跡探索のための制御手順を
示すフローチャート。

【図２５】第２実施形態の軌跡探索のための制御手順を
示すフローチャート。

【図２６】第２実施形態の軌跡探索において、検出条件
がどのように変えられるかを示す図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者瓜阪真也東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】それぞれ異なる位置から同じ被写体を撮
像して得た複数の多視点画像を入力する入力手段と、被写体のそれぞれの輝点について、所定の検出条件を用
いて、前記輝点の対応点を前記複数の多視点画像に亙っ
て同定する同定手段と、前記同定手段が用いる前記所定の検出条件を変更する条
件変更手段と、個々の輝点毎に、輝点について同定された対応点を表す
パラメトリック画像データを生成する生成手段と、生成されたパラメトリック画像データを記憶する記憶手
段とを有する画像処理装置。
【請求項２】前記同定手段は、前記多視点画像データ
のエピポーラ・プレーン画像上で前記輝点の対応点の軌
跡を表す直線を同定することを特徴とする請求項１に記
載の画像処理装置。
【請求項３】前記同定手段は、前記多視点画像データ
のエピポーラ・プレーン画像上で前記輝点の対応点の軌
跡を表す平面を同定することを特徴とする請求項１に記
載の画像処理装置。
【請求項４】前記同定手段は、前記多視点画像の画素間の画像データ値の差が所定の閾
値以内にあるときは前記画素は互いに対応すると判断
し、前記所定の閾値外にあるときは判断を保留すること
を、エピポーラプレーン画像上の画素に対して繰り返
し、前記変更手段は繰り返し回数に応じて前記所定の検出条
件を変更することを特徴とする請求項１乃至３のいずれ
かに記載の画像処理装置。
【請求項５】判断対象の画像データは画素の濃度で表
されることを特徴とする請求項４に記載の画像処理装
置。
【請求項６】前記変更手段は繰り返し回数に応じて前
記所定の検出条件を緩和することを特徴とする請求項４
乃至５のいずれかに記載の画像処理装置。
【請求項７】前記同定手段は、被写体の輝点を、エピ
ポーラプレーン画像において直線軌跡もしくは平面軌跡
によって同定し、前記同定手段は、注目画素が、直線軌跡もしくは平面軌跡上の対応点とし
て検出されているかいないかに応じて、前記所定の検出
条件を変更することを特徴とする請求項１に記載の画像
処理装置。
【請求項８】注目画素が、直線軌跡もしくは平面軌跡
上の対応点として検出されている場合には、前記所定の
検出条件を厳しく設定し、検出されていない場合は緩く
設定することを特徴とする請求項７に記載の画像処理装
置。
【請求項９】判定対象画素と注目画素とがオクルージ
ョン関係にあるかを判断する手段をさらに有することを
特徴とする請求項８に記載の画像処理装置。
【請求項１０】前記検出条件は、判定対象画素と注目画素との画素値の差を判断するため
の第１の閾値、及びまたは、軌跡を構成すると認定するための画素数を表す第２の閾
値、及びまたは、前記判定対象画素と注目画素のオクルージョン関係を維
持するか否か、であることを特徴とする請求項７に記載
の画像処理装置。
【請求項１１】前記同定手段は、同定処理を繰り返す
手段を有し、変更手段は、繰り返し回数が大きくなるほど、前記第１
の閾値と第２の閾値とを大きくすることにより、色の判
定では検出困難な軌跡を検出することを特徴とする請求
項１０に記載の画像処理装置。
【請求項１２】前記同定手段は、同定処理を繰り返す
手段を有し、変更手段は、繰り返し回数が大きくなるほど、前記第１
の閾値と第２の閾値とを小さくすることにより、より小
さな軌跡を検出し易くすることを特徴とする請求項１０
に記載の画像処理装置。
【請求項１３】前記同定手段は、同定処理を繰り返す
手段を有し、変更手段は、繰り返し回数が大きくなるほど、前記第２
の閾値とを大きくし、オクルージョン関係の維持の制約
を緩くすることにより、誤検出された軌跡の影響を少な
くすることを特徴とする請求項１０に記載の画像処理装
置。
【請求項１４】前記同定手段は、同定処理を繰り返す
手段を有し、変更手段は、繰り返し回数が大きくなるほど、前記第１
の閾値を大きくし、前記第２の閾値を小さくすることに
より、検出されない軌跡を少なくすることを特徴とする
請求項１０に記載の画像処理装置。