JPH09288735A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH09288735A
JPH09288735A JP8101702A JP10170296A JPH09288735A JP H09288735 A JPH09288735 A JP H09288735A JP 8101702 A JP8101702 A JP 8101702A JP 10170296 A JP10170296 A JP 10170296A JP H09288735 A JPH09288735 A JP H09288735A
Authority
JP
Japan
Prior art keywords
image
locus
threshold value
pixel
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8101702A
Other languages
English (en)
Inventor
Kouichirou Tanaka
宏一良 田中
Akihiro Katayama
昭宏 片山
Eita Ono
英太 小野
Shinya Urisaka
真也 瓜阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8101702A priority Critical patent/JPH09288735A/ja
Publication of JPH09288735A publication Critical patent/JPH09288735A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 多視点入力画像から、精度よく、対応点軌跡
を同定することの出来る画像処理装置を提供する。 【解決手段】 それぞれ異なる位置から同じ被写体を撮
像して得た複数の多視点画像を入力し、被写体のそれぞ
れの輝点について、所定の検出条件を用いて、前記輝点
の対応点を前記複数の多視点画像に亙って同定するに際
して、前記所定の検出条件を変更しながら同定する。輝
点について同定された対応点を表すパラメトリック画像
データを生成し、生成されたパラメトリック画像データ
を記憶手段に記憶する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、視点の異なる複数の多
視点画像から、観察者の視点位置を有する再生画像に役
立つ画像を生成する画像処理装置に関する。
【0002】
【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラーディスプレイなどがある。ステレオディスプレイ
は、2台のカメラから得られる画像を交互に高速に切り
替えて表示される。観察者は、この切り替えに同期する
シャッターメガネや偏光メガネを用いることにより、映
像を立体的に観察することができる。また、レンチキュ
ラディスプレイは、例えば4台のカメラからの画像をそ
れぞれ画素単位に並べ替え、前面にレンチキュラーシー
トを張り付けることにより4視点の映像を立体的に表現
することができるというものである。
【0003】また、多視点入力画像から、実際の観察者
の視点に応じた多視点再生画像を生成するための手法と
してエピポーラプレーン画像を生成する方法が提案され
ている。これは、多視点入力画像にエピポーラプレーン
画像を設定して、被写体輝点の対応点軌跡を直線として
規定するものである。多視点入力画像が直線データの集
合として記憶されるので、圧縮効率があがるというメリ
ットがある。
【0004】
【発明が解決しようとする課題】しかしながら、エピポ
ーラプレーン画像上では、対応点の色(輝度)が変化し
たり、オクルージョン等により対応点が消失したりする
ため、エピポーラプレーン画像内で対応点を探索するこ
とは容易でない。従来では、画素値が近似している画素
を同じ軌跡上の対応点と同定していたので、精度が低い
ものであった。
【0005】本発明は上記問題点に鑑みてなされたもの
で、その目的は、多視点入力画像から、精度よく、対応
点軌跡を同定することの出来る画像処理装置を提供する
ことにある。
【0006】
【課題を解決するための手段】上記課題を達成するため
の本発明の画像処理装置は、それぞれ異なる位置から同
じ被写体を撮像して得た複数の多視点画像を入力する入
力手段と、被写体のそれぞれの輝点について、所定の検
出条件を用いて、前記輝点の対応点を前記複数の多視点
画像に亙って同定する同定手段と、前記同定手段が用い
る前記所定の検出条件を変更する条件変更手段と、個々
の輝点毎に、輝点について同定された対応点を表すパラ
メトリック画像データを生成する生成手段と、生成され
たパラメトリック画像データを記憶する記憶手段とを有
することを特徴とする。
【0007】変更手段は、同定手段が用いる前記所定の
検出条件を同定処理過程において変更するために、目的
にあった検出条件を設定することが出来て、精度の良い
対応点検出が実現する。本発明の好適な一態様に拠れ
ば、前記同定手段は、前記多視点画像データのエピポー
ラ・プレーン画像上で前記輝点の対応点の軌跡を表す直
線を同定する。
【0008】本発明の好適な一態様に拠れば、前記同定
手段は、前記多視点画像データのエピポーラ・プレーン
画像上で前記輝点の対応点の軌跡を表す平面を同定する
本発明の好適な一態様に拠れば、前記同定手段は、前記
多視点画像の画素間の画像データ値の差が所定の閾値以
内にあるときは前記画素は互いに対応すると判断し、前
記所定の閾値外にあるときは判断を保留することを、エ
ピポーラプレーン画像上の画素に対して繰り返し、前記
変更手段は繰り返し回数に応じて前記所定の検出条件を
変更する。
【0009】同定処理を繰り返す過程で、種々の軌跡の
性質に合った検出条件を設定することができる。本発明
の好適な一態様に拠れば、前記変更手段は繰り返し回数
に応じて前記所定の検出条件を緩和する。本発明の好適
な一態様に拠れば、前記同定手段は、被写体の輝点を、
エピポーラプレーン画像において直線軌跡もしくは平面
軌跡によって同定し、前記同定手段は、注目画素が、直
線軌跡もしくは平面軌跡上の対応点として検出されてい
るかいないかに応じて、前記所定の検出条件を変更す
る。
【0010】オートクルーズ関係を考慮することが可能
となる。例えば、注目画素が、直線軌跡もしくは平面軌
跡上の対応点として検出されている場合には、前記所定
の検出条件を厳しく設定し、検出されていない場合は緩
く設定する。本発明の好適な一態様に拠れば、判定対象
画素と注目画素とがオクルージョン関係にあるかを判断
する。
【0011】本発明の好適な一態様に拠れば、前記検出
条件は、判定対象画素と注目画素との画素値の差を判断
するための第1の閾値、及びまたは、軌跡を構成すると
認定するための画素数を表す第2の閾値、及びまたは、
前記判定対象画素と注目画素のオクルージョン関係を維
持するか否か、である。
【0012】本発明の好適な一態様に拠れば、検出条件
を上記のように設定した上で、変更手段は、繰り返し回
数が大きくなるほど、前記第1の閾値と第2の閾値とを
大きくする。これにより、色の判定では検出困難であっ
た軌跡を正確に検出することができる。本発明の好適な
一態様に拠れば、検出条件を上記のように設定した上
で、変更手段は、繰り返し回数が大きくなるほど、前記
第1の閾値と第2の閾値とを小さくする。これにより、
より小さな軌跡を検出し易くする。
【0013】本発明の好適な一態様に拠れば、検出条件
を上記のように設定した上で、前記同定手段は、変更手
段は、繰り返し回数が大きくなるほど、前記第2の閾値
とを大きくし、オクルージョン関係の維持の制約を緩く
することにより、誤検出された軌跡の影響を少なくす
る。本発明の好適な一態様に拠れば、検出条件を上記の
ように設定した上で、変更手段は、繰り返し回数が大き
くなるほど、前記第1の閾値を大きくし、前記第2の閾
値を小さくする。これにより、検出されない軌跡を少な
くする。
【0014】
【発明の実施の形態】次に、添付図面を参照しながら本
発明の実施形態について説明する。 〈システム構成〉第1図は本発明の画像処理装置を適用
した立体視システム構成を示す図である。第1図のシス
テムは本発明の全ての実施形態に共通である。
【0015】図中、21は投影する被写体、22a〜2
2fは直線状に並べられた多眼カメラ、100は本シス
テムの中核をなす画像処理装置、70は画像処理装置1
00が出力する多視点画像を表示するための視点検出器
80つき表示スクリーン、80は、視点位置・方向を検
出する視点検出装置、81は表示スクリーンに表示され
た立体画像を観察する眼鏡である。
【0016】尚、このシステムにおいては、表示スクリ
ーン70に左目用画像と右目用画像を高速に切り替えな
がら表示し、それに同期して眼鏡81の左目部分と右目
部分の透過率が変化することにより、表示スクリーン7
0に表示された左目用画像は左目だけに、右目用画像は
右目だけに見せるような液晶シャッタ眼鏡を用いた立体
表示システムを利用してもよい。また、表示スクリーン
70に左目用画像と右目用画像を夫々異なる偏光をかけ
て表示し、眼鏡81のレンズ部分に左目用画像と右目用
画像を分離する偏光フィルタを装着した立体表示システ
ムを利用してもよい。また、立体表示できるものであれ
ばこれに限らず他の方式でもよい。待たし点検出装置8
0が装着できれば、立体表示が不要な場合は通常の2D
の表示システムでもよい。
【0017】〈エピポーラプレーン画像〉画像処理装置
100(他の実施形態の画像処理装置も)はEPIを用
いる。EPIについて第2図,第3図を用いて説明す
る。EPIとは、他眼カメラ22によって各視点から撮
影された画像から、各画像における同じ位置にあるライ
ンを集め、それらを視点順に並べることによって構成さ
れた画像である。例えば、第2図のように、異なる視点
位置の複数のカメラ(第2図の例では4つ)により、あ
るいは多眼カメラにより1つの被写体を撮像すると、画
像1〜4が得られる。これらの画像の夫々において、同
じ水平ラインに注目する。多眼カメラ22は水平面上に
並んでいるので、この水平ライン上にのった被写体上の
同じ輝点(第2図において黒の矩形で表す)は、視点位
置に応じて、個々の水平ライン上において水平方向にず
れた位置をとる。
【0018】第2図に示すように、カメラの視点の移動
方向にX軸を取り、このX軸に垂直にカメラの光軸方向
にZ軸をとり、カメラの画像空間にx軸をとると、第3
図に示すように、横軸xが輝点の水平表示位置を示すよ
うに、縦軸Xが視点位置を示すように、x軸,X軸をと
ると、ある水平ライン上に載った1つの輝点の像(即ち
EPI)は第3図の点の集合、即ち、ある傾きkと切片
0を有する直線となる。
【0019】
【数1】
【0020】第3図において、切片x0は、最も左のカ
メラ(視点位置X=0)によって得られた画像の表示値
を示す。従って、この直線が表す輝点の位置は、カメラ
22の光学系の焦点距離をf、カメラ22のイメージセ
ンサの画素ピッチをpとして座標系XZで表すと、第5
図に示すように、
【0021】
【数2】
【0022】
【数3】
【0023】が得られる。式1は、ある輝点の表示位置
xは、離散的な視点X(X1, X2,…)から得られる
だけでなく、視点Xの値が任意の値、即ち、観察者がカ
メラ視点以外の位置Xにいる場合にも、表示位置xを演
算できることを意味する。この演算は内挿補間処理によ
る。
【0024】尚、カメラから遠い被写体の多視点画像を
とった場合、その被写体上の一点である輝点位置は、視
点位置の変化に対して、水平方向の変化が少ない。従っ
て、このような被写体のEPIにおける直線の傾きは垂
直に近くなる。即ち、観察者が後方に移動した場合に対
応する多視点画像のEPIは急峻な傾きkを有するもの
であり、観察者が前方に移動した場合に対応する多視点
画像のEPIは緩い傾きを有するものである。また、手
前にある輝点の直線軌跡が、奥にある輝点の直線軌跡を
覆い隠すという、オクルージョン関係も存在する。
【0025】従って、ある輝点の多視点画像は、その輝
点の多視点画像におけるEPI上において、直線の傾き
kと横軸xとの切片x0とによって定義される。換言す
れば、1つの輝点の複数の多視点画像データは、その輝
点の画素値(濃度値もしくは色データ値)と共に、デー
タ kとx0とに圧縮されることになる。1つのEPIに
は、通常、複数の輝点が含まれる。従って、第3図の直
線を抽出するためには、複数の画像データの中から、同
じ輝点に由来するものだけを同定しなければならない。
この同定の処理を、本実施形態では、輝点に対応する複
数の点によって表される軌跡を検出するという意味で、
「対応点軌跡の検出」と呼ぶ。また、検出された軌跡を
表す直線のデータ、上述の kとx0とを「軌跡データ」
と呼ぶ。
【0026】第4図に画像処理装置100における処理
の概略を示す。第4図中、カメラ22からの多視点画像
に基づいて、対応点の軌跡が検出され、続いて軌跡デー
タに圧縮される。即ち、被写体の全ての輝点についての
軌跡データが得られる。これらの軌跡データはパラメト
リックデータとしてファイルに記憶される。
【0027】以上が、多視点画像を取得し、それをパラ
メトリックデータとしての記憶するまでの処理である。
実際に立体視するときは、観察者の視点に応じて多視点
画像データを補正しなければならないから、その補正処
理、即ち内挿処理が第4図に示されている。即ち、立体
視を行うときは、ファイルからパラメトリックデータが
読み取られ、軌跡データに伸張される。その上で、検出
器80によって検出された観察者の視点が入力されて、
内挿処理が行われる。この内挿処理は、視点位置の変化
に応じてリアルタイムで行われる必要があるために、本
実施形態では「オンデマンド内挿表示」処理と呼ぶ。
【0028】〈対応点軌跡検出の概略〉第6図は画像処
理装置100の詳細構成、即ち、対応点軌跡検出部50
とオンデマンド内挿表示部60の構成を示す図である。
先ず、対応点軌跡検出部50における処理について説明
する。図中、画像メモリ11は、多眼カメラ22によっ
て撮影した複数の画像を記憶する。メモリ11の記憶デ
ータは、左右に直線上に並んだ多数の視点から得た被写
体の多視点画像である。対応点軌跡判定部12はメモリ
11中の多視点画像をスキャンし、直線状の軌跡を有す
る輝点像を探索する。この探索は係数制御部13から送
られてくる係数によって制御される。メモリ14は、軌
跡判定部12が検出した輝点nの軌跡の係数(knとx
0n)および同輝点nの濃淡値Dnを第7図に示すフォー
マットでファイル40に記憶する。尚、第7図の例で
は、水平方向のライン番号が例えば100番のラインに
対して、一例として2048個の輝点が検出され、その
ラインの輝点の軌跡データが記憶されていることを示
す。
【0029】係数制御部13が生成する係数は、1組の
傾きkと切片x0の値である。前述したように、被写体
の1つの輝点のEPIは、傾きkと切片のx0によって
定義できるので、判定部における探索は、係数制御部1
3から送られてくる1組の傾きkと切片x0によって定
義される直線に載るような輝点の画像を探索することに
等しい。
【0030】軌跡判定部12における判定にはある閾値
が用いられる。この閾値を制御するのが閾値制御部15
である。メモリ16は、軌跡判定部12が検出した対応
点軌跡の画像中での位置と検出した条件とを保持する。
データ出力部17はメモリ14に記憶された対応点軌跡
係数を出力する。 〈オンデマンド内挿〉オンデマンド内挿表示部60は、
データ入力部30と、対応点軌跡内挿部31と、画像表
示部33と、視点位置入力部32とを有する。
【0031】データ入力部110はパラメトリックデー
タをファイル40から入力する。対応点軌跡内挿部31
は、観察者の実際の視点位置(視点位置入部32が検出
器80から入力した)にもとづいてデータ入力部30の
対応点軌跡を内挿することにより、その視点から見える
画像を生成する。こうして生成された立体画像は画像表
示部33によりスクリーン70に表示される。
【0032】次に、対応点軌跡内挿部31の動作をくわ
しく説明する。対応点軌跡内挿部31は視点検出器80
から左右方向の視点位置Xpを得る。もし、視点位置Xp
がカメラの位置に等しいならば、ファイル40のパラメ
トリックデータ(軌跡係数と濃淡値情報Dとからなる)
の各水平ライン上のすべての輝点について、式1に基づ
いて、画像中の水平方向の表示位置を算出し、その表示
位置に輝点の濃淡値Dを描画する。結果として。視点位
置に対応した画像が1枚生成される。
【0033】さらに詳細に、対応点軌跡内挿部31にお
ける処理について説明する。ここで、ある水平ライン中
のある輝点の水平方向(X方向)の表示位置をx、対応
点軌跡の直線位置をx0、直線傾きをk、視点位置をXp
とすると、
【0034】
【数4】
【0035】が得られる。なお、本実施形態で、表示ス
クリーン70および画像表示部33に、レンチキュラ方
式やメガネ方式などの両眼立体視が可能な立体表示スク
リーン及び立体画像表示部を用い、かつ、視点位置入力
部32が左右おのおのの目の位置に対応する視点パラメ
ータを算出するように変形することは、第1実施形態と
同じように可能である。この変形に対応して対応点軌跡
内挿部31が左右おのおのの目に提示するための画像を
生成することにより、前後左右に視点移動可能な両眼立
体表示装置となる。
【0036】〈観察者の前後方向への移動〉次に、観察
者が前後左右に視点を移動する場合にも、立体視を提供
し得るようにしたシステムにおけるオンデマンドの内挿
表示部60における処理を説明する。第8図は対応点軌
跡内挿部31の内挿計算の算出原理を示す図である。
【0037】図中、ある輝点200(XI,ZI)が(+
X,+Z)だけずれた点201へXZ空間で移動する場
合を考える。カメラ22の光学系の焦点距離をfとする
と、Z軸の距離fのところに撮像面が存在し、その撮像
面においては画素ピッチはpであるとする。輝点200
(XI,ZI)は撮像面においてはx0位置にある。輝点
200(XI,ZI)が(+X,+Z)だけXZ空間で移
動すると、画像の表示位置は202x0から203xに
移動する。x0位置が、視点位置(0,0)の仮想的な
カメラの撮像面に投影されているとする。投影される位
置は、直線の切片位置x0に相当する。このとき、視点
位置が移動した場合の、輝点の像の移動を考える。
【0038】視点202がある方向へ移動することは、
逆方向ヘ輝点200が移動することと等価である。この
原理を利用して、輝点200が移動量(+X,+Z)だ
け移動した場合の移動後の像203(x)を式5に従っ
て求める。
【0039】
【数5】
【0040】但し、式5中のk,aは、
【0041】
【数6】
【0042】
【数7】
【0043】で表すことが出来る。尚、式5は、第8図
において、
【0044】
【数8】
【0045】
【数9】
【0046】を解くことにより導かれる。式5を用いる
ことにより、視点移動(−X、−Z)に対応した、移動
後の像x203を求めることができる。観察者が前後に
移動する場合における対応点軌跡内挿部31の動作を説
明する。視点検出器80は左右前後の視点位置(−X、
−Z)を対応点軌跡内挿部31へ送る。対応点軌跡内挿
部31は、パラメトリックデータの各水平ラインのすべ
ての対応点軌跡について5式を計算することにより、前
後左右の視点移動に対応した画像を生成する。
【0047】この例では、入力画像に上下方向の視差が
ないため、前後の視点移動に対して生成される画像には
上下方向の歪みが生じる。被写体までの距離に応じて、
画像の表示時に、上下方向に拡大縮小変換を行うことに
よりこの歪みを目立たなく補正することができる。 〈内挿処理の高速化〉次に、内挿表示部60における処
理を高速に行うという観点からの提案を示す。
【0048】前述の5式は以下の10式に変形できる。
【0049】
【数10】
【0050】ここで、x',k',Z'を式11,式1
2,式13のように定義すると、式10は、式14のよ
うに変形される。
【0051】
【数11】
【0052】
【数12】
【0053】
【数13】
【0054】
【数14】
【0055】ここで、x'およびk'は視点位置に依存し
ないため、あらかじめ計算しておくことができる。ま
た、Z'は対応点軌跡に依存しないため、視点位置の変
化に対して1回だけ計算すればよい。次に、対応点軌跡
内挿部31の内挿処理の動作を説明する。対応点軌跡内
挿部31はまず第9図のステップS111およびステッ
プS112において、すべての対応点の軌跡係数(kと
0)について、それぞれx'およびk'を式11,式1
2を用いて求める。次にステップS113で、視点位置
(Xp,Zp)を視点位置入力部32から取得し、ステッ
プS114において、視点位置が変化するごとに1回だ
け、式13を用いてZ'を計算する。そして、各水平ラ
インの全ての対応点軌跡係数について、ステップS11
5で式14を用いて輝点の表示位置を算出し、ステップ
S116で輝点の濃淡値を描画する。
【0056】以上の処理により、本実施形態では高速に
対応点軌跡内挿処理を行うことができ、よりスムーズな
視点移動が可能になるという実施形態特有の効果があ
る。 〈上下方向への移動〉次に、本実施形態のシステムを、
前後上下左右に視点移動可能な画像処理装置に適用した
例を説明する。第10図は上下左右に撮影可能な多眼カ
メラを示す。
【0057】上下左右に観察者が移動することを前提と
する場合には、ある輝点の像の軌跡は、多視点画像がな
す4次元画像空間中の平面となる。したがって、対応点
軌跡判定部12の対応点軌跡判定処理は、この入力4次
元画像空間中の平面判定処理に等しい。左右方向及び観
察者の見つめる方向を、X軸、Z軸にとり、さらに、上
下方向にY軸をとると、前記4次元空間は、XYZの三
次元と、表示位置のx軸の4次元空間である。輝点位置
を表す平面は以下の15式で表される。
【0058】
【数15】
【0059】ここで、視点位置、軌跡上の輝点位置、軌
跡の位置、傾きは、それぞれ (Xp,Yp)、(XI,YI)、(x0,y0)、k である。軌跡係数制御部13の算出する軌跡係数は、平
面の位置と傾きを示す(x0,y0,k))の3つの係数
の組みとなる。対応点軌跡判定部12は軌跡係数制御部
13および判定しきい値制御部15に順次制御され、画
像空間中で平面上の軌跡を判定し、検出した平面の係数
をメモリ14に記憶する。
【0060】対応点軌跡内挿部31のステップS111
は、上記の11式に加えて、以下の16式を計算する。
【0061】
【数16】
【0062】また、ステップS115では、以下の17
式を用いて、輝点の表示位置(x,y)を計算する。
【0063】
【数17】
【0064】ステップS116では、表示位置に合わせ
て輝点の濃淡値を描画する。このように、入力画像が上
下方向の視差を持つことを許すと、上下方向の画像の歪
みが生じないという実施形態特有の効果がある。以上、
本発明の実施形態の立体視システムの全体構成、輝点対
応軌跡の検出の概略、さらには、オンデマンド式の内挿
表示(左右方向の移動、前後左右方向の移動、左右上下
方向の移動)における詳細な動作説明について行った。
【0065】次に、本発明の立体視システムの軌跡の検
出(対応点軌跡検出部500について、2つの実施形態
を挙げて説明する。 〈軌跡の検出〉…第1実施形態 第11図は、被写体21を多眼カメラ22が撮影したこ
とによって、画像ライン300と301を得たことを示
している。ここで、第11図の被写体21は、平面図,
正面図,右側面図が21a,21b,21cとして示さ
れる形状を有している。図中、□,*,○,△は、被写
体21上の、同じ水平ライン上に載る異なる位置の4つ
の輝点を示している。また、輝点□は平面21d上にあ
り、輝点○と*は曲面21e飢えにあり、輝点△は平面
21f上にある。
【0066】カメラ22aの位置で撮像した画像300
には、左から順に、輝点□,○,*(△は見えない)が
撮像されている。また、カメラ22b位置において撮像
した画像301には、左から順に、輝点○,*,△(輝
点□は見えない)が撮像されている。前述したように、
画像300,301の2つの輝点○、2つの輝点*は、
それぞれ、各々のエピポーラプレーン画像上で直線状の
軌跡を形成する。
【0067】ここで、多眼カメラ22によって、第12
図に示すような4つの画像ラインが得られたとする。視
点1において得られた画像には左から順に輝点□,○,
*が撮像されている。視点2において得られた画像には
左から順に輝点□,○,*,△が撮像されている。視点
3において得られた画像には左から順に輝点○,*,△
が撮像されている。視点4において得られた画像には左
から順に輝点*,△が撮像されている。
【0068】第13図にこれら4つの輝点のエピポーラ
プレーン画像を示す。輝点*と輝点△のエピポーラプレ
ーン画像の直線の傾きk*,k△が等しいのは、輝点*
と輝点△の奥行き方向(Z方向)の位置が等しいからで
ある。一方、輝点□は4つの輝点の中で最も後方にある
ために傾きk□が急峻である。多眼カメラ22から得た
画像は第12図に示すように、1つのライン上に複数の
輝点が存在し、これらの輝点は異なる輝点であるから異
なる直線上に載っている筈の輝点である。前述したよう
に、軌跡判定部12は、多視点画像上の任意のライン上
の全ての輝点がどの直線に載るかを同定する。多視点画
像上では、輝点に識別子が付いていないから、異なる多
視点画像間で、同じ輝点の軌跡を、多の輝点の画素との
識別を行いながら抽出することを行うのが判定部12の
動作である。
【0069】次に、実施形態における輝点の同定を説明
する。第14図の例では、扇形上の壁面を有する被写体
であってその壁面に濃度を徐々に薄くして色が彩色され
ているその被写体を多視点から撮影した場合を考える。
図中、“10”などの値は濃度値を示す。この場合、被
写体壁面の各点は奥行き方向に変化しているために、多
視点画像の水平座標位置からは輝点を同定することは出
来ない。本実施形態では、濃度値が同じ(近い)ものを
同じ輝点のエピポーラプレーンの軌跡と見なす。
【0070】実施形態における輝点の同定の手法を第1
5図に示す。第15図において、視点i−1までの多視
点画像について、ある輝点*の軌跡が追跡できていると
する。ここで、視点iの多視点画像上の複数の画素の中
から、前記軌跡上の画素(…,視点i−3の画像の画
素,視点i−2の画像の画素,視点i−1の画像の画
素)と同じ輝点に対応するs番目の画素を同定する場合
には、視点i−1の画素値Di-1と大きな差異の無い画
素を選択するようにする。同じ輝点の対応点であるなら
ば、視点iのs番目の画素の画素値Cisは、視点i−1
の画素値Ci-1と大きな差異はないはずであるからであ
る。差異はあっても、照明光の変動による差異程度であ
る。本実施形態では、この差異の絶対値が所定の閾値T
h以下であるならば、同じ直線上に載っているものと粗
く判断する。尚、閾値Thは各色(RGB)について判
断することはいうまでもない。即ち、2つの画素(iと
i−1)間の色データの濃度差の絶対値が閾値に対し
て、
【0071】
【数18】
【0072】であれば、画素Ciは軌跡上の画素と判定
する。第16図は、第14図の例の被写体から得た多視
点画像を解析して同定した輝点の軌跡を示す。第15図
において、グラフに付された数字は輝点を便宜的に示す
ための濃度値である。軌跡判定部12の詳細な動作を更
に説明する。第17図は、軌跡判定部12が参照するメ
モリ11に記憶されている多視点画像のデータ構成を示
す。視点ごとに分類された多視点画像は、ライン毎に且
つ画素順に第17図の如く記憶される。画素毎に「処理
済み」フラグが設けられている。ここで、処理済みと
は、その画素が、或る輝点の軌跡を形成する直線の一部
を構成する「有効画素」として認定されていることを示
す。第15図の例で、視点i−1までの画像にたいして
傾きk,切片x0が検出されていた場合において、視点
iの画素のうちs番目の画素が上記式18を満足したな
らば、s番目の画素に対して傾きk,切片x0が与えら
れる。
【0073】第1実施形態において輝点の対応点を同定
するには、式18に用いる閾値が重要である。そこで、
第1実施形態では、判定対象の画素が「処理済み」であ
るか否かにより閾値Thの値を異ならせるようにしてい
る。即ち、所定の変数値Th AとThB(ThA≧ThB
を用いて、閾値Thを、 Th=ThA(未処理の画素に対して) Th=ThB(処理済みの画素に対して) となるように選択する。更に、上記変数値ThAとThB
を、第18図に示すように、判定処理の繰り返し回数が
大きくなるにつれて、ThA≧ThBを保ったままおのお
のの値を徐々に大きくしていく。更に詳しくいえば、ま
ず、閾値ThBを小さな値に固定したままで、閾値ThA
を徐々に大きくして判定処理を繰り返す。閾値ThA
ある上限に達したら、閾値ThAは固定し、今度は閾値
ThBを徐々に大きくして判定処理を繰り返す。閾値T
Bも上限に達した場合、処理を終了する。
【0074】第19図は、閾値制御部15,判定部1
2,係数制御部13による処理の制御手順を示す。ステ
ップS200において、閾値制御部15は閾値の変数値
ThA,ThBを初期値(第18図参照)に設定する。初
期においてはThA,ThBは同じ値を有する。ステップ
S202では、判定部12が変数値ThA,ThBが共に
上限値LMTを超えたかをチェックする。上限値LMT
を超えるということは、判定処理を終了してもよいほど
の大きな濃度差まで判定処理行ったということである。
従って、
【0075】
【数19】
【0076】ならば判定部12は判定処理を終了する。
係数制御部13は、傾きkおよび切片x0を色々と変え
て判定部12に送る。判定部12は、送られてきた傾き
kや切片x0が所定の範囲内に或るのを確認しながらス
テップS212で軌跡判定を行う。ステップS212の
判定処理の詳細は第20図に示す。
【0077】ステップS204では、係数制御部13は
傾きkを初期値kminに設定する。ステップS206で
は、判定部12は、変数である傾きkがkmaxを超えて
いないことをチェックする。被写体はある値以上の奥行
き位置には存在しないから、kmin≦k≦kmaxの範囲で
判定処理を行えばよい。ステップS208では切片x 0
を初期値xminに設定する。ステップS212では、判
定部12は、切片x0が、
【0078】
【数20】
【0079】であることを確認して、ステップS212
で直線判定を行う。切片x0は被写体のX’方向の拡が
りを示すから、式20の範囲で判定処理を行った後に、
係数制御部13はステップS214で切片x0を、
【0080】
【数21】
【0081】というようにインクリメントする。式21
に従って切片x0をインクリメントすることは、エピポ
ーラプレーン画像上の隣の画素をチェックすることを意
味する。即ち、ステップS212〜ステップS214の
ループは、ある値の傾きkについて、全てのエピポーラ
プレーン画像の全ての画素について、ステップS212
で、注目画素が軌跡上に有るか否かの判定を濃度差Th
AまたはThBで行う。
【0082】ある値の傾きkについて、全ての多視点画
像についてステップS21の判定を行ったならば、ステ
ップS216で傾きkを、 k=k+Δk というようにインクリメントする。即ち、このインクリ
メントはΔkだけ奥に有る輝点を調べることを意味す
る。そして、ステップS208でx切片を初期化して、
再び、ステップS212〜ステップS214のループ
で、注目画素が軌跡上に有るか否かの判定を濃度差Th
AまたはThBで行う。
【0083】判定処理を一番奥にある輝点について行え
ば、k≧kmaxとなるので、ステップS218におい
て、軌跡判定のための濃度差閾値ThAまたはThBを第
18図に従って変更した後、ステップS202に戻り、
更にステップS204で傾き変数kを初期化して、ステ
ップS208で切片変数x0を初期化して、再度ステッ
プS210〜ステップS214のループを繰り返す。
【0084】次に、ステップS212で行なわれる直線
判定処理を説明する。第20図は、第1実施形態におけ
る直線判定に際して、複数のエピポーラプレーン画素が
同じ直線に載っていることを結論するために、少なくと
もThVAL個の画素が1つの直線に載っていることが必
要なことを示している。前述したように、輝点の対応点
の画素は、既に軌跡に載っている画素の濃度値と18式
を満足する関係にある画素をいう。しかし、画素値が近
似している2つの画素は多く有りえるから、誤った画素
を対応点と誤認識することが在りえる。そこで、第20
図に示すように、少なくともThVAL個の画素が近似し
た濃度値を持っていることが確認されて、それらは同じ
輝点の対応点と確認するのである。或る画素が或る輝点
の対応点と認識されると、その軌跡を表す傾きkと切片
0の値が、「処理済み」のフラグと共に第17図のデ
ータアレーに書き込まれる。
【0085】第21図のフローチャートに従って第19
図のステップS212の詳細を説明する。 第19図の
ステップS212が実行されるたびに、第21図のステ
ップS300からの動作を判定部12は実行する。第2
1図の制御手順が実行されるときは、第19図の制御手
順から、係数制御部13から送られてきている傾きkと
切片x0と閾値Tha,ThBとが引数として渡される。
【0086】まず、ステップS300では、処理済みの
マークがされていない画素を探索する。全ての画素が処
理済みであれば第19図のステップS214に戻る。未
処理の画素が有ればステップS302で、その未処理の
画素を注目画素として、その画素の濃度値をCxとして
保持する。つぎに、ステップS304では、視点を表す
カウンタsをクリアする。ステップS306では、カウ
ンタsによって指定される画素の濃度値をCsとして保
持する。次に、画素Csが有効な直線として検出された
対応点の一部で有るか否かをフラグ「処理済み」を調べ
る。処理済みでなければ、ステップS310に進み、ス
テップS310で「処理済みでない」画素に与えられる
閾値ThAをセットして、ステップS312で、式18
式に従って画素Csと画素Cxの濃度差を調べる。濃度差
が閾値以内であれば、対応点軌跡を構成する有効画素が
見つかったとしてその数を計数するカウンタCNTをス
テップS326でだけインクリメントする。ステップS
328では次の視点画像を探索すべくカウンタsをイン
クリメントする。ステップS330では全ての多視点画
像のエピポーラプレーン画像を探索したかを調べる。ま
だの時はステップS306に戻って前述の作業を繰り返
す。即ち、式18を満足する画素を次々と探索し、それ
を有効画素とカウントしていく。一方、未処理であった
画素が式18を満足しない場合はステップS312から
ステップS340に進んで、不適切画素として処理す
る。
【0087】一方、ステップS308での画素Csが直
線に載った軌跡として検出済みであった場合には、ステ
ップS320に進んで、その画素Csに対応する輝点と
注目画素Cxとのオクルージョン関係を調べる。オクル
ージョンは、傾きk同士を比較することによって分か
る。この場合、Cxの傾きk(即ち、計数制御部から送
られてきた傾きk)が示す奥行きが、既に検出されてい
る画素Csの傾きが示す奥行きよりも前に或る場合(ス
テップS320でYESの判定)には、ステップS32
2で閾値をThBに変えて、ステップS324で変えた
閾値を用いて式18に従って濃度差をチェックする。式
18が満足する場合、即ち画素Csと画素CxとがThB
しか異ならない場合には、画素Cxは有効画素としてス
テップS326でカウントする。反対に、濃度差がTh
Bを超える場合にはその画素をスキップするためにステ
ップS328に進む。
【0088】一方、ステップS308で画素Csが画素
xとオクルージョン関係に無いと検出された場合に
は、ステップS334に進んで当該画素Csを不適切画
素として処理する。ステップS330で、注目画素Cx
と、全ての多視点画像の判定画素Csとについて判定を
行ったならば場合は、ステップS332に進み、計数値
CNTがTh VALを超えているならば、計数制御部13
が送ってきた傾きk及び切片x0によって表される直線
は有効な軌跡であるとステップS334で判定する。
【0089】ステップS334で直線状の軌跡と判定さ
れた輝点は、メモリ14に、軌跡係数(傾きkと切片x
0)と濃度値とがメモリ14に記憶されると共に、傾き
kが奥行き情報としてメモリ16に記憶される。奥行き
情報として記憶された傾きは、他の画素が直線に載って
いるかいなかを判定するときに、その直線とオクルージ
ョン関係にあるかいなかを判定する際にステップS32
0において参照される。
【0090】第22図は、第21図の制御手順によって
行なわれる直線判定の判定条件をまとめて図示したもの
である。既に直線として検出されている輝点の濃度値
と、注目画素の濃度値との値に差があるときに、判定用
の閾値を、閾値ThAと閾値ThBのいずれかを用いるよ
うにしたのは、オクルージョン関係が或る場合において
誤判定を防ぐために式18による判定をオクルージョン
が無い場合に比してより厳格にするためである。
【0091】以上説明した第1実施形態の軌跡検出部5
0は、前述の各種形態のオンデマンド内挿表示部60に
適用可能である。 〈軌跡の判定〉…第2実施形態 前述の第1実施形態にかかる対応点軌跡検出部50は、
軌跡検出に当たり、2つの閾値のいずれかを、オクルー
ジョン関係が発生する恐れが有るか否かに応じて選択し
ていた。これから説明する第2実施形態の対応点軌跡検
出部50は、さらに多くの手法を用意し且つこれを使い
分けるようにしている。
【0092】第2実施形態の軌跡検出部50の構成は第
1実施形態のそれ(第6図)に近い。ただ、第2実施形
態の軌跡検出部50は、第6図の構成において、検出マ
ーク配列メモリ16の代わりに、奥行き情報メモリが設
けられている。第23図は、ある注目画素Cxが、ある
輝点の対応点軌跡Csの直線上に載っているかを判定す
る場合において発生する論理状態を示す図である。円形
の論理領域400は、2つの画素Cx,Csが共に同じ画
素値(差が前述のTh以下を含む)を有する場合を、半
円形領域403は判定対象の画素Csが注目画素Cxの手
前にある場合を、また、半円形領域404は判定対象の
画素Csが注目画素Cxの後方にある場合を示す。
【0093】第2実施形態では、直線検出の手法を、 :2つの画素Cx,Csの前後の位置関係を考慮して行
う。 :先に検出した直線Csと注目画素Cxとの前後関係を
考慮しないで行う。 ここで、の「前後の位置関係」を考慮した直線検出で
は、さらに、 -1:直線を構成すべきと判定される全ての点が「未処
理」とマークされた画素でかつ互いに同一の色であるこ
と、即ち、領域400から領域401,402を除いた
論理状態にあれば、直線Csと注目画素Cxとは直線に載
っていると判定する。
【0094】-2:または、対象画素Csが注目画素Cs
の手前にある直線に載っていていると検出されており、
且つ、CsとCsとが同一色である場合、即ち、共通領域
401の論理状態にあるときは直線Csと注目画素Cx
は直線に載っていると判定する。 -3:または、対象画素Csが注目画素Csの手前にある
直線に載っていていると検出されており、且つ、Cs
sとが異なる色である場合、即ち、領域403から領
域401を除いた論理状態にあるときは、直線Csと注
目画素Cxとは直線に載っていると判定する。
【0095】また、の前後関係を考慮しない場合に
は、 -1:直線を構成すべきと判定される全ての点が「未処
理」とマークされた画素でかつ互いに同一の色であるこ
と、即ち、領域400から領域401,402を除いた
論理状態にあれば、直線Csと注目画素Cxとは直線に載
っていると判定する。
【0096】-2:または、対象画素Csが注目画素Cs
の手前にある直線に載っていていると検出されており、
且つ、CsとCsとが同一色である場合、即ち、共通領域
401の論理状態にあるときは直線Csと注目画素Cx
は直線に載っていると判定する。 -3:または、対象画素Csが注目画素Csの後方にある
直線に載っていていると検出されており、且つ、Cs
sとが同一色である場合、即ち、共通領域402の論
理状態にあるときは、直線Csと注目画素Cxとは直線に
載っていると判定する。
【0097】-4:または、対象画素Csが注目画素Cs
の手前にある直線に載っていていると検出されており、
且つ、CsとCsとが異なる色である場合、即ち、共通領
域403の論理状態にあるときは、直線Csと注目画素
xとは直線に載っていると判定する。但し、対象画素
sが注目画素Csの後方にある直線に載っていていると
検出されており、且つ、CsとCsとが異なる色である場
合、即ち、領域404の論理状態を許すと、前後位置の
逆転現象が多く発生する可能性が高くなるので、許可し
ていない。
【0098】第24図は、第2実施形態の軌跡検出部5
0の制御手順を示すフローチャートであり、第1実施形
態の第19図の制御手順に相当する。また、第25図は
第24図のステップS412の詳細手順を示すフローチ
ャートであり、第1実施形態の第21図の制御手順に相
当する。説明の便宜上、第25図の直線判定処理から説
明する。
【0099】第1実施形態の時と同じように、判定する
直線の傾きkと位置xが軌跡係数制御部13から、閾値
制御部15から判定条件の要素として色の差の閾値Th
と直線の構成点数閾値ThVALと判定方法(前述の判定
方法と)のタイプとが先だって入力されている。先
ず、未処理画素を探索するステップS450で直線上の
画素をたどり、未処理画素が存在するか調べる。未処理
画素が無い場合には、直線未検出とする。反対に、未処
理画素が存在する場合には、注目画素を設定するステッ
プS452に進んで、その未処理画素を注目画素Cx
する。次に、被判定画素を設定するステップS456
で、直線上のi番目の視点の画像にある画素Csを被判
定画素とする。次に、色の差分を比較するステップS4
58で注目画素Cxと被判定画素Csの色の差を比較し、
色の差が閾値Thより小さい場合は、構成点数カウンタ
CNTをインクリメントするステップS462に進み、
Thよりも大きい場合は、判定対象画素Csの「処理済
み」フラグを調べるステップS470に進む。
【0100】処理済みを調べるステップS470で、未
処理と判定された場合は直線未検出とする。一方、画素
sが処理済みの場合は、判定制御部15が設定した判
定方法のタイプを調べる。もし制御部が前後関係を維持
する(の手法)検出方式を指示している場合には、ス
テップS474に進み、ステップS474で対象画素C
sが手前の物体の輝点として検出されているかを調べ
る。尚、このオクルージョン関係の検査は、第1実施形
態と同じく、奥行き情報メモリ16に記憶されている傾
きkに基づいて行う。ステップS474で対象画素Cs
が後方にある輝点として検出されていたならば、直線未
検出としてそのままリターンする。
【0101】一方、前後関係無視を無視して直線追跡を
行う場合にはステップS472からステップS464に
進む。そして、ステップS464で視点位置sを移動す
る。処理済み画素の前後関係を調べるステップS474
は、検出マーク配列メモリ16が保持している値と、現
在判定中の直線の傾きを元に計算した値とを比較して前
後関係を調べる。ここで、後方にある処理済み画素と判
定された場合(ステップS474でNO)は直線未検出
とし、反対に、前方にある処理済み画素と判定された場
合には、オクルージョンによって判定直線の一部分が隠
されているとして処理を続行する。
【0102】ステップS466では視点位置の存在をチ
ェックする。次の視点がある場合は被判定画素を設定す
るステップS456に進み、次の視点がない場合は構成
点数をチェックするステップS468に進む。ステップ
S468では、構成点数CNTと直線の構成点数閾値T
VALとを比較して、閾値ThVALより小さい場合は直線
未検出とし、大きい場合は、判定した直線を対応点の軌
跡として検出軌跡メモリ14に記憶する。
【0103】以上のようなアルゴリズムで直線の判定を
行う。次に、制御部15によって設定された判定条件に
したがって直線を探索する手順について第24図を用い
て説明する。設定された判定条件から、色の閾値Th、
直線の傾きk、直線の位置x0を制御しながら対象とな
る直線の探索を行う。第24図の処理の流は三重のルー
プ処理になっており、色の閾値との判定ループの中に、
直線の傾きkを制御するループがあり、直線の傾きルー
プの中に直線の位置x0を制御するループがある。
【0104】これについて第24図のフローチャートで
詳しく説明する。最初に、ステップS400で色しきい
値Thの最小値Thmin、色しきい値の最大値Thmax
直線の傾きの最小値kmin、直線の傾きの最大値kmax
直線の位置の最小値xmin、直線の位置の最大値xmax
指定される。次に、ステップS400で、色の閾値Th
に初期設定値Thmiが設定される。ステップS402で
は判定閾値Thの範囲をチェックする。範囲外と判定さ
れた場合には処理を終了する。また、範囲内であれば、
直線の傾きkを、初期設定kminに設定する。ここで直
線の傾きの最小値kminは、最も手前にある対象物体の
傾きに相当している。
【0105】ステップS406で直線の傾きkが範囲内
であるかをチェックする。範囲外と判定された場合には
ステップS418で色閾値Thを微小分ΔThだけ変化
させることにより、色の閾値を緩める。また、直線の傾
きkが範囲内であれば、探索直線の傾きkを初期設定最
小値kminに設定する。次に、ステップS410で直線
の位置xが範囲内であるかをチェックする。範囲外と判
定された場合には、ステップS416で直線の傾きkを
微小分Δkだけ変化させることにより、直線の傾きkを
より遠方の物体の傾きに変えて、ステップS406に進
み、直線の傾きkが範囲ないにあるかをチェックする。
そしてステップS406に進む。また直線の位置xが範
囲内であれば、設定された色の閾値(Thmin,T
max)、直線の傾きk、位置x0にしたがって行う。そ
の後、ステップS414で、直線の位置x0を微小分Δ
xだけ変化させる。ステップS414で直線の位置x0
を微小分Δxだけ変化させることは、直線の位置xを動
かして直線の閾値が厳しい軌跡(直線)ほど優先に検出
し、同一の閾値では手前にある物体の軌跡(直線)から
順に検出することを意味する。このようにして3次元的
な位置関係を維持しながら直線検出を行う。
【0106】検出した直線の位置と傾きは検出軌跡メモ
リ14に記憶される。データ出力部17によって出力さ
れるパラメトリックデータ19は、各水平ラインごと
の、検出された直線上軌跡の本数分の、直線の位置と傾
きと直線の色の組みである。次に、判定閾値制御部15
が制御する判定条件について詳しく述べる。判定条件
(閾値の初期値、最大値、判定のタイプ等)の設定は、
対象物体の軌跡(直線)を忠実に、且つ確実に検出でき
るようにするために行われる。そのため、第2実施形態
では、判定条件を目的別に設定し、数段階にわけて直線
検索をおこなう。
【0107】第26図は、制御部15が設定する判定条
件がどのように変化するかを示す代わりに、判定条件の
目的をどのように変遷させて設定しているかを示すもの
である。即ち、第1実施形態では、閾値Thのみを処理
の回数が増えるに従って漸増させていたが、第2実施形
態では、閾値のみならず他の条件も変えるものである。
【0108】まず、制御部15が最初に設定する判定条
件は、ステップS500に示すように、対応点軌跡判定
のための通常の判定条件である。処理がある程度進んだ
ところで、判定部15は、直線構成点数閾値ThVAL
固定させて変化しないように維持し、直線判定の際の前
後位置関係も維持されるようにした上で、色のしきい値
をある程度の範囲で変化させる。色の差が少ない直線か
ら優先的に検出する。
【0109】ステップS500の例として、色の閾値T
hを、2〜32の範囲で可変とし、構成点数閾値Th
VALは全点数の1/3とし、前後関係は維持する。ステ
ップS502の判定条件は、ステップS500の色判定
では検出しにくい直線の検出を目的とするもので、未処
理画素を重視した判定を行う。ここでは、色の閾値Th
を大幅に緩め、直線の構成点数閾値ThVALを大きく
し、且つ直線の前後関係を維持することにより未処理画
素を多く含む直線を検出するものである。
【0110】ステップS502の例として、色の閾値T
hを64とし、構成点数閾値ThVA Lは全点数の2/3
とし、前後関係は維持する。ステップS504の判定条
件は、部分的にしか観察されない直線の検出を目的とし
て同色性を重視したものである。ここでは、色のしきい
値Thをきつくし(大きな値とし)、直線の構成点数閾
値ThVALを少なく(例えば2点)を設定する。これに
より、これまで直線の構成点数閾値で未検出になってい
た直線を検出する。ステップS504の判定条件の例と
して、色の閾値Thを2〜16の範囲で可変とし、構成
点数閾値ThVALは2、前後関係は維持するというもの
である。
【0111】次に、ステップS506の判定条件は、誤
検出された直線の影響で直線が検出されないようにする
ことを目的とするもので、未処理画素を重視するために
色の閾値Thは適当に設定し、構成点数閾値ThVAL
大きくとり、前後関係の制約を無くす。ステップS50
6の判定条件の例として、色の閾値THを64、構成点
数閾値ThVALは全点数の2/3とし、同一色なら前後
逆転も許すというものである。
【0112】最後に、ステップS508の判定条件は、
未処理のままの画素を最小にする事を目的とするもの
で、色のしきい値Thを緩めに設定し、直線の構成点数
閾値ThVALも少なくする。ただし前後位置関係は維持
するように設定する。ステップS508の条件の例とし
て、色の閾値Thを32〜64の範囲で可変とし、構成
点数閾値ThVALは2とし、前後関係は維持するものと
する。
【0113】第2実施形態の軌跡判定の処理は、前述の
種々のオンデマンド内挿表示部60における処理形態に
適用可能である。 〈他の実施形態〉以上の各実施例では、あらかじめ撮影
された多視点画像が入力多視点画像メモリ11に保持さ
れている構成としたが、これを、多視点画像を実時間で
取り込むことのできる多眼テレビカメラに置き換えるこ
とにより、実時間の任意視点画像撮影・表示システムと
なる。
【0114】さらに、パラメトリックデータ19を通信
データとして遠隔端末間でやり取りする場合、実時間の
任意視点画像通信システムとなる。なお、本発明は単体
の画像処理装置に適用しても良いし、多視点テレビ、多
視点テレビ電話端末や多視点テレビ会議システムのよう
なシステム機器に適用しても良いし、コンピュータや他
の画像処理装置と組み合わせた複合装置にも適用でき
る。
【0115】尚、本発明は、複数の機器から構成される
システムに適用しても、1つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。
【0116】
【発明の効果】以上説明したように本発明の画像処理装
置によれば、多視点入力画像から精度の良く、被写体の
輝点に対応する軌跡を抽出することが出来る。従って、
この抽出された画像データを多視点再生画像に利用すれ
ば、観察者の視点位置に応じた再生画像を精度よく再生
することが可能となる。
【図面の簡単な説明】
【図1】本発明の画像処理装置が適用された立体視シス
テムの構成を示す図。
【図2】本発明の画像処理装置に用いられるエピポーラ
プレーン画像の生成過程を説明する図。
【図3】エピポーラプレーン画像において、輝点対応点
の軌跡が直線で近似され、その直線が傾き及び切片の値
によって表されることを示す図。
【図4】本発明の画像処理装置の一形態の概略的構成を
示す図。
【図5】輝点位置とエピポーラプレーン画像の直線との
関係を説明する図。
【図6】本発明の画像処理装置の第1実施形態及び第2
実施形態の構成を示す図。
【図7】第1,第2実施形態において、メモリ11にお
ける多視点画像データの記憶形態を説明する図。
【図8】第1実施形態,第2実施形態において、視点の
移動に伴う輝点の移動を説明する図。
【図9】第1実施形態,第2実施形態の軌跡内挿処理の
制御手順を示すフローチャート。
【図10】本発明を適用した、上下左右の視点移動にも
対処できる立体視システムの構成を示す図。
【図11】第1実施形態,第2実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。
【図12】第1実施形態,第2実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。
【図13】図12のエピポーラプレーン画像から生成さ
れた輝点の軌跡を示す図。
【図14】第1実施形態,第2実施形態の軌跡検出にお
いて、オクルージョンが発生する様子を説明する図。
【図15】第1実施形態,第2実施形態の軌跡検出の原
理を説明する図。
【図16】図14のエピポーラプレーン画像から生成さ
れた輝点の軌跡を示す図。
【図17】第1実施形態多視点画像メモリ11の記憶配
置を示す図。
【図18】第1実施形態における閾値Thの制御を説明
する図。
【図19】第1実施形態の軌跡探索のための制御手順を
示すフローチャート。
【図20】軌跡が直線に載っていることを判定する原理
を説明する図。
【図21】第1実施形態の軌跡探索のための制御手順を
示すフローチャート。
【図22】第1実施形態における検出条件の変更を説明
する図。
【図23】本発明の第2実施形態における直線検出の原
理を説明する図。
【図24】第2実施形態の軌跡探索のための制御手順を
示すフローチャート。
【図25】第2実施形態の軌跡探索のための制御手順を
示すフローチャート。
【図26】第2実施形態の軌跡探索において、検出条件
がどのように変えられるかを示す図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 瓜阪 真也 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 それぞれ異なる位置から同じ被写体を撮
    像して得た複数の多視点画像を入力する入力手段と、 被写体のそれぞれの輝点について、所定の検出条件を用
    いて、前記輝点の対応点を前記複数の多視点画像に亙っ
    て同定する同定手段と、 前記同定手段が用いる前記所定の検出条件を変更する条
    件変更手段と、 個々の輝点毎に、輝点について同定された対応点を表す
    パラメトリック画像データを生成する生成手段と、 生成されたパラメトリック画像データを記憶する記憶手
    段とを有する画像処理装置。
  2. 【請求項2】 前記同定手段は、前記多視点画像データ
    のエピポーラ・プレーン画像上で前記輝点の対応点の軌
    跡を表す直線を同定することを特徴とする請求項1に記
    載の画像処理装置。
  3. 【請求項3】 前記同定手段は、前記多視点画像データ
    のエピポーラ・プレーン画像上で前記輝点の対応点の軌
    跡を表す平面を同定することを特徴とする請求項1に記
    載の画像処理装置。
  4. 【請求項4】 前記同定手段は、 前記多視点画像の画素間の画像データ値の差が所定の閾
    値以内にあるときは前記画素は互いに対応すると判断
    し、前記所定の閾値外にあるときは判断を保留すること
    を、エピポーラプレーン画像上の画素に対して繰り返
    し、 前記変更手段は繰り返し回数に応じて前記所定の検出条
    件を変更することを特徴とする請求項1乃至3のいずれ
    かに記載の画像処理装置。
  5. 【請求項5】 判断対象の画像データは画素の濃度で表
    されることを特徴とする請求項4に記載の画像処理装
    置。
  6. 【請求項6】 前記変更手段は繰り返し回数に応じて前
    記所定の検出条件を緩和することを特徴とする請求項4
    乃至5のいずれかに記載の画像処理装置。
  7. 【請求項7】 前記同定手段は、被写体の輝点を、エピ
    ポーラプレーン画像において直線軌跡もしくは平面軌跡
    によって同定し、 前記同定手段は、 注目画素が、直線軌跡もしくは平面軌跡上の対応点とし
    て検出されているかいないかに応じて、前記所定の検出
    条件を変更することを特徴とする請求項1に記載の画像
    処理装置。
  8. 【請求項8】 注目画素が、直線軌跡もしくは平面軌跡
    上の対応点として検出されている場合には、前記所定の
    検出条件を厳しく設定し、検出されていない場合は緩く
    設定することを特徴とする請求項7に記載の画像処理装
    置。
  9. 【請求項9】 判定対象画素と注目画素とがオクルージ
    ョン関係にあるかを判断する手段をさらに有することを
    特徴とする請求項8に記載の画像処理装置。
  10. 【請求項10】 前記検出条件は、 判定対象画素と注目画素との画素値の差を判断するため
    の第1の閾値、及びまたは、 軌跡を構成すると認定するための画素数を表す第2の閾
    値、及びまたは、 前記判定対象画素と注目画素のオクルージョン関係を維
    持するか否か、であることを特徴とする請求項7に記載
    の画像処理装置。
  11. 【請求項11】 前記同定手段は、同定処理を繰り返す
    手段を有し、 変更手段は、繰り返し回数が大きくなるほど、前記第1
    の閾値と第2の閾値とを大きくすることにより、色の判
    定では検出困難な軌跡を検出することを特徴とする請求
    項10に記載の画像処理装置。
  12. 【請求項12】 前記同定手段は、同定処理を繰り返す
    手段を有し、 変更手段は、繰り返し回数が大きくなるほど、前記第1
    の閾値と第2の閾値とを小さくすることにより、より小
    さな軌跡を検出し易くすることを特徴とする請求項10
    に記載の画像処理装置。
  13. 【請求項13】 前記同定手段は、同定処理を繰り返す
    手段を有し、 変更手段は、繰り返し回数が大きくなるほど、前記第2
    の閾値とを大きくし、オクルージョン関係の維持の制約
    を緩くすることにより、誤検出された軌跡の影響を少な
    くすることを特徴とする請求項10に記載の画像処理装
    置。
  14. 【請求項14】 前記同定手段は、同定処理を繰り返す
    手段を有し、 変更手段は、繰り返し回数が大きくなるほど、前記第1
    の閾値を大きくし、前記第2の閾値を小さくすることに
    より、検出されない軌跡を少なくすることを特徴とする
    請求項10に記載の画像処理装置。
JP8101702A 1996-04-23 1996-04-23 画像処理装置 Withdrawn JPH09288735A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8101702A JPH09288735A (ja) 1996-04-23 1996-04-23 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8101702A JPH09288735A (ja) 1996-04-23 1996-04-23 画像処理装置

Publications (1)

Publication Number Publication Date
JPH09288735A true JPH09288735A (ja) 1997-11-04

Family

ID=14307654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8101702A Withdrawn JPH09288735A (ja) 1996-04-23 1996-04-23 画像処理装置

Country Status (1)

Country Link
JP (1) JPH09288735A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183142A (ja) * 1997-12-19 1999-07-09 Fuji Xerox Co Ltd 三次元画像撮像方法及び三次元画像撮像装置
WO2003103278A1 (ja) * 2002-06-03 2003-12-11 ソニー株式会社 画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体
JP2005283779A (ja) * 2004-03-29 2005-10-13 Japan Science & Technology Agency 三次元画像データの取得方法および三次元画像用撮像システム
JP2005323114A (ja) * 2004-05-07 2005-11-17 Sony Corp 空間分割装置
WO2007072870A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 映像コンテンツ記録装置、映像コンテンツ記録方法、映像コンテンツ記録プログラム、映像コンテンツ再生装置、映像コンテンツ再生方法、映像コンテンツ再生プログラム、映像コンテンツ編集装置及び情報記録メディア
JP2009122843A (ja) * 2007-11-13 2009-06-04 Fuji Xerox Co Ltd 画像処理装置及びプログラム
CN113358026A (zh) * 2021-06-04 2021-09-07 南京视道信息技术有限公司 一种基于双线阵ccd相机的物体位置和轮廓信息的检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183142A (ja) * 1997-12-19 1999-07-09 Fuji Xerox Co Ltd 三次元画像撮像方法及び三次元画像撮像装置
WO2003103278A1 (ja) * 2002-06-03 2003-12-11 ソニー株式会社 画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体
JP2005283779A (ja) * 2004-03-29 2005-10-13 Japan Science & Technology Agency 三次元画像データの取得方法および三次元画像用撮像システム
JP4716210B2 (ja) * 2004-03-29 2011-07-06 独立行政法人科学技術振興機構 三次元画像データの取得方法および三次元画像用撮像システム
JP2005323114A (ja) * 2004-05-07 2005-11-17 Sony Corp 空間分割装置
WO2007072870A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 映像コンテンツ記録装置、映像コンテンツ記録方法、映像コンテンツ記録プログラム、映像コンテンツ再生装置、映像コンテンツ再生方法、映像コンテンツ再生プログラム、映像コンテンツ編集装置及び情報記録メディア
JP2009122843A (ja) * 2007-11-13 2009-06-04 Fuji Xerox Co Ltd 画像処理装置及びプログラム
CN113358026A (zh) * 2021-06-04 2021-09-07 南京视道信息技术有限公司 一种基于双线阵ccd相机的物体位置和轮廓信息的检测方法

Similar Documents

Publication Publication Date Title
US6233004B1 (en) Image processing method and apparatus
KR950011822B1 (ko) 입체 영상을 발생시키기 위한 장치 및 그 방법
US8629870B2 (en) Apparatus, method, and program for displaying stereoscopic images
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
US6263100B1 (en) Image processing method and apparatus for generating an image from the viewpoint of an observer on the basis of images obtained from a plurality of viewpoints
JP5414947B2 (ja) ステレオ撮影装置
JP4065488B2 (ja) 3次元画像生成装置、3次元画像生成方法及び記憶媒体
EP2357836B1 (en) Method and apparatus for processing three-dimensional images
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP2011060216A (ja) 画像処理装置および画像処理方法
US5764236A (en) Image data processing apparatus and image reproduction apparatus
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JPWO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP3032414B2 (ja) 画像処理方法および画像処理装置
JPH09288735A (ja) 画像処理装置
JPH08147497A (ja) 画像処理方法及びその装置
JPH08201941A (ja) 3次元画像形成方法
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP3054312B2 (ja) 画像処理装置及び方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20120154388A1 (en) Stereo image processing method, stereo image processing device and display device
JPH09200803A (ja) 画像処理装置及び画像処理方法
JPH08116556A (ja) 画像処理方法および装置
JP2795784B2 (ja) 複数視点3次元画像入力装置
JPH07296194A (ja) 画像処理方法およびその装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20030701