JPH0273474A - 画像処理方法 - Google Patents

画像処理方法

Info

Publication number
JPH0273474A
JPH0273474A JP63226761A JP22676188A JPH0273474A JP H0273474 A JPH0273474 A JP H0273474A JP 63226761 A JP63226761 A JP 63226761A JP 22676188 A JP22676188 A JP 22676188A JP H0273474 A JPH0273474 A JP H0273474A
Authority
JP
Japan
Prior art keywords
segments
plane
segment
real
assumed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63226761A
Other languages
English (en)
Other versions
JPH0766445B2 (ja
Inventor
Fumiaki Tomita
文明 富田
Kazuhide Sugimoto
杉本 和英
Hironobu Takahashi
裕信 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Sanyo Electric Co Ltd
Original Assignee
Agency of Industrial Science and Technology
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology, Sanyo Electric Co Ltd filed Critical Agency of Industrial Science and Technology
Priority to JP63226761A priority Critical patent/JPH0766445B2/ja
Priority to US07/601,657 priority patent/US5202928A/en
Publication of JPH0273474A publication Critical patent/JPH0273474A/ja
Publication of JPH0766445B2 publication Critical patent/JPH0766445B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、同一の処理対象物体を異なる複数の位置で撮
像した画像を処理することにより三次元空間中の物体を
構成する面を特定しその情報を得るための画像処理方法
に関する。
〔従来の技術〕
三次元空間における位置関係等の情報を得る手法として
、二つの撮像装置により異なる位置から同一物体を撮像
した画像に基づいて画像処理を行う、所謂ステレオ法が
知られている。
具体的には、二つの撮像装置により撮像された濃淡画像
それぞれから明るさの差に基づいて同一の明るさの領域
を抽出し、そのエツジ検出を行い、検出されたエツジ単
位で両画像間の対応付けを行う。相互に対応するエツジ
については三角測量の原理に基づいて距離に関する情報
が得られる。
〔発明が解決しようとする課題〕
ところで上述の手法では、検出されたエツジについては
距離情報は得られるが、物体の面上の各点についての情
報は得られない。そこで、距離の情報が得られたエツジ
の情報を用いて面の情報を求めることになるが、しかし
エツジのいずれの側の領域が実在する平面であるかある
いは両方の領域が実在する平面であるかを決定すること
が出来なければ、実在しない面を実在するかの如く判断
する可能性がある。
また、上述の手法では、画像の接続点、線及び領域がそ
れぞれ対象物体の頂点、エツジ、面に対応している点に
着目している。このため、対象物体がいずれの頂点にお
いても正確に3平面が交差している3面頂点の多面体あ
るいは折紙のモデルをも含む3面以下頂点に対象が限定
されており、現実には平面相互の構成に関して複数の解
釈が成立する余地がある。
本発明はこのような事情に鑑みてなされたものであり、
ステレオ画像から得られたエツジの情報に基づいて更に
実在する平面を抽出するための画像処理方法の提供を目
的とする。また本発明は、上述の如(して実在する平面
を抽出することにより更に各エツジを平面相互の関係に
応じて分類し得る画像処理方法の提供を目的とする。
〔課題を解決するための手段〕
本発明に係る画像処理方法は、三次元空間中に位置する
同一の認識対象を同一平面上の異なる位置に配された複
数の撮像装置により撮像した複数の画像それぞれから共
通の線分の情報を得て、それらが連結されて閉塞された
境界線にて囲繞される平面を抽出する画像処理方法にお
いて、求められた境界線の各線分について、それぞれの
線分に沿う両方向のセグメントを設定し、各セグメント
を、物体がその後方の物体または背景を隠している面の
境界を表す実セグメント、その前記撮像装置側の物体と
その後方の物体または背景との境界を表す虚セグメント
及びいずれとも決定不可能な未確認セグメントに分類し
、それぞれの境界線について、総ての実セグメントを含
み虚セグメントを含まないセグメントの組合わせにて平
面を仮定し、総てのセグメントが仮定された平面上また
はその平面によって分割された二つの空間の内の前記撮
像装置側の空間に位置するような唯一の平面である場合
に前記仮定された平面を実在する平面として抽出し、前
記抽出された平面上のセグメントを実セグメントとし、
前記抽出された平面の前記撮像装置側の空間に位置する
セグメントを虚セグメントとして未確認セグメントを分
類し、それぞれのエツジについて、それぞれに沿う両セ
グメントが実セグメントである場合は二つの面の交線を
表す稜エツジとして、また一方のみが実セグメントであ
る場合は物体と背景またはその後方に位置する物体に対
する輪郭を表す輪郭エツジとして分類し、前記稜エツジ
を、その両側に位置する実在する平面相互間の法線方向
角度により凹エツジ。
凸エツジ及び平坦エツジに分類することを特徴とする。
〔作用〕
本発明方法では、セグメントの分類結果により物体がそ
の後方または背景を隠している面の境界を表すセグメン
トを抽出し、これから実在する平面のみが生成され、更
にセグメントの分類結果によりエツジの分類が行われる
〔発明の実施例〕
以下、本発明をその実施例を示す図面に基づいて詳述す
る。
第1図は本発明方法の実施に使用される画像処理装置の
構成を示すブロック図である。
この装置は、全体の制御中枢としてのコンピュータシス
テム1.二台の撮像装置としてのテレビジョンカメラユ
ニット2及び31画像メモリ4. CRTデイスプレィ
5.プリンタ6、フロッピーディスクシステ、/、7.
キーボードターミナル8及びそれぞれを接続するデータ
バス9等にて構成されている。
テレビジョンカメラユニット2及び3はそれぞれ、前方
のシーンを撮像してたとえば512X512画素区分の
アナログ画像データを出力する同一諸元のITVカメラ
21.31及びその出力アナログデータをディジタル変
換してたとえば256階調のディジタル画像データを生
成するA/D変換器22.32等にて構成されている。
ITVカメラ21.31は第2図に示す如く、 ITV
カメラ21を左側に、ITVカメラ31を右側に配置し
て水平に並べられており、それぞれの光軸211.31
1は並行且つそれぞれの撮像面212.312は同一面
上に位置されている。従って、両措像面212.312
の下辺をそれぞれXL軸、 XR軸、左辺をそれぞれY
l、軸。
YR軸とすると、XL軸とXR軸とは同一直線上に位置
し、Yl軸とYR軸とは平行である。
画像メモリ4は書込み、読出しが自由なRAMであり、
ITVカメラ21にて撮像された左画像及びITVカメ
ラ31にて撮像された右画像のディジタル画像データは
勿論のこと、他の種々のデータの格納に使用される。
CRTデイスプレィ5及びプリンタ6はコンピュータシ
ステムlの処理結果等の出力に、またフロッピーディス
クシステム7はコンピュータシステムlの処理結果を登
録しておくためにそれぞれ使用される。更にキーボード
ターミナル8はオペレータによる種々の指令の入力等に
使用される。
第3図は上述のような画像処理装置により実施される本
発明方法の手順を示すジェネラルフローチャートである
まず第1図に示した画像処理装置の初期化を実行した後
(ステップ31)、ITVカメラ21.31により左右
の画像を撮像する(ステップS2)。
次に、−次微分オペレータにより画像の各点についてエ
ツジの強さと方向を求め、エツジの細線化、闇値処理、
延長処理等により画像上のそれぞれの領域を囲褐する閉
塞したエツジを得る(ステップS3)。
次に領域が右側に見えるようにエツジを追跡し、領域の
境界線を求めて領域分割を行う(ステップ34)。この
境界線を分岐点で分割した後、更に曲率が一定値以上の
屈曲点で分割する。分割された線分に対して直線または
2次曲線の当て嵌めを行ってセグメント化する(ステッ
プS5)。
第4図は境界線を求めた例を示す模式図である。
ハンチングを付した領域Rには外周境界Bと穴の境界H
とが有り、各境界線はそれぞれを構成するセグメントS
のリストにより表現される。以下のセグメントの対応付
けはこのデータ構造上で行われる(ステップS6)。
たとえば第5図に示す如き三次元ブロックについて考え
ると、ブロックは81〜B4の四つの境界線により表現
される。各境界線81−84を構成するセグメントは実
際にはエツジ上に位置するが、各エツジにはその右側に
領域が存在することを表すセグメントが存在しているた
め、相互に逆向きの二つのセグメントが存在する。
ところで、たとえば境界線B4上に存在するセグメント
は実際には存在しない面を表す虚セグメントである。虚
セグメントは実際には存在しない面があたかも実在する
ように表現するため、除去する必要がある。この手法に
ついては後述する。
次にオフルージョンを検出する(ステップS7)。
第6図に処理手順の模式図を示す。第6図(a)はIT
Vカメラ21.31によりそれぞれ撮像された左右の原
画像、同(blは原画像から抽出されたセグメントを示
す画像、同(C)はオフルージョンの検出結果(○が付
されている)を示す画像である。
次にセグメントの方向とオフルージョンの検出位置とに
基づいてセグメントの分類を行う(ステップS8)。
オフルージョン点では第7図に示す如く、明らかな実セ
グメント (太線)と明らかな虚セグメント (破線)
とが見い出される。ここで、明らがな実セグメントとは
、物体の表面を構成する実在する平面が画像上でその後
方の物体または背景を隠している境界を表すセグメント
であり、また虚セグメントとは、画像上で撮像装置に近
い側に位置する物体とその後方の物体との境界または背
景との境界を表すセグメントである。そして、明らかな
実セグメントであるかまたは明らかな虚セグメントであ
るかを判定出来ない他のセグメントを未確認セグメント
とする。この未確認セグメント (細線)が実セグメン
トであるか虚セグメントであるかを判定する手順は以下
の如くである。
境界線は第8図(a)の模式図及び山)の表に示すよう
に、そのセグメントの状況により41!類に、また右回
りであるか左回りであるかにより2種類に、計8種類に
分類される。即ち、明らかな実セグメントも明らかな虚
セグメントも含まない未確認セグメントのみの境界線(
■及び■)、明らかな実セグメント及び未確認セグメン
トのみを含む境界線(■及び■)。明らかな虚セグメン
ト及び未確認セグメントのみを含む境界線(■及び■)
、明らかな実セグメントと明らかな虚セグメントの双方
を含む境界線(■及び■)である。
まず手)[(11として、総ての実セグメントを含み虚
セグメントを含まないセグメントの組合わせにて平面を
仮定する。
次に手順(2)として、境界線トで総てのセグメントが
手)II! (11で仮定された平面またはその平面の
上空(平面の上空とは、その平面によって分割された二
つの空間の内の視点、即ち撮像位置側に位置する空間を
意味する)に存在するような平面が唯一存在する場合に
、その平面が実在する平面(実平面と称する)であると
決定する。
以上により実平面上のセグメントは実セグメントであり
、実平面の上空に位置するセグメントは虚セグメントで
あるとそれぞれ決定され、未確認セグメントの分類が可
能になるので、虚セグメントを除去する(ステップ39
)。そして、実セグメントの情報に基づいて実平面の生
成を行う (ステップ310)。
以下、具体的例に即して説明する。
第9図に示す如く、一つのブロック上に他のブロックが
載置されているシーンについて考える。
抽出された境界線を81〜B7とし、虚セグメントが含
まれていない右回りの境界B1.B2.B3.B5.B
6を対象とする。
まず、セグメン)311−314にて構成される境界線
Bl上のセグメントについて手11i(11を実行する
セグメン)Sll及びS12にて平面を仮定すると、境
界線Bl上の他のセグメント513.514はこの仮定
された平面上に存在することは明白である。従って、千
ill! (21を実行すると、セグメントSll、 
312にて仮定される平面は実平面であり、他のセグメ
ン) S13 514をも含めて境界線Blを構成する
総てのセグメントS11.S12.S13,514を実
セグメントであると決定する。他の平面B2. B3.
85. B6に関しても同様の結果が得られる。
次に、セグメント341〜348にて構成され、その内
の843及び346が虚セグメントである右回りの境界
線B4について考える。手順(11に従って、セグメン
トS43.S46以外のセグメントの組合わせにて平面
を仮定する。ここで、二つのブロックが接触している場
合(一方が他方の上に載置されている場合)と離隔して
いる場合とに分けて考える。
まず、両ブロックが接触している場合は、たとえばセグ
メント341と342とで平面を仮定すると、他の未確
認セグメントは総てこの平面上に存在するため、手順(
2)に従ってセグメントS 43. S46以外のセグ
メントは、第1O図(alに示す如く、総て実セグメン
ト(実線)であると決定する。
両ブロックが非接触である場合には、手)11により総
てのセグメントによる平面の仮定を試みる。
まず、344,545の二つのセグメントで平面を仮定
すると、手順(2)においてセグメント541等が仮定
された平面より更に遠い位置に存在することになるため
、この面は実平面ではない。
次に、セグメン)345.S47の組合わせで平面を仮
定した場合には、相互にねじれの位置にあるため、平面
の決定は出来ない。またセグメントS45゜348の組
合わせでは、手IJi (2+においてセグメント54
1等が平面のより更に遠い位置に存在するため、実平面
ではない。更にセグメントS41.S42の組合わせで
はセグメンl−347,348が仮定された平面上に位
置し、セグメントS43. S44. S45.346
は総て平面の上空に位置するため、手順(2)によりこ
の平面は実平面として決定することが出来、第10回申
)に示す如く、セグメントS41.S42.S47.S
48は実セグメントとして、また他を虚セグメントとし
て決定出来る。
続いて、実セグメントが存在しない左回りの境界線B7
について考える。右側の周囲の面が床面あるいは道路等
のように既に実平面として定義されており、下側に位置
するブロックがその上に接触している場合は、第11図
(a)に示す如く、下側のブロックの下辺の二つのセグ
メントは実セグメントとする。
一方、ブロック全体が空間中に浮いている場合は、第1
1図中)に示す如く、境界線の総てのセグメントは虚セ
グメントであるとする。
次に第12図に示す如き穴の空いたブロックの例につい
て考える。なお、ここでは上述の例には現れなかった種
類の境界線についてのみ考える。
実セグメントを含む左回りの境界線B4は穴に対する境
界線である。換言すれば、オフルー25フ点が存在しな
い左回りの境界線は穴とは見做さない。穴の境界上のセ
グメントで同様に手ill Tl)及び手順(2)を実
行すると、境界線B4上の総てのセグメントは実セグメ
ントであると決定出来る。
虚セグメントが存在する穴の内側の右回りの境界線85
.86を考える。第13図に示す如く、境界線B5上の
セグメントS51.S52. S53.S54について
手順(1)を実行する。セグメント353.S54にて
平面を仮定すると、セグメントS51はその下側に位置
するため手順(2)により実平面とは考えられない。
セグメントS53と同S51とはねじれの関係にあるの
で、平面は仮定出来ない。
セグメント352は虚セグメントであるから、残りの組
合わせ、即ちセグメントS54.S51にて平面を仮定
する。この場合、セグメント352.553はこのセグ
メント354,551にて仮定された平面の上空に位置
するので、この平面を実平面として決定し、セグメント
354,551は実セグメント、同352. S53は
虚セグメントであると決定出来る。
境界線B6についても同様に処理すると、セグメントS
61.S63が実セグメントであると決定出来る。
以上のような本発明方法の処理手順を、前述の第6図(
a)に示す如きシーンについて通用すると、第14図(
al、 (blに示す如(実平面が決定される。また同
様に第9図に示す如き二つのブロックが重なったシーン
及び第12図に示す如き穴が空いたブロックのしシーン
それぞれについて実平面を抽出した結果を第15図(δ
)及び(blに示す。
次にエツジの分類が行われる(ステップ5ll)。
具体的にはたとえば、第5図に示した3次元ブロックに
おいては81−84の四つの境界線が得られる。そして
、このブロックが空中に浮かんでいる場合には、81〜
B3の三つの境界線は実セグメントのみにて構成され、
B4の境界線は総て虚セグメントである。
各エツジには相互に逆方向の二つのセグメントが存在す
るが、たとえば境界線B2のセグメン) S22が存在
するエツジに注目すると、このエツジのセグメントS2
2と逆方向のセグメント341は虚セグメントである。
従って、このエツジ上には実セグメントはS22一つの
みである。これに対して、セグメントS21が存在する
エツジではセグメントS21と逆方向のセグメントS3
1も実セグメントであり、このエツジ上に存在するセグ
メント321.S31は共に実セグメントである。
従って、エツジ上のセグメントの内の実セグメントの数
、換言すればエツジ上のセグメントから虚セグメントを
除去した残りのセグメントの数によってエツジを分類す
ることが可能である。即ち、エツジ上にセグメントが二
つ残っている場合はそのエツジは二つの実平面が交差す
る稜エツジであり、エツジにセグメントが一つしか残っ
ていない場合にはそのエツジは手前、即ち画像上で撮像
装置に近い側に位置する物体がその後方の物体または背
景を隠すことにより生じた輪郭エツジであると見做すこ
とが出来る。
稜エツジは第16図に示す如く、そのエツジの両側に位
置する平面の法線のなす角度により更に分類することが
可能である。即ち、法線のなす角度が正、負及び零であ
ればそれぞれ凸稜エツジ、凹稜エツジ、平坦稜エツジと
して分類し得る。
たとえば、第17図ialに示す如く、二つのブロック
が重なったシーン及び同図(blに示す如く、穴が空い
たシーンそれぞれについてオクルージッン検出点(○に
て示す)及びエツジの分IJl(凸稜エツジはTにて、
凹稜エツジは:にて、輪郭エツジは二にてそれぞれ示す
)を示す。
また、第18図(alに示す如き同一平面上に明るさの
異なる領域に分割された模様が有る場合には、その模様
が存在する平面は同図中)に示す如く、エツジの分類を
行うと模様に起因するエツジが平坦稜エツジ(iにて示
す)であることが判明する。
従って、この平坦稜エツジを除去すれば、同図(C1に
示す如く、物体の純粋な外形形状を得ることが可能にな
る。
〔発明の効果〕
以上のように本発明によれば、ステレオ法により得られ
た画像からエツジのいずれの側に面が存在するかを決定
して実平面を抽出することが可能になり、従来はエツジ
単位でのみ距離情報が得られていたのが、面の情報とし
て得られるようになる。従って、特定の面上の任意の点
に関しての距離情報等を得ることが可能になる。またそ
れぞれのエツジから虚セグメントを除去した残りの実セ
グメントの数によりエツジを分類し、更に実セグメント
が二つ残っている稜エツジをその両側の平面の法線がな
す1度により凸、凹、平坦の稜エツジに分類しているの
で、従来では複数の解釈が行われて処理が中断するよう
な場合にもより厳密で正確な定量的画像処理が可能にな
る。
【図面の簡単な説明】
第1図は本発明に係る画像処理方法を実施するための画
像処理装置の構成を示すブロック図、第2図はその撮像
装置の撮像の状況を示す模式図、第3図は本発明方法の
手順を示すフローチャート、第4図は画像処理結果の境
界線表現の例を示す模募 図面の浄書 図 (a) (b) 第 聞 泉 ■ ス 菌 捧 図 (C) オフルー/!1/′τ↓、出御 寅−17〆ント L−t::フ〆7ト 未5.伺弓にで7゛メ/ト 境界線 系 廓 (a’1 (b) 実tグ°メ、ト 虚セクッノト 禅 口 (a) 第 11の(a) 実 セウ゛メレト itウメノド 箋 画 (b) 範 圀 (b) 図面め 図 (b) 第 防 兄 配 (ら) 争1!F。 図 (b) 詫 閃 第18記 (b) 第18 (C) 手続補正書(方式) 事件の表示 昭和63年特許願第226761、 発明の名称 画像処理方法 補正をする者 事件との関係 特許出願人 所在地 東京都千代田区霞が関1丁目3番1号(114
)工業技術院長 氏名飯塚幸三 所在地 守口市京阪木通2丁目18番地名 称 (18
8)  三洋電機株式会社代表者 井 植   敏 工業技術院長の復代理人 住 所 ■543大阪市天王寺区四天王寺1丁目14番
22号 日進ビル207号 5、三洋電機株式会社の代理人 住 所 ■543大阪市天王寺区四天王寺1丁目14番
22号 日進ビル207号 河野特許事務所(電話06−779−3088)氏名(
7886)弁理士河野登夫 1 6、補正命令の日付 昭和63年12月7日 (発送日63.12.20)7
、補正の対象 図面 8゜補正の内容 第6図(a)、第14図(a)、 (b)、第17図(
a)、 (bl、及び第18図(a)を別紙の通り訂正
する。 9、添付書類の目録 (11訂正図面         1通手続補正書(自
発) 1、事件の表示 昭和63年特許願第226761号 事件との関係 特許出願人 所在地 東京都千代田区霞が関1丁目3番1号(114
)工業技術院長 氏名飯塚幸三 所在地 守口市京阪木通2丁目18番地名 称 (18
8)  三洋電機株式会社代表者 井 植   敏 4、工業技術院長の復代理人 住 所 ■543大阪市天王寺区四天王寺1丁目14番
22号 日進ビル207号 河野特許事務所(電話06−779−3088)5、三
洋電機株式会社の代理人 住 所 ■543大阪市天王寺区四天王寺1丁目14番
22号 日進ビル207号 河野特許事務所(電話06−779−3088)氏名(
7886)弁理士河野登夫 6、補正の対象             (1−明細
書の「発明の詳細な説明」の欄及び図面7、補正の内容 7−1明細書の「発明の詳細な説明」の欄+11  明
細書の第19頁11行目に「しシーン」とあるのを「シ
ーン」と訂正する。 (2)明細書の第22頁11行目に「1度」とあるのを
「角度」と訂正する。 7−2図面 第5図、第16図、第18図(b)を別紙の通り訂正す
る。 8、添付書類の目録 (1)  訂正図面          1通捲 5 
犯 に 図 第18 図 (b)

Claims (1)

  1. 【特許請求の範囲】 1、三次元空間中に位置する同一の認識対象を同一平面
    上の異なる位置に配された複数の撮像装置により撮像し
    た複数の画像それぞれから共通の線分の情報を得て、そ
    れらが連結されて閉塞された境界線にて囲繞される平面
    を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
    沿う両方向のセグメントを設定し、 各セグメントを、物体がその後方の物体または背景を隠
    している面の境界を表す実セグメント、その前記撮像装
    置側の物体とその後方の物体または背景との境界を表す
    虚セグメント及びいずれとも決定不可能な未確認セグメ
    ントに分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
    メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
    よって分割された二つの空間の内の前記撮像装置側の空
    間に位置するような唯一の平面である場合に前記仮定さ
    れた平面を実在する平面として抽出し、 前記抽出された平面上の未確認セグメントを実セグメン
    トとして、前記抽出された平面の前記撮像装置側の空間
    に位置する未確認セグメントを虚セグメントとして未確
    認セグメントを分類することを特徴とする画像処理方法
    。 2、三次元空間中に位置する同一の認識対象を同一平面
    上の異なる位置に配された複数の撮像装置により撮像し
    た複数の画像それぞれから共通の線分の情報を得て、そ
    れらが連結されて閉塞された境界線にて囲繞される平面
    を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
    沿う両方向のセグメントを設定し、 各セグメントを、物体がその後方の物体または背景を隠
    している面の境界を表す実セグメント、その前記撮像装
    置側の物体とその後方の物体または背景との境界を表す
    虚セグメント及びいずれとも決定不可能な未確認セグメ
    ントに分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
    メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
    よって分割された二つの空間の内の前記撮像装置側の空
    間に位置するような唯一の平面である場合に前記仮定さ
    れた平面を実在する平面として抽出し、 前記抽出された平面上のセグメントを実セグメントとし
    、前記抽出された平面の前記撮像装置側の空間に位置す
    るセグメントを虚セグメントとして未確認セグメントを
    分類し、 それぞれのエッジについて、 それぞれに沿う両セグメントが実セグメントである場合
    は二つの面の交線を表す稜エッジとして、また一方のみ
    が実セグメントである場合は物体と背景またはその後方
    に位置する物体に対する輪郭を表す輪郭エッジとして分
    類し、 前記稜エッジを、その両側に位置する実在する平面相互
    間の法線方向角度により凹エッジ、凸エッジ及び平坦エ
    ッジに分類すること を特徴とする画像処理方法。
JP63226761A 1988-09-09 1988-09-09 画像処理方法 Expired - Lifetime JPH0766445B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP63226761A JPH0766445B2 (ja) 1988-09-09 1988-09-09 画像処理方法
US07/601,657 US5202928A (en) 1988-09-09 1989-07-21 Surface generation method from boundaries of stereo images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63226761A JPH0766445B2 (ja) 1988-09-09 1988-09-09 画像処理方法

Publications (2)

Publication Number Publication Date
JPH0273474A true JPH0273474A (ja) 1990-03-13
JPH0766445B2 JPH0766445B2 (ja) 1995-07-19

Family

ID=16850201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63226761A Expired - Lifetime JPH0766445B2 (ja) 1988-09-09 1988-09-09 画像処理方法

Country Status (2)

Country Link
US (1) US5202928A (ja)
JP (1) JPH0766445B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127383A (ja) * 1990-09-19 1992-04-28 Agency Of Ind Science & Technol 画像処理方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0474458B1 (en) * 1990-09-04 2000-12-06 Canon Kabushiki Kaisha Three-dimensional modelling apparatus and method
US5448692A (en) * 1991-03-27 1995-09-05 Ricoh Company, Ltd. Digital image processing device involving processing of areas of image, based on respective contour line traces
US5682198A (en) * 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
JP2989744B2 (ja) * 1994-06-13 1999-12-13 株式会社東芝 測定面抽出装置及びその方法
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP3054681B2 (ja) * 1995-07-19 2000-06-19 工業技術院長 画像処理方法
CA2184561C (en) * 1995-09-12 2001-05-29 Yasuyuki Michimoto Object detecting apparatus in which the position of a planar object is estimated by using hough transform
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
EP0901105A1 (en) 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US6647146B1 (en) 1997-08-05 2003-11-11 Canon Kabushiki Kaisha Image processing apparatus
US6205242B1 (en) * 1997-09-29 2001-03-20 Kabushiki Kaisha Toshiba Image monitor apparatus and a method
MY124160A (en) * 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6307959B1 (en) 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6865289B1 (en) * 2000-02-07 2005-03-08 Canon Kabushiki Kaisha Detection and removal of image occlusion errors
JP3518465B2 (ja) * 2000-02-18 2004-04-12 日本電気株式会社 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体
US6775397B1 (en) 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7043080B1 (en) * 2000-11-21 2006-05-09 Sharp Laboratories Of America, Inc. Methods and systems for text detection in mixed-context documents using local geometric signatures
US6751345B2 (en) 2001-02-12 2004-06-15 Koninklijke Philips Electronics N.V. Method and apparatus for improving object boundaries extracted from stereoscopic images
JP4679757B2 (ja) * 2001-06-01 2011-04-27 パナソニック株式会社 3次元図形生成装置、及び3次元図形生成方法
JP4156893B2 (ja) * 2002-09-27 2008-09-24 富士フイルム株式会社 画像処理装置、方法及びプログラム
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7030881B2 (en) * 2003-03-25 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Method for converting two-dimensional objects to distance fields
US7106332B2 (en) * 2003-03-25 2006-09-12 Mitsubishi Electric Research Laboratories, Inc. Method for converting two-dimensional pen strokes to distance fields
US20040223640A1 (en) * 2003-05-09 2004-11-11 Bovyrin Alexander V. Stereo matching using segmentation of image columns
DE102004007049A1 (de) * 2004-02-13 2005-09-01 Robert Bosch Gmbh Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera
GB2418310B (en) * 2004-09-18 2007-06-27 Hewlett Packard Development Co Visual sensing for large-scale tracking
US7862336B2 (en) * 2004-11-26 2011-01-04 Cadent Ltd. Method and system for providing feedback data useful in prosthodontic procedures associated with the intra oral cavity
US8300085B2 (en) * 2005-10-14 2012-10-30 Microsoft Corporation Occlusion handling in stereo imaging
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
CN101540050B (zh) * 2009-04-30 2011-10-26 清华大学 一种获取景物边界的方法和装置
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
CN103903246A (zh) 2012-12-26 2014-07-02 株式会社理光 物体检测方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4594673A (en) * 1983-06-28 1986-06-10 Gti Corporation Hidden surface processor
US4901252A (en) * 1984-07-13 1990-02-13 International Business Machines Corporation Method for producing planar geometric projection images
JPH0756678B2 (ja) * 1985-11-01 1995-06-14 株式会社日立製作所 対話形形状モデリングシステム
JPS62293381A (ja) * 1986-06-11 1987-12-19 Toshiba Corp 立体画像表示装置
JPH0785271B2 (ja) * 1986-06-27 1995-09-13 株式会社日立製作所 形状モデリング方法
US4791482A (en) * 1987-02-06 1988-12-13 Westinghouse Electric Corp. Object locating system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127383A (ja) * 1990-09-19 1992-04-28 Agency Of Ind Science & Technol 画像処理方法

Also Published As

Publication number Publication date
US5202928A (en) 1993-04-13
JPH0766445B2 (ja) 1995-07-19

Similar Documents

Publication Publication Date Title
JPH0273474A (ja) 画像処理方法
US6774889B1 (en) System and method for transforming an ordinary computer monitor screen into a touch screen
US6011558A (en) Intelligent stitcher for panoramic image-based virtual worlds
CA2179031C (en) A system for implanting an image into a video stream
JP4048511B2 (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
EP0848886B1 (en) Method and apparatus for determining the position of a tv camera for use in a virtual studio
US5581637A (en) System for registering component image tiles in a camera-based scanner device transcribing scene images
US6016148A (en) Automated mapping of facial images to animation wireframes topologies
US20040165786A1 (en) System and method for converting whiteboard content into an electronic document
US20040095385A1 (en) System and method for embodying virtual reality
CN106886979A (zh) 一种图像拼接装置及图像拼接方法
CN105701828B (zh) 一种图像处理方法和装置
EP1234278A1 (en) System and method for rectified mosaicing of images recorded by a moving camera
KR19990067273A (ko) 컴퓨터 입체 관찰 시스템 및 그 방법
JPH0719832A (ja) 複数画像の対応点抽出方法
US11043019B2 (en) Method of displaying a wide-format augmented reality object
JP3263253B2 (ja) 顔方向判定装置及びそれを用いた画像表示装置
US20050105793A1 (en) Identifying a target region of a three-dimensional object from a two-dimensional image
CN116543014A (zh) 一种融合全景的教师自动跟踪方法及系统
KR20200143812A (ko) 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치
JP2001074452A (ja) 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体
Uma et al. Marker based augmented reality food menu
AU5937796A (en) Visual recognition method
Chiang et al. A new image morphing technique for smooth vista transitions in panoramic image-based virtual environment
CN116091366B (zh) 一种多维度拍摄手术视频及消除摩尔纹的方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 14