JPH09187037A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH09187037A
JPH09187037A JP7341816A JP34181695A JPH09187037A JP H09187037 A JPH09187037 A JP H09187037A JP 7341816 A JP7341816 A JP 7341816A JP 34181695 A JP34181695 A JP 34181695A JP H09187037 A JPH09187037 A JP H09187037A
Authority
JP
Japan
Prior art keywords
image
data
image data
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7341816A
Other languages
English (en)
Inventor
Sunao Kurahashi
直 倉橋
Masayoshi Sekine
正慶 関根
Tatsuji Katayama
達嗣 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP7341816A priority Critical patent/JPH09187037A/ja
Publication of JPH09187037A publication Critical patent/JPH09187037A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 被写体の3次元画像データから作成された2
次元画像データを用いて、被写体を任意の視点から見た
2次元画像を目的に応じた画像形態で表示できるように
する。 【解決手段】 カメラヘッド1は被写体Aを複数の位置
で撮影し、その複数の画像データに基づいて演算部4は
3次元画像データを算出する。このデータに基づいて演
算部5は被写体Aを複数の視点から見た2次元画像デー
タを、自然画、線画、ポリゴン画の各画像形態について
作成する。操作部9によりモニタ7を見ながら目的に応
じて画像形態及び視点を指定し、また、必要に応じてデ
ータ合成部6で他の文書データと合成した後、プリンタ
8に出力して紙8aに所望の画像をプリントする

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体の3次元画
像データから2次元画像データを作成する画像処理装置
に関するものである。
【0002】
【従来の技術】従来の被写体の立体形状を測定する装置
としては、大別すると何等かのエネルギーを被写体に投
射する能動的な手法に基づく測距装置と、CCDなどの
光電変換素子で撮像された画像信号を解析する受動的な
手法に基づく測距装置とがある。上記能動的な手法とし
ては、電波、超音波、光などを被写体に放射して、それ
が戻ってくるまでの伝播時間から被写体までの距離を測
定する手法や、被写体に規則的な模様を投影して被写体
表面に人工的な模様を生じさせ、その模様の生じ具合か
ら被写体の形状を測定する手法がある。一方、受動的な
手法としては、視点の異なる複数の画像間の対応点の位
置関係から三角測量の原理に基づいて距離を測定する手
法や、被写体の焦点のずれ量から被写体の距離を求める
手法がある。このようにして得られた被写体の3次元デ
ータに基づいて被写体を任意の視点から見た場合の被写
体画像を作成して、2次元のディスプレイなどにより再
生することができる。
【0003】
【発明が解決しようとする課題】一方、我々がオフィス
などで一般に扱う画像は最終的には紙に出力されること
が多い。また、使用する画像形態としては、陰影のある
自然画の場合もあれば、被写体を輪郭線のみで表わす線
画や複数の面の集合体として表わすポリコン画の場合も
ある。しかし上述した従来例では、被写体の立体形状デ
ータを得てこれを2次元ディスプレイに忠実に表示する
ことに主眼が置かれていたため、オフィスでは使われる
ことはなかった。
【0004】本発明は、被写体を任意の視点から見た画
像を目的に応じた画像形態で利用できるようにすると共
に、プリンタ等に出力した場合にも鮮明に表現でき、か
つ被写体の立体感も表現できるような画像形態にするこ
とを目的とするものである。
【0005】
【課題を解決するための手段】本発明においては、撮像
手段により被写体を複数の位置から撮影して得られる複
数の画像データに基づいて3次元画像データを作成する
第1の演算手段と、上記第1の演算手段で作成された3
次元画像データに基づいて上記被写体を所定の視点位置
から見たときの所定の画像形態による2次元画像データ
を作成する第2の演算手段とを設けている。
【0006】
【作用】本発明によれば、第2の演算手段が被写体の3
次元画像データから作成した2次元画像データを用いて
モニタやプリンタにより被写体を任意の視点から見た画
像を目的に応じた画像形態で立体的に2次元表示するこ
とができる。
【0007】
【発明の実施の形態】図1は本発明を実施した画像処理
装置の実施の形態を示すブロック図である。同図におい
て、1は被写体Aを撮影して被写体Aの画像データを得
るためのカメラヘッドで、被写体Aを撮影する場合は、
使用者がこのカメラヘッド1を手に持ち、被写体Aを中
心にカメラを回すように走査することにより撮影が行わ
れる。2はカメラヘッド1に搭載されたカメラヘッド1
の位置および方向を検出する位置検出部で、本実施の形
態ではジャイロセンサや加速度センサによってカメラヘ
ッド1の動きを直接検出するものとする。3はカメラヘ
ッド1で得られた画像データと上記位置検出部2で得ら
れたカメラヘッド1の位置情報とを記憶するメモリであ
る。4はメモリ3に記憶された画像データとそれに対応
するカメラヘッド1の位置情報とに基づいて被写体Aの
立体形状を演算する3次元画像データ演算部である。5
は3次元画像データ演算部4で得られた被写体Aの3次
元画像データから使用者の指定する画像形態での任意の
視点から見たときの被写体Aの2次元画像データを演算
する2次元画像データ演算部である。
【0008】なお、本実施の形態では図2に示すよう
に、使用者は被写体Aを、11で示す自然画と、12で
示す被写体Aのエッヂを線で表わした線画と、13で示
す被写体Aの表面を所定の大きさの平面の連続体として
表わすポリゴン画との3つの画像形態のうちの1つを、
後述する操作部9により指定することによって選択可能
なものとする。
【0009】図1において6はテキストなどの文書デー
タを作成したり、その文書データと上記2次元画像デー
タ演算部5から得られる被写体Aの2次元画像データと
を合成したり、編集するなどの加工が可能なデータ合成
部である。7は被写体Aの2次元画像データや文書デー
タを表示するためのモニタである。8は被写体Aの2次
元画像データや文書データを紙などにプリントするプリ
ンタ、8aはプリント用の紙である。9は被写体Aを見
る視点を移動させたり、被写体Aの画像形態を変更した
り、上記データ合成部6による各データの合成及び編集
作業をするための操作部、10はカメラヘッド1を制御
するカメラ制御部である。
【0010】次に動作について説明する。まず使用者は
カメラヘッド1を被写体Aに向けて、図示しないレリー
ズボタンを操作すると被写体の撮影が行われ、最初の画
像データがメモリ3に記憶される。次にカメラ制御部1
0によりカメラヘッド1を被写体Aを中心に回転するよ
うに移動させ、最初の位置に対して位置および方向が所
定量変化したことを位置検出部2が検出すると2度目の
撮影が自動的に行なわれ、画像データと位置検出部2に
より得られたカメラヘッド1の最初に撮影した位置およ
び方向に対する変位量とがメモリ3に記憶される。この
とき位置検出部2によってカメラヘッド1の位置および
方向の少なくとも一方が所定より大きく移動していた場
合は、カメラ制御部10における警告手段により警告を
行う。以下上記の動作を数回繰り返し、被写体Aの3次
元画像データを演算するのに十分な画像データが得られ
るとカメラ制御部10における撮影終了報知手段により
その旨を使用者に知らせて撮影を終了する。
【0011】次に3次元画像データ演算部4ではメモリ
3に記憶された画像データとそれぞれの画像データに対
応するカメラヘッド1の位置情報とに基づいて撮影した
被写体Aの3次元画像データを後述する動作により演算
する。次に2次元画像データ演算部5は上記3次元画像
データに基づいて操作部9により選択された画像形態
で、かつ被写体Aを最初に撮影した位置から見た2次元
画像データを後述する動作により演算し、モニタ7に図
示のように立体感のある2次元表示を行う。このとき使
用者が操作部9を操作すると、2次元画像データ演算部
5はそれに応じて演算を行い、図3に示すようにモニタ
6に表示された被写体像14を被写体像15−20のよ
うに任意の視点から見た被写体像に変更することができ
る。また操作部9を操作することにより、モニタ7に表
示された被写体を図2に示す3つの画像形態(自然画1
1、線画12、ポリゴン画13)の何れかに変更するこ
ともできる。
【0012】そして使用者は撮影した被写体Aの画像を
目的に応じて視点、画像形態を変更した後、プリンタ8
に出力することができる。さらに使用者はデータ合成部
6によって予め作成した文書データと上記2次元画像デ
ータ演算部5によって演算された被写体Aの2次元画像
データとをモニタ6に表示しながら合成及び編集の作業
を行うこともできる。このときも被写体Aの画像形態や
視点を変更したい場合は、操作部9を操作することによ
り可能である。本実施の形態では被写体Aの画像に枠を
付加して文書と合成して紙8aにモノクロプリントした
例を示している。なお位置検出部2の別な方法として、
被写体Aと一緒に既知パターンを撮影し、その既知パタ
ーンの形状変化からカメラヘッド1の位置を検出するよ
うにしても良い。
【0013】次に3次元画像データ演算部4で行われる
動作を説明する。まずカメラヘッド1を移動させながら
順次撮影された2つの画像データにおいて各画像のオー
バーラップ領域で対応点を抽出する。対応点を探索する
手法として、USP3890462号公報や特開昭60
−46878号公報記載の時空間勾配法や相関演算に基
づく相関法やブロックマッチング法(テンプレートマッ
チング法)がある。上記時空間勾配法についてはBertho
ld k.p.Horn とBrian G.Schunck によりArtifitial Int
elligence 17, p.185 から203(1981) で詳しく論じられ
ており、マッチング演算に関しては尾上守夫らによって
情報処理Vol.17, No7, p.634から640(1976.7) で詳しく
論じられている。これらの手法に従い、各画像間で対応
点を探索し、さらに位置検出部2によって得られたカメ
ラヘッド1の移動量を用いて三角測量の原理に基づいて
画素ごとの3次元形状を求めていく。
【0014】ここで図4を用いて三角測量の原理を説明
する。同図において物体ABCを位置T1 、T2 から撮
影している様子を示している。この2点T1 、T2 はそ
れぞれ撮影レンズの光学的中心と一致しており、その間
隔L(以下基線長と呼ぶ)は位置検出部2で求まる。f
は撮影レンズの焦点距離である。位置T1 では物体AB
CはA′B′C′に結像しており、位置T2 では物体A
BCはA″B″C″に結像している。
【0015】この2つの画像の画像中心Oを一致させて
重ねたときの各点A、B、Cの撮像面上での移動量A′
A″、B′B″、C′C″は撮影レンズから物体までの
距離Zが焦点位置fに対して十分に大きければ、物体の
結像面は撮影レンズの焦点面に一致するので、図4の幾
何関係において、 A′A″:f=L:ZA B′B″:f=L:ZB C′C″:f=L:ZC が成り立ち、これより ZA=f*L/A′A″ ZB=f*L/B′B″ ZC=f*L/C′C″ より物体までの距離ZA、ZB、ZCを求めることがで
きる。3次元画像データ演算部4では以上に説明した動
作を撮影されたすべての画像に対して行い、被写体Aの
3次元画像データを演算する。
【0016】次に2次元画像データ演算部5の動作につ
いて説明する。まず、操作部9により画像形態が図2に
示す自然画11、線画12、ポリゴン画13のうち線画
12またはポリゴン画が選択された場合は上記3次元画
像データを画素のデータから面のデータであるポリゴン
データに変換する。これは近接する画素データ群を平面
のデータに近似して被写体Aを全て平面で表現するよう
にしたものである。次に被写体Aの3次元画像データま
たは上記ポリゴンデータを操作部9により指定された視
点位置を基に中心投影変換を行い、被写体Aの2次元画
像データを演算する。このとき隠れ点処理は距離判定法
を用い、また適当な内挿処理によって各画素が等間隔に
ならべられているものとする(参照:画像解析ハンドブ
ック、東京大学出版会)。
【0017】次に操作部9によって画像形態が線画12
が選択されていた場合は上記2次元画像データに対して
さらにエッジ抽出を行った後、抽出された直線に対して
スムージング処理を行う。そしてこの2次元画像データ
をモニタ7に表示すると、図示のように立体感のある2
次元表示を行うことができる。
【0018】また前述したように、操作部9により視点
位置を変更する操作をすると、上記2次元画像データ演
算部5は再び変更された視点位置に応じて被写体Aに2
次元画像データを演算してモニタ7に表示するので、被
写体14を被写体像15−20のように任意の視点から
見た被写体像に変更することができる。さらに操作部9
により被写体の画像形態(自然画11、線画12、ポリ
ゴン画13)を変更する操作をすると、上記2次元画像
データ演算部3は再び変更された画像形態に応じて被写
体Aに2次元画像データを演算してモニタ7に表示する
こともできる。
【0019】また、データ合成部6では、被写体の2次
元画像データと上記文書データのそれぞれにモニタ7へ
の表示又はプリンタへの印刷位置を付加して連結し、一
つのデータファイルに合成するようにしている。このと
きも被写体Aの画像形態や視点を変更したい場合は、操
作部9を操作することにより可能である。
【0020】本実施の形態によれば次の効果を得ること
ができる。 (1)3次元画像データから得た2次元画像データを用
いて、被写体Aを任意の視点から見た画像をモニタ6、
プリンタ8により立体的に2次元表示することができ
る。 (2)その際、自然画、線画、ポリゴン画の3つの画像
形態の何れかの画像形態で表示することができる。
【0021】(3)被写体Aの撮影時に、位置検出部2
によりカメラヘッド1が所定より大きく移動したことを
検出すると警告するようになっているので、撮影ミスが
少なくなる。 (4)被写体Aの撮影時に、位置検出部2によりカメラ
ヘッド1が所定量移動したことを検出すると自動的に撮
影が行われ、かつ3次元画像データを得るのに必要なデ
ータが得られると、その旨を使用者に知らせて撮影を終
了するようになっているので必要最小限の撮影回数及び
撮影時間で済み、メモリ2の容量を少なくすることがで
きる。
【0022】
【発明の効果】以上のように本発明によれば、被写体を
任意の視点から見た2次元画像を目的に応じた画像形態
でオフィス等にあるモニタやプリンタにより鮮明に表示
することができる効果がある。また、画像形態を線画に
することにより、鮮明に表示することができ、自然画や
ポリゴン画とすることにより、鮮明でかつ立体感のある
表示を行うことができる。さらに、2次元画像を文書デ
ータ等の他のデータと合成することにより、様々の文書
等をプリントしたり、モニタ表示したりすることがで
き、使用範囲を広げることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示す構成図である。
【図2】被写体画像の画像形態を示す構成図である。
【図3】被写体を見る視点を変えた場合の画像を示す構
成図である。
【図4】三角測量の原理を示す構成図である。
【符号の説明】
1 カメラヘッド 4 3次元画像データ演算部 5 2次元画像データ演算部 6 データ合成部 7 モニタ 8 プリンタ 9 操作部 A 被写体

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 撮像手段により被写体を複数の位置から
    撮影して得られる複数の画像データに基づいて3次元画
    像データを作成する第1の演算手段と、 上記第1の演算手段で作成された3次元画像データに基
    づいて上記被写体を所定の視点位置から見たときの所定
    の画像形態による2次元画像データを作成する第2の演
    算手段とを備えた画像処理装置。
  2. 【請求項2】 上記所定の画像形態は、陰影のある自然
    画、被写体のエッジ部分を線で表現する線画、被写体を
    複数の面の集合として表現するポリゴン画のうちの少な
    くとも1つを含み、それらの1つを指定する画像指定手
    段を設けたことを特徴とする請求項1記載の画像処理装
    置。
  3. 【請求項3】 上記2次元画像データと他の任意のデー
    タとを合成するデータ合成手段を設けたことを特徴とす
    る請求項1記載の画像処理装置。
  4. 【請求項4】 上記第2の演算手段に対して上記被写体
    を見る視点位置を指定する視点設定手段を設けたことを
    特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 上記撮像手段の位置を検出する位置検出
    手段を設けたことを特徴とする請求項1記載の画像処理
    装置。
  6. 【請求項6】 上記撮像手段を制御する制御手段を設け
    たことを特徴とする請求項1又は5記載の画像処理装
    置。
  7. 【請求項7】 上記第1の演算手段は、順次撮影された
    2つの画像データ間のオーバーラップ領域における対応
    点を抽出し、この抽出された対応点と上記位置検出手段
    で検出された位置に基づいて得られる上記撮像手段の移
    動量とに基づいて三角測量の原理により画素毎の3次元
    形状を求めるようにしたことを特徴とする請求項5記載
    の画像処理装置。
  8. 【請求項8】 上記第2の演算手段は、上記第1の演算
    手段から得られる3次元画像データにおける近接する画
    素データ群を平面のデータに近似して上記被写体を全て
    面で表現したポリゴンデータを作成するようにしたこと
    を特徴とする請求項2記載の画像処理装置。
  9. 【請求項9】 上記第2の演算手段は、上記ポリゴンデ
    ータを上記所定の視点位置を基に中心投影変換を行うこ
    とによって2次元画像データを作成するようにしたこと
    を特徴とする請求項8記載の画像処理装置。
  10. 【請求項10】 上記第2の演算手段は、上記2次元画
    像データに対してさらにエッジを抽出し、抽出されたエ
    ッジに対してスムージング処理を行うことにより直線を
    作成するようにした請求項9記載の画像処理装置。
  11. 【請求項11】 上記制御手段は、上記位置検出手段の
    検出に基づいて上記撮像手段を複数の所定位置に順次移
    動させる制御を行うようにした請求項6記載の画像処理
    装置。
  12. 【請求項12】 上記制御手段は、上記撮像手段が所定
    位置に移動しないとき警告を発するようにした請求項6
    記載の画像処理装置。
  13. 【請求項13】 上記制御手段は、上記撮像手段が所定
    量移動したとき自動的に撮影を行わせる制御を行うよう
    にした請求項6記載の画像処理装置。
  14. 【請求項14】 上記制御手段は、上記第1の演算手段
    が3次元画像データを得るのに必要なデータが得られた
    ときその旨を報知するようにした請求項6記載の画像処
    理装置。
  15. 【請求項15】 上記データ合成手段は、上記2次元画
    像データと文書データのそれぞれに対してモニタへの表
    示位置又はプリンタへの制御位置を付加して1つのデー
    タファイルを作成するようにした請求項3記載の画像処
    理装置。
JP7341816A 1995-12-27 1995-12-27 画像処理装置 Pending JPH09187037A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7341816A JPH09187037A (ja) 1995-12-27 1995-12-27 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7341816A JPH09187037A (ja) 1995-12-27 1995-12-27 画像処理装置

Publications (1)

Publication Number Publication Date
JPH09187037A true JPH09187037A (ja) 1997-07-15

Family

ID=18348985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7341816A Pending JPH09187037A (ja) 1995-12-27 1995-12-27 画像処理装置

Country Status (1)

Country Link
JP (1) JPH09187037A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501349A (ja) * 1998-01-06 2002-01-15 インテル・コーポレーション 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法
KR20040020729A (ko) * 2002-09-03 2004-03-09 (주)아이다캠 교육 업무 지원용 영상처리방법과 그 방법이 기록된기록매체
CN100349467C (zh) * 2004-05-13 2007-11-14 三洋电机株式会社 立体图像处理方法及立体图像处理装置
JP2010041076A (ja) * 2008-07-31 2010-02-18 Olympus Corp カメラ
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501349A (ja) * 1998-01-06 2002-01-15 インテル・コーポレーション 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法
KR20040020729A (ko) * 2002-09-03 2004-03-09 (주)아이다캠 교육 업무 지원용 영상처리방법과 그 방법이 기록된기록매체
CN100349467C (zh) * 2004-05-13 2007-11-14 三洋电机株式会社 立体图像处理方法及立体图像处理装置
JP2010041076A (ja) * 2008-07-31 2010-02-18 Olympus Corp カメラ
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム

Similar Documents

Publication Publication Date Title
US6445814B2 (en) Three-dimensional information processing apparatus and method
JP4065488B2 (ja) 3次元画像生成装置、3次元画像生成方法及び記憶媒体
EP1792282B1 (en) A method for automated 3d imaging
JP2874710B2 (ja) 三次元位置計測装置
WO2019007180A1 (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
JP2001346226A (ja) 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
US6839081B1 (en) Virtual image sensing and generating method and apparatus
JP2010109783A (ja) 電子カメラ
JP2000102040A (ja) 電子ステレオカメラ
US6809771B1 (en) Data input apparatus having multiple lens unit
JP2000283720A (ja) 3次元データ入力方法及び装置
KR20190040746A (ko) 3차원 관심영역 복원 시스템 및 방법
JP2017027520A (ja) 3dデータ生成装置及び方法、プログラム、記憶媒体
KR101843018B1 (ko) 영상합성 시스템 및 영상합성방법
JP3925266B2 (ja) 3次元形状入力装置および位置ずれ検出方法
JPH1021401A (ja) 三次元情報処理装置
JPH09187037A (ja) 画像処理装置
JPH09305796A (ja) 画像情報処理装置
JPH1023311A (ja) 画像情報入力方法及び装置
JP4221808B2 (ja) 3次元データ入力方法及び装置
JPH09231370A (ja) 画像情報入力装置
JP2821042B2 (ja) 画像合成装置
JPH09231369A (ja) 画像情報入力装置
JP3151472B2 (ja) 3次元物体像の生成方法