JPH0591409A

JPH0591409A - 画像変換装置

Info

Publication number: JPH0591409A
Application number: JP3348587A
Authority: JP
Inventors: Shingo Otani; 信吾大谷; Kanta Yasuda; 幹太安田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-05-13
Filing date: 1991-12-06
Publication date: 1993-04-09
Also published as: KR920022844A

Abstract

(57)【要約】【目的】画像変換処理によるアオリ効果及び奥行感調
整の実現。【構成】入力された画像信号と、この入力された画像
信号の撮影時における幾何学的パラメータを保持し、処
理手段７３ａ，７３ｂで幾何学的パラメータを用いて画
像信号の幾何学的変換を行ない、この幾何学的変換され
た画像信号を出力することができるように画像変換装置
を構成する。また、入力された画像信号の撮影時の位置
座標やカメラの光軸方向等を算出し、視点の位置座標及
び焦点距離を変えた画像を計算により再構成することが
できるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力された画像信号に
所望の処理を施して出力することができる画像変換装置
に関するものである。

【０００２】

【従来の技術】カメラによって物体を普通に撮影した場
合、カメラはその光学的性質により被写体の本来の大小
関係を正確に捕らえるものではなく、同じ大きさのもの
でもカメラに近接した物（部分）ほど大きく写ることに
なる。

【０００３】ところで、商品カタログ用にある商品を撮
影する場合は、通常その商品の正面と上面が見えるよう
に斜め上方から角度をつけて撮影するのが一般的であ
る。例えば図１３はテレビジョン受像機（被写体）１を
カメラ２で撮影する場合を、テレビジョン受像機１とカ
メラ２の側面方向から示しており、このように、カメラ
２からみて俯角θを付けて撮影することが行なわれる。
ところがこのように撮影すると、上記したようにカメラ
に近接した部分ほど大きく写ることになるため、撮影画
像は図１４のように縦線が逆ハ字状ないわゆる頭でっか
ちな画像となってしまう。

【０００４】このような画像では不自然であるので、従
来はビューカメラと呼ばれる大型スタジオカメラ（フィ
ルムカメラ）を用いて通常『アオリ』と呼ばれる操作を
行なって撮影している。この『アオリ』とは図１５のよ
うにカメラ２のフィルム面（Ａ−Ｂ）が被写体（ａ−
ｂ）と平行になるように、フィルム面（Ａ−Ｂ）を
（Ａ’−Ｂ’）となるようにする操作である。

【０００５】通常、フィルム面（Ａ−Ｂ）に対してレン
ズＬの光軸Ｊは直交しているのであるが、このようにフ
ィルム面を（Ａ’−Ｂ’）とする『アオリ』操作を行な
うにはフィルム面とレンズＬの光軸Ｊとの角度を直角か
らずらす必要がある。

【０００６】そこで図１６に示すように例えば蛇腹を備
えた大型スタジオカメラ３を用いて、撮像面（フィルム
面）を被写体に対する俯角θに合わせてほぼ角度θだけ
回転させ、撮影を行なうことにより、光学的に幾何学的
変換を行ない図１７に示すような縦線がほぼ平行になっ
た写真を得るようにしている。

【０００７】

【発明が解決しようとする課題】しかしながら、このよ
うなアオリ操作は複雑でセッティングに時間がかかると
いう欠点があり、また撮影開始以降の段階でアオリ量の
修正が必要になった場合には最初のセッティングからや
り直さなければならず、非常に非能率的である。

【０００８】また、撮影から印刷までの期間の短縮化の
ためにはビデオカメラや電子スチルカメラを使用して撮
影することが望ましいが、このようなカメラではアオリ
操作ができないため、使用できないという問題があっ
た。

【０００９】さらに、撮影手段がフィルムカメラ、電子
スチルカメラ、或はビデオカメラに関わらず、撮影され
た画像における物体の奥行感は、撮影位置やレンズの焦
点距離によって決まってしまうため、奥行感の調整を行
ないたい場合は、撮影位置の移動やレンズ交換を行なう
などして撮影からやり直さなければならず、非常に煩雑
な作業であるという問題があった。

【００１０】

【課題を解決するための手段】本発明はこのような問題
点に鑑みて、入力された画像信号を保持する画像保持手
段と、入力された画像信号の撮影時における幾何学的パ
ラメータを保持するパラメータ保持手段と、この幾何学
的パラメータを用いて画像信号の幾何学的変換を行なう
ことができる処理手段と、この処理手段によって幾何学
的変換された画像信号を出力する画像出力手段とを有し
て構成される画像変換装置を提供するものである。

【００１１】また、パラメータ保持手段は入力された画
像信号の複数の辺情報を保持するようにするとともに、
処理手段は、パラメータ保持手段の複数の辺情報より各
辺の傾き値、及び座標軸に対する切片値を求め、傾き
値、及び切片値より物体の回転角（α，β）、焦点距離
（ｆ）、視点座標（ｘ₀ ，ｙ₀ ，ｚ₀ ）、及び被写体の
サイズの複数のパラメータ群を求め、このパラメータ群
より、物体の三次元位置座標、及びカメラの光軸方向を
求め、さらに、入力された所望の視点の位置座標、及び
所望の焦点距離より、画像信号を幾何学的変換すること
ができるように構成する。

【００１２】

【作用】撮影時の幾何学的パラメータに基づいて画像変
換処理を行なう画像変換装置を使用することにより、ビ
デオカメラや電子スチルカメラを使用して撮影した画像
についてアオリ操作に相当する処理が実現され、またア
オリ量の撮影後の調整も可能となる。

【００１３】また、カメラによって得た画像は被写体を
平面に投影変換したものとみなすことができる。従っ
て、被写体が写っている画像から被写体の三次元位置座
標、及びカメラの光軸方向を求めれば、視点の位置座標
及び焦点距離を所望の通り変更させた画像を得ることが
できる。例えば、入力された画像信号を、その画像の実
際の撮影位置より被写体に近づいて広角レンズで撮った
ような画像に変換したり、入力された画像信号を、その
画像の実際の撮影位置から被写体に対して遠くして望遠
レンズで撮ったような画像に変換したりすることができ
る。

【００１４】

【実施例】以下、本発明の一実施例の構成について説明
し、その後、本実施例において実現される第１の画像変
換処理（アオリ処理）、及び第２の画像変換処理（奥行
感処理）について順次説明する。

【００１５】＜実施例の構成＞図１は本発明の画像変換
装置を採用した画像処理システムの一例を示したシステ
ムブロック図であり、撮影された画像信号又は遠隔地で
撮影され電送されてきた画像信号を、例えばカタログ等
の掲載写真として処理することができるように構成され
た例である。まず、この画像処理システムについて説明
する。

【００１６】１０はテレビカメラ、電子スチルカメラ等
の撮影装置、１１は撮影装置１０によって撮影された映
像を再生する映像再生装置（ＴＶモニタ）であり、例え
ば遠隔地における撮影に使用されるものである。１２は
撮影装置１０で撮影された映像の中から所望の１画面
（１フレーム分のカラー映像信号）を電話回線、或は通
信衛星等を介して送信することができる静止画電送機で
ある。

【００１７】また、１３，１４は、撮影装置１０，映像
再生装置１１と同様の撮影装置、映像再生装置である
が、本システムの静止画電送機２０に電話回線等を介さ
ずに直接画像信号を入力できるように静止画電送機２０
の近辺に配置されているものである。なお、もちろん映
像再生装置１１を携帯してきて静止画電送機２０の近辺
に配置し、画像信号を静止画電送機２０に直接入力する
ことも可能である。

【００１８】ここで、撮影装置１０，１３及び映像再生
装置１１，１４は、撮影時の視野角度、焦点距離及び方
位（以下、これらを幾何学的情報という）を記録し、再
生できる手段を有するものであることが好ましく、特に
方位については被写体との相対角度を記録できることが
望まれる。

【００１９】すなわち撮影装置１０，１３には画像信号
を例えばフロッピーディスク等の記録媒体に記録する際
に、同時に幾何学的情報を作成し記録させる演算処理部
を有し、視野角度、焦点距離については、例えばズーム
量やフォーカス量を検出して算出するようにし、また方
位（及び３次元位置）についてても方位センサを設けて
算出するようにする。

【００２０】この場合、方位センサとしては例えば人工
衛星の発信電波を用いて位置、方位を検出するＧＰＳ
（Global Positioning System ：広域測位システム）が
使用可能であり、また方位を単独で検出するものとして
は地磁気センサがある。なお、ＧＰＳの３次元位置検出
では、現在のところ誤差が１０〜２０ｍであることか
ら、それ以上の精度を必要とする場合には、超音波源を
少なくとも３個配置してそれぞれの超音波を検出するこ
とにより３次元位置と方位を求める超音波センサや、電
磁気を利用する発信源を撮影場所に配置し、３方向に指
向性を持つコイルに発生する電流で３次元位置と方位を
求めるセンサを用いることができる。

【００２１】撮影時にこれらの手段によって幾何学的情
報が得られた場合は、映像再生装置１１，１４では幾何
学的情報を画像信号とともに静止画電送機１２、２０に
供給できるようにするものである。

【００２２】静止画電送機２０は静止画電送機１２から
送信された画像を受信し、或は映像信号再生装置１４か
ら直接画像が入力されており、受信或は直接供給された
画像は受信モニタ２１で表示することができる。この静
止画電送機２０によって受信された静止画像信号（１フ
レーム分に相当する映像信号であり、信号状態としては
Ｙ／Ｃ信号、ＲＧＢ信号、コンポジット信号等、いづれ
であってもよい）は、自動的に又は手動操作によって適
時、本実施例の画像処理装置部３０に入力される。

【００２３】またこの際に、上記した幾何学的情報が撮
影時に記録され静止画電送機２０に画像信号とともに供
給されていた場合は、この幾何学的情報も画像信号に対
応して画像処理装置部３０に入力されることになる。た
だし、撮影装置１０，１３及び映像再生装置１１，１４
が上記したセンサ手段及び演算処理手段を有さず、幾何
学的情報が画像信号に対応して静止画電送機２０に供給
されてはいない場合は、後述するようにコンソール４０
を用いて幾何学的情報を入力すればよい。

【００２４】２２はビデオディスク装置、ＶＴＲ、ＴＶ
等の画像信号ソースとして利用できる各種映像出力機器
を示し、このＶＴＲ、ＴＶ等の画像信号ソース２２から
の出力映像信号も例えば静止画電送機２０を介して、或
は直接、画像処理装置３０に入力することができる。

【００２５】２３はイメージスキャナを示し、フィルム
や写真を読み込んで画像データとして画像処理装置３０
に供給することができる。なお、読み込む画像とともに
幾何学的情報が所定の方法によって写し込まれていれ
ば、画像処理装置３０に画像と同時に幾何学的情報を供
給できることになる。

【００２６】画像処理装置部３０では、後述するよう
に、供給された画像信号に対して、画像信号の記憶動
作、画像処理動作、印刷用画像信号としての出力処理動
作が行ない、全体のシステム上でホストコンピュータと
して機能する。

【００２７】また、４０は制御用ディスプレイ４１、キ
ーボード４２、マウス４３、処理画像モニタ４４、外部
記憶装置４５等からなるコンソールを示し、オペレータ
はこのコンソール４０を介して画像処理装置部３０の各
種動作を制御する。なお、例えば幾何学的情報を算出し
これを出力することができないカメラ及び映像再生装置
が使用されて撮影された場合などのように、上記した幾
何学的情報が画像信号とともに画像処理装置３０に自動
的に入力されない場合は、例えば撮影時に撮影者が記録
した焦点距離情報から視野角度を算出し、被写体との相
対角度情報とあわせてコンソール４０から画像処理装置
３０に入力するようにする。また自動的に又はコンソー
ル４０から手動入力した幾何学的情報については、入力
後にコンソール４０からデータ値の修正が可能とされて
いる。

【００２８】５０は印刷装置部を示し、画像処理装置部
３０において各種処理が施され、例えばＣ，Ｍ，Ｙ，Ｋ
（シアン，マゼンタ，イエロー，ブラック）の各印刷用
色信号に変換された印刷画像データがこの印刷装置部５
０に供給されると、これを印刷することができる。

【００２９】以上のようにシステムが構成されることに
より、例えば或る商品見本を撮影した画像を、そのまま
静止画電送機１２及び静止画電送機２０を介して画像処
理装置３０に供給し、この画像処理装置３０で所定の画
像処理を行なってから印刷装置部５０に印刷用画像デー
タを供給することにより、例えば出版、印刷社における
紙面編集システム等に有効に利用することができる。

【００３０】この図１に示したような画像処理システム
において、画像処理装置部３０は例えば図２に示すよう
に構成されている。すなわち、各種制御プログラムを記
憶保持しているプログラムＲＯＭ３１、静止画電送機２
０等の画像ソースから入力された画像データを逐次記憶
していく入力画像メモリ（例えばハードディスク）３
２、ＣＰＵ（中央処理ユニット）３３、印刷のために各
種画像処理を行ない、Ｃ，Ｍ，Ｙ，Ｋ（シアン，マゼン
タ，イエロー，ブラック）の各色信号に変換された出力
用画像信号を記憶する出力画像メモリ３４、コンソール
４０とのやりとりや画像データの入出力を行なう入出力
インターフェース部３５等から構成されるものである。

【００３１】また、ＣＰＵ３３は、動作プログラムに基
ずいて各構成部分の動作制御を行なうシステム制御部３
３Ａ、各種演算処理を行なう演算処理部３３Ｂ、及びワ
ークメモリ（主記憶装置）３３Ｃから構成されている。

【００３２】この画像処理装置部３０に入力された静止
画像信号とそれに付随する幾何学的情報は、通常、入力
と同時に自動的に入力画像メモリ３２に記憶されてい
く。そしてＣＰＵ３３は必要に応じて入力画像メモリ３
２から画像データを読み出して、例えば図３のフローチ
ャートに示すような画像処理を行なうことになる。

【００３３】画像処理を行なう場合は、まず処理を行な
う画像データを入力画像メモリ３２からＣＰＵ３３のワ
ークメモリ３３Ｃ内にロードし(F100)、またコンソール
４０の制御用ディスプレイ４１には各種処理内容を示し
た処理制御用画面を、例えばメニュー形式で表示する(F
101)。

【００３４】オペレータが、実行すべき処理内容を選択
してキーボード４２或はマウス４３から入力することに
よって、処理内容が決定され(F102)、処理が実行され
る。すなわちF103a ，F103b ，F103c ・・・に示すように
画像変換処理、ノイズ低減処理、彩度調整処理等から選
択された処理が実行されることになる。F103a の画像変
換処理としては、入力された原画像の拡大縮小、中心位
置変更、回転、画サイズ変更等が実行される。なお、こ
のフローチャートではF103a ，F103b ・・・・は並列させた
が、所定の順序でシーケンシャルに実行していくように
してもよい。

【００３５】F103において或る処理を施された画像信号
は、オペレータが処理確認を行なうことができるように
モニタ４４に供給されて表示される(F104)。そして、さ
らに他の処理を行なう場合は、オペレータの操作によっ
て再び処理選択がなされる(F105 →F102) 。

【００３６】必要な画像処理をすべて終えた段階で、Ｙ
／Ｃ信号で形成される画像信号は印刷用のＣ，Ｍ，Ｙ，
Ｋの信号に変換され(F106)、出力データとして出力画像
メモリ３４に記憶される(F107)。そして、必要に応じて
自動的に或はコンソール４０からの操作によって印刷装
置部５０に出力され、Ｃ，Ｍ，Ｙ，Ｋの４色の画像信号
によって１画像のカラー印刷が実行される。なお、この
例ではカラー画像信号出力としたが、ステップF106を排
してモノクロ画像信号出力とすることも考えられる。

【００３７】＜アオリ処理＞図１の画像処理システム
は、例えばこのような処理を行なう画像処理装置部３０
を備えることにより、画像ソースから得られた画像デー
タ（Ｙ／Ｃ）に基ずいて、所望の印刷画像を得ることが
できるようになされているわけであるが、本実施例の画
像処理装置３０においては上記ステップF103a の画像変
換処理の１つとして、上述したように、画像信号に付随
して入力された、或はコンソール４０から入力された撮
影時の幾何学的情報を用いて、いわゆるフィルムカメラ
における『アオリ』処理に相当するような画像信号の幾
何学的変換処理を行なうことができるようにされている
ものである。以下、この画像信号の幾何学的変換処理に
ついて詳述する。

【００３８】図４は本実施例の画像処理装置３０におい
て、画像の幾何学的変換を行なうためにソフトウエアと
して構成される機能ブロックを示し、７１は変換パラメ
ータ発生手段、７２は幾何学的情報入力／変更手段、７
３ａは座標変換処理手段、７３ｂはデータ補間処理手段
である。

【００３９】変換パラメータ発生手段７１は、座標変換
処理手段７３ａ及びデータ補間処理手段７３ｂにおいて
の処理に必要なパラメータθ，ｆ（θ＝俯角，ｆ＝焦点
距離）を幾何学的情報及び撮像画面サイズデータに基づ
いて出力し、まず座標変換処理手段７３ａではこのパラ
メータθ，ｆにより座標変換を行ない、引続きデータ補
間処理手段７３ｂにおいてはデータの補間演算処理が行
なわれるものである。

【００４０】この座標変換処理手段７３ａ及びデータ補
間処理手段７３ｂにおいて行なわれる、アオリ処理に相
当する画像変換処理について説明する。今、前記図１３
のような撮影セッティングを仮定する。なお簡略化のた
め被写体１正面のカメラ中心軸Ｃ_C に対する左右方向の
傾きは０°とし、上下方向にカメラ２からみて俯角θが
あるとする。

【００４１】ここで、図５に示すように撮像面（Ａ−
Ｂ）を（Ａ’−Ｂ’）に変換するアオリ処理は、ｘ，ｙ
座標上のＰをｕ，ｖ座標上のＰ’に変換する処理に相当
し、このｕ，ｖ座標はｘ，ｙ座標から俯角θ分だけ回転
したものである。従って、Ｐ (ｘ，ｙ) →Ｐ'(ｕ，ｖ)
の座標変換は変換式は、

【数１】で与えられる射影変換である。そこで、画像変換処理の
際には、ｕ，ｖでｘ，ｙを表わす変換式である、

【数２】を用いて行なわれる。

【００４２】この変換式により、座標変換処理手段７３
ａは変換すべき座標を設定して、画像信号内の各画素単
位に座標変換処理を行ない、すなわち新しい座標におけ
る画像信号（画素データ）の値を算出することになる。
そして、座標変換後の画素データは一般にメッシュ状に
並ばないので、データ補間処理手段７３ｂで所定の内挿
処理が行なわれ、これによって変換座標上の画像が得ら
れる。

【００４３】以上の処理により、例えば前記図１７に示
したような光学的にアオリ処理を施した場合と同様の幾
何学的変換がなされた画像が得られることになり、つま
り光学的に行なっていたアオリ処理が画像変換処理によ
り実現されることになる。

【００４４】ところで、以上のような座標変換処理手段
７３ａ，データ補間処理手段７３ｂにおいて画像の幾何
学的変換に供されるパラメータθ，ｆは変換パラメータ
発生手段７１によって供給されるが、変換パラメータ発
生手段７１によるパラメータθ，ｆの出力は画像信号と
ともに入力された幾何学的情報、及び撮像画面サイズデ
ータに基づいて行なわれ、また必要に応じて各種算出動
作がなされるものである。例えば幾何学的情報として焦
点距離ｆが記録されていない場合でも、撮像画面サイズ
は機種によって一定であるので、幾何学的情報として視
野角度Ψ₁ が記録されていれば、焦点距離ｆは容易に算
出される。

【００４５】なお、幾何学的情報の値はコンソール４０
の操作により幾何学的情報入力／変更手段７２を機能さ
せて、入力したり、必要に応じて変更することができ
る。

【００４６】ここで、俯角θ又は焦点距離ｆの値のいづ
れか一方が不明の場合の変換パラメータ発生手段７１に
おける算出方法例を説明する。図６のように、本来長方
形である被写体１（破線で示す）が、上辺ａ、下辺ｂ、
高さｃ＋ｄの台形１ａ（実線で示す）として撮影された
とする。

【００４７】このときこの撮影画像として入力されてい
る画像信号データからａ，ｂ，ｃ，ｄの値を求めること
ができるため、回転中心ｙ軸におけるｙ＝０（ｘ軸上）
においての幅ｇ₀ 、画像部分の上端をｙ＝ｙ_t としたと
きに台形１ａの縦線を画像部分の上端まで延長した際の
幅ｇ_t 、及び画像部分の下端をｙ＝ｙ_b としたときに、
台形１ａの縦線を画像部分の下端まで延長した際の幅ｇ
_b 、のそれぞれについては、

【数３】

【数４】

【数５】が得られる。

【００４８】ここでｇ_b ≦ｇ₀ であった場合はＲ＝ｇ₀
／ｇ_b とし、ｇ_b ＞ｇ₀ であった場合はＲ＝ｇ₀ ／ｇ_t
であるとＲを設定することにより、俯角θの値は、

【数６】として求めることができる。ただし視野角度Ψ₁ につい
ては、（数７）又は（数８）のとおりである。

【数７】

【数８】

【００４９】また、焦点距離ｆの値は、

【数９】で求めることができる。ただしｙは撮像面のサイズであ
る。

【００５０】以上のように変換パラメータ発生手段７１
から供給されたパラメータθ，ｆを用いて座標変換処理
手段７３ａ及びデータ補間処理手段７３ｂでアオリ処理
に相当する画像の幾何学的変換がされた画像信号につい
ては、前記図３のフローチャートのステップF104以下の
処理が続行されることになり、すなわちコンソール４０
における処理画像モニタ４４に表示されるとともに、必
要に応じてさらに所定の処理が行なわれた後、Ｃ，Ｍ，
Ｙ，Ｋ信号に変換されて出力画像メモリ３４に供給さ
れ、印刷装置部５０への出力処理が可能とされ、例えば
カタログ印刷写真に供されることになる。

【００５１】なお、本実施例の画像処理装置３０では、
コンソール４０からの操作に基づいて幾何学的情報入力
／変更手段７２の機能により幾何学的情報の変更が可能
であるため、例えば単にアオリ処理に相当する画像変換
だけでなく、例えば意図的な強調部分を得るようにする
など、各種幾何学的変換が可能となる。また、上記画像
変換の際の座標変換としては、説明上２次元的な座標軸
回動を行なった座標に変換するものとしたが、実際には
３次元的に座標軸回動がなされることもある。

【００５２】＜奥行感処理＞次に本実施例の画像変換装
置３０における画像変換処理の１つとして画像の奥行感
をコントロールする処理について説明する。この画像変
換処理は、撮影装置１０，１３の被写体に対する視点位
置と焦点距離を任意に変化させた画像と同等の画像が得
られるようにする処理であり、この処理を説明上、仮に
『奥行感処理』というものとする。この奥行感をコント
ロールする『奥行感処理』は、本実施例の画像変換装置
において上述してきた『アオリ処理』に相当する画像変
換と無関係に、又は組み合わせて実行することができる
ものである。

【００５３】つまり、画像変換装置３０に入力され、例
えば入力画像メモリ３２に保持された画像に対して、Ｃ
ＰＵ３３が前述した図３の処理動作を実行する際にステ
ップF103a において実行される処理である。なお、前述
した『アオリ処理』では、撮影時の視野角度、焦点距離
及び方位の幾何学的情報（画像変換に用いるパラメー
タ）が画像信号と対応して画像変換装置３０に入力され
るものとして説明したが、この『奥行感処理』について
は、特に画像信号のみが入力される場合を想定し、その
画像の辺情報等から撮影時の２次元投影の際のパラメー
タ等の所要の値を算出し、また、所要の変換用パラメー
タをオペレータが入力することによって画像変換処理が
実行されるものとして説明する。

【００５４】撮影装置１０，１３においてレンズの歪を
無視できる理想的な極限を考えたとき、撮影装置１０，
１３によって得られる画像は三次元空間中の被写体を二
次元空間へ投影変換したものと考えることができる。こ
の投影変換は、いくらかのパラメータを設定すれば一意
的に定まるものであるが、逆に、得られた画像からこれ
らのパラメータの値を算出し、さらに所定のパラメータ
即ち視点の位置座標及び焦点距離を元の（撮影時の）値
と変えて画像を再構成（画像変換）することにより、入
力された画像について写り具合、奥行感をコントロール
できることになる。

【００５５】まず投影変換及び各種パラメータの算出動
作について以下に説明する。図７のようにまず三次元座
標系（ｘｙｚ系）を用意する。ここで、ｚ軸の回りにα
だけ座標系を回転させ、さらにその回転後のｘ軸の回り
にβだけ回転させた後、原点を視点位置（ｘ₀ ，ｙ₀ ，
ｚ₀ ）に平行移動してできる座標系を図示のとおりｘ’
ｙ’ｚ’系とすると、ｘｙｚ系とｘ’ｙ’ｚ’系におい
て位置座標は次の（数１０）で結び付けられる。

【数１０】

【００５６】これより、ｚ’軸を視線の向きと平行にと
るとき、焦点距離ｆの投影面、即ちｕｖ平面８０への投
影変換は、

【数１１】で与えられる。ただし、視線方向を向き、視点位置（ｘ
₀ ，ｙ₀ ，ｚ₀ ）を通る直線とｕｖ平面８０の交点をｕ
ｖ平面８０の原点Ｏ_T とし、ｘ’軸とｕ軸、及びｙ’軸
とｖ軸の方向を一致させてある。これにより、三次元空
間中の任意の点を投影面であるｕｖ平面８０上の１点に
写すことができる。

【００５７】次に、視点位置座標（ｘ₀ ，ｙ₀ ，ｚ₀ ）
の移動を考える。即ち、元の視点位置座標（ｘ₀ ，ｙ
₀ ，ｚ₀ ）を視線ベクトルｎの方向にΔｄだけ動かした
点の座標（ｘ_0M，ｙ_0M，ｚ_0M）を求める。ここでΔｄ＞
０のとき、被写体から遠ざかるように視点を移動すると
決めておく。図７より、視線ベクトルｎは、

【数１２】となることがわかるので、次の（数１３）が成立する。

【数１３】

【００５８】次に、ｕｖ平面８０上の直線の情報から視
点位置座標（ｘ₀，ｙ₀ ，ｚ₀ ）や回転角（α，β）等
のパラメータを算出することを考えると、三次元空間中
の直線がｕｖ平面８０上にどのように写像されるかを予
め知っておくことが必要になるが、これは上記（数１
０）（数１１）を用いて計算することができる。

【００５９】まず、ｙ＝一定、ｚ＝一定の直線、つまり
ｘ軸に平行な直線ｌ_x については、ｙ−ｙ₀ ＝Ｙ，ｚ−
ｚ₀ ＝Ｚ（一定）とすると、（数１０）より、

【数１４】が導かれる。従ってｕ，ｖについては（数１１）より、

【数１５】となり、これよりｚ’を消去すると、

【数１６】となる。結局、

【数１７】又は、

【数１８】が得られ、従ってｘ軸に平行な直線ｌ_x は、定点

【数１９】を通ることがわかる。

【００６０】また、ｘ＝一定、ｚ＝一定の直線、つまり
ｙ軸に平行な直線ｌ_y については、ｘ−ｘ₀ ＝Ｘ，ｚ−
ｚ₀ ＝Ｚ（一定）とし、上記（数１４）〜（数１６）で
示した直線ｌ_x の場合と同様に計算することで、

【数２０】又は、

【数２１】が得られ、従ってｙ軸に平行な直線ｌ_y は、定点

【数２２】を通ることがわかる。

【００６１】さらに、ｘ＝一定、ｙ＝一定の直線、つま
りｚ軸に平行な直線ｌ_z については、ｘ−ｘ₀ ＝Ｘ，ｙ
−ｙ₀ ＝Ｚ（一定）とし、上記（数１４）〜（数１６）
で示した直線ｌ_x の場合と同様に計算することで、

【数２３】が得られ、従ってｚ軸に平行な直線ｌ_z は、定点

【数２４】を通ることがわかる。

【００６２】以上の結果から、三次元空間で平行な直線
群は、投影面即ちｕｖ平面８０に投影されると、全てあ
る定点を通るという性質を持っていることが理解され
る。以上の情報を用いて、ｕｖ平面８０に投影された画
像（つまり画像変換装置３０に入力される画像）から、
投影変換のパラメータであるところの、視点位置座標
（ｘ₀ ，ｙ₀ ，ｚ₀ ）、回転角（α，β）、焦点距離
ｆ、及び被写体サイズを計算する。

【００６３】いま、被写体の形状を直方体と仮定し、図
８のように各辺に符合ｌ₁ 〜ｌ₉ を付す。また、各頂点
位置をｘ，ｙ，ｚ座標で与える。なお、この撮像面上に
おいて、直方体の各辺（直線）ｌ₁ 〜ｌ₉ に対応する直
線の方程式は既知のものとし、直線ｌ_i の傾きをａ_i 、
ｙ切片をｂ_i であるとする。

【００６４】被写体となった直方体の辺ｌ₃ と辺ｌ₄ は
いづれも三次元上ではｙ軸に平行であるため、撮像面上
に投影された直線ｌ₃ と直線ｌ₄ の交点の座標は上記
（数２２）に示した定点座標となる。さらに、三次元上
ではｘ軸に平行な直線ｌ₆ と直線ｌ₇の投影面上での交
点の座標は、同様の理由から上記（数１９）に示した定
点座標となる。また、三次元上でｚ軸に平行な直線ｌ₁
のｙ切片ｂ₁ は上記（数２３）より、−ｆ tanβである
ことがわかる。

【００６５】従ってこれらから回転角α、β、焦点距離
ｆを求めることができる。つまり、

【数２５】

【００６６】次に、被写体である直方体の大きさ及び視
点の位置座標（ｘ₀ ，ｙ₀ ，ｚ₀ ）は次の手順で算出す
ることができる。ただし、投影された画像のみからでは
長さの比しか求めることはできず、絶対的な長さを求め
ることは不可能であるため、視点位置のｙ座標を与える
ようにする。つまり、ｙ₀ ＝−Ｌとして与える。

【００６７】ここで、上記したようにｚ軸に平行な直線
ｌ_z の傾き（＝ａ）は既知のものであるため、上記（数
２３）より、

【数２６】が成り立つ。この（数２６）をＸについて解くと、

【数２７】となる。

【００６８】ここで上記したようにＸ＝（ｘ−ｘ₀ ）、
Ｙ＝（ｙ−ｙ₀ ）であり、またｙ₀＝−Ｌである。従っ
てｚ軸に平行で、しかもｘ＝０、ｙ＝０である直線ｌ₁
について考えると、

【数２８】が得られる。

【００６９】また同様に、ｚ軸に平行で、ｘ＝ｘ₁ 、ｙ
＝０である直線ｌ₂ を用いると、

【数２９】が得られる。

【００７０】さらに、上記したようにｘ軸に平行な直線
ｌ_x のｙ切片（＝ｂ）は既知のものであるため、上記
（数１８）より、

【数３０】が成り立つ。この（数３０）をＺについて解くと、

【数３１】となる。

【００７１】ここで上述したようにＺ＝（ｚ−ｚ₀ ）で
ある、従って、ｘ軸に平行で、ｙ＝０、ｚ＝０である直
線ｌ₅ を用いて、

【数３２】が得られる。また、ｘ軸に平行で、ｙ＝０、ｚ＝ｚ₁ で
ある直線ｌ₆ についてみると、

【数３３】が得られる。

【００７２】最後に、ｙ₁ については、上記（数３１）
をＹについて解き、さらにｙ＝ｙ₁、ｚ＝ｚ₁ であって
ｘ軸に平行な直線ｌ₇ より、

【数３４】と計算される。

【００７３】以上のように被写体からカメラ（撮影装置
１０，１３）までの距離Ｌ（正確にはカメラから被写体
の前面を含む平面までの最短距離）を与えるのみで、投
影変換のパラメータが計算されることが理解される。つ
まり、投影画像から視点位置座標（ｘ₀ ，ｙ₀ ，ｚ
₀ ）、回転角（α，β）、焦点距離ｆ、及び被写体サイ
ズが算出できる。

【００７４】本実施例における『奥行感処理』は以上の
ような手順でパラメータ算出を行ない、さらに新しい変
換パラメータを入力して画像変換処理を行なうものであ
り、その処理手順を図９に示す。なお、このF200〜F208
のステップは上記図３のステップF103a において実行さ
れるものであり、例えば『奥行感処理』がオペレータに
よって指示されたときに実行される。

【００７５】即ち、まず入力画像メモリ３２から処理を
行なう画像データがロードされ、処理画像モニタ４４に
表示されて処理が選択され (図３：F100〜F102) 、ステ
ップF103a において『奥行感処理』が指示されると(F20
0)、まず特徴点入力が求められる。これに応じて、上述
した直方体を被写体とする例の場合では、図８のように
ｘｙｚ座標による直方体の各頂点位置をオペレータが入
力する(F201)。なお、この特徴点をＣＰＵ３３の演算処
理により自動検出するようにしてもよい(F202)。

【００７６】次に、焦点距離ｆ及び視点位置座標（ｘ
₀ ，ｙ₀，ｚ₀ ）を絶対値で算出するため、１つの絶対
値データを与える(F203)。上記算出手順ではｙ₀ ＝−Ｌ
として与えたことに相当する。

【００７７】次に、このように入力された特徴点（直方
体の頂点位置）及び絶対値データ（ｙ₀ ＝−Ｌ）を用
い、上述してきた手順で、撮影時のパラメータ、即ち、
視点位置座標（ｘ₀ ，ｙ₀ ，ｚ₀ ）、回転角（α，
β）、焦点距離ｆ、及び被写体サイズを算出する(F20
4)。

【００７８】ここで、オペレータに対して『奥行感処
理』を実行するための新しい変換パラメータ、即ち希望
する視点距離（視点位置変動距離Δｄ）及びそれに伴う
焦点距離ｆ_N の入力が求められる。これに応じてオペレ
ータが所望の視点位置変動距離Δｄ及び焦点距離ｆ_N を
入力する(F205)。

【００７９】そして、入力された視点位置変動距離Δｄ
及び焦点距離ｆ_Nに応じて、座標変換、データ補間処理
を行なって新しい画像データを作成する。つまり、視点
位置変動距離Δｄ及び焦点距離ｆ_N の条件で再投影した
画像を構築する(F206)。

【００８０】この画像変換処理は、上記（数１３）によ
って新しい視点位置座標を得た後、その新しい視点位置
座標を原点としてｘ’ｙ’ｚ’座標系を構築し、上記
（数１１）により投影面（図７におけるｕｖ平面８０）
に投影変換を行なうものである。もちろんこの場合の
ｘ’ｙ’ｚ’座標系も上記（数１０）によりｘｙｚ座標
系から規定されている。

【００８１】画像変換処理が終了したら、変換画像を処
理画像モニタ４４によってオペレータに対して表示す
る。そして、オペレータの選択により、再度変換パラメ
ータが入力され、画像変換処理が実行されるか、又は
『奥行感処理』が終了される(F208)。『奥行感処理』が
終了した後は、図３のフローチャートに基づく動作が継
続される。

【００８２】このような本実施例の『奥行感処理』にお
けるパラメータ算出のシュミレーション結果及び実際の
画像処理結果を以下に示す。ただし、上記パラメータ算
出方法の説明においては、投影面上での直線のパラメー
タ（直線ｌ_i の方程式における傾きａ_i 及び切片ｂ_i ）
は既知のものとしたが、実際のシュミレーションにおい
てはモニタ座標と撮像面の座標との対応関係が分からな
いと直線のパラメータをモニタから読み取った値から計
算できないため、最初に縦横のピクセル密度と撮像１中
心の位置を最初に与えている。

【００８３】ピクセル密度については、使用した撮影装
置（ＣＣＤビデオカメラ）の仕様により評価した値を用
いた。また撮像中心については、三次元空間中でｚ軸に
平行な直線は撮像面に投影されるとｕ＝０（撮像中心の
ｕ座標）を通るという性質があることから（前記（数３
２）参照）、モニタ上における直線ｌ₁ ，ｌ₂ の交点を
撮像中心のｕ座標としている。なお、撮像中心のｖ座標
についてはモニタの中心の垂直座標を撮像中心のｖ座標
とした。さらに、直線のパラメータは、直方体の各頂点
に対する点を入力して計算した。

【００８４】このようにして、サイズが（Δｘ，Δｙ，
Δｚ）＝（320,460,300 ）の直方体について投影変換の
パラメータ等を実際に計算した結果を実測値とともに
（表１）に示す。ただし、回転角αについては実測値を
用いて他のパラメータを算出した。ここで、計算値は−
α_C 、90°−β_C 、ｆ_C とし、それぞれ実測値−α、90
°−β、ｆと区別して示している。

【表１】

【００８５】（表１）から、上記算出方法により、回転
角α以外はほぼ実測値に近い値が得られたことが理解さ
れる。なお、焦点距離ｆについては絶対値で見るとかな
り異なっているが、カメラ自体が正確な数値を示すとは
考えられないため絶対値で比較するのはそれほど意味の
あることではない。比をとって比べてみると実測値ｆと
計算値ｆ_C とで互いに類似する値であることが理解され
る。

【００８６】このようなパラメータ算出の結果を用いて
実際に画像変換を行なった。（表１）における（Ａ）
（Ｂ）（Ｃ）の各場合を以下図１０、図１１、図１２に
示す。各図において（ａ）は原画像、（ｂ）はΔｄ＜
０、即ち原画像を撮った位置より被写体に近寄って広角
レンズを使用して撮ったような効果を与えたもの、
（ｃ）はΔｄ＞０、即ち原画像を撮った位置より被写体
から遠ざかり、望遠レンズを使用して撮ったような効果
を与えたものを示す。

【００８７】各場合の画像変換パラメータ（視点位置変
移量Δｄ、新しい視点位置からの焦点距離ｆ_N ）は以下
のとおりである。ただし、焦点距離ｆ_N は、画像変換後
の被写体の大きさが、原画像と同程度となるように設定
している。

【００８８】図１０（ａ）・・・・・・Ｌ＝1140mm ，ｆ＝12mm ，ｆ_C
＝29mm 図１０（ｂ）・・・・・・ Δｄ＝-700mm ，ｆ_N
＝15mm 図１０（ｃ）・・・・・・ Δｄ＝1500mm ，ｆ_N
＝59mm

【００８９】図１１（ａ）・・・・・・Ｌ＝1020mm ，ｆ＝12mm ，ｆ_C
＝29mm 図１１（ｂ）・・・・・・ Δｄ＝-700mm ，ｆ_N
＝14mm 図１１（ｃ）・・・・・・ Δｄ＝1500mm ，ｆ_N
＝60mm

【００９０】図１２（ａ）・・・・・・Ｌ＝980mm ，ｆ＝12mm ，ｆ_C
＝29mm 図１２（ｂ）・・・・・・ Δｄ＝-800mm ，ｆ_N
＝14mm 図１２（ｃ）・・・・・・ Δｄ＝2000mm ，ｆ_N
＝58mm

【００９１】以上の各図から本実施例による実際の『奥
行感処理』により、原画像の奥行感が所望のとおり変換
されることが理解される。この『奥行感処理』により、
原画像が奥行感が不適性であるとされた場合等に実際に
撮影をやり直したりするという手間が省け、また各種入
力画像の使用態様に応じて最も適した画像を容易に得る
ことができることになる。

【００９２】なお、このような『奥行感処理』は静止画
像だけでなく動画に対して応用して実行することもでき
る。また、画像変換処理に時間がかかるような場合は、
予め線画（ワイヤーフレーム）によって視点移動の効果
を確かめて、移動量決定後に実際のデータに対して処理
を行なうようにしてもよい。

【００９３】なお本実施例では、図１のようなシステム
内における画像変換装置において『あおり処理』や『奥
行感処理』を行なうようにしたが、このような画像変換
装置を例えばビデオカメラ等の撮影装置やモニター等の
画像出力装置に組み込んで画像変換出力を行なうように
することも考えられる。

【００９４】

【発明の効果】以上説明したように本発明の画像変換装
置は、幾何学的パラメータを用いて画像信号の幾何学的
変換を行なうことができる処理手段を有することによ
り、アオリ処理によって得られる画像を画像変換処理で
可能としたため、ビデオカメラや電子スチルカメラを使
用して撮影した画像についてアオリ処理を実施した際と
同様な画像が得られることになり、またアオリ量の撮影
後の調整も可能となるという効果がある。従って撮影時
及び撮影から印刷までの作業工程が非常に能率化される
ことになり、非常に有用である。

【００９５】また、原画像に対して、その視点位置及び
焦点距離を撮影時の視点位置及び焦点距離から変化させ
た状態となるように画像変換できるようにすることで、
撮影後において所望のとおり奥行感を変化させることが
でき、わざわざ撮影をやり直す必要はない。また、撮影
後に奥行感を各種変化させることができるため、使用に
最も適した画像を容易に得ることができるという効果が
ある。

【図面の簡単な説明】

【図１０】本発明の一実施例を採用した画像処理システ
ムのブロック図である。

【図２】本実施例の画像処理装置のブロック図である。

【図３】本実施例の画像処理装置の動作の一例を示すフ
ローチャートである。

【図４】本実施例の画像処理装置の幾何学的画像変換の
ための機能ブロック図である。

【図５】本実施例の画像処理装置の幾何学的画像変換動
作の説明図である。

【図６】本実施例の画像処理装置のパラメータ算出動作
の説明図である。

【図７】本実施例に採用される投影変換の説明図であ
る。

【図８】本実施例に採用されるパラメータ算出方式の説
明図である。

【図９】本実施例の画像処理装置における奥行感処理動
作のフローチャートである。

【図１０】本実施例の奥行感処理画像の説明図である。

【図１１】本実施例の奥行感処理画像の説明図である。

【図１２】本実施例の奥行感処理画像の説明図である。

【図１３】撮影動作の説明図である。

【図１４】撮影される画像の説明図である。

【図１５】アオリ処理の説明図である。

【図１６】アオリ処理を実施した撮影動作の説明図であ
る。

【図１７】アオリ処理を実施して撮影した画像の説明図
である。

【符号の説明】

３０画像処理装置３１ＲＯＭ３２入力画像メモリ３３ＣＰＵ３４出力画像メモリ３５入出力インターフェース７１変換パラメータ発生手段７２幾何学的情報入力／変更手段７３ａ座標変換処理手段７３ｂデータ補間処理手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年７月２４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】本発明の一実施例を採用した画像処理システム
のブロック図である。