JPH10289331A - 画像加工再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 実写画像自体を被写体の３次元形状情報によ
って加工して、画像編集者に限らず、より広範な画像観
察者が、ＣＧによらずに簡便に、実写画像を３次元的に
回転させ、３次元的に拡大または縮小し、実写画像の色
を変えるなどした、自己の欲する画像を再生することが
でき、しかも再生画像としてＣＧを利用した場合と同等
のものを得ることができるようにする。 【解決手段】 画像加工再生装置１０は、画像入力装置
部１１、３次元形状入力装置部１２Ａ，１２Ｂ、画像加
工装置部１３、画像作成ツール１４、３次元形状作成ツ
ール１５、および記憶装置部１６によって構成する。画
像加工装置部１３は、３次元形状入力装置部１２Ａ，１
２Ｂにより入力された３次元形状情報によって、画像作
成ツール１４および３次元形状作成ツール１５を用い
て、画像入力装置部１１から得られた実写画像情報を処
理して、被写体１の実写画像を加工した再生画像を得
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、被写体の実写画
像を加工した再生画像を得る画像加工再生装置に関す
る。

【０００２】

【従来の技術】画像処理技術の進展などに伴い、被写体
をビデオカメラにより撮影するなどによって得られた実
写画像をもとに、画像編集者や画像観察者の欲する画像
を再生することができるようになってきた。

【０００３】代表的なものは、コンピュータ・グラフィ
ックス（以下、ＣＧと称する）を利用するもので、例え
ば、特開平７−２１２６５３号や特開平７−２６２４１
０号には、実写画像とＣＧ画像とを合成して、画像編集
者が欲する画像を再生することが示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、ＣＧ
は、かなり普及してきているとは言え、誰もが利用でき
るような状態には至っていない。

【０００５】そこで、この発明は、画像編集者に限ら
ず、より広範な画像観察者が、ＣＧによらずに簡便に、
実写画像をもとに自己の欲する画像を再生することがで
きるようにしたものである。

【０００６】

【課題を解決するための手段】この発明では、画像加工
再生装置として、被写体の実写画像の画像情報を得る画
像入力装置部と、前記被写体の３次元形状の形状情報を
入力する３次元形状入力装置部と、この３次元形状入力
装置部により入力された形状情報によって、前記画像入
力装置部から得られた画像情報を処理して、前記被写体
の実写画像を加工した再生画像を得る画像加工装置部
と、を設ける。

【０００７】上記のように構成した、この発明の画像加
工再生装置においては、実写画像自体を被写体の３次元
形状情報によって加工するので、画像編集者に限らず、
より広範な画像観察者が、ＣＧによらずに簡便に、実写
画像を３次元的に回転させ、３次元的に拡大または縮小
し、実写画像の色を変えるなどした、自己の欲する画像
を再生することができ、しかも再生画像としてＣＧを利
用した場合と同等ものを得ることができる。従って、実
写画像とＣＧ画像とを合成することも容易に行うことが
できる。

【０００８】

【発明の実施の形態】図１は、この発明の画像加工再生
装置の一実施形態を備える画像再生システムを示し、そ
の画像再生システムは、画像加工再生装置１０、表示装
置２０および記録装置３０からなる。

【０００９】画像加工再生装置１０は、画像入力装置部
１１、３次元形状入力装置部１２Ａ，１２Ｂ、画像加工
装置部１３、画像作成ツール１４、３次元形状作成ツー
ル１５、および記憶装置部１６によって構成する。

【００１０】画像入力装置部１１は、被写体１を撮影す
るビデオカメラや、あらかじめ被写体１をビデオカメラ
により撮影して得た画像情報を記録した記録媒体から、
その画像情報を読み出す画像読出装置部などのように、
被写体１の実写画像の画像情報を得て、それを画像加工
装置部１３に送出する。

【００１１】３次元形状入力装置部１２Ａ，１２Ｂは、
被写体１の３次元形状を検出して、その得られた形状情
報を画像加工装置部１３に送出する。

【００１２】画像加工装置部１３は、３次元形状入力装
置部１２Ａ，１２Ｂにより入力された形状情報によっ
て、画像作成ツール１４および３次元形状作成ツール１
５を用いて、画像入力装置部１１から得られた画像情報
を処理して、被写体１の実写画像を加工した再生画像を
得るもので、パーソナルコンピュータ用のグラフィック
アセクラレータなどを用いることができる。

【００１３】記憶装置部１６は、後述するように、画像
入力装置部１１によって動画の実写画像が取り込まれた
とき、実写画像の加工用に前のフレームの画像情報を記
憶しておくバッファメモリである。

【００１４】表示装置２０は、画像加工装置部１３によ
って加工される過程の画像、および加工された後の再生
画像を表示する、ＣＲＴディスプレイや液晶ディスプレ
イなどのディスプレイである。記録装置３０は、画像加
工装置部１３によって加工され後の再生画像を記録して
おくものである。

【００１５】上記の画像再生システムでは、実写画像を
加工して再生画像を得ようとする画像編集者または画像
観察者は、以下のような手順で、実写画像を入力し、加
工して、所望の画像を再生する。最初に、画像入力装置
部１１によって、被写体１の実写画像を２次元画像とし
て入力する。次に、３次元形状入力装置部１２Ａ，１２
Ｂによって、被写体１の３次元形状を入力する。実写画
像および３次元形状は、ＣＧ的に言うなら、テクスチャ
およびフレームと同等に扱う。

【００１６】次に、画像加工装置部１３によって実写画
像を加工し、最後に、加工後の画像を、表示装置２０に
表示し、記録装置３０に記録する。

【００１７】画像加工装置部１３での加工は、図２に示
すように、実写画像の向きを変え、実写画像の一部また
は全部を拡大または縮小し、実写画像の一部または全部
の形状を変更し、または実写画像の色を変える、などで
ある。

【００１８】この場合、実写画像を形状情報と色情報に
分けて、加工を行う。例えば、被写体１を回転させた画
像を得る場合、最初に形状のみを回転させ、その後、色
情報を２次元画像として貼り付け直す。

【００１９】観察者は、実写画像の向き、大きさ、形
状、位置および色などを自由に変えることができ、観察
方法を自由に変更することができる。このような観察者
の加工を、被写体１を撮影する撮影者は撮影時、意識す
る必要がない。

【００２０】このように実写画像を加工する場合、例え
ば実写画像を回転させる場合、その実写画像にもともと
見えていなかった部分が再生されることもあり、色情報
が足りなくなることも考えられる。

【００２１】例えば、図３の左側に示すように、ビデオ
カメラ１０Ｃで人の顔を、ある方向から撮影するとき、
ビデオカメラ１０Ｃは人の頭が球体であることを認識で
きない。そのため、その後、図３の右側下方に示すよう
に、観察者が実写画像を加工して、被写体を後ろ向きに
回転させた画像を再生すると、その再生された画像は、
後頭部ではなく、裏返った顔になってしまう。

【００２２】しかし、上述した実施形態では、上述した
ように、動画の実写画像については前のフレームの画像
情報が記憶装置部１６に保存される。したがって、この
記憶装置部１６に保存された前のフレームの実写画像か
ら、上記の人の後頭部のように見えていない部分を予測
することができる。また、画像加工再生装置１０とし
て、十分に予測できないような再生方法を観察者が選択
することを抑制することもできる。

【００２３】

【発明の効果】上述したように、この発明によれば、実
写画像自体を被写体の３次元形状情報によって加工する
ので、画像編集者に限らず、より広範な画像観察者が、
ＣＧによらずに簡便に、実写画像を３次元的に回転さ
せ、３次元的に拡大もしくは縮小し、実写画像の色を変
えるなどした、自己の欲する画像を再生することがで
き、しかも再生画像としてＣＧを利用した場合と同等の
ものを得ることができる。

【図面の簡単な説明】

【図１】この発明の画像加工再生装置の一実施形態を示
す図である。

【図２】実写画像の加工の態様を示す図である。

【図３】実写画像の加工の説明に供する図である。

【符号の説明】

１０…画像加工再生装置、１１…画像入力装置部、１２
Ａ，１２Ｂ…３次元形状入力装置部、１３…画像加工装
置部、１４…画像作成ツール、１５…３次元形状作成ツ
ール、１６…記憶装置部、２０…表示装置、３０…記録
装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】被写体の実写画像の画像情報を得る画像入
   力装置部と、 前記被写体の３次元形状の形状情報を入力する３次元形
   状入力装置部と、 この３次元形状入力装置部により入力された形状情報に
   よって、前記画像入力装置部から得られた画像情報を処
   理して、前記被写体の実写画像を加工した再生画像を得
   る画像加工装置部と、 を備える画像加工再生装置。