JP5764097B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、多視点画像から任意視点の画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来から、多視点カメラによって撮影された画像データをコンピュータ内部で融合し、任意視点からの見え方を提示する任意視点画像合成技術が知られている（例えば、非特許文献１参照）。任意視点画像合成には、多視点から撮影された物体のシルエットとカメラの光学中心によって形成される錐体の積集合空間であるＶｉｓｕａｌ Ｈｕｌｌを用いるのが一般的である。任意視点画像合成は、Ｖｉｓｕａｌ Ｈｕｌｌを用いた対象物の３Ｄ形状を求めた後、形状の精細化を図る処理を経て、仮想カメラの視線情報（視点位置、視線方向）に従い、テクスチャ計算を行うことにより行う。

任意視点画像合成技術では、マルチカメラシステムによる多視点画像を入力とし、合成対象物の３Ｄ形状を求め、形状表面のテクスチャを計算するという一連の計算処理であるが、形状表面のテクスチャを如何に計算するかが合成画像の画質を大きく左右する。

図３は、従来技術による任意視点画像合成の処理動作を示すフローチャートである。図３を参照して、従来技術による任意視点画像合成の処理動作を説明する。ます、マルチカメラシステムを用い、多視点で撮影した画像から、Ｖｉｓｕａｌ Ｈｕｌｌを用いた対象物の３Ｄ形状を計算する（ステップＳ１１）。このステップで求まった形状は、正確さに欠け、対象物の形状を近似した状態である。次に、Ｖｉｓｕａｌ Ｈｕｌｌを公知の方法で、正確な形状に近づける計算を行う（ステップＳ１２）。これにより、複数の視点に対応した対象シルエットが求まる。

次に、任意視点画像を合成するための仮想カメラの視点位置および視線方向などの情報（仮想カメラの画角情報）を決定する（ステップＳ１３）。そして、決定された仮想カメラの画角情報に基づき、３Ｄ形状表面のテクスチャを計算してテクスチャ・マッピングを行う（ステップＳ１４）。最後に、求められた仮想カメラ画像の描画処理を行う（ステップＳ１５）。これにより任意視点画像が合成されて表示されることになる。

次に、図４を参照して、図３に示すテクスチャ・マッピング（ステップＳ１４）の処理の詳細動作について説明する。図４は、図３に示すテクスチャ・マッピング（ステップＳ１４）の処理動作の詳細を示すフローチャートである。説明を簡単にするために、次の表記を定義する。仮想カメラを＾ｃ（＾はｃの上に付く、以下同様）、入力カメラをｃ_ｉ∈Ｃ（ｉ＝１，．．．，ｎ）とする。また、＾ｃの視線情報に基づき、＾ｃと同等な視野（画角）を有する入力カメラをＣ_ｑで表し、Ｃ_ｑがＣの部分集合である。＾ｃの光軸方向をｚ_＾ｃとし、入力カメラｃ∈Ｃの光軸方向をｚ_ｃとする。

まず、仮想カメラの画角情報が決定すると（ステップＳ１３）、ｃ∈Ｃ_ｑについて、視線一致度をｚ_＾ｃとｚ_ｃの内積として計算する（ステップＳ１４１）。そして、得られた視線一致度を重み係数として仮想カメラ画面の画素値をＣ_ｑの各入力カメラ画像から積和合成計算する（ステップＳ１４２）。この画素値に基づき仮想カメラ画像を生成し出力する（ステップＳ１５）。このように、従来手法では仮想カメラとの視線一致度のみがテクスチャ計算の評価要素である。

Matsuyama T. and Takai T. and Wu X. and Nobuhara S.: "Gener-ation, Editing, and Visualization of 3D Video", "The Transactions of The Virtual Reality Society of Japan", No.4 Vol.7, pp."521-532"(2002).

前述したように、従来技術による任意視点画像合成では、マルチカメラシステムの個々の入力画像が同等の空間解像度と見なし、仮想カメラの画像合成に関して、仮想カメラとの視線一致度のみが合成画素値を計算する評価要素である。そのため、設定の異なるズームレンズを装着したカメラを導入したマルチカメラシステムでは高解像度の入力画像のテクスチャ情報が損なわれてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、設定の異なるズームレンズを装着したカメラを導入したマルチカメラシステムによる多視点画像を用いた任意視点画像の画質を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明は、対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置であって、前記入力カメラのそれぞれについて、前記仮想カメラと視線が一致しているかを示す視線一致度を計算する視線一致度計算手段と、前記入力カメラのそれぞれについて、前記仮想カメラの画像上の各画素における有効解像度の計算を行う有効解像度計算手段と、前記仮想カメラの画像上の各画素における画素値を計算するための前記入力カメラに関する重み係数を前記視線一致度と前記有効解像度とから求める重み係数計算手段と、前記重み係数と前記入力カメラの対応する画素値とから前記仮想カメラの画像上の各画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成手段とを備えることを特徴とする。

本発明は、対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置が行う画像処理方法であって、前記入力カメラのそれぞれについて、前記仮想カメラと視線が一致しているかを示す視線一致度を計算する視線一致度計算ステップと、前記入力カメラのそれぞれについて、前記仮想カメラの画像上の各画素における有効解像度の計算を行う有効解像度計算ステップと、前記仮想カメラの画像上の各画素における画素値を計算するための前記入力カメラに関する重み係数を前記視線一致度と前記有効解像度とから求める重み係数計算ステップと、前記重み係数と前記入力カメラの対応する画素値とから前記仮想カメラの画像上の各画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成ステップとを有することを特徴とする。

本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、設定の異なるズームレンズを装着したカメラを導入したマルチカメラシステムによる多視点画像において、画像の有効解像度を用いて任意視点画像の生成を行うようにしたため、入力画像が有する解像度を損なわずに、生成画像の画質を向上することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像処理部４の動作を示すフローチャートである。 従来技術による任意視点画像合成の処理動作を示すフローチャートである。 図３に示すテクスチャ・マッピング（ステップＳ１４）の処理動作の詳細を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１〜１３は、マルチカメラを構成する複数の撮像部である。撮像部１１〜１３は、それぞれ設定が異なるズームレンズが装着されたカメラで構成する。図１においては、３台の撮像部を図示したが、４台以上であってもよく、通常は１２台程度備えているのが望ましい。符号２は、複数の撮像部１１〜１３から出力する画像データを記憶する画像記憶部である。符号３は、所望の任意視点位置を入力する視点入力部である。視点入力部３は、ユーザが所望の視点位置を指定するための入力操作を行う機能を有している。

符号４は、視点入力部３によって入力された任意の視点位置から見た画像を合成する画像処理部である。符号５は、画像処理部４において合成された画像を表示する画像表示部であり、ディスプレイ装置等で構成する。なお、画像処理装置の構成を図１を参照して説明するに際して、多視点画像から任意視点の画像を合成する画像処理装置が普通に有する公知の機能・構成については、本発明の説明に直接関わりがない限り、その説明及び構成の図示を省略する。なお、本明細書の説明においては、動画像（映像）の１フレーム分を画像と称している。

次に、図２を参照して、図１に示す画像処理部４の動作を説明する。図２は、図１に示す画像処理部４の動作を示すフローチャートである。図２において、図４に示す従来技術による処理動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す処理動作が従来技術による処理動作と異なる点は、有効解像度の計算（ステップＳ１４３）と両方の評価要素に基づく画素値計算（ステップＳ１４４）が新たに設けられている点である。

まず、視点入力部３から入力された任意視点位置の情報から仮想カメラ画角が決定すると（ステップＳ１３）、画像処理部４は、視線一致度の計算を行う（ステップＳ１４１）。この視線一致度の計算は、従来技術によるものと同様である。続いて、画像処理部４は、画像の有効解像度の計算を行う（ステップＳ１４３）。画像処理部４は、仮想カメラの画素ｐについて、有効解像度ｒを次のように計算する。

画素ｐの隣接画素をｐ’とし、それぞれの奥行値をｄ_ｐ，ｄ_ｐ’とする。次に、奥行値をｄ_ｐ，ｄ_ｐ’からｐ，ｐ’に対応する空間中の点ｑ，ｑ’の３Ｄ座標を計算し、それをカメラｃに投影して、得られる画像上の点をそれぞれｐ_ｃ，ｐ_ｃ’とする。そして、有効解像度ｒ＝｜ｐ_ｃ−ｐ_ｃ’｜として計算する。

次に、画像処理部４は、両方の評価要素に基づく画素値計算を行う（ステップＳ１４４）。画素値計算は、以下のように行う。画素ｐと入力カメラｃについて、統合重み係数をｇ_ｐ（ｃ）で表し、ｇ_ｐ（ｃ）＝ｚ_＾ｃ＋λ_ｇｒとして定義する。ただし、λ_ｇが重みパラメータである。ｇ_ｐ（ｃ）を合成重み係数として、仮想カメラの画素値を計算する。これにより統合された重み係数に基づく仮想カメラの画素値計算が行われることになる。

以上説明したように、設定の異なるズームレンズを装着したカメラを導入したマルチカメラシステムによる多視点画像において、有効解像度を用いて任意視点画像の合成を行うようにしたため、高画質な任意視点画像合成が実現可能となる。任意視点画像の合成においては、マルチカメラシステムによる多視点画像を入力とし、合成対象の３Ｄ形状を求め、形状表面のテクスチャを計算するという一連の計算処理であるが、形状表面のテクスチャを如何に計算するかが合成画像の画質を大きく左右する。本実施形態では入力画像の有効解像度を新たな評価要素として取り入れた表面テクスチャの計算を行うため、設定の異なるズームレンズを装着したマルチカメラシステムからの入力画像のもつ解像度を損なわずに、合成画像の画質を向上させることができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより任意視点画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

対象の３Ｄ形状に基づく任意視点画像合成技術は、画像配信の付加価値を高め、インタラクティブな視聴体験を実現する。さらに、臨場感の高い遠隔テレビ会議や、テレワークスを可能にし、画像通信のキラーアプリの創出に大いに貢献できると期待できる。

１１、１２、１３・・・撮像部、２・・・画像記憶部、３・・・視点入力部、４・・・画像処理部、５・・・画像表示部

Claims (3)

1. 対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置であって、
   前記入力カメラのそれぞれについて、前記仮想カメラと視線が一致しているかを示す視線一致度を計算する視線一致度計算手段と、
   前記入力カメラのそれぞれについて、前記仮想カメラの画像上の各画素における有効解像度の計算を行う有効解像度計算手段と、
   前記仮想カメラの画像上の各画素における画素値を計算するための前記入力カメラに関する重み係数を前記視線一致度と前記有効解像度とから求める重み係数計算手段と、
   前記重み係数と前記入力カメラの対応する画素値とから前記仮想カメラの画像上の各画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成手段と
   を備えることを特徴とする画像処理装置。
2. 対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置が行う画像処理方法であって、
   前記入力カメラのそれぞれについて、前記仮想カメラと視線が一致しているかを示す視線一致度を計算する視線一致度計算ステップと、
   前記入力カメラのそれぞれについて、前記仮想カメラの画像上の各画素における有効解像度の計算を行う有効解像度計算ステップと、
   前記仮想カメラの画像上の各画素における画素値を計算するための前記入力カメラに関する重み係数を前記視線一致度と前記有効解像度とから求める重み係数計算ステップと、
   前記重み係数と前記入力カメラの対応する画素値とから前記仮想カメラの画像上の各画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成ステップと
   を有することを特徴とする画像処理方法。
3. コンピュータを、請求項１に記載の画像処理装置として機能させるための画像処理プログラム。

Images