JP4277503B2

JP4277503B2 - 映像撮影装置及び方法

Info

Publication number: JP4277503B2
Application number: JP2002299788A
Authority: JP
Inventors: 契宇都木; 俊夫守屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-10-15
Filing date: 2002-10-15
Publication date: 2009-06-10
Anticipated expiration: 2022-10-15
Also published as: JP2004135208A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画および静止画を撮影する画像作成装置に関する。
【０００２】
【従来の技術】
広視野角の画像を撮影することによって、ユーザの入力に応じて自由な風景の見回しを行ったり、特殊な画像表示システムに周囲の映像を表示して没入感覚を味わったりするためのカメラシステムやそのコンテンツを応用したアプリケーションが生まれている。
【０００３】
このような高視野角の映像を撮影するための技術手法としては、曲面鏡などを利用して単一カメラで撮影する装置や、複数カメラの画像をつなぎ合わせることで画像を撮影する装置が発明されている。
【０００４】
前者のように単一のカメラを利用する例としては、双曲面ミラーとCCDカメラを組み合わせたシステムなどが研究、発表されている。この種のシステムでは、装置全体が小さくまとまり、複数カメラの画像を合成することに起因する問題は生まれない。
【０００５】
しかし、ミラーの歪みによる誤差が最終画像の画質を大きく左右する問題点や、単一のカメラで全周囲の画像を撮影するため最終画像の解像度が不足がちになることが欠点として挙げられる。
【０００６】
複数のカメラを使用する後者の例としては、複数の小型カメラを単一の筐体に収めた全方位撮影用カメラが実現されている（例えば、特許文献１参照。）。このカメラでは、外部の制御装置から撮影命令を受信し、連動して動作する6台のカメラが撮影する各デジタル画像を専用の記憶装置に保存する。このデータは撮影終了後に汎用計算機に転送され、専用のソフトウェアを利用してつなぎ合わせ処理が行われて全周囲動画像へと変換される。このように複数台数のカメラを用いるシステムでは高い解像度の映像を得ることが出来る半面、画像同士のつなぎ合わせに起因する映像の劣化が見られる。
【０００７】
【特許文献１】
特開２００１−２０４０１５号公報（要約）
【０００８】
【発明が解決しようとする課題】
複数カメラの画像をつなぎ合わせて単一の画像を作成するためには、各画像を撮影したレンズ位置（光学中心）が一致していることが望ましい。光学中心が一致していない場合には、撮影対象物とカメラとの相対的な配置が映像ごとに異なるため、各画像の間で3次元的な視野差に起因する画像間の矛盾が起きるようになる。しかし、各カメラの光学中心を完全に一致させるためには複雑な反射鏡の設計が必要であり、その作成は極めて困難なかつ高価なものとなる。そのため複数カメラを組み合わせて撮影を行う製品の多くにおいては、光学中心は数センチから数十センチ離れている。
【０００９】
【課題を解決するための手段】
本発明では複数カメラを用いて画像を撮影する際に、カメラの位置と角度を物理的に変化させる動的な制御を行い、画像合成時に各カメラ間の視差に起因する品質の劣化が起こりにくい映像を作成する。そのために、周囲の撮影対象物の配置状況をセンサで取得し、撮影後につなぎ合わせ部分になる画像領域には、上述の示唆による映像の不整合が比較的おきにくい遠距離の対象物が写る配置になるようにカメラの配置を動かす。このことによって、視差の大きい映像をつなぎ合わせることによる画像品質の劣化を防ぐ。
【００１０】
【発明の実施の形態】
図１は、当発明の一実施例の側面図を図示したものである。本発明による撮影装置は大きく分けて、カメラ装置部分101、駆動装置部分102、センサ装置部分103、そして制御装置部分104から構成される。それぞれの部分の挙動および実現方法については、既存の実現例が数多く存在しているため、この実施例の解説においても、それら既存の技術においては必要な機能のみ記述するものとする。
【００１１】
図２は、カメラ装置部分101を別の角度（上面図）から見た図である。カメラ装置部分101は、複数のカメラ121〜126を周囲の各方向に向けて取り付けることで構成されたものである。以下ではこのカメラ装置部分の構成要素である各カメラ121〜126を要素カメラと呼称する。ただし、ここで要素カメラと呼称する部品は、レンズとカメラ機器の組み合わせで構成される部品であり、それぞれが光学中心を独立に持ち、映像を撮影する能力をもつ。この実施例においては、中心軸120を中心とした円周上に一定の間隔で要素カメラが配置されているものとする。図には 6個の要素カメラが記載されているが、本発明はこの要素カメラの台数として任意のn台を用いて構成することが可能である。このカメラ装置部分101は、制御装置104に電気信号を送信するケーブルによって接続され、同装置によって制御される。カメラ装置部分101は制御装置104から転送される命令データを受信し、各カメラを同期させて撮影し、撮影結果をデジタル画像データとしてデータ記憶装置105に転送する機能を有するものとする。これらの各要素カメラによるデジタル撮影手法、信号を伝達するケーブル、および記憶装置105など個々の部品の実現方法は、既存の発明に順ずるものとする。
【００１２】
制御装置104は汎用的な情報処理装置であり、各部へと制御命令を転送し、動作結果を受信する。また、カメラ装置部分101から転送されてくる撮影画像を記憶装置105に保持することができ、撮影中、もしくは撮影終了後に各画像をつなぎ合わせることによって画像データを全方位画像データへと変換する処理を行うことが出来る。
【００１３】
図４に、制御装置104の構成例を表したブロック図を挙げる。CPU(中央演算処理装置)401は、主記憶装置402に記録されているプログラムに従い各種の処理を実行する。主記憶装置402と外部記憶装置105には制御処理を実行するに当たって必要なプログラムやデータが記憶される。外部記憶装置105にはハードディスクドライブやその他の既存の大容量メディアが使用されるものとする。入出力I/F部403では、カメラ装置部分、駆動装置部分、センサ装置への入力および出力データをやり取りするために必要なデータの転送手段を備えているものとする。ユーザの命令は入力機器106から行われる。このインタフェースにはキーボード、マウス、タッチパネルなどの既存の入力機器を使用する。また、制御装置104はタイマーによる割り込み処理を保有しており、ある時間ごとに設定された一連の動作を行う機能を有しているものとする。
【００１４】
図３はセンサ装置部分の構成例を示した図である。センサ装置部分103は、m台の距離センサによって構成され、撮影対象物とカメラの距離を測定する機能を有する。距離測定センサ131〜134が装置の周囲に一定の間隔で取り付けられており、各センサは割り当てられた範囲角度内に存在するオブジェクトとカメラとの距離を測定する。このセンサは赤外線、レーザ、音波、またはステレオ視画像処理などを利用した既存のセンサシステムを使用するものとし、各センサが距離を測定する方法は既存の発明に順ずる。これらの各センサ類の実装方法については既存の実現例が多く存在するため、特定の実装手法について本明細書において記載はしない。
【００１５】
図３に示すように、このセンサ装置部分103も制御装置104と接続されている。制御装置104からの命令を受信すると、各センサ131〜134が作動し、周囲の物体との距離を測定して、測定結果を制御装置に転送する。このセンサ装置の測定結果は制御装置104に送られ、周囲の方向とその方向に存在する物体との距離関係を示すテーブルに保存される。このテーブルの実装例を図７に示す。記載されるデータの内容と作成方法は後述の動作手順解説内において記載する。
駆動装置部分102は、カメラ装置部分101を回転させる機器である。この回転の中心軸120は各要素カメラの光学中心の重心を通るカメラ装置部分101の中心軸と一致する。本実施例においては各カメラの位置および方向の移動はこの一軸の周りの回転のみを想定している。駆動装置部分102には、この回転軸を駆動させるためにモータが取り付けられている。このモータはネットワークで接続された制御装置104によって制御され、制御装置104からの命令信号を受け取ると、命令信号のデータ構造体に記載された角度になるように駆動する。また、各時刻における軸の回転角度を記録する機能を有する。
【００１６】
以下では、上記の各装置が動作する処理の流れを順序だてて解説する。図５は一連の動作順序をブロック図にしたものである。
【００１７】
入力機器106からユーザから制御装置への入力があると、設備は撮影機能を開始する（工程501）。制御装置104はタイマーの割り込み機能を利用して、一定のタイミング毎にあるルーチンを行う。以下この一定時間ごとによびだされるルーチン処理を撮影スレッドと呼ぶ。撮影スレッドは工程502で開始され、509で停止の命令が行われるまで、1/30秒に一度の割合で呼び出されるものとする。この撮影スレッドは工程503〜508とは独立に並列のプロセスとして動作する。
【００１８】
図６は、一定時間ごとに呼び出される撮影スレッドのルーチン処理工程を示す。図６の左側は制御装置104の動作ルーチンを示し、右側はそれに伴ってのカメラ装置部分101の動作を示す。制御装置104の内臓タイマーによって撮影ルーチンが呼びだされる(工程601)と、制御装置104はカメラ装置部分101に撮像命令を発信し(工程602)、それと同時にその時刻の駆動装置部分102の回転角度情報を取得する。カメラ装置部分101ではこの撮像命令を受信する(工程610)と、映像を撮像し(工程611)、制御装置に撮像データを転送する。制御装置104はその映像情報を受信し、記憶装置105に保存する。また、この保存の際に工程603で得られた駆動装置部分102の回転角度の情報も一緒に保存する。以上で１回分の撮影ルーチンの処理が終了する。
【００１９】
制御装置104は、この撮影スレッドの動作と並行して、センサ装置103の情報に基づいて、駆動装置部分102の制御を行う。この処理は図５の工程503〜508に示されている。
【００２０】
制御装置104は、取得をセンサ装置103に命令する。各センサ131〜134は各々の設置された角度に対応した周囲の情報を取得し、得られた距離データを制御装置104に転送する（工程504）。制御装置104は各センサの距離情報をテーブルに記録する。このテーブルの実装例のひとつを図７に示す。図７のID_0,ID_1…はセンサのID番号を示す値である。各カメラから得られた情報は、このカメラのID番号をキーとしてテーブルから検索される。テーブル内のD_0,D_1…には各センサが向けられている方向を示す角度値が保管される。各々のセンサが取得した距離の情報は、対応するＩＤ番号をキーとしてS_0,S_1, …に登録される。また、この距離の逆数R_0,R_1…をテーブル内の対応する位置に登録する。この値R_0,R_1…は、後に行う画像のつなぎ合わせを評価する値の作成において使用される。
【００２１】
続いて制御装置104は、センサから得られた距離情報を基にして、カメラの角度に対する評価値を作成する（工程505）。
【００２２】
カメラ装置部分101の回転角度θは0〜360度の間の変数であらわされる。またこの角度がθ度であるときの画像をつなぎ合わせたときの合成品質を評価値Ｅ(θ)で推定する。制御装置104には下記の手順に基づいたプログラムが内蔵されており評価値Ｅ(θ)の計算を行う。以下、この評価値Ｅ ( θ )の計算手順をしめす。全周囲画像を作成したときに各画像が接続される部分となる画像領域は、駆動装置部分の回転角度θにのみ依存して一意に定めることが出来る。前述の通り本実施例ではｎ個のカメラが円弧状に連なっているものと想定してあり、θ＝0度のときにある要素カメラkの向く方向を(θ(k)，0)として表現する。ただし、kはカメラの番号1からnのどれかを示す整数である。またθ(k)は水平方向の角度を示す値であり、カメラの仰角方向の成分は0、すなわち水平方向に向けて設置されているものとする。カメラは等間隔に並んでいるため、カメラ装置部分102の角度がθを向いているときに要素カメラk(=1〜n)は角度θ(k) =(360/n)*(k+0.5)＋θの方向を向いていると表現することが出来る。この場合、つなぎ目となる領域θ_cは、数１が示す不等式において、kが1からnまでの整数値をとったときに、いずれかのkの値に対して不等式の条件を満たしている領域として表現することが出来る。ただしeはつなぎ目の幅を表す値である。
【００２３】
【数１】
- e/2 ≦ θ_c -θ-(360/n) k ≦ e/2
工程803〜806において、つなぎ目上での不整合の度合いを推定する値Ｅを求める。センサ装置の測定によって得られたテーブル700において、センサの設置された角度D_nが数１の条件を満たす領域はつなぎ目領域と判定される。この領域に対応する全センサのデータをテーブル700から読み取り、それらの各評価値R_n（本実施例においては距離の逆数）の平均値を取る。この平均値が推定評価値Ｅ(θ)として用いられる。
【００２４】
この評価値Ｅ(θ)があらかじめ定められた定数である基準となる閾値Dよりも大きかった場合には、駆動装置部分を回転させる必要があると判断され、工程506と507を行う。Dよりも小さかった場合には、現状においては回転の必要がないものと判断され、一定時間待機(工程508)した後、再び503から一連の工程を行う。
【００２５】
駆動装置部分を回転させる必要があると判断した場合、制御装置は、前述の距離情報を基にして、図８のブロック図に示される手順に従い、カメラの回転角度を決定する（工程506）。
【００２６】
図８のブロック図に基づいてこの回転角度の決定手順の方法について記述する。駆動装置部分の計算処理506開始時点での回転角度をθとする。この値を変数θ_0、θ_1に初期値として代入し、θ_0=θ_1=θと設定する。また、同時点での回転角度に対応するつなぎ目上での不整合の度合いを推定する値Eには、工程505で計算した値Ｅ(θ)を用いる。
【００２７】
工程803〜807では、駆動装置部分の回転核がθ_1であったときの、つなぎ目上での不整合の度合いを推定する値E_t=E(θ_1)を計算する。この計算は前述のＥ(θ)の計算手法と同じ方法を用いる。すなわち、現在仮に定められているθ_1の値に対して、センサ装置の測定によって得られたテーブル700から、D_kが前述のつなぎ目領域を判定する方程式を満たす評価値R_k（本実施例においては距離の逆数）を読み取り(工程804〜805)、これらの値の平均を取る(工程806)。この平均値はつなぎ目上での不整合の度合いを推定する値として用いられる。平均値をEと比較する(工程807)。新しい平均値がＥよりも小さかった場合にはEに現在の合計値を上書き設定し、θ_0に現在の角度θ_1を保存する(工程808)。θ_1を角度Δθだけ増加させる。θ_1がθ+360/n度を超過した場合には繰り返し処理を終了し、工程810に移行する。それ以外の場合には、工程 803〜808 を更新されたカメラ角度θ_1に対して再び行う（工程809）。工程802〜809の繰り返し処理が終了した辞典で、最終的に保存されている角度θ_0をカメラの回転角度として決定する。
【００２８】
以上の一連の処理によって、最もつなぎ目の不整合が少なくなるカメラ角度θ_0を推定することが出来る。
【００２９】
この情報を記憶装置に記録する。図9では記録されるデータ構造の一例を示す。このデータの中には、映像情報、回転角度(θ_0)、計算終了時点の時刻情報が記載される。
【００３０】
制御装置104は、カメラの角度を上記処理によって計算されたθ_0に向けて回転させる(工程507)。また、撮影スレッドがカメラ装置部分101の回転中に呼び出された場合には、回転中の駆動装置部分102から得ることの出来る回転角度情報を前述の工程603で示したように保存する。
【００３１】
撮影された各カメラの画像は、以下の手法を用いて全周囲画像へと変換することが出来る。この画像形式の変換処理は、撮影終了後に保存されたデータをオフラインで処理することも可能であり、制御装置に十分な計算能力があるならば、リアルタイムで変換処理をおこなうことも可能である。
【００３２】
各カメラの光学中心の位置、および単独のカメラが撮影可能な範囲（画角）の情報は、それぞれ公知の手法を用いて測定されているものとする。また各撮影タイミングにおけるカメラ装置部分101の向いている水平角度は、工程605によって記憶装置に保存されている。
【００３３】
カメラ装置部分101に搭載された各カメラの光学中心がカメラ装置部分101の中心にあるものと仮定して、各画像から全周囲画像を作成する方法を示す。ここでは全周囲画像を、カメラ装置部分101の光学中心から方向(η、φ)の対応する画素への写像として表現する。ただし、ηは水平方向の回転角度、φは仰角を表すものとする。すなわち全周囲画像は、図に示すようなデータ表現であらわされるものであるとする。
【００３４】
ある要素カメラの向いている方向を(θ_k，0)とする。このときθ_kは水平方向の回転角度であり、仰角は0であるとする。機構の光学中心を(0,0)として、カメラの光学中心とシステム中心との相対位置を(d1,d2)と定める。またカメラの垂直画角をFx、水平画角をFyとする。このとき、カメラで撮影された画像上の画素(u,v)と、方向(η、φ)の関係を以下のように対応付ける。
【００３５】
【数２】
tan(η-θ_k)=F_x u
【００３６】
【数３】
tanφ=F_y v
上述の対応付けを用いて複数の画像をつなぎ合わせ、円筒形の全周囲画像を求める方法を以下に記す。また、本実施例においては周囲画像を円筒系のフォーマットで作成する方法を挙げるが、この装置が出力する出力フォーマットを円筒形に制限するものではない。図全周囲画像Ｘの各画素(η、φ)に対して各要素画像から対応する画素(u_k,v_k)を探す。ただし、u_k,v_kは以下のように示される。
【００３７】
【数４】
u_k=tan(η-θ_k)/F_x
【００３８】
【数５】
v_k=tanφ / F_y
各k(=1..n)に対してそれぞれ目的の画素位置が撮影された映像範囲内に存在するか検索する。１つの画像においてだけ対応する画素が存在した場合には、その画素の情報を方向(η、φ)の画素情報として用いる。２つ以上の画像において対応画素が発見された場合には、各画像k内における画素位置(u_k,v_k)を比較して画素を合成する。画素の合成は以下のように行われる。
【００３９】
この処理により周囲画像データが作成される。
【００４０】
【発明の効果】
以上述べたように、本発明によって撮影された画像は、複数画像のつなぎ合わせ処理を行った際に、画像間の不整合に起因する映像の乱れの影響が少なくなっている。
【図面の簡単な説明】
【図１】装置の構成を示す代表図である。
【図２】カメラ装置部分の構成を示す図である。
【図３】センサ装置部分の構成を示す図である。
【図４】制御装置部分の構成を示す図である。
【図５】装置動作工程を解説するフローチャートである。
【図６】撮影スレッドの工程を解説するフローチャートである。
【図７】センサ情報を記録するテーブルの図である
【図８】合成品質の高いカメラの角度を計算するフローチャートである。
【符号の説明】
101 カメラ装置部分、102 駆動装置部分、103 センサ装置部分、104 制御装置部分、105 記憶装置、120 回転軸、121〜125 要素カメラ、131〜134 センサ
401 CPU、402主記憶装置、403入出力インタフェース、404外部記憶装置、405操作用出力機器、406操作用入力機器、700センサ情報登録テーブル

Claims

同期して画像を撮影する複数の要素カメラと、
前記複数の要素カメラの位置及び角度を変化させる駆動装置と、
前記要素カメラが撮影する撮影対象物との距離を検出する複数のセンサと、
前記複数のセンサが接続され、前記駆動装置を制御するとともに、前記複数の要素カメラが撮影した複数の画像をつなぎ合わせて一枚の画像を作成する制御装置とを備え、
前記制御装置は、
前記要素カメラの角度の情報から判定された前記画像のつなぎ目領域における、前記センサが検出した前記撮影対象物との距離の逆数の平均値を、前記画像のつなぎ目の不整合度合いを推定する推定評価値として求め、前記推定評価値が所定の範囲となるように前記駆動装置を制御することを特徴とする撮影装置。
請求項１において、
前記複数の要素カメラは、回転軸を中心とした円周上に、周囲の各方向を向けて配置されており、
前記駆動装置は、前記回転軸を回転の中心にして前記要素カメラを回転させることにより前記要素カメラの位置及び角度を変化させ、
前記制御装置は、前記推定評価値が所定の閾値以下になるように前記駆動装置を制御することを特徴とする撮影装置。
複数の要素カメラが、複数の画像を撮影するステップと、
制御装置が前記複数の画像をつなぎ合わせて単一の画像を作成するステップとを有する撮影方法において、
複数のセンサが、撮影対象物との距離を検出するステップと、
前記制御装置が、前記要素カメラの角度の情報から判定された前記画像のつなぎ目領域における、前記センサが検出した前記撮影対象物との距離の逆数の平均値を、前記画像のつなぎ目の不整合度合いを推定する推定評価値として求めるステップと、
前記制御装置が、前記推定評価値が所定の範囲にないときには、前記要素カメラの角度を変化させる駆動装置を制御して前記推定評価値が前記所定の範囲になるように前記複数のカメラの角度を変更するステップと、
前記複数の要素カメラが同期して前記撮影対象物を撮影するステップと、
前記制御装置が、前記撮影した複数の画像をつなぎ合わせて単一の画像を作成するステップとを有することを特徴とする撮影方法。
請求項３において、
前記複数の要素カメラは、回転軸を中心とした円周上に、周囲の各方向を向けて配置されており、
前記駆動装置は、前記回転軸を回転の中心にして前記要素カメラを回転させることにより前記要素カメラの位置及び角度を変化させ、
前記制御装置は、前記推定評価値が所定の閾値以下になるように前記駆動装置を制御することを特徴とする撮影方法。