JPH10308890A - 画像撮像装置及び方法、画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 不均一でない一様なパノラマ映像を合成す
る。 【解決手段】 画像撮像装置は、パノラマ映像を構成す
る単位画像を取得する撮像部１０と、この１０の撮像範
囲を移動させる駆動部と、これら撮像部１０及び駆動部
２０を制御する中央処理部３０とから構成される。上記
単位画像が撮像される際には、上記撮像部１０の露出、
ホワイトバランス、焦点等の撮像条件は、該単位画像に
依らず最適条件に保持される。このような単位画像は、
上記中央処理部３０の備える画像処理部３２にて、１枚
のパノラマ映像として合成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像した単位画
像をパノラマ映像に合成する画像撮像装置及び方法、ま
た、単位画像を画像処理してパノラマ映像に合成する画
像処理装置及び方法に関する。

【０００２】

【従来の技術】従来、例えば家庭用ビデオカメラ等を用
いて撮像した複数の画像を、ハードディスク等の記録装
置に記録した後、これら複数の画像を連結して１枚のパ
ノラマ映像とするパノラマ映像作成方法が知られてい
る。

【０００３】

【発明が解決しようとする課題】ところで、家庭用ビデ
オカメラは、露出、ホワイトバランス、焦点等の撮影条
件の自動調整機能を有するのが普通である。このため、
パノラマ映像を構成する単位画像の撮影の際の条件が相
違すると、自動調整機能が働いて撮影条件を変化させる
ことがある。従って、撮影条件の相違のために、これら
の画像が連結されてなるパノラマ映像の状態が、一様で
なく不均一となる場合がある。

【０００４】このようにパノラマ映像の状態が不均一と
なる問題は、パノラマ映像を構成する単位画像の撮影条
件を固定して撮影することにより解決することができ
る。しかし、係る撮影条件の複雑な調整は、撮影者に負
担を与える。

【０００５】この発明は、上述の実情に鑑みてなされる
ものであって、複数の画像から一様な状態のパノラマ映
像を合成すると共に、このために必要となる上記撮影条
件の調整の負担を軽減する画像撮像装置及び方法、画像
処理装置及び方法を提供することを目的とする。

【０００６】

【発明を解決するための手段】上述の課題を解決するた
めに、この発明に係る画像撮像装置は、画像を撮像して
映像信号とする撮像手段と、上記撮像手段を撮像範囲を
移動させるように駆動する駆動手段と、上記駆動手段に
て上記撮像手段を駆動し、上記撮像手段にてパノラマ映
像を構成する単位画像を撮像制御する制御手段と、上記
単位画像をパノラマ映像に合成する画像処理手段とを備
え、上記制御手段は、該単位画像に依らず、上記撮像手
段の露出、ホワイトバランス及び焦点の少なくとも一つ
を一定とするものである。

【０００７】また、この発明に係る画像撮像方法は、パ
ノラマ映像を構成する単位画像を撮像して映像信号とす
る撮像工程と、上記単位画像を処理してパノラマ映像に
合成する画像処理工程とを有し、上記撮像工程では、該
単位画像に依らず、露出、ホワイトバランス及び焦点の
少なくとも一つを一定とするものである。

【０００８】さらに、この発明に係る画像処理装置は、
画像を撮像して映像信号とする撮像手段と、上記撮像手
段の撮像範囲を移動させるように駆動する駆動手段と、
上記駆動手段にて上記撮像手段を駆動し、上記撮像手段
にてパノラマ映像を構成する単位画像を撮像制御すると
共に撮影条件を制御する制御手段と、上記単位画像をパ
ノラマ映像に合成する画像処理手段とを備え、上記制御
手段は、上記単位画像の撮影にて得た情報に基づいて露
出、ホワイトバランス、焦点の少なくとも一つの最適条
件を算出し、上記撮像手段を上記最適条件に決定するも
のである。

【０００９】そして、この発明に係る画像処理方法は、
画像を撮像して映像信号とする撮像工程と、上記画像を
パノラマ映像に合成する画像処理工程とを有し、撮像さ
れた画像の情報に基づいて露出、ホワイトバランス及び
焦点の少なくとも一つの最適条件を算出し、以降の撮影
では該単位画像に依らず上記最適条件に決定するもので
ある。

【００１０】

【発明の実施の形態】以下、この発明に係る画像撮像装
置及び方法、画像処理装置及び方法の実施の形態の一例
について説明する。

【００１１】画像撮像装置は、図１に示すように、画像
を撮像して映像信号とする撮像部１０と、上記撮像部１
０をパンチルトの２軸方向に駆動する駆動部２０と、こ
れら撮像部１０及び駆動部２０を含むこの画像撮像装置
の全体を制御する中央処理部３０と、データ等を一時的
に記憶する記憶部１と、モニタに供給するデータを調整
するインターフェース２と、パノラマ映像等の情報を表
示するモニタ３とから構成される。

【００１２】上記撮像部１０は、撮像する画像に対する
所定の光学的変換を行うレンズブロック１１と、このレ
ンズブロック１１を介して与えられた光学的像を映像信
号に変換するＣＣＤ１２と、このＣＣＤ１２から得られ
る映像信号に対してサンプル／ホールド及び自動利得制
御を行うＳＨ／ＡＧＣ部１３と、このＳＨ／ＡＧＣ部１
３を介して供給される映像信号をデジタル信号とするＡ
／Ｄ部１４と、このＡ／Ｄ部１４にてデジタル信号に変
換された映像信号に対して所定の処理を施す信号処理部
１５とから構成されている。

【００１３】上記レンズブロック１１は、変倍用のレン
ズを駆動することによって撮像する画角を変化させるこ
とが可能なズームレンズであり、光束の入射する方向に
順に、第１のレンズ４１と、第２のレンズ４２と、第３
のレンズ４３と、第４のレンズ４４と、上記第３のレン
ズ４３及び第４のレンズ４４の間に配設されるアイリス
４５とから構成される。また、このレンズブロック１１
には、上記第２のレンズ４２を光軸方向に移動させるズ
ームモータ４６とを備えている。

【００１４】上記第１のレンズ４１と、第３のレンズ４
３と、第４のレンズ４４は、位置が固定されている固定
レンズである。上記第２のレンズ４２は、ズームモータ
４６により駆動されるズームレンズである。即ち、この
第２のレンズ４２は、光軸方向に移動されることによ
り、このレンズブロック１１の倍率を変化させる変倍レ
ンズである。

【００１５】上記ズームモータ４６は、上記中央処理部
３０の制御部３１からの制御に基づいて、上記第２のレ
ンズ４２を駆動する。また、上記第２のレンズ４２の現
在位置を上記制御部３１に報告する。

【００１６】上記ＣＣＤ１２は、受光画素を２次元に配
列した固体撮像素子であり、上記レンズブロック１１に
よりＣＣＤ１２上に結像された被写体の画像を、映像信
号として出力する。

【００１７】上記ＳＨ／ＡＧＣ部１３は、上記制御部３
１の制御の下に、上記ＣＣＤ１２から供給される映像信
号に対してサンプル／ホールド及び自動利得調整を行
う。これにより、間歇的なパルスとして供給される映像
信号を連続信号となし、また、この映像信号のレベルを
所定範囲内に調整することができる。例えば、アイリス
４５の制御信号によって所定のゲインを持つように利得
制御する。

【００１８】上記Ａ／Ｄ部１４は、上記制御部３１から
の制御の下に、ＣＣＤ１２から出力され、ＳＨ／ＡＧＣ
部１３にて整形された映像信号を所定の分解能にて２値
化してデジタル信号に変換するアナログデジタル変換部
である。

【００１９】上記信号処理部１５は、上記制御部３１の
制御の下に、Ａ／Ｄ部１５から与えられるデジタル化さ
れた映像信号に対して所定の信号処理を行う。例えば、
入力されてきた信号を輝度、色差、ビデオ信号といった
各信号に変換し、映像信号となし、上記記憶部１及びイ
ンターフェース２に与える。

【００２０】なお、この撮像部１０は、フォーカス、ズ
ーム等はもちろん、絞り、ゲイン、電子シャッタスピー
ド等の他に、露出、ホワイトバランスの制御、画質調整
等の機能を有するものである。

【００２１】上記中央処理部３０は、制御部３１と、画
像処理部３２とから構成される。上記制御部３１は、中
央処理部３０及びこの画像処理装置全体を制御し、この
画像処理方法に係る一連の手順を実行するものである。
即ち、この制御部３１は、上記撮像部１０のレンズブロ
ック１１の備えるズームモータ４６、ＳＨ／ＡＧＣ部１
３、Ａ／Ｄ部１４、信号処理部１５、駆動部２０のパン
モータ２３、チルトモータ２２に制御を与え、またこれ
ら各部における現在位置等の状況について報告を受け
る。また。この制御部３１は、上記記憶部１に対して書
き込み及び読み出しを制御するＲ／Ｗ制御信号、中央処
理部３０内の画像処理部３２に対して処理制御信号を与
える。

【００２２】上記画像処理部３２は、制御部３１から与
えられる処理制御信号により制御され、上記記憶部１か
ら与えられた映像に対して所定の画像処理を施して記憶
部１に出力する。例えば、上記撮像部１０にて撮像した
複数の画像を連結することにより、パノラマ映像に合成
する。

【００２３】上記記憶部１は、映像信号等を一時的に記
憶する揮発性のメモリである。この記憶部１は、上記制
御部３１の与えるＲ／Ｗ信号により読み出し及び書き込
みを制御される。例えば、撮像部１０の信号処理部１５
から供給される信号を書き込み、上記画像処理部３２に
映像信号を読み出し、この画像処理部３１にて画像処理
された映像信号を書き込む。

【００２４】上記インターフェース２は、上記信号処理
部１５及び記憶部１と、モニタ３との間に介在して、映
像信号の形式、タイミング調整等の必要な操作を行う。
このインターフェースを介して接続されるモニタ３は、
この画像処理装置の出力する所定の情報、例えば合成さ
れたパノラマ映像を表示する。

【００２５】上記駆動部２０は、上記撮像部１０をパン
チルトの２軸方向に回転可能に保持する回転雲台２１
と、この回転雲台２１をパンチルト方向にそれぞれ回転
させるパンモータ２３及びチルトモータ２２とから構成
されている。

【００２６】上記回転雲台２１は、通常は固定されてい
る基部と、主面に上記撮像部１０を固定する可動部と、
この可動部を上記基部に対してパンチルトの２軸方向に
回転自在に支持する接続部とから構成される。

【００２７】この回転雲台２１をパン方向及びこれに略
々直交するチルト方向に回転させる上記パンモータ２３
及びチルトモータ２２は、所定の分解能を有する例えば
ステッピングモータであり、上記処理部３１の制御に基
づいて回転雲台２１の可動部及びこの可動部に配設され
る撮像部１を駆動し、また、可動部の現在位置を上記制
御部３１に報告する。

【００２８】次に、この画像撮像方法に係る一連の工程
について説明する。この一連の工程は、図２に示すよう
に、ステップＳ１からステップＳ３までの３個の工程か
ら構成される。

【００２９】ステップＳ１においては、上記モニタ３を
参照しながら、又はこのモニタ３上にてこのパノラマ映
像作成に係る一連の工程の開始が指示されると、撮像部
１０にて撮影される単位画像と、これらの単位画像が画
像処理部３２にて合成されて得られるパノラマ画像と保
存する領域をそれぞれの記憶部１に確保して初期化する
処理が行われる。これに続くステップＳ２においては、
上記撮像部１０その他と周期的に通信を行うために、タ
イマが設定される。そして、これらの初期設定動作が終
了すると、各種発生するイベント待ち状態に推移する。
即ち、ステップＳ３において、タイマイベント又はパノ
ラマ作成イベントが発生するとこれらのイベントに分岐
するが、そのイベントが終了すると、イベント待ち状態
に復帰する。

【００３０】次に、タイマイベントの詳細について説明
する。この画像撮像方法のタイマイベントは、周期的に
モードコントローラと通信を行うために発生するもので
あり、図３に示すように、ステップＳ１１からステップ
Ｓ２４までの１４個の工程から構成される。

【００３１】ステップＳ１においては、タイマイベント
が発生すると、通信ポートの設定が完了していることを
確認する。通信ポートの設定が完了している場合には、
“ＹＥＳ”としてステップＳ１２に進み、設定が完了し
ていない場合には“ＮＯ”としてステップＳ２０に進
む。

【００３２】ステップＳ１２としては、受信バッファの
受信データの有無を確認する。受信データが有る場合に
は“ＹＥＳ”としてステップＳ１３に進み、受信データ
がない場合には“ＮＯ”としてステップＳ１４に進む。

【００３３】ステップＳ１３においては、受信データの
解析処理を行う。例えば、受信データから、例えば回転
雲台２１の現在位置、ズームレンズとなる第２のレンズ
４２の現在位置等の各情報として解析され、分離の上取
得される。そして、次のステップＳ１４に進む。

【００３４】ステップＳ１４においては、送信要求フラ
グＦｌａｇ＿ｓｏの確認をする。そして、この送信要求
フラグＦｌａｇ＿ｓｏが、“Ｔｒｕｅ”である場合に
は、送信要求ありとしてステップＳ２１に進み、“Ｆａ
ｌｓｅ”である場合には、送信要求なしとしてステップ
Ｓ１５に進む。

【００３５】ステップＳ１５においては、位置要求カウ
ント値ｒｅｑ＿ｃｎｔが０以下であるかによって分岐す
る。即ち、位置要求カウント値ｒｅｑ＿ｃｎｔが０以下
の場合には、パノラマ位置要求ありの“ＹＥＳ”として
ステップＳ１８に進み、他の場合には“ＮＯ”としてス
テップＳ１６に進む。ここで、位置要求カウント値ｒｅ
ｑ＿ｃｎｔとは、位置要求を保持する内部カウンタであ
り、イベント処理毎にこの位置要求カウント値を利用し
て３種類の処理の内の１個を処理している。

【００３６】ステップＳ１６においては、位置要求カウ
ント値ｒｅｑ＿ｃｎｔが１以下であるかによって分岐す
る。即ち、位置要求カウント値ｒｅｑ＿ｃｎｔが１以下
の場合にはズーム位置要求ありの“ＹＥＳ”としてステ
ップＳ１７に進み、他の場合の“ＮＯ”の場合にはパノ
ラマ要求ありとしてステップＳ２２に進む。

【００３７】ステップＳ１７においては、ズームの位置
を要求し、通信データの転送処理を行い、ステップＳ１
９に進む。また、ステップＳ１８においては、パンチル
タの位置を要求し、通信データの転送処理を行い、ステ
ップＳ１９に進む。そして、ステップＳ１９において
は、位置要求カウント値ｒｅｑ＿ｃｎｔをインクリメン
トする。すなわち、位置要求カウント値ｒｅｑ＿ｃｎｔ
を１増加させる。そして、この一連の工程を終了する。

【００３８】ステップＳ２２においては、パノラマ要求
フラグＦｌａｇ＿ｐａの確認をする。即ち、このパノラ
マ要求フラグＦｌａｇ＿ｐａが“Ｔｒｕｅ”の場合に
は、パノラマ要求ありとしてステップＳ２３に進み、
“Ｆａｌｓｅ”の場合には、パノラマ要求なしとしてス
テップＳ２４に進む。

【００３９】ステップＳ２３においては、パノラマ作成
処理を行い、これに続くステップＳ２４としては、送信
要求カウンタ値ｒｅｑ＿ｃｎｔを０に設定し、この一連
の工程を終了する。

【００４０】ステップＳ２０においては、通信ポートの
処理を行う。例えば、中央処理部３０としてパーソナル
コンピュータを用い、通信経路としてＲＳ２３２Ｃを利
用する場合には、このＲＳ２３２Ｃポートを設定する。
そして、この一連の工程を終了する。

【００４１】ステップＳ２１においては、ステップＳ１
４において、送信要求フラグＦｌａｇ＿ｓｏが“Ｔｒｕ
ｅ”であり、送信要求が伝えられたので、送信バッファ
の内容を直ちに送信した後、この一連の工程を終了す
る。

【００４２】続いて、上述のタイマイベントに係る一連
の工程の簡易版を、図４に従って説明する。この簡易板
のタイマイベントに係る一連の工程は、上記図３に示し
たステップＳ１４以下を簡易化したものである。なお、
上記図３と同様な部分については共通の符号を付して説
明を省略する。

【００４３】図中のステップＳ３１においては、位置移
動フラグが立ってるか否かによって分岐する。即ち、位
置移動フラグが立っている場合には位置移動要求ありの
“ＹＥＳ”としてステップＳ３２に進み、位置移動フラ
グが立っていない場合には位置移動要求なしの“ＮＯ”
として、ステップＳ２２に進む。

【００４４】このように、この簡易板のタイマイベント
に係る一連の工程においては、内部カウンタｒｅｑ＿ｃ
ｎｔとは別に、位置要求フラグが立った場合に指定され
た位置に撮像部１０を移動するものである。

【００４５】次に、パノラマ映像を構成する単位画像か
らパノラマ映像を合成するパノラマ作成処理について説
明する。まず、パノラマ映像作成の一連の工程の概略的
な流れを説明する。この一連の工程は、図５に示すよう
に、ステップ６１からステップ７１までの１１個の工程
から構成される。

【００４６】ステップＳ６１では、駆動部２０にて撮像
部１０のズームをワイド端に移動する。続くステップＳ
６２においては、上記撮像部１０の撮像位置が合ってい
るか否かを判断しする。即ち、撮像位置が合っている場
合には“ＹＥＳ”としてステップＳ６４に進み、撮像位
置が合っていない場合には“ＮＯ”としてステップＳ７
１に進む。

【００４７】ステップＳ６３においては現在の映像を記
憶部１に保存し、ステップＳ６４においては次の撮影位
置を撮像部１０に指示し、ステップＳ６５においては位
置移動フラグを立てる。

【００４８】これに続くステップＳ６６においては、パ
ノラマ映像を構成する単位画像を必要枚数撮像したか判
断する。そして、必要枚数を撮像した場合には“ＹＥ
Ｓ”としてステップＳ６７に進み、そうでない場合には
“ＮＯ”としてこの一連の工程を終了する。

【００４９】ステップＳ６７においては、上記単位画像
の縮小又は連結を行い、ステップＳ６８においてはパノ
ラマ映像を記憶部１に保存し、ステップＳ６９において
はパノラマ映像をモニタ３に表示し、ステップＳ７０に
おいてはパノラマ作成要求を解除する。そして、この一
連の工程を終了する。

【００５０】ステップ７１においては、位置移動フラグ
を立てる。そして、この一連の工程を終了する。

【００５１】続いて、このようなパノラマ作成処理に係
る一連の工程を、より具体的に説明する。このパノラマ
作成処理に係る一連の工程は、図６に示すように、ステ
ップＳ４１からステップＳ５４までの１４個の工程から
構成される。

【００５２】この一連の工程は、パノラマ映像を構成す
る単位画像の内、内部カウンタのパノラマカウント値Ｐ
ａｎｏＣｎｔに対応する単位画像を取得して、連結する
ものである。パノラマ映像の合成は、この一連の手順に
従って行われ、パノラマ映像が完成した場合には、この
パノラマ映像は保存される。

【００５３】即ち、パノラマ作成要求のイベントが発生
すると、単位画像を同定するパノラマカウント値Ｐａｎ
ｏＣｎｔに従って、パノラマ作成処理がこの一連の工程
に従って実行される。

【００５４】最初のステップＳ４１においては、パノラ
マカウント値ＰａｎｏＣｎｔが１であるという条件によ
って分岐する。この条件が満たされる場合には“ＹＥ
Ｓ”としてステップＳ５３に進み、この条件が満たされ
ない場合には“ＮＯ”としてステップＳ４２に進む。こ
のステップＳ４１では、撮像装置の画角の設定が最広角
であるか確認されている。これは、より広範囲のパノラ
マ画像を、少ない画像取得回数で行うためである。

【００５５】ステップＳ４２においては、パノラマカウ
ント値ＰａｎｏＣｎｔが２であるという条件によって分
岐する。この条件が満たされる場合には“ＹＥＳ”とし
てステップＳ５４に進み、この条件が満たされない場合
には“ＮＯ”としてステップＳ４３に進む。このステッ
プＳ４２では、パンチルタが画像を取得する最初の位置
に設定されていることを確認している。

【００５６】ステップＳ４３においては、ズームレンズ
である上記第２のレンズ４２の位置が確認される。設定
したズーム位置にある場合には“ＹＥＳ”としてステッ
プＳ４４に進み、設定したズーム位置にない場合には
“ＮＯ”としてこの一連の工程を終了する。

【００５７】ステップＳ４４においては、パンチルタの
現在位置が確認される。即ち、パノラマカウント値Ｐａ
ｎｏＣｎｔが３以上の場合に、パンチルタ位置が指定位
置ＰＯＳ（ＰａｎｏＣｎｔ−３）にある場合には“＝＝
ＰＯＳ（ＰａｎｏＣｎｔ−３）”としてステップＳ４４
に進み、そうでない場合には“！＝ＰＯＳ（ＰａｎｏＣ
ｎｔ−３）”としてこの一連の工程を終了する。ここ
で、ＰＯＳとは、パノラマカウント値ＰａｎｏＣｎｔに
対応するパンチルタ等の位置を指定する関数を意味して
いる。

【００５８】ステップＳ４５においては、指定位置にお
ける現在の画像のキャプチャを行い、次のステップＳ４
５に進む。

【００５９】ステップＳ４６においては、画像取得位置
であるＰＯＳ（ＰａｎｏＣｎｔ−２）にパンチルタを移
動し、続くステップＳ４７に進む。

【００６０】ステップＳ４７においては、先にキャプチ
ャした画像の水平、垂直方向への圧縮処理等を行い、次
のステップＳ４８においてはパノラマ画像作成の進行状
況をモニタ３に表示する。そして、次のステップＳ４９
においては、パノラマカウント値ＰａｎｏＣｎｔをイン
クリメントする。即ち、パノラマカウント値を１増加さ
せる。そして、次のステップＳ５０に進む。

【００６１】ステップＳ５０においては、パノラマ映像
が完成したか否かによって分岐する。即ち、パノラマ映
像が完成した場合には“ＹＥＳ”としてステップＳ５１
に進み、パノラマ映像が完成していない場合には“Ｎ
Ｏ”としてこの一連の工程を終了する。

【００６２】ステップＳ５１においてはフラグＦｌａｇ
Ｐａの値をＦａｌｓとして、パノラマ映像の完成を意味
する設定を行い、次のステップＳ５２においてはパノラ
マ映像を保存し、この一連の工程を終了する。

【００６３】なお、駆動装置２０は、制御部３１から制
御される目標位置に対して、常に同じ方向から進入する
ように動作し、画像連結の際に発生し得る、連結画像の
ズレを補正している。このようなズレは、例えばギアの
バックラッシュのような駆動形の機構の遊びによって発
生することがある。

【００６４】ステップＳ５２においては、ステップＳ５
０にて全画面のパノラマ映像が完成したことが確認され
たので、このパノラマ映像を保存する。そして、この一
連の工程を終了する。

【００６５】次に、上記画像撮像装置が不均一でない一
様なパノラマ映像を取得するために用いる画像撮像方法
の一例について説明する。

【００６６】この方法は、パノラマ映像の作成に際し
て、上記制御部３１の制御の下に、撮像部１０の備える
シャッタ、ＡＧＣ・ホワイトバランス・焦点等の撮影条
件の自動調整機能を無効とするものである。実際には、
上記撮影条件はパノラマ映像を構成する単位画像を取得
する間は一定に保持される。これら一定の撮影条件にて
取得された単位画像を連結すると、一様なパノラマ映像
が合成される。

【００６７】続いて、一様なパノラマ映像を取得する画
像撮像方法に係る第２の例について説明する。

【００６８】この方法においては、パノラマ映像を構成
する単位画像は、上述の方法と同じく、撮影条件を一定
に保持された状態にて取得される。これらの単位画像
は、ハードディスク等の記憶部１にデジタル静止画像と
して保存される。そして、記憶部１に保存されたこれら
単位画像から輝度情報を抽出され、図７に示すような輝
度の度数分布に関するヒストグラムが作成される。そし
て、このヒストグラムにおいて平均操作等の統計処理を
行うことにより、図中斜線のバーにて示す基準輝度値Ｙ
１が決定される。

【００６９】これに続いて、上記輝度基準値Ｙ１と比較
してそれよりも明るい部分の面積を求めるなどして、例
えば逆光や過順光の状態を判定し、固定した最初の撮影
条件を考慮して、記憶装置に用意されているテーブル等
から最適な露出を与えるアイリスやゲイン等の条件を決
定する。

【００７０】例えば、図８のグラフにおいては、折れ線
ａはアイリス開口率、折れ線ｂはシャッタ、折れ線ｃは
ゲインをそれぞれ示している。従って、これらアイリス
開口率、シャッタ、ゲイン等の撮影条件は、上記輝度標
準値Ｙ１に対応して、それぞれ図中の点Ｐ１、Ｐ２、Ｐ
３として求められる。

【００７１】このような撮影条件の決定により、次回の
撮像以降は最適な撮影条件にて撮影を行うことができ
る。即ち、この画像撮像方法に係る第２の例において
は、図９に示すように、ステップ８１からステップ８３
までの３個の工程から構成されている。即ち、ステップ
８１において輝度情報のヒストグラムを作成し、ステッ
プＳ８２において上記ヒストグラムを解析した情報に基
づいて最適な撮影条件を決定し、ステップＳ８３におい
て最適条件にて露出を決定している。

【００７２】なお、ホワイトバランス調整には、例えば
記憶部１に保存された各画像の一定輝度以上の画素を原
色分離して積分し、積分値の白とのズレを算定すること
により、最適なホワイトバランスを決定することができ
る。

【００７３】即ち、このようなホワイトバランスの調整
は、図１０に示すように、ステップＳ９１からステップ
Ｓ９３までの３個のステップから構成される。

【００７４】ステップＳ９１においては、初回に撮像し
たパノラマ映像を構成する単位画像から輝度情報を抽出
し、輝度標準値Ｙ１と比較し、続くステップＳ９２にお
いては、次のような線形関係式を満足し、Ｒｍ’＝Ｂ
ｍ’＝Ｇｍ’となる対角行列Ｍを決定する。

【００７５】

【数１】

【００７６】そして、ステップＳ９３においては、この
対角行列Ｍに基づいて、制御部３１は撮像部等の制御を
行い、適当なホワイトバランスに設定する。

【００７７】続いて、一様なパノラマ映像を取得する画
像撮像方法の第３の例について説明する。

【００７８】この方法においては、上述の方法と同じ
く、撮影条件を一定に保持した状態にてパノラマ映像を
構成する単位画像を取得し、記憶部１にデジタル静止画
像として保存する。そして、上記デジタル静止映像から
輝度信号を抽出し、また、焦点の適合具合を判定する。

【００７９】ここで、焦点の適合具合は、上記記憶部１
に記録されたデジタル静止画像の周波数成分の分布によ
り判定する。

【００８０】即ち、図１１中のＡに示すように焦点が不
適合なために画像がぼけていて、同図中のＢに示すよう
に輝度が位置に関してなだらかに分布している場合に
は、同図中のＣにおいて周波数基準値ｆ０を越える周波
数成分は少ない。

【００８１】これに対して、図１２中のＡに示すよう
に、焦点が適合しているために映像が鮮明であり、同図
中のＢに示すように輝度が位置に対して急峻に変化して
いる場合には、同図中のＣにおいて周波数基準値ｆ０を
越える周波数成分は比較的多い。なお、周波数成分の抽
出には、例えば隣接した画素の輝度の差を利用すること
ができる。

【００８２】このようにして得た初回の焦点の適合具合
を記憶部１に記録する。そして、同様に複数回焦点を変
化させてパノラマ映像を構成する単位画像を撮影し、記
憶部１上のデジタル静止映像として焦点の適合具合を判
定し、これら焦点の適合具合をそれぞれ記憶部１に記録
する。そして、上記周波数基準値よりを越える高周波成
分が極大となる場合を合焦状態とみなす。これにより、
上記撮像部１においては、最適な焦点を以て撮像するこ
とができる。

【００８３】この手順は、例えば、図１３に示す、ステ
ップＳ１０１からステップＳ１０３までの３個のステッ
プから構成される一連の工程により実現することができ
る。

【００８４】即ち、ステップＳ１０１においては隣接し
ている画素の輝度の差が規定値以上離れている画素の総
数を求め、この総数を記憶部１に記録する。続くステッ
プＳ１０２においては、同様の作業を複数回に亘って行
い、上記総数が極大となったときの撮影条件を最適条件
と決定する。そして、ステップＳ１０３においては、例
えばＲＳ２３２Ｃを介してしてモードコントローラ７か
らカメラコントローラ５に上記最適条件の焦点を与え、
再度撮影する。

【００８５】なお、ホワイトバランスについては、図７
に示したような初回の再像にて得たパノラマ映像を構成
する単位画像の度数の分布の状態を示すヒストグラムに
おいて、輝度基準値Ｙ１より明るい画素の累積度数又は
上記輝度基準値Ｙ１より暗い画素の累積度数から、初回
の撮像時の露出条件における最適な条件Ｃを決定するこ
ともできる。

【００８６】即ち、各画素は、ＲＧＢ各値とＣを引数と
する関数ｆ（Ｒ，Ｇ，Ｂ，Ｃ）や、またはそれを記憶部
１上にＣとＲＧＢ値を与えると補正値が参照できるテー
ブルにより補正が加えられ、適正な露出を持つ映像に加
工される。そして、例えば上記対角行列Ｍを各画素に乗
じることにより適正なホワイトバランスを持つ映像に加
工される。

【００８７】次に、上記画像撮像装置の他の一例につい
て説明する。この画像撮像装置は、図１４に示すよう
に、パノラマ映像を取得する撮像部１０と、この画像撮
像装置全体を制御するコンピュータ９とが異なった場所
に設置され、これら撮像部１０とコンピュータ４０とが
伝送線で接続されたものである。

【００８８】即ち、この画像撮像装置においては、撮像
部１０と、駆動部２０と、モードコントローラ７と、図
示しないカメラコントローラ５と、パンチルタコントロ
ーラ６は、パノラマ映像を取得する被写体を撮影する位
置、例えば屋外に配設される。一方、上記撮像部１０等
を制御するコンピュータ４０と、第１のモニタ３と、第
２のモニタ９と、入力部８は、上記位置と異なる場所、
例えば室内に設置される。そして、これら撮像部１０等
と、コンピュータ４０等との間は、伝送線にて接続され
ている。

【００８９】この画像撮像装置は、図１５に示すよう
に、画像を撮像して映像信号とする撮像部１０と、上記
撮像部１０をパンチルトの２軸方向に駆動する駆動部２
０と、この画像撮像装置の全体の制御と画像処理の一連
の手順を行うコンピュータ４０とを有している。

【００９０】上記コンピュータ４０は、パノラマ映像の
合成等の画像処理を行う画像処理部４１と、このコンピ
ュータ４０及びこの画像撮像装置の全体を制御する制御
部４２と、上記撮像部１０から供給される映像信号をキ
ャプチャするビデオキャプチャ部４３と、必要なデータ
を一時的に記憶する記憶部４４とから構成される。

【００９１】上記撮像部１０及び駆動部２０について
は、上述の画像撮像装置と同様の構成であるので、共通
の符号を付して説明を省略する。

【００９２】この画像撮像装置は、カメラコントローラ
５と、パンチルタコントローラ６と、モードコントロー
ラ７とを有している。

【００９３】上記カメラコントローラ５は、撮像部１０
におけるフォーカス、ズーム等のレンズ制御、絞り、ゲ
イン、電子シャッタスピード等の露出制御、ホワイトバ
ランスの制御、画質制御等を制御するコントローラであ
ると共に、上記モードコントローラ７とのインターフェ
ースを行っている。

【００９４】例えば、このカメラコントローラ５は、ズ
ームレンズである上記第２のレンズ４２の制御に関連す
るインターフェース制御として、モードコントローラ７
より送られてくるズーム用の変倍レンズの駆動要求に対
して、上記第２のレンズ４２が、指定された位置に駆動
されるように制御信号をモータドライバに出力すると共
に、上記第２のレンズ４２の現在位置をモードコントロ
ーラ７に報告する。

【００９５】上記パンチルタコントローラ６は、モード
コントローラ７より送られてくる上記回転雲台２１のパ
ンチルトの各々の方向の駆動要求に対して、回転雲台２
１が要求された位置に駆動されるよう制御信号をモータ
ドライバに出力すると共に、回転雲台２１の現在位置を
モードコントローラ７に報告する。

【００９６】モードコントローラ７は、コンピュータ４
０と伝送路として例えばＲＳ２３２Ｃにより接続され、
コンピュータ４０から与えられる絶対位置駆動命令に対
し、回転雲台２１、駆動部１０のズームレンズである第
２のレンズ４２を駆動するようにこれらの命令をカメラ
コントローラ５及びパンチルタコントローラ６に振り分
けると共に、これらカメラコントローラ５及びパンチル
タコントローラ６より送られてくる現在位置情報を、コ
ンピュータ４０に送信する。

【００９７】また、この画像撮像装置は、第１のモニタ
と、第２のモニタ９と、入力部８とを有している。

【００９８】上記第１のモニタ３は、上記撮像部から供
給される映像信号及び他の情報を表示する。上記第２の
モニタ９は、上記コンピュータ４０から供給される信号
に基づいて、その表示画面に、現在の撮像映像９ａと、
パノラマ映像９ｂとを表示する少なくとも２個のウイン
ドウを表示している。

【００９９】上記入力部８は、キーボード等を有し、ユ
ーザから入力される命令等を上記コンピュータ４０に伝
える。また、この入力部８は、上記第２のモニタ９と一
体として、例えば表示画面のタッチパネルとして構成す
ることもできる。

【０１００】なお、この発明に係る画像撮像装置として
は、パーソナルコンピュータを利用し、画像処理方法は
ソフトウェア的に実現することができる。例えば、ユー
ザインタフェースのため、コンピュータ４０に接続する
ＣＲＴの表示画面のグラフィック表示を用いてパノラマ
画像の生成のための内部処理を行い、モードコントロー
ラ７への通信データを生成することができる。

【０１０１】また、ビデオキャプチャ４３としては、映
像信号を任意の画質で表示することが可能であると共
に、キャプチャ信号により、ビットマップ形式、ＪＰＥ
Ｇ形式の静止画、ＪＰＥＧ方式の動画等の任意の画像フ
ォーマットに、任意の画質でキャプチャし、例えばハー
ドディスクに記憶することができる。

【０１０２】そして、この発明に係る画像撮像方法とし
ては、上述のように、複数回撮影した結果から最適な撮
影条件を決定する方法は、露出・ホワイトバランスの最
適条件を決定する際に利用してもよい。この方法を複数
回にわたって繰り返すことにより、撮影条件は徐々に改
善される。

【０１０３】さらに、最適な露出やホワイトバランスを
決定した後、パノラマ画面全体にわたり画像処理を施す
ことにより、適正なパノラマ映像を得ることもできる。

【０１０４】また、上述の画像撮像方法においては、パ
ノラマ撮影終了後は、露出・ホワイトバランス・焦点・
倍率等の撮影条件を元の状態、あるいは予め設定されて
いる初期状態に戻すようにすることもできる。このこと
により、その後の通常撮影をスムーズに行えるようにす
ることができる。例えば、回転雲台２１との駆動装置を
利用してパノラマ映像を撮影したときは、撮影後、撮像
部１０の向きも例えばパノラマ画面の中央に戻すなどす
る。また、自動調整がオフとされていた場合には、パノ
ラマ撮影終了後には自動調整をオンとすることもでき
る。

【０１０５】そして、上述の画像撮像方法においては、
パノラマ映像の作成の方法としては、撮像部１０を回転
雲台２１等を備える駆動部２０にて駆動することにより
得た単位画像を連結することにより得ていたが、これに
限定されるものではない。例えば、デジタル静止画カメ
ラやラインＣＣＤにより撮影した映像を連結したり、移
動体を流し撮りしたビデオ映像からパノラマ画面を作成
してもよい。

【０１０６】なお、以上においては画像撮像装置及び方
法の実施の形態について述べたが、これらの実施の形態
は画像処理装置及び方法に直接適応することができるの
はもちろんである。

【０１０７】

【発明の効果】上述のように、ビデオカメラ等を用いて
パノラマ映像を得る場合、各部分の映像をそれぞれ撮影
してハードディスク等の記憶装置に保存しておき、撮影
終了後にそれらを連結して１枚のパノラマ映像を作成す
る方法が利用される。この場合、各映像を撮影する際の
露出・ホワイトバランス・焦点等の撮影条件を一定とす
ることで、一様なパノラマ映像を得ることができる。

【０１０８】また、一旦作成されたパノラマ映像の輝度
・色差信号等の情報と、各種の撮影条件からそのパノラ
マ映像を作成するための最適な撮影条件を決定し、再度
パノラマ撮影を行う。または、画像処理を施すことによ
り、均整の取れた美しいパノラマ映像を得ることができ
る。

【図面の簡単な説明】

【図１】この発明に係る画像撮像装置の概略的な構成を
示すブロック図である。

【図２】この発明に係る画像撮像方法の一連の工程を示
すフローチャートである。

【図３】上記方法に係るタイマイベントのアルゴリズム
の一連の工程を示すフローチャートである。

【図４】上記アルゴリズムを簡易化した一連の工程を示
すフローチャートである。

【図５】上記方法に係るパノラマ映像作成のアルゴリズ
ムの概略的な工程を示すフローチャートである。

【図６】上記アルゴリズムに係るより具体的な工程を示
すフローチャートである。

【図７】上記方法に係る輝度に係る度数分布を示すヒス
トグラムである。

【図８】上記方法に係るシャッタ速度、ゲイン及びアイ
リス開口度の輝度に対応する値を示すグラフである。

【図９】上記方法に係る露出決定に係る一連の工程を示
すフローチャートである。

【図１０】上記方法に係るホワイトバランスの決定に係
る一連の工程を示すフローチャートである。

【図１１】合焦状態における画像、輝度分布および周波
数成分の分布を示す図である。

【図１２】非合焦状態における画像、輝度分布および周
波数成分の分布を示す図である。

【図１３】上記方法に係る焦点の決定に係る一連の工程
を示すフローチャートである。

【図１４】上記装置の実施の形態の他の一例に係る設置
の態様を示す正面図である。

【図１５】上記装置の実施の形態の他の一例に係る構成
を示すブロック図である。

【符号の説明】

１ 記憶部、２ インターフェース、３ モニタ、１０
撮像部、２０ 駆動部、３０ 中央処理装置、４０
コンピュータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 細沼 直泰 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 玉山 研 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像を撮像して映像信号とする撮像手段
   と、 上記撮像手段を撮像範囲を移動させるように駆動する駆
   動手段と、 上記駆動手段にて上記撮像手段を駆動し、上記撮像手段
   にてパノラマ映像を構成する単位画像を撮像制御する制
   御手段と、 上記単位画像をパノラマ映像に合成する画像処理手段と
   を備え、 上記制御手段は、該単位画像に依らず、上記撮像手段の
   露出、ホワイトバランス及び焦点の少なくとも一つを一
   定とすることを特徴とする画像撮像装置。
2. 【請求項２】 パノラマ映像を構成する単位画像を撮像
   して映像信号とする撮像工程と、 上記単位画像を処理してパノラマ映像に合成する画像処
   理工程とを有し、 上記撮像工程では、該単位画像に依らず、露出、ホワイ
   トバランス及び焦点の少なくとも一つを一定とすること
   を特徴とする画像撮像方法。
3. 【請求項３】 画像を撮像して映像信号とする撮像手段
   と、 上記撮像手段の撮像範囲を移動させるように駆動する駆
   動手段と、 上記駆動手段にて上記撮像手段を駆動し、上記撮像手段
   にてパノラマ映像を構成する単位画像を撮像制御すると
   共に撮影条件を制御する制御手段と、 上記単位画像をパノラマ映像に合成する画像処理手段と
   を備え、 上記制御手段は、上記単位画像の撮影にて得た情報に基
   づいて露出、ホワイトバランス、焦点の少なくとも一つ
   の最適条件を算出し、上記撮像手段を上記最適条件に決
   定することを特徴とする画像処理装置。
4. 【請求項４】 上記制御手段は、初回のパノラマ映像の
   撮像にて得た各単位画像の画像情報に基づいて上記最適
   条件を算出することを特徴とする請求項３記載の画像処
   理装置。
5. 【請求項５】 上記制御手段は、上記撮像手段の露出、
   ホワイトバランス及び焦点の少なくとも一つを各回毎に
   変化させて撮像を複数回行い、その撮影された画像の情
   報に基づいて露出、ホワイトバランス及び焦点の少なく
   とも一つの最適条件を算出し、上記撮像手段は上記最適
   条件に決定することを特徴とする請求項３記載の画像処
   理装置。
6. 【請求項６】 上記制御手段は、上記撮像手段の露出、
   ホワイトバランス及び焦点の少なくとも一つを各回毎に
   変化させてパノラマ映像の撮像を複数回行い、そのパノ
   ラマ映像の情報に基づいて露出、ホワイトバランス及び
   焦点の少なくとも一つの最適条件を算出し、上記撮像手
   段は上記最適条件に決定することを特徴とする請求項３
   記載の画像処理装置。
7. 【請求項７】 上記制御手段は、撮影された画像の情報
   に基づいて露出、ホワイトバランス、焦点の少なくとも
   一つの最適条件を算出し、上記画像処理手段における画
   像処理により上記最適条件を実現することを特徴とする
   請求項３記載の画像処理装置。
8. 【請求項８】 上記制御手段は、撮影されたパノラマ映
   像の画像の情報に基づいて露出、ホワイトバランス、焦
   点の少なくとも一つの最適条件を算出することを特徴と
   する請求項７記載の画像処理装置。
9. 【請求項９】 上記撮像装置は、パノラマ映像の作成後
   には、露出、ホワイトバランス及び焦点の少なくとも一
   つを初期値に変更することを特徴とする請求項３記載の
   画像処理装置。
10. 【請求項１０】 画像を撮像して映像信号とする撮像工
    程と、上記画像をパノラマ映像に合成する画像処理工程
    とを有し、 撮像された画像の情報に基づいて露出、ホワイトバラン
    ス及び焦点の少なくとも一つの最適条件を算出し、以降
    の撮影では該単位画像に依らず上記最適条件に決定する
    ことを特徴とする画像処理方法。