JP4630454B2 - 画像合成システム、画像合成方法及び記録媒体 - Google Patents
画像合成システム、画像合成方法及び記録媒体 Download PDFInfo
- Publication number
- JP4630454B2 JP4630454B2 JP2000392705A JP2000392705A JP4630454B2 JP 4630454 B2 JP4630454 B2 JP 4630454B2 JP 2000392705 A JP2000392705 A JP 2000392705A JP 2000392705 A JP2000392705 A JP 2000392705A JP 4630454 B2 JP4630454 B2 JP 4630454B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- creating
- image data
- composite image
- camera parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Camera Data Copying Or Recording (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラをパン及びチルトさせて撮影した画像からパノラマ画像等の合成画像を作成する画像合成システムと画像合成方法及びそのプログラムコードを記録した記録媒体に関する。
【０００２】
【従来の技術】
パン・チルト角度を変えて撮影した複数枚の静止画を繋ぎ合わせ、パノラマ画像等の合成画像を作成するシステムが存在する。又、パン・チルト角度を変えて撮影した動画中の複数枚のフレームを繋ぎ合わせて合成画像を作成するシステムも知られている。
【０００３】
【発明が解決しようとする課題】
このようなシステムの場合、カメラが自動露出制御されていると静止画間又はフレーム間で露光条件が異なるため、濃度カラーバランスが不連続な違和感のある合成画像が作成されることがある。例えば、図６（ａ）に示すようにパン・チルト角度を変えて２５枚の静止画を撮影し（６０１等が１つの静止画に相当する) 、図６（ｂ）に示すように繋ぎ合わせて合成画像を作成する場合、カメラが自動露出制御されていると、光源６０２を写した画像６０３のみ露光条件が変化するため、合成画像中のその画像に相当する部分の色が変化してしまう（図６（ｃ）の６０４）。
【０００４】
上記問題を解決する方法として、合成画像を作成するためのモード（以下、連続シーン撮影モードと呼ぶ）をカメラに設け、連続シーン撮影モード時には自動露出制御を解除して各画像を同一の露出条件で撮影できるようにする方式が知られている。
【０００５】
しかしながら、上記方式では、ユーザーがいちいちモードスイッチ等を操作して連続シーン撮影モードの設定・解除を行わなければならないため、ユーザーが連続シーン撮影モードに設定するのを忘れ、撮影した画像から合成画像を作成すると、濃度カラーバランスが不連続な違和感のある合成画像ができてしまうことがある。逆に、連続シーン撮影モードの解除を忘れて画像を撮影した際には、その画像に適した露出条件で撮影されない可能性がある。
【０００６】
又、連続シーン撮影モードで撮影した各フレームは最適な露出条件で撮影されていないため、これを普通に再生すると、或る画像に関してのみ明る過ぎたり、暗ら過ぎたりといった違和感を生じることがある。
【０００７】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、画像撮影時に自動露出制御を解除することなく、濃度カラーバランスが連続した違和感のない合成画像を作成することができ、撮影した画像を再生した際にも違和感を生じない画像合成システムと画像合成方法及び記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像合成システムは、請求項１に記載のとおり、撮影手段と、該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、
該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、前記合成画像作成手段は、カメラパラメータを記憶する第一の記憶手段と、前記解読手段によって取り出したカメラパラメータと前記第一の記憶手段に記憶されているカメラパラメータとを比較して両者が閾値内にあるか否かを判定する判定手段と、該判定手段によってカメラパラメータが閾値内であった画像のみから合成画像を作成する手段と、該手段によって作成した合成画像を記憶する第二の記憶手段と、を有することを特徴とする。
また、本発明の画像合成システムは、請求項２に記載のとおり、撮影手段と、該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、前記カメラパラメータは、露出に関係するパラメータであることを特徴とする。
また、本発明の画像合成システムの制御方法は、請求項３に記載のとおり、撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、前記合成画像作成工程は、カメラパラメータを記憶する第一の記憶工程と、前記解読工程によって取り出したカメラパラメータと前記第一の記憶工程に記憶されているカメラパラメータを比較して両者が閾値内にあるか否かを判定する判定工程と、該判定工程によってカメラパラメータが閾値内であった画像のみから合成画像を作成する工程と、該工程によって作成した合成画像を記憶する第二の記憶工程から成ることを特微とする。
また、本発明の画像合成システムの制御方法は、請求項４に記載のとおり、撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、前記カメラパラメータは、露出に関係するパラメータであることを特徴とする。
【００１１】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１２】
図１は動画撮影装置と合成画像作成装置の基本構成を示すブロック図であり、同図において、１００は動画撮影可能な動画撮影装置、２００は合成画像作成装置である。
【００１３】
上記動画撮影装置１００において、１０１は撮影装置、１０２はカメラの幾何的・光学的なパラメータを制御するとともに各種カメラパラメータ（カメラパラメータとしては、パン角度、チルト角度、ズーム倍率、フォーカス距離、シャッタースピード、アイリス、ゲイン、ホワイトバランス等が考えられる）を管理する制御装置、１０３は撮影した画像データにマイク（図示せず）から録音した音声データ及び制御装置１０２から得たカメラパラメータを加えて、付加データを含む画像データを作成するフォーマッタ、１０４は付加情報を含む画像データをテープに記録する記録装置である。
【００１４】
又、前記合成画像作成装置２００において、２０１はテープを再生する再生装置、２０２は付加情報を含む画像データから画像データと付加データを読み出すデコーダ、２０３は付加データに記録されている画像の撮影位置に基づいて画像データを配置して合成画像を作成する合成画像作成部、２０４は作成した合成画像を表示する表示装置である。表示装置２０４は、デコーダ２０２で読み出した画像データを直接表示することもできる。尚、記録装置１０４及び再生装置２０１は、テープではなくディスク、メモリ等を用いて記録・再生しても構わない。
【００１５】
次に、動画撮影装置１００の動作について説明する。
【００１６】
ユーザーが動画の撮影を開始すると、先ず、撮像装置１０１において画像を撮影する。そして、制御装置１０２からカメラパラメータを取得し、フォーマッタ１０３において、取得したカメラパラメータから付加データを作成し、撮影した画像データと付加データ及び音声データから、付加情報を含む画像データを作成する（付加情報を含む画像データは例えば図３に示すような形式であり、付加データは例えば図４に示すような構造を有しているものとする）。そして、作成した付加情報を含む画像データを記録装置１０４においてテープに記録する。このような付加情報を含む画像データの例としては、デジタルビデオに利用されているＤＩＦ等がある。動画撮影装置１００は、合成画像の作成に必要な全フレームを撮り終えるまでこの動作を継続する。
【００１７】
続いて合成画像作成装置２００の動作について説明する。
【００１８】
再生装置２０１においてテープの再生が開始されると、デコーダ２０２においてテープに記録されていた付加情報を含む画像データがデコードされ、画像データと付加データが読み出される。続いて、合成画像作成部２０３において、画像データと付加データを元に合成画像を作成する。そして、合成画像が完成すると、それを表示装置２０４に表示する。
【００１９】
ここで、合成画像作成部２０３における動作を図２のフローチャート及び図５に基づいて説明する。尚、図５は合成画像作成部２０３の構成を示すブロック図である。
【００２０】
図５において、５０１は付加データに記載されているパラメータを記憶するパラメータ記憶メモリ、５０２は作成中の合成画像を記憶している第一画像メモリ、５０３は合成画像作成に用いるもう１つの画像メモリである第二画像メモリ、５０４は合成画像のうちどの画素が確定したかを表すテーブル、５０５は入力インタフェース、５０６は各種演算及び合成画像作成部２０３全体の制御を行うＣＰＵ、５０７は出力インタフェースである。
【００２１】
先ず、図２に示すステップＳ１０１においてパラメータ記憶メモリ５０１、第一画像メモリ５０２、第二画像メモリ５０３及びテーブル５０４を初期化する。続いてステップＳ１０２に進み、第一画像メモリ５０２において読み出した画像データが第１フレーム目のものであるか否かを判定する。第１フレーム目の画像であればステップＳ１０３に進み、付加データに記載されている露出パラメータ（本実施の形態例、露出パラメータとしてシャッタースピード、アイリス、ゲインのみを考える。勿論、これ以外のパラメータを扱っても構わない）をパラメータ記憶メモリ５０１に記憶する。
【００２２】
一方、第１フレーム目でなければステップＳ１０４に進み、付加データに記載されている露出パラメータをステップＳ１０３で記憶したものと比べる。そして、その差が或る閾値以下であればステップＳ１０５に進み、閾値を超えていればステップＳ１０６に進む。本実施の形態においては、各露出パラメータごとに閾値を設定し、全パラメータが閾値以下ならばステップＳ１０５に進み、１つでも閾値を超えていればステップＳ１０６に進むことにするが、実際にはこれに以外の判定方法を用いても構わない。又、閾値は固定値でも良く、合成画像作成前にユーザーが入力するようにしても良い。
【００２３】
ステップＳ１０５では、読み出した画像データを、作成中の合成画像を記憶する第一画像メモリ５０２に書き込む。尚、書き込む位置を決定する方法としては、付加データに記載されているカメラのパン角度・チルト角度に基づいて行う方法や既に第一画像メモリ５０２に書き込まれているデータとのマッチングによって行う方法等の既知の方法を利用することができる。
【００２４】
書き込みを行った後にステップＳ１０６に進むが、ステップＳ１０６では、読み出した画像データを第二画像メモリ５０３に書きこむ。尚、書き込む位置を決定する方法はステップＳ１０５と同様の既知の方法を用いることができる。
【００２５】
書き込みを行った後にステップＳ１０７に進み、ステップＳ１０７においてテーブル５０４を参照して合成画像が完成したか否かを判断する。合成画像が完成すれば処理を終了する。又、完成していなければステップＳ１０８に進み、新しいフレームを読み出せるか否かを調べる。読み出せる場合はステップＳ１０２に戻り、処理を継続する。
【００２６】
一方、新たなフレームを読み出せなかった場合はステップＳ１０９に進む。ステップＳ１０９は、全てのフレームを調べたにも拘らず合成画像が完成しなかった場合に相当する。この場合はテーブル５０４を参照し、合成画像の確定していない各面素に対して第二画像メモリ５０３のデータを第一画像メモリ５０２の該当する位置ヘコピーする。
【００２７】
本実施の形態においては、動画撮影装置１００は動画像を撮影するものであるが、静止画を撮影する撮影装置を用いた場合でも本発明を適用することができる。又、本実施の形態においては、第一フレームの露出パラメータを基準として合成画像に用いるフレームを選択するが、基準となる露出パラメータをユーザーが入力できるようにしても良く、基準となるフレームをユーザーが指定できるようにしても良い。更に、全てのフレームを一旦読み込み、その露出パラメータを調べた上で基準となるフレームを決定するようにしても良い。
【００２８】
又、本実施の形態においては、動画撮影装置１００は撮影した画像を一旦テープ等に記憶し、合成画像作成装置２００はテープから付加情報を含む画像データを読み出しているが、他にも動画撮影装置１００と合成画像作成装置２００がネットワーク等によって結ばれている形式でも良く、両者が一体化していても構わない。
【００２９】
而して、本発明によれば、図７（ａ）に示すように、撮影物中に光源７０１等の露出条件が異なるものがあったとしても、その影響を受けて露出パラメータが大きく変化したフレーム７０２は合成画像作成に使用せず、その周辺のフレーム７０３〜７０６を使用することになる。そのため、図７（ｂ）に示すような濃度カラーバランスが連続した違和感のない合成画像を作成することができる。
【００３０】
又、フラッシュが連続的に焚かれているような、光源や光量が時間的に変化しているような場合は、フラッシュが焚かれた瞬間に撮影されたフレームは使用しない等の処理が行われるためにより効果的となる。
【００３１】
本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に供給し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出して実行することによっても達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述の実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００３２】
尚、記録媒体としては、磁気ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。又、コンピュータが読み出したプログラムコードを実行することにより、前述の実施形態の機能が実現できるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前記実施の形態の機能が実現される場合も含まれる。
【００３３】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備えられたメモリに書き込まれた後、そのプログラムコードの指示に従い、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前記実施の形態の機能が実現される場合も含まれる。
【００３４】
本発明を前記記録媒体に適用する場合、その記録媒体には前述の処理に対応するプログラムコードを格納することになるが、簡単に説明すると、本発明に不可欠なモジュールを記録媒体に格納することになる。
【００３５】
【発明の効果】
以上の説明で明らかなように、本発明によれば、常に自動露光制御が働いている場合でも違和感のないパノラマ画像を作成することができる。従って、連続シーン撮影モード等のモードを用意する必要がないため、ユーザーがモードスイッチを切り替える必要がなく、ユーザーがモードスイッチの切り替えを忘れたために意図しない画像が撮影されたり、違和感のある合成画像が作成されてしまうことがない。又、合成画像作成用に撮影した動画でも、動画中の各フレームは適正な露出条件で撮影されているため、それを普通に再生した場合にも違和感を生じる可能性がない。
【図面の簡単な説明】
【図１】動画撮影装置と合成画像作成装置の基本構成を示すブロック図である。
【図２】合成画像作成部の動作を示すフローチャートである。
【図３】付加情報を含む画像データの構成を示す図である。
【図４】付加データの構成を示す図である。
【図５】合成画像作成部の構成を示すブロック図である。
【図６】従来の方法における合成画像の作成例とその問題点を示す図である。
【図７】本発明における合成画像の作成例を示す図である。
【符号の説明】
１００ 動画撮影装置
１０１ 撮影装置
１０２ 制御装置
１０３ フォーマッタ
１０４ 記録装置
２００ 合成画像作成装置
２０１ 再生装置
２０２ デコーダ
２０３ 合成画像作成部
２０４ 表示装置
５０１ パラメータ記憶メモリ
５０２ 第一画像メモリ
５０３ 第二画像メモリ
５０４ テーブル
５０５ 入力インタフェース
５０６ ＣＰＵ
５０７ 出力インタフェース
【発明の属する技術分野】
本発明は、カメラをパン及びチルトさせて撮影した画像からパノラマ画像等の合成画像を作成する画像合成システムと画像合成方法及びそのプログラムコードを記録した記録媒体に関する。
【０００２】
【従来の技術】
パン・チルト角度を変えて撮影した複数枚の静止画を繋ぎ合わせ、パノラマ画像等の合成画像を作成するシステムが存在する。又、パン・チルト角度を変えて撮影した動画中の複数枚のフレームを繋ぎ合わせて合成画像を作成するシステムも知られている。
【０００３】
【発明が解決しようとする課題】
このようなシステムの場合、カメラが自動露出制御されていると静止画間又はフレーム間で露光条件が異なるため、濃度カラーバランスが不連続な違和感のある合成画像が作成されることがある。例えば、図６（ａ）に示すようにパン・チルト角度を変えて２５枚の静止画を撮影し（６０１等が１つの静止画に相当する) 、図６（ｂ）に示すように繋ぎ合わせて合成画像を作成する場合、カメラが自動露出制御されていると、光源６０２を写した画像６０３のみ露光条件が変化するため、合成画像中のその画像に相当する部分の色が変化してしまう（図６（ｃ）の６０４）。
【０００４】
上記問題を解決する方法として、合成画像を作成するためのモード（以下、連続シーン撮影モードと呼ぶ）をカメラに設け、連続シーン撮影モード時には自動露出制御を解除して各画像を同一の露出条件で撮影できるようにする方式が知られている。
【０００５】
しかしながら、上記方式では、ユーザーがいちいちモードスイッチ等を操作して連続シーン撮影モードの設定・解除を行わなければならないため、ユーザーが連続シーン撮影モードに設定するのを忘れ、撮影した画像から合成画像を作成すると、濃度カラーバランスが不連続な違和感のある合成画像ができてしまうことがある。逆に、連続シーン撮影モードの解除を忘れて画像を撮影した際には、その画像に適した露出条件で撮影されない可能性がある。
【０００６】
又、連続シーン撮影モードで撮影した各フレームは最適な露出条件で撮影されていないため、これを普通に再生すると、或る画像に関してのみ明る過ぎたり、暗ら過ぎたりといった違和感を生じることがある。
【０００７】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、画像撮影時に自動露出制御を解除することなく、濃度カラーバランスが連続した違和感のない合成画像を作成することができ、撮影した画像を再生した際にも違和感を生じない画像合成システムと画像合成方法及び記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像合成システムは、請求項１に記載のとおり、撮影手段と、該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、
該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、前記合成画像作成手段は、カメラパラメータを記憶する第一の記憶手段と、前記解読手段によって取り出したカメラパラメータと前記第一の記憶手段に記憶されているカメラパラメータとを比較して両者が閾値内にあるか否かを判定する判定手段と、該判定手段によってカメラパラメータが閾値内であった画像のみから合成画像を作成する手段と、該手段によって作成した合成画像を記憶する第二の記憶手段と、を有することを特徴とする。
また、本発明の画像合成システムは、請求項２に記載のとおり、撮影手段と、該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、前記カメラパラメータは、露出に関係するパラメータであることを特徴とする。
また、本発明の画像合成システムの制御方法は、請求項３に記載のとおり、撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、前記合成画像作成工程は、カメラパラメータを記憶する第一の記憶工程と、前記解読工程によって取り出したカメラパラメータと前記第一の記憶工程に記憶されているカメラパラメータを比較して両者が閾値内にあるか否かを判定する判定工程と、該判定工程によってカメラパラメータが閾値内であった画像のみから合成画像を作成する工程と、該工程によって作成した合成画像を記憶する第二の記憶工程から成ることを特微とする。
また、本発明の画像合成システムの制御方法は、請求項４に記載のとおり、撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、前記カメラパラメータは、露出に関係するパラメータであることを特徴とする。
【００１１】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１２】
図１は動画撮影装置と合成画像作成装置の基本構成を示すブロック図であり、同図において、１００は動画撮影可能な動画撮影装置、２００は合成画像作成装置である。
【００１３】
上記動画撮影装置１００において、１０１は撮影装置、１０２はカメラの幾何的・光学的なパラメータを制御するとともに各種カメラパラメータ（カメラパラメータとしては、パン角度、チルト角度、ズーム倍率、フォーカス距離、シャッタースピード、アイリス、ゲイン、ホワイトバランス等が考えられる）を管理する制御装置、１０３は撮影した画像データにマイク（図示せず）から録音した音声データ及び制御装置１０２から得たカメラパラメータを加えて、付加データを含む画像データを作成するフォーマッタ、１０４は付加情報を含む画像データをテープに記録する記録装置である。
【００１４】
又、前記合成画像作成装置２００において、２０１はテープを再生する再生装置、２０２は付加情報を含む画像データから画像データと付加データを読み出すデコーダ、２０３は付加データに記録されている画像の撮影位置に基づいて画像データを配置して合成画像を作成する合成画像作成部、２０４は作成した合成画像を表示する表示装置である。表示装置２０４は、デコーダ２０２で読み出した画像データを直接表示することもできる。尚、記録装置１０４及び再生装置２０１は、テープではなくディスク、メモリ等を用いて記録・再生しても構わない。
【００１５】
次に、動画撮影装置１００の動作について説明する。
【００１６】
ユーザーが動画の撮影を開始すると、先ず、撮像装置１０１において画像を撮影する。そして、制御装置１０２からカメラパラメータを取得し、フォーマッタ１０３において、取得したカメラパラメータから付加データを作成し、撮影した画像データと付加データ及び音声データから、付加情報を含む画像データを作成する（付加情報を含む画像データは例えば図３に示すような形式であり、付加データは例えば図４に示すような構造を有しているものとする）。そして、作成した付加情報を含む画像データを記録装置１０４においてテープに記録する。このような付加情報を含む画像データの例としては、デジタルビデオに利用されているＤＩＦ等がある。動画撮影装置１００は、合成画像の作成に必要な全フレームを撮り終えるまでこの動作を継続する。
【００１７】
続いて合成画像作成装置２００の動作について説明する。
【００１８】
再生装置２０１においてテープの再生が開始されると、デコーダ２０２においてテープに記録されていた付加情報を含む画像データがデコードされ、画像データと付加データが読み出される。続いて、合成画像作成部２０３において、画像データと付加データを元に合成画像を作成する。そして、合成画像が完成すると、それを表示装置２０４に表示する。
【００１９】
ここで、合成画像作成部２０３における動作を図２のフローチャート及び図５に基づいて説明する。尚、図５は合成画像作成部２０３の構成を示すブロック図である。
【００２０】
図５において、５０１は付加データに記載されているパラメータを記憶するパラメータ記憶メモリ、５０２は作成中の合成画像を記憶している第一画像メモリ、５０３は合成画像作成に用いるもう１つの画像メモリである第二画像メモリ、５０４は合成画像のうちどの画素が確定したかを表すテーブル、５０５は入力インタフェース、５０６は各種演算及び合成画像作成部２０３全体の制御を行うＣＰＵ、５０７は出力インタフェースである。
【００２１】
先ず、図２に示すステップＳ１０１においてパラメータ記憶メモリ５０１、第一画像メモリ５０２、第二画像メモリ５０３及びテーブル５０４を初期化する。続いてステップＳ１０２に進み、第一画像メモリ５０２において読み出した画像データが第１フレーム目のものであるか否かを判定する。第１フレーム目の画像であればステップＳ１０３に進み、付加データに記載されている露出パラメータ（本実施の形態例、露出パラメータとしてシャッタースピード、アイリス、ゲインのみを考える。勿論、これ以外のパラメータを扱っても構わない）をパラメータ記憶メモリ５０１に記憶する。
【００２２】
一方、第１フレーム目でなければステップＳ１０４に進み、付加データに記載されている露出パラメータをステップＳ１０３で記憶したものと比べる。そして、その差が或る閾値以下であればステップＳ１０５に進み、閾値を超えていればステップＳ１０６に進む。本実施の形態においては、各露出パラメータごとに閾値を設定し、全パラメータが閾値以下ならばステップＳ１０５に進み、１つでも閾値を超えていればステップＳ１０６に進むことにするが、実際にはこれに以外の判定方法を用いても構わない。又、閾値は固定値でも良く、合成画像作成前にユーザーが入力するようにしても良い。
【００２３】
ステップＳ１０５では、読み出した画像データを、作成中の合成画像を記憶する第一画像メモリ５０２に書き込む。尚、書き込む位置を決定する方法としては、付加データに記載されているカメラのパン角度・チルト角度に基づいて行う方法や既に第一画像メモリ５０２に書き込まれているデータとのマッチングによって行う方法等の既知の方法を利用することができる。
【００２４】
書き込みを行った後にステップＳ１０６に進むが、ステップＳ１０６では、読み出した画像データを第二画像メモリ５０３に書きこむ。尚、書き込む位置を決定する方法はステップＳ１０５と同様の既知の方法を用いることができる。
【００２５】
書き込みを行った後にステップＳ１０７に進み、ステップＳ１０７においてテーブル５０４を参照して合成画像が完成したか否かを判断する。合成画像が完成すれば処理を終了する。又、完成していなければステップＳ１０８に進み、新しいフレームを読み出せるか否かを調べる。読み出せる場合はステップＳ１０２に戻り、処理を継続する。
【００２６】
一方、新たなフレームを読み出せなかった場合はステップＳ１０９に進む。ステップＳ１０９は、全てのフレームを調べたにも拘らず合成画像が完成しなかった場合に相当する。この場合はテーブル５０４を参照し、合成画像の確定していない各面素に対して第二画像メモリ５０３のデータを第一画像メモリ５０２の該当する位置ヘコピーする。
【００２７】
本実施の形態においては、動画撮影装置１００は動画像を撮影するものであるが、静止画を撮影する撮影装置を用いた場合でも本発明を適用することができる。又、本実施の形態においては、第一フレームの露出パラメータを基準として合成画像に用いるフレームを選択するが、基準となる露出パラメータをユーザーが入力できるようにしても良く、基準となるフレームをユーザーが指定できるようにしても良い。更に、全てのフレームを一旦読み込み、その露出パラメータを調べた上で基準となるフレームを決定するようにしても良い。
【００２８】
又、本実施の形態においては、動画撮影装置１００は撮影した画像を一旦テープ等に記憶し、合成画像作成装置２００はテープから付加情報を含む画像データを読み出しているが、他にも動画撮影装置１００と合成画像作成装置２００がネットワーク等によって結ばれている形式でも良く、両者が一体化していても構わない。
【００２９】
而して、本発明によれば、図７（ａ）に示すように、撮影物中に光源７０１等の露出条件が異なるものがあったとしても、その影響を受けて露出パラメータが大きく変化したフレーム７０２は合成画像作成に使用せず、その周辺のフレーム７０３〜７０６を使用することになる。そのため、図７（ｂ）に示すような濃度カラーバランスが連続した違和感のない合成画像を作成することができる。
【００３０】
又、フラッシュが連続的に焚かれているような、光源や光量が時間的に変化しているような場合は、フラッシュが焚かれた瞬間に撮影されたフレームは使用しない等の処理が行われるためにより効果的となる。
【００３１】
本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に供給し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出して実行することによっても達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述の実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００３２】
尚、記録媒体としては、磁気ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。又、コンピュータが読み出したプログラムコードを実行することにより、前述の実施形態の機能が実現できるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前記実施の形態の機能が実現される場合も含まれる。
【００３３】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備えられたメモリに書き込まれた後、そのプログラムコードの指示に従い、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前記実施の形態の機能が実現される場合も含まれる。
【００３４】
本発明を前記記録媒体に適用する場合、その記録媒体には前述の処理に対応するプログラムコードを格納することになるが、簡単に説明すると、本発明に不可欠なモジュールを記録媒体に格納することになる。
【００３５】
【発明の効果】
以上の説明で明らかなように、本発明によれば、常に自動露光制御が働いている場合でも違和感のないパノラマ画像を作成することができる。従って、連続シーン撮影モード等のモードを用意する必要がないため、ユーザーがモードスイッチを切り替える必要がなく、ユーザーがモードスイッチの切り替えを忘れたために意図しない画像が撮影されたり、違和感のある合成画像が作成されてしまうことがない。又、合成画像作成用に撮影した動画でも、動画中の各フレームは適正な露出条件で撮影されているため、それを普通に再生した場合にも違和感を生じる可能性がない。
【図面の簡単な説明】
【図１】動画撮影装置と合成画像作成装置の基本構成を示すブロック図である。
【図２】合成画像作成部の動作を示すフローチャートである。
【図３】付加情報を含む画像データの構成を示す図である。
【図４】付加データの構成を示す図である。
【図５】合成画像作成部の構成を示すブロック図である。
【図６】従来の方法における合成画像の作成例とその問題点を示す図である。
【図７】本発明における合成画像の作成例を示す図である。
【符号の説明】
１００ 動画撮影装置
１０１ 撮影装置
１０２ 制御装置
１０３ フォーマッタ
１０４ 記録装置
２００ 合成画像作成装置
２０１ 再生装置
２０２ デコーダ
２０３ 合成画像作成部
２０４ 表示装置
５０１ パラメータ記憶メモリ
５０２ 第一画像メモリ
５０３ 第二画像メモリ
５０４ テーブル
５０５ 入力インタフェース
５０６ ＣＰＵ
５０７ 出力インタフェース
Claims (6)
- 撮影手段と、
該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、
該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、
該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、
前記合成画像作成手段は、カメラパラメータを記憶する第一の記憶手段と、前記解読手段によって取り出したカメラパラメータと前記第一の記憶手段に記憶されているカメラパラメータとを比較して両者が閾値内にあるか否かを判定する判定手段と、該判定手段によってカメラパラメータが閾値内であった画像のみから合成画像を作成する手段と、該手段によって作成した合成画像を記憶する第二の記憶手段と、を有することを特徴とする画像合成システム。 - 撮影手段と、
該撮影手段によって撮影した画像と制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成手段と、
該作成手段によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読手段と、
該解読手段によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成手段と、を有し、
前記カメラパラメータは、露出に関係するパラメータであることを特徴とする画像合成システム。 - 撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、
前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、
該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、
該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、
前記合成画像作成工程は、カメラパラメータを記憶する第一の記憶工程と、前記解読工程によって取り出したカメラパラメータと前記第一の記憶工程に記憶されているカメラパラメータを比較して両者が閾値内にあるか否かを判定する判定工程と、該判定工程によってカメラパラメータが閾値内であった画像のみから合成画像を作成する工程と、該工程によって作成した合成画像を記憶する第二の記憶工程から成ることを特微とする画像合成システムの制御方法。 - 撮影手段と、カメラパラメータを制御する制御手段と、を有する画像合成システムの制御方法であって、
前記撮影手段で撮影した画像と前記制御手段によって管理されるカメラパラメータとから付加情報を含む画像データを作成する作成工程と、
該作成工程によって作成した付加情報を含む画像データから画像データとカメラパラメータを取り出す解読工程と、
該解読工程によって取り出したカメラパラメータに基づいて画像データを選択して合成画像を作成する合成画像作成工程と、を有し、
前記カメラパラメータは、露出に関係するパラメータであることを特徴とする画像合成システムの制御方法。 - 請求項３または４に記載の画像合成システムの制御方法の手順が記述されたコンピュータで実行可能なプログラム。
- 請求項３または４に記載の画像合成システムの制御方法の手順が記述されたプログラムが記憶された、コンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000392705A JP4630454B2 (ja) | 2000-12-25 | 2000-12-25 | 画像合成システム、画像合成方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000392705A JP4630454B2 (ja) | 2000-12-25 | 2000-12-25 | 画像合成システム、画像合成方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002199276A JP2002199276A (ja) | 2002-07-12 |
| JP4630454B2 true JP4630454B2 (ja) | 2011-02-09 |
Family
ID=18858652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000392705A Expired - Fee Related JP4630454B2 (ja) | 2000-12-25 | 2000-12-25 | 画像合成システム、画像合成方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4630454B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322054A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 電子カメラシステム |
| JP2000224525A (ja) * | 1999-02-02 | 2000-08-11 | Olympus Optical Co Ltd | プリンタ装置 |
-
2000
- 2000-12-25 JP JP2000392705A patent/JP4630454B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322054A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 電子カメラシステム |
| JP2000224525A (ja) * | 1999-02-02 | 2000-08-11 | Olympus Optical Co Ltd | プリンタ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002199276A (ja) | 2002-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100318790B1 (ko) | 디지털 카메라 | |
| TWI487368B (zh) | 影像攝取裝置、影像再生裝置、影像攝取方法及電腦程式 | |
| JP4277309B2 (ja) | デジタルカメラ | |
| JP3752024B2 (ja) | カメラ | |
| JP2006246309A (ja) | 画像処理装置および画像処理方法 | |
| JP2004120576A (ja) | デジタルカメラ | |
| JP3976316B2 (ja) | 画像再生装置 | |
| JP2002152559A (ja) | 電子カメラ装置および画像処理装置 | |
| JP4975264B2 (ja) | 動画撮像装置及びそのプログラム | |
| JP4553134B2 (ja) | 画像生成装置及びそのプログラム | |
| JPH0832847A (ja) | 電子スチル・カメラおよびその制御方法 | |
| JP4630454B2 (ja) | 画像合成システム、画像合成方法及び記録媒体 | |
| JPH11215429A (ja) | 撮影時における撮像の動画・静止画自動切替方法、それを実行するプログラムを記録する記録媒体 | |
| JP3790965B2 (ja) | デジタルカメラおよび画像処理装置 | |
| JP4027786B2 (ja) | 電子カメラ | |
| JP4785664B2 (ja) | 撮像装置 | |
| JP4065184B2 (ja) | ディジタル・カメラおよびその制御方法 | |
| JP2004328073A (ja) | 画像データ書込み方法 | |
| JP5573353B2 (ja) | 撮影装置、画像表示装置、および画像表示プログラム | |
| JP4552631B2 (ja) | デジタルカメラ | |
| JP2005269356A (ja) | 画像データ記録装置および画像データ記録再生装置 | |
| JP2002232753A (ja) | カメラ装置及び記録媒体 | |
| JP4110007B2 (ja) | ディジタル・ムービ・ビデオ・カメラおよび動画再生装置 | |
| JPH0974539A (ja) | 再圧縮禁止制御装置 | |
| JP2002290904A (ja) | 電子カメラ及び画像処理装置並びに画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071221 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |