JP6679424B2 - 撮像装置、その制御方法、プログラム - Google Patents

Description

本発明は、星空撮影を行う撮像装置、その制御方法、プログラムに関する。

近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。これらの撮像機器は撮影画像をその場で確認できる機能を提供しており、ユーザーにとって撮影の利便性が向上している。

また、デジタルカメラの撮像素子の感度が向上し、ＳＮ比（ｓｉｇｎａｌ−ｎｏｉｓｅ ｒａｔｉｏ））も改善されてきていることから、星空を手軽に撮影できるモードを搭載するモデルも存在している。たとえば、特許文献１は、星空を複数回撮影した画像を合成することより、ノイズリダクションを行うような機能を開示している。

特開２０１３−１８６８７９号公報

しかし、特許文献１に開示された方法で星空を連続して撮影した撮影画像を合成すると、各撮影画像を順次位置合わせ合成していくことになる。したがって、星が十分移動していない場合には、正確な星の動きベクトルを算出することができず、精細な合成画像を生成することができないという問題があった。

本発明に係る撮像装置は、星空を撮影するための第１の星空撮影モードを選択可能な選択手段と、前記第１の星空撮影モードにおいて、連続的に撮影を行い、複数の画像を取得する撮影手段と、前記撮影手段により連続的に撮影された複数の画像のうち２つを用いて、星の動きベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段によって算出された星の動きベクトルに基づいて、星の日周運動による前記複数の画像における星の位置ずれを補正して合成し、星空画像を生成する画像処理手段と、を備え、
前記ベクトル算出手段は、前記複数の画像のうち、撮影時刻が隣接しない２つの画像を用いて前記星の動きベクトルを算出する、ことを特徴とする。

本発明によれば、星の動きベクトルを撮影画像から算出することができ、精細な合成画像を生成することができる。

本発明の撮像装置の概略構成を示すブロック図である。 本発明の撮像装置において星空撮影モードを選択する画面を示す図である。 星空夜景撮影モードの制御フローを示した図である。 星空撮影における星の回転運動を示す図である。 星の回転角度算出を示す図である。 星空画像を生成する処理を示す図である。

本発明の実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の説明において、デジタルカメラを一例として用いるが、デジタルカメラに限定されず、スマートフォンなどの携帯端末などの画像撮影が可能な端末であれば、本発明を適用することができる。

図１は、本発明の撮像装置の概略構成を示すブロック図である。

撮像装置１００は、撮影レンズ１０、絞り機能を備える機械式シャッター１２、光学像を電気信号に変換する撮像素子１４、撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６を備える。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０によって制御される。機械式シャッター１２の代わりに、撮像素子１４のリセットタイミングの制御によって電荷蓄積時間を制御する電子シャッタも、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して、所定の画素補間処理や色変換処理を行う。また画像処理回路２０が、画像から一部領域を切り出して変倍処理を行うことによって電子ズーム機能を実現することができる。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、たとえば液晶表示装置であり、メモリ２０に書き込まれた表示用の画像データがメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

メモリ３１は、ＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、メモリ３１の内部にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設けて、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸張回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行って、処理を終えた画像データをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

測距制御部４２は撮影レンズ１０のフォーカシングを制御する制御部、ズーム制御部４４は撮影レンズ１０のズーミングを制御する制御部である。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

露光制御部４０、測距制御部４２は、ＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０によって制御される。システム制御会と５０は、画像処理装置１００全体を制御する制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０によって、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２は、シャッタースイッチＳＷ１であり操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

６４は、シャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。またフラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。

表示切替スイッチ６６によって画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部である。操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。この操作部７０を用いて、星空撮影モードが選択可能である。

ズームスイッチ７２は、ユーザーが撮像画像の倍率変更指示を行うズーム操作手段である。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。ズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる電子的なズーミング変更のトリガともなる。

７４はカメラ内部の温度を測定するサーミスタである。撮像素子の欠陥画素は温度による影響を受けるため、撮影時の温度により傷補正処理を変えてやる必要がある。サーミスタ７４は、撮像装置内の撮像素子の近くに配置され、撮像素子自体の温度を測定する。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４，ＬＡＮ無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

図２は、星空の撮影モードを選択する画面を示す図である。

ユーザーは操作部７０を操作して、星空の撮影モードを選択することができる。撮影画像中の星を流れることなく星空を撮影したい場合は星空夜景モードを選択し、星が移動する軌跡を撮影したい場合には星空軌跡モードを選択する。本発明は、星を流れることなく合成したいので、星空夜景モードを選択する。

選択されたモードはシステム制御回路５０がメモリ３０にモード情報を書き込み、ユーザーが選択したモードを記憶させる。

図３は、星空夜景撮影モードの制御フローを示す図である。

ユーザーがシャッタースイッチ６４を押下して撮影指示がなされたら、システム制御回路５０はメモリ３０に記憶されたモードを読み出し、選択された撮影モードの撮影処理を行う。

記憶された撮影モードが星空撮影モードであるならば、Ｓ２０１でユーザーは予め撮影時間を設定する。設定された撮影時間に応じて、選択された撮影モードに必要となる撮影枚数が決定される。

Ｓ２０２で、ＳＷ２が実行されると、測光結果に基づいた絞り・シャッター速度・ＩＳＯ感度を設定する。Ｓ２０３では、Ｓ２０２で設定された露出制御に基づき静止画の撮影を連続的に行う（Ｓ２０４）。Ｓ２０５でＳ２０２で設定した枚数が撮影されているかを判定し、完了していたらＳ２０６へ進み、完了していなかったら、Ｓ２０４の撮影に戻る。

Ｓ２０６では撮影された複数画像から動きベクトルの算出を行う。この動きベクトル算出に関しては、図４を用いて詳細に後述する。Ｓ２０７では、Ｓ２０６で算出した動きベクトルで画像の合成を行う。これに関しては、図６を用いて後述する。Ｓ２０８で画像を記録媒体２００へ書き込みを行う。

図４は、星空撮影における星の回転運動を示す図である。

星空は時間とともに天の極を中心に円運動（日周運動）を行っている。北の空であれば北極星（こぐま座α星）付近を中心に周り、南の空であれば南極星（はちぶんぎ座σ星）付近を中心に回っている。図４は、３つの星１〜星３が時間経過とともに、移動していることを示している。星１は座標（ｘ１，ｙ１）から座標（ｘ１’，ｙ１’）へ移動し、星２は座標（ｘ２，ｙ２）から座標（ｘ２’，ｙ２’）へ移動し、星１は座標（ｘ３，ｙ３）から座標（ｘ３’，ｙ３’）へ移動している。

星の移動は回転運動に限定できるので、ベクトル算出はアフィン変換の回転を求める式を使用する。アフィン変換の回転を行う行列式は以下になる。θが回転角度、回転前座標が（ｘｉ，ｙｉ）、回転後座標が（ｘｉ’，ｙｉ’）である。

式を展開すると、以下になる。

θを求めるには、回転前座標（ｘｉ，ｙｉ）、回転後座標（ｘｉ’，ｙｉ’）が既知であり、θを変化させて、以下の誤差ＥａとＥｂが最小となるポイントがθとなる。

これを複数の星に対して行い、以下の式で誤差が最小となるθの値を求めることで、θの算出精度を上げることができる。

Ｅ１とＥ２の誤差が最小となるポイントで、誤差が所定のレベルより大きい場合、θの信頼度が低いとみなし、このθを採用しない。

このように２枚の星空撮影画像から、星の移動した回転角度θを算出することができる。回転角度θは、撮影した間隔からも推定できる。星は１日で３６０°回転するので、例えば１時間あたりの回転角度θ１Ｈは、
θ１Ｈ＝３６０°／２４Ｈ＝１５°
となる。上記で回転角度を算出するために使用した画像の撮影時間差ＴｉｍｅＤｉｆｆ
を求めて、推定回転角度θｒｅｆを求められる。
θｒｅｆ＝３６０°／ＴｉｍｅＤｉｆｆ

上記のアフィン変換で求めた回転角度θが撮影時間から求めた回転角度θｒｅｆと所定以上の差分がある場合は、θは正確でないと判断し採用しない。このようにして動きベクトルの信頼度算出を行うことができる。

図５は、星の回転角度算出を示す図である。

回転角度算出は移動量が大きいほどθの算出精度が高くなるので、星空を連続撮影した画像のうち、最初と最後の画像から回転角度を求めた方がよい。図は８枚連続して撮影した画像を示しており、星１→星８の順に撮影している。つまり、撮影時刻の順に星１から星８まで順に並べて示している。このうち星１と星８から、図４で説明した方法で回転角度θを算出する。一定の信頼度を有する動きベクトルを算出するために、撮影時刻が隣接しない２つの画像を用いることが好ましい。

間に撮影された星２〜７は回転角度θと撮影時刻から、回転角度を推定する。星１が撮影された時刻がＴ１、星２が撮影された時刻がＴ２、星８が撮影された時刻がＴ８とすると、星１から星２までの回転角度θ２は以下の式で求められる。
θ２＝３６０°×（Ｔ２−Ｔ１）／（Ｔ８−Ｔ１）

θ２を求めることができたら、星２の位置がアフィン変換により求められる。

星１の座標（ｘ１，ｙ１）から星２の座標（ｘ２，ｙ２）が推定できる。この２つ座標から画像合成を行い、ノイズリダクションを行う。

図４の説明で、θの信頼度が低い場合にθを採用しないと書いたが、図５を例にすると、最初に星１と星８でθを求めて、信頼度が低い場合は参照する星を変更する。片方をずらして星１と星７、または星２と星８としてもよいし、両方ともずらして星２と星７としてもよい。つまり、撮影時刻の差が大きい方から順に、２つの画像の組を変えて、所定レベル以上の信頼度を有する動きベクトルが得られるまで繰り返してベクトル算出を行ってもよい。

図６は、本発明の星空画像を生成する処理を示す図である。

撮影画像は全画像メモリ３０に保持しておき、星の回転角度算出・推定が終了した時点で全画像を順次加算していく。加算する際には回転角度を元に座標変換された位置より、画像間の星の位置ずれを補正して位置合わせを行いながら合成を行う。これにより動いている星が同じ位置で合成されることで、軌跡とならずに、１点にとどまる画像として合成することができる。

加算は単純に画像同士を加算すればよい。Ｎ枚の画像を加算したならば、加算された画像を１／Ｎのゲイン処理を掛ける。これで画像の輝度は元通りになり、且つランダムノイズが抑圧されて、ノイズリダクション効果が出る。つまり、ノイズ抑圧された星空画像を生成することができる。

本実施例では、回転角度の推定に時刻を参照する方法で説明したが、方位を元に位置を推定してもよい。参照時刻も撮影開始、撮影終了、撮影中間とあるが、どれを選択してもよい。

回転角度算出をしてその角度をそのまま使用して合成する説明をしたが、さらに詳細に行うためには、推定した回転角度周辺の狭い領域でテンプレートマッチングを行い、画像同士の位置合わせを行ってから合成すれば、なお良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
５０ システム制御回路
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
７０ 操作部
１００ 画像処理装置

Claims (9)

1. 撮像装置であって、
   星空を撮影するための第１の星空撮影モードを選択可能な選択手段と、
   前記第１の星空撮影モードにおいて、連続的に撮影を行い、複数の画像を取得する撮影手段と、
   前記撮影手段により連続的に撮影された複数の画像のうち２つを用いて、星の動きベクトルを算出するベクトル算出手段と、
   前記ベクトル算出手段によって算出された星の動きベクトルに基づいて、星の日周運動による前記複数の画像における星の位置ずれを補正して合成し、星空画像を生成する画像処理手段と、を備え、
   前記ベクトル算出手段は、前記複数の画像のうち、撮影時刻が隣接しない２つの画像を用いて前記星の動きベクトルを算出する、ことを特徴とする撮像装置。
2. 前記画像処理手段は、前記ベクトル算出手段によって算出された星の動きベクトルから、撮影時刻の差に応じて各画像における星の位置ずれの量を求める、ことを特徴とする請求項１に記載の撮像装置。
3. 前記ベクトル算出手段は、前記複数の画像のうち、最初と最後に撮影された２つの画像を用いて前記星の動きベクトルを算出する、ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記ベクトル算出手段によって算出された星の動きベクトルの信頼度を、算出に用いた２つの画像の撮影時刻の差に基づいて算出する信頼度算出手段を備え、
   前記ベクトル算出手段は、前記信頼度が所定レベル以上になるまで、２つの画像の組を変えて繰り返し算出する、ことを特徴とする請求項１または請求項２に記載の撮像装置。
5. 前記ベクトル算出手段は、撮影時刻の差が大きい方から順に、２つの画像の組を変えて繰り返し算出する、ことを特徴とする請求項４に記載の撮像装置。
6. 前記選択手段は、星空を撮影するための第２の星空撮影モードをさらに選択可能であり、
   前記第２の星空撮影モードは、前記星の日周運動の軌跡を撮影するためのモードであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記画像処理手段は、前記合成によってノイズが抑圧された星空画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置の制御方法であって、
   星空を撮影するための第１の星空撮影モードを選択可能な選択工程と、
   前記第１の星空撮影モードにおいて、連続的に撮影を行い、複数の画像を取得する撮影工程と、
   前記撮影工程で連続的に撮影された複数の画像のうち２つを用いて、星の動きベクトルを算出するベクトル算出工程と、
   前記ベクトル算出工程で算出された星の動きベクトルに基づいて、星の日周運動による前記複数の画像における星の位置ずれを補正して合成し、星空画像を生成する画像処理工程と、を備え、
   前記ベクトル算出工程では、前記複数の画像のうち、撮影時刻が隣接しない２つの画像を用いて前記星の動きベクトルを算出する、ことを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置として機能させる、コンピュータが実行可能なプログラム。

Images